CN107111598A - 使用超声深度感测的光流成像系统以及方法 - Google Patents
使用超声深度感测的光流成像系统以及方法 Download PDFInfo
- Publication number
- CN107111598A CN107111598A CN201480084015.9A CN201480084015A CN107111598A CN 107111598 A CN107111598 A CN 107111598A CN 201480084015 A CN201480084015 A CN 201480084015A CN 107111598 A CN107111598 A CN 107111598A
- Authority
- CN
- China
- Prior art keywords
- rgb
- light stream
- imaging system
- specific characteristic
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 124
- 238000000034 method Methods 0.000 title claims abstract description 84
- NBIIXXVUZAFLBC-UHFFFAOYSA-N Phosphoric acid Chemical compound OP(O)(O)=O NBIIXXVUZAFLBC-UHFFFAOYSA-N 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 37
- 238000010586 diagram Methods 0.000 claims description 27
- 238000013480 data collection Methods 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 16
- 238000010008 shearing Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 241001269238 Data Species 0.000 claims description 8
- 238000002604 ultrasonography Methods 0.000 claims description 8
- 229910002056 binary alloy Inorganic materials 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 239000000758 substrate Substances 0.000 claims description 7
- 239000012141 concentrate Substances 0.000 claims description 6
- 238000005194 fractionation Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 description 22
- 230000000712 assembly Effects 0.000 description 6
- 238000000429 assembly Methods 0.000 description 6
- 238000003491 array Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 235000013290 Sagittaria latifolia Nutrition 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 235000015246 common arrowhead Nutrition 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Studio Devices (AREA)
Abstract
一种光流成像系统，具有用于生成包括深度数据的图像的超声阵列，以及用于制造与使用该系统的方法。所述光流成像系统包括设置在外壳上的超声传感器阵列，所述超声传感器阵列包括超声发射器和多个超声传感器。所述光流成像系统还包括设置在所述外壳上与所述超声传感器位于平行平面上且可操作地连接至所述超声传感器的红绿蓝(RGB)相机组件。因此，所述光流成像系统有利地相较于常规系统在广泛的光照条件下使成像改进。
Description
技术领域
本公开通常涉及数字成像、计算机视觉以及超声感测，且更具体地但不排他地，涉及光流成像系统以及方法。
背景技术
红、绿、蓝加深度(RGB-D)相机是能产生三维图像(平面二维图像加上深度图图像)的相机。常规RGB-D相机具有两种不同的传感器群组。群组之一包括光接收传感器(诸如RGB相机)，所述光接收传感器用于接收环境图像，所述环境图像常规地采用三种颜色：R(红色)、G(绿色)和B(蓝色)的各自强度值来表示。另一传感器群组包括红外激光或结构化光传感器，用于检测被观察物体的距离(或深度)(D)以及获取深度图图像。所述RGB-D相机的应用包括空间成像、姿势识别、距离检测以及类似应用。
一种类型的RGB-D相机应用红外光源用于成像(例如，Microsoft Kinect)。这样的相机具有光源，所述光源能发射具有特定空间结构的红外光。另外，这样的相机配备有镜头和用于接收红外光的滤波芯片。所述相机的内部处理器计算所接收到的红外光的结构，且通过光结构的变化，所述处理器感知到所述物体的结构和距离信息。
常规的RGB-D相机，诸如Microsoft Kinect，利用红外光检测方法获取深度信息。但是，所述基于红外光检测的方法，在室外设置中，特别是针对被太阳光照射的物体，效果不佳，因为太阳光光谱具有强红外特征，其可以掩盖从检测器发射的红外光。一些红外光检测器试着通过增加其功率(例如，通过激光，或通过增加光源强度)来解决这种问题。但是，这种方法因为其需要极大的功耗，因此是不期望的。
光流是视觉场景中的物体、表面以及边缘因相机与所述场景之间的相对运动引起的视运动的模式。常规的光流仅能比较相对于像素域的移动，且没有用于真实世界的距离和速度。因此，常规的光流系统和方法不适用于真实世界环境的稳健应用，包括诸如无人飞行器(UAV)或其他载运工具等移动平台的导航。
综上所述，需要提供一种改进的光流成像系统以及方法，以克服上常规光流成像系统的所述障碍以及缺陷。
发明内容
一方面包括一种用于确定物理空间中的光流的方法，包括确定物理空间中的多个特殊特征点的光流速度，其中所述特殊特征点在RGB图像数据中识别，以及其中与所述特殊特征点相关联的深度数据用于获取物理空间中的单位。在一个实施方式中，所述RGB图像数据通过RGB相机获取。在另一实施方式中，所述深度数据通过超声传感器阵列获取。
在进一步的实施方式中，所述方法还包括使用RGB相机组件和第一超声阵列生成第一RGB-D图像。在更进一步的实施方式中，所述方法还包括识别所述第一RGB-D图像的RGB部分中的多个特殊兴趣点。在一个实施方式中，所述方法还包括使用RGB相机组件和所述第一超声阵列生成第二RGB-D图像。
在另一实施方式中，所述方法还包括通过比较所述第一和第二RGB-D图像的RGB部分以确定所述特殊特征点的一部分的像素速度。在进一步的实施方式中，所述方法还包括使用所述第一和第二RGB-D图像中的深度数据转换所述特殊特征点的一部分的所确定的像素速度至物理空间中的速度。在又一实施方式中，所述方法还包括使用所述RGB相机组件和所述第一超声阵列生成第三RGB-D图像。
在一个实施方式中，所述方法进一步包括通过比较第二和第三RGB-D图像的RGB部分以确定所述特殊特征点的一部分的像素速度。在另一实施方式中，所述方法还包括使用所述第二和第三RGB-D图像的深度数据转换所述特殊特征点的一部分的所确定的像素速度至物理空间中的速度。
在一个实施方式中，所述方法还包括从RGB相机组件接收所述RGB图像数据；从第一超声阵列接收对应于所述RGB图像数据的第一部分的第一深度图数据集；从第二超声阵列接收对应于所述RGB图像数据的第二部分的第二深度图数据集；以及组合所述相对应的深度图数据集以及RGB图像数据以生成第一RGB-D图像。
在另一实施方式中，所述方法包括对齐所述RGB图像数据和所述第一和第二深度图数据集。在进一步的实施方式中，所述方法还包括剪切所述第一和第二深度图数据集。在更进一步的实施方式中，所述剪切所述第一和第二深度图数据集包括剪切所述第一深度图数据集中与所述RGB图像数据不对应的第一部分以及剪切所述第二深度图数据集中与所述RGB图像数据不对应的第二部分。
在一个实施方式中，所述方法还包括通过波束成形处理从所述超声阵列接收到的深度图数据。在另一实施方式中，所述第一和第二深度图数据集具有低于所述RGB图像数据的分辨率的分辨率。在进一步的实施方式中，所述方法还包括上采样所述深度图数据至较高分辨率，所述较高分辨率等于所述RGB图像数据的分辨率。在更进一步的实施方式中，所述方法包括使用加速分割检测特征(FAST)算法用于RGB数据中的拐角检测。在一个实施方式中，所述方法还包括使用二进制稳健独立基本特征(BRIEF)算法以识别所述RGB数据的特征描述符。
另一方面包括一种用于确定物理空间中的光流的系统，其中所述系统实施以上所讨论的任一种方法。进一步的方面包括用于确定物理空间中的光流的计算机程序产品，所述计算机程序产品被编码于一个或多个机器可读存储介质上且包括用于执行以上所讨论任一方法的指令。更进一步的方面包括计算机程序产品，其中以上所述的确定物理空间中的光流的方法提供作为系列指令存储在非暂时性存储介质中。
一方面包括用于确定物理空间中的光流的计算机程序产品，所述计算机程序产品被编码于非暂时性机器可读存储介质上且具有用于生成第一RGB-D图像的指令，用于识别所述第一RGB-D图像的RGB部分中的多个特殊兴趣点的指令；用于生成第二RGB-D图像的指令；用于通过比较第一和第二RGB-D图像的RGB部分以确定所述特殊特征点的一部分的像素速度的指令；以及用于使用所述第一和第二RGB-D图像的深度数据转换特殊特征点的一部分的所确定的像素速度至物理空间中的速度的指令。
另一方面包括光流成像系统，所述光流成像系统包括：第一超声传感器阵列；红绿蓝(RGB)相机；以及处理模块，所述处理模块用于确定物理空间中的多个特殊特征点的光流速度，其中所述特殊特征点在RGB图像数据中识别，以及其中与所述特殊特征点相关联的深度数据用于获取物理空间中的单位。
进一步的方面包括光流成像系统，所述光流成像系统包括：外壳；深度传感器；设置在所述外壳上且可操作地连接至所述第一超声传感器阵列的红绿蓝(RGB)相机组件，所述RGB相机包括光敏成像芯片和镜头；以及处理模块，所述处理模块配置用于确定物理空间中的多个特殊特征点的光流速度，其中所述特殊特征点在所述RGB图像数据中识别，以及其中与所述特殊特征点相关联的深度数据用于获取物理空间中的单位。
在一个实施方式中，所述深度传感器包括第一超声传感器阵列，所述第一超声传感器阵列具有超声发射器和多个超声传感器。在另一实施方式中，所述第一超声传感器阵列可设置在外壳上。在一个实施方式中，所述第一超声阵列和所述光敏成像芯片设置在所述外壳上的平行平面中。在另一实施方式中，所述第一超声传感器阵列和光敏成像芯片设置在所述外壳上的平行平面中，距离10cm或更少。
在进一步的实施方式中，所述超声传感器以具有行和列的矩阵配置设置在基板上，以及所述超声发射器设置在矩阵配置内的行与列之间。更进一步的实施方式包括设置在所述外壳内且可操作地连接至所述第一超声传感器阵列和所述RGB相机组件的处理器和存储器。
一个实施方式包括设置在所述外壳上的显示器。另一实施方式包括设置在所述外壳上且可操作地连接至所述第一超声传感器阵列和所述RGB相机组件的第二超声传感器阵列。在进一步的实施方式中，所述第一和第二超声阵列和所述光敏成像芯片设置在所述外壳上的平行平面中。在更进一步的实施方式中，所述第一和第二超声阵列和所述光敏成像芯片呈线性配置设置，所述光敏成像芯片设置在所述第一和第二超声阵列之间。
一个实施方式包括多个成对的超声传感器阵列，每一各自成对超声传感器阵列设置于不同的平行平面中。在另一实施方式中，所述RGB相机组件包括红外截止滤波器。在进一步的实施方式中，所述RGB相机组件包括红外通过滤波器，且其中所述光敏成像芯片配置用于检测所述红外光。
在一个实施方式中，所述处理模块配置用于识别RGB-D图像的RGB部分中的多个特殊兴趣点。在更进一步的实施方式中，所述处理模块配置用于通过比较所述第一和第二RGB-D图像的RGB部分确定所述特殊特征点的一部分的像素速度。在另一实施方式中，所述处理模块配置用于使用所述第一和第二RGB-D图像的深度数据转换所述特殊特征点的一部分的所确定的像素速度至物理空间中的速度。
在一个实施方式中，所述处理模块配置用于使用加速分割检测特征(FAST)算法用于RGB图像数据中的拐角检测以识别一个或多个特殊特性点。在另一实施方式中，所述处理模块配置用于使用二进制稳健独立基本特征(BRIEF算法)以识别所述RGB图像数据中的特征描述符。在进一步的实施方式中，所述RGB图像数据是RGB-D图像的一部分。
一方面包括移动平台，所述移动平台包括根据以上所讨论任一实施方式的光流成像系统。在一个实施方式中，所述移动平台为无人飞行器。在另一实施方式中，所述处理模块配置用于基于所述确定的光流速度进行所述移动平台导航。
附图说明
图1是图示光流成像系统的实施方式的示例性顶层图。
图2是图示组合深度数据与RGB数据的实施方式的示例性图。
图3是图示组合深度数据与RGB数据的备选实施方式的示例性图。
图4是图示图1的光流成像系统的备选实施方式的示例性前视图，其中光流成像系统包括一个RGB相机系统和一个超声深度传感器。
图5是图示图4的光流成像系统的视野的示例性俯视图。
图6是图示根据实施方式生成RGB-D图像的方法的实施方式的示例性流程图。
图7是图示图1的光流成像系统的另一备选实施方式的示例性前视图，其中所述光流成像系统包括一个RGB相机系统以及两个超声深度传感器。
图8是图示图7的光流成像系统的视野的示例性俯视图。
图9是图示根据实施方式生成RGB-D图像的方法的实施方式的示例性流程图。
图10图示包括多个光流成像系统的RGB-D成像组件的实施方式。
图11是图示根据实施方式生成RGB-D图像的方法的实施方式的示例性流程图。
图12图示第一与第二图像之间的旋转圈的二维光流的示例，其中所述图像捕捉装置保持静止。
图13图示所述图像捕捉装置相对于静止球体旋转产生的二维和三维光流图像的示例。
图14是图示根据实施方式确定物理空间中的光流的方法的实施方式的示例性流程图。
图15是图示根据实施方式将像素距离的光流转换至真实世界距离的光流的方法的实施方式的示例性流程图。
图16图示包括图1的光流成像系统的无人飞行器(UAV)的实施方式。
图17图示图16的UAV的备选实施方式，其中所述UAV包括多个光流成像系统。
应当注意的是，所述图示不是依照比例绘制，且在所有图示中为图示目的，具有相似结构或功能的元件通常采用相类似的参考数字来表示。还应当注意的是，所述图示仅用于便于描述优选实施方式的目的。所述图示没有图示所描述的实施方式的每一方面，且不限制本公开的范围。
具体实施方式
由于现有的光流成像系统和方法不能在广泛的操作条件下工作，诸如室外太阳光照下，且常规的光流方法仅能提供像素空间的速度且不能提供物理空间的速度，包括超声深度(或距离)感测的光流成像系统可证明是期望的且可为广范围的成像应用提供基础，诸如空间成像、导航、三维映射以及其类似应用。
对照常规的光流成像系统，使用波束成形的超声阵列可获取包括深度信息的三维地图而不受环境光的干扰。另外，超声传感器实质上使用比使用红外传感器的光流系统更少的能量，且因此可期望用于移动或活动平台，诸如无人飞行器(UAV)以及其类似平台。根据本文公开的一个实施方式，可以由图1所示的光流成像系统100实现这些结果。
参照图1，所述光流成像系统100被示出包括超声传感器阵列110以及RGB相机组件130，所述超声传感器阵列110可操作地连接至成像装置120，所述RGB相机组件130可操作地连接至所述成像装置120。
在各个实施方式中，所述超声传感器阵列110可包括设置在基板113上的多个超声传感器112，所述多个超声传感器112呈由多个R行和C列定义的矩阵114。一个或多个超声发射器111可设置在所述基板113上矩阵114内超声传感器112的R行和C列之间。在进一步的实施方式中，一个或多个超声发射器111可设置在所述矩阵114外关于光流成像系统100的任意合适的位置。例如，一个或多个超声发射器111可设置在与矩阵114相同、平行平面或与矩阵114分开的平面。
在一些实施方式中，所述基板113可包括单个超声发射器111或任意合适多个超声发射器111，所述超声发射器111以任意期望或合适配置布置或设置在所述基板113上。另外和/或备选地，所述基板113可包括任意合适多个超声传感器112，所述超声传感器112以任意期望或合适配置布置或设置，可以是或可以不是矩阵114配置。在各个实施方式中，所述超声传感器阵列110可包括压电换能器、电容换能器、磁致伸缩材料或其类似物。因此，在各个实施方式中，可采用提供用于传输和/或感测任意合适频率的声波的任意合适阵列而不受限制。
所述相机组件130可包括镜头131，所述镜头131配置用于将光132聚焦在像素134的光感测阵列(或芯片)133上，所述像素134的光感测阵列(或芯片)133将接收到的光132转换成信号，所述信号定义本文所讨论的图像。尽管所述镜头131被描绘为数字单镜头反射(DSLR)镜头，但是任意合适类型的镜头都可以被使用。例如，所述镜头131，在一些实施方式中，所述镜头131可包括任意合适的镜头系统，包括针孔镜头、生物学镜头、简单的凸透镜或其类似物。另外，根据各个实施方式，所述镜头可配置有某些成像性质，包括宏观镜头、变焦镜头、长焦镜头、鱼眼镜头、广角镜头或类似物。
虽然所述相机系统130可用于检测所述可见光谱中的光并据此生成图像，但是在一些实施方式中，所述相机系统130可以用于检测其他波长的光，包括X射线、红外光、微波或其类似物。另外，所述相机系统130可包括一个或多个滤波器。例如，所述相机系统130可包括红外截止滤波器，所述红外截止滤波器实质上以可期望用于RGB-D系统在红外干扰成为问题的环境中的操作的方式过滤掉红外波长。在另一示例中，所述相机系统130可包括红外通过滤波器，其实质上可过滤掉除红外波长外的所有波长，且所述光感测阵列或芯片133可配置用于感测红外波长。
所述相机系统130也可适用于静止图像、视频图像以及三维图像或类似物。因此，本公开不应当解释为被限定至本文所示和描述的示例相机系统130。
如图1所示，所述成像装置120可包括处理器121、存储器122以及显示器123。所述相机系统130和超声传感器阵列110能够操作地连接至所述成像装置120，从而所述相机系统130和超声传感器阵列110生成的图像(或数据)可被所述处理器121处理和/或存储在所述存储器122中。所处理的图像可呈现在所述显示器123上。
在进一步的实施方式中，所述处理器121、存储器122以及显示器123中的任一个都可存在多个和/或可缺省。例如，在一些实施方式中，所述光流成像系统100不包括显示器123，且本文所讨论所产生的图像可被发送至另一个计算装置或显示器，其中这样的图像可呈现。
在一些实施方式中，所述相机系统130、成像装置120以及超声传感器阵列110中的任一个都可以存在任意合适的多个。例如，如本文详细讨论且如图4中所示的，所述光流成像系统100的一个实施方式100A可包括一个相机系统130以及一个超声传感器阵列110。在另一示例中，如本文详细讨论且如图7所示，所述光流成像系统100的一个实施方式100B可包括一个相机系统130和两个超声传感器阵列110。另外，一个或多个光流成像系统100可设置在UAV 1300上，如图16和图17所示。
在进一步的示例中，如本文详细讨论，且如图10以及图17所示，三维成像系统800可包括多个光流成像系统100，每一光流成像系统100包括一个相机系统130以及一个或多个超声传感器阵列110。在这样的实施方式中，每一光流成像系统100可与独立的成像装置120(如图1所示)相关联，或每一光流成像系统100可与中央或公共成像装置120相关联。换句话说，相机系统130以及超声传感器阵列110的相关联集合中的每一个均可与成像装置120相关联和/或可操作地与中央或公共成像装置120相连接。
如本文详细讨论，光流成像系统100可配置用于生成RGB-D图像。例如，参看图1、图2以及图3，所述相机系统130可配置用于生成RGB三元组图像210，所述三元组图像210包括红、绿和蓝值211R、211G、211B的像素阵列。所述超声传感器阵列110可配置用于生成深度图阵列220。如本文详细讨论，所述RGB三元组图像210以及深度图阵列220可组合生成RGB-D四元组图像230，所述四元组图像230包括红、绿和蓝值211R、211G、211B以及深度图阵列220的像素阵列。因此，所述RGB-D四元组图像230的每一像素位置与红色值(R)、绿色值(G)以及蓝色值(B)还有深度或距离值(D)相关联，所述深度或距离值(D)对应与所述超声传感器阵列110或光流成像系统100的距离。
在一些实施方式中，如图2所描绘，所述RGB三元组图像210以及深度图阵列220可具有同样的分辨率和大小(即，针对定义的图像大小具有同样数量的像素)。在这样的实施方式中，所述RGB三元组图像210和深度图阵列220可以图2所示的方式合并在一起。
但是，在一些实施方式中，如图3所描绘，所述RGB三元组图像210和深度图阵列320可具有不同的分辨率(即，针对定义的图像大小具有不同数量的像素)。例如，图3中的红、绿和蓝值211R、211G、211B的像素阵列是8x8像素，图像大小为N1xM1，而所述深度图阵列320是4x4像素，图像大小为N2xM2。在N1＝N2和M1＝M2的实施方式中，所述RGB三元组图像210和/或深度图阵列320可被修改以组合形成所述RGB-D四元组图像230。在图3所示的示例中，所述深度图阵列320可被上采样至8x8像素，图像大小为N3xM3。结果是所述低分辨率深度图阵列320中的像素321的距离值被用来与所述RGB-D四元组图像230中存在的上采样深度图阵列340中存在的被高亮显示的四个像素的集合323中的像素322相关联。
在此示例中，所述低分辨率4x4深度图阵列320上采样至所述高分辨率8x8深度图阵列340产生完全的上采样，假定像素321可被完全地划分为四个像素323。但是，在进一步的实施方式中，低分辨率深度图阵列320的转换可需要在上采样期间插值某些像素(例如，上采样4x4图像至11x11图像，或类似)。在这样的实施方式中，任何合适的插值方法可被使用，其可包括最相邻法、双线性法、双三次法、双三次平滑法、双三次锐化法以及类似法。
在一些实施方式中，距离值的插值可基于所述距离值。换句话说，对于较大距离相比较小差，插值可被不同地处理。例如，在距离值指示物体位于远背景(例如，山脉，云端)的情况下，插值相较前景物体或接近所述光流成像系统100的物体可是不同的。在一些实施方式中，RGB三元组图像210和/或深度图阵列220可被重采样，且所述RGB三元组图像210和/或深度图阵列220的重采样方法可基于所述距离值。
尽管一些实施方式包括RGB三元组图像210和深度图阵列320，其中N1＝N2，且M1＝M2，但在进一步的实施方式中，所述RGB三元组图像210和深度图阵列320可具有不同大小。例如，在一些实施方式中，所述RGB三元组图像210可大于所述深度图阵列320。在其他实施方式中，所述RGB三元组图像210可小于所述深度图阵列320。另外，在各个实施方式中，M3/N3的比率可与M1/N1的比率和/或M2/N2的比率相同；然而，在其他实施方式中，M3/N3的比率可不同于M1/N1的比率和/或M2/N2的比率。
所述光流成像系统100可体现为各种合适的方式，例如，如图4所描绘，一个实施方式100A包括设置在外壳401上的超声传感器阵列110和相机系统130。参看图4，所述成像装置120(如图1所示)可设置在所述外壳401内和/或所述外壳401上。例如，所述处理器121(如图1所示)和存储器122(如图1所示)可设置在所述外壳401内合适的位置处，且所述显示器123(如图1所示)可设置在所述外壳401的合适部位上。
图5是图示图4的光流成像系统的视野的示例性俯视图。如图4和图5所描绘，所述超声传感器阵列110和光敏成像芯片133可并排设置在所述外壳401上公共的和/或平行的平面上。在优选的实施方式中，所述超声传感器阵列110以及光敏成像芯片133间隔不大于10cm的距离。如本文所使用的，所述术语‘公共的平面’以及‘平行的平面’不意在是同义词，且这些术语意在是有区别的。
所述超声传感器阵列110可具有由边411A、411B定义的视野413，且所述光敏成像芯片133可具有由边412A、412B定义的视野414。如图5所示，所述视野413、414可能偏移。换句话说，由于所述成像芯片133和所述超声传感器阵列110在所述外壳上的物理距离，所述光敏成像芯片133和所述超声传感器阵列110生成的图像可以是不完全相同的。在此示例实施方式中，所述视野413、414相对表面410示出，且包括重叠部415以及各自的偏移部420A、420B，其中所述视野不重叠。更具体地，所述偏移部420A出现在所述超声传感器阵列的视野413中，但不出现在所述光敏成像芯片的视野414中；然而，所述偏移部420A出现在所述光敏成像芯片的视野414中，但不出现在所述超声传感器阵列的视野413中。
重叠部415可采用各种合适的方式进行识别和/或确定。例如，在一个实施方式中，所述重叠部415的大小可以是已知的(或假定的)，且非重叠部420可基于已知(或假定)的大小被自动剪裁掉。在进一步的实施方式中，图像可通过任何合适的机器视觉和/或图像处理方法进行对齐。例如，在一个实施方式中，加速分割检测特征算法(FAST算法)可被用于图像中的拐角检测以识别一个或多个特殊特性点。二进制稳健独立基本特征算法(BRIEF算法)可被用来识别图像的特征描述符。所述两图像的被识别描述符之间的汉明距离(Hammingdistance)可被用来识别第一图像与第二图像的重叠区域。
因此，所述成像芯片133和超声传感器阵列110生成的各自图像与距离地图可包括互相不对应的部分，其在这些图像与距离地图被组合形成RGB-D图像时可是不期望的。换句话说，对于RGB-D图像，为了准确地指示给定像素处的距离值，图像和距离地图可能需要被对齐使得正确的距离值对应到正确的RGB像素。在一些实施方式中，偏移距离和偏移420A、420B可被视为可忽略的，且图像与距离地图可以不对齐。在进一步的实施方式中，在所述偏移距离实质上是常数的情况下，图像与距离地图可基于已知(或定义)距离对齐。例如，在所述传感器阵列110和光敏成像芯片133设置在平行平面上的实施方式中，所述传感器阵列110和光敏成像芯片133之间的几何距离可被包括在用于对齐的已知或定义的距离内。类似地，在所述传感器阵列110和光敏成像芯片133设置在公共平面上的情况下，所述传感器阵列110和光敏成像芯片133之间的几何距离可包括在用于对齐的已知或定义的距离内。
但是，在偏移距离发生变化时(例如，因目标物体与所述成像系统100的距离，环境条件，或类似因素)的情况下，对齐可基于距离地图的距离值来执行。在所述偏移基于距离发生变化的一些实施方式中，可期望识别视野内的感兴趣物体以及优化图像与距离地图的对齐以使得感兴趣物体被更准确地对齐。例如，可以确定在1米距离处的前景物体为感兴趣物体且超出20米远的背景物体是不太重要的。因此，对齐可以是针对1米距离而不是20米距离优化，使得对应于前景物体的距离数据相较背景距离数据更准确且对齐。
确定感兴趣物体可采用任何合适的方式进行，且可基于各种设置(例，特写镜头、中距离、远处、人物、风景或类似物)。这样的感兴趣物体可基于合适的机器视觉和/或人工智能方法或类似方式来识别。在进一步的实施方式中，对齐所述图像与距离地图可使用特征检测、提取和/或匹配算法进行，诸如RANSAC(随机抽样一致)、Shi&Tomasi拐角检测、SURF(加速稳健特征)斑点检测、MSER(最大稳定极值区域)斑点检测、SURF(加速稳健特征)描述符、SIFT(尺度不变特征变换)描述符、FREAK(快速视网膜关键点)描述符、BRISK(二进制稳健不变尺度关键点)检测器、HOG(方向梯度直方图)描述符或类似方法。
在各种实施方式中，可期望剪切掉图像和/或距离地图中互相不对应的部分。例如，如图5所示，对于物体410捕捉的图像，部分420A、420B可以从各自的图像和距离地图中切除，以保留重叠部415。
图6图示根据实施方式产生RGB-D图像的示例性方法500。所述方法500开始于方框510，其中从RGB相机组件130(如图1和图4所示)接收RGB图像数据，以及在方框520中，从超声阵列110(如图1和图4所示)接收对应于所述RGB图像数据的一部分的深度图数据。
在方框530中，所述RGB图像数据和所述深度图数据被对齐。在方框540中，所述RGB图像数据中没对应到所述深度图数据的部分被剪切掉，以及在方框550中，所述深度图数据中没对应到所述RGB数据的部分被剪切掉。在方框560中，所述深度图数据被上采样以匹配所述RGB图像数据的分辨率，以及在方框570中，对应的深度图数据和RGB图像数据组合以生成RGB-D图像。
如图7所描绘，光流成像系统100的另一实施方式100B包括设置在外壳601上的第一和第二超声传感器阵列110A、110B和相机系统130。所述成像装置120(如图1所示)可设置在所述外壳601内和/或所述外壳601上。例如，所述处理器121(如图1所示)和存储器122(如图1所示)可设置在所述外壳601内，以及所述显示器123(如图1所示)可设置在所述外壳601的合适部位上。
如图7和图8所描绘，所述超声传感器阵列110和光敏成像芯片133可并排以线性配置设置在所述外壳401上的平行的或公共的平面上，所述光敏成像芯片133设置于所述第一和第二超声阵列110A、110B之间。在优选实施方式中，所述光敏成像芯片133与各自的超声传感器阵列110间隔不大于10cm的距离。
以上面参考图5详细讨论的方式，所述超声传感器阵列110A、110B可具有分别由边611C、611D以及611A、611B定义的视野613A、613B。所述光敏成像芯片133可具有由边612A、612B定义的视野614。如图8所示，所述视野613A、613B、614可能是偏移的。换句话说，由于所述成像芯片133和超声传感器阵列110在所述外壳601上的物理距离，所述光敏成像芯片133和超声传感器阵列110生成的图像可能不完全相同。在此示例实施方式中，所述视野613A、613B、614相对表面610示出，且包括重叠部615以及偏移部620A、620B，其中所述视野613A、613B、614不重叠。更具体地说，所述偏移620A、偏移620B都没有出现在所述光敏成像芯片的视野614中；然而，所述重叠部615包括来自所述成像芯片视野614的对应图像数据和来自所述阵列视野613A、613B中的一个或两个中的深度图数据。
图9图示根据实施方式生成RGB-D图像的方法700。所述方法700开始于方框710，其中从RGB相机组件130(如图1与图7所示)接收所述RGB图像数据。在方框720中，从第一超声阵列110A(如图1与图4所示)接收对应于所述RGB图像数据的一部分的第一深度图数据集；以及在方框730中，从第二超声阵列110A(如图1与图7所示)接收对应于所述RGB图像数据的一部分的第二深度图数据集。
在方框740中，所述RGB图像数据和所述深度图数据被互相对齐。在方框750中，所述深度图数据集中不对应于所述RGB图像数据的一部分被切除，以及在方框760中，所述深度图数据集被上采样以匹配所述RGB图像数据的分辨率。因此，在各种实施方式中，所述第一和第二深度图数据集中的一个或两个具有低于所述RGB图像数据分辨率的分辨率。在方框770中，所述对应的深度图数据集和所述RGB图像数据被组合以生成RGB-D图像。
图10图示RGB-D成像组件800的实施方式，所述RGB-D成像组件800包括设置在所述外壳801的各自面802上的多个光流成像系统100。虽然仅出于图示目的图10的所述示例实施方式800被示出为是具有八个面802的八边形外壳801，每个面802上设置各自的成像系统100，但在各种飞机中，所述RGB-D成像组件800可包括任意合适数量的面802和/或设置在面802上的任意合适数量的成像系统100。类似地，如图17所示，多个成像系统100可设置在UAV1300上。
将多个成像系统100设置在不同飞机上可以是期望的，因为该多个成像系统100使生成由多个RGB图像数据和多个距离地图数据组成的全景和/或三维RGB-D图像。另外，虽然仅用于图示目的图10的所述RGB-D成像组件800描绘了所述成像系统100被设置在公共或平行平面上的公共高度处，但所述RGB-D成像组件800可包括外壳，其可包括规则和/或不规则多面体或类似物。
图11图示根据实施方式产生RGB-D图像的方法900的实施方式。所述方法900开始于方框910，其中接收多个RGB图像，每个来自各自RGB相机组件130(如图1所示)。在方框920中，从分别与RGB相机组件130之一相关联的多个超声阵列110(如图1所示)接收多个深度图集，以及在方框930中，所述RGB图像和所述深度图数据集被对齐。在方框940中，所述RGB图像中没对应到所述深度图数据集的部分被切除；以及在方框950中，所述深度图数据集中没对应到所述RGB图像的部分被切除。在方框960中，所述深度图数据集被上采样以匹配所述RGB图像的分辨率，以及在方框970中，对应的深度图数据集和RGB图像被组合以生成连续的RGB-D图像。
参照图12和图13，光流是一系列图像中的物体、表面以及边的视运动的图案，所述图案由所述相机组件130和/或超声传感器阵列110之间的相对运动引起。例如，图12描绘了第一和第二图像1010、1020，其均包括圆1011。拍摄所述图像1010、1020的所述相机是静止不动的。在所述第一图像1010中，所述圆1011在第一位置，以及在所述第二图像1020中所述圆1011在相对第一图像1010顺时针旋转后的第二位置。描绘所述第一和第二图像1030之间的光流的光流图像1030描绘多个矢量箭头1031，所述矢量箭头1031示出了所述圆1011从所述第一图像1010到所述第二图像1020的视运动。此处，由于仅仅所述圆在旋转，所述矢量箭头仅仅图示了所述圆的视运动；然而，所述背景没有运动，因为图12的示例中所述相机是静止的。
但是，如图13所描绘，假定球体1041是静止不动的，但是所述观察者相机绕轴1042相对所述球体1041顺时针旋转，如图示1040所描绘。所述球体1041的所得三维光流图1050通过多个矢量箭头1052图示。类似地，二维光流图1060也通过多个矢量箭头1061图示。
但是，通过比较序列图像计算光流可仅仅根据像素提供光流矢量，而没有根据真实世界的距离。虽然根据像素的光流速度对于确定图像中的相对光流可是有用的，但是当期望真实世界环境内的情景时，这样的光流确定价值有限。因此，各种实施方式提供通过超声阵列110(如图1所示)所获取的深度数据将根据像素的光流速度转换至真实世界距离的光流速度。
例如，图14图示根据一个实施方式的光流方法1100。所述方法1110开始于方框1110，其中第一RGB-D图像被获取。RGB-D图像可根据本文所述般生成和/或可通过任意其他合适的RGB-D图像生成方法或系统来生成。
在方框1120中，在所述第一RGB-D图像中识别多个特殊特征点。例如，在一个实施方式中，加速分割检测特征算法(FAST算法)可被用于所述第一图像中的拐角检测以识别一个或多个特殊特性点。二进制稳健独立基本特征算法(BRIEF算法)可被用来识别图像的特征描述符。
在方框1130中，第二RGB-D图像被获取。再次，RGB-D图像可根据本文所描述般生成和/或可通过任意其他合适的RGB-D生成方法或系统来生成。
在方框1140中，通过比较所述第一和第二图像1010、1020中的RGB部分来确定所述特殊特征点的一部分的像素速度。换句话说，所述特殊特征点的移动可通过追踪所述图像1010、1020之间的特殊特征点以及确定所述特殊特征点在所述第一和第二图像1010、1020之间移动的像素距离来识别。这样的光流计算可采用任意合适的方式执行，包括相位相关法、基于块的方法、微分法、离散优化法以及类似方法。
在方框1150中，使用与所述特殊特征点上的像素位置相关联的深度数据将所述特殊特征点的像素速度转换为物理空间中的速度。
例如，图15图示所述RGB-D图像的深度数据可被用来针对像素空间中从第一位置1201移动至第二位置1202的特殊特征将像素速度转换至物理空间中的速度的一种方式。如图15所描绘，V是物理空间中的速率；u是所述图像上的像素速率；h为通过超声阵列所测量的物体的像素点处的距离；以及F为所述相机机头1210的焦距。基于相似三角形原理，V/u＝h/F。因此，V＝u*h/F，这提供物理空间中的速率。
在各种实施方式中，物理空间的光流可基于所捕捉的视频或一系列图像实时地或带有延迟地确定。因此，虽然如上所讨论的示例图示通过比较第一图像和第二图像来确定物理空间的光流，但是，可在第一图像和第二图像之间、第二图像和第三图像之间、第三图像和第四图像之间、第四图像和第五图像之间以及类似计算物理空间的光流。
在各种实施方式中，所计算的物理空间的光流可以各种合适和期望的方式使用。在一个实施方式中，光流数据可用于3D建模或用于移动平台(诸如无人飞行器1300(UAV)(如图16以及图17所示))的导航或类似用途。例如，物理空间的光流数据可用于定位，所述定位可替代和/或增强GPS或其他定位系统。另外，本文所讨论任何方法可以软件产品体现，所述软件产品可以存储作为一系列指令存储在任何常规的存储介质中，诸如非暂时性存储介质，和/或可操作地在所述处理器121(如图1所示)或其他合适的操作环境上运行。
所描述的实施方式容许各种修改以及备选形式，以及通过图示以及本文详细描述已以示例方式示出了特定的示例。但是，应当可以理解的是，所描述的实施方式并不仅限定至所公开的特定的形式或方法，反之，本公开应当涵盖所有的修改、等效以及备选。
Claims (61)
1.一种确定物理空间中的光流的方法，其包括：
确定物理空间中的多个特殊特征点的光流速度，
其中所述特殊特征点在RGB图像数据中识别，以及
其中与所述特殊特征点相关联的深度数据用于获取物理空间中的单位。
2.如权利要求1所述的方法，其中所述深度数据指示所述特殊特征点中每个的各自距离值。
3.如权利要求1或权利要求2所述的方法，其中所述确定物理空间中的光流速度包括：
确定每一特殊特征点的像素速率；以及
使用所述深度数据以及所述像素速率确定每一特殊特征点的物理速率。
4.如权利要求1至3中任一项所述的方法，其进一步包括：
使用与在所述RGB图像数据中描绘的物理物体相关联的一个或多个特殊特征点的所确定的物理速率确定所述物理物体的速率。
5.如权利要求1至4中任一项所述的方法，其中所述RGB图像数据通过RGB相机获取。
6.如权利要求1-5中任一项所述的方法，其中所述深度数据通过距离传感器获取。
7.如权利要求1-6中任一项所述的方法，其进一步包括使用RGB相机组件以及第一超声阵列生成第一RGB-D图像。
8.如权利要求7所述的方法，其进一步包括识别所述第一RGB-D图像的RGB部分中的所述多个特殊特征点。
9.如权利要求8所述的方法，其进一步包括使用所述RGB相机组件以及所述第一超声阵列生成第二RGB-D图像。
10.如权利要求9所述的方法，其进一步包括通过比较所述第一和第二RGB-D图像的所述RGB部分确定所述特殊特征点的一部分的像素速度。
11.如权利要求10所述的方法，其进一步包括使用所述第一和第二RGB-D图像的深度数据转换所述特殊特征点的所述部分的所确定的像素速度至物理空间中的速度。
12.如权利要求1-11中任一项所述的方法，其进一步包括对齐所述RGB图像数据与所述深度数据。
13.如权利要求1-12中任一项所述的方法，其进一步包括剪切所述深度数据。
14.如权利要求13所述的方法，其中所述剪切所述深度数据包括剪切所述深度数据中与所述RGB图像数据不对应的第一部分。
15.如权利要求1-14中任一项所述的方法，其进一步包括：
从RGB相机组件接收RGB图像数据；
从第一超声阵列接收与所述RGB图像数据的第一部分相对应的第一深度图数据集；
从第二超声阵列接收与所述RGB图像数据的第二部分相对应的第二深度图数据集；以及
组合所述相对应的深度图数据集与RGB图像数据以生成第一RGB-D图像。
16.如权利要求15所述的方法，其进一步包括对齐所述RGB图像数据以及所述第一和第二深度图数据集。
17.如权利要求15或权利要求16所述的方法，其进一步包括剪切所述第一和第二深度图数据集。
18.如权利要求17所述的方法，其中所述剪切所述第一和第二深度图数据集包括剪切所述第一深度图数据集中与所述RGB图像数据不对应的第一部分和剪切所述第二深度图数据集中与所述RGB图像数据不对应的第二部分。
19.如权利要求18所述的方法，其进一步包括通过波束成形处理从所述超声阵列接收到的深度图数据。
20.如权利要求19所述的方法，其中所述第一和第二深度图数据集具有低于所述RGB图像数据的分辨率的分辨率。
21.如权利要求1-20中任一项所述的方法，其进一步包括上采样所述深度图数据至较高分辨率，所述较高分辨率与所述RGB图像数据的所述分辨率相等。
22.如权利要求1-21中任一项所述的方法，其进一步包括使用加速分割检测特征(FAST)算法用于所述RGB数据中的拐角检测以识别所述特殊特征点中的一个或多个。
23.如权利要求1-22中任一项所述的方法，其进一步包括使用二进制稳健独立基本特征(BRIEF)算法识别所述RGB数据中与所述特殊特征点中的一个或多个相关联的特征描述符。
24.一种用于确定物理空间中的光流的计算机程序产品，所述计算机程序产品被编码于非暂时性机器可读存储介质上且包括：
用于生成第一RGB-D图像的指令；
用于识别所述第一RGB-D图像的RGB部分中的多个特殊特征点的指令；
用于生成第二RGB-D图像的指令；
用于通过比较所述第一和第二RGB-D图像的所述RGB部分确定所述特殊特征点的一部分的像素速度的指令；以及
用于使用所述第一和第二RGB-D图像的深度数据转换所述特殊特征点的所述部分的所确定的像素速度至物理空间中的速度的指令。
25.一种光流成像系统，其包括：
第一超声传感器阵列；
红绿蓝(RGB)相机；以及
处理模块，所述处理模块用于确定多个特殊特征点在物理空间中的光流速度，
其中所述特殊特征点在RGB图像数据中识别，以及
其中与所述特殊特征点相关联的深度数据用于获取物理空间中的单位。
26.一种光流成像系统，其包括：
距离传感器；
红绿蓝(RGB)相机组件，所述RGB相机组件可操作地连接至所述第一超声传感器阵列，所述RGB相机包括：
光敏成像芯片；以及
镜头；以及
处理模块，所述处理模块配置用于确定物理空间中多个特殊特征点的光流速度，
其中所述特殊特征点在RGB图像数据中识别，以及
其中与所述特殊特征点相关联的深度数据用于获取物理空间中的单位。
27.如权利要求26所述的光流成像系统，其进一步包括外壳，以及其中所述距离传感器和所述RGB相机组件设置于所述外壳上。
28.如权利要求26或27所述的光流成像系统，其中所述距离传感器和所述光敏成像芯片设置于所述外壳上的平行平面中。
29.如权利要求26-28中任一项所述的光流成像系统，其中所述距离传感器以及光敏成像芯片设置于所述外壳上的平行平面中，距离10厘米或更少。
30.如权利要求26-29中任一项所述的光流成像系统，其中所述距离传感器包括第一超声传感器阵列。
31.如权利要求30所述的光流成像系统，其中所述第一超声传感器阵列包括：
超声发射器；以及
多个超声传感器。
32.如权利要求31所述的光流成像系统，
其中所述超声传感器以具有行和列的矩阵配置设置于基板上，以及
其中所述超声发射器设置于所述矩阵配置内的所述行和列之间。
33.如权利要求27-32中任一项所述的光流成像系统，其中所述处理模块包括设置于所述外壳内且可操作地连接至所述第一超声传感器阵列和所述RGB相机组件的处理器和存储器。
34.如权利要求27-33中任一项所述的光流成像系统，其进一步包括设置于所述外壳上的显示器。
35.如权利要求26-34中任一项所述的光流成像系统，其中所述距离传感器包括多个成对的超声传感器阵列，每一各自成对的超声传感器阵列设置于不同的平行平面中。
36.如权利要求26-35中任一项所述的光流成像系统，其中所述RGB相机组件包括红外截止滤波器。
37.如权利要求26-36中任一项所述的光流成像系统，其中所述RGB相机组件包括红外通过滤波器，以及其中所述光敏成像芯片配置用于检测红外光。
38.如权利要求26-37中任一项所述的光流成像系统，其中所述处理模块配置用于识别RGB-D图像的RGB部分中的多个特殊特征点。
39.如权利要求38所述的光流成像系统，其中所述处理模块配置用于通过比较第一和第二RGB-D图像的所述RGB部分确定所述特殊特征点的一部分的像素速度。
40.如权利要求39所述的光流成像系统，其中所述处理模块配置用于使用所述第一和第二RGB-D图像的深度数据转换所述特殊特征点的所述部分的所确定的像素速度至物理空间中的速度。
41.如权利要求26-40中任一项所述的光流成像系统，其中所述处理模块配置用于使用加速分割检测特征(FAST)算法用于RGB图像数据中的拐角检测以识别一个或多个特殊特征点。
42.如权利要求26-41中任一项所述的光流成像系统，其中所述处理模块配置用于使用二进制稳健独立基本特征(BRIEF)算法以识别所述RGB图像数据中与所述特殊特征点相关联的特征描述符。
43.如权利要求26-42中任一项所述的光流成像系统，其中所述处理模块配置用于通过以下方式确定物理空间中的光流速度：
确定每一特殊特征点的像素速率；以及
使用所述深度数据和所述像素速率确定每一特征点的物理速率。
44.如权利要求26-43中任一项所述的光流成像系统，其中所述处理模块配置用于使用与在所述RGB图像数据中所描绘的物理物体相关联的一个或多个特殊特征点的所确定的物理速率确定所述物理物体的速率。
45.如权利要求26-44中任一项所述的光流成像系统，其中所述处理模块配置用于使用RGB相机组件和第一超声阵列生成第一RGB-D图像。
46.如权利要求45所述的光流成像系统，其中所述处理模块配置用于识别所述第一RGB-D图像的RGB部分中的所述多个特殊特征点。
47.如权利要求46所述的光流成像系统，其中所述处理模块配置用于使用所述RGB相机组件和所述距离传感器生成第二RGB-D图像。
48.如权利要求47所述的光流成像系统，其中所述处理模块配置用于通过比较所述第一和第二RGB-D图像的所述RGB部分确定所述特殊特征点的一部分的像素速度。
49.如权利要求48所述的光流成像系统，其中所述处理模块配置用于使用所述第一和第二RGB-D图像的深度数据转换所述特殊特征点的所述部分的所确定的像素速度至物理空间中的速度。
50.如权利要求26-49中任一项所述的光流成像系统，其中所述处理模块配置用于对齐所述RGB图像数据和所述深度数据。
51.如权利要求26-50中任一项所述的光流成像系统，其中所述处理模块配置用于剪切所述深度数据。
52.如权利要求26-51中任一项所述的光流成像系统，其中所述处理模块配置用于：
从RGB相机组件接收RGB图像数据；
从第一超声阵列接收与所述RGB图像数据的第一部分相对应的第一深度图数据集；
从第二超声阵列接收与所述RGB图像数据的第二部分相对应的第二深度图数据集；以及
组合所述相对应的深度图数据集和RGB图像数据以生成第一RGB-D图像。
53.如权利要求52所述的光流成像系统，其中所述处理模块配置用于对齐所述RGB图像数据与所述第一和第二深度图数据集。
54.如权利要求52或53所述的光流成像系统，其中所述处理模块配置用于剪切所述第一和第二深度图数据集。
55.如权利要求54所述的光流成像系统，其中所述处理模块配置用于通过以下方式剪切所述第一和第二深度图数据集：
剪切所述第一深度图数据集中与所述RGB图像数据不对应的第一部分，以及
剪切所述第二深度图数据集中与所述RGB图像数据不对应的第二部分。
56.如权利要求26-55中任一项所述的光流成像系统，其中所述处理模块配置用于通过波束成形处理从所述超声阵列接收的深度数据。
57.如权利要求26-56中任一项所述的光流成像系统，其中所述处理模块配置用于上采样所述深度数据至较高分辨率，所述较高分辨率等于所述RGB图像数据的所述分辨率。
58.如权利要求26-57中任一项所述的光流成像系统，其中所述RGB图像数据为RGB-D图像的一部分。
59.一种移动平台，其包括如权利要求26-58中任一项所述的光流成像系统。
60.如权利要求59所述的移动平台，其中所述移动平台为无人飞行器。
61.如权利要求60所述的移动平台，其中所述处理模块配置用于基于所述确定的光流速度进行所述移动平台导航。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2014/094331 WO2016095192A1 (en) | 2014-12-19 | 2014-12-19 | Optical-flow imaging system and method using ultrasonic depth sensing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107111598A true CN107111598A (zh) | 2017-08-29 |
| CN107111598B CN107111598B (zh) | 2020-09-15 |
Family
ID=56125652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480084015.9A Expired - Fee Related CN107111598B (zh) | 2014-12-19 | 2014-12-19 | 使用超声深度感测的光流成像系统以及方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9704265B2 (zh) |
| EP (1) | EP3161658B1 (zh) |
| JP (1) | JP6192853B2 (zh) |
| CN (1) | CN107111598B (zh) |
| WO (1) | WO2016095192A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109194943A (zh) * | 2018-08-29 | 2019-01-11 | 维沃移动通信有限公司 | 一种图像处理方法及终端设备 |
| CN109506658A (zh) * | 2018-12-26 | 2019-03-22 | 广州市申迪计算机系统有限公司 | 机器人自主定位方法和系统 |
| CN109633661A (zh) * | 2018-11-28 | 2019-04-16 | 杭州凌像科技有限公司 | 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法 |
| CN109977846A (zh) * | 2019-03-22 | 2019-07-05 | 中国科学院重庆绿色智能技术研究院 | 一种基于近红外单目摄像的活体检测方法及系统 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106210698B (zh) * | 2015-05-08 | 2018-02-13 | 光宝电子(广州)有限公司 | 深度相机的控制方法 |
| WO2016197307A1 (en) | 2015-06-08 | 2016-12-15 | SZ DJI Technology Co., Ltd. | Methods and apparatus for image processing |
| US9872011B2 (en) * | 2015-11-24 | 2018-01-16 | Nokia Technologies Oy | High-speed depth sensing with a hybrid camera setup |
| GB2550124B (en) * | 2016-05-06 | 2021-11-17 | Nctech Ltd | Camera |
| US10528147B2 (en) | 2017-03-06 | 2020-01-07 | Microsoft Technology Licensing, Llc | Ultrasonic based gesture recognition |
| US10276179B2 (en) | 2017-03-06 | 2019-04-30 | Microsoft Technology Licensing, Llc | Speech enhancement with low-order non-negative matrix factorization |
| US10984315B2 (en) | 2017-04-28 | 2021-04-20 | Microsoft Technology Licensing, Llc | Learning-based noise reduction in data produced by a network of sensors, such as one incorporated into loose-fitting clothing worn by a person |
| EP3550506B1 (en) * | 2018-04-05 | 2021-05-12 | Everdrone AB | A method for improving the interpretation of the surroundings of a uav, and a uav system |
| CN108961195B (zh) * | 2018-06-06 | 2021-03-23 | Oppo广东移动通信有限公司 | 图像处理方法及装置、图像采集装置、可读存储介质和计算机设备 |
| US11263751B2 (en) * | 2018-10-26 | 2022-03-01 | Samsung Electronics Co., Ltd. | Method and apparatus for image segmentation using an event sensor |
| EP3761220A1 (en) | 2019-07-05 | 2021-01-06 | Everdrone AB | Method for improving the interpretation of the surroundings of a vehicle |
| US11308733B2 (en) * | 2019-08-05 | 2022-04-19 | Bose Corporation | Gesture detection using ultrasonic clicks |
| CN110530499A (zh) * | 2019-08-27 | 2019-12-03 | 中国科学院声学研究所 | 一种测量动态光弹图像中声传播方向的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060020562A1 (en) * | 2004-07-21 | 2006-01-26 | University Of Southern Mississippi | Apparatus and method for estimating optical flow |
| US20080165620A1 (en) * | 2005-07-20 | 2008-07-10 | Denso Corporation | Obstacle sensor having supersonic sensor |
| WO2014101955A1 (en) * | 2012-12-28 | 2014-07-03 | Metaio Gmbh | Method of and system for projecting digital information on a real object in a real environment |
| CN104092956A (zh) * | 2014-07-31 | 2014-10-08 | 北京智谷睿拓技术服务有限公司 | 闪光控制方法、闪光控制装置以及图像采集设备 |
Family Cites Families (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3637226B2 (ja) * | 1999-02-01 | 2005-04-13 | 株式会社東芝 | 動き検出方法、動き検出装置及び記録媒体 |
| US20030206652A1 (en) * | 2000-06-28 | 2003-11-06 | David Nister | Depth map creation through hypothesis blending in a bayesian framework |
| US7003136B1 (en) * | 2002-04-26 | 2006-02-21 | Hewlett-Packard Development Company, L.P. | Plan-view projections of depth image data for object tracking |
| US7199793B2 (en) * | 2002-05-21 | 2007-04-03 | Mok3, Inc. | Image-based modeling and photo editing |
| JP3855053B2 (ja) * | 2003-01-30 | 2006-12-06 | 国立大学法人 東京大学 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US7659967B2 (en) * | 2007-03-05 | 2010-02-09 | Geoffrey Louis Barrows | Translational optical flow sensor |
| JP5697989B2 (ja) * | 2007-12-26 | 2015-04-08 | コーニンクレッカ フィリップス エヌ ヴェ | グラフィックスオブジェクトを重ね合わせるための画像プロセッサ |
| US8265425B2 (en) * | 2008-05-20 | 2012-09-11 | Honda Motor Co., Ltd. | Rectangular table detection using hybrid RGB and depth camera sensors |
| US8248410B2 (en) * | 2008-12-09 | 2012-08-21 | Seiko Epson Corporation | Synthesizing detailed depth maps from images |
| JP2010193227A (ja) * | 2009-02-19 | 2010-09-02 | Hitachi Kokusai Electric Inc | 映像処理システム |
| KR101070591B1 (ko) * | 2009-06-25 | 2011-10-06 | (주)실리콘화일 | 듀얼 스테레오 카메라를 구비한 거리 측정 장치 |
| JP2011215968A (ja) * | 2010-03-31 | 2011-10-27 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び物体認識システム |
| US8405680B1 (en) * | 2010-04-19 | 2013-03-26 | YDreams S.A., A Public Limited Liability Company | Various methods and apparatuses for achieving augmented reality |
| DE102010027972A1 (de) * | 2010-04-20 | 2011-10-20 | Robert Bosch Gmbh | Anordnung zur Bestimmung der Entfernung und der Richtung zu einem Objekt |
| FR2961601B1 (fr) * | 2010-06-22 | 2012-07-27 | Parrot | Procede d'evaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopilote |
| US8428342B2 (en) * | 2010-08-12 | 2013-04-23 | At&T Intellectual Property I, L.P. | Apparatus and method for providing three dimensional media content |
| US20120056982A1 (en) * | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Depth camera based on structured light and stereo vision |
| JPWO2012128069A1 (ja) * | 2011-03-18 | 2014-07-24 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| GB2489454A (en) * | 2011-03-29 | 2012-10-03 | Sony Corp | A method of annotating objects in a displayed image |
| US20120274626A1 (en) * | 2011-04-29 | 2012-11-01 | Himax Media Solutions, Inc. | Stereoscopic Image Generating Apparatus and Method |
| US9208571B2 (en) * | 2011-06-06 | 2015-12-08 | Microsoft Technology Licensing, Llc | Object digitization |
| KR20130070340A (ko) * | 2011-12-19 | 2013-06-27 | 한국전자통신연구원 | 모션인식에서 광흐름 처리 가속기 및 방법 |
| US10008002B2 (en) * | 2012-02-28 | 2018-06-26 | NXP Canada, Inc. | Single-camera distance estimation |
| KR101917224B1 (ko) * | 2012-09-18 | 2018-11-13 | 엘지이노텍 주식회사 | 영상데이터 전송장치 |
| US9092665B2 (en) * | 2013-01-30 | 2015-07-28 | Aquifi, Inc | Systems and methods for initializing motion tracking of human hands |
| JP6271990B2 (ja) * | 2013-01-31 | 2018-01-31 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| US10497140B2 (en) * | 2013-08-15 | 2019-12-03 | Intel Corporation | Hybrid depth sensing pipeline |
| KR20150020953A (ko) * | 2013-08-19 | 2015-02-27 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
| US9479709B2 (en) * | 2013-10-10 | 2016-10-25 | Nvidia Corporation | Method and apparatus for long term image exposure with image stabilization on a mobile device |
| US10670402B2 (en) * | 2013-11-01 | 2020-06-02 | Invensense, Inc. | Systems and methods for optical sensor navigation |
| JP6595474B2 (ja) * | 2013-12-03 | 2019-10-23 | チルドレンズ ナショナル メディカル センター | 創傷アセスメントおよびマネジメントのための方法およびシステム |
| US9679199B2 (en) * | 2013-12-04 | 2017-06-13 | Microsoft Technology Licensing, Llc | Fusing device and image motion for user identification, tracking and device association |
| US9589359B2 (en) * | 2014-04-24 | 2017-03-07 | Intel Corporation | Structured stereo |
| CN105492985B (zh) * | 2014-09-05 | 2019-06-04 | 深圳市大疆创新科技有限公司 | 一种用于在环境内控制可移动物体的系统及方法 |
-
2014
- 2014-12-19 WO PCT/CN2014/094331 patent/WO2016095192A1/en active Application Filing
- 2014-12-19 CN CN201480084015.9A patent/CN107111598B/zh not_active Expired - Fee Related
- 2014-12-19 EP EP14908227.3A patent/EP3161658B1/en not_active Not-in-force
- 2014-12-19 JP JP2016554183A patent/JP6192853B2/ja not_active Expired - Fee Related
-
2016
- 2016-06-13 US US15/181,392 patent/US9704265B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060020562A1 (en) * | 2004-07-21 | 2006-01-26 | University Of Southern Mississippi | Apparatus and method for estimating optical flow |
| US20080165620A1 (en) * | 2005-07-20 | 2008-07-10 | Denso Corporation | Obstacle sensor having supersonic sensor |
| WO2014101955A1 (en) * | 2012-12-28 | 2014-07-03 | Metaio Gmbh | Method of and system for projecting digital information on a real object in a real environment |
| CN104092956A (zh) * | 2014-07-31 | 2014-10-08 | 北京智谷睿拓技术服务有限公司 | 闪光控制方法、闪光控制装置以及图像采集设备 |
Non-Patent Citations (1)
| Title |
|---|
| DOMINIK HONEGGER ET AL.: "An open source and open hardware embedded metric optical flow CMOS camera for indoor and outdoor applications", 《IEEE》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109194943A (zh) * | 2018-08-29 | 2019-01-11 | 维沃移动通信有限公司 | 一种图像处理方法及终端设备 |
| CN109633661A (zh) * | 2018-11-28 | 2019-04-16 | 杭州凌像科技有限公司 | 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法 |
| CN109506658A (zh) * | 2018-12-26 | 2019-03-22 | 广州市申迪计算机系统有限公司 | 机器人自主定位方法和系统 |
| CN109506658B (zh) * | 2018-12-26 | 2021-06-08 | 广州市申迪计算机系统有限公司 | 机器人自主定位方法和系统 |
| CN109977846A (zh) * | 2019-03-22 | 2019-07-05 | 中国科学院重庆绿色智能技术研究院 | 一种基于近红外单目摄像的活体检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107111598B (zh) | 2020-09-15 |
| JP2017509986A (ja) | 2017-04-06 |
| EP3161658A1 (en) | 2017-05-03 |
| JP6192853B2 (ja) | 2017-09-06 |
| US9704265B2 (en) | 2017-07-11 |
| EP3161658B1 (en) | 2019-03-20 |
| EP3161658A4 (en) | 2017-06-07 |
| US20160300361A1 (en) | 2016-10-13 |
| WO2016095192A1 (en) | 2016-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107111598A (zh) | 使用超声深度感测的光流成像系统以及方法 | |
| CN105980928B (zh) | 使用超声波深度感测的rgb-d成像系统和方法 | |
| WO2019076304A1 (zh) | 基于双目相机的无人机视觉slam方法、无人机及存储介质 | |
| Dansereau | Plenoptic signal processing for robust vision in field robotics | |
| CN108428255A (zh) | 一种基于无人机的实时三维重建方法 | |
| CN108171715B (zh) | 一种图像分割方法及装置 | |
| US8682037B2 (en) | Method and system for thinning a point cloud | |
| WO2019127518A1 (zh) | 避障方法、装置及可移动平台 | |
| CN105739106B (zh) | 一种体感多视点大尺寸光场真三维显示装置及方法 | |
| CN108764080B (zh) | 一种基于点云空间二值化的无人机视觉避障方法 | |
| US20210368156A1 (en) | Three-Dimensional Tracking Using Hemispherical or Spherical Visible Light-Depth Images | |
| CN112837207A (zh) | 全景深度测量方法、四目鱼眼相机及双目鱼眼相机 | |
| JP2018197685A (ja) | 三次元計測装置 | |
| Ivanovas et al. | Block matching based obstacle avoidance for unmanned aerial vehicle | |
| CN108335329B (zh) | 应用于飞行器中的位置检测方法和装置、飞行器 | |
| Ervan et al. | Downsampling of a 3D LiDAR point cloud by a tensor voting based method | |
| Dawadee et al. | Illumination, scale and rotation invariant algorithm for vision-based UAV navigation | |
| CN113223163A (zh) | 点云地图构建方法及装置、设备、存储介质 | |
| CN106713741B (zh) | 全景视频的质量诊断方法及装置 | |
| Martinez | USV Attitude Position Estimation by a Hovering UAV Using Monocular Images of Deck-Mounted Lights | |
| CN113424524B (zh) | 使用半球形或球形可见光深度图像的三维建模 | |
| WO2022141123A1 (zh) | 可移动平台及其控制方法、装置、终端设备和存储介质 | |
| Camilli et al. | Viscosity solutions | |
| Feng et al. | Calibration and rectification research for fish-eye lens application | |
| Sam-Odusina | A coordinated UAV deployment based on stereovision reconnaissance for low risk water assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200915 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |