CN105980928B - 使用超声波深度感测的rgb-d成像系统和方法 - Google Patents

使用超声波深度感测的rgb-d成像系统和方法 Download PDF

Info

Publication number
CN105980928B
CN105980928B CN201480075391.1A CN201480075391A CN105980928B CN 105980928 B CN105980928 B CN 105980928B CN 201480075391 A CN201480075391 A CN 201480075391A CN 105980928 B CN105980928 B CN 105980928B
Authority
CN
China
Prior art keywords
rgb
depth map
map data
data set
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480075391.1A
Other languages
English (en)
Other versions
CN105980928A (zh
Inventor
谢捷斌
任伟
周谷越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Priority to CN201911352577.8A priority Critical patent/CN111080690A/zh
Publication of CN105980928A publication Critical patent/CN105980928A/zh
Application granted granted Critical
Publication of CN105980928B publication Critical patent/CN105980928B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/521—Constructional features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)

Abstract

本发明提供一种包括超声波阵列(110)的RGB‑D成像系统(100)，用于产生包括深度数据的图像。所述RGB‑D成像系统(100)包括均定位在一个壳体上的超声波传感器阵列(110)以及RGB相机组件(130)。所述超声波传感器阵列(110)包括一个超声波发射体(111)和多个超声波传感器(112)。所述RGB相机组件(130)与所述超声波传感器位于平行平面上并且可操作地连接至所述超声波传感器(112)。因此所述RGB‑D成像系统(100)相比传统系统能够改进在各种光照条件下的成像。本发明还提供了产生以及使用所述RGB‑D成像系统(100)的方法。

Description

使用超声波深度感测的RGB-D成像系统和方法
技术领域
本发明涉及数字成像、计算机视觉和超声波感测，并且更确切地涉及RGB-D相机系统和方法。
背景技术
RGB-D相机是能够产生三维图像(平面二维图像+垂直深度图图像)的相机。RGB-D相机通常具有两组不同的传感器。其中一组传感器包括光学接收传感器(例如，RGB相机)，用于接收通常以R(红)、G(绿)和B(蓝)三种颜色各自的强度值来表示的环境图像。另一组传感器包括红外激光或结构光传感器，用于检测被观测物体的距离(D)并且获取深度图图像。RGB-D相机的应用包括空间成像、手势识别、距离检测等。
一种类型的RGB-D相机应用红外光源用于成像(例如Microsoft的Kinect)。该相机具有某个光源，能够发出具有特定空间结构的红外光。此外，该相机配备用于接收红外光的镜头和滤波芯片。相机的内部处理器计算接收到的红外光的结构，并且通过光结构的变化，该处理器感知物体的结构和距离信息。
传统的RGB-D相机(如Microsoft的Kinect)利用红外光检测方法获取深度信息。然而，基于红外光检测的方法在室外环境下，特别是对于被阳光照射的物体来说很难工作，因为阳光光谱具有很强的红外特征，会掩盖检测器发出的红外光。有些红外光检测器通过提高功率(例如，使用激光或通过增加光源的强度)来解决这个问题。然而，这种方法是不期望的，因为它需要较大的功耗。
根据前述内容，需要提供一种改进的RGB-D成像系统以及方法，以克服前述的传统RGB-D成像系统的缺陷与不足。
发明内容
一方面包括一种RGB-D成像系统，所述RGB-D成像系统包括：壳体；第一超声波传感器阵列，所述第一超声波传感器阵列被定位在所述壳体上，所述第一超声波传感器阵列包括一个超声波发射器和多个超声波传感器；以及RGB相机组件，所述RGB相机组件被定位在所述壳体上且可操作地连接至所述第一超声波传感器，所述RGB相机组件包括感光成像芯片和镜头。在一个实施例中，所述第一超声波阵列和所述感光成像芯片在壳体上被定位在平行平面上。在另一个实施例中，所述第一超声波传感器阵列和所述感光成像芯片在所述壳体上被定位在平行平面上，并且距离为10cm或小于10cm。
在另一个实施例中，所述超声波传感器以具有行和列的矩阵配置定位在基板上，并且所述超声波发射器被定位在所述矩阵配置内介于所述行与所述列之间。在另一个实施例中，所述系统包括处理器和存储器，所述处理器和所述存储器被定位在所述壳体内并且可操作地连接至所述第一超声波传感器阵列和所述RGB相机组件。
在一个实施例中，所述系统包括定位在所述壳体上的显示器。在另一个实施例中，所述系统包括定位在所述壳体上且可操作地连接至所述第一超声波传感器阵列和所述RGB相机组件的第二超声波传感器阵列。在另一个实施例中，所述第一超声波阵列和所述第二超声波阵列以及所述感光成像芯片在所述壳体上被定位在平行平面上。在另一个实施例中，所述第一超声波阵列和所述第二超声波阵列以及所述感光成像芯片以线性配置的方式被定位，其中所述感光成像芯片被定位在所述第一超声波阵列与所述第二超声波阵列之间。
在一个实施例中，所述系统包括多个配对的超声波传感器阵列，其中每一对分别被定位在不同的平行平面上。在另一个实施例中，所述RGB相机组件包括红外截止滤波器(infrared-cut filter)。在另一个实施例中，所述RGB相机组件包括红外带通滤波器(infrared-pass filter)并且所述感光成像芯片被配置成检测红外光。在另一个实施例中，移动平台或运载工具如无人飞行器包括上述RGB-D成像系统。
另一方面包括一种产生RGB-D图像的方法，所述方法包括：从RGB相机组件接收RGB图像数据；从超声波阵列接收深度图数据，所述深度图数据对应于所述RGB图像数据的一部分；以及将对应的深度图数据和RGB图像数据相结合，以产生RGB-D图像。
一个实施例进一步包括将所述RGB图像数据与所述深度图数据对齐。另一个实施例进一步包括剪切所述RGB图像数据。在另一个实施例中，剪切所述RGB图像数据包括将所述RGB图像数据中与所述深度图数据不对应的一部分剪切掉。另一个实施例进一步包括剪切所述深度图数据。
在一个实施例中，剪切所述深度图数据包括将所述深度图数据中与所述RGB图像数据不对应的一部分剪切掉。另一个实施例进一步包括通过波束成形(beamforming)来处理从所述超声波阵列接收到的所述深度图数据。在另一个实施例中，所述深度图数据的分辨率比所述RGB图像数据的分辨率低。另一个实施例进一步包括对所述深度图数据上采样(upsampling)以匹配所述RGB图像数据的所述分辨率。
另一方面提供一种产生RGB-D图像的方法，所述方法包括：从RGB相机组件接收RGB图像数据；从第一超声波阵列接收与所述RGB图像数据的第一部分数据相对应的第一深度图数据集；从第二超声波阵列接收与所述RGB图像数据的第二部分数据相对应的第二深度图数据集；以及将对应的深度图数据集与RGB图像数据相结合，以产生RGB-D图像。
一个实施例进一步包括将所述RGB图像数据与所述第一深度图数据集和所述第二深度图数据集对齐。另一个实施例进一步包括剪切所述第一深度图数据集和所述第二深度图数据集。在另一个实施例中，剪切所述第一深度图数据集和所述第二深度图数据集包括将所述第一深度图和所述第二深度图中与所述RGB图像数据不对应的一部分剪切掉。在另一个实施例中，所述方法进一步包括通过波束成形来处理从所述超声波阵列接收到的深度图数据。
在一个实施例中，所述第一深度图数据集和所述第二深度图数据集的分辨率比所述RGB图像数据的分辨率低。另一个实施例进一步包括对所述深度图数据上采样以匹配所述RGB图像数据的所述分辨率。
另一个方面包括一种产生RGB-D图像的方法，所述方法包括：分别从相应的RGB相机组件接收多个RGB图像；从多个超声波阵列接收与所述RGB相机组件之一分别相关联的多个深度图数据集，每个深度图数据集对应于所述RGB图像之一的所选择部分；以及将对应的深度图数据集与RGB图像相结合，以产生连续的RGB-D图像。
一个实施例进一步包括将所述RGB图像与所述深度图数据集对齐。另一个实施例进一步包括剪切所述RGB图像。在另一个实施例中，剪切所述RGB图像包括将所述RGB图像中与深度图数据集不对应的一部分剪切掉。另一个实施例还包括剪切所述深度图数据集。
在一个实施例中，剪切所述深度图数据集包括将所述深度图数据集中与RGB图像不对应的一部分剪切掉。另一个实施例还包括通过波束成形来处理从所述超声波阵列接收到的深度图数据集。在另一个实施例中，所述深度图数据集的分辨率比所述RGB图像数据的分辨率低。另一个实施例还包括对所述深度图数据集上采样以匹配所述RGB图像数据的所述分辨率。
附图说明
图1图示了RGB-D成像系统的一个实施例的示例性顶层图。
图2图示了将深度数据与RGB数据相结合的一个实施例的示例性图。
图3图示了将深度数据与RGB数据相结合的另一个实施例的示例性图。
图4图示了包括一个RGB相机系统和一个超声波深度传感器的RGB-D成像系统的一个实施例的示例性正视图。
图5图示了图4所示RGB-D成像系统的视场的示例性顶层图。
图6图示了根据一个实施例的一种产生RGB-D图像的方法。
图7图示了包括一个RGB相机系统和两个超声波深度传感器的RGB-D成像系统的一个实施例的示例性正视图。
图8图示了图7所示RGB-D成像系统的视场的示例性顶层图。
图9图示了根据一个实施例的一种产生RGB-D图像的方法。
图10图示了包括多个RGB-D成像系统的RGB-D成像组件的一个实施例。
图11图示了根据一个实施例的一种产生RGB-D图像的方法。
应该指出的是，附图并未按比例绘制，并且为了说明的目的，在全部附图中一般以相同的附图标记来表示结构或功能相似的元件。还应该指出的是，附图的目的仅仅是为了方便描述优选实施例。附图并未图示所描述实施例的每个方面，也不限制本发明的范围。
具体实施方式
因为当前可用的RGB-D成像系统存在缺陷，它们在很多操作条件下如在阳光下的室外不能工作，因此包含超声波深度或距离感测的RGB-D成像系统可以证明是所期望的，并能够为广泛范围的RGB-D成像应用如空间成像、手势识别、距离检测、三维映射等提供依据。相比传统的RGB-D系统，使用了波束成形的超声波阵列能够获取包括深度信息的三维地图，而不会受到环境光干扰的制约。此外，超声波传感器比使用红外传感器的RGB-D系统使用明显更少的功率，因此可能适合移动平台或活动平台，如无人飞行器(UAV)等。可由如图1所示的RGB-D成像系统100根据本文所公开的一个实施例来实现这些结果。
转向图1，RGB-D成像系统100示为包括可操作地连接至成像装置120的超声波传感器阵列110和可操作地连接至成像装置120的RGB相机组件130。
在各种实施例中，超声波传感器阵列110可以包括定位在基板113的矩阵114上的多个超声波传感器112，所述矩阵114由多个行R和列C所限定。一个或多个超声波发射器111可被定位在基板113上矩阵114内的介于超声波传感器112的行R与列C之间。在另外的实施例中，一个或多个超声波发射器111可被定位在矩阵114之外在RGB-D成像系统100周围的任何合适位置。例如，一个或多个超声波发射器111可被定位在与矩阵114相同、平行或分开的平面上。
在某些实施例中，可以存在单个超声波发射体111也可以存在以任何所期望的或合适的配置而布置或定位的任何合适复数量的超声波发射体111。也可以存在以任何所期望的或合适的配置而布置或定位的任何合适复数量的超声波传感器112，所述配置可以是也可以不是矩阵114配置。在各种实施例中，超声波传感器阵列110可以包括压电式换能器、电容式传感器、磁致伸缩材料等。因此，在各种实施例中，可以无限制地采用用于传输和/或感测任何合适频率的声波的任何合适的阵列。
相机组件130可以包括镜头131，所述镜头被配置用于将光132聚焦到像素134的感光阵列或芯片133上，所述感光阵列或芯片将接收到的光132转换成信号，所述信号限定如本文所述的图像。尽管镜头131被描述为单反相机(DSLR)镜头，但在各种实施例中，可以使用任何合适类型的镜头。例如，在某些实施例中，镜头131可以包括任何合适的镜头系统，包括针孔镜头(pin-hole lens)、生物镜头(biological lens)、简单凸面玻璃镜头(simpleconvex glass lens)等。此外，根据各种实施例的镜头可以被配置成具有某些成像性质，包括微距镜头、变焦镜头、远摄镜头、鱼眼镜头、广角镜头等。
虽然相机系统130可用于检测在可见光谱中的光并从中产生图像，但在某些实施例中，相机系统130也可适于检测其他波长的光，包括，X-射线、红外光、微波等。此外，相机系统130可以包括一个或多个滤波器。例如，相机系统130可以包括基本上滤掉红外波长的红外截止滤波器，这可能是RGB-D系统在存在红外干涉问题的环境中进行操作所期望的。在另一个实施例中，相机系统130可以包括基本上滤掉除了红外波长之外的所有波长的红外带通滤波器，并且感光阵列或芯片133可以被配置用于感测红外波长。
相机系统130还可以适用于静止图像、视频图像和三维图像等。因此，本发明不应该被理解为限于本文所显示和所描述的示例相机系统130。
在各种实施例中，成像装置120可以包括处理器121、存储器122和显示器123。相机系统130和超声波传感器阵列110可以可操作性地连接至成像装置120，以使得由相机系统130和超声波传感器阵列110所产生的图像或数据可以由处理器121处理和/或存储存储器122中。可以在显示器123上呈现处理后的图像。
在另外的实施例中，处理器121、存储器122和显示器123中的任一者可以复数量存在也可以不存在。例如，在某些实施例中，RGB-D成像系统100并不包括显示器123，而是将本文所论述的所产生的图像发送至其中可以呈现此类图像的另一个计算装置或显示器。
在某些实施例中，相机系统130、成像装置120和超声波传感器阵列110中的任一者可以任意合适的复数量存在。例如，如本文更详细论述并且如图4所示，RGB-D成像系统100的一个实施例100A可以包括一个相机系统130和一个超声波传感器阵列110。在另一个实施例中，如本文更详细描述并且如图7所示，RGB-D成像系统100的一个实施例100B可以包括一个相机系统130和两个超声波传感器阵列110。
在另一个实施例中，如本文更详细论述并且如图10所示，三维成像系统800可以包括多个RGB-D成像系统100，所述RGB成像系统100各自包括一个相机系统130和一个或多个超声波传感器阵列110。在该实施例中，每个RGB-D成像系统100可以与单独的成像装置120(图10未示出)相关联，或者每个RGB-D图像系统100可以与中心的或共同的成像装置120(图10未示出)相关联。换句话说，相关联的相机系统130和超声波传感器阵列110组可以各自与成像装置120相关联，或者可以与中心的或共同的成像装置120可操作性地连接。
如本文更详细论述，RGB-D成像系统110可以被配置用于产生RGB-D图像。例如，参照图1、2和3，相机系统130可以被配置用于产生RGB三元组图像(triplet image)210，所述RGB三元组图像包括关于红值211R、绿值211G和蓝值211B的像素阵列。超声波传感器阵列110可以被配置用于产生深度图阵列220。如本文详细论述，RGB三元组图像210和深度图阵列220可以结合在一起，产生RGB-D四元组图像(quad image)230，所述RGB-D四元组图像包括关于红值211R、绿值211G和蓝值211B以及深度图阵列220的像素阵列。因此，RGB-D四元组图像230的每个像素位置与红值(R)、绿值(G)和蓝值(B)相关联，此外还与深度或距离值(D)相关联，所述深度或距离值对应于离超声波传感器阵列110或RGB-D成像系统100的距离。
在某些实施例中，如图2所描述，RGB三元组图像210和深度图阵列220可以具有相同的分辨率和尺寸(即，对于所定义图像尺寸，像素的数量相同)。在该实施例中，RGB三元组图像210和深度图阵列220可一起添加。
然而，在某些实施例中，如图3所描述，RGB三元组图像210和深度图阵列320可以具有不同的分辨率(即，对于所定义图像尺寸，像素的数量不同)。例如，在图3中，关于红值211R、绿值211G和蓝值211B的像素阵列为N1xM1的图像尺寸中的8x8像素，而深度图阵列320为N2xM2的图像尺寸中的4x4像素。在其中N1＝N2并且M1＝M2的一个实施例中，RGB三元组图像210和/或深度图阵列320可以修改以结合，形成RGB-D四元组图像230。在图3所示的例子中，深度图阵列320可以被上采样至N3xM3的图像尺寸中的8x8像素。这导致较低分辨率的深度图阵列320中的像素321的距离值与RGB-D四元组图像230中所呈现的经过上采样的深度图阵列340中所呈现的四个像素的高亮显示组323中的像素322结合使用。
在该例子中，较低分辨率的4x4深度图阵列320上采样至较高分辨率的8x8深度图阵列340导致清晰的上采样，只要像素321能够清晰地分成四个像素323。然而，在另外的实施例中，较低分辨率的深度图阵列320的转换在上采样期间(例如，4x4图像上采样至11x11图像等)可能需要某些像素的插值。在该实施例中，可以使用任何合适的插值方法，所述插值方法可以包括最近邻插值(nearest neighbor)、双线性插值(bilinear)、双三次插值(bicubic)、双三次插值平滑化(bicubic smoother)、双三次插值锐化(bicubic sharper)等。
在某些实施例中，距离值的插值可以基于所述距离值。例如，与较小的差异相比，较长距离的插值可以用不同的方法来处理。在某些实施例中，可以对RGB三元组图像210和/或深度图阵列220重采样，并且RGB三元组图像210和/或深度图阵列220的重采样方法可以是基于距离值。
尽管某些实施例包括RGB三元组图像210和深度图阵列320，其中N1＝N2并且M1＝M2，但在另外的实施例中，RGB三元组图像210和深度图阵列320可以具有不同的尺寸。例如，在某些实施例中，RGB三元组图像210可以比深度图阵列320更大。在其他实施例中，RGB三元组图像210可以比深度图阵列320更小。此外，在各种实施例中，M3/N3可以与M1/N1和/或M2/N2相同，但在某些实施例中，也可以不同。
RGB-D成像系统100可以以各种合适的方式实现，例如如图4所描述，一个实施例100A包括定位在壳体401上的超声波传感器阵列110和相机系统130。成像装置120(图4中未示，参见图1)可以被定位在壳体401之内和/或之上。例如，处理器121(参见图1)和存储器122(参见图1)可以被定位在壳体401内，并且显示器123(参见图1)可以被定位在壳体401的合适部分上。
如图4和5所示，超声波传感器阵列110和感光成像芯片133可以在壳体401上并排地定位在共同的或平行的平面上。在一个优选实施例中，超声波传感器阵列110和感光成像芯片133是分开的，其距离不超过10cm。本文所使用的术语“共同的平面”和“平行的平面”并不是同义词，这些术语是有区别的。
超声波传感器阵列110可以具有由边缘411A、411B所限定的视场413，RGB相机组件130可以具有由边缘412A、412B所限定的视场414。如图5所示，视场413、414是可以偏移的。换句话说，由感光成像芯片133和超声波传感器阵列110所产生的图像由于成像芯片133和超声波传感器阵列110在壳体上的物理距离而可能不完全相同。在该示例实施例中，视场413、414是相对于表面410而显示的，并包括重叠部分415和其中视场没有重叠的偏移部分420A、420B。更确切地，偏移部分420A并不在RGB相机组件的视场414之内，并且偏移部分420B不在超声波传感器阵列的视场413之内。
重叠部分415可以通过各种合适的方法识别和/或确定。例如，在一个实施例中，重叠部分415的尺寸可以是已知的或假定的，并且可以基于此类已知或假定的值来将非重叠部分420自动剪切掉。在另外的实施例中，可以通过任何合适的机器视觉或图像处理方法来使图像对齐。例如，在一个实施例中，加速分割检测特征算法(Features from AcceleratesSegment Test algorithm)(FAST算法)可以用于在图像中进行角点检测，以识别一个或多个特殊特征点；二进制稳健独立基元特征算法(Binary Robust Independent ElementaryFeatures algorithm)(BRIEF算法)可以用于识别图像的特征描述符并且两个图像中所识别出来的描述符之间的汉明距离(Hamming distance)可以用于识别第一图像和第二图像的重叠区域。
因此，由成像芯片133和超声波传感器阵列110所产生的相应的图像和距离图可以包括彼此不对应的部分，当这些图像和距离图结合形成RGB-D图像时，这些不对应的部分可能是所不期望的。换句话说，为使RGB-D精确地显示指定像素下的距离值，可能需要使图像与距离图。在某些实施例中，偏移距离和偏移部分420A、420B可以被认为是可忽略不计的，并且图像与距离图可以不对齐。在其中偏移距离基本上恒定的另外的实施例中，图像与距离图可以基于已知的或所限定的距离而对齐。例如，在其中传感器阵列110和感光成像芯片133被定位在平行平面上的一个实施例中，传感器阵列110与感光成像芯片133之间的几何距离可以包括在已知或所限定的距离中以进行对齐。相似地，在传感器阵列110和感光成像芯片133被定位在共同平面上的情况下，传感器阵列110与感光成像芯片133之间的几何距离可以包括在已知或所限定的距离中以进行对齐。
然而，当偏移距离变化时(例如，由于受试物体离成像系统100的距离、环境条件等而引起)，可以基于距离图中的距离值来执行对齐。在其中偏移基于距离而变化的某些实施例中，可能期望识别视场内的感兴趣物体(objects of interest)并且使图像与距离图的对齐优化，以使得感兴趣物体能够更精确地对齐。例如，可以确定，在距离1米处的前景物体为感兴趣物体，位于20米之外的背景物体不是很重要。因此，可以优化1米距离的对齐，而不是20米距离的对齐，以使得对应于前景物体的距离数据比背景距离数据更精确并且更为对齐。
可以利用任何合适的方法并且可以基于各种设置(如特写镜头、中距离、远处、人物、风景等)来确定感兴趣物体。这些感兴趣物体可以基于合适的机器视觉和/或人工智能方法等来识别。在另外的实施例中，图像与距离图的对齐可以通过使用特征检测算法、提取算法和/或匹配算法来进行，诸如RANSAC(随机采样一致(RANdom SAmple Consensus))算法、施和托马西角点检测(Shi&Tomasi corner detection)算法、SURF斑点检测(加速稳健特征(Speeded Up Robust Features))算法、MSER斑点检测(最大稳定极值区域(MaximallyStable Extremal Regions))算法、SURF描述符(加速稳健特征(Speeded Up RobustFeatures))算法、SIFT描述符(尺度不变特征变换(Scale-Invariant FeatureTransform))算法、FREAK描述符(快速视网膜关键点(Fast REtinA Keypoint))算法、BRISK描述符(二进制稳健不变尺度关键点(Binary Robust Invariant Scalable Keypoints))算法、HOG描述符(方向梯度直方图(Histogram of Oriented Gradients))算法等。
在各种实施例中，可能期望将图像和/或距离图中彼此不对应的部分剪切掉。例如，参照图5，对于所拍摄的物体410的图像来说，可以从相应的图像和距离图中剪切掉部分420A、420B，而留下重叠部分415。
图6图示了根据一个实施例的产生RGB-D图像的方法500。方法500开始于块510，在块510中，从RGB相机组件130(参见图1和4)接收RGB图像数据，并且在块520中，从超声波阵列110(参见图1和4)接收与RGB图像数据的一部分相对应的深度图数据。
在块530中，将RGB图像数据与深度图数据对齐。在块540中，将RGB图像数据中与深度图数据不对应的一部分剪切掉，并且在块550中，将深度图数据中与RGB数据不对应的一部分剪切掉。在块560中，对深度图数据上采样，以匹配RGB图像数据的分辨率，并且在块570中，将对应的深度图数据和RGB图像数据相结合，产生RGB-D图像。
如图7所描述，RGB-D成像系统100的另一个实施例100B包括定位在壳体601上的第一超声波传感器阵列110A和第二超声波传感器阵列110B以及相机系统130。成像装置120(图7未示，参见图1)可以被定位在壳体601之内和/或之上。例如，处理器121(参见图1)和存储器122(参见图1)可以被定位在壳体601内并且显示器123(参见图1)可以被定位在壳体601的合适部分上。
如图7和8所示，超声波传感器阵列110和感光成像芯片133可以以线性配置的方式在壳体401上并排地定位在的平行的或共同的平面上，其中感光成像芯片133定位在第一超声波阵列110A与第二超声波阵列110B之间。在一个优选实施例中，超声波传感器阵列110和感光成像芯片133各自分开，其距离不超过10cm。
超声波传感器阵列110A、110B可以具有分别由边缘611C、611D和611A、611B所限定的视场613A、613B。RGB相机组件130可以具有由边缘612A、612B所限定的视场614。如图8所示，视场613A、613B、614可以是偏移的。换句话说，由感光成像芯片133和超声波传感器阵列110所产生的图像由于成像芯片133和超声波传感器阵列110在壳体601上的物理距离而可能并不完全相同。在该示例实施例中，视场613A、613B、614是相对于表面610而显示的并包括重叠部分615和其中视场613A、613B、614没有重叠的偏移部分620A、620B。更确切地，偏移部分620A、620B都不在RGB相机组件的视场614内，而重叠部分615包括对应的从成像芯片的视场614得到的图像数据和从阵列的视场613A、614B之一或两者得到的深度图数据。
图9图示了根据一个实施例的产生RGB-D图像的方法700。方法700开始于块710，在块710中，从RGB相机组件130(参见图1和7)接收RGB图像数据。在块720中，从第一超声波阵列110A(参见图1和4)接收与RGB图像数据的一部分相对应的第一深度图数据集，并且在块730中，从第二超声波阵列110A(参见图1和4)接收与RGB图像数据的一部分相对应的第二深度图数据集。
在块740中，将RGB图像数据与深度图数据对齐。在块750中，将深度图数据集中与RGB图像数据不对应的一部分剪切掉，并且在块760中，对深度图数据集上采样，以匹配述RGB图像数据的分辨率。因此，在各种实施例中，第一和第二深度图数据集之一或两者的分辨率要比RGB图像数据的分辨率低。在块770中，将对应的深度图数据集与RGB图像数据相结合，产生RGB-D图像。
图10图示了RGB-D成像组件800的一个实施例，所述RGB-D成像组件包括分别定位在壳体801的面802上的多个RGB-D成像系统100。尽管示例实施例800图示了具有八个面802的八边形壳体801，在其中在每个表面上定位有RGB-D成像系统100，但在另一个实施例中，也可以在各个平面上定位有任何合适复数量的成像系统100。
使多个成像系统100定位在不同的平面上可能是所期望的，因为有可能产生全景的和/或三维的RGB-D图像，所述RGB-D图像是多个RGB图像数据和多个距离图数据的组合。此外，尽管示例实施例800描述了在共同的或平行的平面上位于共同高度的成像系统100，但在另外的实施例中，壳体可以包括规则或不规则的多面体等。
图11图示了根据一个实施例的产生RGB-D图像的方法900。所述方法900开始于块910，在块910中分别从各自的RGB相机组件130(参见图1)接收多个RGB图像。在块920中，从多个超声波阵列110(参见图1)接收与RGB相机组件130之一分别相关联的多个深度图集，并且在块930中，将RGB图像与深度图数据集对齐。在块940中，将RGB图像中与深度图数据集不对应的部分剪切掉，并且在块950中，将深度图数据集中与RGB图像不对应的部分剪切掉。在块960中，对深度图数据集上采样，以与RGB图像的分辨率相匹配，并且在块970中，将对应的深度图数据集和RGB图像结合，产生连续的RGB-D图像。
所描述的实施例易于进行各种修改且具有各种替代形式，并且已在附图中通过举例的方式示出了并在本文详细描述了它们的特定实施例。然而，应该了解的是，所描述的实施例并非限于所公开的具体形式或方法，而相反，本发明意欲涵盖所有的修改、同等替换和改变。

Claims (29)

1.一种RGB-D成像系统，包括：
壳体；
第一超声波传感器阵列，所述第一超声波传感器阵列被定位在所述壳体上，所述第一超声波传感器阵列包括：
超声波发射器；以及
多个超声波传感器；以及
RGB相机组件，所述RGB相机组件被定位在所述壳体上且可操作地连接至所述第一超声波传感器阵列，所述RGB相机组件包括：
感光成像芯片；以及
镜头；
所述RGB-D成像系统进一步包括第二超声波传感器阵列，所述第二超声波传感器阵列被定位在所述壳体上且可操作连接至所述第一超声波传感豁阵列和所述RGB相机组件。
2.如权利要求1所述的RGB-D成像系统，其中所述第一超声波传感器阵列和所述感光成像芯片在所述壳体上被定位在平行平面上。
3.如权利要求1或2所述的RGB-D成像系统，其中所述第一超声波传感器阵列和所述感光成像芯片在所述壳体上被定位在平行平面上，之间的距离为10cm或小于10cm。
4.如权利要求1或2所述的RGB-D成像系统，
其中所述超声波传感器以具有行和列的矩阵配置被定位在基板上；
其中所述超声波发射器被定位在所述矩阵配置内介于所述行与所述列之间，或者所述超声波发射器被定位在所述矩阵之外。
5.如权利要求1或2所述的RGB-D成像系统，进一步包括处理器和存储器，所述处理器和所述存储器被定位在所述壳体内且可操作地连接至所述第一超声波传感器阵列和所述RGB相机组件。
6.如权利要求1或2所述的RGB-D成像系统，进一步包括定位在所述壳体上的显示器。
7.如权利要求1所述的RGB-D成像系统，其中所述第一超声波传感器阵列和所述第二超声波传感器阵列以及所述感光成像芯片在所述壳体上被定位在平行平面上。
8.如权利要求7所述的RGB-D成像系统，其中所述第一超声波传感器阵列和所述第二超声波传感器阵列以及所述感光成像芯片以线性配置的方式被定位，其中所述感光成像芯片被定位在所述第一超声波传感器阵列与所述第二超声波传感器阵列之间。
9.如权利要求1、2、7或8中任一项所述的RGB-D成像系统，进一步包括多个配对的超声波传感器阵列，其中每一对分别被定位在不同的平行平面上。
10.如权利要求1、2、7或8中任一项所述的RGB-D成像系统，其中所述RGB相机组件包括红外截止滤波器。
11.如权利要求1、2、7或8中任一项所述的RGB-D成像系统，其中所述RGB相机组件包括红外带通滤波器并且其中所述感光成像芯片被配置用于检测红外光。
12.一种包括如权利要求1-11中任一项所述的RGB-D成像系统的移动平台。
13.如权利要求12所述的移动平台，其中所述移动平台是无人飞行器。
14.一种产生RGB-D图像的方法，所述方法包括：
从RGB相机组件接收RGB图像数据；
从第一超声波传感器阵列接收与所述RGB图像数据的第一部分相对应的第一深度图数据集；
从第二超声波传感器阵列接收与所述RGB图像数据的第二部分相对应的第二深度图数据集；以及
将对应的深度图数据集与所述RGB图像数据相结合，以产生RGB-D图像。
15.如权利要求14所述的方法，进一步包括将所述RGB图像数据与所述第一深度图数据集和所述第二深度图数据集对齐。
16.如权利要求14或15所述的方法，进一步包括剪切所述第一深度图数据集和所述第二深度图数据集。
17.如权利要求16所述的方法，其中所述剪切所述第一深度图数据集和所述第二深度图数据集包括将所述第一深度图和所述第二深度图中与所述RGB图像数据不对应的一部分剪切掉。
18.如权利要求14或15所述的方法，进一步包括通过波束成形来处理从所述超声波传感器阵列接收到的深度图数据。
19.如权利要求14或15所述的方法，其中所述第一深度图数据集和所述第二深度图数据集的分辨率比所述RGB图像数据的分辨率低。
20.如权利要求19所述的方法，进一步包括对所述深度图数据上采样以匹配所述RGB图像数据的所述分辨率。
21.一种产生RGB-D图像的方法，所述方法包括：
各自从相应的RGB相机组件接收多个RGB图像；
从多个超声波传感器阵列接收与所述RGB相机组件之一分别相关联的多个深度图数据集，每一个深度图数据集对应于所述RGB图像之一的所选择部分；以及
将对应的深度图数据集与RGB图像相结合，以产生连续的RGB-D图像。
22.如权利要求21所述的方法，进一步包括将所述RGB图像与所述深度图数据集对齐。
23.如权利要求21或22所述的方法，进一步包括剪切所述RGB图像。
24.如权利要求23所述图像的方法，其中所述剪切所述RGB图像包括将所述RGB图像中与深度图数据集不对应的一部分剪切掉。
25.如权利要求21或22所述的方法，进一步包括剪切所述深度图数据集。
26.如权利要求25所述的方法，其中所述剪切所述深度图数据集包括将所述深度图数据集中与RGB图像不对应的一部分剪切掉。
27.如权利要求21或22所述的方法，进一步包括通过波束成形来处理从所述超声波传感器阵列接收到的深度图数据。
28.如权利要求21或22所述的方法，其中所述深度图数据集的分辨率比所述RGB图像数据的分辨率低。
29.如权利要求28所述的方法，进一步包括对所述深度图数据集上采样以匹配所述RGB图像的所述分辨率。
CN201480075391.1A 2014-10-28 2014-10-28 使用超声波深度感测的rgb-d成像系统和方法 Expired - Fee Related CN105980928B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911352577.8A CN111080690A (zh) 2014-10-28 2014-10-28 使用超声波深度感测的rgb-d成像系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/089741 WO2016065541A1 (en) 2014-10-28 2014-10-28 Rgb-d imaging system and method using ultrasonic depth sensing

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201911352577.8A Division CN111080690A (zh) 2014-10-28 2014-10-28 使用超声波深度感测的rgb-d成像系统和方法

Publications (2)

Publication Number Publication Date
CN105980928A CN105980928A (zh) 2016-09-28
CN105980928B true CN105980928B (zh) 2020-01-17

Family

ID=55856361

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911352577.8A Withdrawn CN111080690A (zh) 2014-10-28 2014-10-28 使用超声波深度感测的rgb-d成像系统和方法
CN201480075391.1A Expired - Fee Related CN105980928B (zh) 2014-10-28 2014-10-28 使用超声波深度感测的rgb-d成像系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201911352577.8A Withdrawn CN111080690A (zh) 2014-10-28 2014-10-28 使用超声波深度感测的rgb-d成像系统和方法

Country Status (5)

Country Link
US (2) US9648302B2 (zh)
EP (1) EP3055734A4 (zh)
JP (1) JP6312227B2 (zh)
CN (2) CN111080690A (zh)
WO (1) WO2016065541A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10068385B2 (en) 2015-12-15 2018-09-04 Intel Corporation Generation of synthetic 3-dimensional object images for recognition systems
CN106371281A (zh) * 2016-11-02 2017-02-01 辽宁中蓝电子科技有限公司 基于结构光多模块360度空间扫描和定位的3d相机
CN106842187A (zh) * 2016-12-12 2017-06-13 西南石油大学 一种相控阵扫描与视频图像处理融合定位装置及其方法
CN108696737A (zh) * 2017-02-28 2018-10-23 深圳市掌网科技股份有限公司 一种获取三维图像的方法和装置
US10706505B2 (en) * 2018-01-24 2020-07-07 GM Global Technology Operations LLC Method and system for generating a range image using sparse depth data
CN108921883B (zh) * 2018-04-27 2022-05-06 徐育 基于两位置深度图像识别的饮水机控制装置及其控制方法
CN108961195B (zh) * 2018-06-06 2021-03-23 Oppo广东移动通信有限公司 图像处理方法及装置、图像采集装置、可读存储介质和计算机设备
CN109410263A (zh) * 2018-09-30 2019-03-01 Oppo广东移动通信有限公司 一种数据采集方法、装置及计算机存储介质
CN109274957A (zh) * 2018-10-31 2019-01-25 维沃移动通信有限公司 一种深度图像拍摄方法及移动终端
CN109633661A (zh) * 2018-11-28 2019-04-16 杭州凌像科技有限公司 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法
US11450018B1 (en) * 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209892A (ja) * 2001-01-19 2002-07-30 Fuji Photo Film Co Ltd 超音波探触子及びこれを用いた超音波診断装置
CN102844675A (zh) * 2010-04-20 2012-12-26 罗伯特·博世有限公司 用于确定目标物体的距离和方向的装置
WO2014101955A1 (en) * 2012-12-28 2014-07-03 Metaio Gmbh Method of and system for projecting digital information on a real object in a real environment

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW443156U (en) 1998-09-24 2001-06-23 Chen Guo Fu Piping washing device for engine
AU2003241209A1 (en) 2002-11-29 2004-06-23 Adrian Gerardo Cornejo Reyes Device for producing three-dimensionally-perceived images on a monitor with multiple liquid crystal screens
JP2007024770A (ja) * 2005-07-20 2007-02-01 Denso Corp 障害物検出装置
JP4694930B2 (ja) * 2005-09-21 2011-06-08 富士フイルム株式会社 超音波診断装置
US7532541B2 (en) * 2006-02-23 2009-05-12 Fev Engine Technology, Inc Object detection using acoustic imaging
JP5434109B2 (ja) * 2009-02-06 2014-03-05 セイコーエプソン株式会社 超音波センサーユニット
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
TWI389579B (zh) * 2009-04-27 2013-03-11 Univ Nat Chiao Tung Acoustic camera
CA2720886A1 (en) 2010-11-12 2012-05-12 Crosswing Inc. Customizable virtual presence system
US9176990B2 (en) * 2011-03-04 2015-11-03 Fluke Corporation Visual image annotation, tagging of infrared images, and infrared image linking
KR20130136566A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
US20130021446A1 (en) * 2011-07-20 2013-01-24 GM Global Technology Operations LLC System and method for enhanced sense of depth video
TWM443156U (en) * 2011-11-23 2012-12-11 Chien Hui Chuan System for three-dimensional shape and size measurement
US8259161B1 (en) * 2012-02-06 2012-09-04 Google Inc. Method and system for automatic 3-D image creation
CN104394772B (zh) 2012-06-27 2017-04-26 皇家飞利浦有限公司 用于对二尖瓣返流的分析的超声彩流图
US20140028799A1 (en) * 2012-07-25 2014-01-30 James Kuffner Use of Color and Intensity Modulation of a Display for Three-Dimensional Object Information
JP5962393B2 (ja) * 2012-09-28 2016-08-03 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
KR102085766B1 (ko) * 2013-05-30 2020-04-14 삼성전자 주식회사 촬영 장치의 자동 초점 조절 방법 및 장치
KR20150020953A (ko) * 2013-08-19 2015-02-27 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
US9589359B2 (en) * 2014-04-24 2017-03-07 Intel Corporation Structured stereo
KR102165450B1 (ko) * 2014-05-22 2020-10-14 엘지전자 주식회사 무인 항공기를 제어하는 포터블 디바이스 및 그 제어 방법
CN103971409B (zh) * 2014-05-22 2017-01-11 福州大学 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法
US20150381965A1 (en) * 2014-06-27 2015-12-31 Qualcomm Incorporated Systems and methods for depth map extraction using a hybrid algorithm
CN104092956B (zh) * 2014-07-31 2018-02-02 北京智谷睿拓技术服务有限公司 闪光控制方法、闪光控制装置以及图像采集设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209892A (ja) * 2001-01-19 2002-07-30 Fuji Photo Film Co Ltd 超音波探触子及びこれを用いた超音波診断装置
CN102844675A (zh) * 2010-04-20 2012-12-26 罗伯特·博世有限公司 用于确定目标物体的距离和方向的装置
WO2014101955A1 (en) * 2012-12-28 2014-07-03 Metaio Gmbh Method of and system for projecting digital information on a real object in a real environment

Also Published As

Publication number Publication date
EP3055734A4 (en) 2016-10-26
US20170195655A1 (en) 2017-07-06
EP3055734A1 (en) 2016-08-17
JP2017514330A (ja) 2017-06-01
CN105980928A (zh) 2016-09-28
US9648302B2 (en) 2017-05-09
US9843788B2 (en) 2017-12-12
US20160134858A1 (en) 2016-05-12
WO2016065541A1 (en) 2016-05-06
CN111080690A (zh) 2020-04-28
JP6312227B2 (ja) 2018-04-18

Similar Documents

Publication Publication Date Title
CN105980928B (zh) 使用超声波深度感测的rgb-d成像系统和方法
CN107111598B (zh) 使用超声深度感测的光流成像系统以及方法
US11503275B2 (en) Camera calibration system, target, and process
CN108307675B (zh) 用于vr/ar应用中的深度增强的多基线相机阵列系统架构
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
US10726580B2 (en) Method and device for calibration
JP6657214B2 (ja) 画像ベースの深さ検知システムの精度測定
US20150181197A1 (en) Stereo imaging using disparate imaging devices
CN113412614A (zh) 使用深度图像的三维定位
JP2017022694A (ja) ユーザのデバイスに明視野ベースの画像を表示するための方法および装置ならびに対応するコンピュータプログラム製品
WO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
CN113424522A (zh) 使用半球形或球形可见光深度图像进行三维跟踪
CN108335329B (zh) 应用于飞行器中的位置检测方法和装置、飞行器
Popovic et al. State-of-the-art multi-camera systems
KR102505659B1 (ko) 스마트폰 기반의 조명을 이용한 3차원 스캐닝 장치 및 방법
US11336803B2 (en) Information processing apparatus, information processing method, program, and interchangeable lens
CN113424524B (zh) 使用半球形或球形可见光深度图像的三维建模
EP4241439B1 (en) Gaze-based non-regular subsampling of sensor pixels
Krig et al. Image Capture and Representation
KR20230100213A (ko) 피사체 굴곡 표시 장치 및 방법
CN114972618A (zh) 三维关键点采集系统、方法、装置及存储介质
Krig et al. Image Capture and Representation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200117

CF01 Termination of patent right due to non-payment of annual fee