CN110376602A - 多模式深度计算处理器及3d图像设备 - Google Patents

多模式深度计算处理器及3d图像设备 Download PDF

Info

Publication number
CN110376602A
CN110376602A CN201910631587.9A CN201910631587A CN110376602A CN 110376602 A CN110376602 A CN 110376602A CN 201910631587 A CN201910631587 A CN 201910631587A CN 110376602 A CN110376602 A CN 110376602A
Authority
CN
China
Prior art keywords
depth
mode
image
depth calculation
tof
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910631587.9A
Other languages
English (en)
Inventor
许星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN201910631587.9A priority Critical patent/CN110376602A/zh
Publication of CN110376602A publication Critical patent/CN110376602A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种多模式深度计算处理器及3D图像设备，用于同步或分步进行如下模式：TOF深度计算模式，接收来自TOF图像传感器的电信号，对所述电信号执行相位计算以获取相位值和/或深度值；结构光深度计算模式，接收来自结构光图像传感器的电信号得到结构光图像，对所述结构光图像进行匹配计算以获取偏离值或深度值；双目视觉计算模式，接收来自至少两个双目视觉图像传感器的电信号得到两幅有视差的二维图像，对所述二维图像进行匹配计算以获取偏离值或深度值；融合深度计算模式，所述TOF深度计算模式与所述结构光深度计算模式或所述双目视觉计算模式同步进行得到融合深度图像。通过至少四种深度计算模式，满足多种深度计算的功能需求，功耗低，速率快。

Description

多模式深度计算处理器及3D图像设备
技术领域
本发明涉及计算机和微电子技术领域，尤其涉及一种多模式深度计算处理器及3D图像设备。
背景技术
深度相机用来获取物体的三维深度信息，利用深度信息则可以进行三维建模、识别、人机交互等应用，进一步被用来进行3D打印、人脸识别支付、SLAM(SimultaneousLocalization and Mapping即时定位与地图构建)、体感操控等。在已有的深度相机方案中，基于结构光技术、TOF(Time of Flight,时间飞行)技术以及双目视觉技术的深度相机被普通采用。其中结构光技术拥有高分辨率、近距离高精度的优点，TOF技术则拥有高精度、无基线要求等优点，双目视觉技术拥有大测量范围的优点。在一些实际复杂场景的应用中，单一深度相机往往无法满足要求，比如对于室外机器人而言，近距离避障、识别往往需要结构光深度相机，而SLAM、导航则往往需要TOF深度相机或者双目深度相机等。
因此，多种类深度相机的融合可以实现许多复杂场景应用对3D感知的要求，然而目前的深度相机融合是将多种深度相机与一个主处理器连接，通过主处理器的控制与数据通信来实现多深度相机的数据采集与处理。然而这种方式并未真正意见上实现了多种技术的融合，仅是硬件上的拼凑，性能并未因为融合得到提升，相反融合系统的功耗反而增加。
发明内容
本发明为了解决现有的问题，提供一种多模式深度计算处理器及3D图像设备。
为了解决上述问题，本发明采用的技术方案如下所述：
一种多模式深度计算处理器，用于同步或分步进行如下模式：TOF深度计算模式，接收来自TOF图像传感器的电信号，对所述电信号执行相位计算以获取相位值和/或深度值；结构光深度计算模式，接收来自结构光图像传感器的电信号得到结构光图像，对所述结构光图像进行匹配计算以获取偏离值或深度值；双目视觉计算模式，接收来自至少两个双目视觉图像传感器的电信号得到两幅有视差的二维图像，对所述二维图像进行匹配计算以获取偏离值或深度值；融合深度计算模式，所述TOF深度计算模式与所述结构光深度计算模式或所述双目视觉计算模式同步进行得到融合深度图像。
在本发明的一种实施例中，所述融合深度计算模式得到所述融合深度图像包括：在所述TOF深度计算模式下得到TOF深度图像；在所述结构光深度计算模式下得到结构光深度图像；或，在所述双目视觉计算模式下得到双目视觉深度图像；将所述TOF深度图像和所述结构光深度图像或双目视觉深度图像进行融合得到融合深度图像。
在本发明的又一种实施例中，所述融合深度计算模式得到所述融合深度图像包括：在所述TOF深度计算模式下得到的TOF深度值；在所述结构光深度计算模式下将所述TOF深度值作为匹配计算的初始值用于得到结构光深度图像。
在本发明的再一种实施例中，在所述结构光深度计算模式中采用零均值归一化最小平方距离函数对所述结构光图像与预先存储的参考图像进行像素偏离值的匹配估计。所述双目视觉深度计算模式是通过接受来自所述TOF图像传感器以及一个所述双目视觉图像传感器的电信号进行深度计算。
本发明还提供一种3D图像设备，包括：发射端，用于向目标物体发射光束；至少一个接收端，接收来自被所述目标物体反射回的反射光束并转换成电信号；如上任一所述的多模式深度计算处理器，用于对所述电信号进行处理以得到深度图像。
在本发明的第一种实施例中，所述发射端用于向所述目标物体发射发射结构光光束，所述接收端包括结构光图像传感器，用于采集被所述目标物体调制的结构光图案；所述多模式深度计算处理器对所述结构光图案进行计算以得到所述目标物体的深度图像。
在本发明的第二种实施例中，所述发射端用于向所述目标物体发射被调制的连续波光束或者脉冲光束；所述接收端包括TOF图像传感器，用于采集被所述目标物体反射的所述连续波光束或者所述脉冲光束；所述多模式深度计算处理器通过计算所述连续波光束或者所述脉冲光束的发射与接收之间的相位差或者时间差，从而计算得到目标的深度图像。
在本发明的第三种实施例中，至少包括第一接收端以及第二接收端，所述第一接收端以及所述第二接收端中包括双目视觉图像传感器，分别用于采集所述目标物体的两幅有视差的二维图像；所述多模式深度计算处理器通过对两幅所述二维图像进行视差计算从而得到目标的深度图像。
在本发明的第四种实施例中，还包括用于发射振幅被调制的泛光光束的发射端。
本发明的有益效果为：提供一种多模式深度计算处理器及3D图像设备，通过至少四种深度计算模式：TOF深度计算模式、结构光深度计算模式、双目视觉深度计算模式以及融合深度计算模式，满足多种深度计算的功能需求，功耗低，速率快。
附图说明
图1是本发明实施例中3D成像设备的结构示意图。
图2是本发明实施例中多模式深度计算处理器架构示意图。
其中，10-3D成像设备，11-多模式深度计算处理器，12-接收端，13-发射端，14-发射端，15-第二接收端，16-反射光束，17-发射光束，18-目标物体，20-多模式深度计算处理器，201-相位/振幅计算模块，202-标定模块，203-第一后处理模块，204-第一前处理模块，205-第一校正模块，206-匹配模块，207-融合模块，208-第一复用器，209-第二前处理器模块，210-第二校正模块，211-第二复用器，212-第二后处理模块，221-TOF引擎，222-匹配引擎。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
图1是根据本发明实施例的3D成像设备示意图。3D成像设备10包含发射端14、至少一个接收端12、多模式深度计算处理器11。发射端用于向目标物体发射光束17，接收端12接收来自被目标反射回的反射光束16并转换成电信号，多模式深度计算处理器11接受并处理来自接收端12的电信号以计算出目标物体18的深度图像。
在一个实施例中，3D成像设备10包括结构光深度相机，其中发射端14用于发射结构光光束，发射到目标物体18上形成结构光图案，接收端12包括结构光图像传感器，用于采集被目标调制的结构光图案，最后由多模式深度计算处理器11对结构光图案进行计算以得到目标的深度图像。
在一个实施例中，3D成像设备10包括TOF深度相机，其中发射端14用于发射被调制的连续波光束或者脉冲光束，入射到目标物体18后被反射，进一步被接收端12中的TOF图像传感器采集，多模式深度计算处理器11通过计算光束的发射与接收之间的相位差或者时间差，从而计算得到目标的深度图像。
在一个实施例中，3D成像设备10包括双目视觉深度相机，其至少包括第一接收端12以及第二接收端15，接收端中包括双目视觉图像传感器，分别用于采集目标物体18的左、右两幅有视差的二维图像，多模式深度计算处理器11通过对两幅二维图像进行视差计算从而得到目标的深度图像。在一个实施例中，双目视觉深度相机也可以包含发射端14，其用于向目标物体18发射结构光光束，由此可以实现主动双目视觉深度测量。
当同一台3D成像设备10中同时存在结构光深度相机、TOF深度相机、双目视觉深度相机中的至少两者时，其中一些部件可以通过共用以降低设备的体积、成本与功耗。比如接收端12、发射端14均可以通过合理的设计可以同时应用于三种深度相机的电信号采集。在一个实施例中，TOF图像传感器与结构光图像传感器可以被设计成同一种图像传感器，该图像传感器不仅可以用于采集强度信息用于结构光计算，也可以用于采集相位信息用于TOF计算。在一个实施例中，结构光图像传感器与双目视觉图像传感器可以合二为一。在一些实施例中，也可以设置多个接收端及发射端分别应用于不同的深度相机，比如在一个实施例中，3D成像设备10还包括发射端13，其用于发射振幅被调制的泛光光束，以作为TOF深度相机的发射端，可以获取更加全面的深度图像。
将至少两种的深度相机融合进单一的3D成像设备中时，除了发射端、接收端可以进行融合共用之外，更关键的是处理器的融合，因为处理器的处理能力直接决定了整台设备的性能、功耗。本发明将提供一种多重模式的多模式深度计算处理器架构，以满足多种深度计算的功能需求。
图2是根据本发明一个实施例的深度计算处理器架构示意图。多模式深度计算处理器20包括TOF引擎221、匹配引擎222、融合模块207以及第一复用器208，其中TOF引擎221包括用于TOF计算的相位/振幅计算模块201、标定模块202以及第一后处理模块203；匹配引擎222包括用于结构光及双目视觉计算的第一前处理模块204、第二前处理器模块209、第一校正模块205、第二校正模块210、匹配模块206以及第二后处理模块212。
利用这一处理器架构可以实现至少四种深度计算模式：TOF深度计算模式、结构光深度计算模式、双目视觉深度计算模式以及融合深度计算模式。
(1)TOF深度计算模式。
在TOF深度计算模式下，处理器20中的TOF引擎221执行TOF深度计算，处理器20接收来自TOF图像传感器的电信号，电信号将首先进入相位/振幅计算模块201。相位/振幅计算模块201执行对电信号的相位计算以获取相位值以及振幅计算以获取振幅值，其中相位值与深度值之间存在线性关系，因此在一些实施例中，该相位/振幅计算模块也可以直接计算出深度值。随后相位值被送入标定模块202进行标定，由于TOF测量常常受到噪声干扰，使得测量值与实际值之间存在一定的误差，因此在实际使用前将采用一个标定步骤，比如在一定的测量区间内每隔一段距离设置标定板，并且标定板的实际深度值已知，随后逐次对不同距离上的标定板进行实际测量得到各个距离对应的测量值，测量值与实际值之间的关系就可以作为预标定参数被存储到存储器中，标定模块在标定时将从存储器中调用预标定参数对当前测量值进行标定。这里的预标定参数即可以是实际值与测量值的对照表(index)，此时标定模块202标定过程实际上是查表过程；也可以是通过一定的数学手段对误差进行建模，并通过预先的多次测量以计算得到模型中的未知参数，标定模块202的标定过程实际上就是基于模型、测量值计算出实际值的过程。经标定后的相位值/深度值将被送入第一后处理模块203，第一后处理模块203对相位值/深度值进行例如图像增强、插值计算等对其进行优化，比如孔洞填充、边缘优化等。被第一后处理模块203处理后的相位值/深度值经由第一复用器208输出。
在一些实施例中，当TOF图像传感器与结构光图像传感器合二为一时，相位/振幅计算模块201所计算出的振幅值将被送入匹配引擎进行结构光深度计算，具体见后面说明。
(2)结构光深度计算模式。
在结构光深度计算模式下，处理器20中的匹配引擎222执行结构光深度计算，处理器20接收来自结构光图像传感器的电信号，电信号反映的是目标反射回结构光光束的强度信息即结构光图像，结构光图像将首先进入第一前处理模块204进行去噪、对比度增强等处理，随后进入第一校正模块205进行图像畸变校正等处理。被处理后的结构光图像随后进入匹配模块206进行匹配计算，在进行匹配计算时匹配模块206将从存储器中调用被预先存储的参考图像，在一个实施例中，匹配模块206采用零均值归一化最小平方距离函数对结构光图像与参考图像进行像素偏离值的匹配估计。根据结构光三角法，像素偏离值与目标的深度值之间存在一定的关系，因此在一些实施例中，匹配模块206也可以直接进行深度值的计算，当然深度值的计算也可以放在后续其他模块执行。匹配模块206输出的偏离值/深度值随后被送入第二后处理模块212进行例如图像增强、插值计算等对其进行优化，比如孔洞填充、边缘优化等。被第二后处理模块212处理后的偏离值/深度值经由第一复用器208输出。
在一个实施例中，当TOF图像传感器与结构光图像传感器合二为一时，在执行结构光深度计算模式时，处理器20同样从TOF图像传感器接受光信号，随后光信号进入相位/振幅计算模块201进行振幅计算，所得到的振幅值即为结构光图像，随后该振幅值进入第一前处理模块204进行前处理，后续进行结构光深度计算的过程如上所述。
(3)双目视觉深度计算模式。
在双目视觉深度计算模式模式下，处理器20中的匹配引擎222执行双目视觉深度计算，处理器20接收来自至少两个双目视觉图像传感器的电信号，电信号反映的是目标反射回的光束的强度信息即二维图像(对于主动双目视觉而言，该二维图像即是结构光图像)，左、右两幅有视差的二维图像将首先分别进入第一前处理模块204与第二前处理模块209进行去噪、对比度增强等处理，随后进入第一校正模块205、第二校正模块210进行图像畸变校正等处理。被处理后的二维图像随后进入匹配模块206进行匹配计算，在一个实施例中，匹配模块206采用零均值归一化最小平方距离函数对左、右二维图像进行像素偏离值的匹配估计。根据三角法原理，像素偏离值与目标的深度值之前存在一定的关系，因此在一些实施例中，匹配模块206也可以直接进行深度值的计算，当然深度值的计算也可以放在后续其他模块执行。匹配模块206输出的偏离值/深度值随后被送入第二后处理模块212进行例如图像增强、插值计算等对其进行优化，比如孔洞填充、边缘优化等。被第二后处理模块212处理后的偏离值/深度值经由第一复用器208输出。
为了尽可能对处理器20中的各个模块进行复用以降低成本与资源消耗。匹配引擎222中的部分模块即用于结构光深度计算，也用于双目视觉深度计算，比如第一前处理模块204、第一校正模块205、匹配模块206以及后处理模块212等。为了复用计算的需要，匹配引擎222还包括第二复用器211，该复用器的作用是在匹配引擎222执行结构光深度计算以及双目视觉深度计算时对匹配模块206输入图像的选择，在结构光深度计算时，复用器211将选择从存储器中调用参考图像并将参考图像输入匹配模块206进行匹配计算；在双目视觉深度计算时，复用器211则选择从第二校正模块210中接收二维图像并将二维图像输入匹配模块206进行匹配计算。
在一个实施例中，双目视觉深度计算同样也可以接受来自TOF图像传感器以及一个双目视觉图像传感器的电信号进行深度计算。来自TOF图像传感器的电信号被相位/振幅计算模块进行振幅计算，并将振幅计算送入第一前处理模块204，后续的双目视觉深度计算过程如上所述。
(4)融合深度计算模式。
当在融合深度计算模式下进行深度计算时，处理器20中的TOF引擎221以及匹配引擎222均进行工作，并由第一后处理模块203输出TOF深度图像，以及由第二后处理模块212输出结构光深度图像/双目视觉深度图像，TOF深度图像与结构光/双目视觉深度图像随后被送入融合模块207进行融合以输出最终的融合深度图像，融合深度图像经由第一复用器208进行输出。
需要说明的是，融合模块207所指的融合是指深度图像数据的融合，而多模式深度计算处理器中的融合泛指功能、模块上的融合。
在一个实施例中，匹配引擎222所执行的深度计算与TOF引擎221所执行的深度计算各自用于测量范围在ΔZ1以及ΔZ2内的目标，并且ΔZ1≠ΔZ2。在一个实施例中，ΔZ1为近距，ΔZ2为远距，即由结构光/双目深度测量子单元对近距的物体进行测量，由TOF深度测量子单元对远距的物体进行测量。由于结构光/双目算法精度在近距离时较高且随距离增加会急速降低甚至无法测量，而TOF算法则在近距离测量时深度分辨率较低、而对远距离拥有较高的精度。可以同时执行两个引擎的计算，也可以采用比如前后帧切换的计算形式，在分别获取结构光/双目视觉深度图像以及TOF深度图像之后，可以将两幅深度图像进行融合以获取大范围、高精度的深度图像，融合方式可以采用基于置信度的加权平均等方式。比如在一个实施例中，根据相对精度设计置信度，对于结构光/双目深度图像而言，深度值越大，置信度越低，而对于TOF深度图像而言，深度值越大，置信度越高。本实施例的方案所带来的有益效果是，可以使得多模式深度计算处理器20可以实现更大的测量范围，同时在大范围内均保持较高的测量精度。
在一个实施例中，由于结构光/双目视觉深度计算需要进行匹配计算，匹配计算是整个深度计算环节中最消耗资源也是对精度影响最大的环节。匹配计算一般包括初始深度值估计、迭代优化、亚像素高精度深度值计算等几个步骤，其中初始深度值估计直接影响到后面步骤的效率与计算精度。本实施例中，将TOF引擎计算出的TOF深度值作为匹配计算的初始深度值。由于TOF深度值本身就具备较高的精度，以此作为结构光深度匹配计算的初始值，再进行迭代计算实现亚像素的深度值估计，这种融合深度计算方法最终可以实现比单独结构光/双目视觉或者TOF计算更高精度的结果。
在一些实施例中，上述四种模式可以同步进行，第一复用器208可以实时同步或连续输出不同模式所输出的深度图像。
在一些实施例中，处理器20还可以包括如总线、主控制器、输入/输出接口等模块，比如若处理器20为集成SOC芯片时，将包括这些模块，各个图像传感器将通过相应的输入接口将电信号数据输入至处理器20的对应模块中，在输入接口以及模块之间还可以设置分路器以根据不同的深度计算模式选择性地通过电信号数据，第二复用器208的数据将通过输出接口输出，输入/输出接口可以是USB、MIPI、DVP等形式的接口；总线负责SOC内部各个模块以及外部模块之间的通信、传输；主控制器则负责内部各个模块之间的资源调配与功能触发等工作。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种多模式深度计算处理器，其特征在于，用于同步或分步进行如下模式：
TOF深度计算模式，接收来自TOF图像传感器的电信号，对所述电信号执行相位计算以获取相位值和/或深度值；
结构光深度计算模式，接收来自结构光图像传感器的电信号得到结构光图像，对所述结构光图像进行匹配计算以获取偏离值或深度值；
双目视觉计算模式，接收来自至少两个双目视觉图像传感器的电信号得到两幅有视差的二维图像，对所述二维图像进行匹配计算以获取偏离值或深度值；
融合深度计算模式，所述TOF深度计算模式与所述结构光深度计算模式或所述双目视觉计算模式同步进行得到融合深度图像。
2.如权利要求1所述的多模式深度计算处理器，其特征在于，所述融合深度计算模式得到所述融合深度图像包括：
在所述TOF深度计算模式下得到TOF深度图像；
在所述结构光深度计算模式下得到结构光深度图像；或，在所述双目视觉计算模式下得到双目视觉深度图像；
将所述TOF深度图像和所述结构光深度图像或双目视觉深度图像进行融合得到融合深度图像。
3.如权利要求1所述的多模式深度计算处理器，其特征在于，所述融合深度计算模式得到所述融合深度图像包括：
在所述TOF深度计算模式下得到的TOF深度值；
在所述结构光深度计算模式下将所述TOF深度值作为匹配计算的初始值用于得到结构光深度图像。
4.如权利要求1所述的多模式深度计算处理器，其特征在于，在所述结构光深度计算模式中采用零均值归一化最小平方距离函数对所述结构光图像与预先存储的参考图像进行像素偏离值的匹配估计。
5.如权利要求1所述的多模式深度计算处理器，其特征在于，所述双目视觉深度计算模式是通过接受来自所述TOF图像传感器以及一个所述双目视觉图像传感器的电信号进行深度计算。
6.一种3D图像设备，其特征在于，包括：
发射端，用于向目标物体发射光束；
至少一个接收端，接收来自被所述目标物体反射回的反射光束并转换成电信号；
如权利要求1～5任一所述的多模式深度计算处理器，用于对所述电信号进行处理以得到深度图像。
7.如权利要求6所述的3D图像设备，其特征在于，
所述发射端用于向所述目标物体发射发射结构光光束，
所述接收端包括结构光图像传感器，用于采集被所述目标物体调制的结构光图案；
所述多模式深度计算处理器对所述结构光图案进行计算以得到所述目标物体的深度图像。
8.如权利要求6所述的3D图像设备，其特征在于，
所述发射端用于向所述目标物体发射被调制的连续波光束或者脉冲光束；
所述接收端包括TOF图像传感器，用于采集被所述目标物体反射的所述连续波光束或者所述脉冲光束；
所述多模式深度计算处理器通过计算所述连续波光束或者所述脉冲光束的发射与接收之间的相位差或者时间差，从而计算得到目标的深度图像。
9.如权利要求6所述的3D图像设备，其特征在于，
至少包括第一接收端以及第二接收端，所述第一接收端以及所述第二接收端中包括双目视觉图像传感器，分别用于采集所述目标物体的两幅有视差的二维图像；
所述多模式深度计算处理器通过对两幅所述二维图像进行视差计算从而得到目标的深度图像。
10.如权利要求6所述的3D图像设备，其特征在于，还包括用于发射振幅被调制的泛光光束的发射端。
CN201910631587.9A 2019-07-12 2019-07-12 多模式深度计算处理器及3d图像设备 Pending CN110376602A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910631587.9A CN110376602A (zh) 2019-07-12 2019-07-12 多模式深度计算处理器及3d图像设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910631587.9A CN110376602A (zh) 2019-07-12 2019-07-12 多模式深度计算处理器及3d图像设备

Publications (1)

Publication Number Publication Date
CN110376602A true CN110376602A (zh) 2019-10-25

Family

ID=68252945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910631587.9A Pending CN110376602A (zh) 2019-07-12 2019-07-12 多模式深度计算处理器及3d图像设备

Country Status (1)

Country Link
CN (1) CN110376602A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110888141A (zh) * 2019-10-28 2020-03-17 深圳奥比中光科技有限公司 深度测量装置及方法
CN111443361A (zh) * 2020-06-18 2020-07-24 深圳市汇顶科技股份有限公司 飞时测距方法与相关系统
CN111664798A (zh) * 2020-04-29 2020-09-15 深圳奥比中光科技有限公司 一种深度成像方法、装置及计算机可读存储介质
CN111708039A (zh) * 2020-05-24 2020-09-25 深圳奥比中光科技有限公司 一种深度测量装置、方法及电子设备
CN112255639A (zh) * 2020-12-23 2021-01-22 杭州蓝芯科技有限公司 一种感兴趣区域深度感知传感器及深度感知传感模块
CN113139998A (zh) * 2021-04-23 2021-07-20 北京华捷艾米科技有限公司 深度图像的生成方法及装置、电子设备、计算机存储介质
CN113239828A (zh) * 2021-05-20 2021-08-10 清华大学深圳国际研究生院 一种基于tof摄像模组的人脸识别方法及装置
WO2022001590A1 (zh) * 2020-06-30 2022-01-06 中兴通讯股份有限公司 摄像系统、移动终端以及三维图像获取方法
CN114365191A (zh) * 2019-11-06 2022-04-15 Oppo广东移动通信有限公司 图像的深度值的确定方法、图像处理器以及模组

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5349378A (en) * 1992-12-21 1994-09-20 Robotic Vision Systems, Inc. Context independent fusion of range and intensity imagery
US20060221250A1 (en) * 2004-01-28 2006-10-05 Canesta, Inc. Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
CN104903677A (zh) * 2012-12-17 2015-09-09 Lsi公司 用于将使用不同深度成像技术生成的深度图像合并的方法和装置
CN105115445A (zh) * 2015-09-14 2015-12-02 杭州光珀智能科技有限公司 基于深度相机与双目视觉复合的三维成像系统及成像方法
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
CN108322724A (zh) * 2018-02-06 2018-07-24 上海兴芯微电子科技有限公司 图像立体匹配方法以及双目视觉设备
CN109615652A (zh) * 2018-10-23 2019-04-12 西安交通大学 一种深度信息获取方法及装置
CN109765634A (zh) * 2019-01-18 2019-05-17 广州市盛光微电子有限公司 一种深度标注装置
CN109889809A (zh) * 2019-04-12 2019-06-14 深圳市光微科技有限公司 深度相机模组、深度相机、深度图获取方法以及深度相机模组形成方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5349378A (en) * 1992-12-21 1994-09-20 Robotic Vision Systems, Inc. Context independent fusion of range and intensity imagery
US20060221250A1 (en) * 2004-01-28 2006-10-05 Canesta, Inc. Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
CN104903677A (zh) * 2012-12-17 2015-09-09 Lsi公司 用于将使用不同深度成像技术生成的深度图像合并的方法和装置
CN105115445A (zh) * 2015-09-14 2015-12-02 杭州光珀智能科技有限公司 基于深度相机与双目视觉复合的三维成像系统及成像方法
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
CN108322724A (zh) * 2018-02-06 2018-07-24 上海兴芯微电子科技有限公司 图像立体匹配方法以及双目视觉设备
CN109615652A (zh) * 2018-10-23 2019-04-12 西安交通大学 一种深度信息获取方法及装置
CN109765634A (zh) * 2019-01-18 2019-05-17 广州市盛光微电子有限公司 一种深度标注装置
CN109889809A (zh) * 2019-04-12 2019-06-14 深圳市光微科技有限公司 深度相机模组、深度相机、深度图获取方法以及深度相机模组形成方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110888141A (zh) * 2019-10-28 2020-03-17 深圳奥比中光科技有限公司 深度测量装置及方法
CN114365191A (zh) * 2019-11-06 2022-04-15 Oppo广东移动通信有限公司 图像的深度值的确定方法、图像处理器以及模组
CN111664798A (zh) * 2020-04-29 2020-09-15 深圳奥比中光科技有限公司 一种深度成像方法、装置及计算机可读存储介质
WO2021238212A1 (zh) * 2020-05-24 2021-12-02 奥比中光科技集团股份有限公司 一种深度测量装置、方法及电子设备
CN111708039A (zh) * 2020-05-24 2020-09-25 深圳奥比中光科技有限公司 一种深度测量装置、方法及电子设备
CN111708039B (zh) * 2020-05-24 2023-09-05 奥比中光科技集团股份有限公司 一种深度测量装置、方法及电子设备
CN111443361A (zh) * 2020-06-18 2020-07-24 深圳市汇顶科技股份有限公司 飞时测距方法与相关系统
CN111443361B (zh) * 2020-06-18 2022-03-29 深圳市汇顶科技股份有限公司 飞时测距方法与相关系统
WO2022001590A1 (zh) * 2020-06-30 2022-01-06 中兴通讯股份有限公司 摄像系统、移动终端以及三维图像获取方法
CN112255639B (zh) * 2020-12-23 2021-09-03 杭州蓝芯科技有限公司 一种感兴趣区域深度感知传感器及深度感知传感模块
CN112255639A (zh) * 2020-12-23 2021-01-22 杭州蓝芯科技有限公司 一种感兴趣区域深度感知传感器及深度感知传感模块
CN113139998A (zh) * 2021-04-23 2021-07-20 北京华捷艾米科技有限公司 深度图像的生成方法及装置、电子设备、计算机存储介质
CN113239828A (zh) * 2021-05-20 2021-08-10 清华大学深圳国际研究生院 一种基于tof摄像模组的人脸识别方法及装置

Similar Documents

Publication Publication Date Title
CN110376602A (zh) 多模式深度计算处理器及3d图像设备
CN110471080A (zh) 基于tof图像传感器的深度测量装置
EP3232151B1 (en) Three-dimensional measurement system and measurement method for feature point based on plane of four-camera set array
CN110333501A (zh) 深度测量装置及距离测量方法
US20200293763A1 (en) Three-Dimensional Real Face Modeling Method and Three-Dimensional Real Face Camera System
CN110490920A (zh) 融合深度计算处理器及3d图像设备
CN110456379A (zh) 融合的深度测量装置及距离测量方法
EP3416370B1 (en) Photography focusing method, device, and apparatus for terminal
US20160005179A1 (en) Methods and apparatus for merging depth images generated using distinct depth imaging techniques
CN110488240A (zh) 深度计算芯片架构
WO2021120402A1 (zh) 一种融合的深度测量装置及测量方法
CN105115445A (zh) 基于深度相机与双目视觉复合的三维成像系统及成像方法
US20140078264A1 (en) Absolute three-dimensional shape measurement using coded fringe patterns without phase unwrapping or projector calibration
CN110443186B (zh) 立体匹配方法、图像处理芯片及移动载具
CN107635129A (zh) 三维三目摄像装置及深度融合方法
US20140139632A1 (en) Depth imaging method and apparatus with adaptive illumination of an object of interest
CN113329219B (zh) 多输出参数可动态配置深度相机
CN110619617B (zh) 三维成像方法、装置、设备及计算机可读存储介质
US11803982B2 (en) Image processing device and three-dimensional measuring system
CN110728745B (zh) 一种基于多层折射图像模型的水下双目立体视觉三维重建方法
CN110260801A (zh) 用于测量物料体积的方法和装置
Yang et al. Vision system of mobile robot combining binocular and depth cameras
EP3832600A1 (en) Image processing device and three-dimensional measuring system
US11165984B2 (en) Camera system with complementary pixlet structure
CN210274243U (zh) 一种融合了深度相机和普通相机的传感器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 11-13 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Yuehai street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Obi Zhongguang Technology Group Co., Ltd

Address before: 12 / F, joint headquarters building, high tech Zone, 63 Xuefu Road, Nanshan District, Shenzhen, Guangdong 518000

Applicant before: SHENZHEN ORBBEC Co.,Ltd.