CN113189601B - 混合型深度估算系统 - Google Patents

混合型深度估算系统 Download PDF

Info

Publication number
CN113189601B
CN113189601B CN202010030847.XA CN202010030847A CN113189601B CN 113189601 B CN113189601 B CN 113189601B CN 202010030847 A CN202010030847 A CN 202010030847A CN 113189601 B CN113189601 B CN 113189601B
Authority
CN
China
Prior art keywords
depth
map
point
estimation system
hybrid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010030847.XA
Other languages
English (en)
Other versions
CN113189601A (zh
Inventor
詹伟凯
刘逸秾
蔡金融
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Himax Technologies Ltd
Original Assignee
Himax Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Technologies Ltd filed Critical Himax Technologies Ltd
Priority to CN202010030847.XA priority Critical patent/CN113189601B/zh
Publication of CN113189601A publication Critical patent/CN113189601A/zh
Application granted granted Critical
Publication of CN113189601B publication Critical patent/CN113189601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了一种混合型深度估算系统，其包括：可切换投射器，其投射点光线或面光线至对象；传感器，其接收来自对象的反射点光线或反射面光线，用以分别捕获第一影像或第二影像；点飞时深度产生器，其根据第一影像来产生点深度图和相关的点可信度图；面飞时深度产生器，其根据第二影像来产生面深度图；以及去噪声处理器，其根据点深度图当中具有高可信度的复数点来处理面深度图，因而产生去噪声深度图。

Description

混合型深度估算系统
技术领域
本发明涉及深度估算，特别是涉及一种具有情境感知适应性优化(context-awareadaptive optimization)的混合型深度估算系统。
背景技术
深度图(depth map)是一种包括视点与场景对象表面之间的距离信息的影像，是机器视觉的一种重要工具，用以提供基于影像的自动化检测与分析，可应用于头戴式装置、机器人导引、自动检测与工艺控制等应用。
飞时(time-of-flight，ToF)深度传感器普遍应用以获得深度信息，其通过测量投射光线从场景对象反射回来并由飞时深度传感器接收所需时间以转换得到深度。传统的具有面光线投射器的飞时深度传感器具有能量分散与高功耗等缺点。
结构光(structured light)是另一种获得深度信息的技术，其通过投射已知图样(例如格状或水平条纹)至场景对象并基于几何三角测量法以得到深度。传统的结构光具有能量集中与低功耗等优点。但是，由于需要基线(baseline)，使得体积变得较大。
因此亟需提出一种新颖的深度估算系统，以克服传统深度估算系统的诸多缺点。
发明内容
鉴于上述，本发明实施例的目的之一在于提出一种具有情境感知适应性优化的混合型深度估算系统，其可适用于低功率、高质量与长距离模式。
根据本发明的一个实施例，混合型深度估算系统包括可切换投射器、传感器、点飞时深度产生器、面飞时深度产生器及去噪声处理器。可切换投射器可投射点光线或面光线至对象。传感器接收来自对象的反射点光线或反射面光线，用以分别捕获第一影像或第二影像。点飞时深度产生器根据第一影像以产生点深度图与相关的点可信度图。面飞时深度产生器根据第二影像以产生面深度图。去噪声处理器根据点深度图当中具有高可信度的复数点来处理面深度图，因而产生去噪声深度图。
根据本发明的另一实施例，混合型深度估算系统还包括结构光深度译码器、边缘检测器及熔合处理器。结构光深度译码器根据点可信度图来产生结构光深度图。边缘检测器根据去噪声可信度图来产生边缘图。熔合处理器根据点可信度图与边缘图来处理结构光深度图、点深度图及面深度图，因而产生强化深度图。
附图说明
图1显示本发明的第一实施例的混合型深度估算系统的方块图。
图2显示本发明的第二实施例的混合型深度估算系统的方块图。
具体实施方式
图1显示本发明的第一实施例的混合型深度估算系统100的方块图。混合型深度估算系统(以下简称系统)100的方块可使用电子电路、计算机软件或其组合来实施。例如，系统100的至少一部分可执行于具有内嵌内存的数字图像处理器。在另一示例中，系统100的至少一部分可使用指令控制计算机来实施。
在本实施例中，系统100包括可切换投射器11，例如点-扩散片(dot-diffuser)投射器，其可投射点光线或面光线至对象10。换句话说，可切换投射器11的投射光可在点光线与面光线之间进行切换。可切换投射器11受控于模式信号，其代表模式检测器12所确定的模式。例如，模式检测器12可根据功率、质量及距离来确定模式，其分别相应于低功率模式、高质量模式及长距离模式。模式检测器12也可根据目前电池准位、目前(飞时测量的)可信度(confidence)及眼球追踪器(eye tracker)的感兴趣区域(region of interest)。藉此，本实施例可实现情境感知适应性优化。
本实施例的系统100可包括传感器13(其设置于可切换投射器11的附近)，其接收从对象10反射的反射点光线或反射面光线，用以捕获(相应于点光线的)第一影像或(相应于面光线的)第二影像。值得注意的是，在本实施例中，可切换投射器11作为单一光源，并且传感器13作为单一捕获设备以捕获影像。
根据本实施例的特征之一，系统100可包括点飞时深度产生器(dot ToF depthgenerator)14，其通过测量投射点光线从对象10反射回来并由传感器13捕获所需的时间，并根据第一影像来产生点深度图。点飞时深度产生器14还同时产生相关的点可信度图(dotconfidence map)。本说明书采用相关领域的习惯，可信度图用以代表影像的每一像素的距离(或深度)测量的可信度。
系统100可包括面飞时深度产生器(surface ToF depth generator)15，其通过测量投射面光线从对象10反射回来并由传感器13捕获所需的时间，并根据第二影像来产生面深度图。面飞时深度产生器15还同时产生相关的面可信度图(surface confidence map)。系统100可包括缓冲器16(例如内存装置)，用以暂存面深度图。
本实施例的系统100可包括去噪声(denoise)处理器17，其根据(点飞时深度产生器14的)点深度图当中具有高可信度的复数点(或像素)，用以处理(面飞时深度产生器15或缓冲器16的)面深度图，因而得到去噪声深度图。在本说明书中，高可信度是指大于默认值的可信度。去噪声处理器17还同时产生相关的去噪声可信度图。在一实施例中，去噪声处理器17使用点深度图当中具有高可信度的深度值来置换面深度图的相应深度值。
图2显示本发明的第二实施例的混合型深度估算系统200的方块图。混合型深度估算系统(以下简称系统)200类似于图1的系统100，但还包括以下方块，详述如下。
在本实施例中，系统200可包括结构光深度译码器21，其根据(点飞时深度产生器14的)点可信度图来产生结构光深度图。结构光深度译码器21使用可切换投射器11来投射已知图样，并且使用传感器13来捕获反射影像，并基于几何三角测量法来产生结构光深度图。
根据本实施例的特征之一，系统200可包括边缘(edge)检测器22，根据(去噪声处理器17的)去噪声可信度图来产生边缘图。
本实施例的系统200可包括熔合(fusion)处理器23，其根据(点飞时深度产生器14的)点可信度图与(边缘检测器22的)边缘图，以接收并处理(结构光深度译码器21的)结构光深度图、(点飞时深度产生器14的)点深度图以及(面飞时深度产生器15或缓冲器16的)面深度图，因而产生强化深度图。
在一实施例中，熔合处理器23针对位于(边缘检测器22的)检测边缘的(结构光深度图、点深度图或/和面深度图)深度值进行熔合操作，用以校正经常发生于结构光深度图当中位于检测边缘的洞(hole)。
在另一实施例中，熔合处理器23根据场景对象的距离来执行熔合操作。例如，对于较近的场景对象，其结构光深度图具有较好表现，因此在进行熔合操作时给予较高权重。相反的，对于较远的场景对象，其面深度图具有较好表现，因此在进行熔合操作时给予较高权重。
根据上述的第一实施例和第二实施例，相较于传统结构光系统，系统100/200具有增进的可检测大小；相较于传统面飞时系统，系统100/200具有增强的有效工作范围、增进的光学现象鲁棒性(robustness)和较低功耗。相较于传统结构光与飞时系统，系统200具有更好的质量。
以上所述仅为本发明的较佳实施例，而并非用于限定本发明的权利要求的范围；其它在未脱离本发明所揭示的精神的情况下所完成的等效改变或修饰，均应包括在下述权利要求的范围内。
符号说明
100 混合型深度估算系统
200 混合型深度估算系统
10 对象
11 可切换投射器
12 模式检测器
13 传感器
14 点飞时深度产生器
15 面飞时深度产生器
16 缓冲器
17 去噪声处理器
21 结构光深度译码器
22 边缘检测器
23 熔合处理器

Claims (13)

1.一种混合型深度估算系统，包括：
可切换投射器，其投射点光线或面光线至对象；
传感器，其接收来自所述对象的反射点光线或反射面光线，用以分别捕获第一影像或第二影像；
点飞时深度产生器，其根据所述第一影像来产生点深度图和相关的点可信度图；
面飞时深度产生器，其根据所述第二影像来产生面深度图；以及
去噪声处理器，其根据所述点深度图当中具有高可信度的复数点来处理所述面深度图，因而产生去噪声深度图。
2.根据权利要求1所述的混合型深度估算系统，其中，所述可切换投射器包括点-扩散片投射器。
3.根据权利要求1所述的混合型深度估算系统，还包括：
模式检测器，其产生模式信号以控制所述可切换投射器。
4.根据权利要求1所述的混合型深度估算系统，其中，所述可切换投射器是单一光源，并且所述传感器是单一捕获设备。
5.根据权利要求1所述的混合型深度估算系统，还包括：
缓冲器，其用于暂存所述面深度图。
6.一种混合型深度估算系统，包括：
可切换投射器，其投射点光线或面光线至对象；
传感器，其接收来自所述对象的反射点光线或反射面光线，用以分别捕获第一影像或第二影像；
点飞时深度产生器，其根据所述第一影像来产生点深度图和相关的点可信度图；
面飞时深度产生器，其根据所述第二影像来产生面深度图；
去噪声处理器，其根据所述点深度图当中具有高可信度的复数点来处理所述面深度图，因而产生去噪声深度图和相关的去噪声可信度图；
结构光深度译码器，其根据所述点可信度图来产生结构光深度图；
边缘检测器，其根据所述去噪声可信度图来产生边缘图；以及
熔合处理器，其根据所述点可信度图和所述边缘图来处理所述结构光深度图、所述点深度图以及所述面深度图，因而产生强化深度图。
7.根据权利要求6所述的混合型深度估算系统，其中，所述熔合处理器针对所述边缘检测器所检测的边缘所在的深度值进行熔合操作。
8.根据权利要求6所述的混合型深度估算系统，其中，所述熔合处理器根据所述对象的距离来执行熔合操作。
9.根据权利要求8所述的混合型深度估算系统，其中，当所述对象与所述传感器的距离较近时，所述结构光深度图具有较高权重，当所述对象与所述传感器的距离较远时，所述面深度图具有较高权重。
10.根据权利要求6所述的混合型深度估算系统，其中，所述可切换投射器包括点-扩散片投射器。
11.根据权利要求6所述的混合型深度估算系统，还包括：
模式检测器，其产生模式信号以控制所述可切换投射器。
12.根据权利要求6所述的混合型深度估算系统，其中，所述可切换投射器是单一光源，并且所述传感器是单一捕获设备。
13.根据权利要求6所述的混合型深度估算系统，还包括：
缓冲器，其用于暂存所述面深度图。
CN202010030847.XA 2020-01-13 2020-01-13 混合型深度估算系统 Active CN113189601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010030847.XA CN113189601B (zh) 2020-01-13 2020-01-13 混合型深度估算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010030847.XA CN113189601B (zh) 2020-01-13 2020-01-13 混合型深度估算系统

Publications (2)

Publication Number Publication Date
CN113189601A CN113189601A (zh) 2021-07-30
CN113189601B true CN113189601B (zh) 2023-08-18

Family

ID=76972298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010030847.XA Active CN113189601B (zh) 2020-01-13 2020-01-13 混合型深度估算系统

Country Status (1)

Country Link
CN (1) CN113189601B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1575524A (zh) * 2001-08-23 2005-02-02 华盛顿州大学 深度增强的图像采集
CN108718406A (zh) * 2018-05-31 2018-10-30 西安知微传感技术有限公司 一种可变焦3d深度相机及其成像方法
CN209231620U (zh) * 2018-06-12 2019-08-09 迪鹏光电科技股份有限公司 结构光图案投射器
KR20190117418A (ko) * 2019-09-27 2019-10-16 엘지전자 주식회사 라이다 시스템과 그 제어 방법 및 라이다 시스템을 포함한 자율 주행 시스템
WO2019196683A1 (zh) * 2018-04-12 2019-10-17 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN110532979A (zh) * 2019-09-03 2019-12-03 深圳市华芯技研科技有限公司 一种三维图像人脸识别方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9424650B2 (en) * 2013-06-12 2016-08-23 Disney Enterprises, Inc. Sensor fusion for depth estimation
US10437342B2 (en) * 2016-12-05 2019-10-08 Youspace, Inc. Calibration systems and methods for depth-based interfaces with disparate fields of view
KR102480310B1 (ko) * 2017-11-06 2022-12-23 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10663567B2 (en) * 2018-05-04 2020-05-26 Microsoft Technology Licensing, Llc Field calibration of a structured light range-sensor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1575524A (zh) * 2001-08-23 2005-02-02 华盛顿州大学 深度增强的图像采集
WO2019196683A1 (zh) * 2018-04-12 2019-10-17 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108718406A (zh) * 2018-05-31 2018-10-30 西安知微传感技术有限公司 一种可变焦3d深度相机及其成像方法
CN209231620U (zh) * 2018-06-12 2019-08-09 迪鹏光电科技股份有限公司 结构光图案投射器
CN110532979A (zh) * 2019-09-03 2019-12-03 深圳市华芯技研科技有限公司 一种三维图像人脸识别方法及系统
KR20190117418A (ko) * 2019-09-27 2019-10-16 엘지전자 주식회사 라이다 시스템과 그 제어 방법 및 라이다 시스템을 포함한 자율 주행 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于光度立体法的三维重建技术的研究与实现;林慕清;《中国优秀硕士学位论文全文数据库 信息科技辑》;19-34 *

Also Published As

Publication number Publication date
CN113189601A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
EP3517997B1 (en) Method and system for detecting obstacles by autonomous vehicles in real-time
Levinson et al. Automatic online calibration of cameras and lasers.
KR102126513B1 (ko) 카메라의 포즈를 판단하기 위한 장치 및 방법
US10659762B2 (en) Stereo camera
JP3951984B2 (ja) 画像投影方法、及び画像投影装置
CN107850446B (zh) 自身位置推定装置及自身位置推定方法
US11132804B2 (en) Hybrid depth estimation system
JP5472538B2 (ja) 距離計測装置及び環境地図生成装置
CN110503040B (zh) 障碍物检测方法及装置
WO2021016854A1 (zh) 一种标定方法、设备、可移动平台及存储介质
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP2011123071A (ja) 撮像装置、オクルージョン領域の探索方法、及びプログラム
CN113658241B (zh) 单目结构光的深度恢复方法、电子设备及存储介质
JP2018195241A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2022045947A5 (zh)
CN110109146B (zh) 基于多线激光雷达的路面检测方法及装置
EP4148671B1 (en) Electronic device and method for controlling same
JP2013257244A (ja) 距離測定装置、距離測定方法、及び距離測定プログラム
JP2019175423A (ja) 情報処理システムおよび情報処理方法
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质
JP2014130086A (ja) 距離画像センサ、処理装置、プログラム
JP2005156199A (ja) 車両検知方法及び車両検知装置
CN110309845B (zh) 信息处理系统以及信息处理方法
CN113189601B (zh) 混合型深度估算系统
TWI753344B (zh) 混合型深度估算系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant