CN109870116A - 深度成像装置及其驱动方法 - Google Patents

深度成像装置及其驱动方法 Download PDF

Info

Publication number
CN109870116A
CN109870116A CN201711264915.3A CN201711264915A CN109870116A CN 109870116 A CN109870116 A CN 109870116A CN 201711264915 A CN201711264915 A CN 201711264915A CN 109870116 A CN109870116 A CN 109870116A
Authority
CN
China
Prior art keywords
depth
imaging system
depth imaging
camera
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711264915.3A
Other languages
English (en)
Other versions
CN109870116B (zh
Inventor
魏守德
陈星宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lite On Electronics Guangzhou Co Ltd
Lite On Technology Corp
Original Assignee
Lite On Electronics Guangzhou Co Ltd
Lite On Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lite On Electronics Guangzhou Co Ltd, Lite On Technology Corp filed Critical Lite On Electronics Guangzhou Co Ltd
Priority to CN201711264915.3A priority Critical patent/CN109870116B/zh
Priority to US15/866,446 priority patent/US10516873B2/en
Publication of CN109870116A publication Critical patent/CN109870116A/zh
Application granted granted Critical
Publication of CN109870116B publication Critical patent/CN109870116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种深度成像装置。第一相机与第二相机形成第一深度成像系统。投影元件与第二相机形成第二深度成像系统，其中投影元件至第二相机的距离不等于第一相机至第二相机的距离。控制单元用以命令第一深度成像系统与第二深度成像系统之一获取深度地图及对应深度地图的信心度地图，且判断信心度地图中的所有信心度值是否皆小于信心度阈值。若皆小于信心度阈值，则控制单元启动第一深度成像系统与第二深度成像系统之另一。若不皆小于信心度阈值，则判断深度地图中的最近距离是否落在预设范围内。一种深度成像装置的驱动方法也被提出。

Description

深度成像装置及其驱动方法
技术领域
本发明涉及一种成像装置及其驱动方法，尤其涉及一种深度成像装置及其驱动方法。
背景技术
随着目前对于物体的深度信息的需求日渐提升，对于更为准确地检测物体表面的技术也日趋重要，特别是检测物体在不同距离间的感测要求愈显严苛，例如是无人飞行器、空拍机或扫地机器人等。
目前获取物体的深度信息的主流测量方法有双目视觉、结构光等，双目视觉系指双目产生的视差通过三角测量(Triangulation)测量出物体的三维立体结构，具有效率高、系统结构简单以及成本低等优势。结构光系投射出图案化光面至物体上，具有不同深度的光的纹路会发生变形，在经由三角测量的原理得到物体的深度信息。然而，使用任一深度测量方法皆具有视野在特定区域出现盲区的情形，当物体出现在盲区时将导致装置无法判断出物体的距离，进而影响装置的安全性，且在现阶段电池可储存电力有限的情况下，如何改善装置无法于盲区测量的限制，且能保持系统节电的功效，为目前深度成像装置亟需改善的课题。
发明内容
本发明提供一种深度成像装置，具有减少视觉盲区范围及省电的功效。
本发明提供一种深度成像装置的驱动方法，可实现减少视觉盲区范围及省电的功效。
本发明的一实施例的一种深度成像装置包括第一相机、第二相机、投影元件及控制单元。第一相机与第二相机形成第一深度成像系统。投影元件与第二相机形成第二深度成像系统，其中投影元件至第二相机的距离不等于第一相机至第二相机的距离。控制单元电性连接至第一相机、第二相机及投影元件，用以命令第一深度成像系统与第二深度成像系统之一获取深度地图及对应深度地图的信心度地图，且判断信心度地图中的所有信心度值是否皆小于信心度阈值。若皆小于信心度阈值，则控制单元启动第一深度成像系统与第二深度成像系统之另一。若不皆小于信心度阈值，则判断深度地图中的最近距离是否落在预设范围内。若在预设范围内，则控制单元不启动第一深度成像系统与第二深度成像系统之另一。若不在预设范围内，则控制单元启动第一深度成像系统与第二深度成像系统之另一。
在本发明的一实施例中，上述的控制单元用以命令第一深度成像系统获取深度地图及对应深度地图的信心度地图，且判断信心度地图中的所有信心度值是否皆小于信心度阈值，若皆小于信心度阈值，则控制单元启动第二深度成像系统，若不皆小于信心度阈值，则判断深度地图中的最近距离是否落在预设范围内，预设范围为最近距离大于或等于距离阈值，若在预设范围内，控制单元不启动第二深度成像系统，若不在预设范围内，则控制单元启动第二深度成像系统及投影元件。
在本发明的一实施例中，上述的控制单元用以命令第二深度成像系统获取深度地图及对应深度地图的信心度地图，且判断信心度地图中的所有信心度值是否皆小于信心度阈值，若皆小于信心度阈值，则控制单元关闭投影元件且启动第一深度成像系统，若不皆小于信心度阈值，则判断深度地图中的最近距离是否落在预设范围内，预设范围为最近距离小于或等于距离阈值，若在预设范围内，控制单元不启动第一深度成像系统，若不在预设范围内，则控制单元关闭投影元件且启动第一深度成像系统。
在本发明的一实施例中，上述的投影元件用以投射出结构光。
本发明的一实施例提供一种深度成像装置的驱动方法，包括：(a)命令第一深度成像系统与第二深度成像系统之一获取深度地图及对应深度地图的信心度地图，其中第一相机与第二相机形成第一深度成像系统，且投影元件与第二相机形成第二深度成像系统，投影元件至第二相机的距离不等于第一相机至第二相机的距离；以及(b)判断信心度地图中的所有信心度值是否皆小于信心度阈值，若皆小于信心度阈值，则启动第一深度成像系统与第二深度成像系统之另一，若不皆小于信心度阈值，则判断深度地图中的最近距离是否落在一预设范围内，若在预设范围内，则不启动第一深度成像系统与第二深度成像系统之另一，若不在预设范围内，则启动第一深度成像系统与第二深度成像系统之另一。
在本发明的一实施例中，上述的步骤(a)为命令第一深度成像系统获取深度地图及对应深度地图的信心度地图，且步骤(b)为判断信心度地图中的所有信心度值是否皆小于信心度阈值，若皆小于信心度阈值，则启动第二深度成像系统，若不皆小于信心度阈值，则判断深度地图中的最近距离是否落在预设范围内，预设范围为最近距离大于或等于距离阈值，若在预设范围内，则不启动第二深度成像系统，若不在预设范围内，则启动第二深度成像系统及投影元件。
在本发明的一实施例中，上述的步骤(a)为命令第二深度成像系统获取深度地图及对应深度地图的信心度地图，且步骤(b)为判断信心度地图中的所有信心度值是否皆小于信心度阈值，若皆小于信心度阈值，则关闭投影元件且启动第一深度成像系统，若不皆小于信心度阈值，则判断深度地图中的最近距离是否落在预设范围内，预设范围为最近距离小于或等于距离阈值，若在预设范围内，则不启动第一深度成像系统，若不在预设范围内，则关闭投影元件且启动第一深度成像系统。
在本发明的一实施例中，上述的投影元件至第二相机的距离小于第一相机至第二相机的距离。
在本发明的一实施例中，上述的第一相机、投影元件及第二相机排列于一直线上。
在本发明的一实施例中，上述的第二深度成像系统被启动时，命令投影元件投射出结构光。
基于上述，在本发明的实施例的深度成像装置及其驱动方法中，通过设定信心度阈值以及预设范围中的距离阈值，使得装置可以依据物体与装置本身的距离来切换所要执行的深度成像系统，因而可减少视觉盲区范围，且可达到省电的功效。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1A为本发明一实施例的深度成像装置在启动第一深度成像系统时的示意图。
图1B为图1A的深度成像装置在启动第二深度成像系统时的示意图。
图2A为图1A的深度成像装置的驱动方法的流程示意图。
图2B为图1B的深度成像装置的驱动方法的流程示意图。
符号说明：
100：深度成像装置；
110：第一深度成像系统；
120：第二深度成像系统；
130：控制单元；
132：深度引擎；
134：深度地图；
136：信心度地图；
138：运算单元；
C1：第一相机；
C2：第二相机；
D1、D2：距离；
O：物体；
P：投影元件；
S11～S15：步骤11～15；
S21～S26：步骤21～26。
具体实施方式
图1A为本发明一实施例的深度成像装置在启动第一深度成像系统时的示意图。图2A为图1A的深度成像装置的驱动方法的流程示意图。
请参考图1A，在本实施例中，深度成像装置100包括第一相机C1、第二相机C2、投影元件P及控制单元130。举例而言，在本实施例中，第一相机C1与第二相机C2可以是具有电荷耦合元件(Charge-Coupled Device,CCD)或互补式金属氧化物半导体(ComplementaryMetal-Oxide-Semiconductor,CMOS)等感光元件的数码相机，其中第一相机C1与第二相机C2的型式可以相同或是不同。然而，本发明不以此为限。在本实施例中，投影元件P可以是能够投射出结构光的任何投影元件。
在本实施例中，第一相机C1与第二相机C2形成第一深度成像系统110，投影元件P与第二相机C2形成第二深度成像系统120，其中投影元件P至第二相机C2的距离D2不等于第一相机C1至第二相机C2的距离D1，在本实施例中，投影元件P至第二相机C2的距离D2小于第一相机C1至第二相机C2的距离D1。然而，本发明不以此为限，在其他实施例中，投影元件P至第二相机C2的距离D2可以大于第一相机C1至第二相机C2的距离D1。在本实施例中，第一相机C1、第二相机C2及投影元件P排列于一直线上。在本实施例中，控制单元130电性连接至第一相机C1、第二相机C2及投影元件P，且包括深度引擎132以及运算单元138。
在本实施例中，控制单元130命令第一深度成像系统110获取物体O的深度地图134及对应深度地图134的信心度地图136，具体来说，第一深度成像系统110通过第一相机C1与第二相机C2之间的视差现象，取得两张不同角度的影像，控制单元130中的深度引擎132用以将第一相机C1与第二相机C2所取得的影像进行影像处理，例如通过三角测量法(Triangulation)得到物体O的深度地图134，并通过所属领域中技术人员所公知的演算法(例如是深度演算法)计算出与物体O的深度地图134对应的信心度地图136。深度地图134可包含影像中每个画素点的深度值，其中深度值例如是代表拍摄物至深度成像装置100的距离，而信心度地图136则包含对每个画素点所计算出的深度值的信心度值。其中，举例而言，当对应于一个画素的信心度值越高，则代表所计算出的此画素的深度值越可信、越准确。反之，若对应于一个画素的信心度值越低，则代表所计算出的此画素的深度值越不可信、越不准确。
控制单元130用以命令第一深度成像系统110与第二深度成像系统120之一获取深度地图134及对应深度地图134的信心度地图136，且判断信心度地图136中的所有信心度值是否皆小于信心度阈值。若皆小于信心度阈值，则控制单元130启动第一深度成像系统110与第二深度成像系统120之另一。若不皆小于信心度阈值，则判断深度地图134中的最近距离是否落在预设范围内，若在预设范围内，则控制单元130不启动第一深度成像系统110与第二深度成像系统120之另一，若不在预设范围内，则控制单元130启动第一深度成像系统110与该第二深度成像系统120之另一。请参考图1A及图2A，在本实施例中，控制单元130中的运算单元138启动第一深度成像系统110(对应图2A的步骤S11)，接着运算单元138判断信心度地图136中的所有信心度值是否皆小于信心度阈值(对应图2A的步骤S12)。若皆小于信心度阈值，则运算单元138启动投影元件P及第二深度成像系统120(对应图2A的步骤S14)。若不皆小于信心度阈值，则运算单元138判断深度地图134中的最近距离是否落在预设范围内(对应图2A的步骤S13)。在本实施例中，预设范围为最近距离大于或等于距离阈值。若在预设范围内，运算单元138不启动第二深度成像系统120(对应图2A的步骤S15)。若不在预设范围内，则运算单元138启动投影元件P及第二深度成像系统120(对应图2A的步骤S14)。详细来说，当运算单元138判断需启动投影元件P及第二深度成像系统120时，命令投射元件P投射出结构光，并且运算单元138同时传送电性信号给深度引擎132，命令深度引擎132开始获取第二深度成像系统120的深度地图134及信心度地图136。
图1B为图1A的深度成像装置在启动第二深度成像系统时的示意图。图2B为图1B的深度成像装置的驱动方法的流程示意图。请参考图1B，在本实施例中，与图1A的物体O的所在位置相比，在图1B中的物体O的所在位置更接近深度成像装置100。在本实施例中，控制单元130命令第二深度成像系统120获取物体O的深度地图134及对应深度地图134的信心度地图136。在本实施例中，投影元件P用以投射出结构光，具体来说，第二深度成像系统120通过投影元件P投射在物体O的图案化光斑来计算物体O的深度值。第二相机C2取得从物体O反射的图案化光斑的影像，通过三角测量法得到物体O的深度地图134，并通过所属领域中技术人员所公知的演算法(例如是深度演算法)计算出与物体O的深度地图134对应的信心度地图136。
请参考图1B及图2B，在本实施例中，控制单元130中的运算单元138启动第二深度成像系统120(对应图2B的步骤S21)，接着运算单元138判断信心度地图136中的所有信心度值是否皆小于信心度阈值(对应图2B的步骤S22)。若皆小于信心度阈值，则运算单元138关闭投影元件P(对应图2B的步骤S24)并启动第一深度成像系统110(对应图2B的步骤S25)。若不皆小于信心度阈值，则运算单元138判断深度地图134中的最近距离是否落在预设范围内(对应图2B的步骤S23)，在本实施例中预设范围为最近距离小于或等于距离阈值。若在预设范围内，运算单元138不启动第一深度成像系统110(对应图2B的步骤S26)。若不在预设范围内，则运算单元138关闭投影元件P(对应图2B的步骤S24)并启动第一深度成像系统110(对应图2B的步骤S25)。详细来说，当运算单元138判断需关闭投影元件P时，运算单元138同时传送电性信号给深度引擎132，命令深度引擎132停止获取第二深度成像系统120的深度地图134及信心度地图136。
在本实施例中，控制单元130不限定先命令第一深度成像系统110获取物体O的深度地图134及对应深度地图134的信心度地图136，也可以先命令第二深度成像系统120获取物体O的深度地图134及对应深度地图134的信心度地图136。在本实施例中，图2A的步骤S12中的信心度阈值可以等于或不等于图2B的步骤S22的信心度阈值。在本实施例中，图2A的步骤S13中的距离阈值可以等于或不等于图2B的步骤S23中的距离阈值。
在一实施例中，控制单元130、深度引擎132及运算单元138例如为中央处理单元(central processing unit,CPU)、微处理器(microprocessor)、数字信号处理器(digitalsignal processor,DSP)、可程序化控制器、可程序化逻辑装置(programmable logicdevice,PLD)或其他类似装置或这些装置的组合，本发明并不加以限制。此外，在一实施例中，控制单元130、深度引擎132及运算单元138的各功能可被实作为多个程序码。这些程序码会被储存在存储器中，由控制单元130、深度引擎132及运算单元138来执行这些程序码。或者，在一实施例中，控制单元130、深度引擎132及运算单元138的各功能可被实作为一或多个电路。本发明并不限制用软件或硬件的方式来实作控制单元130、深度引擎132及运算单元138的各功能。
综上所述，本发明的实施例的深度成像装置及其驱动方法具有两组深度成像系统，其一用以检测距离较远的物体的深度信息，另一用以检测距离较近的物体的深度信息，即便物体落在其中一深度成像系统的盲区位置，仍然可通过另一深度成像系统检测到位于此物体的深度信息，进而达到即时(real time)检测物体的距离信息来有效减少视觉盲区范围的功效。此外，通过两组深度成像系统的搭配，可避免在检测物体时同时使用到两组深度成像系统，造成较多的电力消耗，因而达到省电的功效。此外，在本发明的实施例的深度成像装置中，可以只采用两个相机，而控制单元130可以用一个两路进的整合芯片来实现，因此可以减少影像处理芯片的成本。
虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视所附的权利要求所界定者为准。

Claims (14)

1.一种深度成像装置，其特征在于，包括：
第一相机；
第二相机，其中所述第一相机与所述第二相机形成第一深度成像系统；
投影元件，其中所述投影元件与所述第二相机形成第二深度成像系统，其中所述投影元件至所述第二相机的距离不等于所述第一相机至所述第二相机的距离；以及
控制单元，电性连接至所述第一相机、所述第二相机及所述投影元件，其中所述控制单元用以命令所述第一深度成像系统与所述第二深度成像系统之一获取深度地图及对应所述深度地图的信心度地图，且判断所述信心度地图中的所有信心度值是否皆小于信心度阈值，若皆小于所述信心度阈值，则所述控制单元启动所述第一深度成像系统与所述第二深度成像系统之另一，若不皆小于所述信心度阈值，则判断所述深度地图中的最近距离是否落在预设范围内，若在所述预设范围内，则所述控制单元不启动所述第一深度成像系统与所述第二深度成像系统之所述另一，若不在所述预设范围内，则所述控制单元启动所述第一深度成像系统与所述第二深度成像系统之所述另一。
2.根据权利要求1所述的深度成像装置，其特征在于，所述控制单元用以命令所述第一深度成像系统获取所述深度地图及对应所述深度地图的所述信心度地图，且判断所述信心度地图中的所有信心度值是否皆小于所述信心度阈值，若皆小于所述信心度阈值，则所述控制单元启动所述第二深度成像系统，若不皆小于所述信心度阈值，则判断所述深度地图中的最近距离是否落在所述预设范围内，所述预设范围为所述最近距离大于或等于距离阈值，若在所述预设范围内，所述控制单元不启动所述第二深度成像系统，若不在所述预设范围内，则所述控制单元启动所述第二深度成像系统及所述投影元件。
3.根据权利要求2所述的深度成像装置，其特征在于，所述投影元件至所述第二相机的距离小于所述第一相机至所述第二相机的距离。
4.根据权利要求1所述的深度成像装置，其特征在于，所述控制单元用以命令所述第二深度成像系统获取所述深度地图及对应所述深度地图的所述信心度地图，且判断所述信心度地图中的所有信心度值是否皆小于所述信心度阈值，若皆小于所述信心度阈值，则所述控制单元关闭所述投影元件且启动所述第一深度成像系统，若不皆小于所述信心度阈值，则判断所述深度地图中的最近距离是否落在所述预设范围内，所述预设范围为所述最近距离小于或等于距离阈值，若在所述预设范围内，所述控制单元不启动所述第一深度成像系统，若不在所述预设范围内，则所述控制单元关闭所述投影元件且启动所述第一深度成像系统。
5.根据权利要求4所述的深度成像装置，其特征在于，所述投影元件至所述第二相机的距离小于所述第一相机至所述第二相机的距离。
6.根据权利要求1所述的深度成像装置，其特征在于，所述第一相机、所述投影元件及所述第二相机排列于直线上。
7.根据权利要求1所述的深度成像装置，其特征在于，所述投影元件用以投射出结构光。
8.一种深度成像装置的驱动方法，其特征在于，包括：
(a)命令第一深度成像系统与第二深度成像系统之一获取深度地图及对应所述深度地图的信心度地图，其中第一相机与第二相机形成所述第一深度成像系统，且投影元件与所述第二相机形成所述第二深度成像系统，所述投影元件至所述第二相机的距离不等于所述第一相机至所述第二相机的距离；以及
(b)判断所述信心度地图中的所有信心度值是否皆小于信心度阈值，若皆小于所述信心度阈值，则启动所述第一深度成像系统与所述第二深度成像系统之另一，若不皆小于所述信心度阈值，则判断所述深度地图中的最近距离是否落在预设范围内，若在所述预设范围内，则不启动所述第一深度成像系统与所述第二深度成像系统之所述另一，若不在所述预设范围内，则启动所述第一深度成像系统与所述第二深度成像系统之所述另一。
9.根据权利要求8所述的深度成像装置的驱动方法，其特征在于，步骤(a)为命令所述第一深度成像系统获取所述深度地图及对应所述深度地图的所述信心度地图，且步骤(b)为判断所述信心度地图中的所有信心度值是否皆小于所述信心度阈值，若皆小于所述信心度阈值，则启动所述第二深度成像系统，若不皆小于所述信心度阈值，则判断所述深度地图中的最近距离是否落在所述预设范围内，所述预设范围为所述最近距离大于或等于距离阈值，若在所述预设范围内，则不启动所述第二深度成像系统，若不在所述预设范围内，则启动所述第二深度成像系统及所述投影元件。
10.根据权利要求9所述的深度成像装置的驱动方法，其特征在于，所述投影元件至所述第二相机的距离小于所述第一相机至所述第二相机的距离。
11.根据权利要求8所述的深度成像装置的驱动方法，其特征在于，步骤(a)为命令所述第二深度成像系统获取所述深度地图及对应所述深度地图的所述信心度地图，且步骤(b)为判断所述信心度地图中的所有信心度值是否皆小于所述信心度阈值，若皆小于所述信心度阈值，则关闭所述投影元件且启动所述第一深度成像系统，若不皆小于所述信心度阈值，则判断所述深度地图中的最近距离是否落在所述预设范围内，所述预设范围为所述最近距离小于或等于距离阈值，若在所述预设范围内，则不启动所述第一深度成像系统，若不在所述预设范围内，则关闭所述投影元件且启动所述第一深度成像系统。
12.根据权利要求11所述的深度成像装置的驱动方法，其特征在于，所述投影元件至所述第二相机的距离小于所述第一相机至所述第二相机的距离。
13.根据权利要求8所述的深度成像装置的驱动方法，其特征在于，所述第一相机、所述投影元件及所述第二相机排列于直线上。
14.根据权利要求8所述的深度成像装置的驱动方法，其特征在于，当启动所述第二深度成像系统时，命令所述投影元件投射出结构光。
CN201711264915.3A 2017-12-05 2017-12-05 深度成像装置及其驱动方法 Active CN109870116B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711264915.3A CN109870116B (zh) 2017-12-05 2017-12-05 深度成像装置及其驱动方法
US15/866,446 US10516873B2 (en) 2017-12-05 2018-01-09 Depth imaging device and driving method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711264915.3A CN109870116B (zh) 2017-12-05 2017-12-05 深度成像装置及其驱动方法

Publications (2)

Publication Number Publication Date
CN109870116A true CN109870116A (zh) 2019-06-11
CN109870116B CN109870116B (zh) 2021-08-03

Family

ID=66658241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711264915.3A Active CN109870116B (zh) 2017-12-05 2017-12-05 深度成像装置及其驱动方法

Country Status (2)

Country Link
US (1) US10516873B2 (zh)
CN (1) CN109870116B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10271033B2 (en) * 2016-10-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating depth data by converging independently-captured depth maps
TWI757658B (zh) * 2018-11-14 2022-03-11 宏達國際電子股份有限公司 影像處理系統及影像處理方法
US11494926B1 (en) * 2021-07-01 2022-11-08 Himax Technologies Limited Method for performing hybrid depth detection with aid of adaptive projector, and associated apparatus
US11979661B1 (en) * 2022-11-07 2024-05-07 Himax Technologies Limited Method for performing light shaping with aid of adaptive projector, and associated apparatus

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1901252A2 (en) * 2006-09-12 2008-03-19 Deere & Company Method and system for detecting operator alertness
CN102204259A (zh) * 2007-11-15 2011-09-28 微软国际控股私有有限公司 双模深度成像
CN104301616A (zh) * 2014-10-31 2015-01-21 苏州科达科技股份有限公司 一种摄像机的日切夜和夜切日模式控制方法及系统
CN104367380A (zh) * 2014-12-10 2015-02-25 中国科学院自动化研究所 视野可切换的双光路分子影像导航系统及成像方法
CN104903677A (zh) * 2012-12-17 2015-09-09 Lsi公司 用于将使用不同深度成像技术生成的深度图像合并的方法和装置
CN106454287A (zh) * 2016-10-27 2017-02-22 深圳奥比中光科技有限公司 组合摄像系统、移动终端及图像处理方法
CN106550228A (zh) * 2015-09-16 2017-03-29 上海图檬信息科技有限公司 获取三维场景的深度图的设备
CN106780550A (zh) * 2016-09-13 2017-05-31 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备
CN106895793A (zh) * 2015-12-21 2017-06-27 财团法人工业技术研究院 双模式深度测量的方法与装置
CN107113415A (zh) * 2015-01-20 2017-08-29 高通股份有限公司 用于多技术深度图获取和融合的方法和设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI538508B (zh) * 2014-08-15 2016-06-11 光寶科技股份有限公司 一種可獲得深度資訊的影像擷取系統與對焦方法
JP6708199B2 (ja) * 2015-02-27 2020-06-10 ソニー株式会社 撮像装置と画像処理装置と画像処理方法
CN106210698B (zh) * 2015-05-08 2018-02-13 光宝电子(广州)有限公司 深度相机的控制方法
TWI584634B (zh) * 2016-03-08 2017-05-21 聚晶半導體股份有限公司 適於產生深度圖的電子裝置與方法
WO2018129104A1 (en) * 2017-01-03 2018-07-12 Owlii Inc. Processing holographic videos
TWI672677B (zh) * 2017-03-31 2019-09-21 鈺立微電子股份有限公司 用以融合多深度圖的深度圖產生裝置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1901252A2 (en) * 2006-09-12 2008-03-19 Deere & Company Method and system for detecting operator alertness
CN102204259A (zh) * 2007-11-15 2011-09-28 微软国际控股私有有限公司 双模深度成像
CN104903677A (zh) * 2012-12-17 2015-09-09 Lsi公司 用于将使用不同深度成像技术生成的深度图像合并的方法和装置
CN104301616A (zh) * 2014-10-31 2015-01-21 苏州科达科技股份有限公司 一种摄像机的日切夜和夜切日模式控制方法及系统
CN104367380A (zh) * 2014-12-10 2015-02-25 中国科学院自动化研究所 视野可切换的双光路分子影像导航系统及成像方法
CN107113415A (zh) * 2015-01-20 2017-08-29 高通股份有限公司 用于多技术深度图获取和融合的方法和设备
CN106550228A (zh) * 2015-09-16 2017-03-29 上海图檬信息科技有限公司 获取三维场景的深度图的设备
CN106895793A (zh) * 2015-12-21 2017-06-27 财团法人工业技术研究院 双模式深度测量的方法与装置
CN106780550A (zh) * 2016-09-13 2017-05-31 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备
CN106454287A (zh) * 2016-10-27 2017-02-22 深圳奥比中光科技有限公司 组合摄像系统、移动终端及图像处理方法

Also Published As

Publication number Publication date
US10516873B2 (en) 2019-12-24
US20190174118A1 (en) 2019-06-06
CN109870116B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN109870116A (zh) 深度成像装置及其驱动方法
US20200210733A1 (en) Enhanced video-based driver monitoring using phase detect sensors
EP3190781B1 (en) Autofocus method, device and electronic apparatus
US9863767B2 (en) Motion sensor device having plurality of light sources
EP2807826B1 (en) 3d zoom imager
US11209268B2 (en) Depth measuring method and system
US10473461B2 (en) Motion-sensor device having multiple light sources
US20160063304A1 (en) Line-of-sight detection apparatus
CN110934572A (zh) 体温监测方法及装置、可读存储介质
US9978148B2 (en) Motion sensor apparatus having a plurality of light sources
KR20120053275A (ko) 3차원 얼굴 위치 추정방법 및 장치
TW201540066A (zh) 包括主要高解析度成像器及次要成像器之影像感測器模組
CN104469282A (zh) 具有双镜头的影像撷取系统
TWI649723B (zh) 深度成像裝置及其驅動方法
US10298858B2 (en) Methods to combine radiation-based temperature sensor and inertial sensor and/or camera output in a handheld/mobile device
WO2017077276A1 (en) Systems and methods for forming models of three dimensional objects
JP2015049200A (ja) 計測装置、方法及びプログラム
WO2021084530A1 (en) Method and system for generating a depth map
WO2017077277A1 (en) System and methods for imaging three-dimensional objects
TW201911233A (zh) 影像深度感測方法與影像深度感測裝置
US20190122379A1 (en) Method and image pick-up apparatus for calculating coordinates of object being captured using fisheye images
CN205593526U (zh) 摄像装置、转动装置、测距装置和测距系统
JP2010190793A (ja) 距離計測装置及び距離計測方法
CN108419013B (zh) 一种图像采集系统和移动机器人
TWI721324B (zh) 電子裝置及立體物體的判斷方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant