CN115564815A - 借助自适应投影机来进行混合深度检测的方法及设备 - Google Patents

借助自适应投影机来进行混合深度检测的方法及设备 Download PDF

Info

Publication number
CN115564815A
CN115564815A CN202210330876.7A CN202210330876A CN115564815A CN 115564815 A CN115564815 A CN 115564815A CN 202210330876 A CN202210330876 A CN 202210330876A CN 115564815 A CN115564815 A CN 115564815A
Authority
CN
China
Prior art keywords
depth
projection
depth map
image processing
processing circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210330876.7A
Other languages
English (en)
Inventor
吴炳昇
陈本欣
王清稳
蔡政哲
陈宏山
洪毅
陈明璇
吕学璁
陈伍丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Himax Technologies Ltd
LIQXTAL Tech Inc
Original Assignee
Himax Technologies Ltd
LIQXTAL Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Technologies Ltd, LIQXTAL Tech Inc filed Critical Himax Technologies Ltd
Publication of CN115564815A publication Critical patent/CN115564815A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提供借助自适应投影机来进行混合深度检测的方法及设备。该方法包含：利用图像处理电路获得距离信息；利用图像处理电路依据距离信息来决定距离范围；利用图像处理电路进行投影类型选择，以决定多个预定投影类型中的对应于该距离范围的至少一选择的投影类型；利用自适应投影机进行该至少一选择的投影类型的投影以藉由相机提取至少一对应的图像，并利用图像处理电路依据对应的图像来进行深度检测以产生深度图；以及利用图像处理电路选择性地输出深度图以作为结果深度图或进行深度数据组合以产生组合深度图以作为结果深度图。

Description

借助自适应投影机来进行混合深度检测的方法及设备
技术领域
本发明涉及电子装置诸如移动装置(mobile device)的检测机制，尤其涉及一种借助一自适应投影机(adaptive projector)来进行混合深度检测(hybrid depthdetection)的方法，以及相关设备(apparatus)诸如一混合深度检测装置、该混合深度检测装置中的一图像处理电路、该图像处理电路中的一深度处理器、该混合深度检测装置中的该自适应投影机等。
背景技术
依据相关技术，人脸识别技术已经应用于移动装置，并且用于这些移动装置的某些人脸识别方法已被提出。然而，可能会出现某些问题。例如，当这些移动装置中的一或多个不能正确进行人脸识别时，就会引入安全(security)问题。人脸识别算法的进一步改进可能存在瓶颈。因此，需要一种新颖的方法和相关架构以在不引入副作用或以不太可能引入副作用的情况下增强电子装置的整体性能。
发明内容
因此，本发明的一个目的是提供一种借助一自适应投影机来进行混合深度检测的方法，以及提供相关设备诸如一混合深度检测装置、该混合深度检测装置中的一图像处理电路、该图像处理电路中的一深度处理器、该混合深度检测装置中的该自适应投影机等，以解决上述问题。
本发明的至少一实施例提供一种借助一自适应投影机来进行混合深度检测的方法，其中该方法可包含：利用一混合深度检测装置内的一图像处理电路获得距离信息，其中该距离信息指出该混合深度检测装置与一或多个目标物件(object)之间的一距离；利用该图像处理电路依据该距离信息来决定一距离范围，其中该距离范围是选择自针对该距离的多个预定距离范围；利用该图像处理电路进行投影类型选择，以决定多个预定投影类型中的对应于该距离范围的至少一选择的投影类型(selected projection type)，其中该至少一选择的投影类型是选择自该多个预定投影类型；利用该混合深度检测装置内的该自适应投影机进行该至少一选择的投影类型的投影以藉由一相机(camera)提取至少一对应的图像，并利用该图像处理电路依据该至少一对应的图像来进行多个类型的深度检测(multiple types of depth detection)中的对应于该至少一选择的投影类型的至少一类型的深度检测(at least one type of depth detection)以产生至少一深度图(depthmap)；以及响应于该至少一选择的投影类型，利用该图像处理电路选择性地输出该至少一深度图以作为一结果深度图(resultant depth map)或依据该至少一深度图进行深度数据组合以产生一组合深度图以作为该结果深度图。
本发明的至少一实施例提供一种依据上述方法来操作的相关设备。上述设备的例子可包含但不限于：一混合深度检测装置、具备该混合深度检测装置的一电子产品(例如一电子装置诸如一移动装置)、该混合深度检测装置中的该图像处理电路、该图像处理电路中的一深度处理器、该混合深度检测装置中的该自适应投影机等。
本发明的至少一实施例提供一种用来进行混合深度检测的设备，其中该设备可包含一图像处理电路，且还包含耦接至该图像处理电路的一相机及一自适应投影机。举例来说，该图像处理电路可用来获得距离信息，依据该距离信息决定一距离范围，并且进行投影类型选择以决定多个预定投影类型中的对应于该距离范围的至少一选择的投影类型，其中该距离信息指出该混合深度检测装置与一或多个目标物件之间的一距离，该距离范围是选择自针对该距离的多个预定距离范围，并且该至少一选择的投影类型是选择自该多个预定投影类型；该自适应投影机可用来进行该至少一选择的投影类型的投影，以容许该混合深度检测装置藉由该相机提取至少一对应的图像；以及该相机可用来提取该至少一对应的图像。尤其，该图像处理电路依据该至少一对应的图像来进行多个类型的深度检测中的对应于该至少一选择的投影类型的至少一类型的深度检测以产生至少一深度图；以及响应于该至少一选择的投影类型，该图像处理电路选择性地输出该至少一深度图以作为一结果深度图或依据该至少一深度图进行深度数据组合以产生一组合深度图以作为该结果深度图。
本发明的方法和相关设备(例如该混合深度检测装置、该混合深度检测装置中的该图像处理电路、该图像处理电路中的该深度处理器、该混合深度检测装置中的该自适应投影机)可保证具备该混合深度检测装置的各种电子产品可分别在各种情况下正常操作。此外，本发明的方法和相关设备可利用该自适应投影机进行不同类型的投影以分别用该相机拍摄对应的图像，且可分别依据这些对应的图像进行不同类型的深度检测以产生不同的中间(intermediate)深度图，并且可进一步依据这些中间深度图进行深度数据组合以产生一组合深度图诸如一加权(weighted)深度图，以精确且有效率地进行混合深度检测。相较于相关技术，本发明的方法和相关设备可在不引入副作用或以不太可能引入副作用的情况下增强整体性能。
附图说明
图1为依据本发明一实施例的一种混合深度检测装置的示意图。
图2依据本发明一实施例绘示图1所示的自适应投影机的某些实施细节。
图3依据本发明一实施例绘示一种借助该自适应投影机来进行混合深度检测的方法的一自适应场(field)控制方案。
图4依据本发明一实施例绘示该方法的一自适应投影类型控制方案中的图样投影(pattern projection)的一投影结果。
图5依据本发明一实施例绘示该方法的该自适应投影类型控制方案中的非图样投影(non-pattern projection)的某些投影结果。
图6依据本发明一实施例绘示该方法的一自适应图样(pattern)控制方案。
图7依据本发明一实施例绘示该方法的一自适应照明场(field-of-illumination，FOI)控制方案。
图8依据本发明一实施例绘示图1所示的混合深度检测装置的某些实施细节。
图9依据本发明一实施例绘示该方法的一深度组合控制方案。
图10依据本发明一实施例绘示该方法的一工作流程。
【符号说明】
10:场
11:目标物件
100:混合深度检测装置
110:自适应投影机
120:图像提取模块
121:相机
130:图像处理电路
131:深度处理器
132:图像处理器
100M:电子产品
D1，D2:距离
W1，W2:宽度
140:额外的感测模块
S11～S13，S13’，S14A，S14B，S15A，S15B，S16，S17:步骤
具体实施方式
本发明的实施例提供一种借助一自适应投影机来进行混合深度检测的方法，以及相关设备诸如一混合深度检测装置的至少一部分(例如一部分或全部)。该混合深度检测装置可依据上述方法来操作以精确且有效率地进行深度检测，以达到具备该混合深度检测装置的任何电子产品的最佳性能。尤其，该混合深度检测装置可精确且有效率地进行该混合深度检测以产生一或多个深度图，诸如人脸的深度图，以使该电子产品依据该一或多个深度图精确且有效率地进行三维(three-dimensional，3D)人脸识别，但本发明不限于此。该一或多个深度图的例子可包含但不限于：人脸、室内或室外场所等的深度图。此外，该电子产品可利用该混合深度检测装置产生与该电子产品的至少一用户相对应的至少一深度图，以供预先建立该至少一深度图的3D人脸数据库，且可将该一或多个深度图中的一目标深度图(例如某个人的人脸的目标深度图)与该至少一深度图中的任一深度图进行比较，来确定这个人是否为该至少一用户中的任一用户。如果该目标深度图与该任一深度图吻合(例如，此人为该任一用户)，则该电子产品可向此人提供服务；否则(例如，此人不是该至少一用户中的任何一个)，该电子产品可避免此人使用这些服务中的任何一个。该电子产品的例子可包含但不限于：移动装置诸如多功能移动电话、平板计算机、可穿戴装置、一体机(all-in-one，AIO)计算机和膝上型计算机。
图1为依据本发明一实施例的一种混合深度检测装置100的示意图，其中混合深度检测装置100和其内的自适应投影机110可分别作为上述混合深度检测装置和自适应投影机的例子。为了更好地理解，在图1的上半部可参考X轴、Y轴和Z轴来绘示一场(field)10和一或多个目标物件11，但本发明不限于此。例如，场10(例如其形状、相关尺寸和/或相关角度)和该一或多个目标物件11(例如其物件计数(object count)、形状、相关尺寸和/或相关位置)可予以变化。
如图1所示，除了自适应投影机110，混合深度检测装置100还可包含一图像提取(image-capturing)模块120和一图像处理电路130，其中自适应投影机110和图像提取模块120耦接到图像处理电路130。举例来说，图像提取模块120可包含至少一相机(例如一或多个相机)诸如一相机121，且图像处理电路130可包含至少一处理器(例如一或多个处理器)诸如分别对应于深度相关处理和二维(two-dimensional，2D)图像处理的一深度处理器131和一图像处理器132，但本发明不限于此。在某些实施例中，深度处理器131和图像处理器132可被整合到同一处理器中。
自适应投影机110可用来投射不可见光(例如红外(infrared，IR)或其它波段的光)的一或多个预定图样(pattern)。例如，自适应投影机110内的一激光(laser)模块可包含一光发射器诸如一激光发射器以及某些光学元件，其中该光发射器诸如该激光发射器可包含一垂直腔面发射激光(vertical-cavity surface-emitting laser，VCSEL)阵列，以供发射不可见光，并且这些光学元件可包含一衍射光学元件(diffractive opticalelement，DOE)、一微透镜(micro-lens)阵列、一芯片级光学(wafer-level optics，WLO)元件，以供产生该一或多个预定图样。尤其，该WLO元件可包含至少一芯片级透镜(例如一或多个芯片级透镜)。此外，自适应投影机110还可包含一或多个电控(electrically-controlled)光学元件，诸如至少一液晶(liquid crystal，LC)透镜(例如一或多个LC透镜，其任一个可位于该激光模块的内部或外部)，以供改变(例如缩小或扩大)该一或多个预定图样的一或多个投影场(projection field)、和/或在不同类型的投影(例如，针对该一或多个预定图样的图样投影的一第一投影类型，以及针对无图样的非图样投影的一第二投影类型)之间进行切换。
为了更好地理解，从自适应投影机110到场10的多个光传输(transmitting，Tx)路径(例如，从自适应投影机110到场10的不可见光的多个不可见光Tx路径)可集体地(collectively)用Tx方向(标示为“Tx”以求简明)来表示，以及从场10到相机121的多个光接收(receiving，Rx)路径(例如，从该一或多个目标物件11到相机121的不可见光的多个不可见光Rx路径)可集体地用Rx方向(标示为“Rx”以求简明)来表示。
在深度检测诸如混合深度检测的期间，混合深度检测装置100(例如其内的元件)可进行以下操作：
(1)相机121可拍摄/提取一图像，其中该图像包含指出一或多个物件(例如该一或多个目标物件11)的图像内容，该图像通常不具有深度信息，并且可代表二维(2D)图像；
(2)图像处理电路130(例如其第一局部(partial)电路，诸如图像处理器132)可依据该图像的图像内容决定由相机121提取的该图像的一感兴趣区域(region-of-interest，ROI)(例如人脸的区域，诸如在该图像上包围上述那个人的人脸的区域)，以供图像处理电路130(例如其第二局部电路)进一步处理；
(3)图像处理电路130(例如其第二局部电路诸如深度处理器131)可进行投影类型选择，以决定在多个预定投影类型(例如，该第一投影类型和该第二投影类型)中的对应于一选择的距离范围的至少一选择的投影类型(例如一或多个选择的投影类型)，其中依据预先获得的距离信息，该距离范围可以是选择自针对混合深度检测装置100和该一或多个目标物件11之间的距离的多个预定距离范围，以及该至少一选择的投影类型可以是选择自该多个预定投影类型；
(4)自适应投影机110可进行该至少一选择的投影类型的投影，尤其，进行该多个预定投影类型(例如该第一投影类型和该第二投影类型)的投影，诸如图样投影和非图样投影，以分别用相机121提取对应的图像，其中非图样投影可被设计为产生均匀/准均匀(uniform/quasi-uniform)照明或局部均匀(partial-uniform)照明(例如泛光型(flood-type)照明，尽可能均匀)；
(5)图像处理电路130(例如第二局部电路诸如深度处理器131)可进行在多个类型的深度检测(例如与该第一投影类型相对应的第一深度检测，诸如图样检测类型(pattern-detection-type)深度检测，以及与该第二投影类型相对应的第二深度检测，诸如飞行时间(Time-of-Flight，TOF)类型(TOF-type)深度检测)中的对应于该至少一选择的投影类型的至少一类型的深度检测(例如，一或多个类型的深度检测)，尤其，分别依据这些对应的图像进行该多个类型的深度检测(例如该第一深度检测诸如该图样检测类型深度检测，以及该第二深度检测诸如该TOF类型深度检测)以产生一第一深度图和一第二深度图，其中该第一深度图和该第二深度图可视为中间深度图；以及
(6)图像处理电路130(例如第二局部电路诸如深度处理器131)可依据该第一深度图和该第二深度图进行深度数据组合，以产生一组合深度图诸如一加权深度图；
其中，该深度数据组合可参考该距离范围、混合深度检测装置100与该一或多个目标物件11之间的距离(诸如该距离信息所指出的距离)、和/或该ROI来进行。
举例来说，图像处理电路130(例如图像处理电路130的第二局部电路诸如深度处理器131)可依据该距离范围决定该第一深度图和该第二深度图的各自的加权值，尤其，可针对该加权深度图内的一预定区域以逐个深度/逐个像素(depth-by-depth/pixel-by-pixel)的方式调整(例如微调)该第一深度图和该第二深度图的各自的加权值，以供提升该一或多个物件的边缘处的深度精确度，并精确且有效率地产生该加权深度图，但本发明不限于此。例如，该预定区域可包含该加权深度图的整体。在某些例子中，该预定区域可包含该加权深度图的一部分，诸如该加权深度图中的对应于该ROI的一第一调整区域(例如，一第一微调区域)、该加权深度图中的对应于该ROI的一子区域的一第二调整区域(例如，一第二微调区域)。微调区域)等。
由于该一或多个深度图诸如该目标深度图、该至少一深度图诸如该任一深度图等可用和该组合深度图诸如该加权深度图等相同的方式来产生，故混合深度检测装置100能够精确且有效率地进行该混合深度检测。
针对图1所示架构的某些实施细节可进一步描述如下。例如，图像处理电路130的第一局部电路诸如图像处理器132可产生指出该ROI的ROI信息，诸如指出该2D图像的ROI的2D ROI信息(在图1中标示为“2D ROI”以便于更好地理解)。另外，图像处理电路130的第二局部电路诸如深度处理器131可从第一局部电路诸如图像处理器132获得指出该ROI的该ROI信息，且因此可被通知/告知该ROI，以供进行相关处理诸如调整(例如微调)如上所述的中间深度图的加权值。此外，混合深度检测装置100可利用图像处理电路130(例如深度处理器131)产生一或多个控制信号以控制自适应投影机110。例如，图像处理电路130内的一或多个驱动电路可用来在深度处理器131的控制下产生该一或多个控制信号，以供控制(例如驱动)自适应投影机110，其中该一或多个控制信号可载有(carry)指出该至少一选择的投影类型(例如该第一投影类型和/或该第二投影类型)的投影类型信息，以供将该至少一选择的投影类型通知/告知自适应投影机110。
由于混合深度检测装置100(例如其内的元件，诸如自适应投影机110、图像处理电路130和深度处理器131)可依据该方法来操作，故混合深度检测装置100可精确且有效率地进行该混合深度检测以产生该一或多个深度图，诸如人脸的深度图，使具备混合深度检测装置100的电子产品依据该一或多个深度图精确且有效率地进行3D人脸识别。于是，可提升整体性能。
依据某些实施例，图像处理电路130(例如深度处理器131)可依据一预定图样(例如该一或多个预定图样中的任何一个)的一投影结果以及该预定图样之间的差异来计算该第一深度图的一组深度，其中该投影结果可指出该预定图样由于人脸的非平面表面而发生的变化。尤其，该预定图样可包含多个子图样(sub-pattern)(例如多个不可见光图块(tile))，并且，基于相关几何关系的知识，图像处理电路130(例如深度处理器131)可依据该预定图样的该多个子图样(例如该多个不可见光图块)中的某些子图样(例如某些不可见光图块)的位移来计算该组深度，这是因为该组深度中的深度变化可对应于这些位移。
针对如上所述的该组深度的深度计算，当自适应投影机110的中心(例如，其光学元件的光轴在混合深度检测装置100的一参考平面上的位置)和图像提取模块120的中心(例如相机121的光轴在该参考平面上的位置)之间的基线(baseline)远小于混合深度检测装置100与该一或多个目标物件11之间的距离(例如该基线的长度对该距离的比率小于一预定比率)，图像处理电路130(例如深度处理器131)可在这些深度计算中省略该基线，其中该基线的长度可被强制设定为零，但本发明不限于此。在考虑该基线的情况下，图像处理电路130(例如深度处理器131)可在这些深度计算中使用该基线的长度的实际值。
依据某些实施例，该预定图样可藉由结构光(structured-light，SL)技术等方式实现，其中该图样检测类型深度检测可称为SL类型深度检测，但本发明不限于此。另外，在该图样检测类型深度检测诸如该SL类型深度检测的期间，图像处理电路130(例如深度处理器131)可使用这些位移作为这些深度计算的参考，但本发明不限于此。例如，在该TOF类型深度检测的期间，图像处理电路130(例如深度处理器131)可使用到达相机121的图像传感器上的像素的光脉冲的相位或时间差作为从场10到相机121的成像系统(imaging system)中的距离的指示器(indicator)，以进行这些深度计算。
图2依据本发明一实施例绘示图1所示的自适应投影机110的某些实施细节。自适应投影机110可藉由不同组元件的各种组合诸如在图2中所示的情况(a)、(b)、(c)、(d)、(e)和(f)中所展示的组合来实现：
(a)该至少一LC透镜包含位于该激光模块外部的一LC透镜，且该WLO元件位于DOE/微透镜阵列和该激光发射器之间；
(b)该至少一LC透镜包含位于该激光模块外部的一LC透镜，且不使用WLO元件；
(c)在一类型1(Type-1)配置中，该至少一LC透镜包含位于该激光模块外部的一第一LC透镜和位于该激光模块内的一第二LC透镜，DOE/微透镜阵列位于该第一LC透镜和该第二LC透镜之间，且该WLO元件位于该第二LC透镜和该激光发射器之间；
(d)该至少一LC透镜包含位于该激光模块内、DOE/微透镜阵列和该激光发射器之间的一LC透镜，并且不使用WLO元件；
(e)该至少一LC透镜包含位于该激光模块外部的一第一LC透镜和位于该激光模块内、DOE/微透镜阵列和该激光发射器之间的一第二LC透镜，并且不使用WLO元件；以及
(f)在一类型2(Type-2)配置中，该至少一LC透镜包含位于该激光模块外部的一第一LC透镜和位于该激光模块内的一第二LC透镜，DOE/微透镜阵列位于该第一LC透镜和该WLO元件之间，且该第二LC透镜位于该WLO元件和该激光发射器之间；
但本发明不限于此。例如，只要可达到类似的结果，某些元件可整合到相同的元件中和/或一或多个元件可增加、移除或改变。
依据某些实施例，该激光发射器可包含至少一不可见光源(例如，一或多个不可见光源)，诸如该VCSEL阵列、边缘发射(edge-emitting)激光二极管(laser diode，LD)等。除了该至少一不可见光源，该激光发射器还可包含一限束(beam limiting)装置(例如一准直器(collimator)透镜)。该限束装置可接收该至少一不可见光源所发出的不可见光，并将所发出的不可见光转换为限束的(beam-limited)不可见光。为了简明起见，在这些实施例中类似的内容在此不重复赘述。
依据某些实施例，该至少一LC透镜的任一LC透镜(例如图2中所示的LC透镜中的任何一个)可藉由多个LC透镜元件(例如分别对准至这个LC透镜的光轴且依据这个LC透镜的光学设计来分别定位在预定位置的LC透镜元件，其可称为级联(cascaded)LC透镜元件以求简明)来实现，但本发明不限于此。在某些实施例中，该任一LC透镜可藉由单一LC透镜元件(例如，设计成具有这个LC透镜所需的所有光学特征的精巧型(compact)LC透镜元件)来实现。
针对该多个预定投影类型(例如该第一投影类型和该第二投影类型)中的任一类型的投影，图像处理电路130(例如第二局部电路诸如深度处理器131)可控制自适应投影机110(例如该至少一LC透镜中的某个LC透镜)来改变(例如缩小或扩大)这个类型的投影的投影场。例如，当这个类型的投影代表针对该一或多个预定图样的图样投影的该第一投影类型时，图像处理电路130(例如，第二局部电路诸如深度处理器131)可控制自适应投影机110(例如这个LC透镜)来改变(例如缩小或扩大)图样投影的投影场；以及当这个类型的投影代表针对无图样的非图样投影的该第二投影类型时，图像处理电路130(例如第二局部电路诸如深度处理器131)可控制自适应投影机110(例如这个LC镜头)改变(例如缩小或扩大)非图样投影的投影场；但本发明不限于此。在某些实施例中，图像处理电路130(例如，第二局部电路诸如深度处理器131)可控制自适应投影机110(例如，这个LC镜头)来改变在该多个预定投影类型中的仅一个类型的投影(例如，针对非图样投影的该第二投影类型)的投影场，而非控制自适应投影机110(例如这个LC镜头)来改变该多个预定投影类型中的所有类型的投影的投影场。例如，对于一正常距离或长(或远)距离(例如大于该正常距离的距离)的正常/长距离目标物件，该TOF类型深度检测可达到比该图样检测类型深度检测较佳的深度检测精确度，并且，对于一短(或近)距离(例如比该正常距离短的距离)的短距离目标物件，该图样检测类型深度检测除了短距离目标物件的物件边缘外，可达到非常高的深度检测精确度。图像处理电路130(例如第二局部电路诸如深度处理器131)可触发非图样投影且对正常/长距离目标物件进行该TOF类型深度检测，以达到前述较佳的深度检测精确度。此外，图像处理电路130(例如第二局部电路诸如深度处理器131)可触发图样投影且对短距离目标物件进行该图样检测类型深度检测，以达到前述非常高的深度检测精确度，并且另触发非图样投影且对短距离目标物件进行该TOF类型深度检测以调整(例如微调)在短距离目标物件的物件边缘的某些深度，以提升对短距离目标物件的物件边缘的深度检测精确度。因此，本发明的方法和相关设备可在不引入任何副作用或以不太可能引入副作用的方式提升整体性能。
依据某些实施例，自适应投影机110内的一或多个元件(例如DOE、微透镜阵列和WLO元件中的一或多个)可被设计为在一较窄的投影场中进行图样投影，并且图像处理电路130(例如深度处理器131)可控制自适应投影机110(例如LC镜头)在该较窄的投影场中将图样投影转换为非图样投影，但本发明不限于此。例如，自适应投影机110内的一或多个元件(例如DOE、微透镜阵列和WLO元件中的一或多个)可被设计为在一较宽的投影场中进行图样投影，并且图像处理电路130(例如深度处理器131)可控制自适应投影机110(例如LC透镜)在该较宽的投影场中将图样投影转换为非图样投影。
图3依据本发明一实施例绘示一种借助该自适应投影机110来进行混合深度检测的方法的一自适应场(field)控制方案。为了更好地理解，混合深度检测装置100(例如其内的元件，诸如自适应投影机110和图像提取模块120)可被整合至电子产品100M诸如移动装置等中，并可依据如图3所示的自适应场控制方案来操作，尤其，以某些参数(例如距离D1和D2、宽度W1和W2以及相关的角度)来操作，其中距离D1和D2可分别代表一最小工作距离和该正常距离，且该短距离可落在区间[D1，D2)的范围内。这些参数(例如距离D1和D2、宽度W1和W2以及相关的角度)以及电子产品100M的尺寸和形状仅用于说明目的，不应视为对本发明的限制。在某些实施例中，这些参数以及电子产品100M的尺寸和形状可予以变化。
如图3上半部所示，图像处理电路130(例如第二局部电路诸如深度处理器131)可触发图样投影且对短距离目标物件进行该图样检测类型深度检测，其中图像处理电路130(例如第二局部电路诸如深度处理器131)可控制自适应投影机110(例如该LC透镜)在进行图样投影的期间使用一固定的投影场。此外，图像处理电路130(例如第二局部电路诸如深度处理器131)可触发非图样投影且对短距离目标物件进行该TOF类型深度检测以调整(例如微调)短距离目标物件的物件边缘的深度，其中非图样投影的投影场在需要时是可变的。如图3下半部所示，图像处理电路130(例如第二局部电路诸如深度处理器131)可触发非图样投影且对正常/长距离目标物件进行该TOF类型深度检测。为了简明起见，在本实施例中类似的内容在此不重复赘述。
图4依据本发明一实施例绘示该方法的一自适应投影类型控制方案中的图样投影(pattern projection)的一投影结果。为了更好地理解，假设短距离目标物件为一平面目标，但本发明不限于此。此外，该短距离可大于距离D1，尤其，可落入区间(D1，D2)的范围内。自适应投影机110可被设计为以固定投影场投影该预定图样。当正在被投影以作为该投影结果时，该预定图样的该多个子图样(例如该多个不可见光图块)，诸如图4中所示的斑点(spot)，可分布在该固定的投影场上。图像处理电路130(例如第二局部电路诸如深度处理器131)可利用相机121来提取一3D原始(raw)图像(标示为“3D原始”以求简明)，以供进行该图样检测类型深度检测，其中，该3D原始图像可包含该投影结果的至少一部分(例如，一部分或全部)。为了简明起见，在本实施例中类似的内容在此不重复赘述。
依据某些实施例，图像处理电路130(例如第二局部电路诸如深度处理器131)可控制自适应投影机110(例如该至少一LC透镜中的某个LC透镜)在该多个投影类型(例如，针对该一或多个预定图样的图样投影的该第一投影类型，以及针对无图样的非图样投影的该第二投影类型)之间切换。举例来说，DOE、微透镜阵列和/或WLO元件可用来产生该一或多个预定图样。当需要从该第一投影类型切换到该第二投影类型时，在图像处理电路130(例如第二局部电路诸如深度处理器131)的控制下，自适应投影机110(例如这个LC镜头)可暂时停用(disable)产生该一或多个预定图样的功能，例如，藉由改变这个LC透镜的焦距(focallength)以避免该一或多个预定图样经由关于该成像系统(例如，DOE、微透镜阵列和/或WLO元件)的一光学设计中的预定成像路径输出，以使图样投影变为非图样投影。当需要从该第二投影类型切换到该第一投影类型时，在图像处理电路130(例如第二局部电路诸如深度处理器131)的控制下，自适应投影机110(例如这个LC镜头)可启用(enable)产生该一或多个预定图样的功能，例如，藉由将这个LC透镜的焦距改变回这个光学设计中的一预定焦距值，使非图样投影变为图样投影。为了简明起见，在这些实施例中类似的内容在此不重复赘述。
图5依据本发明一实施例绘示该方法的该自适应投影类型控制方案中的非图样投影(non-pattern projection)的某些投影结果。为了更好地理解，假设短距离目标物件和正常/长距离目标物件为平面目标，但本发明不限于此。另外，图5左半部所示的投影结果可作为用于在该短距离的短距离目标物件的非图样投影的投影结果的例子，而图5右半部的投影结果可作为用于在该正常距离或长距离的正常/长距离目标物件的非图样投影的投影结果例子，其中阴影部分可指出角落或外部区域的照明均匀度不如中心区域。当需要对正常/长距离目标物件进行该TOF类型深度检测时，图像处理电路130(例如第二局部电路诸如深度处理器131)可控制自适应投影机110(例如LC透镜)改变(例如缩小)非图样投影的投影场，使非图样投影的投影结果在一对应的投影场内具有更窄的分布和更高的强度，如图5右半部所示。当需要对短距离目标物件进行该TOF类型深度检测时，图像处理电路130(例如第二局部电路诸如深度处理器131)可控制自适应投影机110(例如LC透镜)改变(例如扩大)非图样投影的投影场，使非图样投影的投影结果在一对应的投影场上具有更宽且更均匀的分布，如图5左半部所示。为了简明起见，在本实施例中类似的内容在此不重复赘述。
图6依据本发明一实施例绘示该方法的一自适应图样(pattern)控制方案。该一或多个预定图样可依据各种设计诸如图6中所示的情况(a)、(b)、(c)和(d)中所展示的设计来实现(例如藉由改变参数、排列)：
(a)高密度子图样：该预定图样的每个子图样可具有高密度；
(b)低密度子图样：该预定图样的每个子图样可具有低密度；
(c)多密度(multi-density)子图样：该预定图样的每个子图样可包含多个子集合(subset)，并且这个子图样的该多个子集合的各自的密度可包含不同的密度(例如上列情况(a)和(b)的密度)；以及
(d)多区(multi-zone)多密度图样：该预定图样可包含多个区，其中该多个区中的一或多个区中的某些子图样可具有一第一密度(例如上列情况(b)的低密度)，并且该多个区中的一或多个其它区中的某些子图样可具有一第二密度(例如上列情况(a)的高密度)；
但本发明不限于此。为了简明起见，在本实施例中类似的内容在此不重复赘述。
依据某些实施例，图像处理电路130(例如第二局部电路诸如深度处理器131)可控制自适应投影机110(例如LC透镜)改变该预定图样的至少一部分(例如一部分或全部)的投影场和/或投影方向，诸如一子图样(sub-pattern)、一子图样的一次要子图样(secondarysub-pattern)(例如一子集合)等的投影场和/或投影方向，以在各种设计诸如图6中所示的情况(a)、(b)、(c)和(d)中所展示的设计之间进行切换。为了简明起见，在这些实施例中类似的内容在此不重复赘述。
图7依据本发明一实施例绘示该方法的一自适应照明场(field-of-illumination，FOI)控制方案。该图样投影的FOI可依据各种设计诸如图7中所示的情况(a)、(b)和(c)中所展示的设计来实现(例如藉由在一个或两个方向上改变FOI)：
(a)原本的FOI；
(b)在一个方向上的FOI切换；以及
(c)在两个方向上的FOI切换；
但本发明不限于此。为了简明起见，在本实施例中类似的内容在此不重复赘述。
依据某些实施例，图像处理电路130(例如第二局部电路诸如深度处理器131)可控制自适应投影机110(例如LC透镜)改变该预定图样的至少一部分(例如，一部分或全部)的投影场，诸如一子图样、一子图样的一次要子图样(例如一子集合)等的投影场和/或投影方向，以在各种设计诸如图7中所示的情况(a)、(b)和(c)中所展示的设计之间进行切换。为了简明起见，在这些实施例中类似的内容在此不重复赘述。
依据某些实施例，图像处理电路130(例如深度处理器131)可将该2D图像发送到一系统单芯片(System-on-Chip，SoC)以利用在该SoC上运行的一后端(back-end)物件检测算法来寻找包围某个目标物件(例如人脸)的该ROI(例如其位置及大小诸如宽度和高度)，使在该SoC上运行的该后端物件检测算法将该ROI(例如其位置及大小诸如宽度和高度)回传至图像处理电路130(例如深度处理器131)，并且图像处理电路130(例如深度处理器131)可计算一深度平均像素亮度(average pixel luminance，APL)，诸如在该2D图像上的该ROI内，深度像素的各自的亮度(例如像素值)的平均值，以作为一深度统计指标(depthstatistics index)，以供决定该距离信息诸如目标物件(例如人脸)与混合深度检测装置100之间的距离，从而决定该选择的距离范围，但本发明不限于此。举例来说，图像处理电路130(例如深度处理器131)可计算一深度中位数，诸如在该2D图像上的该ROI内，深度像素的各自的亮度(例如像素值)的中位数，以作为该深度统计指标，以供决定该距离信息，从而决定该选择的距离范围。此外，图像处理电路130(例如深度处理器131)可在深度计算的期间使用该深度APL或该深度中位数作为深度图的一平均深度，但本发明不限于此。
依据某些实施例，图像处理电路130(例如深度处理器131)可依据下列方程式来计算该加权深度图(例如一加权深度图像)中的多个深度中的任一深度：
DepthWEIGHTED(x，y)＝w1(x，y)*DepthSLM(x，y)+w2(x，y)*DepthTOF(x，y)；
其中DepthWEIGHTED(x，y)可代表在该加权深度图(例如该加权深度图像)中的坐标(x，y)处的该任一深度，DepthSLM(x，y)和DepthTOF(x，y)可分别代表在该第一深度图(例如从该SL类型深度检测获得的一SL深度图，诸如一SL深度图像)和该第二深度图(例如从该TOF类型深度检测获得的一TOF深度图，诸如一TOF深度图像)中的坐标(x，y)处的对应的深度，且w1(x，y)和w2(x，y)可代表相关的加权值，但本发明不限于此。
依据某些实施例，图像处理电路130(例如深度处理器131)可在该多个预定投影类型之间轮流切换，并在该多个类型的深度检测之间对应地切换。假设图样投影和非图样投影可分别称为散斑投影(speckle projection)和雾化投影(fogging projection)，其可分别对应于它们的投影结果。例如，当该深度统计指标指出该多个预定距离范围中的一短距离范围时，图像处理电路130(例如深度处理器131)可控制自适应投影机110轮流进行散斑投影和采用不可见光的雾化投影(用于不可见光照明)，其中对应于散斑投影和采用不可见光的雾化投影的输出信息可分别是该第一深度图(例如该SL深度图)和该2D图像。
另外，当该深度统计指标指出该多个预定距离范围中的一中距离范围时，图像处理电路130(例如深度处理器131)可控制自适应投影机110轮流进行散斑投影、一个循环(cycle)的采用不可见光的雾化投影(用于不可见光照明)以及另一个循环的采用不可见光的雾化投影(用于不可见光照明)，其中对应于散斑投影、上述一个循环的采用不可见光的雾化投影以及上述另一个循环的采用不可见光的雾化投影的输出信息可分别是该第一深度图(例如该SL深度图)、该第二深度图(例如该TOF深度图)以及该2D图像，但本发明不限于此。例如，当该深度统计指标指出该中距离范围时，图像处理电路130(例如深度处理器131)可控制自适应投影机110轮流进行散斑投影和采用不可见光的雾化投影(用于不可见光照明)，其中对应于散斑投影和采用不可见光的雾化投影的输出信息可分别为该第一深度图(例如该SL深度图)和该第二深度图(例如该TOF深度图)。
此外，当该深度统计指标指出该多个预定距离范围中的一长距离范围时，图像处理电路130(例如深度处理器131)可控制自适应投影机110轮流进行一个循环的采用不可见光的雾化投影(用于不可见光照明)以及另一个循环的采用不可见光的雾化投影(用于不可见光照明)，其中对应于上述一个循环的采用不可见光的雾化投影以及上述另一个循环的采用不可见光的雾化投影的输出信息可分别是该第二深度图(例如该TOF深度图)以及该2D图像。为了简明起见，在这些实施例中类似的内容在此不重复赘述。
依据某些实施例，除了混合深度检测装置100之外，该电子产品还可包含一处理电路(例如该SoC)以供控制该电子产品的操作，并且该处理电路可包含至少一应用处理器(application processor)(例如一或多个应用处理器)以供运行各种程序代码诸如操作系统(operating system，OS)、驱动程序、应用程序等。在运行在该至少一应用处理器上的一第一应用程序(简称App)诸如一3D人脸识别App的控制下，该处理电路可向混合深度检测装置100发送一或多个命令以控制混合深度检测装置100。
图8依据本发明一实施例绘示图1所示的混合深度检测装置的某些实施细节。如图8所示，混合深度检测装置100(例如其内的元件，诸如自适应投影机110、图像提取模块120、图像处理电路130和包含一距离传感器的一额外的感测模块140)可在该电子产品的该处理电路中的该至少一应用处理器(统称为“AP”以求简明)的控制下操作，其中图像提取模块120中的相机121的图像传感器也绘示于图中以便于更好地理解，但本发明不限于此。在某些实施例中，可省略额外的感测模块140(例如该距离传感器)。另外，图像处理电路130中的该一或多个驱动电路可包含一LC透镜驱动器，用于以一或多个LC电压信号(标示为“LC电压”以求简明)驱动该至少一LC透镜，并且可包含一激光驱动器，用于以一或多个LD电流信号(标示为“LD电流”以求简明)驱动该至少一不可见光源诸如该VCSEL阵列、这些边缘发射LD等。图8所示架构内的某些元件可相互通信，例如，藉由使用某些同步(synchronization，sync)信号和一或多个预定通信协议(communications protocol)(分别标示为“同步”和“通信协议”以求简明)。此外，深度处理器131内的一核心(core)电路可控制深度处理器131的操作。深度处理器131可从图像提取模块120内的相机121的该图像传感器获取原始图像的图像数据，进行相关处理诸如深度处理等，并且将相关数据诸如图像数据、深度数据等输出到该AP。为了简明起见，在本实施例中类似的内容在此不重复赘述。
图9依据本发明一实施例绘示该方法的一深度组合控制方案。图像处理电路130可包含一同步产生模块，以供产生某些同步信号(标示为“同步”以求简明)并藉由使用该一或多个预定通信协议(标示为“通信协议”以求简明)来与某些其它元件通信，以及包含一选择及多工(multiplexing)模块(标示为“选择/多工”以求简明)，以供获取和/或分派(dispatch)相关信息，诸如指出该距离范围(例如已从该多个预定距离范围选择出来的距离范围)的范围选择信息(标示为“范围选择”以求简明)、这些原始图像等，并且图像处理电路130内的深度处理器131可包含分别用于进行该TOF类型深度检测和该SL类型深度检测的一TOF类型深度处理器以及一SL类型深度处理器，且包含用于进行该深度数据组合的一深度数据组合模块，其中图像处理器132可被称为2D图像处理器，但本发明不限于此。在某些实施例中，图9中所示的架构可予以变化。
依据某些实施例，该同步产生模块可包含一子模块诸如一深度统计模块以供进行对于多个帧(frame)的深度统计。该同步产生模块所接收的深度信息可替换为一先前的深度帧(depth frame)，且该同步产生模块可依据该先前的深度帧进行该深度统计以计算出该先前的深度帧的深度APL作为待产生的当前深度帧的一预测的(predicted)深度APL，以产生该范围选择信息和相关的同步信号，以供输出至该选择及多工模块。尤其，由图像处理电路130所正产生的当前深度帧(例如该加权深度图像)可为深度帧F(n)，而该先前的深度帧可为深度帧F(n-1)(例如加权深度帧F(n-1))。为了简明起见，在这些实施例中类似的内容在此不重复赘述。
图10依据本发明一实施例绘示该方法的一工作流程。该方法可应用于相关设备(例如混合深度检测装置100、图像处理电路130、深度处理器131和自适应投影机110)，并且可由该设备执行。
在步骤S11中，图像处理电路130(例如第二局部电路诸如深度处理器131)可获得该距离信息，其中该距离信息可指出混合深度检测装置100与该一或多个目标物件11之间的距离。例如，该距离信息可从该距离传感器获得，但本发明不限于此。在某些例子中，该距离信息的信息源可包含该距离传感器以及混合深度检测装置100的一先前深度检测操作(例如，针对一先前帧的混合深度检测操作)中的一个或组合。
在步骤S12中，混合深度检测装置100可利用图像处理电路130(例如第二局部电路诸如深度处理器131)依据距离信息(例如该距离信息所指出的距离)决定该距离范围(例如该选择的距离范围)，其中该距离范围是选择自针对该距离的该多个预定距离范围。当该距离信息所指出的距离落入该多个预定距离范围中的某个预定距离范围时，图像处理电路130(例如第二局部电路诸如深度处理器131)可将这个距离范围决定为该选择的距离范围。当该距离信息所指出的距离落入该多个预定距离范围中的另一预定距离范围时，图像处理电路130(例如第二局部电路诸如深度处理器131)可将该另一距离范围决定为该选择的距离范围。
在步骤S13中，混合深度检测装置100可利用图像处理电路130(例如第二局部电路诸如深度处理器131)进行该投影类型选择，以决定该多个预定投影类型(例如该第一投影类型和该第二投影类型)中的对应于该距离范围(例如该选择的距离范围)的该至少一选择的投影类型，其中该至少一选择的投影类型是选择自该多个预定投影类型。
在步骤S13’中，响应于该至少一选择的投影类型，图像处理电路130(例如第二局部电路诸如深度处理器131)可触发该工作流程的多个子流程(sub-flow)的其中之一的执行。举例来说，如果该至少一选择的投影类型代表针对图样投影的该第一投影类型以供用于该图样检测类型深度检测诸如该SL类型深度检测(标示为“SL类型”以便于更好地理解)，则执行包含步骤S14A的一第一子流程；否则，如果该至少一选择的投影类型代表针对非图样投影的该第二投影类型以供用于该TOF类型深度检测(标示为“TOF类型”以便于更好地理解)，则执行包含步骤S14B的一第二子流程；否则，在该至少一选择的投影类型包含该第一投影类型和该第二投影类型(标示为“混合”以便于更好地理解)的情况下，执行包含步骤S15A、S15B和S16的一第三子流程。
在步骤S14A中，混合深度检测装置100可利用自适应投影机110进行图样投影，尤其，投影该预定图样，以藉由相机121提取至少一对应的第一图像诸如一或多个第一图像，并利用图像处理电路130(例如第二局部电路诸如深度处理器131)依据该一或多个第一图像进行该第一深度检测以产生该第一深度图，以供被输出作为该结果深度图。
在步骤S14B中，混合深度检测装置100可利用自适应投影机110进行非图样投影以藉由相机121提取至少一对应的第二图像诸如一或多个第二图像，并利用图像处理电路130(例如第二局部电路诸如深度处理器131)依据该一或多个第二图像进行该第二深度检测以产生该第二深度图，以供被输出作为该结果深度图。
在步骤S15A中，混合深度检测装置100可利用自适应投影机110进行图样投影，尤其，投影该预定图样，以藉由相机121提取至少一对应的第一图像诸如一或多个第一图像，并利用图像处理电路130(例如第二局部电路诸如深度处理器131)依据该一或多个第一图像进行该第一深度检测以产生该第一深度图。
在步骤S15B中，混合深度检测装置100可利用自适应投影机110进行非图样投影以藉由相机121提取至少一对应的第二图像诸如一或多个第二图像，并利用图像处理电路130(例如第二局部电路诸如深度处理器131)依据该一或多个第二图像进行该第二深度检测以产生该第二深度图。
在步骤S16中，在该至少一选择的投影类型包含该多个预定投影类型诸如该第一投影类型和该第二投影类型的情况下，混合深度检测装置100可利用图像处理电路130(例如第二局部电路诸如深度处理器131)依据该第一深度图和该第二深度图进行该深度数据组合以产生该组合深度图(例如该加权深度图)以作为该结果深度图。
在步骤S17中，混合深度检测装置100(例如图像处理电路130)可判断是否停止该工作流程。如果是，则该工作流程结束；如果否，则进入步骤S11。
例如，响应于该一或多个命令中的一个启动命令，混合深度检测装置100(例如图像处理电路130)可依据该工作流程开始操作，以将该结果深度图(例如该第一子流程的该第一深度图、该第二子流程的该第二深度图、或该第三子流程的该组合深度图)回传到该处理电路(例如运行在该至少一应用处理器上的该3D人脸识别App等)。在步骤S17中，混合深度检测装置100(例如图像处理电路130)可检查是否接收到该一或多个命令中的一停止命令。当从该处理电路接收到该停止命令时，混合深度检测装置100(例如图像处理电路130)可判定步骤S17的检查结果为是。当没有接收到来自该处理电路的停止命令时，混合深度检测装置100(例如图像处理电路130)可判定步骤S17的检查结果为否。为了简明起见，在本实施例中类似的内容在此不重复赘述。
为了更好地理解，该方法可用图10所示的工作流程来说明，但本发明不限于此。依据某些实施例，一或多个步骤可在图10所示的工作流程中增加、删除或修改。例如，在包含步骤S15A、S15B和S16的该第三子流程中，可交换执行步骤S15A和S15B的顺序。
依据某些实施例，该多个预定距离范围可包含一第一范围(例如该短距离范围)诸如区间[D1，D1.5)的范围、一第二范围(例如该中距离范围)诸如区间[D1.5，D2)的范围以及一第三范围(例如该长距离范围)诸如区间[D2，∞)的范围，其中距离D1.5可代表距离D1和D2之间的一中间距离，诸如以预定加权值wD1和wD2定义的中间距离(wD1*D1+wD2*D2)(例如wD1>0且wD2>0，并且wD1+wD2＝1)，但本发明不限于此。此外，当该选择的距离范围代表区间[D1，D1.5)的范围时，该至少一选择的投影类型可代表该第一投影类型，以容许包含步骤S14A的该第一子流程被执行，其中如图3上半部所示的投影场可作为图样投影的投影场的例子；当该选择的距离范围代表区间[D1.5，D2)的范围时，该至少一选择的投影类型可包含该第一投影类型和该第二投影类型，以容许包含步骤S15A、S15B和S16的该第三子流程被执行，其中如图3上半部所示的投影场可作为图样投影和非图样投影的各自的投影场中的任何一个(例如每一个)的例子；以及当该选择的距离范围代表区间[D2，∞)的范围时，该至少一选择的投影类型可代表该第二投影类型，以容许包含步骤S14B的该第二子流程被执行，其中如图3下半部所示的投影场可作为非图样投影的投影场的例子。为了简明起见，在这些实施例中类似的内容在此不重复赘述。
依据某些实施例，该多个预定距离范围可包含一第一范围诸如区间[D1，D2)的范围，并且包含一第二范围诸如区间[D2，∞)的范围，但本发明不限于此。此外，当该选择的距离范围代表区间[D1，D2)的范围时，该至少一选择的投影类型可包含该第一投影类型和该第二投影类型，以容许包含步骤S15A、S15B和S16的该第三子流程被执行，其中如图3上半部所示的投影场可作为图样投影和非图样投影的各自的投影场中的任何一个(例如每一个)的例子；以及当该选择的距离范围代表区间[D2，∞)的范围时，该至少一选择的投影类型可代表该第二投影类型，以容许包含步骤S14B的该第二子流程被执行，其中如图3下半部所示的投影场可作为非图样投影的投影场的例子；其中该第一子流程可被省略。为了简明起见，在这些实施例中类似的内容在此不重复赘述。
以上所述仅为本发明的优选实施例，凡依本发明权利要求书所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (11)

1.一种借助自适应投影机来进行混合深度检测(hybrid depth detection)的方法，该方法包含：
利用混合深度检测装置内的图像处理电路获得距离信息，其中该距离信息指出该混合深度检测装置与一或多个目标物件(object)之间的距离；
利用该图像处理电路依据该距离信息来决定距离范围，其中该距离范围是选择自针对该距离的多个预定距离范围；
利用该图像处理电路进行投影类型选择，以决定多个预定投影类型中的对应于该距离范围的至少一选择的投影类型(selected projection type)，其中该至少一选择的投影类型是选择自该多个预定投影类型；
利用该混合深度检测装置内的该自适应投影机进行该至少一选择的投影类型的投影以藉由相机提取至少一对应的图像，并利用该图像处理电路依据该至少一对应的图像来进行多个类型的深度检测(multiple types of depth detection)中的对应于该至少一选择的投影类型的至少一类型的深度检测(at least one type of depth detection)以产生至少一深度图(depth map)；以及
响应于该至少一选择的投影类型，利用该图像处理电路选择性地输出该至少一深度图以作为结果深度图(resultant depth map)或依据该至少一深度图进行深度数据组合以产生一组合深度图以作为该结果深度图。
2.如权利要求1所述的方法，其中该多个预定投影类型包含针对一或多个预定图样(pattern)的图样投影(pattern projection)的第一投影类型，并且包含针对无图样的非图样投影(non-pattern projection)的第二投影类型。
3.如权利要求2所述的方法，其中该多个类型的深度检测包含对应于该第一投影类型的第一深度检测，以及对应于该第二投影类型的第二深度检测。
4.如权利要求3所述的方法，其中该第一深度检测代表图样检测类型(pattern-detection-type)深度检测，该第二深度检测代表飞行时间(Time-of-Flight，TOF)类型深度检测。
5.如权利要求1所述的方法，其中对应于该距离范围的该至少一选择的投影类型包含该多个预定投影类型，并且对应于该至少一选择的投影类型的该至少一类型的深度检测包含该多个类型的深度检测。
6.如权利要求5所述的方法，其中该多个预定投影类型包含针对图样投影(patternprojection)的第一投影类型以及针对非图样投影(non-pattern projection)的第二投影类型；以及利用该混合深度检测装置内的该自适应投影机进行该至少一选择的投影类型的该投影以藉由该相机提取该至少一对应的图像并利用该图像处理电路依据该至少一对应的图像来进行该多个类型的深度检测中的对应于该至少一选择的投影类型的该至少一类型的深度检测以产生该至少一深度图的步骤还包含：
利用该自适应投影机进行该图样投影以藉由该相机提取至少一对应的第一图像，并利用该图像处理电路依据该至少一对应的第一图像来进行第一深度检测以产生第一深度图；以及
利用该自适应投影机进行该非图样投影以藉由该相机提取至少一对应的第二图像，并利用该图像处理电路依据该至少一对应的第二图像来进行第二深度检测以产生第二深度图；
其中，在该至少一选择的投影类型包含该多个预定投影类型的情况下，该图像处理电路用以依据该第一深度图以及该第二深度图来进行该深度数据组合，以产生该组合深度图以作为该结果深度图。
7.如权利要求1所述的方法，其中利用该图像处理电路选择性地输出该至少一深度图以作为该结果深度图或依据该至少一深度图进行该深度数据组合以产生该组合深度图以作为该结果深度图的步骤还包含：
若该至少一选择的投影类型代表该多个预定投影类型中的一个预定投影类型，则利用该图像处理电路输出该至少一深度图作为该结果深度图，其中该至少一深度图代表对应于该多个预定投影类型中的所述一个预定投影类型的深度图；否则，利用该图像处理电路依据该至少一深度图进行该深度数据组合以产生该组合深度图以作为该结果深度图，其中该至少一深度图包含对应于该多个预定投影类型中的第一投影类型的第一深度图，并且包含对应于该多个预定投影类型中的第二投影类型的第二深度图。
8.如权利要求1所述的方法，其中该距离信息的信息源包含该混合深度检测装置内的距离传感器以及该混合深度检测装置的先前深度检测操作的其中之一或组合。
9.依据如权利要求1所述的方法来操作的该自适应投影机。
10.依据如权利要求1所述的方法来操作的该图像处理电路。
11.一种混合深度检测(hybrid depth detection)装置，包含：
图像处理电路，用来获得距离信息，依据该距离信息决定距离范围，并且进行投影类型选择以决定多个预定投影类型中的对应于该距离范围的至少一选择的投影类型(selectedprojection type)，其中该距离信息指出该混合深度检测装置与一或多个目标物件(object)之间的距离，该距离范围是选择自针对该距离的多个预定距离范围，并且该至少一选择的投影类型是选择自该多个预定投影类型；
自适应投影机(adaptive projector)，耦接至该图像处理电路，用来进行该至少一选择的投影类型的投影，以容许该混合深度检测装置藉由相机提取至少一对应的图像；以及
该相机，耦接至该图像处理电路，用来提取该至少一对应的图像；
其中：
该图像处理电路依据该至少一对应的图像来进行多个类型的深度检测(multipletypes of depth detection)中的对应于该至少一选择的投影类型的至少一类型的深度检测(at least one type of depth detection)以产生至少一深度图(depth map)；以及
响应于该至少一选择的投影类型，该图像处理电路选择性地输出该至少一深度图以作为结果深度图(resultant depth map)或依据该至少一深度图进行深度数据组合以产生一组合深度图以作为该结果深度图。
CN202210330876.7A 2021-07-01 2022-03-30 借助自适应投影机来进行混合深度检测的方法及设备 Pending CN115564815A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/364,920 US11494926B1 (en) 2021-07-01 2021-07-01 Method for performing hybrid depth detection with aid of adaptive projector, and associated apparatus
US17/364,920 2021-07-01

Publications (1)

Publication Number Publication Date
CN115564815A true CN115564815A (zh) 2023-01-03

Family

ID=83902628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210330876.7A Pending CN115564815A (zh) 2021-07-01 2022-03-30 借助自适应投影机来进行混合深度检测的方法及设备

Country Status (3)

Country Link
US (1) US11494926B1 (zh)
CN (1) CN115564815A (zh)
TW (1) TW202303304A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11156456B2 (en) * 2019-05-21 2021-10-26 Apple Inc. Optical proximity sensor integrated into a camera module for an electronic device
US20230216269A1 (en) * 2022-01-04 2023-07-06 Meta Platforms Technologies, Llc Wafer level optics for structured light generation

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014014838A2 (en) * 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition
US20160205378A1 (en) * 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
US9639946B2 (en) * 2015-03-11 2017-05-02 Sony Corporation Image processing system with hybrid depth estimation and method of operation thereof
CN107454373B (zh) * 2016-05-31 2019-06-14 财团法人工业技术研究院 投影系统及其非平面自动校正方法与自动校正处理装置
US10306203B1 (en) * 2016-06-23 2019-05-28 Amazon Technologies, Inc. Adaptive depth sensing of scenes by targeted light projections
US10262428B2 (en) * 2017-04-07 2019-04-16 Massachusetts Institute Of Technology System and method for adaptive range 3D scanning
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
US10891745B1 (en) * 2017-08-14 2021-01-12 Apple Inc. Hybrid system with a structured-light stereo device and a time of flight device
US10482618B2 (en) * 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
CN109870116B (zh) * 2017-12-05 2021-08-03 光宝电子(广州)有限公司 深度成像装置及其驱动方法
US20210150744A1 (en) * 2017-12-20 2021-05-20 Olympus Corporation System and method for hybrid depth estimation
US10593055B2 (en) * 2018-03-23 2020-03-17 Capsovision Inc Method and apparatus for capturing images and associated 3D model based on a single image sensor and structured-light patterns in the visible spectrum
US10901092B1 (en) * 2018-10-02 2021-01-26 Facebook Technologies, Llc Depth sensing using dynamic illumination with range extension
US11132804B2 (en) * 2020-01-07 2021-09-28 Himax Technologies Limited Hybrid depth estimation system

Also Published As

Publication number Publication date
US11494926B1 (en) 2022-11-08
TW202303304A (zh) 2023-01-16

Similar Documents

Publication Publication Date Title
CN115564815A (zh) 借助自适应投影机来进行混合深度检测的方法及设备
CN109596091B (zh) 测距传感器
US20190273906A1 (en) Structured light projection module based on vcsel array light source
KR101966976B1 (ko) 3차원 영상처리 시스템
KR101672669B1 (ko) 시차를 이용하는 멀티 애퍼처 카메라 시스템
US11928195B2 (en) Apparatus and method for recognizing an object in electronic device
US20140139632A1 (en) Depth imaging method and apparatus with adaptive illumination of an object of interest
JP7376618B2 (ja) 電子機器の制御方法及び電子機器
WO2017112103A1 (en) Stereodepth camera using vcsel projector with controlled projection lens
CN108234874B (zh) 体感摄像头的成像精度的调节方法及调节装置
US11061139B2 (en) Ranging sensor
CN103019001A (zh) 自动对焦方法与装置
CN108718406A (zh) 一种可变焦3d深度相机及其成像方法
WO2014108976A1 (ja) 物体検出装置
JP7168077B2 (ja) ３次元計測システム及び３次元計測方法
KR20170133119A (ko) 멀티 초점 이미지를 이용하는 깊이 추출 카메라 시스템 및 그 동작 방법
US20220067951A1 (en) Method for Acquiring Image, Electronic Device and Readable Storage Medium
TWI646504B (zh) 深度感測裝置及深度感測方法
US20200280668A1 (en) Electronic device for controlling camera on basis of external light, and control method therefor
CN113711229A (zh) 电子设备的控制方法、电子设备和计算机可读存储介质
US11979661B1 (en) Method for performing light shaping with aid of adaptive projector, and associated apparatus
EP4443379A1 (en) Three-dimensional recognition apparatus, terminal, image enhancement method and storage medium
CN111294582A (zh) 三维影像处理方法、摄影装置及非暂态电脑可读取储存介质
US20190149796A1 (en) Depth-sensing device and depth-sensing method
US11557054B1 (en) Method for performing region-of-interest-based depth detection with aid of pattern-adjustable projector, and associated apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination