CN109547764B - 影像深度感测方法与影像深度感测装置 - Google Patents

影像深度感测方法与影像深度感测装置 Download PDF

Info

Publication number
CN109547764B
CN109547764B CN201710755905.3A CN201710755905A CN109547764B CN 109547764 B CN109547764 B CN 109547764B CN 201710755905 A CN201710755905 A CN 201710755905A CN 109547764 B CN109547764 B CN 109547764B
Authority
CN
China
Prior art keywords
field
depth
view
image
structured light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710755905.3A
Other languages
English (en)
Other versions
CN109547764A (zh
Inventor
张耀宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN109547764A publication Critical patent/CN109547764A/zh
Application granted granted Critical
Publication of CN109547764B publication Critical patent/CN109547764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提出一种影像深度感测方法,适于以影像深度感测装置取得视野范围中的深度信息。所述方法包括以下步骤。判断视野范围内是否包括深度大于距离阈值的远处物体。若视野范围中不包括远处物体,依据一般模式取得视野范围中的深度信息。若视野范围中包括远处物体,依据增强模式取得视野范围中的深度信息。在一般模式中所能侦测的最大深度不大于该距离阈值,并且在增强模式中所能侦测的最大深度大于该距离阈值。此外,一种影像深度感测装置亦被提出。

Description

影像深度感测方法与影像深度感测装置
技术领域
本发明有关于一种影像深度感测方法与影像深度感测装置。
背景技术
近年来,立体影像撷取设备的应用日渐普及。举例而言,双镜头相机是一种常见的立体影像撷取设备,其利用两个镜头的视角差来测量物体与相机之间的距离。另一种常见的技术例如是测量发射激光与接收物体所反射的激光的时间差作为光子飞行时间(Timeof Flight,TOF),来计算出物体的距离。此外,还有一种技术是利用固定距离来设置光发射元件与光侦测元件。光发射元件以发射角向物体发射光束,而光侦测元件可以侦测到物体所反射的光束及其反射角。依据上述发射角与反射角再搭配两元件之间的距离,便能够以三角型的数学原理来计算出物体的距离。基于上述的各种方式,便能够轻易地测得空间中一点的距离。然而,若要测得整个区域的距离就需要花费大量的时间。
结构光技术的发明,减少了测量区域中每一处的距离的处理时间与设备成本。结构光技术基本的应用例如是在扫描周期中,朝向特定区域依序投射多道不同编码图样的结构光,再利用光侦测元件来侦测对应多道结构光的反射图样。从各种不同编码图样以及所侦测到对应的反射图样,可以判别反射光点的反射角及其对应投射光的投射角,再同样藉由三角型的数学原理,便能够推知区域中各处的距离。
然而,在电子装置的设计越发轻薄的趋势之下,耗电量是需要考虑的重要因素之一。因此,如何能够设计出一种机制,以较低的耗电量来有效地取得立体影像而使装置的使用时间得以延长,是本领域技术人员所共同致力的目标。
发明内容
本发明提供一种影像深度感测方法与影像深度感测装置,能够节省感测物体深度时所需的电力,以延长装置的使用时间。
本发明的影像深度感测方法,适于以影像深度感测装置取得视野范围中的深度信息。所述方法包括以下步骤。判断视野范围内是否包括深度大于距离阈值的远处物体。若视野范围中不包括远处物体,依据一般模式取得视野范围中的深度信息。若视野范围中包括远处物体,依据增强模式取得视野范围中的深度信息。在一般模式中所能侦测的最大深度不大于该距离阈值,并且在增强模式中所能侦测的最大深度大于该距离阈值。
本发明的影像深度感测装置包括深度影像撷取元件以及处理元件。深度影像撷取元件用以撷取视野范围内的光信号影像。处理元件耦接于深度影像撷取元件,用以藉由深度影像撷取元件,依据一般模式或增强模式取得视野范围内的深度信息。在一般模式中所能侦测的最大深度不大于该距离阈值,并且在增强模式中所能侦测的最大深度大于该距离阈值。处理元件判断视野范围内是否包括深度大于距离阈值的远处物体。若视野范围中不包括远处物体,处理元件藉由深度影像撷取元件,依据一般模式取得视野范围中的深度信息;若视野范围中包括远处物体,处理元件藉由深度影像撷取元件,依据增强模式取得视野范围中的深度信息。
基于上述,本发明实施例所提出的影像深度感测方法与影像深度感测装置,提供了感测能力不同的一般模式与增强模式,并且依据视野范围内物体的距离来决定影像深度感测时所使用的模式。如此一来,能够节省电力以延长装置的使用时间。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附图式作详细说明如下。
附图说明
图1绘示本发明一实施例的影像深度感测装置的概要方块图。
图2绘示本发明一实施例的撷取光信号影像的示意图。
图3绘示本发明一实施例的结构光编码图样的示意图。
图4绘示本发明一实施例的影像深度感测方法的流程图。
图5绘示本发明一实施例的影像深度感测方法的示意图。
图6绘示本发明一实施例的影像深度感测方法的示意图。
图7绘示本发明一实施例的影像深度感测方法的示意图。
图8绘示本发明一实施例的影像深度感测方法的示意图。
符号说明
100:影像深度感测装置
110:深度影像撷取元件
111:结构光投射元件
113:反射光撷取元件
130:处理元件
IMG1~IMG7:光信号影像
P:像素位置
RG:视野范围
S1、S2、S3、S36、S64:扫描线
S410:判断视野范围内是否包括深度大于距离阈值的远处物体
S430:依据一般模式来取得视野范围中的深度信息
S450:依据增强模式来取得视野范围中的深度信息
S501:执行N个结构光处理周期来取得视野范围内的深度信息
S502:在第N+1个时切换到增强模式来取得视野范围内的深度信息
S503:切换回一般模式来取得深度信息
S504:维持在增强模式
SL、SL1~SL7:结构光
具体实施方式
本发明实施例提出一种影像深度感测方法以及使用此方法的影像深度感测装置。在所提出的方法中提供一般模式与增强模式两种感测物体深度的模式。相较于一般模式,增强模式会消耗较多的电力,因此增强模式所能侦测到的物体最大深度比一般模式所能侦测到的物体最大深度深。特别是,本发明实施例所提出的影像深度感测方法只有在侦测到视野范围内有远处物体(例如,距离超过一般模式所能侦测的最大深度的物体)时,才会切换到增强模式,否则会维持在一般模式中以节省装置的电力。
图1绘示本发明一实施例的影像深度感测装置的概要方块图。请参照图1,影像深度感测装置100包括深度影像撷取元件110以及处理元件130。深度影像撷取元件110用以撷取视野范围(field of view,FOV)内的光信号影像。处理元件130耦接于深度影像撷取元件110,用以控制深度影像撷取元件110以一般模式或增强模式来撷取光信号影像,并接收深度影像撷取元件110所撷取的光信号影像,再依据所接收的光信号影像来判断视野范围中物体的深度信息。
在一实施例中,影像深度感测装置100还可包括影像撷取元件(未绘示),耦接于处理元件130。影像撷取元件例如为传统的彩色相机,用以拍摄视野范围内的二维彩色影像。处理元件130将视野范围内的深度信息结合二维彩色影像,便能够得到三维的立体彩色影像。
在本实施例中,处理元件130例如为中央处理单元(Central Processing Unit,CPU)或是其他可程序化的微处理器(Microprocessor)等,但本发明并不在此限。在一实施例中,处理元件130还可包括镜头控制单元(未绘示),用以控制深度影像撷取元件110进行控制。
在本实施例中,影像深度感测装置100例如是通过结构光的技术来判断物体的深度或距离,而深度影像撷取元件110包括结构光投射元件111以及反射光侦测元件113。然而,本发明并不限于此。在其他实施例中,影像深度感测装置100亦可以藉由视角差等其他的技术来判断物体的深度或距离。
结构光投射元件111耦接于处理元件130,用以在视野范围内投射多道结构光。在一实施例中,结构光投射元件111所投射的结构光为不可见光(例如,红外光),并且结构光投射元件111中设置有微动结构,受控于处理元件130来朝视野范围投射不同编码图样的结构光。本发明实施例并不在此限制结构光投射元件111的具体结构,所属领域具备通常知识者当可依其需求来实作本发明所提出的结构光投射元件111。
反射光侦测元件113耦接于处理元件130,用以撷取视野范围内,对应结构光投射元件111所投射的结构光的多个光信号影像。在一实施例中,结构光投射元件111所投射的结构光为不可见光(例如,红外光),而反射光侦测元件113例如为不可见光(例如,红外光)侦测器或相机,用以撷取反射的结构光的影像。类似地,本发明实施例并不在此限制反射光侦测元件113的具体结构,所属领域具备通常知识者当可依其需求来实作本发明所提出的反射光侦测元件113。
图2绘示本发明一实施例的撷取光信号影像的示意图。
请参照图2,在一实施例中,结构光投射元件111在结构光处理周期内,依序在视野范围RG内投射不同编码图样的多道结构光SL,而反射光侦测元件113则依序地撷取对应不同编码图样的多道结构光SL的多张光信号影像IMG。其中,各道结构光SL中包括多条扫描线,并且藉由各条扫描线的明暗来组成不同编码图样的结构光SL。
图3绘示本发明一实施例的结构光编码图样的示意图。
请参照图3,结构光SL1中包括32条明扫描线S1~S32以及32条暗扫描线S33~S64,因此结构光SL1的编码图样为“1111111111111111111111111111111100000000000000000000000000000000”。结构光SL2中包括16条明扫描线S1~S16、16条暗扫描线S17~S32、16条明扫描线S33~S48以及16条暗扫描线S49~S64,因此结构光SL2的编码图样为“1111111111111111000000000000000011111111111111110000000000000000”。另一方面,结构光SL6中包括明暗相间的64条扫描线S1~S64,因此结构光SL6的编码图样为“1010101010101010101010101010101010101010101010101010101010101010”,以此类推。
值得一提的是,为了清楚标示与说明,在图3中仅标示出前三条扫描线S1~S3、第36条扫描线与第64条扫描线S64,而其中的扫描线S4~S35、S37~S63可以依顺序而推得。
一道结构光中扫描线从明到暗的间距称为一个空间周期。因此,结构光SL1的空间周期为结构光SL6的空间周期的32倍,而结构光SL6的空间频率(例如,32f)为结构光SL1的空间频率(例如,f)的32倍。换言之,结构光的空间频率可以用以表示在视野范围内,结构光的扫描线从明到暗切换的次数。
请同时参照图2与图3,当结构光投射元件111在结构光处理周期内,依序在视野范围RG内投射不同空间频率(例如,2nf,n=1,2,3,4,5,6)的编码图样的多道结构光SL1~SL6,且反射光侦测元件113依序取得对应结构光SL1~SL6的反射光信号影像IMG1~IMG6时,处理元件130便能够从光信号影像IMG1~IMG6来判断哪一条扫描线被物体反射。据此,在一个结构光处理周期内,将上述的信息搭配光信号影像中的反射点位置,便能够计算出该反射点对应的物体深度。
举例而言,光信号影像IMG2、IMG3、IMG4中的某一像素位置P都侦测到反射点,而其他光信号影像IMG1、IMG5、IMG6中的同一像素位置并未侦测到反射点。由于结构光SL2、SL3、SL4的第36条扫描线为明扫描线,而结构光SL1、SL5、SL6的第36条扫描线为暗扫描线,因此能够推算出是第36条扫描线S36被物体所反射。从第36条扫描线可以推得投射角,而从像素位置P能够推得反射角,再搭配结构光投射元件111与反射光侦测元件113之间的已知距离,便能够计算出像素位置P的深度。如此一来,对视野范围内的每个像素位置都计算出深度后,便能够计算出视野范围中的深度信息。
在本发明的一实施例中,处理元件130能够进一步控制结构光投射元件111以不同的强度来投射结构光。举例而言,在一般模式下,结构光投射元件111以第一强度来投射结构光;在增强模式下,结构光投射元件111以大于第一强度的第二强度来投射结构光。因此,在增强模式中所能侦测的最大深度较一般模式中所能侦测的最大深度深。
在本发明的一实施例中,处理元件130能够进一步控制反射光侦测元件113以不同的放大倍率来放大光电流,以撷取光信号影像。举例而言,在一般模式下,反射光侦测元件113以第一放大倍率来放大光电流;在增强模式下,反射光侦测元件113以高于第一放大倍率的第二放大倍率来放大光电流。因此,在增强模式中的感光度较一般模式中的感光度高,而在增强模式中所能侦测的最大深度也较一般模式中所能侦测的最大深度深。
在本发明的一实施例中,处理元件130还能够同时控制结构光投射元件111以及反射光侦测元件113。在一般模式下,结构光投射元件111在视野范围中以第一强度依序投射多道结构光,并且反射光侦测元件113以第一放大倍率撷取视野范围的多张第一光信号影像。在增强模式下,结构光投射元件111在视野范围中以第二强度依序投射多道结构光,并且反射光侦测元件113以第二放大倍率撷取视野范围的多张第二光信号影像。
处理元件130会藉由先前所介绍的方式来分析所取得的光信号影像(例如,第一光信号影像或第二光信号影像)以取得视野范围中的深度信息。
图4绘示本发明一实施例的影像深度感测方法的流程图。本实施例的影像深度感测方法适用于图1实施例的影像深度感测装置100,故以下将搭配影像深度感测装置100及其各项元件来说明本实施例的影像深度感测方法。
首先,处理元件130会判断影像深度感测装置100的视野范围内是否包括深度大于距离阈值的远处物体(S410)。在本实施例中,距离阈值是默认为在一般模式下所能侦测的最大深度,但不限于此。
若视野范围中不包括远处物体,表示一般模式的侦测能力足以侦测当前视野范围中的所有物体深度。因此,处理元件130会藉由深度影像撷取元件110,依据一般模式来取得视野范围中的深度信息(S430)。
若视野范围中包括远处物体,表示一般模式的侦测能力并不足以侦测当前视野范围中的所有物体深度。因此,处理元件130会藉由深度影像撷取元件110,依据增强模式来取得视野范围中的深度信息(S450)。
关于本实施例中依据一般模式与增强模式取得视野范围中的深度信息的详细方式已于前述段落中举实施例详细说明,所属领域具备通常知识者当可依据本发明实施例的教示来据以实作,故在此不再赘述。
以下将举多个实施例说明本发明实施例中处理元件130判断视野范围中是否包括远处物体的方式。
图5绘示本发明一实施例的影像深度感测方法的示意图。在一实施例中,处理元件130可依据增强模式来藉由深度影像撷取元件110来取得视野范围中的深度信息,并且直接比较所取得的深度信息以及距离阈值,便能够判断视野范围内是否包括深度大于距离阈值的远处物体。
请参照图5,处理元件130可在一般模式下执行N个结构光处理周期来取得视野范围内的深度信息(S501),并且在第N+1个时切换到增强模式来取得视野范围内的深度信息(S502),以判断视野范围内是否包括深度大于距离阈值的远处物体。若处理元件130判断视野范围内包括远处物体,则切换到增强模式。反之,则回到一般模式。
另一方面,在增强模式中,若处理元件130持续M个结构光处理周期都判断视野范围内没有远处物体,则切换回一般模式来取得深度信息(S503)。反之,则维持在增强模式(S504)。
在本实施例中,每间隔特定周期(例如,N个结构光处理周期)才判断视野范围内是否包括远处物体,可减少判断的次数以更节省电力。值得一提的是,本实施例中的N、M为正整数,但本发明并不在此限制N、M的实际数值大小。
图6绘示本发明另一实施例的影像深度感测方法的示意图。在一实施例中,处理元件130在一个结构光处理周期中,利用不同强度的多道结构光来判断视野范围内是否存在远处物体。
请参照图6,处理元件130在一个结构光处理周期中分别投射不同空间频率(例如,f、2f、4f、8f、16f与32f)的六道不同编码图样的结构光SL1~SL6。
在本实施例中,处理元件130例如是以第一强度来投射结构光SL1~SL5(第一结构光)并取得对应的第一影像IMG1~IMG5,以及以第二强度来投射结构光SL6(第二结构光)并取得对应的第二影像IMG6。若在某一个像素位置中,只有第二影像IMG6出现反射点,而第一影像IMG1~IMG5都没有出现反射点,表示该像素位置所出现的反射点是来自远处物体的反射。因此,处理元件130便会判断视野范围中出现远处物体而以增强模式来取得视野范围内的深度信息。
值得一提的是,由于第63条扫描线在结构光SL1~SL5中为暗扫描线,而在结构光SL6中为明扫描线。因此,为了避免混淆,在本实施例中处理元件130可不使用第63条编码的扫描线。
类似于图5实施例,在一实施例中,处理元件130亦可以一般模式或增强模式来执行N个结构光处理周期来取得视野范围内的深度信息后,在第N+1个时才执行图6实施例的方法来判断视野范围内是否存在远处物体。
另一方面,在一实施例中,处理元件130可例如在增强模式中以第二强度来投射结构光SL1~SL5(第一结构光)并取得对应的第一影像IMG1~IMG5,以及以第一强度来投射结构光SL6(第二结构光)并取得对应的第二影像IMG6。若第一影像IMG1~IMG5所曾经出现反射点在第二影像IMG6中都有出现,处理元件130会判断视野范围内并不包括远处物体。当持续M个结构光处理周期处理元件130都判断视野范围不包括远处物体时,便会切换回一般模式。反之,则维持在增强模式。
值得注意的是,在上述实施例中的一些情形下,当第一影像IMG1~IMG5所出现的反射点在第二影像IMG6中没有出现时,视野范围中也可能不包括远处物体。举例而言,当第一影像IMG1~IMG5中曾出现的反射点恰好是位于第偶数条编码的扫描线(即,结构光SL6的暗扫描线)处,则此反射点可能并不一定来自于远处物体,而导致处理单元130没有正确判断。为了提高判断的正确性以更加节省电力,处理单元130可将上述的结构光SL6的所有暗扫描线都取代为明扫描线,也就是使用第一强度来投射64条扫描线皆为明扫描线的结构光SL6。如此一来,便能够提高“在IMG1~IMG5曾出现反射点在第二影像IMG6中都有出现时,判断视野范围内不包括远处物体”的正确性。
相较于图5实施例,本实施例在判断是否有远处物体时并不需要在一个结构光处理周期中持续投射高强度的结构光,因此更加节省电力。
图7绘示本发明又另一实施例的影像深度感测方法的示意图。本实施例与图6实施例的差异在于,本实施例中的结构光SL6的空间频率是相同于结构光SL5的空间频率。
请参照图7,处理元件130在一个结构光处理周期中分别投射空间频率为f、2f、4f、8f、16f与16f的六道结构光SL1~SL6,其中结构光SL5与SL6的编码图样相同。
在本实施例中,处理元件130例如是以第一强度来投射结构光SL1~SL5(第一结构光)并取得对应的第一影像IMG1~IMG5,以及以第二强度来投射结构光SL6(第二结构光)并取得对应的第二影像IMG6。
在本实施例中,处理元件130仅需比较第二影像IMG6中是否出现第一影像IMG5中所没有出现的反射点,即可判断视野范围中是否有远处物体。当第二影像IMG6中出现第一影像IMG5中所没有出现的反射点,处理元件130便会判断视野范围中出现远处物体而以增强模式来取得视野范围内的深度信息。
另一方面,处理元件130例如是以第二强度来投射结构光SL1~SL5(第一结构光)并取得对应的第一影像IMG1~IMG5,以及以第一强度来投射结构光SL6(第二结构光)并取得对应的第二影像IMG6。处理元件130仅需比较第一影像IMG5中是否存在第二影像IMG6中所没有出现的反射点,即可判断视野范围中是否有远处物体。当第一影像IMG5中存在出现第二影像IMG6中所没有出现的反射点,判断视野范围中存在远处物体,反之,则判断视野范围中不存在远处物体。
特别是,相较于图6实施例,本实施例中处理元件130只需要比较两张影像,因此可以耗费更少的计算资源,就能够判断出视野范围中是否存在远处物体。
类似于图5实施例,在一实施例中,处理元件130亦可以一般模式或增强模式来执行N个结构光处理周期来取得视野范围内的深度信息后,在第N+1个时才执行图7实施例的方法来判断视野范围内是否存在远处物体。
图8绘示本发明又另一实施例的影像深度感测方法的示意图。本实施例与图7实施例的差异在于,图7实施例是将结构光SL6的空间频率与编码图样修改为相同于结构光SL5的空间频率与编码图样来用以判断远处物体,而本实施例是当欲判断视野范围中是否存在远处物体时,在结构光处理周期额外增加一条编码图样与结构光SL6相同的结构光SL7,用以判断远处物体。
请参照图8,处理元件130在一个结构光处理周期分别投射空间频率为f、2f、4f、8f、16f与32f的六道结构光SL1~SL6,以及额外投射一道编码图样与结构光SL6相同的结构光SL7。
类似地,在本实施例中,处理元件130例如是以第一强度来投射结构光SL1~SL6(第一结构光)并取得对应的第一影像IMG1~IMG6,以及以第二强度来投射结构光SL7(第二结构光)并取得对应的第二影像IMG7。
在本实施例中,处理元件130仅需比较第二影像IMG7中是否出现第一影像IMG6中所没有出现的反射点,即可判断视野范围中是否有远处物体。当第二影像IMG7中出现第一影像IMG6中所没有出现的反射点,处理元件130便会判断视野范围中出现远处物体而以增强模式来取得视野范围内的深度信息。
另一方面,处理元件130例如是以第二强度来投射结构光SL1~SL6(第一结构光)并取得对应的第一影像IMG1~IMG6,以及以第一强度来投射结构光SL7(第二结构光)并取得对应的第二影像IMG7。处理元件130仅需比较第一影像IMG6中是否存在第二影像IMG7中所没有出现的反射点,即可判断视野范围中是否有远处物体。当第一影像IMG6中存在出现第二影像IMG7中所没有出现的反射点,判断视野范围中存在远处物体,反之,则判断视野范围中不存在远处物体。
特别是,相较于图7实施例,本实施例中可以在不需要牺牲分辨率的情形下,藉由比较两张影像就能以较少的计算资源来判断出视野范围中是否存在远处物体。
类似于图5实施例,在一实施例中,处理元件130亦可以一般模式或增强模式来执行N个结构光处理周期来取得视野范围内的深度信息后,在第N+1个时才执行图8实施例的方法来判断视野范围内是否存在远处物体。
在一实施例中,影像深度感测装置100还包括输入元件(未绘示),耦接于处理元件130。输入元件用以接收输入信号,以选取视野范围中的感兴趣区域(region of interest,ROI)。处理元件130仅针对感兴趣区域来判断其中是否包括远处物体。
举例来说,感兴趣区域例如为视野范围中的第10~20条扫描线的涵盖区域。处理元件130在判断感兴趣区域中是否包括远处物体时,可例如仅以第二强度来投射第10~20条扫描线,而第1~9条以及第21~64条则维持第一强度。如此一来,除了能够减少投射结构光所需的电力之外,同时也能减少处理元件130的计算负担。
值得一提的是,在本发明实施例中皆是以64条扫描线作为说明,因此只需要投射6道空间频率各不相同的结构光便能够计算出视野范围中的深度信息。然而,本发明并不限于此。在其他需要实施例中,例如可在结构光处理周期内,使用10道空间频率不同的结构光来投射1024条扫描线,或在结构光处理周期内,使用11道空间频率不同的结构光来投射2048条扫描线,以达到更高的分辨率。
综上所述,本发明实施例所提出的影像深度感测方法与影像深度感测装置除此之外,本发明实施例更提出多种判断视野范围内是否包括远处物体,以决定使用一般模式或增强模式的方法,除了节省装置电力之外还能够减轻运算的负担。
虽然本发明已以实施例公开如上,然其并非用以限定本发明,任何所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作些许的更动与润饰,故本发明的保护范围当视所附的权利要求范围所界定者为准。

Claims (14)

1.一种影像深度感测方法,适于以影像深度感测装置取得视野范围中的深度信息,所述方法包括:
判断所述视野范围内是否包括深度大于距离阈值的远处物体;
若所述视野范围中不包括所述远处物体,依据一般模式取得所述视野范围中的所述深度信息;以及
若所述视野范围中包括所述远处物体,依据增强模式取得所述视野范围中的所述深度信息,
其中所述一般模式所能侦测的最大深度不大于所述距离阈值,并且所述增强模式所能侦测的最大深度大于所述距离阈值,
其中依据所述一般模式取得所述视野范围中的所述深度信息包括:
在所述视野范围中以第一强度依序投射多道结构光,并且以第一放大倍率撷取所述视野范围的多张第一光信号影像;以及
分析所述多张第一光信号影像以取得所述视野范围中的所述深度信息,
其中依据所述增强模式取得所述视野范围中的所述深度信息包括:
在所述视野范围中以第二强度依序投射多道结构光,并且以第二放大倍率撷取所述视野范围的多张第二光信号影像;以及
分析所述多张第二光信号影像以取得所述视野范围中的所述深度信息,
其中判断所述视野范围内是否包括深度大于所述距离阈值的所述远处物体包括:
在结构光扫描周期内,在所述视野范围中投射所述第一强度与所述第二强度的其中之一的多道第一结构光,以及所述第一强度与所述第二强度的其中另一个的第二结构光;
撷取所述视野范围内对应所述多道第一结构光的多张第一影像,以及对应所述第二结构光的第二影像;以及
依据所述多张第一影像以及所述第二影像判断所述视野范围内是否包括所述远处物体。
2.如权利要求1所述的影像深度感测方法,其中所述第二强度大于所述第一强度。
3.如权利要求1所述的影像深度感测方法,其中所述第二放大倍率高于所述第一放大倍率。
4.如权利要求1所述的影像深度感测方法,其中每间隔特定周期,判断所述视野范围内是否包括深度大于所述距离阈值的所述远处物体。
5.如权利要求1所述的影像深度感测方法,其中所述多道第一结构光与所述第二结构光的空间频率互不相同。
6.如权利要求5所述的影像深度感测方法,其中所述第二结构光的空间频率高于所述多道第一结构光中各道第一结构光的空间频率。
7.如权利要求1所述的影像深度感测方法,其中所述多道第一结构光的其中之一的空间频率相同于所述第二结构光的空间频率。
8.一种影像深度感测装置,包括:
深度影像撷取元件,用以撷取视野范围内的光信号影像;以及
处理元件,耦接于深度影像撷取元件,用以藉由所述深度影像撷取元件,依据一般模式或增强模式取得所述视野范围内的深度信息,其中所述一般模式所能侦测的最大深度不大于距离阈值,并且所述增强模式所能侦测的最大深度大于所述距离阈值,
其中所述处理元件判断所述视野范围内是否包括深度大于所述距离阈值的远处物体,
其中若所述视野范围中不包括所述远处物体,所述处理元件藉由所述深度影像撷取元件,依据所述一般模式取得所述视野范围中的所述深度信息,
其中若所述视野范围中包括所述远处物体,所述处理元件藉由所述深度影像撷取元件,依据所述增强模式取得所述视野范围中的所述深度信息,
其中所述深度影像撷取元件包括:
结构光投射元件,用以在所述视野范围内投射多道结构光;以及
反射光侦测元件,用以撷取所述视野范围内对应所述多道结构光的多个光信号影像,
其中所述处理元件依据所述一般模式取得所述视野范围中的所述深度信息时,所述结构光投射元件在所述视野范围中以第一强度依序投射多道结构光,所述反射光侦测元件以第一放大倍率撷取所述视野范围的多张第一光信号影像,并且所述处理元件分析所述多张第一光信号影像以取得所述视野范围中的所述深度信息,
其中所述处理元件依据所述增强模式取得所述视野范围中的所述深度信息时,所述结构光投射元件在所述视野范围中以第二强度依序投射多道结构光,所述反射光侦测元件以第二放大倍率撷取所述视野范围的多张第二光信号影像,并且所述处理元件分析所述多张第二光信号影像以取得所述视野范围中的所述深度信息,
其中所述结构光投射元件在结构光扫描周期内,在所述视野范围中投射所述第一强度与所述第二强度的其中之一的多道第一结构光,以及所述第一强度与所述第二强度的其中另一个的第二结构光,所述反射光侦测单元撷取所述视野范围内对应所述多道第一结构光的多张第一影像,以及对应所述第二结构光的第二影像,并且所述处理元件依据所述多张第一影像以及所述第二影像判断所述视野范围内是否包括所述远处物体。
9.如权利要求8所述的影像深度感测装置,其中所述第二强度大于所述第一强度。
10.如权利要求8所述的影像深度感测装置,其中所述第二放大倍率高于所述第一放大倍率。
11.如权利要求8所述的影像深度感测装置,其中所述处理元件每间隔特定周期,判断所述视野范围内是否包括深度大于所述距离阈值的所述远处物体。
12.如权利要求8所述的影像深度感测装置,其中所述多道第一结构光与所述第二结构光的空间频率互不相同。
13.如权利要求12所述的影像深度感测装置,其中所述第二结构光的空间频率高于所述多道第一结构光中各道第一结构光的空间频率。
14.如权利要求8所述的影像深度感测装置,其中所述多道第一结构光的其中之一的空间频率相同于所述第二结构光的空间频率。
CN201710755905.3A 2017-08-10 2017-08-29 影像深度感测方法与影像深度感测装置 Active CN109547764B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106127125A TWI647661B (zh) 2017-08-10 2017-08-10 影像深度感測方法與影像深度感測裝置
TW106127125 2017-08-10

Publications (2)

Publication Number Publication Date
CN109547764A CN109547764A (zh) 2019-03-29
CN109547764B true CN109547764B (zh) 2021-08-17

Family

ID=65275290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710755905.3A Active CN109547764B (zh) 2017-08-10 2017-08-29 影像深度感测方法与影像深度感测装置

Country Status (3)

Country Link
US (1) US10325377B2 (zh)
CN (1) CN109547764B (zh)
TW (1) TWI647661B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190045169A1 (en) * 2018-05-30 2019-02-07 Intel Corporation Maximizing efficiency of flight optical depth sensors in computing environments
CN109194869A (zh) * 2018-10-09 2019-01-11 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
KR20200131029A (ko) * 2019-05-13 2020-11-23 엘지이노텍 주식회사 카메라 모듈
US10805549B1 (en) * 2019-08-20 2020-10-13 Himax Technologies Limited Method and apparatus of auto exposure control based on pattern detection in depth sensing system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104918035A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种获取目标三维图像的方法及系统
CN106210698A (zh) * 2015-05-08 2016-12-07 光宝电子(广州)有限公司 深度相机的控制方法
CN106464857A (zh) * 2014-03-26 2017-02-22 驼鹿科技公司 紧凑型3d深度捕获系统
TWI584634B (zh) * 2016-03-08 2017-05-21 聚晶半導體股份有限公司 適於產生深度圖的電子裝置與方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1176351C (zh) * 2002-10-09 2004-11-17 天津大学 动态多分辨率的三维数字成像的方法及装置
US7852461B2 (en) * 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
TWM423406U (en) * 2011-09-14 2012-02-21 Tlj Intertech Inc Object-depth calculation device
US20140085426A1 (en) * 2012-09-24 2014-03-27 Alces Technology, Inc. Structured light systems with static spatial light modulators
US10466359B2 (en) * 2013-01-01 2019-11-05 Inuitive Ltd. Method and system for light patterning and imaging
WO2014145856A1 (en) * 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9386236B2 (en) * 2014-01-26 2016-07-05 Muller Imaging Technologies, Inc Periodic fringe imaging with structured pattern illumination and electronic rolling shutter detection
US10404969B2 (en) * 2015-01-20 2019-09-03 Qualcomm Incorporated Method and apparatus for multiple technology depth map acquisition and fusion
KR101954855B1 (ko) * 2015-02-25 2019-03-06 페이스북, 인크. 볼륨 내 물체의 심도 맵핑을 위한 광 패턴의 강도 변화의 사용
US9530215B2 (en) * 2015-03-20 2016-12-27 Qualcomm Incorporated Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology
US9846943B2 (en) * 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
US9946089B2 (en) * 2015-10-21 2018-04-17 Princeton Optronics, Inc. Generation of coded structured light patterns using VCSEL arrays
US10453185B2 (en) * 2015-11-12 2019-10-22 Aquifi, Inc. System and method for high dynamic range depth capture using multiple cameras
US9800795B2 (en) * 2015-12-21 2017-10-24 Intel Corporation Auto range control for active illumination depth camera
EP3185037B1 (en) * 2015-12-23 2020-07-08 STMicroelectronics (Research & Development) Limited Depth imaging system
CN106257995B (zh) * 2016-07-25 2019-06-07 深圳大学 一种结构光场三维成像方法及其系统
US9947099B2 (en) * 2016-07-27 2018-04-17 Microsoft Technology Licensing, Llc Reflectivity map estimate from dot based structured light systems
US10021372B2 (en) * 2016-09-16 2018-07-10 Qualcomm Incorporated Systems and methods for improved depth sensing
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464857A (zh) * 2014-03-26 2017-02-22 驼鹿科技公司 紧凑型3d深度捕获系统
CN106210698A (zh) * 2015-05-08 2016-12-07 光宝电子(广州)有限公司 深度相机的控制方法
CN104918035A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种获取目标三维图像的方法及系统
TWI584634B (zh) * 2016-03-08 2017-05-21 聚晶半導體股份有限公司 適於產生深度圖的電子裝置與方法

Also Published As

Publication number Publication date
CN109547764A (zh) 2019-03-29
TW201911233A (zh) 2019-03-16
US20190051005A1 (en) 2019-02-14
US10325377B2 (en) 2019-06-18
TWI647661B (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN109547764B (zh) 影像深度感测方法与影像深度感测装置
JP6456156B2 (ja) 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム
US9363859B2 (en) Sensory lighting system and method for characterizing an illumination space
US10795004B2 (en) Distance measurement apparatus
TWI533224B (zh) 眼球偵測裝置、瞳孔偵測方法與虹膜辨識方法
US9982995B2 (en) 3D scanner using structured lighting
JP2007122508A (ja) 侵入検知装置
EP3513552B1 (en) Systems and methods for improved depth sensing
US10066934B2 (en) Three-dimensional shape measuring apparatus and control method thereof
EP3002550B1 (en) Information processing system and information processing method for distance measurement
US10240913B2 (en) Three-dimensional coordinate measuring apparatus and three-dimensional coordinate measuring method
JPWO2014174779A1 (ja) 複数の光源を有するモーションセンサ装置
US9310897B2 (en) Displacement detection device using adjustable block size
JP2007121158A (ja) 侵入検知装置
US11223759B2 (en) Exposure method and image sensing device using the same
CN112672137A (zh) 获取深度图像的方法、结构光系统以及一种电子装置
JP2000050145A (ja) 自動追尾装置
JP4973836B2 (ja) 計測領域の自動設定手段を備えた変位センサ
KR20120000234A (ko) 조도 센서를 이용한 백색광 3차원 스캐너의 자동 노출 제어 방법
KR20150009842A (ko) 카메라 모듈용 결함 픽셀 평가 시스템 및 이를 사용한 카메라 모듈용 결함 픽셀 평가 방법
JP2008275392A (ja) 3次元形状計測方法および装置
JP2010210265A (ja) 通過検出装置
JP2009198342A (ja) 表面形状測定装置,表面形状測定方法
JP2021063700A (ja) 三次元計測装置、コンピュータプログラム、制御システム及び物品の製造方法
US11758248B2 (en) Information acquisition method and information acquisition device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant