CN109842789A - 深度感测装置及深度感测方法 - Google Patents

深度感测装置及深度感测方法 Download PDF

Info

Publication number
CN109842789A
CN109842789A CN201711214311.8A CN201711214311A CN109842789A CN 109842789 A CN109842789 A CN 109842789A CN 201711214311 A CN201711214311 A CN 201711214311A CN 109842789 A CN109842789 A CN 109842789A
Authority
CN
China
Prior art keywords
depth
value
image
depth map
projection pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711214311.8A
Other languages
English (en)
Inventor
蔡金融
刘逸秾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Himax Technologies Ltd
Original Assignee
Himax Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Technologies Ltd filed Critical Himax Technologies Ltd
Priority to CN201711214311.8A priority Critical patent/CN109842789A/zh
Publication of CN109842789A publication Critical patent/CN109842789A/zh
Pending legal-status Critical Current

Links

Abstract

一种深度感测装置及方法。深度感测装置包括投影装置、影像获取装置及影像处理装置。投影装置在第一时间将第一投影图案投射于场域,且在第二时间将第二投影图案投射于相同场域。第一投影图案的密度低于第二投影图案的密度。影像获取装置在第一时间拍摄经投射于场域的第一投影图案以获得第一影像,且在第二时间拍摄经投射于场域的第二投影图案以获得第二影像。影像处理装置处理第一影像及第二影像以获得两个深度图,并至少合并这两个深度图以产生场域的最终深度图。

Description

深度感测装置及深度感测方法
技术领域
本发明涉及一种感测装置及方法,且特别涉及一种产生深度图的深度感测装置及方法。
背景技术
一般而言,三维空间的深度感测可通过光投射器搭配光接收器来取得待测物的深度信息。然而,传统深度感测器的工作范围(working range)通常取决于感测器本身的结构,例如摄影镜头的分辨率、景深等,故传统深度感测器的工作距离(working distance)通常无法同时适用于近处的场景及远处的场景。
因此,有必要提供一种深度感测装置及方法,可以在不改变硬件结构的情况下,而能取得近场区域及远场区域的深度信息。
发明内容
本发明提供一种深度感测装置及深度感测方法,可有效扩展深度感测装置的工作范围。
本发明的实施例提供一种深度感测装置。所述深度感测装置包括投影装置、影像获取装置以及影像处理装置。投影装置在第一时间将第一投影图案投射于场域,以及在第二时间将第二投影图案投射于所述场域。第一投影图案的密度低于第二投影图案的密度。影像获取装置在所述第一时间拍摄经投射于所述场域的第一投影图案以获得第一影像,以及在所述第二时间拍摄经投射于所述场域的第二投影图案以获得第二影像。影像处理装置耦接于投影装置以及影像获取装置。影像处理装置处理第一影像以获得第一深度图,以及处理第二影像以获得第二深度图。影像处理装置至少合并第一深度图及第二深度图以产生所述场域的最终深度图。
本发明的实施例提供一种深度感测方法。所述深度感测方法包括投影步骤、影像获取步骤、影像处理步骤以及合并步骤。所述投影步骤是在第一时间将第一投影图案投射于场域,以及在第二时间将第二投影图案投射于所述场域,其中第一投影图案的密度低于第二投影图案的密度。所述影像获取步骤是在所述第一时间拍摄经投射于所述场域的第一投影图案以获得第一影像,以及在所述第二时间拍摄经投射于所述场域的第二投影图案以获得第二影像。所述影像处理步骤是处理第一影像以获得第一深度图,以及处理第二影像以获得第二深度图。所述合并步骤至少合并第一深度图及第二深度图以产生所述场域的最终深度图。
基于上述,本发明诸实施例所述的深度感测装置及深度感测方法可通过将不同密度的第一投影图案与第二投影图案交替投射于相同场域,以便于对所述场域进行深度感测。基于不同密度的第一投影图案与第二投影图案,深度感测装置可以获得不同内容的第一深度图与第二深度图。深度感测装置可以至少合并第一深度图与第二深度图,以便产生所述场域的最终深度图。因此,深度感测装置的工作范围可以被有效扩展。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合说明书附图作详细说明如下。
附图说明
图1是依照本发明的一实施例的深度感测装置的电路方块(circuit block)示意图。
图2示出了图1的投影装置于不同时序下产生具有不同密度的投影图案示意图。
图3是依照本发明一实施例示出了图1中投影装置及影像获取装置的电路方块示意图。
图4示出了图3中光发射器及透镜组的光路配置示意图。
图5是依照本发明的一实施例的深度感测方法的流程示意图。
图6示出了在不同深度图中相同位置呈现出不同深度值的示意图。
图7是依照本发明的一实施例说明权重值与深度值的查找曲线示意图。
图8是依照本发明的一实施例说明深度图合并方法的流程示意图。
图9是依照本发明的另一实施例说明深度图合并方法的流程示意图。
图10是依照本发明的另一实施例说明权重值与深度值的查找曲线示意图。
图11是依照本发明的又一实施例说明深度图合并方法的流程示意图。
图12是依照本发明的再一实施例说明深度图合并方法的流程示意图。
附图标记说明:
11:投影装置
12:影像处理装置
13:影像获取装置
14:第一投影图案
15:第二投影图案
20:场域
21:近场区域
22:远场区域
23:目标物
100:深度感测装置
111:光发射器
112:透镜组
113:控制电路
121:解码电路
122:深度图合并电路
131:第一影像
132:第二影像
201:最终深度图
211:第一深度图
221:第二深度图
1121:第一透镜
1122:光扩散元件
D:深度值
D1:第一深度值
D2:第二深度值
P:位置
S10:投影步骤
S20:影像获取步骤
S30:影像处理步骤
S40:合并步骤
S305~S306、S315~S316、S401~S403、S411~S416:方法步骤
t:时间
t1:第一时间
t2:第二时间
t3:第三时间
t4:第四时间
th1:第一临界值
th2:第二临界值
W1:第一权重值
W2:第二权重值
具体实施方式
在本公开说明书全文(包括权利要求)中所使用的「耦接(或连接)」一词可指任何直接或间接的连接手段。举例而言,若文中描述第一装置耦接(或连接)于第二装置,则应该被解释成该第一装置可以直接连接于该第二装置,或者该第一装置可以通过其他装置或某种连接手段而间接地连接至该第二装置。另外,凡可能之处,在附图及实施方式中使用相同标号的元件/构件/步骤代表相同或类似部分。不同实施例中使用相同标号或使用相同用语的元件/构件/步骤可以相互参照相关说明。
图1是依照本发明的一实施例的深度感测装置100的电路方块(circuit block)示意图。如图1所示,深度感测装置100包括投影装置11、影像处理装置12以及影像获取装置13。依照设计需求,影像处理装置12可以包括中央处理器(Central Processing Unit,CPU)、微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor,DSP)、可编程控制器、特殊应用集成电路(Application Specific Integrated Circuits,ASIC)、可编程逻辑装置(Programmable Logic Device,PLD)或是其他影像处理电路/元件。影像处理装置12耦接于投影装置11以及影像获取装置13。投影装置11可以在不同时间将具有不同密度的不同投影图案投射于相同的场域20。依照实际应用情境,场域20中可能具有一或多个目标物23,或者场域20中可能不存在目标物23。
图2示出的了图1的投影装置11于不同时序下产生具有不同密度的不同投影图案示意图。图2所示横轴表示时间t。图2所示第一投影图案14具有较少的光点,而第二投影图案15具有较多的光点。亦即,第一投影图案14的密度低于第二投影图案15的密度。请参照图1及图2,投影装置11可以交替地在不同时间将具有不同密度的不同投影图案投射于相同的场域20。举例来说,投影装置11可以在第一时间t1将第一投影图案14投射于场域20,在第二时间t2将第二投影图案15投射于场域20,在第三时间t3将第一投影图案14投射于场域20,在第四时间t4将第二投影图案15投射于场域20,其余以此类推。其中,第一投影图案14的密度低于第二投影图案15的密度。于图2所示实施例虽以两种投影图案作为实施范例,但是在其他实施例中投影装置11可以交替地在不同时间将具有不同密度的三种(或更多)投影图案投射于相同的场域20。
第一投影图案14及第二投影图案15可以是无序排列的光点图案或是规则排列的光点图案。第一投影图案14的光点的疏密程度(光点密度)不同于第二投影图案15的光点的疏密程度(光点密度)。举例来说,第一投影图案14的光点密度可以低于第二投影图案15的光点密度。值得注意的是,此处所指的密度仅表示稀疏或致密的相对程度,例如第二投影图案15的光点密度可以是第一投影图案14的光点密度的2~3倍,本实施例并未对投影图案的密度加以限制。对于近场区域而言,光点密度较低的投影图案可以有较好的深度分辨能力。对于远场区域而言,光点密度较高的投影图案可以有较好的深度分辨能力。
投影装置11可以将投影时间信息以及/或是投影图案信息提供给影像处理装置12。依照投影装置11所提供的投影时间信息,影像获取装置13可以交替地在不同时间拍摄经投射于场域20的投影图案。举例来说,影像获取装置13可以在第一时间t1拍摄经投射于场域20的第一投影图案14,以获得第一影像。在第二时间t2,影像获取装置13可以拍摄经投射于场域20的第二投影图案15,以获得第二影像。在第三时间t3,影像获取装置13可以拍摄经投射于场域20的第一投影图案14,以获得第三影像。在第四时间t4,影像获取装置13可以拍摄经投射于场域20的第二投影图案15,以获得第四影像。其余以此类推。
依照设计需求,影像获取装置13可以系数字相机、单眼相机、数字摄影机、智能手机、平板电脑、个人数字助理或是其他具有影像获取功能的电子装置。影像获取装置13包括感光元件(未图示),以感测接收到的光线强度,进而产生影像。所述感光元件可以是电荷耦合元件(Charge Coupled Device,CCD)、互补式金属氧化物半导体(Complementary Metal-Oxide Semiconductor,CMOS)元件或是其他感光元件。当投影装置11所发出的投射光束(投影图案)为红外光时,影像获取装置13可以是红外线影像获取装置,以识别出投射于场域20的第一投影图案14及第二投影图案15。
影像处理装置12耦接于影像获取装置13,以接收影像。以下将以在第一时间t1拍摄获得的第一影像与在第二时间t2拍摄获得的第二影像为说明例。在其他时间所拍摄获得的影像的处理方式可以参照在时间t1、t2所拍摄获得的影像的相关说明来类推,故不再赘述。影像处理装置12处理影像获取装置13所提供的第一影像,以获得第一深度图。影像处理装置12处理影像获取装置13所提供的第二影像,以获得第二深度图。
第一投影图案14及第二投影图案15可视为一种编码图案。当把这些编码图案投射到具有不同深度平面的场域20时,入射光与反射光的投影位置会发生偏移。亦即,在基准真值图案中的一个光点的位置与在经获取影像中的同一个光点的位置,二者之间存在偏移量。因此,通过解码光点位置的偏移量,影像处理装置12便能估算出场域20的深度信息。依照投影装置11所提供的投影图案信息,影像处理装置12可以确认基准真值图案(groundtruth pattern)。影像处理装置12可以使用所述基准真值图案与影像获取装置13所提供的影像去进行深度图演算法。
举例来说,在一些实施例中,当第一投影图案14被投射于场域20时,第一投影图案14可以作为基准真值图案;此时,影像获取装置13可以拍摄经投射于场域20的第一投影图案14,以获得第一影像。影像处理装置12可以使用所述基准真值图案与影像获取装置13所提供的第一影像去进行深度图演算法,以获得第一深度图。当第二投影图案15被投射于场域20时,第二投影图案15可以作为基准真值图案;此时,影像获取装置13可以拍摄经投射于场域20的第二投影图案15,以获得第二影像。影像处理装置12可以使用所述基准真值图案与影像获取装置13所提供的第二影像去进行深度图演算法,以获得第二深度图。本实施例并不限制影像处理装置12的深度图演算法。依照设计需求,影像处理装置12可以采用现有演算法或是其他深度图演算法来处理影像获取装置13所提供的影像。在此不再赘述所述现有演算法的细节。
影像处理装置12至少合并所述第一深度图及所述第二深度图,以产生场域20的最终深度图。光点密度较低的第一投影图案14对于近场区域而言可以有较好的深度分辨能力。光点密度较高的第二投影图案15对于远场区域而言可以有较好的深度分辨能力。也就是说,第一投影图案14所对应的第一深度图对于近场区域而言具有较可靠的深度信息,而第二投影图案15所对应的第二深度图对于远场区域而言具有较可靠的深度信息。影像处理装置12可以将所述第一深度图中关于近场区域的深度信息及所述第二深度图中关于远场区域的深度信息合并到所述最终深度图中。因此,所述深度感测装置100可以有效扩展深度感测装置100的工作范围。
图3是依照本发明一实施例示出了图1中投影装置11及影像获取装置13的电路方块示意图。于图3所示实施例中,投影装置11包括光发射器111、透镜组112以及控制电路113。透镜组112设置于光发射器111的光学路径上。控制电路113耦接光发射器111。控制电路113可控制光发射器111产生不同密度的投影图案。基于控制电路113的控制,光发射器111可以在不同时间下将不同密度的投影图案交替投射于场域20。
依照设计需求,于图3所示实施例中,光发射器111可以是垂直共振腔面射型激光(Vertical-Cavity Surface Emitting Laser,VCSEL)阵列,而此阵列由多个VCSEL元件组成。控制电路113可控制光发射器111中各VCSEL元件的发光与否,以在不同时间产生不同密度的投影图案。举例来说,基于控制电路113的控制,光发射器111可以在第一时间t1产生第一投影图案14,以及将此第一投影图案14通过透镜组112投射于场域20。光发射器111可以在第二时间t2产生第二投影图案15,以及将此将第二投影图案15通过透镜组112投射于场域20。以此类推,光发射器111可以如此交替地将第一投影图案14及第二投影图案15投射于场域20。
图4示出了图3中光发射器111及透镜组112的光路配置示意图。透镜组112可包括一枚或多枚的透镜及其他光学元件。本实施例中,透镜组112可包括第一透镜1121及光扩散元件1122,并设置于光发射器111的光学路径上。光扩散元件1122可以是绕射光学元件(Diffractive optical element,DOE)或是其他光扩散元件。光发射器111发出投射光束后,先通过第一透镜1121汇聚,再经由光扩散元件1122将投影图案投射于场域20。光发射器111所发出的投射光束可以是不可见光(例如红外光或是其他波段光)或是可见光。
请参照图3。影像处理装置12可包括解码电路121及深度图合并电路122。解码电路121耦接于影像获取装置13以及深度图合并电路122。于图3所示实施例中,控制电路113可传送解码参数至解码电路121。例如,依照设计需求,所述解码参数可包括投影图案的疏密状态、欲解码的像素位置或像素范围等。解码电路121则依据控制电路113传送的解码参数分别对第一影像131及第二影像132进行解码(深度图演算法),以产生对应于第一影像131的第一深度图以及对应于第二影像132的第二深度图。
深度图合并电路122则将解码电路121所产生的第一深度图与第二深度图加以合并,以推算出场域20的深度信息(场域20的最终深度图)。在一些实施例中,深度图合并电路122可以经由融合(fusion)的方式合并第一深度图与第二深度图。
于一实施情境中,假设影像获取装置13的工作距离可介于50cm~400cm之间。若场域20的近场区域21(例如在近处的人物)位于影像获取装置13前方25cm处,而场域20的远场区域22(例如在远处的树木)位于影像获取装置13前方200cm处,则影像获取装置13可对远场区域22拍摄出清晰的影像,但无法对近场区域21拍摄出清晰的影像。
于本实施例中,光发射器111在时间t1将低密度的第一投影图案14投射于场域20,同时影像获取装置13拍摄经投射于场域20的第一投影图案14而获得第一影像131。光点密度较低的第一投影图案14对于近场区域21而言可以有较好的深度分辨能力。因为第一投影图案14中的光点较为稀疏,纵使第一影像131比较模糊,影像处理装置12的解码电路121仍然可辨别出在第一影像131中光点的大致分布位置。因此,影像处理装置12的解码电路121可以使用所述第一投影图案14(基准真值图案)与第一影像131去进行后续的影像处理与深度图演算法,以产生第一深度图。第一投影图案14所对应的第一深度图对于近场区域21而言具有较可靠的深度信息。
光发射器111在时间t2将高密度的第二投影图案15投射于场域20,同时影像获取装置13拍摄经投射于场域20的第二投影图案15而获得第二影像132。光点密度较高的第二投影图案15对于远场区域22而言可以有较好的深度分辨能力。影像处理装置12的解码电路121可以使用所述第二投影图案15(基准真值图案)与清晰的第二影像132去进行后续的影像处理与深度图演算法,以产生第二深度图。第二投影图案15所对应的第二深度图对于远场区域22而言具有较可靠的深度信息。影像处理装置12的深度图合并电路122可以将所述第一深度图中关于近场区域21的深度信息及所述第二深度图中关于远场区域22的深度信息合并到所述最终深度图中。因此,深度感测装置100可以在不改变影像获取装置13的硬件结构的情况下使工作范围从50cm~400cm延伸到25cm~400cm,有效扩展深度感测装置100的工作范围并提升了深度感测装置100的感测效能。
图5是依照本发明的一实施例所示出的一种深度感测方法的流程示意图。深度感测方法包括投影步骤S10、影像获取步骤S20、影像处理步骤S30以及合并步骤S40。请参照图2、图3及图5,在投影步骤S10中,投影装置111在第一时间t1将第一投影图案14投射于场域20,并在第二时间t2将第二投影图案15投射于场域20,其中第一投影图案14的密度低于第二投影图案15的密度。在影像获取步骤S20中,影像获取装置13在第一时间t1拍摄经投射于场域20的第一投影图案14以获得第一影像131,并在第二时间t2拍摄经投射于场域20的第二投影图案15以获得第二影像132。
图6示出了在不同深度图中相同位置呈现出不同深度值的示意图。请参照图3、图5及图6,在影像处理步骤S30中,影像处理装置12处理第一影像131以获得第一深度图211,并处理第二影像132以获得第二深度图221。在合并步骤S40中,影像处理装置12的深度图合并电路12合并第一深度图211及第二深度图221,以产生场域20的最终深度图201。
于第一深度图211中某个位置P具有第一深度值D1,以及于第二深度图221中所述位置P具有第二深度值D2。在合并步骤S40中影像处理装置12的深度图合并方法可以依照设计需求来决定。举例来说,在一些实施例中,深度图合并电路12可以选择第一深度值D1或第二深度值D2做为在最终深度图201中所述位置P的深度值D。或是,深度图合并电路12亦可通过加权平均(weighting average)的运算方式来合并第一深度值D1及第二深度值D2,以获得在最终深度图201中所述位置P的深度值D。举例来说(但不限于此),深度图合并电路122可以计算D=W1D1+W2D2,以获得最终深度图201中的位置P的深度值D,其中W1表示第一权重值,W2表示第二权重值。依照设计需求,第一权重值W1及可以第二权重值W2可以是预设的固定值;或者,深度图合并电路122可以依据第一深度值D1及/或第二深度值D2来动态决定第一权重值W1及第二权重值W2。影像处理装置12所进行的深度图合并方法可以依照下述诸实施例来实现。
图7是依照本发明的一实施例说明权重值与深度值的查找曲线示意图。图7所示纵轴是权重值,横轴表示深度值。在一些实施例中,依据于第一深度图211中位置P的第一深度值D1,深度图合并电路122可以从图7所示曲线查找出第一权重值W1及第二权重值W2。在另一些实施例中,依据于第二深度图221中位置P的第二深度值D2,深度图合并电路122可以从图7所示曲线查找出第一权重值W1及第二权重值W2。在获得第一权重值W1及第二权重值W2后,深度图合并电路122可以计算D=W1D1+W2D2,以获得最终深度图201中的位置P的深度值D。
图8是依照本发明的一实施例说明深度图合并方法的流程示意图。请参照图3、图6及图8,深度图合并电路122可以依据第一深度值D1(或第二深度值D2)来动态决定第一权重值W1及第二权重值W2。在步骤S401中,当于第一深度图211中位置P的第一深度值D1(或于第二深度图221中位置P的第二深度值D2)大于某个临界值时,深度图合并电路12可选择第二深度值D2做为在最终深度图201中所述位置P的深度值D(步骤S402)。否则,深度图合并电路12将选择第一深度值D1做为在最终深度图201中所述位置P的深度值D(步骤S403)。深度图中的深度值可采用灰阶值来呈现,例如较浅的灰色表示深度值较小,可对应于场域20中距离深度感测装置100较近的位置,而较深的灰色表示深度值较大,可对应于场域20中距离深度感测装置100较远的位置。
举例来说,假设在第一深度图211中的位置P的第一深度值D1为150,而在第二深度图221中所述位置P的第二深度值D2为200,以及所述临界值为100。在步骤S401中,因为第一深度值D1(或第二深度值D2)大于临界值(100),所以步骤S402会被执行。于步骤S402时,深度图合并电路122会将最终深度图201中所述位置P的深度值D设定为200。
假设在第一深度图211中所述位置P的第一深度值D1为30,而在第二深度图221中所述位置P的第二深度值D2为80,以及所述临界值为100。在步骤S401中,因为第一深度值D1(或第二深度值D2)小于临界值(100),所以步骤S403会被执行。于步骤S403时,深度图合并电路122会判定最终深度图201中所述位置P的深度值为30。
图9是依照本发明的另一实施例说明深度图合并方法的流程示意图。图10是依照本发明的另一实施例说明权重值与深度值的查找曲线示意图。图10所示纵轴是权重值,横轴表示深度值。请参照图3、图6、图9及图10,深度图合并电路122可以依据第一深度值D1(或第二深度值D2)来动态决定第一权重值W1及第二权重值W2。在步骤S411中,当于第一深度图211中位置P的第一深度值D1(或于第二深度图221中位置P的第二深度值D2)小于第一临界值th1时,深度图合并电路122可将第一权重值W1设定为1且将第二权重值W2设定为0(步骤S412)。当步骤S413判断出于第一深度图211中位置P的第一深度值D1(或于第二深度图221中位置P的第二深度值D2)大于第二临界值th2时,深度图合并电路122可将第一权重值W1设定为0且将第二权重值W2设定为1(步骤S414)。
此外,当于第一深度图211中位置P的第一深度值D1(或于第二深度图221中位置P的第二深度值D2)大于第一临界值th1且小于第二临界值th2时,深度图合并电路122可依据第一深度值D1(或第二深度值D2)来动态决定第一权重值W1及第二权重值W2(步骤S415)。在一些实施例中,依据于第一深度图211中位置P的第一深度值D1,深度图合并电路122可以从图10所示曲线查找出第一权重值W1及第二权重值W2。在另一些实施例中,依据于第二深度图221中位置P的第二深度值D2,深度图合并电路122可以从图10所示曲线查找出第一权重值W1及第二权重值W2。在获得第一权重值W1及第二权重值W2后,深度图合并电路122可以计算D=W1D1+W2D2而得到最终深度图201中位置P的深度值D(步骤S416)。
图11是依照本发明的又一实施例说明深度图合并方法的流程示意图。请参照图3、图6及图11,在步骤S305中,解码电路121可以对第一影像131与第二影像132进行解码(深度图演算法)。在进行解码(深度图演算法)的过程中,解码电路121可以产生正规化互相关(Normalized Cross Correlation,NCC)值。举例来说,当第一投影图案14被投射于场域20时,解码电路121可以比对第一影像131与基准真值图案(第一投影图案14),以计算第一影像131与基准真值图之间的相似程度,进而获得第一深度图211。在计算所述相似程度的过程中,解码电路121可以产生在第一深度图211中不同位置的正规化互相关值。所述正规化互相关值已属于现有技艺,故在此不予赘述。以此类推,在对第二影像132进行解码(深度图演算法)的过程中,解码电路121可以产生在第二深度图221中不同位置的正规化互相关值。
解码电路121可对第一影像131进行解码(深度图演算法),以获得第一深度图211中位置P的第一正规化互相关值n1。解码电路121可对第二影像132进行解码(深度图演算法),以获得第二深度图221中位置P的第二正规化互相关值n2。在步骤S306中,深度图合并电路122可以依据第一正规化互相关值n1及第二正规化互相关值n2来动态决定第一权重值W1及第二权重值W2。举例来说(但不限于此),深度图合并电路122可设定第一权重值W1=n1/(n1+n2),且设定第二权重值W2=n2/(n1+n2)。在获得第一权重值W1及第二权重值W2后,深度图合并电路122可以计算D=W1D1+W2D2而获得最终深度图201中位置P的深度值D(步骤S416)。
图12是依照本发明的再一实施例说明深度图合并方法的流程示意图。请参照图3、图6及图12,在步骤S315中,解码电路121可以对第一影像131与第二影像132进行解码(深度图演算法)。在进行解码(深度图演算法)的过程中,解码电路121可以产生绝对差和值。举例来说,当第一投影图案14被投射于场域20时,解码电路121可以比对第一影像131与基准真值图案(第一投影图案14),以计算第一影像131与基准真值图之间的相似程度,进而获得第一深度图211。在计算所述相似程度的过程中,解码电路121可以产生在第一深度图211中不同位置的绝对差和值。所述绝对差和值已属于现有技艺,故在此不予赘述。以此类推,在对第二影像132进行解码(深度图演算法)的过程中,解码电路121可以产生在第二深度图221中不同位置的绝对差和值。
解码电路121可对第一影像131进行解码(深度图演算法),以获得第一深度图211中的位置P的第一绝对差和值SAD1。解码电路121可对第二影像132进行解码(深度图演算法),以获得第二深度图221中位置P的第二绝对差和值SAD2。在步骤S316中,深度图合并电路122可以依据第一绝对差和值SAD1及第二绝对差和值SAD2来动态决定第一权重值W1及第二权重值W2。举例来说(但不限于此),深度图合并电路122可设定第一权重值W1=SAD2/(SAD1+SAD2),且设定第二权重值W2=SAD1/(SAD1+SAD2)。在获得第一权重值W1及第二权重值W2后,深度图合并电路122可以计算D=W1D1+W2D2来获得最终深度图102中位置P的深度值D(步骤S416)。
综上所述,本发明诸实施例所述的深度感测装置100及深度感测方法可以采用固定焦距的影像获取装置。所述的深度感测装置100可以将低密度的第一投影图案14与高密度的第二投影图案15交替投射于相同场域,来检测场域20中的近场区域21与远场区域22。基于不同密度的第一投影图案14与第二投影图案15,影像处理装置12可以获得不同内容的第一深度图211与第二深度图221。影像处理装置12可以至少合并第一深度图211与第二深度图221,便可建构所述场域20的最终深度图201。因此,深度感测装置100的工作范围可以被有效扩展。
虽然本发明已以实施例公开如上,然其并非用以限定本发明,任何所属技术领域中技术人员,在不脱离本发明的构思和范围内,当可作些许的变动与润饰,故本发明的保护范围当视后附的权利要求所界定者为准。

Claims (20)

1.一种深度感测装置,包括:
一投影装置,用于在一第一时间将一第一投影图案投射于一场域,以及在一第二时间将一第二投影图案投射于该场域,其中该第一投影图案的密度低于该第二投影图案的密度;
一影像获取装置,用于在该第一时间拍摄经投射于该场域的该第一投影图案以获得一第一影像,以及在该第二时间拍摄经投射于该场域的该第二投影图案以获得一第二影像;以及
一影像处理装置,耦接于该投影装置及该影像获取装置,用于处理该第一影像以获得一第一深度图,以及处理该第二影像以获得一第二深度图,其中该影像处理装置至少合并该第一深度图及该第二深度图以产生该场域的一最终深度图。
2.如权利要求1所述的深度感测装置,其中该投影装置包括:
一光发射器;
一透镜组,设置于该光发射器的光学路径上;以及
一控制电路,耦接该光发射器,其中该控制电路控制该光发射器产生该第一投影图案或该第二投影图案,并使该第一投影图案及该第二投影图案交替投射于该场域。
3.如权利要求2所述的深度感测装置,其中该光发射器包括一垂直共振腔面射型激光阵列。
4.如权利要求2所述的深度感测装置,其中该透镜组包括一光扩散元件。
5.如权利要求1所述的深度感测装置,其中该第一投影图案及该第二投影图案包括无序排列的光点图案,该第一投影图案的光点密度低于该第二投影图案的光点密度。
6.如权利要求1所述的深度感测装置,其中该影像处理装置包括:
一解码电路,耦接于该影像获取装置,其中该解码电路依据多个解码参数分别对该第一影像及该第二影像进行解码,以分别产生该第一深度图及该第二深度图;以及
一深度图合并电路,耦接该解码电路,其中该深度图合并电路合并该第一深度图及该第二深度图以产生该场域的该最终深度图。
7.如权利要求6所述的深度感测装置,其中于该第一深度图中的一位置具有一第一深度值,于该第二深度图中的该位置具有一第二深度值,当该第一深度值或该第二深度值大于一临界值时,该深度图合并电路选择该第二深度值做为于该最终深度图中的该位置的深度值,否则该深度图合并电路选择该第一深度值做为于该最终深度图中的该位置的深度值。
8.如权利要求6所述的深度感测装置,其中于该第一深度图中的一位置具有一第一深度值D1,于该第二深度图中的该位置具有一第二深度值D2,该深度图合并电路计算W1D1+W2D2以获得该最终深度图中的该位置的深度值D,W1表示一第一权重值,W2表示一第二权重值。
9.如权利要求8所述的深度感测装置,其中该深度图合并电路依据该第一深度值D1或该第二深度值D2来动态决定该第一权重值W1及该第二权重值W2
10.如权利要求8所述的深度感测装置,其中
当该第一深度值D1或该第二深度值D2小于一第一临界值时,该第一权重值W1为1且该第二权重值W2为0,
当该第一深度值D1或该第二深度值D2大于该第一临界值且小于一第二临界值时,该深度图合并电路依据该第一深度值D1或该第二深度值D2来动态决定该第一权重值W1及该第二权重值W2,以及
当该第一深度值D1或该第二深度值D2大于该第二临界值时,该第一权重值W1为0且该第二权重值W2为1。
11.如权利要求8所述的深度感测装置,其中该解码电路对该第一影像进行解码以获得该第一深度图中的该位置的一第一正规化互相关值n1,该解码电路对该第二影像进行解码以获得该第二深度图中的该位置的一第二正规化互相关值n2,以及该深度图合并电路依据该第一正规化互相关值n1及该第二正规化互相关值n2来动态决定该第一权重值W1及该第二权重值W2
12.如权利要求8所述的深度感测装置,其中该解码电路对该第一影像进行解码以获得该第一深度图中的该位置的一第一绝对差和值SAD1,该解码电路对该第二影像进行解码以获得该第二深度图中的该位置的一第二绝对差和值SAD2,以及该深度图合并电路依据该第一绝对差和值SAD1及该第二绝对差和值SAD2来动态决定该第一权重值W1及该第二权重值W2
13.一种深度感测方法,包括:
一投影步骤,在一第一时间将一第一投影图案投射于一场域,以及在一第二时间将一第二投影图案投射于该场域,其中该第一投影图案的密度低于该第二投影图案的密度;
一影像获取步骤,在该第一时间拍摄经投射于该场域的该第一投影图案以获得一第一影像,以及在该第二时间拍摄经投射于该场域的该第二投影图案以获得一第二影像;
一影像处理步骤,处理该第一影像以获得一第一深度图,以及处理该第二影像以获得一第二深度图;以及
一合并步骤,至少合并该第一深度图及该第二深度图以产生该场域的一最终深度图。
14.如权利要求13所述的深度感测方法,其中该影像处理步骤包括:
依据至少一个解码参数分别对该第一影像及该第二影像进行解码,以分别产生该第一深度图及该第二深度图。
15.如权利要求13所述的深度感测方法,其中于该第一深度图中的一位置具有一第一深度值,于该第二深度图中的该位置具有一第二深度值,该合并步骤包括:
当该第一深度值或该第二深度值大于一临界值时,选择该第二深度值做为于该最终深度图中的该位置的深度值,否则选择该第一深度值做为于该最终深度图中的该位置的深度值。
16.如权利要求13所述的深度感测方法,其中于该第一深度图中的一位置具有一第一深度值D1,于该第二深度图中的该位置具有一第二深度值D2,该合并步骤包括:
计算W1D1+W2D2以获得该最终深度图中的该位置的深度值D,其中W1表示一第一权重值,W2表示一第二权重值。
17.如权利要求16所述的深度感测方法,其中该合并步骤还包括:
依据该第一深度值D1或该第二深度值D2来动态决定该第一权重值W1及该第二权重值W2
18.如权利要求16所述的深度感测方法,其中该合并步骤还包括:
当该第一深度值D1或该第二深度值D2小于一第一临界值时,设定该第一权重值W1为1且设定该第二权重值W2为0;
当该第一深度值D1或该第二深度值D2大于该第一临界值且小于一第二临界值时,依据该第一深度值D1或该第二深度值D2来动态决定该第一权重值W1及该第二权重值W2;以及
当该第一深度值D1或该第二深度值D2大于该第二临界值时,设定该第一权重值W1为0且设定该第二权重值W2为1。
19.如权利要求16所述的深度感测方法,其中该影像处理步骤对该第一影像进行解码以获得该第一深度图中的该位置的一第一正规化互相关值n1,该影像处理步骤对该第二影像进行解码以获得该第二深度图中的该位置的一第二正规化互相关值n2,该合并步骤还包括:
依据该第一正规化互相关值n1及该第二正规化互相关值n2来动态决定该第一权重值W1及该第二权重值W2
20.如权利要求16所述的深度感测方法,其中该影像处理步骤对该第一影像进行解码以获得该第一深度图中的该位置的一第一绝对差和值SAD1,该影像处理步骤对该第二影像进行解码以获得该第二深度图中的该位置的一第二绝对差和值SAD2,该合并步骤还包括:
依据该第一绝对差和值SAD1及该第二绝对差和值SAD2来动态决定该第一权重值W1及该第二权重值W2
CN201711214311.8A 2017-11-28 2017-11-28 深度感测装置及深度感测方法 Pending CN109842789A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711214311.8A CN109842789A (zh) 2017-11-28 2017-11-28 深度感测装置及深度感测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711214311.8A CN109842789A (zh) 2017-11-28 2017-11-28 深度感测装置及深度感测方法

Publications (1)

Publication Number Publication Date
CN109842789A true CN109842789A (zh) 2019-06-04

Family

ID=66880804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711214311.8A Pending CN109842789A (zh) 2017-11-28 2017-11-28 深度感测装置及深度感测方法

Country Status (1)

Country Link
CN (1) CN109842789A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130050426A1 (en) * 2011-08-30 2013-02-28 Microsoft Corporation Method to extend laser depth map range
CN104050656A (zh) * 2013-03-12 2014-09-17 英特尔公司 用于确定图像中对象深度的设备和技术
CN104756491A (zh) * 2012-11-01 2015-07-01 谷歌公司 基于组合的深度提示从单视场图像生成深度图
CN106954058A (zh) * 2017-03-09 2017-07-14 深圳奥比中光科技有限公司 深度图像获取系统和方法
CN107370951A (zh) * 2017-08-09 2017-11-21 广东欧珀移动通信有限公司 图像处理系统及方法
CN107395974A (zh) * 2017-08-09 2017-11-24 广东欧珀移动通信有限公司 图像处理系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130050426A1 (en) * 2011-08-30 2013-02-28 Microsoft Corporation Method to extend laser depth map range
CN103765879A (zh) * 2011-08-30 2014-04-30 微软公司 扩展激光深度图范围的方法
CN104756491A (zh) * 2012-11-01 2015-07-01 谷歌公司 基于组合的深度提示从单视场图像生成深度图
CN104050656A (zh) * 2013-03-12 2014-09-17 英特尔公司 用于确定图像中对象深度的设备和技术
CN106954058A (zh) * 2017-03-09 2017-07-14 深圳奥比中光科技有限公司 深度图像获取系统和方法
CN107370951A (zh) * 2017-08-09 2017-11-21 广东欧珀移动通信有限公司 图像处理系统及方法
CN107395974A (zh) * 2017-08-09 2017-11-24 广东欧珀移动通信有限公司 图像处理系统及方法

Similar Documents

Publication Publication Date Title
CN106454287B (zh) 组合摄像系统、移动终端及图像处理方法
WO2015122079A1 (ja) 情報処理装置および情報処理方法
CN103339651B (zh) 图像处理装置、摄像装置以及图像处理方法
JP6697986B2 (ja) 情報処理装置および画像領域分割方法
CN106303228B (zh) 一种聚焦型光场相机的渲染方法和系统
JP6009502B2 (ja) 情報処理装置および情報処理方法
JP6615723B2 (ja) 情報処理装置および対象物認識方法
US20080044079A1 (en) Object-based 3-dimensional stereo information generation apparatus and method, and interactive system using the same
US8698092B2 (en) Method and apparatus for motion recognition
US10916025B2 (en) Systems and methods for forming models of three-dimensional objects
CN101198964A (zh) 使用红外图案照射创建对象的三维图像
CN106572340A (zh) 摄像系统、移动终端及图像处理方法
CN105182662A (zh) 具有增强现实效果的投影方法及系统
CN110462686A (zh) 用于从场景获得深度信息的设备和方法
WO2014064870A1 (ja) 画像処理装置および画像処理方法
JP2014106732A (ja) 情報処理装置および情報処理方法
KR101444538B1 (ko) 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법
JP6799154B2 (ja) 情報処理装置および材質特定方法
CN103593641B (zh) 基于立体摄像机的物体检测方法和装置
WO2019003384A1 (ja) 情報処理装置、情報処理システム、および材質特定方法
Khan et al. A homographic framework for the fusion of multi-view silhouettes
CN107610171A (zh) 图像处理方法及其装置
EP3371780A1 (en) System and methods for imaging three-dimensional objects
TWI646504B (zh) 深度感測裝置及深度感測方法
JP6300560B2 (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190604