CN112669362B - 基于散斑的深度信息获取方法、装置及系统 - Google Patents
基于散斑的深度信息获取方法、装置及系统 Download PDFInfo
- Publication number
- CN112669362B CN112669362B CN202110035914.1A CN202110035914A CN112669362B CN 112669362 B CN112669362 B CN 112669362B CN 202110035914 A CN202110035914 A CN 202110035914A CN 112669362 B CN112669362 B CN 112669362B
- Authority
- CN
- China
- Prior art keywords
- template
- target
- image
- window
- speckle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000003287 optical effect Effects 0.000 claims abstract description 50
- KLPWJLBORRMFGK-UHFFFAOYSA-N Molindone Chemical compound O=C1C=2C(CC)=C(C)NC=2CCC1CN1CCOCC1 KLPWJLBORRMFGK-UHFFFAOYSA-N 0.000 claims abstract description 29
- 229940028394 moban Drugs 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000003384 imaging method Methods 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003238 somatosensory effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Abstract
本申请公开了一种基于散斑的深度信息获取方法、装置及系统，涉及图像处理技术领域。通过获取目标散斑图像、M张模板图像分别对应的模板窗口，以及基于M张模板图像分别对应的模板窗口得到的投影单元的虚拟光心，从至少一张所述模板图像中获取与所述目标散斑图像中的N个第一像素点分别对应的第二像素点，根据每个所述第一像素点在目标散斑图像中的位置、第二像素点在对应的模板图像中的位置以及所述虚拟光心的位置得到所述第一像素点的深度信息，从而实现获得目标散斑图像的深度信息，提高了目标散斑图像的深度信息的获取效率。
Description
技术领域
本申请涉及图像处理技术领域，更具体地，涉及一种基于散斑的深度信息获取方法、装置及系统。
背景技术
随着科技的发展，在某些图像显示场景中，二维图像已经不能满足人们的需要。而三维立体图像因比二维图像多了深度信息而更加真实且准确，在日常生活中，对三维场景的使用愈加普遍，例如人脸支付、体感游戏、AR购物等。
在三维场景下，需要获取图像的深度信息，而现有的获取图像的深度信息的方式计算量大，计算耗时。
发明内容
鉴于上述问题，本申请提出了一种基于散斑的深度信息获取方法、装置及系统，以改善上述问题。
第一方面，本申请实施例提供了一种基于散斑的深度信息获取方法，所述方法包括：获取目标散斑图像、M张模板图像分别对应的模板窗口，以及基于M张模板图像分别对应的模板窗口得到的投影单元的虚拟光心，M为大于1的整数；从至少一张所述模板图像中获取与所述目标散斑图像中的第一像素点对应的第二像素点；根据所述第一像素点在目标散斑图像中的位置、第二像素点在对应的模板图像中的位置以及所述虚拟光心的位置得到所述第一像素点的深度信息。
第二方面，本申请实施例提供了一种基于散斑的深度信息获取装置，所述装置包括：第一获取模块、第二获取模块以及深度信息获得模块。第一获取模块，用于获取目标散斑图像、M张模板图像分别对应的模板窗口，以及基于M张模板图像分别对应的模板窗口得到的投影单元的虚拟光心，M为大于1的整数；第二获取模块，用于从至少一张所述模板图像中获取与所述目标散斑图像中的第一像素点对应的第二像素点；深度信息获得模块，用于根据所述第一像素点在目标散斑图像中的位置、第二像素点在对应的模板图像中的位置以及所述虚拟光心的位置得到所述第一像素点的深度信息。
第三方面，本申请实施例提供了一种基于散斑的深度信息获取系统，投影单元、图像采集单元、存储单元以及处理单元，所述投影单元、图像采集单元以及存储单元与所述处理单元电性连接，所述图像采集单元以及存储单元电性连接，其中，所述投影单元用于将基准散斑图案投射到目标物体；所述图像采集单元用于采集所述基准散斑图案投射到目标物体形成的图像，以获取目标散斑图像；所述存储单元用于存储M张模板图像分别对应的窗口组，以及基于M张模板图像分别对应的窗口组得到的查找表；所述处理单元用于获取目标散斑图像、M张模板图像分别对应的模板窗口，以及基于M张模板图像分别对应的模板窗口得到的投影单元的虚拟光心，M为大于1的整数；所述处理单元还用于从至少一张所述模板图像中获取与所述目标散斑图像中的第一像素点对应的第二像素点，根据所述第一像素点在目标散斑图像中的位置、第二像素点在对应的模板图像中的位置以及所述虚拟光心的位置得到所述第一像素点的深度信息。
本申请实施例提供的基于散斑的深度信息获取方法、装置及系统，通过获取目标散斑图像、M张模板图像分别对应的模板窗口，以及基于M张模板图像分别对应的模板窗口得到的投影单元的虚拟光心，从至少一张所述模板图像中获取与所述目标散斑图像中的N个第一像素点分别对应的第二像素点，根据每个所述第一像素点在目标散斑图像中的位置、第二像素点在对应的模板图像中的位置以及所述虚拟光心的位置得到所述第一像素点的深度信息，从而实现获得目标散斑图像的深度信息，提高了目标散斑图像的深度信息的获取效率，此外，通过采用上述方法，不需要散斑发射器与相机严格平行于参考面，就能恢复物体点的三维坐标，克服硬件上的限制。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的获取系统的结构示意图。
图2示出了本申请实施例提供的图像采集单元原图与投影单元的位置关系示意图。
图3示出了本申请实施例提供的获取模板图像的示意图。
图4示出了本申请实施例提供的一种投射于参考幕的散斑图像的示意图。
图5示出了本申请实施例提供的一种投射于参考幕的散斑图像的示意图。
图6示出了本申请一实施例提供的基于散斑的深度信息获取方法的流程图。
图7出了图6中步骤S210的流程图。
图8出了本申请实施例中提供的两个模板图像的对应关系图。
图9了本申请实施例提供的模板图像与目标散斑图像的对应关系图。
图10示出了本申请实施例提供的基于散斑的深度信息获取装置的功能模块图。
图11示出了本申请实施例提供的基于散斑的深度信息获取装置的另一功能模块图。
图12示出了本申请实施例提供的电子设备的结构框图。
图13是本申请实施例的用于保存或者携带实现根据本申请实施例的基于散斑的深度信息获取方法的程序代码的存储介质。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在人脸支付、体感游戏以及AR购物等各种领域，都需要获取图像的深度信息。例如，在人脸支付领域，需要获取人脸图像中人脸的深度信息，以精确匹配进行支付验证的人脸是否为注册的人脸。
单目散斑测量法可以作为一种获取图像深度信息的方法。通常的，单目散斑测量法可以分为时间相关和空间相关。时间相关一般指在已知纵深的空间上移动等距的参考幕，发射器向参考幕投射带有散斑形态的图案，采集器记录这些位置的散斑形态，从而记录到对应已知纵深的空间上移动等距的参考幕在各个位置的散斑形态。利用散斑在空间每个位置形态不一样的特性，当目标对象(如人脸支付中的人脸)放置于此维度中，与在这组时间序列上各个位置上不同形态的散斑进行相似度匹配，即可搜索出目标对象的深度信息。空间相关一般指只使用一幅参考幕散斑图和向目标物体投射带有散斑形态后的散斑图，仅这两幅图像作相似度匹配，对比出目标对象相对参考幕散斑图在每个坐标位置的偏移量，再借助外部的几何三角关系而得到目标对象的深度图，获得目标对象的深度信息。
上述的方法中，时间相关方法由于需要加载所有的散斑图像，与所有的散斑图像进行匹配，加之各种复杂形式的互相关匹配函数，导致计算非常耗时，不适合快速的测量方式，如在人脸支付场景中要求的快速匹配的需求。而空间相关方法较少的模板图像，但需要计算每个坐标位置的偏移量，因此存在计算量大，耗时较长的问题，同时该方法的使用前提是，硬件上要求散斑发射器和相机两者的基线与模板图像平行，才能得到较准确的视差。否则，将存在较大误差。
因此，本申请实施例提出了一种基于散斑的深度信息获取方法，通过基于M张模板图像分别对应的窗口组得到的查找表中包括的每组窗组对应的平面方程信息，以及与目标散斑图像中的每个散斑窗口匹配的目标模板窗口，获得与每个目标模板窗口对应的平面方程信息，根据各散斑窗口的目标点的平面坐标以及该散斑窗口对应的目标平面方程信息，获得各散斑窗口中目标点对应的深度信息。基于上述过程获得深度信息时计算复杂度低，计算效率更高，克服硬件限制，提高了计算准确性。
图1示出了一种图像采集系统，用于采集目标散斑图像和模板图像。如图1所示，该图像采集系统包括投影单元110、图像采集单元120以及存储单元130。
其中，投影单元110可以包括光源、准直镜头和衍射光学元件等器件，用于投射图案。该投影单元110可以用于投射一种图案，也可以用于投射密度和/或形状不完全相同的多种图案。
可选的，该投影单元110可以是可见光投影仪，也可以是非可见光投影仪。作为一种方式，该投影单元110可以是红外激光模组，其光源可以是VCSEL阵列激光，用于投射红外的图案。
投影单元110投射的图案的具体形状和密度在本申请实施例中并不限定，以同一图案投射到离投影单元110不同距离时，可以实现成像相同为宜。其中，上述投射的团为散斑，散斑的特性是散乱的圆斑点，满足匹配需要的无规律的杂乱信息，同一散斑图案从投影单元110进行投射时，在离投影单元110不同距离处成像相同，因此，本申请实施例中，投影单元110可以用于投射散斑图案，以散斑图案为例进行说明。投影单元110的具体光源在本申请实施例中并不限定，通过相应的图像采集单元120可以采集到光源投射出的散斑图案即可，如通过红外图像采集设备采集红外光源投射的散斑图像，通过可见光图像采集设备采集可见光光源投射的散斑图像等。
图像采集单元120与投影单元110保持一定的基线距离，可以是记录投影单元110所发射图案波长的图像传感器，用于采集投影单元110投射的散斑图案的图像，可以包括感光元件、滤光片和镜头等。该图像采集单元120可以是对应光源类型的图像传感器，如投影单元110的光源为红外光，图像采集单元120为红外光图像采集设备；若光源为可见光，图像采集单元120为可见光图像采集设备等。图像采集单元120与投影单元110之间的位置关系在本申请实施例中并不限定，例如，投影单元110水平放置、水平投影，即图像采集单元120与投影单元110可以放置于同一水平高度，图像采集单元120与投影单元110也可以在同一竖直方向上。
信息存储单元130与图像采集单元120连接，用于存储图像采集单元120采集的投射于到图像采集单元120距离不同的多个参考幕的散斑图案，作为模板图像，该信息存储单元130可以是FLASH、ROM或者硬盘的任意一种。
本申请实施例中，图像采集系统还可以包括处理单元140，与图像采集单元120、投影单元110以及信息存储单元130电连接。该处理单元140的平台可以为ASIC、FPGA和DSP的一种，用于对采集的图像进行处理，也可以用于控制投影单元110的投影以及图像采集单元120的图像采集。可选的，该处理单元140可以包括控制器用于进行控制，如通过同步时序电路和异步时序电路进行控制；也可以包括深度处理器，用于进行深度信息获取的处理。
该图像采集系统中各个单元之间可以是相互彼此独立的，也可以是集成在一起的。例如，图像采集系统可以是手机、平板电脑以及笔记本电脑等集成了投影单元110、图像采集单元120、存储单元130以及处理单元140的电子设备。
通过图像采集系统可以获取用于图像基于散斑的深度信息获取的模板图像。其中，投影单元110可以用于将基准散斑图案投射到距离不同的各个参考幕，各参考幕应当位于图像采集单元120和投影单元110共同的覆盖范围内(测量有效区域内)而不应当位于非测量有效区域之外的盲区。图像采集单元120可以用于采集投影单元110投射到位于测量有效区域内的各个参考幕上图像，以获取多个模板图像。
具体的，在获取模板图像时，如图2和图3所示，当图像采集单元120与投影单元110放置于同一水平高度，或者图像采集单元120与投影单元110在同一竖直方向上时。可以在投影单元110的投影方向上，放置一参考幕，参考幕放置于投影单元110的深度轴，并使参考幕与投影单元110之间的距离变化，如依次变大或者依次变小。图像采集单元120获取参考幕与投影单元110之间不同距离的时候，投影单元110投射的散斑图案在参考幕的成像。其中，参考幕为用于承载散斑图案的投影平面，投影单元110投出的图像可以在参考幕成像，图像采集单元120通过对参考幕进行图像采集，可以获取到投影单元110投射的图案在参考幕所成图像，该图像可以用作模板图像。可以理解的，图2仅为示例性说明，并没有画出在所有位置的参考幕。
可以理解的，当参考幕与投影单元110位于同一水平面上时，参考幕与投影单元110之间的距离发生变化，投射于参考幕的散斑图像中的散斑会左右移动。例如图4示出了一种散斑的移动示例，图4中第一实线圆101表示在参考幕某位置点处时，一个散斑在该参考幕的成像。当该参考幕与投影单元110之间距离减小，散斑会向左发生位移，如图4中第一虚线圆102所示；当该参考幕与投影单元110之间距离增大，散斑会向右发生位移，如图4中第二虚线圆103所示。每两个相邻位置点之间的间距选取标准为，当参考幕与投影单元110之间距离减小r时，第一实线圆101移动到第一虚线圆102的位置处，第一实线圆101到第一虚线圆102的移动距离小于该第一实线圆101的半径；当参考幕与投影单元110之间距离增大r时，第一实线圆101移动到第二虚线圆103的位置处，第一实线圆101到第二虚线圆103的移动距离小于该第一实线圆101的半径。第一虚线圆102以及第二虚线圆103具有交集。
当参考幕与投影单元110位于同一竖直方向上时，投射于参考幕的散斑图像中的散斑会上下移动。例如图5示出了一种散斑的另一移动示例，图4中第二实线圆105表示在参考幕某位置点处时，一个散斑在该参考幕的成像。当该参考幕与投影单元110之间距离减小，散斑会向上发生位移，如图5中第三虚线圆106所示；当该参考幕与投影单元110之间距离增大，散斑会向下发生位移，如图5中第四虚线圆107所示。每两个相邻位置点之间的间距选取标准为，当参考幕与投影单元110之间距离减小r时，第二实线圆105移动到第三虚线圆106的位置处，第二实线圆105到第三虚线圆106的移动距离小于该第二实线圆105的半径；当参考幕与投影单元110之间距离增大r时，第二实线圆105移动到第四虚线圆107的位置处，第二实线圆105到第四虚线圆107的移动距离小于该第二实线圆105的半径。第三虚线圆106以及第四虚线圆107具有交集。
本申请实施例中，通过图像采集系统获得的模板图像可以进行图像的基于散斑的深度信息获取。如图6示出了本申请实施例提供的基于散斑的深度信息获取方法。该方法可以应用于电子设备。该电子设备可以是手机、平板电脑、个人电脑以及其他包括可用于基于散斑的深度信息获取的智能设备。该基于散斑的深度信息获取方法也可以用于基于散斑的深度信息获取系统，该基于散斑的深度信息获取系统可以包括如图1所示的投影单元110、图像采集单元120、存储单元130以及处理单元140，或者该基于散斑的深度信息获取系统与图像采集系统为同一个系统。其中，被测量深度的目标物体需要置于最近和最远的参考幕对应的距离范围之间且在采集单元的视场范围内，即测量有效区。
请参见图6，基于散斑的深度信息获取方法可以包括：
步骤S210：获取目标散斑图像、M张模板图像分别对应的模板窗口，以及基于M张模板图像分别对应的模板窗口得到的投影单元的虚拟光心。
其中，目标散斑图像包括多个散斑窗口，每组窗口组中包括N个模板窗口，M和N分别为大于1的整数，查找表中包括窗口组及与每组窗口组对应的平面方程信息。
当需要检测某一目标物体在图像上的深度信息时，可以采集将基准散斑图案投射到目标物体形成的图像，作为目标散斑图像。其中，该基准散斑图案与获取模板图像时的基准散斑图案相同。
例如，检测人脸的深度信息，则将基准散斑图案投射到人脸，再采集该基准散斑图案投射到人脸时的图像，该图像中包括基准散斑图案投射到人脸形成的目标散斑图像。可选的，若采集到的图像中仅仅包括散斑图案投射形成的目标散斑图像，则将采集到的图像作为目标散斑图像；若采集到的图像中还包括目标物体的图像，则将采集到的图像进行图像处理，获取基准散斑图案投射形成的图像，作为目标散斑图像。
本申请实施例中，可以是由进行基于散斑的深度信息获取的设备将基准散斑图案投射到目标物体形成目标散斑图像；也可以是，其他设备将基准散斑图案投射到目标物体形成目标散斑图像，进行基于散斑的深度信息获取的设备从其他设备获取该目标散斑图像。
M张模板图像具体可以是2张图像、3张图像或4张图像。作为一种方式，在本实施例中，M张模板图像为2张模板图像，且2张模板图像分别为第一模板图像和第二模板图像。且第一张模板图像到图像采集单元之间的距离与第二张模板图像到图像采集单元之间的距离不同。
每张模板图像分别对应的模板窗口为，对每张模板图像按照大小为size*size为区域进行划分，得到每张模板图像对应的多个模板窗口，其中，size用于表征每个模板窗口中的一行或一列中包括的像素点的数量，也可以用于表征模板窗口的长度或宽度。
基于M张模板图像分别对应的模板窗口得到投影单元的虚拟光心的方式可以是：从M张模板图像中的目标模板图像中选取N个第一模板窗口，以及从M张模板图像中除目标模板图像之外的其他图像中分别查找与每个第一模板窗口匹配的第二模板窗口，基于第一模板窗口中的目标点和第二模板窗口中的目标点以及上述的各目标点各自对应的标定相机的内外参数，通过逆投影成像关系，可以计算得到每个目标点的世界坐标。由每个第一模板窗口中的目标点的世界坐标及该第一模板窗口对应的第二模板窗口中目标点的世界坐标特征得到多条直线方程，并对多条直线方程联立可计算到直线交点，即投射器的虚拟光心。
上述的M可以是大于或等于2的整数。在M为大于2的整数时，为确保上述获得的投影单元的虚拟光心的可靠性，在本实施例中，可以基于每个第一模板窗口和对应的第二模板窗口采用最小二乘法获得投影单元的虚拟光心。
请参阅图7，作为一种方式，当M张模板图像包括第一模板图像和第二模板图像时，虚拟光心通过以下方式获得：
步骤S211：将散斑模板集合中包括的M张模板图像分别进行划分，得到M张模板图像分别对应的模板窗口。
其中，将散斑模板中包括的M张模板图像分别进行划分，得到的每张模板分别对应的模板窗口中，每个模板窗口的大小均为size*size。
步骤S212：对于第一模板图像的每个第一目标模板窗口，从第二模板图像中包括的模板窗口中获取与第一目标模板窗口匹配的第二目标模板窗口。
其中，第一目标模板窗口的数量为至少两个，从第二模板图像包括的模板窗口中获取与每个第一模板窗口匹配的第二目标模板窗口的方式可以有多种。
作为一种方式，可以是，通过基于灰度的模板匹配算法SAD算法(绝对误差和算法，Sum of absolute differences)以及MAD算法(平均绝对差算法，Mean AbsoluteDifferences)等算法进行数值运算，得到每个第一目标模板窗口与第二模板图像中的各模板窗口对应的差分结果。其中与第一目标模板窗口的差分结果的数值最小所对应的模板窗口，为与该第一目标模板窗口相似度最高的第二目标模板窗口。
作为一种方式，也可以是，计算每个第一目标模板窗口与第二模板图像中的各模板窗口之间的相似度，且相似度计算方式可以采用作异或的逻辑运算，其中数值最小的异或结果所对应的模板窗口，为与第一目标模板窗口相似度最高的第二目标模板窗口。
步骤S213：根据第一目标模板窗口中的第一目标点在第一模板图像中的平面坐标，得到第一目标点的世界坐标。
其中，第一目标点可以是第一目标模板窗口的中心点、角点或该第一目标窗口中的任意一点。
上述步骤S213具体可以是，对第一目标模板窗口中的第一目标点在第一模板图像中的平面坐标以及该第一模板图像对应的第一相机标定参数，采用投影成像关系进行计算，得到第一目标点的世界坐标。
步骤S214：根据第二目标模板窗口中的第二目标点在第二模板图像中的平面坐标，得到第二目标点的世界坐标。
其中，第二目标点可以是第二目标模板窗口的中心点、角点或该第二目标窗口中的任意一点。可以理解，第一目标点对应在第一目标模板窗口中的位置与第二目标点对应在第二目标模板窗口中的位置相匹配。即，当第一目标点为第一目标模板窗口的中心点时，第二目标点也为第二目标模板窗口的中心点。
步骤S214具体可以是，对第二目标模板窗口中的第二目标点的在第二模板图像中的平面坐标以及该第二模板图像对应的第二相机标定参数，采用投影成像关系进行计算，得到第二目标点的世界坐标。
步骤S215：基于第一目标点的世界坐标和第二目标点的世界坐标建立第一射线方程，该第一射线方程与第一目标模板窗口和与该第一目标模板窗口对应的第二目标模板窗口组成的窗口组对应。
步骤S216：基于各窗口组对应的第一射线方程，得到虚拟光心。
其中，上述步骤S216可以是：基于每组窗口对应的射线方程进行联立求解，得到虚拟光心。也可以是，基于每组窗口对应的射线方程采用最小二乘法进行计算，得到虚拟光心。
为使上述获得的虚拟光心更准确，第一模板图像对应的参考幕与第二模板图像对应的参考幕之间的距离应当较远，例如，上述两个参考幕之间的距离可以大于在测量有效区内的最近和最远的参考幕之间的距离范围的一半。即当在测量有效区内的最近和距离最远的两个参考幕之间的距离为D时，则第一模板图像对应的参考幕与第二模板图像对应的参考幕之间的距离应当大于D/2，且第一模板图像对应的参考幕与第二模板图像对应的参考幕位于测量有效区内。
步骤S220：从至少一张模板图像中获取与目标散斑图像中的第一像素点对应的第二像素点。
作为一种方式，可以是从至少一张模板图像中利用相似度计算方法获取与目标散斑图像中的第一像素点对应的第二像素点。
作为一种方式，可以是：对目标散斑图像进行窗口划分得到多个散斑窗口，针对任一像素点，获取该像素点所在的目标散斑窗口，从至少一张模板图像中获取与目标散斑窗口匹配的第三目标模板窗口，并从第三目标模板窗口中获取与第一像素点匹配的第二像素点。
其中，从至少一张模板图像中获取与目标散斑窗口匹配的第三目标模板窗口的方式可以是，通过基于灰度的模板匹配算法SAD算法(绝对误差和算法，Sum of absolutedifferences)以及MAD算法(平均绝对差算法，Mean Absolute Differences)等算法进行数值运算，得到分别对应每个目标散斑窗口与至少一个模板窗口中的各模板窗口的差分结果。其中与目标散斑窗口的差分结果的数值最小所对应的模板窗口，为与该目标散斑窗口相似度最高的第三目标模板窗口。
从至少一张模板图像中获取与目标散斑窗口匹配的第三目标模板窗口的方式还可以是，计算每个目标散斑窗口与至少一个模板图像中的各模板窗口之间的相似度，且相似度计算方式可以采用作异或的逻辑运算，其中数值最小的异或结果所对应的模板窗口，为与目标散斑窗口相似度最高的第三目标模板窗口。
通过获得第三目标模板窗口后，从第三目标模板窗口中包括的各像素点中获取与第一像素点匹配的第二像素点的方式可以是，利用与上述获得第三目标窗口相同或相近的匹配方式获取与第一像素点匹配的第二像素点。也可以是，获取第一像素点在目标散斑图像中的位置，并根据该位置得到第三目标模板窗口中相应的位置，将该位置对应的像素点作为第二像素点，例如，当第一像素点在目标散斑窗口中的位置为中心点的位置时，将第三目标散斑窗口中的中心点的位置对应的像素点作为目标散斑窗口。
步骤S230：根据第一像素点在目标散斑图像中的位置、第二像素点在对应的模板图像中的位置以及虚拟光心的位置得到第一像素点的深度信息。
作为一种方式，上述步骤S230可以是：针对每个第一像素点，对该第一像素点采用投影成像关系进行计算得到第二射线方程。对第二像素点在对应的模板图像中的位置采用逆投影成像关系进行计算得到该第二像素点的世界坐标。根据第二像素点的世界坐标和虚拟光心得到第三射线方程。基于第二射线方程和第三射线方程得到第一像素点的深度信息。
在该种方式下，为确保获得的第一像素点的深度信息的可靠性，在本实施例中，基于第二射线方程和第三射线方程得到第一像素点的深度信息的方式可以是：对第二射线方程和第三射线方程采用最小二乘法进行计算，得到第一像素点的深度信息。
在该种方式下，为进一步确保获得的第一像素点的深度信息的可靠性，方法还包括：获取第一像素点到第二射线方程的第一距离和该第一像素点到第三射线方程的第二距离，并检测第一距离和第二距离是否在预设距离阈值范围内，并第一距离或第二距离不再预设距离阈值范围内时，重新选取一张模板图像，并返回执行步骤S220-S230，直至获取到第一像素点到第二射线方程的第一距离和该第一像素点到第三射线方程的第二距离中，第二距离和第三距离均小于预设距离阈值。
在本申请实施例中提供的散斑的深度信息获取方法中，获取目标散斑图像、M张模板图像分别对应的模板窗口，以及基于M张模板图像分别对应的模板窗口得到的投影单元的虚拟光心；从至少一张模板图像中获取与目标散斑图像中的N个第一像素点分别对应的第二像素点，N为大于1的整数；根据每个第一像素点在目标散斑图像中的位置、第二像素点在对应的模板图像中的位置以及虚拟光心的位置得到第一像素点的深度信息，从而实现获得目标散斑图像的深度信息，提高了目标散斑图像的深度信息的获取效率，此外，通过采用上述方法，不需要散斑发射器与相机严格平行于参考面，就能恢复物体点的三维坐标，克服硬件上的限制。
结合参阅图8和图9，以M张模板图像包括第一模板图像Z1和第二模板图像Z2，基于第一模板图像Z1和第二模板图像Z2分别对应的模板窗口得到投影单元的虚拟光心的具体过程为：在测量有效区内的最近和距离最远的两个参考幕之间的距离为D时，则第一模板图像Z1对应的参考幕与第二模板图像Z2对应的参考幕之间的距离应当大于D/2，且第一模板图像Z1对应的参考幕和第二模板图像Z2对应的参考幕分别位于测量有效区内。从第一模板图像上任意选取在其上分散均匀地分布的N个第一目标模板窗口P1i，该模板窗口大小为size*size的正方形区域，在第二模板图像z2上查找与上做匹配操作，得到N个第二目标模板窗口P2i，N为大于2的整数，由标定相机的内外参数，通过逆投影成像关系，可以计算得到每个第一模板窗口P1i中目标点Q1i的世界坐标(X1i,Y1i,Z1i)和每个第二模板窗口P2i中目标点Q2i的世界坐标(X2i,Y2i,Z2i)。由多对世界坐标特征点组成的多对直线在空间中相交，可计算到直线交点(x0，y0，z0)，即投射器的虚拟光心(x0，y0，z0)。
针对目标散斑图像中的任意第一像素点Si在目标散斑图像中的平面坐标(u，v)，基于M张模板图像分别对应的模板窗口得到的投影单元的虚拟光心(x0，y0，z0)后，获取该第一像素点Si对应的深度信息的具体过程如下：对目标散斑图以质心窗口大小为size*size即边长为size的正方形划分得到多个散斑窗口，并获取第一像素点Si对应的目标散斑窗口，通过图像匹配算法，在M张模板图像中一个模板图像上寻找最相关第三目标模板窗口，并从第三目标模板窗口中获取与第一像素点Si匹配的第二像素点Qi的像素位置。例如模板图像为Z1模板图像，由投影成像关系，计算得到参考位置的模板图像上的第二像素点位置。同理，模板图像为Z2模板图像上对应的另一第二像素点的位置。
针对任意一个第二像素点Qi，可以利用其在对应的模板图像上的像素位置，如Z1上的第二像素点的位置，由逆投影成像关系，可计算得到该第二像素点对应的世界坐标(x1，y1，z1)。同理，也可以得到Z2上的第二像素点的世界坐标(x2，y2，z2)。
可以上述求得的两个世界坐标中的任意一个世界坐标与虚拟光心得到第三射线方程，且该第三射线方程为：或者为/> 针对目标散斑图的第一像素点Si的平面坐标(u，v)，运用投影成像关系，形成第二射线方程，第二射线方程的数学形式上可以表示为：/>其中，s为比例因子，M为相机标定的内外参数，联立上述两个方程组，可以求解出交点Ri的世界坐标(x，y，z)，根据该交点Ri即可得到上述的第一像素点的深度信息。
通过采用上述方法，可以获得目标散斑图像中所有像素点的深度信息，即目标散斑图的深度信息。
请参阅图10，本申请实施例还提供了一种基于散斑的深度信息获取装置400。请参见图10，该装置400包括：第一获取模块310、第二获取模块320以及深度信息获得模块430。
第一获取模块410，用于获取目标散斑图像、M张模板图像分别对应的模板窗口，以及基于M张模板图像分别对应的模板窗口得到的投影单元的虚拟光心，M为大于1的整数。
作为一种方式，第一获取模块410，还用于获取将基准散斑图案投射到目标物体形成的目标散斑图像，以及获取将散斑图案投射到距离散斑投影设备不同的M个参考幕得到M个模板图像。
第二获取模块420，用于从至少一张模板图像中获取与目标散斑图像中的N个第一像素点分别对应的第二像素点，N为大于1的整数。
作为一种方式，第二获取模块420还用于针对目标散斑图中的每个第一像素点，获取该第一像素点对应的目标散斑窗口；从至少一张模板图像中获取与目标散斑窗口匹配的第三目标模板窗口，并从第三目标模板窗口中获取与第一像素点匹配的第二像素点。
深度信息获得模块430，用于根据第一像素点在目标散斑图像中的位置、第二像素点在对应的模板图像中的位置以及虚拟光心的位置得到第一像素点的深度信息。
作为一种方式，深度信息获得模块430用于：针对每个第一像素点，对该第一像素点采用投影成像关系进行计算得到第二射线方程；对第二像素点在对应的模板图像中的位置采用逆投影成像关系进行计算得到该第二像素点的世界坐标；根据第二像素点的世界坐标和虚拟光心得到第三射线方程；基于第二射线方程和第三射线方程得到第一像素点的深度信息。
作为一种方式，请参阅图11，装置还包括划分模块440、窗口匹配模块450、第一坐标获得模块460、第二坐标获得模块470、方程建立模块480以及虚拟光心获得模块490。
划分模块440，用于将散斑模板集合中包括的M张模板图像分别进行划分，得到M张模板图像分别对应的模板窗口。
窗口匹配模450，用于对于第一模板图像的每个第一目标模板窗口，从第二模板图像中包括的模板窗口中获取与第一目标模板窗口匹配的第二目标模板窗口。
第一坐标获得模块460，用于根据第一目标模板窗口中的第一目标点在第一模板图像中的平面坐标，得到第一目标点的世界坐标。
作为一种方式，第一坐标获得模块460还用于，对第一目标模板窗口中的第一目标点在第一模板图像中的平面坐标以及该第一模板图像对应的第一相机标定参数，采用投影成像关系进行计算，得到第一目标点的世界坐标。
第二坐标获得模块470，用于根据第二目标模板窗口中的第二目标点在第二模板图像中的平面坐标，得到第二目标点的世界坐标。
作为一种方式，第二坐标获得模块470，还用于对第二目标模板窗口中的第二目标点的在第二模板图像中的平面坐标以及该第二模板图像对应的第二相机标定参数，采用投影成像关系进行计算，得到第二目标点的世界坐标。
方程建立模块480，用于基于第一目标点的世界坐标和第二目标点的世界坐标建立第一射线方程，该第一射线方程与第一目标模板窗口和与该第一目标模板窗口对应的第二目标模板窗口组成的窗口组对应。
虚拟光心获得模块490，用于基于各窗口组对应的第一射线方程，得到虚拟光心。
作为一种方式，虚拟光心获得模块490，还用于对各窗口组对应的第一射线方程采用最小二程法进行计算，得到虚拟光心。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置400和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参考图12，其示出了本申请实施例提供的一种电子设备500的结构框图。该电子设备500可以是手机、平板电脑、电子书等能够进行深度信息识别的电子设备。该电子设备包括处理器502以及存储器504，存储器504可以耦接到处理器502，存储器504存储指令，当指令由处理器502执行时，处理器502执行上述一个或多个实施例所描述的方法。
处理器502可以包括一个或者多个处理核。处理器502利用各种接口和线路连接整个电子设备500内的各个部分，通过运行或执行存储在存储器504内的指令、程序、代码集或指令集，以及调用存储在存储器504内的数据，执行电子设备500的各种功能和处理数据。可选地，处理器502可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器502可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器502中，单独通过一块通信芯片进行实现。
存储器504可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器504可用于存储指令、程序、代码、代码集或指令集，如用于实现本申请实施例提供的基于散斑的深度信息获取方法的指令或代码集。存储器504可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令、用于实现上述各个方法实施例的指令等。存储数据区还可以电子设备在使用中所创建的数据等。
可选的，该电子设备还可以包括投影单元用于投射基准散斑图案；包括图像采集单元，用于采集投影单元投射形成的图像。
请参考图13，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质600中存储有程序代码，程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质600可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质600包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质600具有执行上述方法中的任何方法步骤的程序代码610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码610可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (8)
1.一种基于散斑的深度信息获取方法，其特征在于，所述方法包括：
获取目标散斑图像、M张模板图像分别对应的模板窗口，以及基于M张模板图像分别对应的模板窗口得到的投影单元的虚拟光心，M为大于1的整数；
从至少一张所述模板图像中获取与所述目标散斑图像中的N个第一像素点分别对应的第二像素点，N为大于1的整数；
针对每个所述第一像素点，对该第一像素点采用投影成像关系进行计算得到第二射线方程；
对所述第二像素点在对应的模板图像中的位置采用逆投影成像关系进行计算得到该第二像素点的世界坐标；
根据所述第二像素点的世界坐标和所述虚拟光心得到第三射线方程；
基于所述第二射线方程和所述第三射线方程得到所述第一像素点的深度信息；
所述M张模板图像包括第一模板图像和第二模板图像，所述基于M张模板图像分别对应的模板窗口得到的投影单元的虚拟光心，包括：
将散斑模板集合中包括的M张模板图像分别进行划分，得到M张模板图像分别对应的模板窗口；
对于所述第一模板图像的每个第一目标模板窗口，从所述第二模板图像中包括的模板窗口中获取与所述第一目标模板窗口匹配的第二目标模板窗口；
根据所述第一目标模板窗口中的第一目标点在第一模板图像中的平面坐标，得到所述第一目标点的世界坐标；
根据所述第二目标模板窗口中的第二目标点在第二模板图像中的平面坐标，得到所述第二目标点的世界坐标；
基于所述第一目标点的世界坐标和所述第二目标点的世界坐标建立第一射线方程，该第一射线方程与所述第一目标模板窗口和与该第一目标模板窗口对应的第二目标模板窗口组成的窗口组对应；
基于各所述窗口组对应的第一射线方程，得到所述虚拟光心。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一目标模板窗口中的第一目标点在第一模板图像中的平面坐标，得到所述第一目标点的世界坐标，包括：
对所述第一目标模板窗口中的第一目标点在第一模板图像中的平面坐标以及该第一模板图像对应的第一相机标定参数，采用投影成像关系进行计算，得到所述第一目标点的世界坐标；
所述根据所述第二目标模板窗口中的第二目标点在第二模板图像中的平面坐标，得到所述第二目标点的世界坐标，包括：
对所述第二目标模板窗口中的第二目标点的在第二模板图像中的平面坐标以及该第二模板图像对应的第二相机标定参数，采用投影成像关系进行计算，得到所述第二目标点的世界坐标。
3.根据权利要求1所述的方法，其特征在于，所述基于各所述窗口组对应的第一射线方程，得到所述虚拟光心，包括：
对各所述窗口组对应的第一射线方程采用最小二程法进行计算，得到所述虚拟光心。
4.根据权利要求1所述的方法，其特征在于，获取M张模板图像，包括：
获取将散斑图案投射到距离散斑投影设备不同的M个参考幕得到M个模板图像。
5.根据权利要求1所述的方法，其特征在于，获取目标散斑图像，包括：
获取将基准散斑图案投射到目标物体形成的目标散斑图像。
6.根据权利要求1所述的方法，其特征在于，所述目标散斑图像包括多个散斑窗口，所述从至少一张所述模板图像中获取与所述目标散斑图像中的N个第一像素点分别对应的第二像素点，包括：
针对所述目标散斑图中的每个第一像素点，获取该第一像素点对应的目标散斑窗口；
从至少一张所述模板图像中获取与所述目标散斑窗口匹配的第三目标模板窗口，并从所述第三目标模板窗口中获取与所述第一像素点匹配的第二像素点。
7.一种基于散斑的深度信息获取装置，其特征在于，包括：
第一获取模块，用于获取目标散斑图像、M张模板图像分别对应的模板窗口，以及基于M张模板图像分别对应的模板窗口得到的投影单元的虚拟光心，M为大于1的整数，所述M张模板图像包括第一模板图像和第二模板图像；
第二获取模块，用于从至少一张所述模板图像中获取与所述目标散斑图像中的N个第一像素点分别对应的第二像素点，N为大于1的整数；
深度信息获得模块，用于针对每个所述第一像素点，对该第一像素点采用投影成像关系进行计算得到第二射线方程；对所述第二像素点在对应的模板图像中的位置采用逆投影成像关系进行计算得到该第二像素点的世界坐标；根据所述第二像素点的世界坐标和所述虚拟光心得到第三射线方程；基于所述第二射线方程和所述第三射线方程得到所述第一像素点的深度信息；
所述第一获取模块，具体用于将散斑模板集合中包括的M张模板图像分别进行划分，得到M张模板图像分别对应的模板窗口；对于所述第一模板图像的每个第一目标模板窗口，从所述第二模板图像中包括的模板窗口中获取与所述第一目标模板窗口匹配的第二目标模板窗口；根据所述第一目标模板窗口中的第一目标点在第一模板图像中的平面坐标，得到所述第一目标点的世界坐标；根据所述第二目标模板窗口中的第二目标点在第二模板图像中的平面坐标，得到所述第二目标点的世界坐标；基于所述第一目标点的世界坐标和所述第二目标点的世界坐标建立第一射线方程，该第一射线方程与所述第一目标模板窗口和与该第一目标模板窗口对应的第二目标模板窗口组成的窗口组对应；基于各所述窗口组对应的第一射线方程，得到所述虚拟光心。
8.一种基于散斑的深度信息获取系统，其特征在于，包括投影单元、图像采集单元、存储单元以及处理单元，所述投影单元、图像采集单元以及存储单元与所述处理单元电性连接，所述图像采集单元以及存储单元电性连接，其中，
所述投影单元用于将基准散斑图案投射到目标物体；
所述图像采集单元用于采集所述基准散斑图案投射到目标物体形成的图像，以获取目标散斑图像；
所述存储单元用于存储M张模板图像分别对应的窗口组，以及基于M张模板图像分别对应的窗口组得到的查找表；
所述处理单元用于获取目标散斑图像、M张模板图像分别对应的模板窗口，以及基于M张模板图像分别对应的模板窗口得到的投影单元的虚拟光心，M为大于1的整数，其中，所述M张模板图像包括第一模板图像和第二模板图像，所述基于M张模板图像分别对应的模板窗口得到的投影单元的虚拟光心，包括：将散斑模板集合中包括的M张模板图像分别进行划分，得到M张模板图像分别对应的模板窗口；对于所述第一模板图像的每个第一目标模板窗口，从所述第二模板图像中包括的模板窗口中获取与所述第一目标模板窗口匹配的第二目标模板窗口；根据所述第一目标模板窗口中的第一目标点在第一模板图像中的平面坐标，得到所述第一目标点的世界坐标；根据所述第二目标模板窗口中的第二目标点在第二模板图像中的平面坐标，得到所述第二目标点的世界坐标；基于所述第一目标点的世界坐标和所述第二目标点的世界坐标建立第一射线方程，该第一射线方程与所述第一目标模板窗口和与该第一目标模板窗口对应的第二目标模板窗口组成的窗口组对应；基于各所述窗口组对应的第一射线方程，得到所述虚拟光心；
所述处理单元还用于从至少一张所述模板图像中获取与所述目标散斑图像中的N个第一像素点分别对应的第二像素点，N为大于1的整数，针对每个所述第一像素点，对该第一像素点采用投影成像关系进行计算得到第二射线方程；对所述第二像素点在对应的模板图像中的位置采用逆投影成像关系进行计算得到该第二像素点的世界坐标；根据所述第二像素点的世界坐标和所述虚拟光心得到第三射线方程；基于所述第二射线方程和所述第三射线方程得到所述第一像素点的深度信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110035914.1A CN112669362B (zh) | 2021-01-12 | 2021-01-12 | 基于散斑的深度信息获取方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110035914.1A CN112669362B (zh) | 2021-01-12 | 2021-01-12 | 基于散斑的深度信息获取方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112669362A CN112669362A (zh) | 2021-04-16 |
| CN112669362B true CN112669362B (zh) | 2024-03-29 |
Family
ID=75414369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110035914.1A Active CN112669362B (zh) | 2021-01-12 | 2021-01-12 | 基于散斑的深度信息获取方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112669362B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393516B (zh) * | 2021-06-17 | 2022-05-24 | 贝壳找房(北京)科技有限公司 | 用于打散ar场景中的虚拟物体的方法和装置 |
| CN113793387A (zh) * | 2021-08-06 | 2021-12-14 | 中国科学院深圳先进技术研究院 | 单目散斑结构光系统的标定方法、装置及终端 |
| WO2023010565A1 (zh) * | 2021-08-06 | 2023-02-09 | 中国科学院深圳先进技术研究院 | 单目散斑结构光系统的标定方法、装置及终端 |
| CN113763450B (zh) * | 2021-09-09 | 2022-05-31 | 合肥的卢深视科技有限公司 | 深度图的获取方法、装置、电子设备及存储介质 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103561257A (zh) * | 2013-11-01 | 2014-02-05 | 北京航空航天大学 | 一种基于深度参考平面的无干扰的光编码深度提取方法 |
| CN103824318A (zh) * | 2014-02-13 | 2014-05-28 | 西安交通大学 | 一种多摄像头阵列的深度感知方法 |
| CN103971405A (zh) * | 2014-05-06 | 2014-08-06 | 重庆大学 | 一种激光散斑结构光及深度信息的三维重建方法 |
| CN105160680A (zh) * | 2015-09-08 | 2015-12-16 | 北京航空航天大学 | 一种基于结构光的无干扰深度相机的设计方法 |
| WO2018058356A1 (zh) * | 2016-09-28 | 2018-04-05 | 驭势科技（北京）有限公司 | 基于双目立体视觉的汽车防碰撞预警方法和系统 |
| CN109461181A (zh) * | 2018-10-17 | 2019-03-12 | 北京华捷艾米科技有限公司 | 基于散斑结构光的深度图像获取方法及系统 |
| WO2019047982A1 (zh) * | 2017-09-11 | 2019-03-14 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子装置和计算机可读存储介质 |
| CN110047100A (zh) * | 2019-04-01 | 2019-07-23 | 四川深瑞视科技有限公司 | 深度信息检测方法、装置及系统 |
| WO2019205975A1 (zh) * | 2018-04-28 | 2019-10-31 | Oppo广东移动通信有限公司 | 摄像头模组的控制系统、控制方法、控制装置、电子设备及计算机可读存储介质 |
| CN110580716A (zh) * | 2018-06-07 | 2019-12-17 | 凌上科技(北京)有限公司 | 一种深度信息采集方法、装置以及介质 |
| WO2020088290A1 (zh) * | 2018-10-30 | 2020-05-07 | 华为技术有限公司 | 一种获取深度信息的方法及电子设备 |
| CN111487043A (zh) * | 2020-05-07 | 2020-08-04 | 北京的卢深视科技有限公司 | 单目散斑结构光系统的散斑投射器标定参数确定方法 |
| WO2020168094A1 (en) * | 2019-02-15 | 2020-08-20 | Nikon Corporation | Simultaneous depth profile and spectral measurement |
| CN111561872A (zh) * | 2020-05-25 | 2020-08-21 | 中科微至智能制造科技江苏股份有限公司 | 基于散斑编码结构光的包裹体积测量方法、装置及系统 |
| CN111721236A (zh) * | 2020-05-24 | 2020-09-29 | 深圳奥比中光科技有限公司 | 一种三维测量系统、方法及计算机设备 |
| WO2020206666A1 (zh) * | 2019-04-12 | 2020-10-15 | 深圳市汇顶科技股份有限公司 | 基于散斑图像的深度估计方法及装置、人脸识别系统 |
| CN112184811A (zh) * | 2020-09-22 | 2021-01-05 | 合肥的卢深视科技有限公司 | 单目空间结构光系统结构校准方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8994652B2 (en) * | 2013-02-15 | 2015-03-31 | Intel Corporation | Model-based multi-hypothesis target tracker |
| US11176694B2 (en) * | 2018-10-19 | 2021-11-16 | Samsung Electronics Co., Ltd | Method and apparatus for active depth sensing and calibration method thereof |
-
2021
- 2021-01-12 CN CN202110035914.1A patent/CN112669362B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103561257A (zh) * | 2013-11-01 | 2014-02-05 | 北京航空航天大学 | 一种基于深度参考平面的无干扰的光编码深度提取方法 |
| CN103824318A (zh) * | 2014-02-13 | 2014-05-28 | 西安交通大学 | 一种多摄像头阵列的深度感知方法 |
| CN103971405A (zh) * | 2014-05-06 | 2014-08-06 | 重庆大学 | 一种激光散斑结构光及深度信息的三维重建方法 |
| CN105160680A (zh) * | 2015-09-08 | 2015-12-16 | 北京航空航天大学 | 一种基于结构光的无干扰深度相机的设计方法 |
| WO2018058356A1 (zh) * | 2016-09-28 | 2018-04-05 | 驭势科技（北京）有限公司 | 基于双目立体视觉的汽车防碰撞预警方法和系统 |
| WO2019047982A1 (zh) * | 2017-09-11 | 2019-03-14 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子装置和计算机可读存储介质 |
| WO2019205975A1 (zh) * | 2018-04-28 | 2019-10-31 | Oppo广东移动通信有限公司 | 摄像头模组的控制系统、控制方法、控制装置、电子设备及计算机可读存储介质 |
| CN110580716A (zh) * | 2018-06-07 | 2019-12-17 | 凌上科技(北京)有限公司 | 一种深度信息采集方法、装置以及介质 |
| CN109461181A (zh) * | 2018-10-17 | 2019-03-12 | 北京华捷艾米科技有限公司 | 基于散斑结构光的深度图像获取方法及系统 |
| WO2020088290A1 (zh) * | 2018-10-30 | 2020-05-07 | 华为技术有限公司 | 一种获取深度信息的方法及电子设备 |
| WO2020168094A1 (en) * | 2019-02-15 | 2020-08-20 | Nikon Corporation | Simultaneous depth profile and spectral measurement |
| CN110047100A (zh) * | 2019-04-01 | 2019-07-23 | 四川深瑞视科技有限公司 | 深度信息检测方法、装置及系统 |
| WO2020206666A1 (zh) * | 2019-04-12 | 2020-10-15 | 深圳市汇顶科技股份有限公司 | 基于散斑图像的深度估计方法及装置、人脸识别系统 |
| CN111487043A (zh) * | 2020-05-07 | 2020-08-04 | 北京的卢深视科技有限公司 | 单目散斑结构光系统的散斑投射器标定参数确定方法 |
| CN111721236A (zh) * | 2020-05-24 | 2020-09-29 | 深圳奥比中光科技有限公司 | 一种三维测量系统、方法及计算机设备 |
| CN111561872A (zh) * | 2020-05-25 | 2020-08-21 | 中科微至智能制造科技江苏股份有限公司 | 基于散斑编码结构光的包裹体积测量方法、装置及系统 |
| CN112184811A (zh) * | 2020-09-22 | 2021-01-05 | 合肥的卢深视科技有限公司 | 单目空间结构光系统结构校准方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| A Survey of Depth Estimation Based on Computer Vision;Y. Liu, J. Jiang, J. Sun, L. Bai and Q. Wang;《IEEE Fifth International Conference on Data Science in Cyberspace (DSC)》;全文 * |
| WISHED: Wavefront imaging sensor with high resolution and depth ranging;Y. Wu, F. Li, F. Willomitzer, A. Veeraraghavan and O. Cossairt;《2020 IEEE International Conference on Computational Photography (ICCP)》;全文 * |
| 基于主动立体视觉的深度感知研究;肖旭;《中国优秀硕士论文电子期刊网》;全文 * |
| 基于结构光的快速高精度深度感知;张越一;《 中国博士学位论文电子期刊网》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112669362A (zh) | 2021-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112669362B (zh) | 基于散斑的深度信息获取方法、装置及系统 | |
| CN110047100B (zh) | 深度信息检测方法、装置及系统 | |
| US20200400428A1 (en) | Systems and Methods of Locating a Control Object Appendage in Three Dimensional (3D) Space | |
| US10565784B2 (en) | Systems and methods for authenticating a user according to a hand of the user moving in a three-dimensional (3D) space | |
| US9747691B2 (en) | Retraction based three-dimensional tracking of object movements | |
| US20140307920A1 (en) | Systems and methods for tracking occluded objects in three-dimensional space | |
| US9317127B2 (en) | Method and apparatus for motion recognition | |
| CN110009673B (zh) | 深度信息检测方法、装置及电子设备 | |
| WO2019035155A1 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
| CN113379817B (zh) | 基于散斑的深度信息获取方法、装置及系统 | |
| CN111524180B (zh) | 物体体积计算方法、装置、电子设备及存储介质 | |
| US11195290B2 (en) | Apparatus and method for encoding in structured depth camera system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |