CN112037273B - 深度信息获取方法、装置、可读存储介质及计算机设备 - Google Patents

深度信息获取方法、装置、可读存储介质及计算机设备 Download PDF

Info

Publication number
CN112037273B
CN112037273B CN202010938598.4A CN202010938598A CN112037273B CN 112037273 B CN112037273 B CN 112037273B CN 202010938598 A CN202010938598 A CN 202010938598A CN 112037273 B CN112037273 B CN 112037273B
Authority
CN
China
Prior art keywords
light image
target
point
structured light
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010938598.4A
Other languages
English (en)
Other versions
CN112037273A (zh
Inventor
汪阅冬
张召世
朱能胜
乐敏
徐辉宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Virtual Reality Institute Co Ltd
Original Assignee
Nanchang Virtual Reality Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Virtual Reality Institute Co Ltd filed Critical Nanchang Virtual Reality Institute Co Ltd
Priority to CN202010938598.4A priority Critical patent/CN112037273B/zh
Publication of CN112037273A publication Critical patent/CN112037273A/zh
Application granted granted Critical
Publication of CN112037273B publication Critical patent/CN112037273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种深度信息获取方法、装置、可读存储介质及计算机设备，该方法包括：获取摄像头采集的第一目标结构光图像和第二目标结构光图像；确定所述第一目标结构光图像中各个像素点与所述原始结构光图像中各个像素点之间的位置映射关系，得到第一映射关系，以及确定所述第二目标结构光图像中各个像素点与所述原始结构光图像中各个像素点之间的位置映射关系，得到第二映射关系；根据所述第一映射关系和所述第二映射关系确定所述第一目标结构光图像和所述第二目标结构光图像中对应的像素点，并计算每一对应像素点坐标之间的差异值，以及根据所述差异值计算所述第一目标结构光图像中相应像素点的深度。本发明计算效率高，能更方便，简单的获取深度信息。

Description

深度信息获取方法、装置、可读存储介质及计算机设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种深度信息获取方法、装置、可读存储介质及计算机设备。
背景技术
三维重建技术通过深度数据获取、预处理、点云配准与融合、生成表面等过程，把真实场景刻画成符合计算机逻辑表达的数学模型。这种模型可以对如文物保护、游戏开发、建筑设计等领域的研究起到辅助作用。三维重建的关键技术的重点在于如何获取目标场景或物体的深度信息。在景物深度信息已知的条件下，只需要经过点云数据的配准和融合，即可实现三维重建。
目前的技术，主要是基于结构光的四步相移法来获取景物的深度信息，其基本原理为：利用投影设备投射出正弦条纹，摄像头记录由于受到三维物体高度的调制而发生扭曲的条纹，通过扭曲条纹和原始条纹比对计算得出相位变化值。又已知投影仪、摄像机和物体具体位置和之间的距离，由相位变化可求出对应点的高度值。
现有的这种方法需要计算相位主值以及解包裹相位，从而得到的相位差值，该相位差值便可转化为模型的高度。其计算过程复杂、计算量较大，计算效率较低，从而影响三维图像的应用。
发明内容
鉴于上述状况，有必要针对现有的三维重建技术中深度信息获取效率低的问题，提供一种深度信息获取方法、装置、可读存储介质及计算机设备。
一种深度信息获取方法，包括：
获取摄像头采集的第一目标结构光图像和第二目标结构光图像，所述第一目标结构光图像为通过投影设备投影原始结构方块光图像至目标场景时采集的二维图像，所述目标场景为目标物体放置在参考物体上时的场景，所述第二目标结构光图像为通过所述投影设备投影原始结构方块光图像至所述参考物体表面时采集的二维图像，所述原始结构光图像为暗色的方块和亮色的方块交替出现的网格图像；
确定所述第一目标结构光图像中各个像素点与所述原始结构光图像中各个像素点之间的位置映射关系，得到第一映射关系，以及确定所述第二目标结构光图像中各个像素点与所述原始结构光图像中各个像素点之间的位置映射关系，得到第二映射关系；
根据所述第一映射关系和所述第二映射关系确定所述第一目标结构光图像和所述第二目标结构光图像中对应的像素点，并计算每一对应像素点坐标之间的差异值，以及根据所述差异值计算所述第一目标结构光图像中相应像素点的深度。
进一步的，上述深度信息获取方法，其中，所述确定所述第一目标结构光图像中各个像素点与所述原始结构光图像中各个像素点之间的位置映射关系的步骤包括：
确定所述第一目标结构光图像中每个十字点，并确定所述第一目标结构光图像与所述原始结构光图像中各个十字点之间的位置映射关系，所述十字点为四个相邻方块交点位置的像素点；
确定所述第一目标结构光图像与所述原始结构光图像中所述十字点之外的像素点之间的映射关系。
进一步的，上述深度信息获取方法，其中，所述确定所述第一目标结构光图像中每个十字点的步骤包括：
确定所述第一目标结构光图像中每个像素点周围四个方块区域的颜色，四个所述方块区域按照与像素点的位置关系定义为左上区域、左下区域、右下区域和右上区域；
当当前像素点的左上区域的颜色为暗色、左下区域的颜色为亮色、右下区域的颜色为暗色和右上区域的颜色为亮色，或当所述当前像素点的左上区域的颜色为亮色、左下区域的颜色为暗色、右下区域的颜色为亮色和右上区域的颜色为暗色时，确定所述当前像素点为所述第一目标结构光图像中的交点，并将所述交点作为所述第一目标结构光图像中的十字点。
进一步的，上述深度信息获取方法，其中，所述确定所述第一目标结构光图像中每个像素点周围四个方块区域的颜色的步骤包括：
利用所述投影设备投影一张灰度值小于阈值的纯色图像至所述目标场景上，并采集投影后的所述目标场景的二维图像，得到参考图像；
采集所述第一目标结构光图像和所述参考图像中每个像素点的灰度值，并计算所述第一目标结构光图像和所述参考图像中对应位置的像素点的灰度值差，得到各个像素点对应的灰度差值；
从所述第一目标结构光图像中当前像素点周围的四个所述方块区域中各选取若干个像素点作为参考像素点，并将所述当前像素点对应的灰度差值分别与每个所述参考像素点对应的灰度差值进行比较；
当所述当前像素点对应的灰度差值大于当前方块区域中各个所述参考素点对应的灰度差值时，确定所述当前方块区域为暗色；
当所述当前像素点对应的灰度差值小于所述当前方块区域中各个所述参考像素点对应的灰度差值时，确定所述当前方块区域为亮色。
进一步的，上述深度信息获取方法，其中，所述将所述交点作为所述第一目标结构光图像中的十字点的步骤包括：
查找所述第一目标结构光图像中当前交点周围的所有目标交点，所述目标交点为与所述当前交点的距离在预设距离以内的交点；
将查找到的目标交点与所述当前交点围合成一个片区；
对所述片区内所有交点的位置坐标取平均值，并将所述平均值对应的位置点作为所述片区的十字点。
进一步的，上述深度信息获取方法，其中，所述获取摄像头采集的第一目标结构光图像的步骤包括：
将原始结构光图像通过投影设备分行投影至所述目标场景上，并获取摄像头采集每次投影后的所述目标场景的二维图像，得到所述目标结构光图像；
所述确定所述第一目标结构光图像中各个像素点与所述原始结构光图像中各个像素点之间的位置映射关系，得到第一映射关系的步骤包括：
确定分行投影后采集的各个二维图像分别与所述原始图像中各个像素点的位置映射关系，得到第一映射关系。
进一步的，上述深度信息获取方法，其中，所述将原始结构光图像通过投影设备分行投影至所述目标场景上的步骤包括：
将所述结构光图像中的方块结构按行划分，得到多个方块结构光组；
将多个所述结构光组均分为预设数量的等分，得到所述预设数量个区域图像，其中，四个相邻的方块组成一个方块结构，每个区域图像中相邻的结构光组间隔的宽度等于所述预设数量个结构光组的总宽度；
将各个所述区域图像分别投影至所述目标场景上。
进一步的，上述深度信息获取方法，其中，所述确定所述第一目标结构光图像与所述原始结构光图像中所述十字点之外的像素点之间的映射关系的步骤之前还包括：
对所述第一目标结构光图像中的所有十字点进行分行处理，以确定各个十字点所处的行位置；
在每一行中依序计算相邻两个十字点的间距，并将间距小于阈值距离的两个相邻十字点中的其中一个删除。
进一步的，上述深度信息获取方法，其中，所述确定所述第一目标结构光图像与所述原始结构光图像中所述十字点之外的像素点之间的映射关系的步骤包括：
根据插值法确定所述第一目标结构光图像与所述原始结构光图像中所述十字点之外的像素点之间的映射关系。
进一步的，上述深度信息获取方法，其中，每一对应像素点坐标之间的差异值的计算公式为：
Figure BDA0002672821530000041
其中(X′1,Y′1)表示第二目标结构光中像素点的坐标，(X'2,Y′2)为第一目标结构光图像中像素点的坐标，diff为第一目标结构光图像和第二目标结构光图像中对应的两个像素点之间的差异值。
进一步的，上述深度信息获取方法，其中，所述根据所述差异值计算所述第一目标结构光图像中相应像素点的深度的计算公式为：
Figure BDA0002672821530000051
其中，L为投影设备的光心距参考物体表面之间的距离，D为投影设备与摄像头光心之间的距离。
本发明实施例还提供了一种深度信息获取装置，包括：
获取模块，用于获取摄像头采集的第一目标结构光图像和第二目标结构光图像，所述第一目标结构光图像为通过投影设备投影原始结构方块光图像至目标场景时采集的二维图像，所述目标场景为目标物体放置在参考物体上时的场景，所述第二目标结构光图像为通过所述投影设备投影原始结构方块光图像至所述参考物体表面时采集的二维图像，所述结构光图像为暗色的方块和亮色的方块交替出现的网格图像；
第一确定模块，用于确定所述第一目标结构光图像中各个像素点与所述原始结构光图像中各个像素点之间的位置映射关系，得到第一映射关系；
第二确定模块，用于确定所述第二目标结构光图像中各个像素点与所述原始结构光图像中各个像素点之间的位置映射关系，得到第二映射关系；
第一计算模块，用于根据所述第一映射关系和所述第二映射关系确定所述第一目标结构光图像和所述第二目标结构光图像中对应的像素点；
用于计算每一对应像素点坐标之间的差异值，以及根据所述差异值计算所述第一目标结构光图像中相应像素点的深度。
进一步的，上述深度信息获取装置，其中，所述第一确定模块用于：
确定所述第一目标结构光图像中每个十字点，并确定所述第一目标结构光图像与所述原始结构光图像中各个十字点之间的位置映射关系，所述十字点为四个相邻方块交点位置的像素点；
确定所述第一目标结构光图像与所述原始结构光图像中所述十字点之外的像素点之间的映射关系。
进一步的，上述深度信息获取装置，其中，所述确定所述第一目标结构光图像中每个十字点的步骤包括：
确定所述第一目标结构光图像中每个像素点周围四个方块区域的颜色，四个所述方块区域按照与像素点的位置关系定义为左上区域、左下区域、右下区域和右上区域；
当当前像素点的左上区域的颜色为暗色、左下区域的颜色为亮色、右下区域的颜色为暗色和右上区域的颜色为亮色，或当所述当前像素点的左上区域的颜色为亮色、左下区域的颜色为暗色、右下区域的颜色为亮色和右上区域的颜色为暗色时，确定所述当前像素点为所述第一目标结构光图像中的交点，并将所述交点作为所述第一目标结构光图像中的十字点。
本发明实施例还提供了一种可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一所述的方法。
本发明实施例还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现上述任意一项所述的方法。
本发明实施例中，将目标物体置于参考物体表面后，通过投影仪投射方块结构光至目标物体和参考物体，并通过摄像头拍照采集得到第一目标结构光图像，再将目标物体从参考物体上取走，通过投影仪投射方块结构光至参考物体，并通过摄像头拍照采集得到第二目标结构光图像。通过采集第一目标结构光图像，建立投影仪与摄像头像素点位置间的第一映射关系，通过采集第二目标结构光图像，建立投影仪与摄像头像素点位置间的第二映射关系。基于两个映射关系之间的差异，可得出目标物体的深度信息。本发明提出了一种新的结构光概念，即方块结构光，并采用方块结构光进行物体投射得到的二位图像，继而计算出每个像素点的深度，其计算效率高，能更方便，简单的进行深度信息获取。
附图说明
图1为本发明第一实施例中的深度信息获取方法的流程图；
图2为原始结构光图像的示意图；
图3a和图3b分别为两种情况下四个相邻方块的颜色示意图；
图4为本发明第二实施例中的深度信息获取方法的流程图；
图5为本发明第二实施例中确定第一目标结构光图像中的十字点的方法流程图；
图6为本发明第二实施例中确定第一目标结构光图像中每个像素点周围四个方块区域的颜色的方法流程图；
图7为本发明第二实施例中，各个方块区域中参考像素点的位置分布示意图；
图8为为本发明第三实施例中获取摄像头采集第一目标结构光图像的方法流程图；
图9为投射一个区域图像的示意图；
图10为本发明第四实施例中的深度信息获取装置的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
请参阅图1，为本发明第一实施例中的深度信息获取方法，包括步骤S11～S14。
步骤S11，获取摄像头采集的第一目标结构光图像和第二目标结构光图像。
其中，该第一目标结构光图像为通过投影设备投影原始结构方块光图像至目标场景时采集的二维图像，该目标场景为目标物体放置在参考物体上时的场景。即将目标物体放置在参考物体表面后，通过投影设备投射一张原始结构光图像至目标物体和参考物体上，再利用摄像头进行拍照得到该目标场景的二维图像，即第一目标结构光图像。
该参考物体一般选取表面平整的物体，用于对目标物体的深度获取过程中作为参考面，该第一目标结构光图像中，参考物体的表面高度为零。该目标物体一般为三维物体，其为将待重建模型。
该第二目标结构光图像为通过该投影设备投影原始结构方块光图像至参考物体表面时采集的二维图像。即投影设备投影原始结构光图像至参考物体上时，利用摄像头对该参考物体进行拍照得到的二维图像即为该第二目标结构光图像。
如图2所示，该原始结构光图像为规则的暗色的方块和亮色的方块交替出现的网格图像，通过程序可计算得到该原始结构光图像。需要说明的是，该原始结构光图像中暗色方块和亮色方块的大小均等，且方块尺寸根据实际需要进行设置。具体实施时，投影设备投影原始结构光图像的过程中产生方块结构光。这种结构光采用对比度较大的两种颜色的方块组成，即灰度值较小的暗色方块和灰度值较大的亮色方块，其信息少，容易进行计算处理。
优选的，该两种方块的颜色可采用纯黑色和纯白色，其两种颜色对比度最大，有利于数据的处理。
需要说明的是，第一目标结构光图像和第二目标结构光图像采集的整个过程不允许移动投影设备和摄像头以及待目标物体的位置。
步骤S12，确定所述第一目标结构光图像中各个像素点与所述原始结构光图像中各个像素点之间的位置映射关系，得到第一映射关系，以及确定所述第二目标结构光图像中各个像素点与所述原始结构光图像中各个像素点之间的位置映射关系，得到第二映射关系。
该投影设备例如投影仪，其与计算机设备连接，通过计算机设备控制该投影设备投射原始结构光图像。投影设备和摄像头的分辨率不同，因此，第一目标结构光图像以及第二目标结构光图像与原始结构光图像的分别率不同。具体的，该投影设备投射画面的分辨率和计算机一致，例如均为1366*768，也就是横向分辨率和纵向分辨率分别是1366和768，相机的分辨率为2448*2048。
该第一目标结构光图像中的各像素点的与原始结构光图像中各像素点的位置有一一对应关系，即第一映射关系。该第二目标结构光图像中的各像素点与该原始结构光图像中各像素点的位置有一一对应关系，即第二映射关系。根据该第一映射关系和第二映射关系可得到第一目标结构光图像中各像素点和第二目标结构光图像中各像素点的位置对应关系。具体实施时，第一映射关系和第二映射关系可以以映射关系表的形式存储。
如何确定摄像设备中原始结构光图像和摄像头采集的图像之间像素点的映射关系，是本实施例中的重点和难点。本实施例中采用方块结构光对物体进行投射，因此摄像头采集的二维图像也是亮色和暗色方块交替出现的网格图像。
具体实施时，可将网格图像中相邻四个方块的交点处的像素点定义为十字点。例如四个方块按两行两列排列，组成一个正方形，这个正方形对角线上的方块颜色是一样的，纵向和横向的相邻方块颜色不同，这四个方块的交点即为十字点。
进一步的，确定第一目标结构光图像与原始结构光图像中各个像素点的位置映射关系时，可先确定两幅图像中十字点之间的位置映射关系。然后再确定第一目标结构光图像和原始结构光图像中除十字点之外的像素点之间的位置映射关系。根据确定的第一目标结构光图像与原始结构光图像中各个像素点的位置映射关系即可得到第一映射关系。
具体的，该第一目标结构光图像中各个十字点和原始结构光图像中各个十字点可通过系统的标识来识别，根据该标识查找两图像中对应的十字点，然后获取两张图像中对应十字点的坐标即可得到两张图像中十字点之间的位置映射关系。
需要说明的是，原始结构光图像中各个方块的位置是固定的，因此每个十字点的位置可确定。而第一目标结构光图像中的方块部分变形，因此四个相邻方块的十字点比较难以确定。作为本发明的一种实施方式，该第一目标结构光图像中的十字点的确定可采用下述步骤来实现：
步骤1，确定所述第一目标结构光图像中每个像素点周围四个方块区域的颜色，该四个方块区域按照与像素点的位置关系定义为左上区域、左下区域、右下区域和右上区域的颜色；
步骤2，当当前像素点的左上区域的颜色为暗色、左下区域的颜色为亮色、右下区域的颜色为暗色和右上区域的颜色为亮色，或当所述当前像素点的左上区域的颜色为亮色、左下区域的颜色为暗色、右下区域的颜色为亮色和右上区域的颜色为暗色时，确定所述当前像素点为所述第一目标结构光图像中的交点，并将所述交点作为所述第一目标结构光图像中的十字点。
如图3a和3b所示，该第一目标结构光图像中相邻四个方块由交替暗色方块和亮色方块组成，其交点周围四个方块区域的颜色具有一定的规律，如该交点的左上方块为暗色、左下方块为亮色、右下方块为暗色、右上方块为亮色，或者该交点左上方块为亮色、左下方块为暗色、右下方块为亮色、右上方块为暗色。
根据该规律依次判断每个像素点周围四个方块区域的颜色，当当前像素点符合该规律时，则确定该当前像素点为四个方块的交点。并将该当前像素点作为该目标结构光中的十字点。其中，该方块区域的尺寸等于或略小于实际投影后的亮色和暗色方块的尺寸。
需要说明的是，本实施例中仅以颜色的灰度值来区分各个颜色的不同，其中，左上区域、左下区域、右下区域和右上区域中所提到的亮色和暗色分别为与方块结构光中的亮色及暗色的灰度值相一致的颜色。
进一步的，在本发明的一实施例中，该第一目标结构光图像和原始结构光图像中除十字点之外的像素点之间的映射关系可根据差值法确定。
可以理解的，根据与第一映射关系确定方法相同的原理，可以确定出第二目标结构光图像中各像素点与原始结构光图像中各像素点之间的映射关系，从而得到第二对应关系。
步骤S13，根据所述第一映射关系和所述第二映射关系确定所述第一目标结构光图像和所述第二目标结构光图像中对应的像素点，并计算每一对应像素点坐标之间的差异值。
根据该第一映射关系和第二映射关系可得到第一目标结构光图像中各像素点和第二目标结构光图像中各像素点的位置对应关系。本实施例中提到的位置对应关系具体为坐标位置关系。根据该位置对应关系可计算第一目标结构光图像和第二目标结构光图像中对应的像素点坐标之间的差异值，其具体计算公式如下：
Figure BDA0002672821530000111
其中(X′1,Y′1)表示第二目标结构光中像素点的坐标，(X'2,Y′2)为第一目标结构光图像中像素点的坐标。
步骤S14，根据所述差异值计算所述第一目标结构光图像中相应像素点的深度。
利用步骤S13中求得第一目标结构光图像和第二目标结构光图像中对应的像素点坐标之间的差异值，结合已测量好的摄像头与投影设备光心之间的距离以及投影设备距参考物体表面之间的距离，由公式(2)可求得第一目标结构光图像中每一个像素点的深度值。
Figure BDA0002672821530000112
其中，L为投影设备的光心距参考物体表面之间的距离，D为投影设备与摄像头光心之间的距离。
本实施例中，将目标物体置于参考物体表面后，通过投影仪投射方块结构光至目标物体和参考物体，并通过摄像头拍照采集得到第一目标结构光图像，再将目标物体从参考物体上取走，通过投影仪投射方块结构光至参考物体，并通过摄像头拍照采集得到第二目标结构光图像。通过采集第一目标结构光图像，建立投影仪与摄像头像素点位置间的第一映射关系，通过采集第二目标结构光图像，建立投影仪与摄像头像素点位置间的第二映射关系。基于两个映射关系之间的差异，可得出目标物体的深度信息。本实施例中提出了一种新的结构光概念，即方块结构光，并采用方块结构光进行物体投射得到的二位图像，继而计算出每个像素点的深度，其计算效率高，能更方便，简单的进行深度信息获取。
请参阅图4，为本发明第二实施例中的深度信息获取方法，包括步骤S21～S29。
步骤S21，获取摄像头采集的第一目标结构光图像和第二目标结构光图像，所述第一目标结构光图像和第二目标结构光图像分别为投射原始结构光图像至目标场景和参考物体上时采集的二维图像，所述原始结构光图像为黑色的方块和白色的方块交替出现的网格图像。
其中，该第一目标结构光图像为通过投影设备投影原始结构方块光图像至目标场景时采集的二维图像，该目标场景为目标物体放置在参考物体上时的场景。即将目标物体放置在参考物体表面后，通过投影设备投射一张原始结构光图像至目标物体和参考物体上，再利用摄像头进行拍照得到该目标场景的二维图像，即第一目标结构光图像。
该第二目标结构光图像为通过该投影设备投影原始结构方块光图像至参考物体表面时采集的二维图像。即投影设备投影原始结构光图像至参考物体上时，利用摄像头对该参考物体进行拍照得到的二维图像即为该第二目标结构光图像。
步骤S22，确定所述第一目标结构光图像中每个十字点，并确定所述第一目标结构光图像与所述原始结构光图像中各个十字点之间的位置映射关系，所述十字点为四个相邻方块交点位置的像素点。
如图5所示，上述步骤中，确定第一目标结构光图像中的十字点的步骤具体包括：
步骤S01，确定所述第一目标结构光图像中每个像素点周围四个方块区域的颜色，四个所述方块区域按照位置关系定义为左上区域、左下区域、右下区域和右上区域；
步骤S02，当所述当前像素点的左上区域的颜色为黑色、左下区域的颜色为白色、右下区域的颜色为黑色和右上区域的颜色为白色，或当所述当前像素点的左上区域的颜色为白色、左下区域的颜色为黑色、右下区域的颜色为白色和右上区域的颜色为黑色时，确定所述当前像素点为相邻四个方块的交点；
步骤S03，根据各个交点确定所述第一目标结构光图像中的十字点。
如图6所示，确定所述第一目标结构光图像中每个像素点周围四个方块区域的颜色的步骤具体包括：
步骤S011，利用所述投影设备投影一张灰度值小于阈值的纯色图像至所述目标场景上，并采集投影后的所述目标场景的二维图像，得到参考图像；
步骤S012，采集所述第一目标结构光图像和所述参考图像中每个像素点的灰度值，并计算所述第一目标结构光图像和所述参考图像中对应位置的像素点的灰度值差，得到各个像素点对应的灰度差值；
步骤S013，从所述第一目标结构光图像中当前像素点周围的四个所述方块区域中各选取若干个像素点作为参考像素点，并将所述当前像素点对应的灰度差值分别与每个所述参考像素点对应的灰度差值进行比较；
步骤S014，当所述当前像素点对应的灰度差值大于当前方块区域中各个所述参考素点对应的灰度差值时，确定所述当前方块区域为白色；
步骤S015，当所述当前像素点对应的灰度差值小于所述当前方块区域中各个所述参考像素点对应的灰度差值时，确定所述当前方块区域为黑色。
本实施例中，首先利用投影设备投影一低灰度的纯色图像至目标场景上，该纯色图像的灰度值低于阈值例如为20。采用相机对三维物体进行拍照，得到的二维图像，称为“暗照”，这张“暗照”作为确定十字点的参考图像。然后对所述目标结构光图像和所述参考图像中所有像素点的左上区域、左下区域、右下区域和右上区域进行灰度值采样。
采样点的数量和具体位置可根据实际需要进行设置。需要说明的是，由于投影仪投射图像时某点的亮度会影响周围几个点的实际亮度值，为提高确定十字点位置信息的精度，采样离本点较远的周围几个像素点作为参考像素点。例如，在当前像素点N(x,y)左上区域、左下区域、右下区域和右上区域各采集三个参考点，各个方块区域中参考像素点的位置如图7所示，坐标为如下：
左上区域的采样点为，LU1，坐标为(x-3,y+3)；LU2，坐标为(x-2,y+3)，LU3，坐标为(x-3,y+2)；
左下区域的采样点为，LD1，坐标为(x-3,y-3)；LD2，坐标为(x-2,y-3)；LD3，坐标为(x-3,y-2)；
右下区域的采样点为，RD1，坐标为(x+3,y-3)；RD2，坐标为(x+2,y-3)；RD3，坐标为(x+3,y-2)；
右上区域的采样点为，RU1，坐标为(x+3,y+3)；RU2，坐标为(x+2,y+3)，RU3，坐标为(x+3,y+2)。
图7中，各个参数像素点在X轴和Y轴方向上距离该当前像素点2至3个像素单位。
对该第一目标结构光图像中和参考图像的对应位置的像素点的灰度值进行差值计算，并根据本点和各个方块区域中参考像素点的灰度差值确定各个区域的颜色。下面以其中一像素点为例进行说明：
将该第一目标结构光图像中的当前像素点的灰度值记为B(x,y)，参考图像中与该当前像素点位置对应的参考像素点的灰度值记为A(x,y)。对应位置点之间的灰度差值记为C(x,y)，则C(x,y)＝B(x,y)-A(x,y)。
如果C(x-3,y+3)>C(x,y)，且C(x-3,y+2)>C(x,y)，且C(x-2,y+3)>C(x,y)，则左上区域记为白色；
如果C(x-3,y+3)<C(x,y)，且C(x-3,y+2)<C(x,y)，且C(x-2,y+3)<C(x,y)，则左上区域记为黑色。
当前像素点周围四个方块区域的颜色呈黑白交替出现时，则确定当前像素点为四个方块的交点。
具体的，该第一目标结构光图像中的十字点根据各个交点的位置确定，具体的确定方法包括：
查找所述第一目标结构光图像中当前交点周围的所有目标交点，所述目标交点为与所述当前交点的距离在预设距离以内的交点；
将查找到的目标交点与所述当前交点围合成一个片区；
对所述片区内所有交点的位置坐标取平均值，并将所述平均值对应的位置点作为所述片区的十字点。
本实施例中，确定的各个交点仅为疑似十字点，即并不是所有的交点都作十字点。因此，需要对各个交点进行合并处理，从而确定理想的十字点的位置。
具体的，首先取一个交点，然后拾取当前交点周围的满足预设条件的目标交点。该预设条件为与该交点的距离在预设距离以内。该预设距离根据实际投影后的方块的大小确定，例如可设置为3个坐标单位，也就是X方向和Y方向上距离当前交点均小于3个单位的交点。将找到的目标交点和当前交点则作为一个区域，针对该区域进行合并处理，合并的方法就是取该区域的中心点，即对该区域内所有目标交点和当前交点的位置在X、Y方向上取平均值，然后得到的平均值该区域的中心点的位置坐标，并将该位置坐标上的像素点作为该区域的十字点。
根据该方法对对所有片区进行相同的运算，以对每个片区的交点进行合并处理，从而得到该目标结构光图像中符合要求的所有十字点。
进一步的，作为本发明的另一中实施方式，为了使目标结构光图像中各个十字点的位置坐标更为准确，得到可以使用的十字点信息，还需要对上述符合要求的十字点进行分行处理和降噪处理，删除不理想的十字点后，再执行下一步骤。
其中，分行处理即是使第一目标结构光图像中各个十字点按照原始结构光图像中行位置进行分行。分行的原则是选择每行最左边的十字点作为一行的开始点，然后将其右侧的十字点Y坐标值与该开设点的Y坐标值进行比较，如果差值在预设值(如20)以内，则和该点是同一行，以此例推，将每一个十字点均与右侧一个十字点的Y坐标值进行比较，以确定是否为同一行，直至最右侧的十字点。通过该运算，最后会剩下部分不符合要求的十字点，对这些十字点进行如下处理：
比较该十字点Y方向相邻的十字点Y值大小，该十字点Y值越接近哪行的Y值，则归入哪行，这一步就将所有的十字点完成了分行处理。
根据上述分行处理方法可确定各个十字点所属的行位置，然后再对每一行的十字点进行降噪处理，降噪处理过程如下：
(1)由于最左边的十字点并不一定是该第一目标结构光图像的左边界点，所以需要确定边界点的位置。首先确定各个最左侧十字点a0，即位置在第一目标结构光图像最左边的十字点，然后查找临近当前最左侧十字点a0左侧的一个像素点a-1，对该当前最左侧十字点a0进行运算，该运算为：
用当前最左侧十字点a0相邻的右侧像素点a1的灰度值减去像素点a-1的灰度值，得到灰度差值A0，同时对该像素点a-1进行相同的运算，即a-1右侧的像素点a0的灰度值减去其左侧相邻的像素点a-2的灰度值，得到灰度差值A-1，比较A0和A-1的大小；
依次类推，对a0左边的所有像素点均通过上述运算进行灰度差值比较，找到灰度差值最大的目标点，而且这个目标点经该运算过后的灰度差值不变化，则该目标点为图像左边的界点；
(2)根据上述原理得出图像的右边界点；
(3)清除噪点，即对左右边界点X方向的位置坐标进行减法计算并除以该行所有十字点的数量，得到十字点的平均间距(如0.75)，然后，算出该行所有十字点的平均Y值，如果任意两个相邻十字点的X方向上的间距小于X平均间距的0.75，则这两个相邻的十字点必须删掉一个，删掉的原则是哪个点的Y值越接近Y平均值，则保留，清除另一个十字点；
依次类推对每一行十字点都进行清除噪点处理，从而删除了所有十字点中的噪点，得到更为准确的十字点。
确定了第一目标结构光图像中各个十字点后，再确定第一目标结构光图像中各个十字点与原始结构光图像中各个十字点之间的位置映射关系。
具体的，原始结构光图像为投影图像，而第一目标结构光图像为摄像头拍的图像，投影设备和摄像头的分辨率不同，因此，两张结构光图像中相同十字点对应的位置坐标采用不同的坐标系。本实施例中需要建立第一目标结构光图像和原始结构光图像中各个十字点的位置坐标的映射关系。
该第一目标结构光图像和原始结构光图像中各个十字点可通过标识来识别，根据该标识查找两图对应的十字点，然后获取两张图像中对应十字点的坐标即可得到两张图像中十字点之间映射关系。将第一目标结构光图像中十字点的位置坐标(X’，Y’)，与原始结构光图像中十字点的位置坐标(X，Y)进行一一映射，可以得到这两张图像之间的映射关系，如表1所示，表1仅例举了部分十字点坐标映射关系)。其中，(X,Y)为投影图像的十字点坐标，(X’，Y’)为摄像头拍摄图像的十字点坐标。
表1
X Y X’ Y’
670 460 1276 1117
675 460 1284 1117
680 460 1292 1117
685 460 1300 1117
670 466 1275 1128
675 466 1284 1128
需要说明的是，第一目标结构光图像和原始结构光图像中十字点的标识可以编号来表示。具体实施时，可为两张图像中对于每一行中的每个十字点分配对应的编号，编号规则如下：
NU＝i+<(Xi-Xi-1)/d>-1
其中，NU为本十字点的编号，i为本十字点的下标，xi为本十字点的横坐标，xi-1为前点的横坐标，d为该行两个十字点的平均间距，<(Xi-Xi-1)/d>为对(Xi-Xi-1)/d的值进行四舍五入；
按照上述编号规则编号后，采用下述方法进行编号的整理：
当上行对应点与下行对应点同时满足条件1和条件2时，则修改本点的编号。其中，“上行对应点”表示上一行中编号与本十字点相同的点，“下行对应点”表示下一行中编号与本十字点相同的十字点。
其中，条件1为：上行对应点的横坐标与下行对应点的横坐标的差值小于预设值；条件2为：本点的横坐标与下行对应点的横坐标的差值大于该预设值，此处的预设值可根据实际情况进行设设置，例如可设置为5。
其中，则修改本点的编号具体方法如下：
当上行差距最小点的横坐标与本十字点的横坐标的差值小于下行差距最小点的横坐标与本十字点的横坐标的差值时，将本点的编号修改为上行差距最小点的编号，然后后续的点依次修改；
当上行差距最小点的横坐标与本十字点的横坐标的差值大于下行差距最小点的横坐标与本点的横坐标的差值时，将本点的编号修改为下行差距最小点的编号，然后后续的点依次修改。
其中，上行差距最小点，表示从上一行中找出与本点的横坐标差距最小的点；下行差距最小点，表示从下一行中找出与本点的横坐标差距最小的点。
通过上述编号规则和编号整理可确定第一目标结构光图像中各个十字点的编号。
步骤S23，根据插值法确定所述第一目标结构光图像和所述原始结构光图像中所述十字点之外的像素点之间的位置映射关系。
步骤S24，根据所述第一目标结构光图像中各个像素点坐标与所述原始结构光图像中各个像素点坐标之间的位置映射关系，得到第一映射关系表。
确定了第一目标结构光图像和原始结构光图像之间十字点的位置映射关系后，对于其他的像素点则根据差值法确定位置映射关系。例如十字点(1276,117)到(1284,1117)中间按平均值取出3个点，该三个点的坐标分别为(1278,117)，(1280,117)，(1282,117)按照差值法，坐标点(1278,117)对应原始结构光图像中的像素点(672,460)，坐标点(1282,117)对应空白图像中的空白点(673,460)，坐标点(1282,117)对应原始图像中的空白点(674,460)，以此类推可以确定出该第一目标结构光图像和原始结构光图像中所有像素点之间的映射关系。
步骤S25，确定所述第二目标结构光图像中每个十字点的坐标，并确定所述第二目标结构光图像与所述原始结构光图像中各个十字点之间的映射关系，所述十字点为四个相邻方块交点位置的像素点。
步骤S26，根据插值法确定所述第二目标结构光图像和所述原始结构光图像中所述十字点之外的像素点之间的位置映射关系。
步骤S27，根据所述第二目标结构光图像中各个像素点坐标与所述原始结构光图像中各个像素点坐标之间的位置映射关系，得到第二映射关系表。
其中，第二目标结构光图像中各个像素点与原始结构光图像中各个像素点之间的位置映射关系的确定方法可参照上述方法，此处不予赘述。该第二映射关系表例如表2所示。
表2
X Y X’ Y’
670 460 1275 1045
675 460 1284 1045
680 460 1292 1045
685 460 1300 1045
670 466 1275 1055
675 466 1283 1055
步骤S28，根据所述第一映射关系表和所述第二映射关系表确定所述第一目标结构光图像中各像素点与所述第二目标结构光图像中各像素点之间的位置对应关系，并根据所述对应关系计算所述第一目标结构光图像和所述第二目标结构光图像中对应的像素点坐标之间的差异值。
该差异值具体计算公式如下：
Figure BDA0002672821530000191
其中(X′1,Y′1)表示第二目标结构光中像素点的坐标，(X'2,Y′2)为第一目标结构光图像中像素点的坐标。
步骤S29，根据所述摄像头与所述投影设备光心之间的距离、所述投影设备距所述参考物体表面之间的距离，以及所述第一目标结构光图像中各像素点确定的所述差异值计算所述第一目标结构光图像中每一像素点的深度。
该像素点(X'2,Y′2)深度值计算公式如下：
Figure BDA0002672821530000192
其中，L为投影设备的光心距参考物体表面的距离，D为投影设备与摄像头光心之间的距离。
根据该深度信息获取方法可得到第一目标结构光图像中所有像素点的深度信息，根据该深度信息即可实现三维重建。
进一步的，为了提高数据处理效率和十字点的确认准确性，本发明的第三实施例中，可对原始结构光分多次投影，并进行多次图像采集，并分别对每次采集的图像进行十字点确定。具体的，如图8所示，该第三实施例中，所述获取摄像头采集的第一目标结构光图像的步骤包括：
步骤S111，将原始结构光图像通过投影设备分行投影至所述目标场景上；
步骤S112，获取摄像头采集每次投影后的所述目标场景的二维图像，得到所述第一目标结构光图像。
进一步的，第三实施例中，确定第一目标结构光图像中的十字点的步骤包括：
确定分行投影后采集的每个二维图像中的十字点，并进行汇总，得到所述第一目标结构光图像中的所有十字点。
优选的，上述步骤中，将原始结构光图像通过投影设备分行投影至所述目标场景上的步骤具体为：
将所述结构光图像中的方块结构按行划分，得到多个方块结构光组；
将多个所述结构光组均分为预设数量的等分，得到所述预设数量个区域图像，其中，四个相邻的方块组成一个方块结构，每个区域图像中相邻的结构光组间隔的宽度等于所述预设数量个结构光组的总宽度；
将各个所述区域图像分别投影至所述目标场景上。
举例来说，投射原始结构光图像的过程分成32次投射进行，每次投影均进行拍照。如将图2中的原始结构光图像中，一行方块结构形成一个方块结构光组，将所有的方块结构光组均分成32等分，得到32个区域图像，其中，四个方形成一个方块结构。如图9所示，该例中，每个区域图像包含四个方块结构光组，相邻两个结构光组之间间隔的宽度等于32个结构光组的总宽度。利用投影设备依次投射一个区域图像至目标场景上，并采集二维图像需要说明的是，图7中仅示出方块结构光组的区域的颜色，方块结构光组之间的区域的颜色为黑色。。每个子图像中相邻行的十字点间距较大，便于十字点位置的确定。
简而言之，该第三实施例中将原始结构光分多次投影，如32次，并进行32次图像采集，得到32张子图像。通过计算机将这32张子图像分别进行运算，以确定十字点，将运算结果进行汇总，最终可以确定该目标结构光图像中所有的十字点。由于每张子图像由多个结构光组构成，每个结构光组之间具有间距(为32个结构光组的总宽度)，每张子图像中的信息量少、且构成简单，进行十字点定位时更加确定。
请参阅图10，为本发明第四实施例中的深度信息获取装置，包括：
获取模块10，用于获取摄像头采集的第一目标结构光图像和第二目标结构光图像，所述第一目标结构光图像为通过投影设备投影原始结构方块光图像至目标场景时采集的二维图像，所述目标场景为目标物体放置在参考物体上时的场景，所述第二目标结构光图像为通过所述投影设备投影原始结构方块光图像至所述参考物体表面时采集的二维图像，所述原始结构光图像为暗色的方块和亮色的方块交替出现的网格图像；
第一确定模块20，用于确定所述第一目标结构光图像中各个像素点与所述原始结构光图像中各个像素点之间的位置映射关系，得到第一映射关系；
第二确定模块30，用于确定所述第二目标结构光图像中各个像素点与所述原始结构光图像中各个像素点之间的位置映射关系，得到第二映射关系；
第一计算模块40，用于根据所述第一映射关系和所述第二映射关系确定所述第一目标结构光图像和所述第二目标结构光图像中对应的像素点；
第二计算模块50，用于计算每一对应像素点坐标之间的差异值，以及根据所述差异值计算所述第一目标结构光图像中相应像素点的深度。
进一步的，上述深度信息获取装置，其中，所述第一确定模块20用于：
确定所述第一目标结构光图像中每个十字点，并确定所述第一目标结构光图像与所述原始结构光图像中各个十字点之间的位置映射关系，所述十字点为四个相邻方块交点位置的像素点；
确定所述第一目标结构光图像与所述原始结构光图像中所述十字点之外的像素点之间的映射关系。
进一步的，上述深度信息获取装置，其中，所述确定所述第一目标结构光图像中每个十字点的步骤包括：
确定所述第一目标结构光图像中每个像素点周围四个方块区域的颜色，四个所述方块区域按照与像素点的位置关系定义为左上区域、左下区域、右下区域和右上区域；
当当前像素点的左上区域的颜色为暗色、左下区域的颜色为亮色、右下区域的颜色为暗色和右上区域的颜色为亮色，或当所述当前像素点的左上区域的颜色为亮色、左下区域的颜色为暗色、右下区域的颜色为亮色和右上区域的颜色为暗色时，确定所述当前像素点为所述第一目标结构光图像中的交点，并将所述交点作为所述第一目标结构光图像中的十字点。
本发明实施例所提供的深度信息获取装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例还提供了一种可读存储介质，其上存储有程序，所述程序被处理器执行时实现上述任一所述的方法。
本发明实施例还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现上述任意一项所述的方法。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种深度信息获取方法，其特征在于，包括：
获取摄像头采集的第一目标结构光图像和第二目标结构光图像，所述第一目标结构光图像为通过投影设备投影原始结构光图像至目标场景时采集的二维图像，所述目标场景为目标物体放置在参考物体上时的场景，所述第二目标结构光图像为通过所述投影设备投影原始结构光图像至所述参考物体表面时采集的二维图像，所述原始结构光图像为暗色的方块和亮色的方块交替出现的网格图像；
确定所述第一目标结构光图像中各个像素点与所述原始结构光图像中各个像素点之间的位置映射关系，得到第一映射关系，以及确定所述第二目标结构光图像中各个像素点与所述原始结构光图像中各个像素点之间的位置映射关系，得到第二映射关系；
根据所述第一映射关系和所述第二映射关系确定所述第一目标结构光图像和所述第二目标结构光图像中对应的像素点，并计算每一对应像素点坐标之间的差异值，以及根据所述差异值计算所述第一目标结构光图像中相应像素点的深度；
其中，所述第一映射关系和所述第二映射关系的确定方法包括：
确定所述第一目标结构光图像和所述第二目标结构光图像中的每个十字点，并分别确定所述第一目标结构光图像和所述第二目标结构光图像与所述原始结构光图像中各个十字点之间的位置映射关系，以及分别确定所述第一目标结构光图像和所述第二目标结构光图像与所述原始结构光图像中所述十字点之外的像素点之间的映射关系，所述十字点为四个相邻方块交点位置的像素点。
2.如权利要求1所述的深度信息获取方法，其特征在于，确定所述第一目标结构光图像中每个十字点的步骤包括：
确定所述第一目标结构光图像中每个像素点周围四个方块区域的颜色，四个所述方块区域按照与像素点的位置关系定义为左上区域、左下区域、右下区域和右上区域；
当当前像素点的左上区域的颜色为暗色、左下区域的颜色为亮色、右下区域的颜色为暗色和右上区域的颜色为亮色，或当所述当前像素点的左上区域的颜色为亮色、左下区域的颜色为暗色、右下区域的颜色为亮色和右上区域的颜色为暗色时，确定所述当前像素点为所述第一目标结构光图像中的交点，并将所述交点作为所述第一目标结构光图像中的十字点。
3.如权利要求2所述的深度信息获取方法，其特征在于，所述确定所述第一目标结构光图像中每个像素点周围四个方块区域的颜色的步骤包括：
利用所述投影设备投影一张灰度值小于阈值的纯色图像至所述目标场景上，并采集投影后的所述目标场景的二维图像，得到参考图像；
采集所述第一目标结构光图像和所述参考图像中每个像素点的灰度值，并计算所述第一目标结构光图像和所述参考图像中对应位置的像素点的灰度值差，得到各个像素点对应的灰度差值；
从所述第一目标结构光图像中当前像素点周围的四个所述方块区域中各选取若干个像素点作为参考像素点，并将所述当前像素点对应的灰度差值分别与每个所述参考像素点对应的灰度差值进行比较；
当所述当前像素点对应的灰度差值大于当前方块区域中各个所述参考像素点对应的灰度差值时，确定所述当前方块区域为暗色；
当所述当前像素点对应的灰度差值小于所述当前方块区域中各个所述参考像素点对应的灰度差值时，确定所述当前方块区域为亮色。
4.如权利要求2所述的深度信息获取方法，其特征在于，所述将所述交点作为所述第一目标结构光图像中的十字点的步骤包括：
查找所述第一目标结构光图像中当前交点周围的所有目标交点，所述目标交点为与所述当前交点的距离在预设距离以内的交点；
将查找到的目标交点与所述当前交点围合成一个片区；
对所述片区内所有交点的位置坐标取平均值，并将所述平均值对应的位置点作为所述片区的十字点。
5.如权利要求1所述的深度信息获取方法，其特征在于，所述获取摄像头采集的第一目标结构光图像的步骤包括：
将原始结构光图像通过投影设备分行投影至所述目标场景上，并获取摄像头采集每次投影后的所述目标场景的二维图像，得到所述目标结构光图像；
所述确定所述第一目标结构光图像中各个像素点与所述原始结构光图像中各个像素点之间的位置映射关系，得到第一映射关系的步骤包括：
确定分行投影后采集的各个二维图像分别与所述原始结构光图像中各个像素点的位置映射关系，得到第一映射关系。
6.如权利要求5所述的深度信息获取方法，其特征在于，所述将原始结构光图像通过投影设备分行投影至所述目标场景上的步骤包括：
将所述结构光图像中的方块结构按行划分，得到多个方块结构光组；
将多个所述结构光组均分为预设数量的等分，得到所述预设数量个区域图像，其中，四个相邻的方块组成一个方块结构，每个区域图像中相邻的结构光组间隔的宽度等于所述预设数量个结构光组的总宽度
将各个所述区域图像分别投影至所述目标场景上。
7.如权利要求1所述的深度信息获取方法，其特征在于，所述确定所述第一目标结构光图像与所述原始结构光图像中所述十字点之外的像素点之间的映射关系的步骤之前还包括：
对所述第一目标结构光图像中的所有十字点进行分行处理，以确定各个十字点所处的行位置；
在每一行中依序计算相邻两个十字点的间距，并将间距小于阈值距离的两个相邻十字点中的其中一个删除。
8.一种深度信息获取装置，其特征在于，包括：
获取模块，用于获取摄像头采集的第一目标结构光图像和第二目标结构光图像，所述第一目标结构光图像为通过投影设备投影原始结构光图像至目标场景时采集的二维图像，所述目标场景为目标物体放置在参考物体上时的场景，所述第二目标结构光图像为通过所述投影设备投影原始结构光图像至所述参考物体表面时采集的二维图像，所述原始结构光图像为暗色的方块和亮色的方块交替出现的网格图像；
第一确定模块，用于确定所述第一目标结构光图像中各个像素点与所述原始结构光图像中各个像素点之间的位置映射关系，得到第一映射关系；
第二确定模块，用于确定所述第二目标结构光图像中各个像素点与所述原始结构光图像中各个像素点之间的位置映射关系，得到第二映射关系；
第一计算模块，用于根据所述第一映射关系和所述第二映射关系确定所述第一目标结构光图像和所述第二目标结构光图像中对应的像素点；
第二计算模块，用于计算每一对应像素点坐标之间的差异值，以及根据所述差异值计算所述第一目标结构光图像中相应像素点的深度；
其中，所述第一映射关系和所述第二映射关系的确定方法包括：
确定所述第一目标结构光图像和所述第二目标结构光图像中的每个十字点，并分别确定所述第一目标结构光图像和所述第二目标结构光图像与所述原始结构光图像中各个十字点之间的位置映射关系，以及分别确定所述第一目标结构光图像和所述第二目标结构光图像与所述原始结构光图像中所述十字点之外的像素点之间的映射关系，所述十字点为四个相邻方块交点位置的像素点。
9.一种可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1－7任一所述的深度信息获取方法。
10.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1－7任意一项所述的深度信息获取方法。
CN202010938598.4A 2020-09-09 2020-09-09 深度信息获取方法、装置、可读存储介质及计算机设备 Active CN112037273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010938598.4A CN112037273B (zh) 2020-09-09 2020-09-09 深度信息获取方法、装置、可读存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010938598.4A CN112037273B (zh) 2020-09-09 2020-09-09 深度信息获取方法、装置、可读存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN112037273A CN112037273A (zh) 2020-12-04
CN112037273B true CN112037273B (zh) 2023-05-19

Family

ID=73584373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010938598.4A Active CN112037273B (zh) 2020-09-09 2020-09-09 深度信息获取方法、装置、可读存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN112037273B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113190710B (zh) * 2021-04-27 2023-05-02 南昌虚拟现实研究院股份有限公司 语义视频图像的生成方法、播放方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875339A (zh) * 2017-02-22 2017-06-20 长沙全度影像科技有限公司 一种基于长条形标定板的鱼眼图像拼接方法
CN109903224A (zh) * 2019-01-25 2019-06-18 珠海市杰理科技股份有限公司 图像缩放方法、装置、计算机设备和存储介质
CN110913188A (zh) * 2018-09-14 2020-03-24 美国科视数字系统公司 从减少的测试图案集合生成更新的摄像头-投影仪对应关系的设备、系统和方法
CN111536904A (zh) * 2020-05-27 2020-08-14 深圳市华汉伟业科技有限公司 一种基于结构照明的三维测量方法及系统、存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875339A (zh) * 2017-02-22 2017-06-20 长沙全度影像科技有限公司 一种基于长条形标定板的鱼眼图像拼接方法
CN110913188A (zh) * 2018-09-14 2020-03-24 美国科视数字系统公司 从减少的测试图案集合生成更新的摄像头-投影仪对应关系的设备、系统和方法
CN109903224A (zh) * 2019-01-25 2019-06-18 珠海市杰理科技股份有限公司 图像缩放方法、装置、计算机设备和存储介质
CN111536904A (zh) * 2020-05-27 2020-08-14 深圳市华汉伟业科技有限公司 一种基于结构照明的三维测量方法及系统、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于相位检测的双平面摄像机标定;陈文艺;来庆盈;杨辉;;计算机工程与设计(第07期);全文 *

Also Published As

Publication number Publication date
CN112037273A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
WO2022052313A1 (zh) 3d结构光系统的标定方法、电子设备及存储介质
US10699476B2 (en) Generating a merged, fused three-dimensional point cloud based on captured images of a scene
CN107014294B (zh) 一种基于红外图像的接触网几何参数检测方法及系统
US9014433B2 (en) Measurement apparatus, information processing apparatus, information processing method, and storage medium
CN109859226B (zh) 一种图形分割的棋盘格角点亚像素的检测方法
WO2018072817A1 (en) A device and method for obtaining distance information from views
CN111462503B (zh) 车辆测速方法、装置及计算机可读存储介质
CN107346041B (zh) 裸眼3d显示设备的光栅参数的确定方法、装置及电子设备
CN111369495B (zh) 一种基于视频的全景图像的变化检测方法
CN107346040B (zh) 裸眼3d显示设备的光栅参数的确定方法、装置及电子设备
JP2021520008A (ja) 車両検査システムとその方法
CN112037273B (zh) 深度信息获取方法、装置、可读存储介质及计算机设备
CN108981610B (zh) 一种基于时序逻辑边缘检测的三维测量阴影去除方法
CN114187363A (zh) 一种获取径向畸变参数值的方法、装置以及移动终端
JP2004077290A (ja) ３次元形状計測装置および方法
CN102693428A (zh) 用于确定车辆和物体之间的距离的方法和设备
CN112040208B (zh) 图像处理方法、装置、可读存储介质及计算机设备
CN116958218A (zh) 一种基于标定板角点对齐的点云与图像配准方法及设备
CN116092035A (zh) 车道线检测方法、装置、计算机设备和存储介质
CN113674361B (zh) 一种车载环视校准实现方法及系统
JP2012248004A (ja) 画像処理装置、画像認識装置及び方法
CN102156877A (zh) 一种基于聚类分析的颜色分类方法
CN113884025B (zh) 增材制造结构光回环检测方法、装置、电子设备和存储介质
EP3070432B1 (en) Measurement apparatus
CN111932686B (zh) 映射关系确定方法、装置、可读存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant