CN110557622A - 基于结构光的深度信息获取方法及装置、设备及介质 - Google Patents
基于结构光的深度信息获取方法及装置、设备及介质 Download PDFInfo
- Publication number
- CN110557622A CN110557622A CN201910826857.1A CN201910826857A CN110557622A CN 110557622 A CN110557622 A CN 110557622A CN 201910826857 A CN201910826857 A CN 201910826857A CN 110557622 A CN110557622 A CN 110557622A
- Authority
- CN
- China
- Prior art keywords
- feature
- block
- coded light
- light image
- pixel coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Abstract
本发明公开一种基于结构光的深度信息获取方法及装置、设备及介质。该方法的一具体实施方式包括：控制投影模组向待测物体投射编码光，以在待测物体形成阵列排布的多个特征块，特征块包含划分特征区域的划界线及各特征区域分别包含的多个特征点；控制摄像头模组采集在待测物体形成的编码光图像；基于划界线获取各特征块的像素坐标，并根据像素坐标获取各特征块包含的特征点及特征点的特征；根据编码光图像中的各特征块包含的特征点的特征将编码光图像中的各特征块与标准图像中的各特征块对应，并根据编码光图像与标准图像中的对应特征块的像素坐标之间的差值计算得到待测物体各位置的深度信息。该实施方式可实现高精度且高效率的深度信息获取。
Description
技术领域
本发明涉及投影技术领域。更具体地，涉及一种基于结构光的深度信息获取方法及装置、设备及介质。
背景技术
深度信息是指图像采集设备中摄像头模组的镜头与待测物体之间距离的相关信息。目前，3D结构光相机是一种主流的深度相机，其获取待测物体深度信息的基本原理为：通过投射模组将具有一定结构特征的光线投射到待测物体，再利用与投射模组相对位置固定的摄像头模组采集形成有结构光图案的待测物体的图像，由于在摄像头模组与投射模组相对位置固定时投射在待测物体上的结构光图案畸变程度取决于待测物体表面的深度，因此最后基于三角法测量原理(三角测距)即可根据形成有结构光图案的待测物体的图像与标准图像之间的差异计算得到待测物体的深度信息。现有的3D结构光相机中的投射模组通常为红外激光投射模组，投射的结构光通常为编码光，最常见的编码光图案是光栅条纹。
随着对深度信息获取的精度和效率的要求越来越高，现有的3D结构光相机难以满足需求。因此，需要提供一种新的基于结构光的深度信息获取方法及装置、设备及介质。
发明内容
本发明的目的在于提供一种基于结构光的深度信息获取方法及装置、设备及介质，以解决现有技术存在的问题中的至少一个。
为达到上述目的，本发明采用下述技术方案：
本发明第一方面提供了一种基于结构光的深度信息获取方法，包括：
控制投影模组向待测物体投射编码光，以在待测物体形成阵列排布的多个特征块，所述特征块包含将所属特征块划分为多个特征区域的划界线，各特征区域分别包含多个特征点；
控制摄像头模组采集在待测物体形成的编码光图像；
基于各特征块包含的划界线获取编码光图像中的各特征块的像素坐标，并根据编码光图像中的各特征块的像素坐标获取编码光图像中的各特征块包含的特征点及所述特征点的特征；
根据所述编码光图像中的各特征块包含的特征点的特征将所述编码光图像中的各特征块与标准图像中的各特征块对应，并根据编码光图像中的各特征块的像素坐标与对应的标准图像中的各特征块的像素坐标之间的差值计算得到待测物体各位置的深度信息。
可选地，所述划界线为将所属特征块等分为多个特征区域的交叉线，所述交叉线的中心对应特征块的中心。
可选地，各特征块的各特征区域包含的特征点数量相同。
可选地，所述特征点的特征以亮度值表征。
可选地，所述基于各特征块包含的划界线获取编码光图像中的各特征块的像素坐标进一步包括：
设置亮度阈值，并根据所述亮度阈值对编码光图像进行二值化处理，以获取所述编码光图像中的所有划界线及所述编码光图像中的所有特征点的特征；
利用至少一个不同偏转角度的划界线形状的窗口在所述编码光图像中逐像素匹配出所述编码光图像中的划界线，获取各划界线的像素坐标并将其作为各划界线所属的特征块的像素坐标。
可选地，所述根据编码光图像中的各特征块的像素坐标获取编码光图像中的各特征块包含的特征点及所述特征点的特征进一步包括：
利用至少一个不同偏转角度的特征块形状的窗口，根据对应偏转角度所匹配得到的划界线所属的特征块的像素坐标提取各特征块包含的特征点及所述特征点的特征。
本发明第二方面提供了一种基于结构光的深度信息获取装置，包括：投影模组、摄像头模组和数据处理模块；
所述数据处理模块被配置为：
控制所述投影模组向待测物体投射编码光，以在待测物体形成阵列排布的多个特征块，所述特征块包含将所属特征块划分为多个特征区域的划界线，各特征区域分别包含多个特征点；
控制所述摄像头模组采集在待测物体形成的编码光图像；
基于各特征块包含的划界线获取编码光图像中的各特征块的像素坐标，并根据编码光图像中的各特征块的像素坐标获取编码光图像中的各特征块包含的特征点及所述特征点的特征；
根据所述编码光图像中的各特征块包含的特征点的特征将所述编码光图像中的各特征块与标准图像中的各特征块对应，并根据编码光图像中的各特征块的像素坐标与对应的标准图像中的各特征块的像素坐标之间的差值计算得到待测物体各位置的深度信息。
本发明第三方面提供了一种电子设备，包括本发明第二方面提供的基于结构光的深度信息获取装置。
本发明第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明第一方面提供的方法。
本发明第五方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面提供的方法。
本发明的有益效果如下：
本发明所述技术方案使用投影模组向待测物体投射编码光，在待测物体形成的编码光图案可以根据需求进行多样化设计，可实现高精度的特征块及高精度、信息承载量大的特征点，且通过投影模组投射形成的编码光图案易于设置，可便捷高效地设置投影模组投影不同的编码光，便于实现对待测物体快速进行多次深度信息获取后取平均值以得到更精确的深度信息。进一步，基于高精度的特征块包含的划界线可实现高精度且高效率的特征块定位，基于高精度、信息承载量大的特征点可实现高精度且高效率的特征块所包含的特征点的特征的提取，最终可实现高精度且高效率的深度信息获取。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明；
图1示出本发明实施例提供的基于结构光的深度信息获取方法的流程图。
图2示出阵列排布的多个特征块的示意图。
图3示出一个特征块示例的示意图。
图4示出另一个特征块示例的示意图。
图5示出本发明实施例提供的基于结构光的深度信息获取装置的示意图。
图6示出本发明实施例提供的基于结构光的深度信息获取装置的结构示意图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
如图1所示，本发明的一个实施例提供了一种基于结构光的深度信息获取方法，包括：
控制投影模组向待测物体投射编码光，以在待测物体形成阵列排布的多个特征块，所述特征块包含将所属特征块划分为多个特征区域的划界线，各特征区域分别包含多个特征点；
控制摄像头模组采集在待测物体形成的编码光图像；
基于各特征块包含的划界线获取编码光图像中的各特征块的像素坐标，并根据编码光图像中的各特征块的像素坐标获取编码光图像中的各特征块包含的特征点及所述特征点的特征；
根据所述编码光图像中的各特征块包含的特征点的特征将所述编码光图像中的各特征块与标准图像中的各特征块对应，并根据编码光图像中的各特征块的像素坐标与对应的标准图像中的各特征块的像素坐标之间的差值计算得到待测物体各位置的深度信息。其中，标准图像为控制所述投影模组向平面投射所述编码光后，控制摄像头模组采集的在平面形成的编码光图像。可理解的是，可基于现有的三角法测量原理实现根据编码光图像中的各特征块的像素坐标与对应的标准图像中的各特征块的像素坐标之间的差值计算得到待测物体各位置的深度信息。
本实施例提供的基于结构光的深度信息获取方法，使用投影模组向待测物体投射编码光，在待测物体形成的编码光图案可以根据需求进行多样化设计，可实现高精度的特征块及高精度、信息承载量大的特征点，且通过投影模组投射形成的编码光图案易于设置，可便捷高效地设置投影模组投影不同的编码光，便于实现对待测物体快速进行多次深度信息获取后取平均值以得到更精确的深度信息。进一步，基于高精度的特征块包含的划界线可实现高精度且高效率的特征块定位，基于高精度、信息承载量大的特征点可实现高精度且高效率的特征块所包含的特征点的特征的提取，最终可实现高精度且高效率的深度信息获取。
在一个具体示例中，在待测物体形成的编码光图案如图2所示，该编码光图案包括在待测物体形成的阵列排布的多个特征块10。
在本实施例的一些可选的实现方式中，所述划界线为将所属特征块等分为多个特征区域的交叉线，所述交叉线的中心对应特征块的中心。
采用此实现方式中的划界线形式及特征区域划分方式，有利于便捷高效地设置投影模组投影的编码光，易于控制投影模组向待测物体投射编码光，以在待测物体形成的高精度的编码光图案；有利于实现基于高精度的特征块包含的划界线，高精度且高效率地进行的特征块定位；且有利于实现高精度且高效率地进行特征块所包含的特征点的特征的提取。
在本实施例的一些可选的实现方式中，如图3和图4所示，所述划界线为将所属特征块10等分为四个特征区域的十字形线11，十字形线11将特征块10划分为左上、左下、右上、右下，共四个特征区域，十字形线11的中心对应正方形的特征块10的中心。可理解的是，也可采用米字形线，将特征块等分为八个特征区域等。
在本实施例的一些可选的实现方式中，各特征块的各特征区域包含的特征点数量相同。
采用此实现方式，有利于便捷高效地设置投影模组投影的编码光，易于控制投影模组向待测物体投射编码光，以在待测物体形成的高精度的编码光图案；有利于实现基于高精度的特征块包含的划界线，高精度且高效率地进行的特征块定位；且有利于实现高精度且高效率地进行特征块所包含的特征点的特征的提取。
进一步，综合考虑特征块的总数量、投影清晰度、特征点提取精度及效率等方面，如图3和图4所示，在所述划界线为将所属特征块10等分为四个特征区域的十字形线11，十字形线11将特征块10划分为左上、左下、右上、右下，共四个特征区域的情况下，每个特征区域分别包含四个特征点12，即，每个特征块10包含十六个特征点12。
在本实施例的一些可选的实现方式中，所述特征点的特征以亮度值表征特征。
采用此实现方式，相比于对投影清晰度要求很高、编码光图案设计复杂且后续需要进行复杂的图像识别运算的以形状、颜色等表征特征的特征点，以亮度值表征特征的特征点具有如下优势：有利于便捷高效地设置投影模组投影的编码光，易于控制投影模组向待测物体投射编码光，以在待测物体形成的高精度的编码光图案；可通过设置亮度等级的方式提取特征点的特征，有利于实现高精度且高效率地进行特征块所包含的特征点的特征的提取；且节省运算资源。
在本实施例的一些可选的实现方式中，所述基于各特征块包含的划界线获取编码光图像中的各特征块的像素坐标进一步包括：
设置亮度阈值，并根据所述亮度阈值对编码光图像进行二值化处理，以获取所述编码光图像中的所有划界线及所述编码光图像中的所有特征点的特征；
利用至少一个不同偏转角度的划界线形状的窗口在所述编码光图像中逐像素匹配出所述编码光图像中的划界线，获取各划界线的像素坐标并将其作为各划界线所属的特征块的像素坐标。
在一个具体示例中，如图3和图4所示，在二值化的编码光图像中，所有十字形线11对应的像素点的灰度值为0(黑色)，所有特征点12对应的像素点的灰度值为0(黑色)或255(白色)，其中，为示出白色特征点12的位置，图3和图4中以虚线框示出白色特征点12。其中，灰度值为0(黑色)的特征点12为被编码光照射到的特征点位置，灰度值为255(白色)的特征点12为未被编码光照射到的特征点位置。对编码光图像进行二值化处理后，所有特征点12的特征可采用二进制数值0(对应白色)或1(对应黑色)来表示，则，在所述划界线为将所属特征块10等分为四个特征区域的十字形线11，十字形线11将特征块10划分为左上、左下、右上、右下，共四个特征区域，每个特征区域分别包含四个特征点12，每个特征块10包含十六个特征点12的情况下，每个特征块的特征可由其包含的十六个特征点12的特征对应的二进制数值组成的十六位二进制数值组来表示，例如，图3所示的特征块的特征对应的十六位二进制数值组为0110111111110110，图4所示的特征块的特征对应的十六位二进制数值组为：1111110011001111。
综上，采用设置亮度阈值，并根据所述亮度阈值对编码光图像进行二值化处理，以获取所述编码光图像中的所有划界线及所述编码光图像中的所有特征点的特征的方式，有利于实现高精度且高效率地进行的划界线获取；有利于实现高精度且高效率地进行特征块所包含的特征点的特征的提取；且二进制数值构成的特征点的特征及特征块的特征便于计算机设备在执行根据所述编码光图像中的各特征块包含的特征点的特征将所述编码光图像中的各特征块与标准图像中的各特征块对应时处理数据，可提升数据处理速度。
接续前述具体示例，利用至少一个不同偏转角度的划界线形状的窗口在所述编码光图像中逐像素匹配出所述编码光图像中的划界线，获取各划界线的像素坐标并将其作为各划界线所属的特征块的像素坐标的具体过程例如：
首先，利用不偏转的十字形窗口在编码光图像中逐像素匹配，以得到编码光图像中的第一部分的十字形线11，获取第一部分的十字形线11的像素坐标(例如将十字形线11的中心的像素坐标作为十字形线11的像素坐标)并将其作为第一部分的十字形线11所属的特征块10的像素坐标；
接着，利用偏转角度为+5°(顺时针偏转5°)的十字形窗口在编码光图像中逐像素匹配，以得到编码光图像中的第二部分的十字形线11，获取第二部分的十字形线11的像素坐标并将其作为第二部分的十字形线11所属的特征块10的像素坐标；
最后，利用偏转角度为-5°(逆时针偏转5°)的十字形窗口在编码光图像中逐像素匹配，以得到编码光图像中的第三部分的十字形线11，获取第三部分的十字形线11的像素坐标并将其作为第三部分的十字形线11所属的特征块10的像素坐标。
其中，该具体示例中十字形窗口的个数和偏转度数仅为举例说明，在实际应用中，可根据精度及效率的综合需求设置划界线形状的窗口的个数及每个划界线形状的窗口的偏转角度。
由于待测物体的深度会导致投影在待测物体上的编码光图案发生畸变，特别是会导致特征块中的划界线会发生偏转，因此，采用本实现方式可保证划界线的获取精度，进而保证划界线及特征块的定位精度，进而保证特征块所包含的特征点的特征的提取精度。
在本实施例的一些可选的实现方式中，所述根据编码光图像中的各特征块的像素坐标获取编码光图像中的各特征块包含的特征点及所述特征点的特征进一步包括：
利用至少一个不同偏转角度的特征块形状的窗口，根据对应偏转角度所匹配得到的划界线所属的特征块的像素坐标提取各特征块包含的特征点及所述特征点的特征。
接续前述具体示例，利用至少一个不同偏转角度的特征块形状的窗口，根据对应偏转角度所匹配得到的划界线所属的特征块的像素坐标提取各特征块包含的特征点及所述特征点的特征的具体过程例如：
首先，利用不偏转的正方形窗口在编码光图像中分别根据第一部分的十字形线11所属的特征块10的像素坐标(例如以第一部分的十字形线11所属的特征块10的像素坐标为中心)获取第一部分的十字形线11所属的特征块10包含的十六个特征点及十六个特征点的特征；
接着，利用偏转角度为+5°(顺时针偏转5°)的正方形窗口在编码光图像中分别根据第二部分的十字形线11所属的特征块10的像素坐标获取第二部分的十字形线11所属的特征块10包含的十六个特征点及十六个特征点的特征；
最后，利用偏转角度为-5°(逆时针偏转5°)的正方形窗口在编码光图像中分别根据第三部分的十字形线11所属的特征块10的像素坐标获取第三部分的十字形线11所属的特征块10包含的十六个特征点及十六个特征点的特征。
在本实施例的一些可选的实现方式中，所述设置亮度阈值进一步包括：
计算所述编码光图像中所有像素点的平均亮度值L，并获取所述编码光图像中所有像素点的最大亮度值LMax和最小亮度值LMin；
将(L+(LMax+LMin)/2)/2设置为亮度阈值。
采用此实现方式，可根据编码光图像的实际亮度值动态设置亮度阈值，可保证划界线的获取精度及特征块所包含的特征点的特征的提取精度。
如图5所示，本发明的另一个实施例提供了一种基于结构光的深度信息获取装置，包括：投影模组100、摄像头模组200和数据处理模块300；
所述数据处理模块300被配置为：
控制所述投影模组100向待测物体投射编码光，以在待测物体形成阵列排布的多个特征块，所述特征块包含将所属特征块划分为多个特征区域的划界线，各特征区域分别包含多个特征点；
控制所述摄像头模组200采集在待测物体形成的编码光图像；
基于各特征块包含的划界线获取编码光图像中的各特征块的像素坐标，并根据编码光图像中的各特征块的像素坐标获取编码光图像中的各特征块包含的特征点及所述特征点的特征；
根据所述编码光图像中的各特征块包含的特征点的特征将所述编码光图像中的各特征块与标准图像中的各特征块对应，并根据编码光图像中的各特征块的像素坐标与对应的标准图像中的各特征块的像素坐标之间的差值计算得到待测物体各位置的深度信息。
在本实施例的一些可选的实现方式中，所述划界线为将所属特征块等分为多个特征区域的交叉线，所述交叉线的中心对应特征块的中心。
在本实施例的一些可选的实现方式中，所述划界线为将所属特征块等分为四个特征区域的十字形线。
在本实施例的一些可选的实现方式中，各特征块的各特征区域包含的特征点数量相同。
进一步，每个特征区域分别包含四个特征点。
在本实施例的一些可选的实现方式中，所述特征点的特征以亮度值表征特征。
在本实施例的一些可选的实现方式中，所述数据处理模块300进一步被配置为：
设置亮度阈值，并根据所述亮度阈值对编码光图像进行二值化处理，以获取所述编码光图像中的所有划界线及所述编码光图像中的所有特征点的特征；
利用至少一个不同偏转角度的划界线形状的窗口在所述编码光图像中逐像素匹配出所述编码光图像中的划界线，获取各划界线的像素坐标并将其作为各划界线所属的特征块的像素坐标。
在本实施例的一些可选的实现方式中，所述数据处理模块300进一步被配置为：
利用至少一个不同偏转角度的特征块形状的窗口，根据对应偏转角度所匹配得到的划界线所属的特征块的像素坐标提取各特征块包含的特征点及所述特征点的特征。
在本实施例的一些可选的实现方式中，在本实施例的一些可选的实现方式中，所述数据处理模块300进一步被配置为：
计算所述编码光图像中所有像素点的平均亮度值L，并获取所述编码光图像中所有像素点的最大亮度值LMax和最小亮度值LMin；
将(L+(LMax+LMin)/2)/2设置为亮度阈值。
需要说明的是，本实施例提供的基于结构光的深度信息获取装置的原理及工作流程与上述基于结构光的深度信息获取方法相似，相关之处可以参照上述说明，在此不再赘述。
本发明的再一个实施例提供了一种电子设备，包括上述实施例提供的基于结构光的深度信息获取装置。其中，本实施例提供的电子设备为智能手机、投影仪等，智能手机、投影仪等自身的处理器可直接作为深度信息获取装置中的数据处理模块；对于投影仪，其自身的投影模组可直接作为深度信息获取装置中的投影模组，投影仪可以为DLP(DigitalLight Procession，数字光处理)投影仪、LBS(Laser Beam Scanning，激光束扫描)投影仪、LCOS(Liquid Crystal On Silicon，硅基液晶或单晶硅反射式液晶)投影仪、LCD(LiquidCrystal Display，液晶显示)投影仪等各种类型的投影仪，即，深度信息获取装置中的投影模组可以为各种类型的投影模组。
如图6所示，适于用来实现上述实施例提供的基于结构光的深度信息获取装置的计算机系统，包括中央处理模块(CPU)，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有计算机系统操作所需的各种程序和数据。CPU、ROM以及RAM通过总线被此相连。输入/输入(I/O)接口也连接至总线。
以下部件连接至I/O接口:包括键盘、鼠标等的输入部分；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。
特别地，根据本实施例，上文流程图描述的过程可以被实现为计算机软件程序。例如，本实施例包括一种计算机程序产品，其包括有形地包含在计算机可读介质上的计算机程序，上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。
附图中的流程图和示意图，图示了本实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或示意图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，示意图和/或流程图中的每个方框、以及示意和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面，本实施例还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中上述装置中所包含的非易失性计算机存储介质，也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当上述一个或者多个程序被一个设备执行时，控制投影模组向待测物体投射编码光，以在待测物体形成阵列排布的多个特征块，所述特征块包含将所属特征块划分为多个特征区域的划界线，各特征区域分别包含多个特征点；控制摄像头模组采集在待测物体形成的编码光图像；基于各特征块包含的划界线获取编码光图像中的各特征块的像素坐标，并根据编码光图像中的各特征块的像素坐标获取编码光图像中的各特征块包含的特征点及所述特征点的特征；根据所述编码光图像中的各特征块包含的特征点的特征将所述编码光图像中的各特征块与标准图像中的各特征块对应，并根据编码光图像中的各特征块的像素坐标与对应的标准图像中的各特征块的像素坐标之间的差值计算得到待测物体各位置的深度信息。
需要说明的是，在本发明的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于本领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (10)
1.一种基于结构光的深度信息获取方法，其特征在于，包括：
控制投影模组向待测物体投射编码光，以在待测物体形成阵列排布的多个特征块，所述特征块包含将所属特征块划分为多个特征区域的划界线，各特征区域分别包含多个特征点；
控制摄像头模组采集在待测物体形成的编码光图像；
基于各特征块包含的划界线获取编码光图像中的各特征块的像素坐标，并根据编码光图像中的各特征块的像素坐标获取编码光图像中的各特征块包含的特征点及所述特征点的特征；
根据所述编码光图像中的各特征块包含的特征点的特征将所述编码光图像中的各特征块与标准图像中的各特征块对应，并根据编码光图像中的各特征块的像素坐标与对应的标准图像中的各特征块的像素坐标之间的差值计算得到待测物体各位置的深度信息。
2.根据权利要求1所述的方法，其特征在于，所述划界线为将所属特征块等分为多个特征区域的交叉线，所述交叉线的中心对应特征块的中心。
3.根据权利要求2所述的方法，其特征在于，各特征块的各特征区域包含的特征点数量相同。
4.根据权利要求1所述的方法，其特征在于，所述特征点的特征以亮度值表征。
5.根据权利要求4所述的方法，其特征在于，所述基于各特征块包含的划界线获取编码光图像中的各特征块的像素坐标进一步包括：
设置亮度阈值，并根据所述亮度阈值对编码光图像进行二值化处理，以获取所述编码光图像中的所有划界线及所述编码光图像中的所有特征点的特征；
利用至少一个不同偏转角度的划界线形状的窗口在所述编码光图像中逐像素匹配出所述编码光图像中的划界线，获取各划界线的像素坐标并将其作为各划界线所属的特征块的像素坐标。
6.根据权利要求5所述的方法，其特征在于，所述根据编码光图像中的各特征块的像素坐标获取编码光图像中的各特征块包含的特征点及所述特征点的特征进一步包括：
利用至少一个不同偏转角度的特征块形状的窗口，根据对应偏转角度所匹配得到的划界线所属的特征块的像素坐标提取各特征块包含的特征点及所述特征点的特征。
7.一种基于结构光的深度信息获取装置，其特征在于，包括：投影模组、摄像头模组和数据处理模块；
所述数据处理模块被配置为：
控制所述投影模组向待测物体投射编码光，以在待测物体形成阵列排布的多个特征块，所述特征块包含将所属特征块划分为多个特征区域的划界线，各特征区域分别包含多个特征点；
控制所述摄像头模组采集在待测物体形成的编码光图像；
基于各特征块包含的划界线获取编码光图像中的各特征块的像素坐标，并根据编码光图像中的各特征块的像素坐标获取编码光图像中的各特征块包含的特征点及所述特征点的特征；
根据所述编码光图像中的各特征块包含的特征点的特征将所述编码光图像中的各特征块与标准图像中的各特征块对应，并根据编码光图像中的各特征块的像素坐标与对应的标准图像中的各特征块的像素坐标之间的差值计算得到待测物体各位置的深度信息。
8.一种电子设备，其特征在于，包括如权利要求7所述的基于结构光的深度信息获取装置。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910826857.1A CN110557622B (zh) | 2019-09-03 | 2019-09-03 | 基于结构光的深度信息获取方法及装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910826857.1A CN110557622B (zh) | 2019-09-03 | 2019-09-03 | 基于结构光的深度信息获取方法及装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110557622A true CN110557622A (zh) | 2019-12-10 |
| CN110557622B CN110557622B (zh) | 2021-04-02 |
Family
ID=68738772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910826857.1A Active CN110557622B (zh) | 2019-09-03 | 2019-09-03 | 基于结构光的深度信息获取方法及装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110557622B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111678488A (zh) * | 2020-06-17 | 2020-09-18 | 深圳地平线机器人科技有限公司 | 测距方法、装置、计算机可读存储介质及电子设备 |
| CN114040180A (zh) * | 2020-08-26 | 2022-02-11 | 苏州中科全象智能科技有限公司 | 一种3d结构光相机投影亮度控制方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080205748A1 (en) * | 2007-02-28 | 2008-08-28 | Sungkyunkwan University | Structural light based depth imaging method and system using signal separation coding, and error correction thereof |
| CN102760234A (zh) * | 2011-04-14 | 2012-10-31 | 财团法人工业技术研究院 | 深度图像采集装置、系统及其方法 |
| US20120327430A1 (en) * | 2011-06-22 | 2012-12-27 | Reasearch & Business Foundation Sungkyunkwan University | Measuring method of 3d image depth and a system for measuring 3d image depth using boundary inheritance based hierarchical orthogonal coding |
| CN105069789A (zh) * | 2015-08-05 | 2015-11-18 | 西安电子科技大学 | 基于编码网格模板的结构光动态场景深度获取方法 |
| CN105120257A (zh) * | 2015-08-18 | 2015-12-02 | 宁波盈芯信息科技有限公司 | 一种基于结构光编码的垂直深度感知装置 |
| WO2016100877A1 (en) * | 2014-12-19 | 2016-06-23 | Datalogic ADC, Inc. | Depth camera system using coded structured light |
| CN106504284A (zh) * | 2016-10-24 | 2017-03-15 | 成都通甲优博科技有限责任公司 | 一种基于立体匹配与结构光相结合的深度图获取方法 |
| CN108347558A (zh) * | 2017-12-29 | 2018-07-31 | 维沃移动通信有限公司 | 一种图像优化的方法、装置以及移动终端 |
| CN108537868A (zh) * | 2017-03-03 | 2018-09-14 | 索尼公司 | 信息处理设备和信息处理方法 |
| TWI636429B (zh) * | 2017-10-13 | 2018-09-21 | 國立中央大學 | 數字編碼結構光之三維空間重建方法 |
| CN108986177A (zh) * | 2017-05-31 | 2018-12-11 | 华为技术有限公司 | 结构光编码方法、装置及终端设备 |
| CN109118533A (zh) * | 2018-08-30 | 2019-01-01 | 歌尔股份有限公司 | 深度信息处理方法、装置和设备 |
| US10356380B2 (en) * | 2015-10-29 | 2019-07-16 | Samsung Electronics Co., Ltd. | Apparatus and method for acquiring depth information |
| CN110177266A (zh) * | 2017-12-18 | 2019-08-27 | 西安交通大学 | 一种结构光3d深度相机的自校正方法及装置 |
-
2019
- 2019-09-03 CN CN201910826857.1A patent/CN110557622B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080205748A1 (en) * | 2007-02-28 | 2008-08-28 | Sungkyunkwan University | Structural light based depth imaging method and system using signal separation coding, and error correction thereof |
| CN102760234A (zh) * | 2011-04-14 | 2012-10-31 | 财团法人工业技术研究院 | 深度图像采集装置、系统及其方法 |
| US20120327430A1 (en) * | 2011-06-22 | 2012-12-27 | Reasearch & Business Foundation Sungkyunkwan University | Measuring method of 3d image depth and a system for measuring 3d image depth using boundary inheritance based hierarchical orthogonal coding |
| WO2016100877A1 (en) * | 2014-12-19 | 2016-06-23 | Datalogic ADC, Inc. | Depth camera system using coded structured light |
| CN105069789A (zh) * | 2015-08-05 | 2015-11-18 | 西安电子科技大学 | 基于编码网格模板的结构光动态场景深度获取方法 |
| CN105120257A (zh) * | 2015-08-18 | 2015-12-02 | 宁波盈芯信息科技有限公司 | 一种基于结构光编码的垂直深度感知装置 |
| US10356380B2 (en) * | 2015-10-29 | 2019-07-16 | Samsung Electronics Co., Ltd. | Apparatus and method for acquiring depth information |
| CN106504284A (zh) * | 2016-10-24 | 2017-03-15 | 成都通甲优博科技有限责任公司 | 一种基于立体匹配与结构光相结合的深度图获取方法 |
| CN108537868A (zh) * | 2017-03-03 | 2018-09-14 | 索尼公司 | 信息处理设备和信息处理方法 |
| CN108986177A (zh) * | 2017-05-31 | 2018-12-11 | 华为技术有限公司 | 结构光编码方法、装置及终端设备 |
| TWI636429B (zh) * | 2017-10-13 | 2018-09-21 | 國立中央大學 | 數字編碼結構光之三維空間重建方法 |
| CN110177266A (zh) * | 2017-12-18 | 2019-08-27 | 西安交通大学 | 一种结构光3d深度相机的自校正方法及装置 |
| CN108347558A (zh) * | 2017-12-29 | 2018-07-31 | 维沃移动通信有限公司 | 一种图像优化的方法、装置以及移动终端 |
| CN109118533A (zh) * | 2018-08-30 | 2019-01-01 | 歌尔股份有限公司 | 深度信息处理方法、装置和设备 |
Non-Patent Citations (2)
| Title |
|---|
| D. SCHARSTEIN,ET AL: "High-accuracy stereo depth maps using structured light", 《2003 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 2003. PROCEEDINGS.》 * |
| SERGIO FERNANDEZ,ET AL: "A novel Structured Light method for one-shot dense reconstruction", 《2012 19TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111678488A (zh) * | 2020-06-17 | 2020-09-18 | 深圳地平线机器人科技有限公司 | 测距方法、装置、计算机可读存储介质及电子设备 |
| CN111678488B (zh) * | 2020-06-17 | 2022-04-15 | 深圳地平线机器人科技有限公司 | 测距方法、装置、计算机可读存储介质及电子设备 |
| CN114040180A (zh) * | 2020-08-26 | 2022-02-11 | 苏州中科全象智能科技有限公司 | 一种3d结构光相机投影亮度控制方法 |
| CN114040180B (zh) * | 2020-08-26 | 2023-07-25 | 苏州中科全象智能科技有限公司 | 一种3d结构光相机投影亮度控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110557622B (zh) | 2021-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112348815B (zh) | 图像处理方法、图像处理装置以及非瞬时性存储介质 | |
| US10429193B2 (en) | Method and apparatus for generating high precision map | |
| CN111308448B (zh) | 图像采集设备与雷达的外参确定方法及装置 | |
| CN107993263B (zh) | 环视系统自动标定方法、汽车、标定装置及存储介质 | |
| EP3309703A1 (en) | Method and system for decoding qr code based on weighted average grey method | |
| CN113012210B (zh) | 深度图的生成方法、装置、电子设备和存储介质 | |
| CN110473221B (zh) | 一种目标物体自动扫描系统及方法 | |
| US20160343143A1 (en) | Edge detection apparatus, edge detection method, and computer readable medium | |
| WO2020083307A1 (en) | Method, apparatus, and storage medium for obtaining depth image | |
| CN107592449B (zh) | 三维模型建立方法、装置和移动终端 | |
| CN110909640A (zh) | 水位线的确定方法及装置、存储介质、电子装置 | |
| KR102363719B1 (ko) | 3차원 점군 지도의 투영 변환을 이용한 차선 좌표 추출 방법 | |
| CN110557622B (zh) | 基于结构光的深度信息获取方法及装置、设备及介质 | |
| CN111681285B (zh) | 一种标定方法、装置、电子设备及存储介质 | |
| CN110784699B (zh) | 投影处理方法、装置、投影仪及可读存储介质 | |
| CN110634138A (zh) | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 | |
| JP2019528543A (ja) | デジタルオブジェクト一意識別子（ｄｏｉ）認識方法及び装置 | |
| CN113052754B (zh) | 一种图片背景虚化的方法及装置 | |
| CN115115655A (zh) | 目标分割方法、装置、电子设备、存储介质及程序产品 | |
| CN111354047B (zh) | 一种基于计算机视觉的摄像模组定位方法及系统 | |
| CN104881663A (zh) | 辨别复选框的选定结果的方法及装置 | |
| CN111862208A (zh) | 一种基于屏幕光通信的车辆定位方法、装置及服务器 | |
| CN111563517A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN115409861A (zh) | 基于图像处理的激光雷达地面点云分割方法、装置、设备及介质 | |
| CN114898321A (zh) | 道路可行驶区域检测方法、装置、设备、介质及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201021 Address after: 261031 north of Yuqing East Street, east of Dongming Road, Weifang High tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building) Applicant after: GoerTek Optical Technology Co.,Ltd. Address before: 261031 Dongfang Road, Weifang high tech Development Zone, Shandong, China, No. 268 Applicant before: GOERTEK Inc. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |