CN112330751A - 一种结构光相机行偏差检测方法及装置 - Google Patents

一种结构光相机行偏差检测方法及装置 Download PDF

Info

Publication number
CN112330751A
CN112330751A CN202011197821.0A CN202011197821A CN112330751A CN 112330751 A CN112330751 A CN 112330751A CN 202011197821 A CN202011197821 A CN 202011197821A CN 112330751 A CN112330751 A CN 112330751A
Authority
CN
China
Prior art keywords
area
depth value
target
structured light
light camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011197821.0A
Other languages
English (en)
Other versions
CN112330751B (zh
Inventor
刘祺昌
户磊
化雪诚
王海彬
李东洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Dilusense Technology Co Ltd filed Critical Hefei Dilusense Technology Co Ltd
Priority to CN202011197821.0A priority Critical patent/CN112330751B/zh
Publication of CN112330751A publication Critical patent/CN112330751A/zh
Application granted granted Critical
Publication of CN112330751B publication Critical patent/CN112330751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Abstract

本发明实施例提供一种结构光相机行偏差检测方法及装置。其中，该方法包括：获取彩色图、结构光相机的散斑图；获取散斑图对应的坐标系下彩色图的目标深度值区域；根据彩色图和散斑图之间的对应关系，获取所述散斑图中的目标散斑区域；基于目标深度值区域和目标散斑区域，定位彩色图中恢复深度值的目标物体区域及其深度值失效率；根据深度值失效率对结构光相机进行偏差判断，输出结构光相机行偏差判定结果。本发明实施例通过彩色图与散斑图及深度图的结合，得到当前视频帧具有深度值的物体区域，根据深度值失效率实现对结构光相机的行偏差检测，从而及时有效的提醒用户重新进行校准或标定，提高结构光相机的可靠性。

Description

一种结构光相机行偏差检测方法及装置
技术领域
本发明实施例涉及计算机视觉技术领域，具体涉及一种结构光相机行偏差检测方法及装置。另外，还涉及一种电子设备及计算机可读存储介质。
背景技术
随着人脸识别技术快速发展，二维人脸识别技术逐渐被防伪能力更强的三维人脸识别技术所取代。三维人脸识别技术相较于二维人脸识别技术具备更加丰富、真实的人脸信息，通常被应用于安防、娱乐等领域。目前，在人脸识别技术中，深度相机通常由多种镜头和光学传感器组成，根据测量原理不同，通常可基于飞行时间法(TOF)、结构光法、双目立体视觉法等获取深度信息。其中，双目视觉恢复原理往往较为复杂，导致深度恢复时间较长，因此无法满足实时性，飞行时间法的成本则较高，且深度恢复的准确性容易受到其标定的材料种类和数量的影响，而结构光相机具备成本较低、实时性更好的特性，被更多的应用于人脸识别的产品中。
然而，实践中结构光相机要想获取准确、完整的三维人脸信息，需要对结构光相机的参数进行精确的标定。基于结构光原理的深度信息恢复依赖于结构光相机拍摄到的散斑图，散斑图通常由结构光相机上的散斑投射器经过编码后投射物体表面得到。当投射物体距离结构光相机从近处向远处进行移动时，散斑图中的散斑会发生水平方向上的移动。基于结构光原理的深度恢复，通过在一定距离拍摄与相平面平行的平面散斑图并将其作为参考图，再拍摄测试物体的散斑图，通过测试散斑图与参考图的匹配计算，便能快速获取测试物体的深度值。从结构光深度恢复原理可知，随着被测物体深度值的改变，散斑图中散斑的位置只会在水平方向上进行改变，故一般情况下的匹配搜索只会水平方向上进行。但是，由于结构光相机自身结构或使用老化等原因，可靠性会降低，使得结构光相机的镜头和投射器之间的位置容易发生改变，当结构光相机的结构发生严重变动时会严重影响三维信息的输出质量，即散斑投射器与摄像头发生上下位置的相对改变时，深度恢复算法将会失效，进而无法获取深度信息。因此如何自动检测出结构光相机是否发产生了偏差，及时提醒用户对相机进行校准或者重新标定，使结构光相机恢复深度信息计算功能成为研究重点。
发明内容
为此，本发明实施例提供一种结构光相机行偏差检测方法及装置，以解决现有技术中存在的结构光相机行偏差检测效率较低，操作步骤繁琐，导致用户使用体验较差的问题。
第一方面，本发明实施例提供一种结构光相机行偏差检测方法，包括：
获取彩色图、结构光相机的散斑图；其中，所述彩色图和所述散斑图为对应关系；
根据所述彩色图和所述散斑图之间的对应关系，获取在所述散斑图对应的坐标系下所述彩色图的目标深度值区域；
获取所述散斑图中的目标散斑区域；
基于所述目标深度值区域和所述目标散斑区域，定位所述彩色图中恢复深度值的目标物体区域及其深度值失效率；
根据所述深度值失效率对结构光相机进行偏差判断，输出所述结构光相机行偏差判定结果。
进一步的，所述的结构光相机行偏差检测方法，所述获取所述散斑图对应的坐标系下所述彩色图的目标深度值区域，具体包括：
根据所述对应关系以及所述结构光相机的内外参，以间接采样的方式将所述彩色图映射到所述散斑图对应的坐标系中，获取所述散斑图对应的坐标系下的彩色图；
对所述散斑图对应的坐标系下的彩色图进行分割，创建所述散斑图对应的坐标系下彩色图的图像分割矩阵；
提取所述图像分割矩阵中的目标深度值区域。
进一步的，所述结构光相机行偏差检测方法，还包括：
获取所述散斑图对应的深度图；
所述提取所述图像分割矩阵中的目标深度值区域，具体包括：
创建与所述图像分割矩阵相同大小的深度区域矩阵；其中，所述深度区域矩阵为用于记录所述图像分割矩阵中具有深度值的区域；
遍历所述深度图，当目标位置有深度值时，索引所述图像分割矩阵中对应所述目标位置对应的第一分类号，并输出第一分类号对应的坐标；
将所述深度区域矩阵中类型为所述第一分类号的位置标记为1，否则标记为0，根据标记内容确定所述图像分割矩阵中具有深度值的物体区域，将所述物体区域作为目标深度值区域。
进一步的，所述获取所述散斑图中的目标散斑区域，具体包括：
基于清晰散斑点的特性，利用图像像素编码变换的方式检测所述散斑图中清晰散斑点的位置区域，将所述位置区域作为目标散斑区域。
进一步的，所述基于所述目标深度值区域和所述目标散斑区域，定位所述彩色图中恢复深度值的目标物体区域及其深度值失效率，具体包括：
创建与所述散斑图相同大小的临时区域矩阵；
基于所述目标深度值区域的深度值以及所述目标散斑区域内对应的第一分类号区域散斑点的占比，对所述临时区域矩阵进行标记，根据所述临时区域矩阵中的标记内容，确定所述彩色图中恢复深度值的目标物体区域；
统计深度图中所述目标物体区域中无效深度值个数，基于所述无效深度值个数和所述目标物体区域的深度值总数确定所述深度值失效率。
进一步的，所述基于所述目标深度值区域的深度值以及所述目标散斑区域内对应的第一分类号区域散斑点的占比，对所述临时区域矩阵进行标记，根据所述临时区域矩阵中的标记内容，确定所述彩色图中恢复深度值的目标物体区域，具体为：
遍历所述目标深度值区域中深度值为1的位置，若所述目标散斑区域内对应的第一分类号区域中清晰散斑点的个数达到或者超过区域内总像素点个数的一半，则将所述临时区域矩阵中所述第一分类号的散斑点对应位置的值标记为1，否则标记为0，将所述临时区域矩阵中标记为1的位置区域确定为所述彩色图中恢复深度值的目标物体区域。
进一步的，所述根据所述深度值失效率对结构光相机进行偏差判断，输出所述结构光相机行偏差判定结果，具体包括：
若所述深度值失效率大于预设效率阈值，则判定所述结构光相机产生偏差，输出所述结构光相机行异常的判定结果。
第二方面，本申请实施例还提供一种结构光相机行偏差检测装置，包括：
图像获取单元，用于获取彩色图、结构光相机的散斑图；其中，所述彩色图和所述散斑图为对应关系；
深度值区域获取单元，用于根据所述彩色图和所述散斑图之间的对应关系，获取在所述散斑图对应的坐标系下所述彩色图的目标深度值；
散斑区域获取单元，用于获取所述散斑图中的目标散斑区域；
深度值失效率单元，用于基于所述目标深度值区域和所述目标散斑区域，定位所述彩色图中恢复深度值的目标物体区域及其深度值失效率；
偏差判定单元，用于根据所述深度值失效率对结构光相机进行偏差判断，输出所述结构光相机行偏差判定结果。
进一步的，所述深度值区域获取单元具体包括：
彩色图获取单元，用于所述对应关系以及所述结构光相机的内外参，以间接采样的方式将所述彩色图映射到所述散斑图对应的坐标系中，获取所述散斑图对应的坐标系下的彩色图；
图像分割单元，用于对所述散斑图对应的坐标系下的彩色图进行分割，创建所述散斑图对应的坐标系下彩色图的图像分割矩阵；
深度值区域提取单元，用于提取所述图像分割矩阵中的目标深度值区域。
进一步的，所述结构光相机行偏差检测装置，还包括：
深度图获取单元，用于获取所述散斑图对应的深度图；
所述深度值区域提取单元，具体用于：
创建与所述图像分割矩阵相同大小的深度区域矩阵；其中，所述深度区域矩阵为用于记录所述图像分割矩阵中具有深度值的区域；
遍历所述深度图，当目标位置有深度值时，索引所述图像分割矩阵中对应所述目标位置对应的第一分类号，并输出第一分类号对应的坐标；
将所述深度区域矩阵中类型为所述第一分类号的位置标记为1，否则标记为0，根据标记内容确定所述图像分割矩阵中具有深度值的物体区域，将所述物体区域作为目标深度值区域。进一步的，所述散斑区域获取单元，具体用于：
基于清晰散斑点的特性，利用图像像素编码变换的方式检测所述散斑图中清晰散斑点的位置区域，将所述位置区域作为目标散斑区域。
进一步的，所述深度值失效率单元，具体包括：
创建单元，用于创建与所述散斑图相同大小的临时区域矩阵；
目标物体区域确定单元，基于所述目标深度值区域的深度值以及所述目标散斑区域内对应的第一分类号区域散斑点的占比，对所述临时区域矩阵进行标记，根据所述临时区域矩阵中的标记内容，确定所述彩色图中恢复深度值的目标物体区域；
深度值失效率确定单元，用于统计深度图中所述目标物体区域中无效深度值个数，基于所述无效深度值个数和所述目标物体区域的深度值总数确定所述深度值失效率。
进一步的，所述目标物体区域确定单元，具体用于：
遍历所述目标深度值区域中深度值为1的位置，若所述目标散斑区域内对应的第一分类号区域中清晰散斑点的个数达到或者超过区域内总像素点个数的一半，则将所述临时区域矩阵中所述第一分类号的散斑点对应位置的值标记为1，否则标记为0，将所述临时区域矩阵中标记为1的位置区域确定为所述彩色图中恢复深度值的目标物体区域。
进一步的，所述偏差判定单元，具体用于：
统计深度图中所述目标物体区域对应第一位置处的无效深度值个数，基于所述无效深度值个数和所述目标物体区域的深度值总数确定所述深度值失效率，若所述深度值失效率大于预设效率阈值，则判定所述结构光相机产生偏差，输出所述结构光相机行异常的判定结果。
第三方面，本发明实施例还提供一种电子设备，包括：
处理器；以及
存储器，用于存储结构光相机行偏差检测方法的程序，该电子设备通电并通过所述处理器运行该结构光相机行偏差检测方法的程序后，执行任意一项所述的结构光相机行偏差检测方法。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被处理器执行任意一项所述的结构光相机行偏差检测方法。
采用本发明实施例所述的结构光相机行偏差检测方法，通过彩色图与散斑图及其深度图的结合，提取出当前视频帧具有深度值的物体区域，根据目标物体深度图的深度值失效率实现对结构光相机的行偏差检测，从而及时有效的提醒用户重新对结构光相机进行校准或标定，提高了结构光相机的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1为本发明实施例提供的一种结构光相机行偏差检测方法的流程图；
图2为本发明实施例提供的一种结构光相机行偏差检测方法的完整流程图；
图3为本发明实施例提供的一种结构光相机行偏差检测装置的结构示意图；
图4为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
下面基于本发明所述的结构光相机行偏差检测方法，对其实施例进行详细描述。如图1所示，其为本发明实施例提供的一种结构光相机行偏差检测方法的流程图，具体实现过程包括以下步骤：
步骤S101：获取彩色图、结构光相机的散斑图。
在本发明实施例中，散斑图通常可由结构光相机上的散斑投射器经过编码后投射物体表面，基于红外摄像头获取。通过所述散斑图可对基于结构光原理的深度信息进行恢复。具体的，当投射物体距离结构光相机从近处向远处进行移动时，散斑图中的散斑会发生水平方向上的移动，基于结构光原理的深度恢复，通过红外摄像头在一定距离拍摄与相平面平行的平面散斑图并将其作为参考图，再拍摄测试物体的散斑图，通过测试散斑图与参考图的匹配计算，便能快速获取测试物体的深度值。所述彩色图可通过彩色摄像头获取，在此不再详细赘述。其中，所述彩色图和所述散斑图为对应关系。
步骤S102：根据所述彩色图和所述散斑图之间的对应关系，获取在所述散斑图对应的坐标系下所述彩色图的目标深度值区域。
在本步骤中，预先获取彩色图、所述结构光相机的散斑图以及对应的深度图之后，可根据所述结构光相机的内参和外参，以及所述彩色图和所述散斑图之间的对应关系，以间接采样的方式将所述彩色图映射到所述散斑图的坐标系中，获取所述散斑图坐标系下的彩色图。最后对所述散斑图坐标系下的彩色图进行分割，创建所述散斑图坐标系下彩色图的图像分割矩阵，并提取所述图像分割矩阵中的目标深度值区域。
其中，提取图像分割矩阵中的目标深度值区域的具体实现过程可以包括：创建与所述图像分割矩阵相同大小的深度区域矩阵，所述深度区域矩阵为用于记录所述图像分割矩阵中具有深度值的区域；遍历所述深度图，当目标位置有深度值时，索引所述图像分割矩阵中对应所述目标位置对应的第一分类号，并输出第一分类号对应的坐标；将所述深度区域矩阵中类型为所述第一分类号的位置标记为1，否则标记为0，根据标记内容确定所述图像分割矩阵中具有深度值的物体区域，将所述物体区域作为目标深度值区域。
在具体实施过程中，首先根据结构光相机外参中的旋转矩阵和平移矩阵获得拍摄散斑图的红外摄像头与拍摄彩色图的彩色摄像头之间的相对位置关系，再根据结构光相机内参间接采样的方式将彩色图像各个像素的坐标转换到物空间坐标系中。通过采用间接采样的方式映射彩色图能够有效消除投影误差导致的网纹现象。具体的，间接采样是指新建一幅与散斑图相同大小的图像I，遍历图像I中的坐标P，通过计算得到坐标P点对应的彩色图的坐标P’，将彩色图的坐标P’中的像素值赋值到图像I中对应的坐标P，从而得到散斑图坐标系下的彩色图。其中，下述式(1)为根据物空间坐标系[X Y Z 1]T和结构光相机的内参矩阵K获得图像坐标[u v 1]T的具体计算公式。式(2)为根据散斑图坐标系[u0 v0 1]T和红外镜头内参矩阵K0、旋转矩阵R、平移矩阵t、彩色镜头内参矩阵K1获得彩色图坐标[u1 v1 1]T的具体计算公式。在具体运算过程中，公式涉及到的结构光相机内参矩阵(K0、K1)和外参矩阵(R、t)可由结构光相机标定获得，在此不再详细赘述。
Figure BDA0002754500080000081
Figure BDA0002754500080000082
进一步的，可基于Mean-shift(偏移均值向量)图像分割原理对所述散斑图坐标系下的彩色图进行分割，从而获取散斑图坐标系下彩色图的图像分割矩阵。
具体的，首先创建与彩色图相同大小的矩阵ROI_color(Region of interest_color，颜色感兴趣区域)作为初步的图像分割矩阵，根据Mean-shift图像分割原理，将彩色图中的收敛点相同的各像素归为一类，从而能够有效的将图像中各物体分割开来，获取需要的图像分割矩阵。其中，所述矩阵ROI_color用于记录各像素对应的类别，该类别以常数0，…，N进行区分。需要说明的，Mean-shift图像分割原理中，Mean-shift算法的关键操作是通过感兴趣区域内的数据密度变化计算中心点的漂移向量，从而移动中心点进行下一次迭代，直到到达密度最大处(中心点不变)，依次从每个数据点出发进行该操作。在这个过程中，可统计出现在感兴趣区域内的数据的次数，并作为后续分类的依据。
上述获取散斑图坐标系下彩色图的图像分割矩阵之后，在本步骤中还可进一步提取所述图像分割矩阵中的目标深度值区域。
具体的，可首先创建一个与所述图像分割矩阵相同大小的深度区域矩阵即矩阵ROI_depth(Region of interest_depth，深度值感兴趣区域)，该深度区域矩阵用于记录所述图像分割矩阵中具有深度值的区域。通过遍历深度图，当目标位置P(如当前位置)含有深度值时，索引图像分割矩阵中对应所述目标位置P的分类号N，并输出对应分类号N的所有坐标；将所述深度区域矩阵(矩阵ROI_depth)中将类型为分类号N的所有位置标记为1，否则标记为0，从而将彩色图中所有具有深度值的物体都标记出来，根据所述标记确定所述图像分割矩阵中具有深度值的物体区域，将所述物体区域作为目标深度值区域，并提取所述图像分割矩阵中的目标深度值区域。在本发明实施例中，图像深度是指存储每个像素所用的位数，也用于量度图像的色彩分辨率。图像深度确定彩色图的每个像素可能有的颜色数或者确定灰度图的每个像素可能有的灰度级数，其决定了彩色图像中可出现的最多颜色数，或灰度图像中的最大灰度等级。比如一幅单色图像，若每个像素有8位，则最大灰度数目为2的8次方，即256。一幅彩色图像RGB三个通道分量的像素位数分别为4，4，2，则最大颜色数目为2的4+4+2次方，即1024，也就是说像素的深度为10位。
本发明实施例中，所述的ROI(Region of interest)，即感兴趣区域。在机器视觉、图像处理中，待处理的图像可以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域，即ROI。在Halcon(标准的机器视觉软件)、OpenCV(视距智能软件)、Matlab(矩阵工厂软件)等机器视觉软件上，可通过各种算子和函数来求得感兴趣区域(ROI)，并进行图像的下一步处理，在此不再详细赘述。在图像处理领域感兴趣区域(ROI)是从图像中选取的一个图像区域，这个区域是图像分析关注的重点区域，通过圈定该区域以便进行进一步处理，从而减少了处理时间，增加了精度。
步骤S103：获取所述散斑图中目标散斑区域。
在本步骤中，可基于散斑图中各个清晰散斑点的特性，利用图像像素编码变换(即Census变换)的方式检测出所述散斑图中清晰散斑点的位置区域，将所述位置区域作为目标散斑区域。需要说明的是，所述Census变换属于非参图像变换的一种，能够较好地检测出图像中的局部结构特征，如边缘、角点特征等，其变换包括：预先在图像区域定义一个矩形窗口，用这个矩形窗口遍历整幅图像，选取中心像素作为参考像素，将矩形窗口中每个像素的灰度值与参考像素的灰度值进行对比，灰度值小于或等于参考值的像素标记为0，大于参考值的像素标记为1，最后再将它们按位连接，得到变换后的结果，变换后的结果是由0和1组成的二进制码流。所述Census变换的实质是将图像像素的灰度值编码成二进制码流，以此来获取邻域像素灰度值相对于中心像素灰度值的大小关系。
在具体实施过程中，可首先创建一个与散斑图同等大小的矩阵Census_Mat(Region of interest_Mat，感兴趣区域)用来存储散斑图中各个像素的Census变换值；遍历该散斑图，获取以当前窗口，将矩形窗口内的各个位置的灰度值I(q)与中心点位置的灰度值I(p)进行对比，当I(q)>I(p)时标记为1，否则标记为0；将矩形窗口内的各个标记值按位连接起来，获得位置p的Census变换值，计算公式具体如下式(3)两公式所示。通过创建一个与散斑图大小相同的矩阵ROI_speckle(Region of interest_speckle，散斑感兴趣区域)，遍历Census_Mat矩阵，当位置P处的值大于预设数值时，将ROI_speckle在位置P处的值标记为1，否则标记为0。在完成Census_Mat矩阵遍历后，将标记为1的位置对应的散斑确定为清晰散斑点，从而能够得到完整的清晰散斑区域矩阵ROI_speckle，即目标散斑区域。具体Census变换过程可通过如下公式(3)表达：
Figure BDA0002754500080000101
其中：p是窗口中心像素；q是窗口中心像素以外的其他像素；Np表示中心像素p的邻域；I(*)表示像素点*处的灰度值。
步骤S104：基于所述目标深度值区域和所述目标散斑区域，定位所述彩色图中能够恢复深度值的目标物体区域及其深度值失效率。
上述步骤S101-S103为本步骤及下述步骤实现结构光相机行偏差自检做了数据准备工作。在本步骤中，首先提取目标深度值区域与目标散斑区域的交集，创建与所述散斑图相同大小的临时区域矩阵，遍历所述目标深度值区域中深度值为1的位置，若对应分类号N的目标区域中清晰散斑点的个数达到或者超过目标区域内总像素个数的一半，则将所述临时区域矩阵中将分类号N的散斑点对应位置的值标记为1，否则标记为0；根据所述临时区域矩阵中的标记，确定所述彩色图中能够恢复深度值的目标物体区域。
在具体实施过程中，可提取矩阵ROI_speckle与矩阵ROI_depth的交集，创建一个与散斑图大小相同的矩阵ROI_temp(Region of interest_temp，临时感兴趣区域)，遍历矩阵ROI_depth中值为1的位置，当对应N类型区域中，散斑清晰的个数大于矩阵ROI_temp对应的区域内总像素个数的一半，则在矩阵ROI_temp中将所有N类型点对应的位置的值标记为1，否则标记为0。这样矩阵ROI_temp记录了正常情况下能够恢复深度值的物体区域，从而实现定位所述彩色图中能够恢复深度值的目标物体区域。
确定所述目标物体区域之后，统计深度图中所述目标物体区域中的无效深度值个数，基于所述无效深度值个数和所述目标物体区域的深度值总数确定所述深度值失效率。比如，统计深度图中目标物体区域为1对应的第一位置处无效深度值的个数为K。将K除以目标物体区域中为1的总数N，得到深度值失效率P。当P大于预设效率阈值时，判定相机具有行偏差。
深度值失效率计算公式具体如公式(4)：
Figure BDA0002754500080000111
步骤S105：根据所述目标物体区域的深度值失效率对结构光相机进行偏差判断，输出所述结构光相机行偏差判定结果。
在本步骤中，若所述深度值失效率大于预设效率阈值，则判定所述结构光相机产生偏差，输出所述结构光相机行异常的判定结果，否则判定所述结构光相机未产生偏差。
如图2所示，其为本发明实施例提供的一种结合彩色图的结构光相机行偏差检测方法的完整流程图。首先读取彩色图、所述结构光相机的散斑图以及对应的深度图；在获取所述散斑图坐标系下的彩色图之后，进一步获取散斑图坐标系下彩色图的图像分割矩阵，并从所述图像分割矩阵中提取目标深度值区域；进一步的，获取所述散斑图中具有清晰散斑点的目标散斑区域；基于所述目标深度值区域和所述目标散斑区域，定位所述彩色图中能够恢复深度值的目标物体区域，并根据所述目标物体区域的深度值失效率对结构光相机进行偏差判断，输出所述结构光相机行偏差判定结果。
采用本发明实施例所述的结构光相机行偏差检测方法，能够通过彩色图与散斑图及其深度图的结合，提取出当前视频帧能够得到深度值的物体区域，根据目标物体深度图的深度值失效率实现对结构光相机的行偏差检测，从而及时有效的提醒用户重新进行校准或标定，提高了结构光相机的可靠性。
与上述提供的一种结构光相机行偏差检测方法相对应，本发明还提供一种结构光相机行偏差检测装置。由于该装置的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的结构光相机行偏差检测装置的实施例仅是示意性的。请参考图3所示，其为本发明实施例提供的一种结构光相机行偏差检测装置的结构示意图。
本发明所述的一种结构光相机行偏差检测装置具体包括如下部分：
图像获取单元301，用于获取彩色图、结构光相机的散斑图；其中，所述彩色图和所述散斑图为对应关系；
深度值区域获取单元302，用于根据所述彩色图和所述散斑图之间的对应关系，获取在所述散斑图对应的坐标系下所述彩色图的目标深度值；
散斑区域获取单元303，用于获取所述散斑图中的目标散斑区域；
深度值失效率单元304，用于基于所述目标深度值区域和所述目标散斑区域，定位所述彩色图中恢复深度值的目标物体区域及其深度值失效率；
偏差判定单元305，用于根据所述深度值失效率对结构光相机进行偏差判断，输出所述结构光相机行偏差判定结果。
采用本发明实施例所述的结构光相机行偏差检测装置，能够通过彩色图与散斑图及其深度图的结合，提取出当前帧能够得到深度值的物体区域，根据目标物体深度图的深度值失效率实现对结构光相机的行偏差检测，从而及时有效的提醒用户重新进行校准或标定，提高了结构光相机的可靠性。
与上述提供的结构光相机行偏差检测方法相对应，本发明还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的电子设备仅是示意性的。如图4所示，其为本发明实施例提供的一种电子设备的示意图。该电子设备具体包括：处理器401和存储器402，该处理器401和存储器402通过总线403连接。其中，存储器402用于存储结构光相机行偏差检测方法的计算机程序，该电子设备通电并通过所述处理器401运行该结构光相机行偏差检测方法的程序后，执行上述任意一项所述的结构光相机行偏差检测方法的步骤。
与上述提供的一种结构光相机行偏差检测方法相对应，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被处理器执行上述任一项所述的结构光相机行偏差检测方法。由于该计算机可读存储介质的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，该部分描述的计算机可读存储介质仅是示意性的。
本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。
计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (10)

1.一种结构光相机行偏差检测方法，其特征在于，包括：
获取彩色图、结构光相机的散斑图；其中，所述彩色图和所述散斑图为对应关系；
根据所述彩色图和所述散斑图之间的对应关系，获取在所述散斑图对应的坐标系下所述彩色图的目标深度值区域；
获取所述散斑图中的目标散斑区域；
基于所述目标深度值区域和所述目标散斑区域，定位所述彩色图中恢复深度值的目标物体区域及其深度值失效率；
根据所述深度值失效率对结构光相机进行偏差判断，输出所述结构光相机行偏差判定结果。
2.根据权利要求1所述的结构光相机行偏差检测方法，其特征在于，所述根据所述彩色图和所述散斑图之间的对应关系，获取在所述散斑图对应的坐标系下所述彩色图的目标深度值区域，具体包括：
根据所述对应关系以及所述结构光相机的内外参，以间接采样的方式将所述彩色图映射到所述散斑图对应的坐标系中，获取所述散斑图对应的坐标系下的彩色图；
对所述散斑图对应的坐标系下的彩色图进行分割，创建所述散斑图坐标系下彩色图的图像分割矩阵；
提取所述图像分割矩阵中的目标深度值区域。
3.根据权利要求2所述的结构光相机行偏差检测方法，其特征在于，还包括：
获取所述散斑图对应的深度图；
所述提取所述图像分割矩阵中的目标深度值区域，具体包括：
创建与所述图像分割矩阵相同大小的深度区域矩阵；其中，所述深度区域矩阵为用于记录所述图像分割矩阵中具有深度值的区域；
遍历所述深度图，当目标位置有深度值时，索引所述图像分割矩阵中对应目标位置对应的第一分类号，并输出第一分类号对应的坐标；
将所述深度区域矩阵中类型为所述第一分类号的位置标记为1，否则标记为0，根据标记内容确定所述图像分割矩阵中具有深度值的物体区域，将所述物体区域作为目标深度值区域。
4.根据权利要求1所述的结构光相机行偏差检测方法，其特征在于，所述获取所述散斑图中的目标散斑区域，具体包括：
基于清晰散斑点的特性，利用图像像素编码变换的方式检测所述散斑图中清晰散斑点的位置区域，将所述位置区域作为目标散斑区域。
5.根据权利要求1所述的结构光相机行偏差检测方法，其特征在于，所述基于所述目标深度值区域和所述目标散斑区域，定位所述彩色图中恢复深度值的目标物体区域及其深度值失效率，具体包括：
创建与所述散斑图相同大小的临时区域矩阵；
基于所述目标深度值区域的深度值以及所述目标散斑区域内对应的第一分类号区域散斑点的占比，对所述临时区域矩阵进行标记，根据所述临时区域矩阵中的标记内容，确定所述彩色图中恢复深度值的目标物体区域；
统计深度图中所述目标物体区域中无效深度值个数，基于所述无效深度值个数和所述目标物体区域的深度值总数确定所述深度值失效率。
6.根据权利要求5所述的结构光相机行偏差检测方法，其特征在于，所述基于所述目标深度值区域的深度值以及所述目标散斑区域内对应的第一分类号区域散斑点的占比，对所述临时区域矩阵进行标记，根据所述临时区域矩阵中的标记内容，确定所述彩色图中恢复深度值的目标物体区域，具体为：
遍历所述目标深度值区域中深度值为1的位置，若所述目标散斑区域内对应的第一分类号区域中清晰散斑点的个数达到或者超过区域内总像素点个数的一半，则将所述临时区域矩阵中所述第一分类号的散斑点对应位置的值标记为1，否则标记为0，将所述临时区域矩阵中标记为1的位置区域确定为所述彩色图中恢复深度值的目标物体区域。
7.根据权利要求1所述的结构光相机行偏差检测方法，其特征在于，所述根据所述深度值失效率对结构光相机进行偏差判断，输出所述结构光相机行偏差判定结果，具体包括：
若所述深度值失效率大于预设效率阈值，则判定所述结构光相机产生偏差，输出所述结构光相机行异常的判定结果。
8.一种结构光相机行偏差检测装置，其特征在于，包括：
图像获取单元，用于获取彩色图、结构光相机的散斑图；其中，所述彩色图和所述散斑图为对应关系；
深度值区域获取单元，用于根据所述彩色图和所述散斑图之间的对应关系，获取在所述散斑图对应的坐标系下所述彩色图的目标深度值；
散斑区域获取单元，用于获取所述散斑图中的目标散斑区域；
深度值失效率单元，用于基于所述目标深度值区域和所述目标散斑区域，定位所述彩色图中恢复深度值的目标物体区域及其深度值失效率；
偏差判定单元，用于根据所述深度值失效率对结构光相机进行偏差判断，输出所述结构光相机行偏差判定结果。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储结构光相机行偏差检测方法的程序，该电子设备通电并通过所述处理器运行该结构光相机行偏差检测方法的程序后，执行如权利要求1-7任意一项所述的结构光相机行偏差检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被处理器执行如权利要求1-7任意一项所述的结构光相机行偏差检测方法。
CN202011197821.0A 2020-10-30 2020-10-30 一种结构光相机行偏差检测方法及装置 Active CN112330751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011197821.0A CN112330751B (zh) 2020-10-30 2020-10-30 一种结构光相机行偏差检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011197821.0A CN112330751B (zh) 2020-10-30 2020-10-30 一种结构光相机行偏差检测方法及装置

Publications (2)

Publication Number Publication Date
CN112330751A true CN112330751A (zh) 2021-02-05
CN112330751B CN112330751B (zh) 2022-08-26

Family

ID=74323880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011197821.0A Active CN112330751B (zh) 2020-10-30 2020-10-30 一种结构光相机行偏差检测方法及装置

Country Status (1)

Country Link
CN (1) CN112330751B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379816A (zh) * 2021-06-29 2021-09-10 北京的卢深视科技有限公司 结构变动检测方法、电子设备及存储介质
CN113643337A (zh) * 2021-08-05 2021-11-12 北京的卢深视科技有限公司 相机行偏差校准方法、装置、电子设备及存储介质
CN113888614A (zh) * 2021-09-23 2022-01-04 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
CN113936316A (zh) * 2021-10-14 2022-01-14 北京的卢深视科技有限公司 Doe脱落检测方法、电子设备和计算机可读存储介质
CN115002451A (zh) * 2022-08-08 2022-09-02 合肥的卢深视科技有限公司 结构光相机的产测sdk授权方法、电子设备及存储介质
CN116418976A (zh) * 2022-11-24 2023-07-11 北京的卢铭视科技有限公司 结构光相机的产测sdk授权方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140055560A1 (en) * 2012-08-24 2014-02-27 Microsoft Corporation Depth Data Processing and Compression
CN110689581A (zh) * 2018-07-06 2020-01-14 Oppo广东移动通信有限公司 结构光模组标定方法、电子设备、计算机可读存储介质
CN111710000A (zh) * 2020-05-25 2020-09-25 北京的卢深视科技有限公司 一种相机行偏差自检方法及系统
CN111768450A (zh) * 2020-06-10 2020-10-13 北京的卢深视科技有限公司 基于散斑图的结构光相机行偏差的自动检测方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140055560A1 (en) * 2012-08-24 2014-02-27 Microsoft Corporation Depth Data Processing and Compression
CN110689581A (zh) * 2018-07-06 2020-01-14 Oppo广东移动通信有限公司 结构光模组标定方法、电子设备、计算机可读存储介质
CN111710000A (zh) * 2020-05-25 2020-09-25 北京的卢深视科技有限公司 一种相机行偏差自检方法及系统
CN111768450A (zh) * 2020-06-10 2020-10-13 北京的卢深视科技有限公司 基于散斑图的结构光相机行偏差的自动检测方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DONGXUE LI: "Structured light self-calibration algorithm based on random speckle", 《2019 IEEE 9TH ANNUAL INTERNATIONAL CONFERENCE ON CYBER TECHNOLOGY IN AUTOMATION, CONTROL, AND INTELLIGENT SYSTEMS (CYBER)》 *
郑国权: "基于红外条纹投影的三维测量系统研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379816A (zh) * 2021-06-29 2021-09-10 北京的卢深视科技有限公司 结构变动检测方法、电子设备及存储介质
CN113379816B (zh) * 2021-06-29 2022-03-25 北京的卢深视科技有限公司 结构变动检测方法、电子设备及存储介质
CN113643337A (zh) * 2021-08-05 2021-11-12 北京的卢深视科技有限公司 相机行偏差校准方法、装置、电子设备及存储介质
CN113643337B (zh) * 2021-08-05 2022-05-31 合肥的卢深视科技有限公司 相机行偏差校准方法、装置、电子设备及存储介质
CN113888614A (zh) * 2021-09-23 2022-01-04 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
CN113888614B (zh) * 2021-09-23 2022-05-31 合肥的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
CN113936316A (zh) * 2021-10-14 2022-01-14 北京的卢深视科技有限公司 Doe脱落检测方法、电子设备和计算机可读存储介质
CN113936316B (zh) * 2021-10-14 2022-03-25 北京的卢深视科技有限公司 Doe脱落检测方法、电子设备和计算机可读存储介质
CN115002451A (zh) * 2022-08-08 2022-09-02 合肥的卢深视科技有限公司 结构光相机的产测sdk授权方法、电子设备及存储介质
CN115002451B (zh) * 2022-08-08 2022-11-22 合肥的卢深视科技有限公司 结构光相机的产测sdk授权方法、电子设备及存储介质
CN116418976A (zh) * 2022-11-24 2023-07-11 北京的卢铭视科技有限公司 结构光相机的产测sdk授权方法、电子设备及存储介质
CN116418976B (zh) * 2022-11-24 2023-12-12 北京的卢铭视科技有限公司 结构光相机的产测sdk授权方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN112330751B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN112330751B (zh) 一种结构光相机行偏差检测方法及装置
CN109961468B (zh) 基于双目视觉的体积测量方法、装置及存储介质
WO2017197988A1 (zh) 一种确定物体体积的方法及装置
CN107392958B (zh) 一种基于双目立体摄像机确定物体体积的方法及装置
US9679384B2 (en) Method of detecting and describing features from an intensity image
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
CN109640066B (zh) 高精度稠密深度图像的生成方法和装置
CN113658241B (zh) 单目结构光的深度恢复方法、电子设备及存储介质
CN110634137A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
KR20110021500A (ko) 이동객체의 실시간 추적과 거리 측정 방법 및 그 장치
CN104200456A (zh) 一种用于线结构光三维测量的解码方法
CN116704048B (zh) 一种双光配准方法
CN112102404B (zh) 物体检测追踪方法、装置及头戴显示设备
CN114155285A (zh) 基于灰度直方图的图像配准方法
CN115880643B (zh) 一种基于目标检测算法的社交距离监测方法和装置
JP6127958B2 (ja) 情報処理装置、情報処理方法、並びにプログラム
US11551368B2 (en) Electronic devices, methods, and computer program products for controlling 3D modeling operations based on pose metrics
CN113379816B (zh) 结构变动检测方法、电子设备及存储介质
KR20200057929A (ko) 캘리브레이트된 카메라들에 의해 캡쳐된 스테레오 영상들의 렉티피케이션 방법과 컴퓨터 프로그램
CN112262411B (zh) 图像关联方法、系统和装置
CN109600598A (zh) 影像处理方法、影像处理装置及电脑可读取记录媒体
CN112598736A (zh) 一种基于地图构建的视觉定位方法及装置
CN111967290A (zh) 物体识别方法、装置及车辆
CN111239740A (zh) 一种去除射线噪声的方法及设备
WO2019113912A1 (zh) 基于结构光的三维图像重建方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method and device for detecting line deviation of structured light camera

Effective date of registration: 20230117

Granted publication date: 20220826

Pledgee: Hefei high tech Company limited by guarantee

Pledgor: Hefei lushenshi Technology Co.,Ltd.

Registration number: Y2023980031526

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20231229

Granted publication date: 20220826

Pledgee: Hefei high tech Company limited by guarantee

Pledgor: Hefei lushenshi Technology Co.,Ltd.

Registration number: Y2023980031526

PC01 Cancellation of the registration of the contract for pledge of patent right