CN111768450A - 基于散斑图的结构光相机行偏差的自动检测方法和装置 - Google Patents

基于散斑图的结构光相机行偏差的自动检测方法和装置 Download PDF

Info

Publication number
CN111768450A
CN111768450A CN202010525452.7A CN202010525452A CN111768450A CN 111768450 A CN111768450 A CN 111768450A CN 202010525452 A CN202010525452 A CN 202010525452A CN 111768450 A CN111768450 A CN 111768450A
Authority
CN
China
Prior art keywords
mask
significant
test
pattern
saliency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010525452.7A
Other languages
English (en)
Other versions
CN111768450B (zh
Inventor
户磊
刘祺昌
化雪诚
薛远
李东洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202010525452.7A priority Critical patent/CN111768450B/zh
Publication of CN111768450A publication Critical patent/CN111768450A/zh
Application granted granted Critical
Publication of CN111768450B publication Critical patent/CN111768450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Abstract

本发明实施例提供一种基于散斑图的结构光相机行偏差的自动检测方法和装置，该方法包括：提取测试物体的散斑图作为测试图，然后提取测试图对应的深度图和显著图，再进一步确定显著图对应的显著掩模，通过漫水填充处理显著掩模得到扩展显著掩模，其用于标识显著图中的扩展显著区域，再确定扩展显著掩模标识的扩展显著区域在所述深度图中的对应区域中有深度值的像素点总个数为深度有效个数，最后基于深度有效个数和扩展显著区域内的像素点总个数判定待测结构光相机是否存在行偏差。本发明实施例提供的方法和装置，实现了快速自动检测待测结构光相机拍摄的测试散斑图是否具有行偏差，避免了相机每次使用时都需要重新标定而造成的时间延误。

Description

基于散斑图的结构光相机行偏差的自动检测方法和装置
技术领域
本发明涉及结构光相机技术领域，尤其涉及一种基于散斑图的结构光相机行偏差的自动检测方法和装置。
背景技术
自从成功将深度相机集成到手机，能够恢复三维信息的深度相机逐渐在各种消费级应用中兴起。深度相机根据深度恢复的工作原理，能够分成双目深度相机、TOF(time offly)深度相机以及结构光相机。其中结构光相机由于其工作抗干扰性强、成本适中，所以得到了更多的应用。
结构光相机中恢复深度的部分通常是由一个红外散斑投射器和红外摄像头组成，恢复深度前，首先需要解算相机的各项参数，然后拍摄距离已知、表面平滑整洁的平面，将得到的散斑图作为参考图，最后再拍摄需要测试的物体，得到测试散斑图，将测试散斑图和参考图进行匹配计算便能得到被测物体的深度值，即三维信息。实际场景中，测试图在参考图上的匹配点是等高的，所以集成在结构光相机中的深度恢复算法往往是只在参考图等高线的一维方向去搜索测试散斑图的匹配点。但是，相机是一种小巧的物件，容易发生摔打等意外情况，这时候结构光相机的红外散斑投射器和红外摄像头之间的位置以及姿态关系容易发生改变，导致再次拍摄的测试散斑图在参考图上无法在等高线处找到匹配点，进而无法恢复被测物体深度。而现有技术中为了避免未知的结构光相机的红外散斑投射器和红外摄像头之间的位置以及姿态关系的改变，每次拍摄时都需要对相机进行重新标定，耽误相机投入使用的速度。
因此，如何避免现有的结构光相机在使用之前都需要重新标定红外散斑投射器和红外摄像头之间的位置以及姿态关系带来的繁琐，相机需要投入使用时的时间延误，仍然是本领域技术人员亟待解决的问题。
发明内容
本发明实施例提供一种基于散斑图的结构光相机行偏差的自动检测方法和装置，用以解决现有的结构光相机在使用之前都需要重新标定红外散斑投射器和红外摄像头之间的位置以及姿态关系带来的繁琐，相机需要投入使用时的时间延误的问题。
第一方面，本发明实施例提供一种基于散斑图的结构光相机行偏差的自动检测方法，包括：
确定测试物体的散斑图为测试图，并提取所述测试图对应的深度图，其中，所述散斑图是通过待测结构光相机开启散斑投射器照射所述测试物体形成；
提取所述测试图的显著区域，得到显著图，基于所述显著图确定显著掩模，其中，所述显著图和所述测试图的大小相同，所述显著掩模为与所述显著图大小相同的矩阵；
基于所述显著掩模对所述测试图进行漫水填充处理得到扩展显著掩模，所述扩展显著掩模为与所述测试图大小相同的矩阵且用于标识所述显著图中的扩展显著区域；
基于所述深度图，确定所述扩展显著掩模中的深度有效个数，所述深度有效个数为所述扩展显著掩模标识的扩展显著区域在所述深度图中的对应区域中有深度值的像素点总个数；
基于所述深度有效个数和所述扩展显著区域的像素点总个数，判定所述待测结构光相机是否存在行偏差。
优选地，该方法中，所述确定测试物体的散斑图为测试图，并提取所述测试图对应的深度图，其中，所述散斑图是通过待测结构光相机开启散斑投射器照射所述测试物体形成，具体包括：
采集测试物体的连续多帧散斑图，从第一帧散斑图开始依次进行读取和模糊检测，直到出现检测结果为不模糊的散斑图，停止检测并确定所述检测结果为不模糊的散斑图为测试图；
其中，所述散斑图是通过待测结构光相机开启散斑投射器照射所述测试物体形成；
对所述测试图采用所述待测结构光相机自带的深度恢复算法进行处理得到所述测试图对应的深度图。
优选地，该方法中，散斑图的模糊检测过程和模糊检测结果判定规则，具体包括：
对散斑图进行边缘检测，获取所述散斑图中任一散斑点的轮廓；
基于任一散斑点的轮廓提取所述任一散斑点的轮廓周长；
确定轮廓周长超过第一阈值的散斑点为模糊散斑点；
若所述模糊散斑点的总个数超过第二阈值，则所述散斑图的模糊检测结果为模糊，否则，所述散斑图的模糊检测结果为不模糊。
优选地，该方法中，所述提取所述测试图的显著区域，得到显著图，基于所述显著图确定显著掩模，其中，所述显著图和所述测试图的大小相同，所述显著掩模为与所述显著图大小相同的矩阵，具体包括：
确定所述测试图的灰度直方图；
通过如下公式计算所述测试图中任一像素点a的显著值Sal(Ia):
Figure BDA0002533606260000031
其中，Ia为所述任一像素点a的灰度值，Ii为所述灰度直方图中的第i种灰度值，bi为所述灰度直方图中第i种灰度值的个数，i＝1,2,…,N，N为所述灰度直方图中灰度值的种类数量；
将所述测试图中的任一像素点的灰度值替换成该任一像素点的显著值，得到显著图；
若显著图中的任一像素点的显著值超过第三阈值，则将该任一像素点置为高显著度，否则，将该任一像素点置为低显著度；
构建与所述显著图大小相同的矩阵作为显著掩模，将所述显著图中所有高显著度的像素点对应于所述显著掩模的位置的元素赋值为b，将所述显著图中所有高显著度的像素点对应于所述显著掩模的位置的元素赋值为c，其中，b和c均为实数且b≠c。
优选地，该方法中，所述基于所述显著掩模对所述测试图进行漫水填充处理得到扩展显著掩模，所述扩展显著掩模为与所述测试图大小相同的矩阵且用于标识所述显著图中的扩展显著区域，具体包括：
将所述显著掩模中赋值为b的位置对应于所述测试图中的像素点作为种子点，纳入漫水填充处理；
将各种子点漫水填充得到的像素点对应于所述显著掩模中的位置赋值为b，得到扩展显著掩模；
其中，所述扩展显著掩模中赋值为b的各个位置组成的区域在所述显著图中的对应区域为扩展显著区域。
优选地，该方法中，所述基于所述深度有效个数和所述扩展显著区域的像素点总个数，判定所述待测结构光相机是否存在行偏差，具体包括：
确定所述深度有效个数占所述扩展显著区域的像素点总个数的占比为有效占比；
若所述有效占比大于第四阈值，则判定所述待测结构光相机不存在行偏差，否则，判定所述待测结构光相机存在行偏差。
第二方面，本发明实施例提供一种基于散斑图的结构光相机行偏差的自动检测装置，包括：
测试图单元，用于确定测试物体的散斑图为测试图，并提取所述测试图对应的深度图，其中，所述散斑图是通过待测结构光相机开启散斑投射器照射所述测试物体形成；
显著单元，用于提取所述测试图的显著区域，得到显著图，基于所述显著图确定显著掩模，其中，所述显著图和所述测试图的大小相同，所述显著掩模为与所述显著图大小相同的矩阵；
扩展单元，用于基于所述显著掩模对所述测试图进行漫水填充处理得到扩展显著掩模，所述扩展显著掩模为与所述测试图大小相同的矩阵且用于标识所述显著图中的扩展显著区域；
有效个数单元，用于基于所述深度图，确定所述扩展显著掩模中的深度有效个数，所述深度有效个数为所述扩展显著掩模标识的扩展显著区域在所述深度图中的对应区域中有深度值的像素点总个数；
判定单元，用于基于所述深度有效个数和所述扩展显著区域的像素点总个数，判定所述待测结构光相机是否存在行偏差。
优选地，该装置中，所述测试图单元，具体用于，
采集测试物体的连续多帧散斑图，从第一帧散斑图开始依次进行读取和模糊检测，直到出现检测结果为不模糊的散斑图，停止检测并确定所述检测结果为不模糊的散斑图为测试图；
其中，所述散斑图是通过待测结构光相机开启散斑投射器照射所述测试物体形成；
对所述测试图采用所述待测结构光相机自带的深度恢复算法进行处理得到所述测试图对应的深度图。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的基于散斑图的结构光相机行偏差的自动检测方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的基于散斑图的结构光相机行偏差的自动检测方法的步骤。
本发明实施例提供的方法和装置，通过提取测试物体的散斑图作为测试图，然后提取测试图对应的深度图和显著图，再进一步确定显著图对应的显著掩模，通过漫水填充处理显著掩模得到扩展显著掩模，其用于标识显著图中的扩展显著区域，再确定扩展显著掩模标识的扩展显著区域在所述深度图中的对应区域中有深度值的像素点总个数为深度有效个数，最后基于深度有效个数和扩展显著区域内的像素点总个数判定待测结构光相机是否存在行偏差。如此，通过对待测结构光相机是否存在未知红外散斑投射器和红外摄像头之间的位置以及姿态关系的变动带来的行偏差进行自动检测，快速输出行偏差检测结果用于提示用户对待测结构光相机重新进行标定，使待测结构光相机能够快速再次投入使用。因此，本发明实施例提供的方法和装置，实现了快速自动检测待测结构光相机拍摄的测试散斑图是否具有行偏差，避免了相机每次使用时都需要重新标定而造成的时间延误。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于散斑图的结构光相机行偏差的自动检测方法的流程示意图；
图2为本发明实施例提供的基于散斑图的结构光相机行偏差的自动检测装置的结构示意图；
图3为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的结构光相机普遍存在使用之前都需要重新标定红外散斑投射器和红外摄像头之间的位置以及姿态关系带来的繁琐，相机需要投入使用时的时间延误的问题。对此，本发明实施例提供了一种基于散斑图的结构光相机行偏差的自动检测方法。图1为本发明实施例提供的基于散斑图的结构光相机行偏差的自动检测方法的流程示意图，如图1所示，该方法包括：
步骤110，确定测试物体的散斑图为测试图，并提取所述测试图对应的深度图，其中，所述散斑图是通过待测结构光相机开启散斑投射器照射所述测试物体形成。
具体地，开启待测试结构光相机的散斑投射器照射用于测试待结构光相机是否存在行偏差的测试物体，即形成散斑图，采集所述散斑图作为测试图。然后，提取测试图对应的深度图，提取方法通常是通过所述待测结构光相机自带的深度恢复算法得到对应的深度图。
步骤120，提取所述测试图的显著区域，得到显著图，基于所述显著图确定显著掩模，其中，所述显著图和所述测试图的大小相同，所述显著掩模为与所述显著图大小相同的矩阵。
具体地，提取所述测试图的显著图(Saliency Map)，现有技术中显著图的提取方法有多种，选择其中一种即可，此处不作具体限定。然后，基于所述显著图确定显著掩模，显著掩模即与显著图大小相同的矩阵掩模。例如，显著图为340*760像素点的图像，那么其对应的显著掩模为340*760的矩阵，矩阵中每个元素的值为显著图中对应位置的像素点的显著度，而该像素点的显著度是基于该像素点的显著值进行二分化模糊分类得到的，当所述显著值超过预设阈值，则认定显著度为高显著度，否则认定为低显著度，而显著掩模中对于高显著度和低显著度的区分通过赋予不同的数值表示，例如显著掩模中高显著度对应的位置的赋值为1，低显著度对应的位置赋值为0，如此，形成矩阵元素值由0,1组成的显著掩模。
步骤130，基于所述显著掩模对所述测试图进行漫水填充处理得到扩展显著掩模，所述扩展显著掩模为与所述测试图大小相同的矩阵且用于标识所述显著图中的扩展显著区域。
具体地，对显著掩模进行漫水填充处理得到扩展显著掩模，例如步骤120中举的例子，显著掩模赋值为1的元素的位置对应于显著图中高显著度的像素点形成的区域为显著区域，显著掩模赋值为0的元素的位置对应于显著图中低显著度的像素点形成的区域为非显著区域，此时，对显著掩模进行漫水填充处理，即对显著掩模中赋值为1的位置作为种子点，纳入漫水填充处理，将种子点漫水填充得到的对应位置的赋值都更新为1，更新后的显著掩模即为扩展显著掩模，而扩展显著掩模中赋值为1的元素的位置对应于显著图中像素点形成的区域为扩展显著区域，同时，扩展显著掩模也是由0,1两种元素值组成的矩阵，且矩阵大小也是340*760。
步骤140，基于所述深度图，确定所述扩展显著掩模中的深度有效个数，所述深度有效个数为所述扩展显著掩模标识的扩展显著区域在所述深度图中的对应区域中有深度值的像素点总个数。
具体地，由于扩展显著掩模与显著图的大小相同，显著图的大小与测试图的大小相同且像素位置一一对应，深度图的大小与且像素位置一一对应，因此，扩展显著掩模与深度图也大小相同，且扩展显著淹没中的元素位置与深度图中的像素点一一对应。然后，确定扩展显著掩模中标识的扩展显著区域在所述深度图中的对应区域中存在深度值的像素点总个数。依旧使用步骤130中所举的例子，确定扩展显著掩模中赋值为1的位置对应于显著图中的像素点形成的区域，该区域就是扩展显著区域，然后，找到扩展显著区域在深度图中的对应区域，提取该对应区域中存在深度值的像素点的总个数，存在深度值的像素点即为深度图中该像素点的灰度值不为0的点，然后将该总个数作为扩展显著掩模中的深度有效个数。
步骤150，基于所述深度有效个数和所述扩展显著区域的像素点总个数，判定所述待测结构光相机是否存在行偏差。
具体地，基于深度有效个数和扩展显著区域的像素点总个数，判定所述待测结构光相机是否存在行偏差。通常是基于深度有效个数占扩展显著区域的像素点总个数的占比进行判断，因为对于准确标定的结构光相机而言，提取其测试物体的散斑图的扩展显著区域应该都存在深度值，只有当结构光相机存在行偏差时，会使得本该恢复深度的区域变成深度值为0的黑洞，因此，只需要基于黑洞区域在本该恢复深度的区域中的占比即可判断行偏差的严重程度，当严重程度超过一定阈值时，就得出存在行偏差的结果，提醒用户对相机及时进行重新标定，否则，无需重新标定。
本发明实施例提供的方法，通过提取测试物体的散斑图作为测试图，然后提取测试图对应的深度图和显著图，再进一步确定显著图对应的显著掩模，通过漫水填充处理显著掩模得到扩展显著掩模，其用于标识显著图中的扩展显著区域，再确定扩展显著掩模标识的扩展显著区域在所述深度图中的对应区域中有深度值的像素点总个数为深度有效个数，最后基于深度有效个数和扩展显著区域内的像素点总个数判定待测结构光相机是否存在行偏差。如此，通过对待测结构光相机是否存在未知红外散斑投射器和红外摄像头之间的位置以及姿态关系的变动带来的行偏差进行自动检测，快速输出行偏差检测结果用于提示用户对待测结构光相机重新进行标定，使待测结构光相机能够快速再次投入使用。因此，本发明实施例提供的方法，实现了快速自动检测待测结构光相机拍摄的测试散斑图是否具有行偏差，避免了相机每次使用时都需要重新标定而造成的时间延误。
基于上述实施例，该方法中，所述确定测试物体的散斑图为测试图，并提取所述测试图对应的深度图，其中，所述散斑图是通过待测结构光相机开启散斑投射器照射所述测试物体形成，具体包括：
采集测试物体的连续多帧散斑图，从第一帧散斑图开始依次进行读取和模糊检测，直到出现检测结果为不模糊的散斑图，停止检测并确定所述检测结果为不模糊的散斑图为测试图；
其中，所述散斑图是通过待测结构光相机开启散斑投射器照射所述测试物体形成；
对所述测试图采用所述待测结构光相机自带的深度恢复算法进行处理得到所述测试图对应的深度图。
具体地，由于测试物体还存在运动的情况，当测试物体在拍摄时与相机的相对运动速度过快，会导致散斑图中的散斑发生运动模糊，在一般情况下模糊的散斑无法解算出正确的深度信息，因此，需要排除模糊散斑对行偏差检测的影响，因此，需要采集测试物体的连续多帧散斑图，从第一帧散斑图开始依次进行读取和模糊检测，当前帧散斑图检测出具有运动模糊时，跳过当前帧散斑图，读取下一帧散斑图再进行判断，直到出现检测结果为不模糊的散斑图，则停止检测并确定该检测结果为不模糊的散斑图为测试图。然后，再对所述测试图采用所述待测结构光相机自带的深度恢复算法进行处理得到所述测试图对应的深度图。
本发明实施例提供的方法，通过在确定散斑图为测试图的过程中加入散斑图的散斑模糊检测，排除了由于测试物体相对于相机运动速度太大造成的散斑点模糊而带来的行偏差检测的负面影响。挑出非模糊散斑图作为测试图，可以进一步提高行偏差检测的准确性。
基于上述任一实施例，该方法中，散斑图的模糊检测过程和模糊检测结果判定规则，具体包括：
对散斑图进行边缘检测，获取所述散斑图中任一散斑点的轮廓；
基于任一散斑点的轮廓提取所述任一散斑点的轮廓周长；
确定轮廓周长超过第一阈值的散斑点为模糊散斑点；
若所述模糊散斑点的总个数超过第二阈值，则所述散斑图的模糊检测结果为模糊，否则，所述散斑图的模糊检测结果为不模糊。
具体地，对散斑图进行边缘检测，可以得到散斑图中散斑的轮廓，然后再提取所述散斑的轮廓周长，当该周长超过了第一阈值则判定为模糊散斑点，而当模糊散斑点的数量超过了第二阈值则判定散斑图为模糊散斑图，否则，判定散斑图为不模糊散斑图。
基于上述任一实施例，该方法中，所述提取所述测试图的显著区域，得到显著图，基于所述显著图确定显著掩模，其中，所述显著图和所述测试图的大小相同，所述显著掩模为与所述显著图大小相同的矩阵，具体包括：
确定所述测试图的灰度直方图；
通过如下公式计算所述测试图中任一像素点a的显著值Sal(Ia):
Figure BDA0002533606260000101
其中，Ia为所述任一像素点a的灰度值，Ii为所述灰度直方图中的第i种灰度值，bi为所述灰度直方图中第i种灰度值的个数，i＝1,2,…,N，N为所述灰度直方图中灰度值的种类数量；
将所述测试图中的任一像素点的灰度值替换成该任一像素点的显著值，得到显著图；
若显著图中的任一像素点的显著值超过第三阈值，则将该任一像素点置为高显著度，否则，将该任一像素点置为低显著度；
构建与所述显著图大小相同的矩阵作为显著掩模，将所述显著图中所有高显著度的像素点对应于所述显著掩模的位置的元素赋值为b，将所述显著图中所有高显著度的像素点对应于所述显著掩模的位置的元素赋值为c，其中，b和c均为实数且b≠c。
具体地，最常用的求取测试图的显著图的方法就是通过测试图中当前像素点与测试图中其他像素点的灰度值差的总和作为当前像素点的显著度值。测试图中第a个像素点的显著度值Sal(Ia)计算方法如如下公式所示：
Figure BDA0002533606260000111
上式中，Ia为第a个像素点的灰度值，Ii为测试图中的第i个像素点的灰度值，N为测试图中像素点的总个数。
而本发明实施例提供的显著图的计算方法通过利用直方图进行了计算优化，只需求取测试图当前像素点的灰度值与直方图中各灰度值的差的绝对值乘以各灰度值的像素点的数量再进行求和便能得到测试图当前像素点的显著度值。通过如下公式计算所述测试图中任一像素点a的显著值Sal(Ia):
Figure BDA0002533606260000112
上式中，Ia为所述任一像素点a的灰度值，Ii为所述灰度直方图中的第i种灰度值，bi为所述灰度直方图中第i种灰度值的个数，i＝1,2,…,N，N为所述灰度直方图中灰度值的种类数量。
对显著图中的显著度值进行二分化模糊判断，将显著度值高于第三阈值的像素点设置为高显著度像素点，否则设置为低显著度像素点，构建与所述显著图大小相同的矩阵作为显著掩模，将所述显著图中所有高显著度的像素点对应于所述显著掩模的位置的元素赋值为b，将所述显著图中所有高显著度的像素点对应于所述显著掩模的位置的元素赋值为c，其中，b和c均为实数且b≠c。例如，b＝1,c＝0或者b＝30,c＝10,等等，组合多种多样，此处不作具体限定。
基于上述任一实施例，该方法中，所述基于所述显著掩模对所述测试图进行漫水填充处理得到扩展显著掩模，所述扩展显著掩模为与所述测试图大小相同的矩阵且用于标识所述显著图中的扩展显著区域，具体包括：
将所述显著掩模中赋值为b的位置对应于所述测试图中的像素点作为种子点，纳入漫水填充处理；
将各种子点漫水填充得到的像素点对应于所述显著掩模中的位置赋值为b，得到扩展显著掩模；
其中，所述扩展显著掩模中赋值为b的各个位置组成的区域在所述显著图中的对应区域为扩展显著区域。
具体地，对显著掩模进行漫水填充处理，得到扩展显著掩模，具体操作是将所述显著掩模中赋值为b的位置对应于所述测试图中的像素点作为种子点，纳入漫水填充处理，将各种子点漫水填充得到的像素点对应于显著掩模中的位置更新赋值为b，得到扩展显著掩模，因此，扩展显著掩模中赋值为b的各个位置组成的区域在所述显著图中的对应区域为扩展显著区域。所述扩展显著掩模为与所述测试图大小相同的矩阵且通过其更新赋值后的赋值为b的元素标识所述显著图中的对应区域为扩展显著区域。
基于上述任一实施例，该方法中，所述基于所述深度有效个数和所述扩展显著区域的像素总个数，判定所述待测结构光相机是否存在行偏差，具体包括：
确定所述深度有效个数占所述扩展显著区域的像素总个数的占比为有效占比；
若所述有效占比大于第四阈值，则判定所述待测结构光相机不存在行偏差，否则，判定所述待测结构光相机存在行偏差。
具体地，基于深度有效个数占扩展显著区域的像素点总个数的占比进行判断，因为对于准确标定的结构光相机而言，提取其测试物体的散斑图的扩展显著区域应该都存在深度值，只有当结构光相机存在行偏差时，会使得本该恢复深度的区域变成深度值为0的黑洞，因此，只需要基于黑洞区域在本该恢复深度的区域中的占比即可判断行偏差的严重程度，当严重程度超过一定阈值时，就得出存在行偏差的结果，提醒用户对相机及时进行重新标定，否则，无需重新标定。严重程度的判断通过设置第四阈值，当深度有效个数占扩展显著区域的像素总个数的占比超过第四阈值时，则判定待测结构光相机不存在行偏差，否则，判定所述待测结构光相机存在行偏差。
基于上述任一实施例，本发明实施例提供一种基于散斑图的结构光相机行偏差的自动检测装置，图2为本发明实施例提供的基于散斑图的结构光相机行偏差的自动检测装置的结构示意图。如图2所示，该装置包括测试图单元210、显著单元220、扩展单元230、有效个数单元240和判定单元250，其中，
所述测试图单元210，用于确定测试物体的散斑图为测试图，并提取所述测试图对应的深度图，其中，所述散斑图是通过待测结构光相机开启散斑投射器照射所述测试物体形成；
所述显著单元220，用于提取所述测试图的显著区域，得到显著图，基于所述显著图确定显著掩模，其中，所述显著图和所述测试图的大小相同，所述显著掩模为与所述显著图大小相同的矩阵；
所述扩展单元230，用于基于所述显著掩模对所述测试图进行漫水填充处理得到扩展显著掩模，所述扩展显著掩模为与所述测试图大小相同的矩阵且用于标识所述显著图中的扩展显著区域；
所述有效个数单元240，用于基于所述深度图，确定所述扩展显著掩模中的深度有效个数，所述深度有效个数为所述扩展显著掩模标识的扩展显著区域在所述深度图中的对应区域中有深度值的像素点总个数；
所述判定单元250，用于基于所述深度有效个数和所述扩展显著区域的像素总个数，判定所述待测结构光相机是否存在行偏差。
本发明实施例提供的装置，通过提取测试物体的散斑图作为测试图，然后提取测试图对应的深度图和显著图，再进一步确定显著图对应的显著掩模，通过漫水填充处理显著掩模得到扩展显著掩模，其用于标识显著图中的扩展显著区域，再确定扩展显著掩模标识的扩展显著区域在所述深度图中的对应区域中有深度值的像素点总个数为深度有效个数，最后基于深度有效个数和扩展显著区域内的像素点总个数判定待测结构光相机是否存在行偏差。如此，通过对待测结构光相机是否存在未知红外散斑投射器和红外摄像头之间的位置以及姿态关系的变动带来的行偏差进行自动检测，快速输出行偏差检测结果用于提示用户对待测结构光相机重新进行标定，使待测结构光相机能够快速再次投入使用。因此，本发明实施例提供的装置，实现了快速自动检测待测结构光相机拍摄的测试散斑图是否具有行偏差，避免了相机每次使用时都需要重新标定而造成的时间延误。
基于上述任一实施例，该装置中，所述测试图单元，具体用于，
采集测试物体的连续多帧散斑图，从第一帧散斑图开始依次进行读取和模糊检测，直到出现检测结果为不模糊的散斑图，停止检测并确定所述检测结果为不模糊的散斑图为测试图；
其中，所述散斑图是通过待测结构光相机开启散斑投射器照射所述测试物体形成；
对所述测试图采用所述待测结构光相机自带的深度恢复算法进行处理得到所述测试图对应的深度图。
本发明实施例提供的装置，通过在确定散斑图为测试图的过程中加入散斑图的散斑模糊检测，排除了由于测试物体相对于相机运动速度太大造成的散斑点模糊而带来的行偏差检测的负面影响。挑出非模糊散斑图作为测试图，可以进一步提高行偏差检测的准确性。
基于上述任一实施例，该装置中，散斑图的模糊检测过程和模糊检测结果判定规则，具体包括：
对散斑图进行边缘检测，获取所述散斑图中任一散斑点的轮廓；
基于任一散斑点的轮廓提取所述任一散斑点的轮廓周长；
确定轮廓周长超过第一阈值的散斑点为模糊散斑点；
若所述模糊散斑点的总个数超过第二阈值，则所述散斑图的模糊检测结果为模糊，否则，所述散斑图的模糊检测结果为不模糊。
基于上述任一实施例，该装置中，所述提取所述测试图的显著区域，得到显著图，基于所述显著图确定显著掩模，其中，所述显著图和所述测试图的大小相同，所述显著掩模为与所述显著图大小相同的矩阵，具体包括：
确定所述测试图的灰度直方图；
通过如下公式计算所述测试图中任一像素点a的显著值Sal(Ia):
Figure BDA0002533606260000151
其中，Ia为所述任一像素点a的灰度值，Ii为所述灰度直方图中的第i种灰度值，bi为所述灰度直方图中第i种灰度值的个数，i＝1,2,…,N，N为所述灰度直方图中灰度值的种类数量；
将所述测试图中的任一像素点的灰度值替换成该任一像素点的显著值，得到显著图；
若显著图中的任一像素点的显著值超过第三阈值，则将该任一像素点置为高显著度，否则，将该任一像素点置为低显著度；
构建与所述显著图大小相同的矩阵作为显著掩模，将所述显著图中所有高显著度的像素点对应于所述显著掩模的位置的元素赋值为b，将所述显著图中所有高显著度的像素点对应于所述显著掩模的位置的元素赋值为c，其中，b和c均为实数且b≠c。
基于上述任一实施例，该装置中，所述显著单元，具体用于，
确定所述测试图的灰度直方图；
通过如下公式计算所述测试图中任一像素点a的显著值Sal(Ia):
Figure BDA0002533606260000152
其中，Ia为所述任一像素点a的灰度值，Ii为所述灰度直方图中的第i种灰度值，bi为所述灰度直方图中第i种灰度值的个数，i＝1,2,…,N，N为所述灰度直方图中灰度值的种类数量；
将所述测试图中的任一像素点的灰度值替换成该任一像素点的显著值，得到显著图；
若显著图中的任一像素点的显著值超过第三阈值，则将该任一像素点置为高显著度，否则，将该任一像素点置为低显著度；
构建与所述显著图大小相同的矩阵作为显著掩模，将所述显著图中所有高显著度的像素点对应于所述显著掩模的位置的元素赋值为b，将所述显著图中所有高显著度的像素点对应于所述显著掩模的位置的元素赋值为c，其中，b和c均为实数且b≠c。
基于上述任一实施例，该装置中，所述扩展单元，具体用于，
将所述显著掩模中赋值为b的位置对应于所述测试图中的像素点作为种子点，纳入漫水填充处理；
将各种子点漫水填充得到的像素点对应于所述显著掩模中的位置赋值为b，得到扩展显著掩模；
其中，所述扩展显著掩模中赋值为b的各个位置组成的区域在所述显著图中的对应区域为扩展显著区域。
基于上述任一实施例，该装置中，所述判定单元，具体用于，
确定所述深度有效个数占所述扩展显著区域的像素点总个数的占比为有效占比；
若所述有效占比大于第四阈值，则判定所述待测结构光相机不存在行偏差，否则，判定所述待测结构光相机存在行偏差。
图3为本发明实施例提供的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储在存储器303上并可在处理器301上运行的计算机程序，以执行上述各实施例提供的基于散斑图的结构光相机行偏差的自动检测方法，例如包括：确定测试物体的散斑图为测试图，并提取所述测试图对应的深度图，其中，所述散斑图是通过待测结构光相机开启散斑投射器照射所述测试物体形成；提取所述测试图的显著区域，得到显著图，基于所述显著图确定显著掩模，其中，所述显著图和所述测试图的大小相同，所述显著掩模为与所述显著图大小相同的矩阵；基于所述显著掩模对所述测试图进行漫水填充处理得到扩展显著掩模，所述扩展显著掩模为与所述测试图大小相同的矩阵且用于标识所述显著图中的扩展显著区域；基于所述深度图，确定所述扩展显著掩模中的深度有效个数，所述深度有效个数为所述扩展显著掩模标识的扩展显著区域在所述深度图中的对应区域中有深度值的像素点总个数；基于所述深度有效个数和所述扩展显著区域的像素点总个数，判定所述待测结构光相机是否存在行偏差。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于散斑图的结构光相机行偏差的自动检测方法，例如包括：确定测试物体的散斑图为测试图，并提取所述测试图对应的深度图，其中，所述散斑图是通过待测结构光相机开启散斑投射器照射所述测试物体形成；提取所述测试图的显著区域，得到显著图，基于所述显著图确定显著掩模，其中，所述显著图和所述测试图的大小相同，所述显著掩模为与所述显著图大小相同的矩阵；基于所述显著掩模对所述测试图进行漫水填充处理得到扩展显著掩模，所述扩展显著掩模为与所述测试图大小相同的矩阵且用于标识所述显著图中的扩展显著区域；基于所述深度图，确定所述扩展显著掩模中的深度有效个数，所述深度有效个数为所述扩展显著掩模标识的扩展显著区域在所述深度图中的对应区域中有深度值的像素点总个数；基于所述深度有效个数和所述扩展显著区域的像素点总个数，判定所述待测结构光相机是否存在行偏差。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于散斑图的结构光相机行偏差的自动检测方法，其特征在于，包括：
确定测试物体的散斑图为测试图，并提取所述测试图对应的深度图，其中，所述散斑图是通过待测结构光相机开启散斑投射器照射所述测试物体形成；
提取所述测试图的显著区域，得到显著图，基于所述显著图确定显著掩模，其中，所述显著图和所述测试图的大小相同，所述显著掩模为与所述显著图大小相同的矩阵；
基于所述显著掩模对所述测试图进行漫水填充处理得到扩展显著掩模，所述扩展显著掩模为与所述测试图大小相同的矩阵且用于标识所述显著图中的扩展显著区域；
基于所述深度图，确定所述扩展显著掩模中的深度有效个数，所述深度有效个数为所述扩展显著掩模标识的扩展显著区域在所述深度图中的对应区域中有深度值的像素点总个数；
基于所述深度有效个数和所述扩展显著区域的像素点总个数，判定所述待测结构光相机是否存在行偏差。
2.根据权利要求1所述的基于散斑图的结构光相机行偏差的自动检测方法，其特征在于，所述确定测试物体的散斑图为测试图，并提取所述测试图对应的深度图，其中，所述散斑图是通过待测结构光相机开启散斑投射器照射所述测试物体形成，具体包括：
采集测试物体的连续多帧散斑图，从第一帧散斑图开始依次进行读取和模糊检测，直到出现检测结果为不模糊的散斑图，停止检测并确定所述检测结果为不模糊的散斑图为测试图；
其中，所述散斑图是通过待测结构光相机开启散斑投射器照射所述测试物体形成；
对所述测试图采用所述待测结构光相机自带的深度恢复算法进行处理得到所述测试图对应的深度图。
3.根据权利要求2所述的基于散斑图的结构光相机行偏差的自动检测方法，其特征在于，散斑图的模糊检测过程和模糊检测结果判定规则，具体包括：
对散斑图进行边缘检测，获取所述散斑图中任一散斑点的轮廓；
基于任一散斑点的轮廓提取所述任一散斑点的轮廓周长；
确定轮廓周长超过第一阈值的散斑点为模糊散斑点；
若所述模糊散斑点的总个数超过第二阈值，则所述散斑图的模糊检测结果为模糊，否则，所述散斑图的模糊检测结果为不模糊。
4.根据权利要求1-3中任一项所述的基于散斑图的结构光相机行偏差的自动检测方法，其特征在于，所述提取所述测试图的显著区域，得到显著图，基于所述显著图确定显著掩模，其中，所述显著图和所述测试图的大小相同，所述显著掩模为与所述显著图大小相同的矩阵，具体包括：
确定所述测试图的灰度直方图；
通过如下公式计算所述测试图中任一像素点a的显著值Sal(Ia):
Figure FDA0002533606250000021
其中，Ia为所述任一像素点a的灰度值，Ii为所述灰度直方图中的第i种灰度值，bi为所述灰度直方图中第i种灰度值的个数，i＝1,2,…,N，N为所述灰度直方图中灰度值的种类数量；
将所述测试图中的任一像素点的灰度值替换成该任一像素点的显著值，得到显著图；
若显著图中的任一像素点的显著值超过第三阈值，则将该任一像素点置为高显著度，否则，将该任一像素点置为低显著度；
构建与所述显著图大小相同的矩阵作为显著掩模，将所述显著图中所有高显著度的像素点对应于所述显著掩模的位置的元素赋值为b，将所述显著图中所有高显著度的像素点对应于所述显著掩模的位置的元素赋值为c，其中，b和c均为实数且b≠c。
5.根据权利要求4所述的基于散斑图的结构光相机行偏差的自动检测方法，其特征在于，所述基于所述显著掩模对所述测试图进行漫水填充处理得到扩展显著掩模，所述扩展显著掩模为与所述测试图大小相同的矩阵且用于标识所述显著图中的扩展显著区域，具体包括：
将所述显著掩模中赋值为b的位置对应于所述测试图中的像素点作为种子点，纳入漫水填充处理；
将各种子点漫水填充得到的像素点对应于所述显著掩模中的位置赋值为b，得到扩展显著掩模；
其中，所述扩展显著掩模中赋值为b的各个位置组成的区域在所述显著图中的对应区域为扩展显著区域。
6.根据权利要求1或5所述的基于散斑图的结构光相机行偏差的自动检测方法，其特征在于，所述基于所述深度有效个数和所述扩展显著区域的像素点总个数，判定所述待测结构光相机是否存在行偏差，具体包括：
确定所述深度有效个数占所述扩展显著区域的像素点总个数的占比为有效占比；
若所述有效占比大于第四阈值，则判定所述待测结构光相机不存在行偏差，否则，判定所述待测结构光相机存在行偏差。
7.一种基于散斑图的结构光相机行偏差的自动检测装置，其特征在于，包括：
测试图单元，用于确定测试物体的散斑图为测试图，并提取所述测试图对应的深度图，其中，所述散斑图是通过待测结构光相机开启散斑投射器照射所述测试物体形成；
显著单元，用于提取所述测试图的显著区域，得到显著图，基于所述显著图确定显著掩模，其中，所述显著图和所述测试图的大小相同，所述显著掩模为与所述显著图大小相同的矩阵；
扩展单元，用于基于所述显著掩模对所述测试图进行漫水填充处理得到扩展显著掩模，所述扩展显著掩模为与所述测试图大小相同的矩阵且用于标识所述显著图中的扩展显著区域；
有效个数单元，用于基于所述深度图，确定所述扩展显著掩模中的深度有效个数，所述深度有效个数为所述扩展显著掩模标识的扩展显著区域在所述深度图中的对应区域中有深度值的像素点总个数；
判定单元，用于基于所述深度有效个数和所述扩展显著区域的像素点总个数，判定所述待测结构光相机是否存在行偏差。
8.根据权利要求7所述的基于散斑图的结构光相机行偏差的自动检测装置，其特征在于，所述测试图单元，具体用于，
采集测试物体的连续多帧散斑图，从第一帧散斑图开始依次进行读取和模糊检测，直到出现检测结果为不模糊的散斑图，停止检测并确定所述检测结果为不模糊的散斑图为测试图；
其中，所述散斑图是通过待测结构光相机开启散斑投射器照射所述测试物体形成；
对所述测试图采用所述待测结构光相机自带的深度恢复算法进行处理得到所述测试图对应的深度图。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6中任一项所述的基于散斑图的结构光相机行偏差的自动检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于散斑图的结构光相机行偏差的自动检测方法的步骤。
CN202010525452.7A 2020-06-10 2020-06-10 基于散斑图的结构光相机行偏差的自动检测方法和装置 Active CN111768450B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010525452.7A CN111768450B (zh) 2020-06-10 2020-06-10 基于散斑图的结构光相机行偏差的自动检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010525452.7A CN111768450B (zh) 2020-06-10 2020-06-10 基于散斑图的结构光相机行偏差的自动检测方法和装置

Publications (2)

Publication Number Publication Date
CN111768450A true CN111768450A (zh) 2020-10-13
CN111768450B CN111768450B (zh) 2023-10-13

Family

ID=72720572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010525452.7A Active CN111768450B (zh) 2020-06-10 2020-06-10 基于散斑图的结构光相机行偏差的自动检测方法和装置

Country Status (1)

Country Link
CN (1) CN111768450B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330751A (zh) * 2020-10-30 2021-02-05 合肥的卢深视科技有限公司 一种结构光相机行偏差检测方法及装置
CN113379816A (zh) * 2021-06-29 2021-09-10 北京的卢深视科技有限公司 结构变动检测方法、电子设备及存储介质
CN113643337A (zh) * 2021-08-05 2021-11-12 北京的卢深视科技有限公司 相机行偏差校准方法、装置、电子设备及存储介质
CN113763448A (zh) * 2021-08-24 2021-12-07 北京的卢深视科技有限公司 深度成像方法、电子设备和计算机可读存储介质
CN113963045A (zh) * 2021-10-19 2022-01-21 北京的卢深视科技有限公司 深度图获取方法、结构光相机、电子设备及存储介质
CN114299129A (zh) * 2021-12-31 2022-04-08 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025827A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth Mapping Based on Pattern Matching and Stereoscopic Information
CN104245046A (zh) * 2012-04-26 2014-12-24 维申Rt有限公司 3d摄像系统
CN106651794A (zh) * 2016-12-01 2017-05-10 北京航空航天大学 一种基于虚拟相机的投影散斑校正方法
CN107220949A (zh) * 2017-05-27 2017-09-29 安徽大学 公路监控视频中运动车辆阴影的自适应消除方法
CN108280807A (zh) * 2017-01-05 2018-07-13 浙江舜宇智能光学技术有限公司 单目深度图像采集装置和系统及其图像处理方法
US20180211438A1 (en) * 2017-01-23 2018-07-26 Intel Corporation Generating three dimensional models using single two dimensional images
CN108535681A (zh) * 2018-02-05 2018-09-14 西安电子科技大学 一种透过散射介质的目标4d跟踪系统及方法
CN108957911A (zh) * 2018-08-22 2018-12-07 北京华捷艾米科技有限公司 散斑结构光投影模组及3d深度相机
CN109414218A (zh) * 2016-03-04 2019-03-01 4Dx有限公司 成像方法及系统
CN109461181A (zh) * 2018-10-17 2019-03-12 北京华捷艾米科技有限公司 基于散斑结构光的深度图像获取方法及系统
CN110603513A (zh) * 2018-08-27 2019-12-20 深圳市汇顶科技股份有限公司 基于对眼睛特征进行成像和结构照明探测光帮助的眼睛跟踪
CN110942060A (zh) * 2019-10-22 2020-03-31 清华大学 基于激光散斑和模态融合的材质识别方法及装置
CN111243002A (zh) * 2020-01-15 2020-06-05 中国人民解放军国防科技大学 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025827A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth Mapping Based on Pattern Matching and Stereoscopic Information
CN104245046A (zh) * 2012-04-26 2014-12-24 维申Rt有限公司 3d摄像系统
CN109414218A (zh) * 2016-03-04 2019-03-01 4Dx有限公司 成像方法及系统
CN106651794A (zh) * 2016-12-01 2017-05-10 北京航空航天大学 一种基于虚拟相机的投影散斑校正方法
CN108280807A (zh) * 2017-01-05 2018-07-13 浙江舜宇智能光学技术有限公司 单目深度图像采集装置和系统及其图像处理方法
US20180211438A1 (en) * 2017-01-23 2018-07-26 Intel Corporation Generating three dimensional models using single two dimensional images
CN107220949A (zh) * 2017-05-27 2017-09-29 安徽大学 公路监控视频中运动车辆阴影的自适应消除方法
CN108535681A (zh) * 2018-02-05 2018-09-14 西安电子科技大学 一种透过散射介质的目标4d跟踪系统及方法
CN108957911A (zh) * 2018-08-22 2018-12-07 北京华捷艾米科技有限公司 散斑结构光投影模组及3d深度相机
CN110603513A (zh) * 2018-08-27 2019-12-20 深圳市汇顶科技股份有限公司 基于对眼睛特征进行成像和结构照明探测光帮助的眼睛跟踪
CN109461181A (zh) * 2018-10-17 2019-03-12 北京华捷艾米科技有限公司 基于散斑结构光的深度图像获取方法及系统
CN110942060A (zh) * 2019-10-22 2020-03-31 清华大学 基于激光散斑和模态融合的材质识别方法及装置
CN111243002A (zh) * 2020-01-15 2020-06-05 中国人民解放军国防科技大学 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YIHUA TAN 等: "Aircraft detection in high-resolution SAR images based on a gradient textural saliency map", 《SENSORS》, pages 23071 - 23094 *
候旭阳: "基于激光散斑的深度图获取算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 138 - 2965 *
薛昊洋: "基于Kinect的深度图像修复及显著性检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 138 - 1061 *
魏建欢: "基于分割的图像显著性检测算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 138 - 2552 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330751A (zh) * 2020-10-30 2021-02-05 合肥的卢深视科技有限公司 一种结构光相机行偏差检测方法及装置
CN112330751B (zh) * 2020-10-30 2022-08-26 合肥的卢深视科技有限公司 一种结构光相机行偏差检测方法及装置
CN113379816A (zh) * 2021-06-29 2021-09-10 北京的卢深视科技有限公司 结构变动检测方法、电子设备及存储介质
CN113379816B (zh) * 2021-06-29 2022-03-25 北京的卢深视科技有限公司 结构变动检测方法、电子设备及存储介质
CN113643337A (zh) * 2021-08-05 2021-11-12 北京的卢深视科技有限公司 相机行偏差校准方法、装置、电子设备及存储介质
CN113643337B (zh) * 2021-08-05 2022-05-31 合肥的卢深视科技有限公司 相机行偏差校准方法、装置、电子设备及存储介质
CN113763448A (zh) * 2021-08-24 2021-12-07 北京的卢深视科技有限公司 深度成像方法、电子设备和计算机可读存储介质
CN113963045A (zh) * 2021-10-19 2022-01-21 北京的卢深视科技有限公司 深度图获取方法、结构光相机、电子设备及存储介质
CN113963045B (zh) * 2021-10-19 2022-07-19 合肥的卢深视科技有限公司 深度图获取方法、结构光相机、电子设备及存储介质
CN114299129A (zh) * 2021-12-31 2022-04-08 北京的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN111768450B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN111768450A (zh) 基于散斑图的结构光相机行偏差的自动检测方法和装置
US9767604B2 (en) Image analysis method by analyzing point cloud using hierarchical search tree
CN111710000B (zh) 一种相机行偏差自检方法及系统
US20080292192A1 (en) Human detection device and method and program of the same
CN107220647B (zh) 一种叶片交叉条件下作物中心点定位方法及系统
CN109272546B (zh) 一种鱼苗长度测量方法及系统
CN111340749B (zh) 图像质量的检测方法、装置、设备及存储介质
CN113109368A (zh) 玻璃裂纹检测方法、装置、设备及介质
CN112215794B (zh) 一种双目adas摄像头脏污检测的方法及装置
CN110660072B (zh) 一种直线边缘的识别方法、装置、存储介质及电子设备
CN112991193A (zh) 深度图像修复方法、设备及计算机可读存储介质
JP2016505185A (ja) エッジ選択機能を有するイメージプロセッサ
CN111369611B (zh) 图像像素深度值优化方法及其装置、设备和存储介质
CN111476812A (zh) 地图分割方法、装置、位姿估计方法和设备终端
JP2011165170A (ja) 対象物検出装置及びプログラム
CN110889817B (zh) 图像融合质量评价方法及装置
CN117372663A (zh) 原木端面遮挡的补全方法、装置、设备及存储介质
CN115661131B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN110288655B (zh) 一种自动识别chart图片中测试图案位置的方法及装置
WO2024016632A1 (zh) 亮点定位方法、亮点定位装置、电子设备及存储介质
CN113048899A (zh) 基于线结构光的厚度测量方法和系统
JP2018205030A (ja) 距離測定装置、距離測定方法および距離測定プログラム
CN114399432A (zh) 目标识别方法、装置、设备、介质及产品
CN113420579A (zh) 标识码位置定位模型的训练及定位方法、装置、电子设备
CN113139454B (zh) 基于单张图像的道路宽度提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220729

Address after: Room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei City, Anhui Province

Applicant after: Hefei lushenshi Technology Co.,Ltd.

Address before: Room 3032, gate 6, block B, 768 Creative Industry Park, 5 Xueyuan Road, Haidian District, Beijing 100083

Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Applicant before: Hefei lushenshi Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant