CN114693683B - 深度相机异常检测方法、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及图像处理领域，公开了一种深度相机异常检测方法、电子设备及存储介质。本发明的深度相机异常检测方法包括：根据预设的图像匹配算法，将预设的斑模板与所述目标深度相机拍摄的散斑图像上的待匹配区域进行匹配，生成所述待匹配区域对应的匹配值，并将所述匹配值作为每个像素点的像素值形成匹配结果图；根据匹配结果图的像素值筛选出高质量散斑区域，获取局部匹配图；对散斑图像分别采用第一视差计算方法和第二视差计算方法得到第一视差图和第二视差图；根据局部匹配图、第一视差图和所述第二视差图确定目标深度相机是否异常。在仅获取散斑图像的条件下可快速判定深度相机的异常。

Description

深度相机异常检测方法、电子设备及存储介质

技术领域

本发明实施例涉及图像处理领域，特别涉及一种深度相机异常检测方法、电子设备及存储介质。

背景技术

目前深度相机的类型和产品有很多，使用范围很广，由于受深度相机结构和使用环境的约束，在有些场景中会无法输出正常的深度图像，此时使用者往往需要本领域技术人员进行协助，分析并确定深度相机的异常原因，这种深度相机异常检测的方法费时、费力且受限于专业的技术人员。

发明内容

本发明实施方式的目的在于提供一种深度相机异常检测方法、电子设备及存储介质，在仅获取散斑图像的条件下，根据散斑图像计算获取的局部匹配图、第一视差图和第二视差图就可快速判定深度相机的异常。

为解决上述技术问题，本发明的实施方式提供了一种深度相机异常检测方法，包括：根据预设的图像匹配算法，将预设的斑模板与所述目标深度相机拍摄的散斑图像上的待匹配区域进行匹配，生成所述待匹配区域对应的匹配值，并将所述匹配值作为每个像素点的像素值形成匹配结果图；根据所述匹配结果图的像素值筛选出高质量散斑区域，获取局部匹配图；对所述散斑图像分别采用第一视差计算方法和第二视差计算方法得到第一视差图和第二视差图；根据所述局部匹配图、所述第一视差图和所述第二视差图确定所述目标深度相机是否异常。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述实施方式提及的深度相机异常检测方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的深度相机异常检测方法。

本发明实施方式提供的深度相机异常检测方法、电子设备及存储介质，通过将目标深度相机拍摄的散斑图像与该目标深度相机对应的斑模板进行匹配，获取匹配结果图，匹配结果图的像素值表示散斑图像上待匹配区域与斑模板的匹配程度，根据匹配结果图中的像素值筛选出高质量的散斑区域，得到局部匹配图，然后对散斑图像采用第一视差计算方法和第二视差计算方法得到第一视差图和第二视差图，根据局部匹配图、第一视差图和第二视差图就可确定目标深度相机是否异常。整个方法只需获取散斑图像并对其进行处理，就可确定目标深度相机是否异常，计算量小，过程简单。

另外，本发明实施方式提供的深度相机异常检测方法，所述根据预设的图像匹配算法，将目标深度相机对应的斑模板与所述目标深度相机拍摄的散斑图像上的待匹配区域进行匹配之前，还包括：获取所述目标深度相机拍摄的散斑图像的散斑直径、散斑密度、散斑的分布规律和散斑亮度的衰减规律；根据所述散斑直径、所述散斑密度、所述散斑的分布规律和所述散斑亮度的衰减规律确定所述斑模板的中心模板和所述边界模板，并将所述中心模板和所述边界模板组合得到所述斑模板。针对目标深度相机拍摄的散斑图像的散斑风格，确定对应的斑模板，根据准确的斑模板进行匹配，可以快速确定出高质量的散斑区域。

另外，本发明实施方式提供的深度相机异常检测方法，根据所述匹配结果图的像素值筛选出高质量散斑，得到局部匹配峰值图，包括：以预设的第一滑动窗口在所述匹配结果图中滑动，判断所述第一滑动窗口的中心位置对应在匹配结果图上的像素点的像素值是否大于预设的匹配阈值，且是否为第一滑动窗口在匹配结果图上对应区域的最大值；若是，则确定所述第一滑动窗口的中心位置对应在匹配结果图上的像素点为高质量散斑的中心位置，将所述高质量散斑的中心位置的像素值标记为第一数值，若否，则将所述第一滑动窗口的中心位置对应在匹配结果图上的像素点的像素值标记为第二数值，得到局部匹配峰值图。散斑图像中一个高质量的散斑，其周围的n个像素点的匹配值一定都大于预设的匹配阈值，但判定时不会将这n个像素点认为是n个散斑，实际上他们属于一个散斑。因此通过判定匹配值大于阈值且为对应区域的最大值，来准确、简单地确定高质量的散斑的中心位置。

另外，本发明实施方式提供的深度相机异常检测方法，所述在所述局部匹配峰值图中，根据高质量散斑的位置确定高质量散斑区域，获取局部匹配图，包括：以预设的第二滑动窗口在所述局部匹配峰值图中滑动，判断所述第二滑动窗口在所述局部匹配峰值图的对应区域中高质量散斑的数量是否在预设的数量范围内；若是，则确定所述第二滑动窗口的中心位置对应在局部匹配峰值图上的像素点为高质量散斑区域的中心位置，将所述高质量散斑区域的中心位置的像素值标记为第一数值，若否，则确定所述第二滑动窗口的中心位置对应在局部匹配峰值图上的像素点为低质量散斑区域的中心位置，将所述低质量散斑区域的中心位置的像素值标记为第二数值，得到局部匹配图。在确定高质量的散斑位置后，通过高质量的散斑的数量确定某一个区域是否为高质量的散斑区域。

另外，本发明实施方式提供的深度相机异常检测方法，根据所述局部匹配图、所述第一视差图和所述第二视差图确定所述目标深度相机是否异常，包括：获取所述散斑图像中的关注区域；分别判断所述关注区域内的像素点在所述局部匹配图中是否在高质量散斑区域、所述关注区域内的像素点在所述第一视差图中是否有视差值、所述关注区域内的像素点在所述第二视差图中是否有视差值，获取判断结果；根据所述判断结果确定所述目标深度相机是否异常。对于散斑图像中用户的关注区域，判断这些区域中的像素点在局部匹配图中是否为高质量散斑、是否在第一视差图中有视差值、是否在第二视差图中有视差值，根据判断结果即可快速确定目标深度相机是否异常。在正常拍摄散斑图时，用户通常会将深度相机聚焦于用户关注的区域。因此对于用户不关注的区域，比如边界区域（该区域在正常拍摄过程中通常会出现散斑稀疏和畸变的情况），该区域的异常并不能表示深度相机的异常。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明的实施方式提供的深度相机异常检测方法的流程图一；

图2是本发明的实施方式提供的一种9*9大小的斑模板；

图3是本发明实施方式提供的深度相机异常检测方法的流程图二；

图4是本发明的实施方式提供的深度相机异常检测方法的流程图三；

图5是本发明的实施方式的提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

下面对本实施方式的深度相机异常检测的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。

本发明的实施方式涉及一种深度相机异常检测方法，如图1所示，包括：

步骤101，根据预设的图像匹配算法，将预设的斑模板与目标深度相机拍摄的散斑图像上的待匹配区域进行匹配，生成待匹配区域对应的匹配值，并将匹配值作为每个像素点的像素值形成匹配结果图。

本实施例中，预设的图像匹配算法可以是平均绝对差算法（MAD）、绝对误差和算法（SAD）、误差平方和算法（SSD）、平均误差平和算法（MSD）、归一化积相关算法（NCC）、序贯相似性检测算法（SSDA）等这些图像匹配算法中的一种或多种组合，在此不做限定。另外，在匹配时待匹配区域为散斑图像中与斑模板尺寸相同的图像区域，匹配结果图中的像素值表示斑模板与散斑图像的待匹配区域的匹配程度，即匹配结果图的像素值为匹配值。而匹配值的具体计算公式根据采用的图像匹配算法确定，一般来说，匹配值越高，两者越匹配。

具体地说，以斑模板为3*3的大小，散斑图像为9*9的大小为例，将斑模板以滑动窗口的方式在散斑图像上进行滑动匹配，此时待匹配区域为散斑图像上3*3图像区域。在匹配时计算斑模板与散斑图像中所有3*3区域的匹配程度，获取匹配结果图。其中匹配结果图上每个像素点的坐标为斑模板中心像素点对应在散斑图像上的像素点的坐标。比如，当斑模板与散斑图像中[S₁₁，S₁₂，S₁₃；S₂₁，S₂₂，S₂₃；S₃，S₃₂，S₃₃]待匹配区域进行匹配，确定匹配值后，该匹配值所在的像素点坐标为散斑图像中S₂₂像素点的坐标，其他区域匹配方法类似。可以理解的是，在将所有区域计算匹配完成获取匹配结果图后，匹配结果图的尺寸会小于散斑图像的尺寸，为了方便后续处理，可以通过镜像处理、填0处理等图像处理方法进行处理，以使匹配结果图的大小与散斑图像的大小一致。

值得一提的是，在用深度相机正常拍摄获取到散斑图像时，其边界区域往往会出现散斑畸变、散斑稀疏等情况，而用户往往关注的是拍摄时聚焦的中间区域，因此，可以对匹配结果图中直接填0处理以使匹配结果图的尺寸与散斑图像尺寸一致，因为边界区域的质量和目标深度相机是否异常没有直接关系。

在一实施例中，在步骤101之前，还包括：获取目标深度相机拍摄的散斑图像的散斑直径、散斑密度、散斑的分布规律和散斑亮度的衰减规律；根据散斑直径、散斑密度、散斑的分布规律和散斑亮度的衰减规律确定斑模板的中心模板和边界模板，并将中心模板和边界模板组合得到斑模板。

具体地说，本实施例中的斑模板，对于同一类型、散斑图像风格相同的深度相机，其斑模板相同。比如：常见的深度相机，其散斑图像中的散斑呈随机分布，斑的大小较为均匀，散斑中心亮度局部最高，由散斑中心至散斑边缘亮度递减，斑与斑之间存在一定距离的亮度较低像素的间隔。针对这种风格的散斑，考虑斑的直径、斑亮度的衰减规律、斑的密度、斑的分布规律等属性，设置一种图案来作为斑模板，例如附图2所示，以5*5的二维高斯函数模板作为中心模板，边界模板设置为宽度为2的0值，设置出一种9*9的斑模板。

需要说明的是，中心模板表示散斑图像中散斑的中心区域的风格，比如：当中心模板为二维高斯函数时，其像素值可以如图2所示为[1，2，3，2，1；2，5，6，5，2；3，6，8，6，3；2，5，6，5，2；1，2，3，2，1]（表述顺序为从左到右从上到下），也可以是其他数值如[2，3，4，3，2；3，6，7，6，3；4，7，9，7，4；3，6，7，6，3；2，3，4，3，2]，只要整个中心模板的像素值分布规律符合二维高斯函数即可。另外，中心模板也可以以其他函数进行设置，只要函数符合散斑图像的散斑风格，当然此处仅为具体的一个举例。

进一步地，边界模板主要表示散斑图像中散斑的边界区域的风格，散斑图像中的一个斑在图像中一般变现为由多个像素点组成的亮斑，中心亮度较大而向斑周围亮度递减直到斑的明显边界陡降到较低的亮度。因为散斑的这种特点，所以一般将边界模板的像素值设置为小于中心模板的像素值，例如设置中心模板中最亮处为8、边界区域为0。即边界模板的像素值需要小于中心模板的像素值，图2中以0值为例，当然若中心模板的像素值最小值为2时，边界模板的像素值可以为1或0或-1等。另外边界模板的宽度可以根据散斑图像边界区域中斑与斑之间的间隔进行设置。可以理解的是，斑模板的准确设置影响后续匹配结果图中匹配值的准确度。

步骤102，根据匹配结果图的像素值筛选出高质量的散斑区域，获取局部匹配图。

具体地说，根据像素值可以筛选出高质量的散斑区域，一般来说，像素值越高表示斑模板与该目标深度相机拍摄的散斑图像的待匹配区域越匹配，即质量越高。

步骤103，对散斑图像分别采用第一视差计算方法和第二视差计算方法得到第一视差图和第二视差图。

步骤104，根据局部匹配图、第一视差图和第二视差图确定深度相机是否异常。

本发明实施方式提供的深度相机异常检测方法，通过将目标深度相机拍摄的散斑图像与该目标深度相机对应的斑模板进行匹配，获取匹配结果图，匹配结果图的像素值表示散斑图像待匹配区域与斑模板的匹配程度，根据匹配结果图中的像素值筛选出高质量的散斑区域，得到局部匹配图，然后对散斑图像采用第一视差计算方法和第二视差计算方法得到第一视差图和第二视差图，根据局部匹配图、第一视差图和第二视差图就可确定目标深度相机是否异常。整个方法只需获取散斑图像并对其进行处理，就可确定目标深度相机是否异常，计算量小，过程简单。

本发明的实施方式涉及一种深度相机异常检测方法，如图3所示，包括：

步骤301，根据预设的图像匹配算法，将预设的斑模板与目标深度相机拍摄的散斑图像上的待匹配区域进行匹配，生成待匹配区域对应的匹配值，并将匹配值作为每个像素点的像素值形成匹配结果图。

具体地说，本实施例步骤301的具体实施细节与步骤101基本相同，在此不做赘述。

步骤302，根据匹配结果图的像素值筛选出高质量散斑，得到局部匹配峰值图。

具体地说，匹配结果图是根据散斑图像与斑模板匹配得到的，而斑模板表示目标深度相机正常拍摄时获取的散斑图像的散斑风格，因此匹配结果图中像素值越高，表示散斑图像质量越高。

在一实施例中，步骤302具体包括：以预设的第一滑动窗口在匹配结果图中滑动，判断第一滑动窗口的中心位置对应在匹配结果图上的像素点的像素值是否大于预设的匹配阈值且是否为第一滑动窗口在匹配结果图上对应区域的最大值；若是，则确定第一滑动窗口的中心位置对应在匹配结果图上的像素点为高质量散斑的中心位置，将高质量散斑的中心位置的像素值标记为第一数值，若否，则将第一滑动窗口的中心位置对应在匹配结果图上的像素点的像素值标记为第二数值，得到局部匹配峰值图。

具体地说，对于散斑图像中一个高质量的散斑来说，该散斑包括多个像素点，该散斑中的多个像素点和该散斑周围的多个像素点共n个像素点，n个像素点的匹配值可能都大于预设的匹配阈值，但判定时不会将这n个像素点认为是n个散斑，实际上他们属于一个散斑。因此通过判定匹配值大于匹配阈值且为对应区域的最大值，来确定高质量的散斑的中心位置。可以理解，高质量的散斑的中心位置的匹配值一定是局部最大值。

需要说明的是，第一数值可以是1（表示高质量散斑的中心位置），第二数值可以是0（表示不是高质量散斑的中心位置），当然也可以是其他数值，只要方便后续快速确定某一像素点是否属于高质量散斑即可。另外，在以滑动窗口的方式筛选高质量散斑的中心位置过程中，会以第一数值和第二数值进行标记，但获取的局部匹配峰值图中边界区域是没有标记数值的，这里可以不对边界区域进行处理，也可以通过镜像处理、填0处理等方法对图像进行处理，以使局部匹配峰值图的大小与散斑图像的大小一致。边界区域的大小与第一滑动窗口的大小有关。

步骤303，在局部匹配峰值图中，根据高质量散斑的位置确定高质量散斑区域，获取局部匹配图。

在一实施例中，步骤303具体包括：以预设的第二滑动窗口在局部匹配峰值图中滑动，判断第二滑动窗口在局部匹配峰值图的对应区域中高质量散斑的数量是否在预设的数量范围内；若是，则确定第二滑动窗口的中心位置对应在局部匹配峰值图上的像素点为高质量散斑区域的中心位置，将高质量散斑区域的中心位置的像素值标记为第一数值，若否，则确定第二滑动窗口的中心位置对应在局部匹配峰值图上的像素点为低质量散斑区域的中心位置，将低质量散斑区域的中心位置的像素值标记为第二数值，得到局部匹配图。

具体地说，在确定高质量散斑的中心位置后，以第二滑动窗口在局部匹配峰值图中进行滑动匹配，判断第二滑动窗口在局部匹配峰值图的对应的区域中高质量散斑的数量是否在预设的数量范围内，比如：当步骤302中第一数值为1（表示高质量散斑的中心位置），第二数值为0（表示不是高质量散斑的中心位置）时，就判断第二滑动窗口在局部匹配峰值图中对应区域中像素值为1的像素点的数量是否在预设的数量范围内，若在预设的数量范围内，则第二滑动窗口的中心位置对应在局部匹配峰值图上的像素点为高质量散斑区域的中心位置，并将其标记为第一数值。步骤303中的第一数值、第二数值可以与步骤302中的第一数值、第二数值相同。

另外，本实施例在确定预设的匹配阈值和预设的数量范围时，同一类型、同一散斑风格的深度相机其匹配阈值和数量范围是相同的。局部匹配图的边界区域的处理方法与步骤301和步骤302的相关实施细节类似，在此不作赘述。

需要说明的是，第一滑动窗口根据所述散斑图像中散斑的直径确定，所述第二滑动窗口根据所述散斑图像中散斑的密度确定，第二滑动窗口的尺寸大于第一滑动窗口的尺寸。步骤303是为了在匹配结果图中确定出高质量散斑的位置，那么可以理解，第一滑动窗口的大小需要根据散斑图像中散斑的直径确定。而步骤303是为了确定高质量散斑区域，那么第二滑动窗口必须大于第一滑动窗口，第二滑动窗口的大小可以根据散斑的密度进行确定。

步骤304，对散斑图像分别采用第一视差计算方法和第二视差计算方法得到第一视差图和第二视差图。

步骤305，根据局部匹配图、第一视差图和第二视差图确定目标深度相机是否异常。

本发明实施方式提供的深度相机异常检测方法，通过将目标深度相机拍摄的散斑图像与该目标深度相机对应的斑模板进行匹配，获取匹配结果图，匹配结果图的像素值表示散斑图与斑模板的匹配程度的匹配值，根据匹配结果图中的匹配值筛选出高质量的散斑区域，得到局部匹配图，然后对散斑图像采用第一视差计算方法和第二视差计算方法得到第一视差图和第二视差图，根据局部匹配图、第一视差图和第二视差图就可确定目标深度相机是否异常。整个方法只需获取散斑图像并对其进行处理，就可确定目标深度相机是否异常，计算量小，过程简单。

本发明的实施方式涉及一种深度相机异常检测方法，如图4所示，包括：

步骤401，根据预设的图像匹配算法，将预设的斑模板与目标深度相机拍摄的散斑图像上的待匹配区域进行匹配，生成待匹配区域对应的匹配值，并将匹配值作为每个像素点的像素值形成匹配结果图。

步骤402，根据匹配结果图的像素值筛选出高质量散斑区域，获取局部匹配图。

具体地说，本实施例中步骤401、402的具体实施细节与步骤301-303的具体实施细节相同，在此不做赘述。

步骤403，对散斑图像分别采用第一视差计算方法和第二视差计算方法得到第一视差图和第二视差图。

本实施例中，第二视差计算方法指的是：在第一视差计算方法基础上，对下采样处理后的散斑图像和对应的下采样处理后的参考散斑图像，以预设的步长在多行、多列的搜索范围内进行匹配，获取第二视差图。

具体地说，视差计算方法基本原理是将散斑图像与预设的参考散斑图像进行匹配，确定参考散斑图的每一点相对于散斑图像的同名点，同名点的像素差异就是视差，由视差值构成的图像就是视差图。一般在匹配过程中大多在水平极线（行方向）上以预设的搜索范围进行搜索匹配。比如：确定参考散斑图中S₃₄像素点（第三行第四列个像素点）的同名点，则在散斑图像上根据预设的搜索范围确定在[S₃₁，S₃₇]范围内寻找S₃₄对应的同名点。视差计算方法按照匹配算法可以分为局部匹配算法、全局匹配算法、半全局匹配算法。

其中，第一视差计算方法可以采用现有的任何一种方法。而第二视差计算方法的过程与第一视差计算方法大致相同，区别仅在于，第二视差计算方法需要对散斑图像和对应的参考散斑图像进行下采样，下采样通俗的可以理解为缩小图像，或者说降低了图像分辨率。将下采样处理后的散斑图像和参考散斑图像进行匹配，匹配过程中不是一行一行的匹配，而是以多行、多列、预设的步长的形式进行匹配。预设的步长方式指的是在匹配时可以间隔多行或间隔多列进行搜索。也就是说，第二视差计算方法需要匹配的像素点更少，计算速度更快，但相应地，获取的第二视差图精度更低。

步骤404，获取散斑图像中的关注区域。

本实施例中，在正常拍摄散斑图时，用户通常会将深度相机聚焦于用户关注的区域。因此对于用户不关注的区域，比如边界区域（该区域在正常拍摄过程中通常会出现散斑稀疏和畸变的情况），该区域的异常并不能表示深度相机的异常。因此，对于关注区域来判断深度相机是否异常才有意义。

步骤405，分别判断关注区域内的像素点在局部匹配图中是否在高质量散斑区域、关注区域内的像素点在第一视差图中是否有视差值、关注区域内的像素点在第二视差图中是否有视差值，获取判断结果。

具体地说，若散斑图像中关注区域内的像素点在局部匹配图中为第一数值，表示该像素点在局部匹配图中的高质量散斑区域，需要说明的是，此时该像素点可能是高质量散斑，也可能该像素点所在局部为高质量散斑；若散斑图像中关注区域内的像素点在第一视差图中有视差值，表示该像素点在第一视差图中的视差计算正常；若散斑图像中关注区域内的像素点在第二视差图中有视差值，表示该像素点在第二视差图中的视差计算正常。即若关注区域内所有像素点均满足上面三种条件，则认为对应的目标深度相机无异常。若有任一条件不被满足，则认为深度相机有异常。当然，若对深度相机的精度要求不那么高，即可以容忍一定范围内的错误，则关注区域内的一部分像素点均满足上面三个条件，就可以认为深度相机无异常。

也就是说，可以根据用户对深度相机的质量要求，设定正常像素点的数量阈值，若关注区域内满足上述三个条件的像素点数量超过设定的数量阈值，则认为深度相机无异常。比如：若对深度相机质量要求极高，则可以设定正常像素点的数量阈值为关注区域内所有像素点的数量，若对深度相机质量要求一般，则可以设定常像素点的数量阈值为关注区域内像素点数量的百分之八十。

步骤406，根据判断结果确定目标深度相机是否异常。

本实施例中，当确定所述目标深度相机异常时，根据所述判断结果确定所述目标深度相机的异常原因。

具体地说，当关注区域内像素点均满足上述三个条件时，认为深度相机无异常。其他7种情况均认为异常。即（1）当关注区域内像素点在局部匹配图中为高质量散斑、在第一视差图中无视差值、在第二视差图中有视差值时，则认为深度相机标定过程异常。（2）当关注区域内像素点在局部匹配图中为高质量散斑、在第一视差图中有视差值、在第二视差图中无视差值时，这种情况一般出现的概率较低，且异常情况较为特殊（由于第一视差图的精度高于第二视差图，因此第一视差图有视差值而第二视差图无视差值的情况较为特殊），需要进一步分析确定异常原因。（3）当关注区域内像素点在局部匹配图中为低质量散斑、在第一视差图中有视差值、在第二视差图中有视差值时，则认为深度相机拍摄的散斑质量不高但可以进行视差匹配计算、或者深度相机镜头出现问题导致拍摄的散斑质量不高。（4）当关注区域内像素点在局部匹配图中为低质量散斑、在第一视差图中无视差值、在第二视差图中有视差值时，则认为深度相机拍摄的散斑质量较低且深度相机标定过程出现问题。（5）当关注区域内像素点在局部匹配图中为低质量散斑、在第一视差图中有视差值、在第二视差图中无视差值时，这种情况与第（2）种情况类似，且比第（2）种情况更严重，一般出现的概率较低，且异常情况较为特殊，需要进一步进行分析。（6）当关注区域内像素点在局部匹配图中为高质量散斑、在第一视差图中无视差值、在第二视差图中无视差值时，则认为深度相机在视差计算过程中出现严重问题。（7）当关注区域内像素点在局部匹配图中为低质量散斑、在第一视差图中无视差值、在第二视差图中无视差值时，则认为深度相机拍摄的散斑图像的关注区域没有清晰的散斑、或者深度相机的投射器出现问题。

需要说明的是，以上举例的所有异常原因只是该情况下的一种可能的异常原因。具体分析时还要结合关注区域内出现上述异常情况的像素点的数量和像素点的分布进行确定。另外，需要注意的是，本实施例对深度相机异常的检测方法，需要在正确使用深度相机拍摄散斑图的情况下进行。

本发明实施方式提供的深度相机异常检测，通过将目标深度相机拍摄的散斑图像与该目标深度相机对应的斑模板进行匹配，获取匹配结果图，匹配结果图的像素值表示散斑图与斑模板的匹配程度，根据匹配结果图中的像素值筛选出高质量的散斑区域，得到局部匹配图，然后对散斑图像采用第一视差计算方法和第二视差计算方法得到第一视差图和第二视差图，根据局部匹配图、第一视差图和第二视差图就可确定目标深度相机是否异常。整个方法只需获取散斑图像并对其进行处理，就可确定目标深度相机是否异常，计算量小，过程简单。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明的实施方式涉及一种电子设备，如图5所示，包括：

至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行如上述实施方式提及的深度相机异常检测方法。

该电子设备包括：一个或多个处理器501以及存储器502，图5中以一个处理器501为例。处理器501、存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例。存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施方式中策略空间内的各处理策略对应的算法就存储于存储器502中。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述深度相机异常检测方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器502中，当被一个或者多个处理器501执行时，执行上述任意实施方式中的深度相机异常检测方法。

上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。

本发明的实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (9)

1.一种深度相机异常检测方法，其特征在于，包括：

根据预设的图像匹配算法，将预设的斑模板与目标深度相机拍摄的散斑图像上的待匹配区域进行匹配，生成所述待匹配区域对应的匹配值，并将所述匹配值作为每个像素点的像素值形成匹配结果图；

根据所述匹配结果图的像素值筛选出高质量散斑区域，获取局部匹配图；

对所述散斑图像分别采用第一视差计算方法和第二视差计算方法得到第一视差图和第二视差图；所述第二视差计算方法为：在第一视差计算方法基础上，对下采样处理后的散斑图像和对应的下采样处理后的参考散斑图像，以预设的步长在多行、多列的搜索范围内进行匹配，获取第二视差图；

根据所述局部匹配图、所述第一视差图和所述第二视差图确定所述目标深度相机是否异常。

2.根据权利要求1所述的深度相机异常检测方法，其特征在于，所述根据预设的图像匹配算法，将预设的斑模板与所述目标深度相机拍摄的散斑图像上的待匹配区域进行匹配之前，还包括：

获取所述目标深度相机拍摄的散斑图像的散斑直径、散斑密度、散斑的分布规律和散斑亮度的衰减规律；

根据所述散斑直径、所述散斑密度、所述散斑的分布规律和所述散斑亮度的衰减规律确定所述斑模板的中心模板和边界模板，并将所述中心模板和所述边界模板组合得到所述斑模板。

3.根据权利要求1或2所述的深度相机异常检测方法，其特征在于，所述根据所述匹配结果图的像素值筛选出高质量的散斑区域，获取局部匹配图，包括：

根据所述匹配结果图的像素值筛选出高质量散斑，得到局部匹配峰值图；

在所述局部匹配峰值图中，根据高质量散斑的位置确定高质量散斑区域，获取局部匹配图。

4.根据权利要求3所述的深度相机异常检测方法，其特征在于，所述根据所述匹配结果图的像素值筛选出高质量散斑，得到局部匹配峰值图，包括：

以预设的第一滑动窗口在所述匹配结果图中滑动，判断所述第一滑动窗口的中心位置对应在匹配结果图上的像素点的像素值是否大于预设的匹配阈值，且是否为所述第一滑动窗口在所述匹配结果图上对应区域的最大值；

若是，则确定所述第一滑动窗口的中心位置对应在匹配结果图上的像素点为高质量散斑的中心位置，将所述高质量散斑的中心位置的像素值标记为第一数值，若否，则将所述第一滑动窗口的中心位置对应在匹配结果图上的像素点的像素值为标记为第二数值，得到局部匹配峰值图。

5.根据权利要求4所述的深度相机异常检测方法，其特征在于，所述在所述局部匹配峰值图中，根据高质量散斑的位置确定高质量散斑区域，获取局部匹配图，包括：

以预设的第二滑动窗口在所述局部匹配峰值图中滑动，判断所述第二滑动窗口在所述局部匹配峰值图的对应区域中高质量散斑的数量是否在预设的数量范围内；

若是，则确定所述第二滑动窗口的中心位置对应在局部匹配峰值图上的像素点为高质量散斑区域的中心位置，将所述高质量散斑区域的中心位置的像素值标记为第一数值，若否，则确定所述第二滑动窗口的中心位置对应在局部匹配峰值图上的像素点为低质量散斑区域的中心位置，将所述低质量散斑区域的中心位置的像素值标记为第二数值，得到局部匹配图。

6.根据权利要求5所述的深度相机异常检测方法，其特征在于，所述第一滑动窗口根据所述散斑图像中散斑的直径确定，所述第二滑动窗口根据所述散斑图像中散斑的密度确定，所述第二滑动窗口的尺寸大于所述第一滑动窗口的尺寸。

7.根据权利要求1所述的深度相机异常检测方法，其特征在于，根据所述局部匹配图、所述第一视差图和所述第二视差图确定所述目标深度相机是否异常，包括：

获取所述散斑图像中的关注区域；

分别判断所述关注区域内的像素点在所述局部匹配图中是否在高质量散斑区域、所述关注区域内的像素点在所述第一视差图中是否有视差值、所述关注区域内的像素点在所述第二视差图中是否有视差值，获取判断结果；

根据所述判断结果确定所述目标深度相机是否异常。

8.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的深度相机异常检测方法。

9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的深度相机异常检测方法。

Images