CN117733913A - 移动机器人及其异常检测方法、装置和电子设备 - Google Patents

Abstract

本申请公开了一种移动机器人及其异常检测方法、装置和电子设备，移动机器人包括图像采集装置，异常检测方法包括：控制移动机器人按照目标路线移动，目标路线上设置有多个工位，每个工位上放置有监测设备，监测设备包括信息显示区；在移动机器人移动到任一工位对应的采集位置时，控制图像采集装置采集当前工位对应的设备图像，设备图像包括信息显示区的图像；根据每个工位对应的设备图像判断工位对应的目标设备是否发生故障。

Description

移动机器人及其异常检测方法、装置和电子设备

技术领域

本申请涉及故障检测领域，具体涉及一种移动机器人及其异常检测方法、装置和电子设备。

背景技术

相关方案中，对于多台机器集中工作时的故障检测，一般是在每个工位都设置一套机器视觉检测设备，以检测对应工位上的机器是否发生故障。但该种方式，由于针对每个机器都要设置一套机器视觉检测设备，因此，成本非常高。

因此，如何降低多台机器集中工作时的故障检测成本，成为目前亟待解决的问题。

发明内容

本申请旨在解决现有方案中的技术问题之一。

为了解决上述技术问题，本申请第一方面的实施例提供了一种移动机器人的异常检测方法。

本申请第二方面的实施例提供了一种移动机器人的异常检测装置。

本申请第三方面的实施例提供了一种电子设备。

本申请第四方面的实施例提供了一种可读存储介质。

本申请第五方面的实施例提供了一种计算机程序产品。

本申请第六方面的实施例提供了一种移动机器人。

根据本申请第一方面的技术方案提供的移动机器人的异常检测方法，移动机器人包括图像采集装置，异常检测方法包括：控制移动机器人按照目标路线移动，目标路线上设置有多个工位，每个工位上放置有监测设备，监测设备包括信息显示区；在移动机器人移动到任一工位对应的采集位置时，控制图像采集装置采集当前工位对应的设备图像，设备图像包括信息显示区的图像；根据每个工位对应的设备图像判断工位对应的目标设备是否发生了故障。

本申请的移动机器人的异常检测方法，用于移动机器人，其主要用于多个设备集中工作场景下的设备的故障、移位等异常检测。该种场景下，多个设备设置在不同的工位进行工作。而故障检测时，可根据设备的分布情况设置好机器人的移动路线，然后控制移动机器人按照设置好的移动路线进行移动。而在移动机器人运动到任意一个工位时，即移动到任意一个设备的所在位置时，就对该工位上的设备进行图像采集，其中，采集的图像需要包括显示区的图像，以便根据显示区的图像判断该设备是否发生故障等。其中，在设备出现故障时，一般会在显示区进行故障码显示，本申请可检测并判断显示区是否有故障码来确定设备是否发生故障。而在当前工位的检测过程完毕后，便可按照移动路线移动到下一个工位继续进行检测，直到完成所有设备的故障检测。此后，可控制移动机器人进行新一轮的故障检测，以此就可以对多个设备的工作情况进行循环检测，并能够在设备出现移位、发生故障等异常时，及时发出提醒或者上报服务器，以便用户及时对异常的设备进行检查和维修。该种异常检测方法，只需要一个移动机器人便可以不间断地对设备的状态进行自动检测，以此可以降低故障检测的成本，另一方面，该种检测方法也不需要将设备移动到固定的位置，因此不会让设备中断工作，以此可以确保设备工作的连续性。

具体而言，该种异常检测方法可用于洗衣房、共享洗衣房等中洗衣机、烘干机等的检测，以此可以在洗衣机和烘干机发生移位或者出现故障时，及时发出提醒，以便用户对发生异常的设备及时进行检修。

可选地，监测设备包括信息显示区和身份码信息，控制图像采集装置采集当前工位对应的设备图像的步骤包括：控制移动机器人移动到当前工位对应的第一位置，在第一位置控制图像采集装置按照预设间隔拍摄得到至少两张第一图像。在第一位置，移动机器人能够拍摄到监测设备的身份码信息和监测设备的显示信息。

在该技术方案中，设备上设置有信息显示区，如果设备出现故障时，会显示故障码。同时，设备上一般设置有设备的身份码信息，可提前将身份码信息和显示区设置在同一个面，这样就可以通过拍摄同一张图像便可得到显示信息和身份码信息。在检测设备的故障时，可拍摄显示区所在面的图像，然后基于显示区显示的信息来判断设备是否发生故障。同时，基于身份码信息来确定该工位对应的设备的身份信息，以便能够在检测到故障或移位时，将故障码或者移位信息同身份码一起进行上报。而为了确保故障检测的准确性，可间断地多拍两张图像，在任意一张图像检测到故障码时，就认定设备出现故障，反之，如果两张图像中都没有检测到故障码，则认定设备没有出现故障。

其中，鉴于机器的显示区和身份码一般都是设置在机器的前方的，因此，可在机器的正前方拍摄两张照片，作为第一图像。因此，这里的第一方向指的是设备的前后方向，第一位置为设备的正前方。

可选地，根据每个工位对应的设备图像判断工位对应的目标设备是否发生故障的步骤包括：根据每个工位的第一图像进行一次目标设备是否发生故障的判断；在任意一个第一图像判定目标设备出现故障时，确定目标设备发生故障；在每个第一图像均判定目标设备未发生故障时，确定目标设备未发生故障。

在该技术方案中，对于采集的第一图像，需要针对每个第一图像进行一次故障检测，如果都未检测到故障，则认定无故障，如果有任意一个第一图像检测到故障，则认定设备存在故障。

根据每个工位的第一图像进行一次目标身份码的检测和识别，在工位对应的所有第一图像中均未识别出目标身份码时，针对该工位的检测不输出任何检测信息。

示例性地，根据每个第一图像进行一次监测设备是否发生故障的判断，以确定是否有任一阶段检测故障码信息，如果都没有故障码信息，则认为该工位的设备没有故障码；如果任一阶段有故障码信息，则认为该工位的设备有故障码，输出故障码的信息。

可选地，根据每个工位对应的设备图像判断工位对应的目标设备是否发生故障的步骤包括：根据每个工位的第一图像进行一次目标身份码的检测和识别，在工位对应的所有第一图像中均未识别出目标身份码时，针对该工位的检测不输出任何检测信息。在工位对应的任意一个第一图像中识别出目标身份码时，继续进行后续检测。

在该技术方案中，在每个工位对应的设备图像中未识别出监测设备的身份码信息时，不输出任何信息。即在该工位的图像中，如果没有检测到代表身份的身份码信息时，针对该工位的检测不输出任何信息，直接进行下一工位的检测。

可选地，根据每个工位的第一图像进行一次目标身份码的检测和识别的步骤包括：确定出第一图像中的目标设备；确定出第一图像中的目标身份码，目标身份码所在区域位于目标设备所在区域的内部；在第一图像中没有检测到目标身份码时，输出身份码检测失败；在第一图像中检测到目标身份码时，识别目标身份码，解析出目标身份码对应的工位信息。

在该技术方案中，在确定设备出现故障时，还需要知道设备的具体身份信息，故而在得到第一图像后，还需要识别图像中目标身份码，即属于目标设备的身份码。如果检查到目标身份码，则识别目标身份码，以获取设备具体的身份信息，以便能够将故障判断结果与身份信息进行关联。如果没有检查到目标身份码或者身份码识别失败，就认为该位置不是工位或者工位被屏蔽，则不进行后续检测。

可选地，身份码为二维码。

其中，确定出第一图像中的目标设备的步骤，可以参照确定出第二图像中的目标设备的步骤，在此不再重复介绍。

可选地，识别目标身份码的步骤包括：从第一图像中提取出目标身份码的图像；对目标身份码的图像进行识别。

在该技术方案中，可从第一图像中提前出目标身份码的图像，然后便可识别目标身份码的图像，以识别出身份信息。

可选地，在对目标身份码的图像识别失败时，将目标身份码的图像放大预设倍数后重新识别，如果还是识别失败，重复该步骤；在对目标身份码的图像识别失败的次数大于预设次数后，输出身份码识别失败。

在该技术方案中，如果身份码识别失败的话，可将图像放大预设倍，然后重新识别，如果还是失败，继续放大，并重新识别。但如果识别次数大于预设次数后，则直接判断识别错误。通过多次放大并重复识别，可以确保目标身份码识别的准确性，避免身份信息的漏识别。

可选地，根据每个工位对应的设备图像判断工位对应的目标设备是否发生了异常的步骤包括：根据每个工位的第二图像进行一次目标设备是否发生了故障的判断；在任意一个第二图像判定目标设备出现了故障时，确定目标设备发生故障；在每个第二图像均判定目标设备未发生故障时，确定目标设备未发生故障。

在该技术方案中，对于采集的第二图像，需要针对每个第二图像进行一次故障检测，如果都未检测到故障，则认定无故障，如果有任意一个第二图像检测到故障，则认定设备发生故障。

示例性地，根据每个第二图像进行一次监测设备是否发生了故障的判断，是否有任一阶段检测故障码信息？如果都没有故障码信息，则认为该工位的设备没有故障码；如果任一阶段有故障码信息，则认为该工位的设备有故障码，输出故障码的信息。

可选地，根据每个工位对应的设备图像判断工位对应的目标设备是否发生了异常的步骤包括：根据每个工位的第二图像进行一次目标身份码的检测和识别，在工位对应的所有第二图像中均未识别出目标身份码时，针对该工位的检测不输出任何检测信息。在工位对应的任意一个第二图像中识别出目标身份码时，继续进行后续检测。

在该技术方案中，在每个工位对应的设备图像中未识别出监测设备的身份码信息时，不输出任何信息。即在该工位的图像中，如果没有检测到代表身份的身份码信息时，针对该工位的检测不输出任何信息，直接进行下一工位的检测。

可选地，根据每个工位的第二图像进行一次目标身份码的检测和识别的步骤包括：确定出第二图像中的目标设备；确定出第二图像中的目标身份码，目标身份码所在区域位于目标设备所在区域的内部；在第二图像中没有检测到目标身份码时，输出身份码检测失败；在第二图像中检测到目标身份码时，识别目标身份码，解析出目标身份码对应的工位信息。

在该技术方案中，在确定设备出现故障时，还需要知道设备的具体身份信息，故而在得到第二图像后，还需要识别图像中目标身份码，即属于目标设备的身份码。如果检查到目标身份码，则识别目标身份码，以获取设备具体的身份信息，以便能够将故障判断结果与身份信息进行关联。如果没有检查到目标身份码或者身份码识别失败，就认为该位置不是工位或者工位被屏蔽，则不进行后续检测。

可选地，身份码为二维码。

其中，确定出第二图像中的目标设备的步骤，可以参照确定出第一图像中的目标设备的步骤，在此不再重复介绍。

可选地，识别目标身份码的步骤包括：从第二图像中提取出目标身份码的图像；对目标身份码的图像进行识别。

在该技术方案中，可从第二图像中提前出目标身份码的图像，然后便可识别目标身份码的图像，以识别出身份信息。

可选地，在对目标身份码的图像识别失败时，将目标身份码的图像放大预设倍数后重新识别，如果还是识别失败，重复该步骤；在对目标身份码的图像识别失败的次数大于预设次数后，输出身份码识别失败。

在该技术方案中，如果身份码识别失败的话，可将图像放大预设倍，然后重新识别，如果还是失败，继续放大，并重新识别。但如果识别次数大于预设次数后，则直接判断识别错误。通过多次放大并重复识别，可以确保目标身份码识别的准确性，避免身份信息的漏识别。

可选地，根据每个工位的第一图像进行一次目标设备是否发生了故障的判断的步骤包括：确定出第一图像中的目标设备；识别第一图像中的目标显示码，目标显示码所在区域位于目标设备所在区域的内部；在未识别到目标显示码时，确定目标设备无故障；在识别到目标显示码时，识别目标显示码显示的内容，生成第一信息；根据第一信息判断目标设备是否发生故障。

在该技术方案中，可先识别出第一图像中的目标显示码，即位于目标设备所在区域的内部的显示码。在未识别到目标显示码时，默认目标设备无故障。在识别到目标显示码时，识别目标显示码显示的内容，根据显示内容来确定设备是否有无故障。

可选地，根据第一信息判断目标设备是否发生故障的步骤包括：对第一信息中的目标字符进行替换，生成第二信息；在第二信息的首个字符为第一指定字符，且第二信息不包括第二指定字符串的情况下，确定第二信息为故障码，并判定目标设备发生故障；在第二信息的首个字符不为第一指定字符，或第二信息包括第二指定字符串的情况下，确定第二信息不是故障码，并判定目标设备未发生故障。

显示码中的个别数字和英文字母存在误识别，而显示码中也一般不存在上述字母，因此，在根据显示内容来确定设备是否有无故障时，可在识别出第一信息后，对第一信息中的易混淆字母替换成正确的数字或字母，然后在进行后续判断，以此可以提高识别出的内容准备性。

而产品的故障码和产品的其他正常显示内容区别是很大的，一般而言，故障码的首个字符基本都是一致的。且正常显示内容中也容易出现一些高频字符串。因此，在判断显示内容是否为故障码时，可结合首字母和高频字符串来进行判定。比如，可先确定第二信息中的首个字母是否为第一指定字符，比如，字符E，然后确定第二信息中是否包括特定的第二指定字符串，如果第二信息中的首个字母为第一指定字符(即首个字母像故障码)，且不包括第二指定字符串(即还不是比较常见的正常显示内容)的情况下，则可以认为产品故障，反之，如果首字母不是第一指定字符(即首个字母不符合故障码的首个字符要求)，或者包括了第二指定字符串(即包括了正常显示内容有关的字符串)则可以认为第二信息不是故障码，产品没有故障。示例性地，在第二信息的首个字符为E，即第一指定字符为E，且第二信息不是“End”(即第二指定字符串包括End)的情况下，确定第二信息为故障码，并判定目标设备发生故障；在第二信息的首个字符不为E，或第二信息为“End”的情况下，确定第二信息不是故障码，并判定目标设备未发生故障。

其中，鉴于故障码一般都是E开头的，因此，在检测到首个字符为第一指定字符，且第二信息不包括第二指定字符的预定字符串的情况下，确定第二信息为故障码，并输出故障码，并判定目标设备发生故障。反之，则认定设备无故障，此时可正常输出显示码，以供用户查看。

可选地，对第一信息中的目标字符进行替换的步骤包括：将第一信息中的目标字符替换成与目标字符对应的相似字符。其中，目标字符是监测设备正常显示码中不会存在的字符，且该些字符容易和其他字符近似。因此，可将这类字符替换成与其相似的字符，以确保识别出的第一信息的准确性。

示例性地，目标字符包括O、S、T、R。对应的相似字符包括：0、5、1、A。因为，O、S、T、R容易和0、5、1、A混淆，且一般情况下，错误码中也没有O、S、T、R，故而可以通过上述替换，来提高识别出的内容准备性。

可选地，识别目标显示码显示的内容，生成第一信息的步骤包括：将目标显示码的图像输入到第五图像识别模型中进行显示内容的识别，生成第四结果；将目标显示码的图像进行二值化处理后，输入到第六图像识别模型中进行显示内容的识别，生成第五结果；根据第四结果和第五结果确定出第一信息。

在该技术方案中，可先通过图像识别模型对目标显示码的图像的进行识别，生成第四结果。同时，可将目标显示码的图像进行二值化处理后，在通过图像识别模型进行识别，生成第五结果。然后便可综合考虑两次的结果来确定出目标显示码的显示内容，即第一信息。该种设置，通过两种方式识别，然后综合得出结果，能够使显示内容识别的准确率更高。

其中，第四结果和第五结果中，每个结果都附带有评分，根据第四结果和第五结果确定出第一信息时，选取评分高的结果作为最终的结果。

可选地，将目标显示码的图像进行二值化处理的步骤包括：对目标显示码的图像进行二值化处理，生成第二二值化图像，第二二值化图像中目标显示码的图像中的主颜色像素和次颜色像素显示为白色，其余像素显示为黑色；其中，第二二值化图像的白色区域的面积之和为S，S与目标显示码的图像的面积的比值小于等于第八值。

在该技术方案中，在二值化过程中需要考虑到目标设备大部分的颜色为白色，但少部分会有红色，因此需要对二值化阈值进行合理设计。此处提出了一种自适应颜色阈值分割算法，即分别设定红色的HSI阈值和白色的HSI阈值，且使用逻辑或的方式对2者进行合并后，需要确保二值化白色区域占裁剪后的图像的像素值比例对于第八值(如8％)。

可选地，对目标显示码的图像进行二值化处理的步骤包括：对目标显示码的图像中的主颜色像素的HSI阈值进行设置。对目标显示码的图像中的次颜色像素的HSI阈值进行设置。在S与目标显示码的图像的面积的比值大于第八值(8％)时，按比例(如20％)将主颜色像素的HSI阈值中的I的下限值下调，直到S与目标显示码的图像的面积的比值大于第八值(8％)为止。

在该技术方案中，不同的产品，包括的颜色不完全一致，但一般以一个固定的颜色(即主颜色)为准，然后以另一个颜色(次颜色)为辅。因此，在二值化过程中，可将产品的主颜色和次颜色的HSI阈值进行调整。然后计算白色部分的面积，然后根据白色部分的面积占比来确定二值化过程是否合适。具体而言，如果二值化白色区域占裁剪后的图像的像素值比例<8％，则下调I的下阈值为0.8×190，如果二值化白色区域占裁剪后的图像的像素值比例<8％，则继续下调I的下阈值20％，直到二值化白色区域占裁剪后的图像的像素值比例>8％为止，该方法可以适应不同的光照环境。

示例性地，主颜色为白色，次颜色为红色。此时，主颜色的参数设置如下：H阈值为170-180，S阈值为180-255，I的阈值为100-255。次颜色的参数设置如下：H阈值为0-180，S的阈值为0-90，I的阈值为190-255。

在监测设备为洗衣机或者烘干机时，考虑到洗衣机或者烘干机的大部分颜色为白色，但少部分会有红色，因此在需要对二值化阈值进行合理设计。此处我们提出了一种自适应颜色阈值分割算法，设定红色的HSI阈值为H：170-180，S阈值为180-255，I的阈值为100-255；白色的HSI阈值按照如下设置：H：0-180，S：为0-90，I：190-255。此后便可计算出二值化后的白色图像的面积。

其中，HIS阈值包括色调，饱和度和亮度的阈值。具体来说，色调H(Hue)与光波的波长有关，它表示人的感官对不同颜色的感受，如红色、绿色、蓝色等，它也可表示一定范围的颜色，如暖色、冷色等。饱和度S(Saturation)表示颜色的纯度。亮度I(Intensity)对应成像亮度和图像灰度，是颜色的明亮程度。

可选地，根据每个工位对应的设备图像判断工位对应的目标设备是否发生了故障的步骤包括：根据每个工位对应的每个设备图像均进行一次工位对应的监测设备是否发生了故障的判断，并针对每个设备图像均生成一个判断结果；在获取到所有设备图像的判断结果的情况下，根据所有的判断结果输出监测设备的异常确定结果信息；在预设时间内，如果获取到的判断结果缺少任意一个设备图像的判断结果，针对该工位的检测不输出任何检测信息。

在该技术方案中，检查同一个设备图像的检测结果是否包含了各个阶段的判断结果，如果不包含继续等待，如果长时间没有收集到各个阶段的结果，则不输出任何信息；如果包含了各个阶段的结果，则继续执行下一个阶段。

可选地，确定出第一图像中的目标设备的步骤包括：将第一图像输入到第三图像识别模型中进行监测设备的识别，得到识别出的每个监测设备的第一分值；将第一分值大于第七值的监测设备确定为待选设备；判断待选设备是否满足第一条件；在待选设备均不满足第一条件的情况下，确定第一图像中不存在目标设备；在只有一个待选设备满足第一条件的情况下，将待选设备确定为目标设备；在至少两个待选设备满足第一条件的情况下，计算每个待选设备的第二分值，将第二分值最大的待选设备确定为目标设备。

在该技术方案中，鉴于在对目标设备进行拍摄第一图像时，会拍摄到相邻的其他设备，故而在拍摄第一图像后，需要先从第一图像中找到该拍摄位置对应的目标设备，其具体操作时，将第一图像进行图像识别，并得出每个监测设备的得分，在得分较高时，说明该设备是目标设备的概率较大，反之则说明该设备不是目标设备。此后，可将得分较高的设备确定为待选设备，然后通过待选设备与第一图像的宽度和高度比，以及待选设备在第一图像中的位置等条件确定出满足条件的待选设备。如果只有一个待选设备满足条件，则将该待选设备确定为目标设备，如果有多个待选设备满足条件，则按照预设条件计算各个待选设备的得分，将得分最高的待续设备确定为目标设备。该种方式，能够从第一图像中准确地识别出目标设备，为后续故障判断提供了基础。

可选地，第二分值为B，其中：第二分值B＝0.1×(abs(0.5×目标设备的宽度/第一图像的宽度-0.5))+目标设备的高度/第一图像的高度×目标设备的宽度/第一图像的宽度)。

其中，abs()表示绝对值。即，abs(0.5×目标设备的宽度/第一图像的宽度-0.5))+目标设备的高度/第一图像的高度×目标设备的宽度/第一图像的宽度)表示，0.5×目标设备的宽度/第一图像的宽度-0.5))+目标设备的高度/第一图像的高度×目标设备的宽度/第一图像的宽度的值的绝对值。

可选地，第一条件与待选设备和第一图像的相对大小和待选设备在第一图像中的位置有关。

可选地，移动机器人的异常检测方法还包括：将第一图像输入到第四图像识别模型中进行监测设备的识别，得到每个待选设备的目标框的信息，待选设备的目标框为矩形框。

通过识别目标框，便可知道待选设备的宽度、大小和位置，从而便于后续和第一图像进行对比，以确定待选设备是否是目标设备。

其中，第一图像中的设备可能只是设备的局部图像，但只要存在局部图像，均需要针对该图像生成目标框。

可选地，第一条件包括以下之一及其组合：待选设备的目标框的高度H1和第一图像的高度H2满足以下关系：0.45H2≤H1≤0.9H2；待选设备的目标框的宽度W1和第一图像的宽度W2满足以下关系：0.125W2≤W1≤0.38W2；待选设备的目标框沿宽度方向的第一侧与第一图像沿宽度方向的第一侧之间的距离D1和第一图像的宽度W2满足，D1/W2≥0.02，待选设备的目标框沿宽度方向的第二侧与第一图像沿宽度方向的第一侧之间的距离D2和第一图像的宽度W2满足，D2/W2≤0.98。

在该技术方案中，鉴于采集图像的时候，一般是对着目标设备拍摄的，且拍摄位置和拍摄角度也是确定的，因此，目标设备的大小和第一图像的大小关系基本是固定的，即H2和H1的关系，W2和W1的关系，D1/W2的比值基本都是固定的，故而可以据此来筛选出满足上述大小关系的待选设备，以作为目标设备。

根据本申请第二方面的技术方案提供的移动机器人的异常检测装置，移动机器人包括图像采集装置，异常检测装置包括：第一控制单元，用于控制移动机器人按照目标路线移动，目标路线上设置有多个工位，每个工位上放置有监测设备，监测设备包括信息显示区，第二控制单元，用于在移动机器人移动到任一工位对应的采集位置时，控制图像采集装置采集当前工位对应的设备图像，设备图像包括信息显示区的图像；判断单元，用于根据每个工位对应的设备图像判断工位对应的目标设备是否发生了故障。

本申请的移动机器人的异常检测装置，用于移动机器人，其主要用于多个设备集中工作场景下的设备的故障、移位等异常检测。该种场景下，多个设备设置在不同的工位进行工作。而故障检测时，可根据设备的分布情况设置好机器人的移动路线，然后控制移动机器人按照设置好的移动路线进行移动。而在移动机器人运动到任意一个工位时，即移动到任意一个设备的所在位置时，就对该工位上的设备进行图像采集，其中，采集的图像需要包括显示区的图像，以便根据显示区的图像判断该设备是否发生故障等。其中，在设备出现故障时，一般会在显示区进行故障码显示，本申请可检测并判断显示区是否有故障码来确定设备是否发生故障。而在当前工位的检测过程完毕后，便可按照移动路线移动到下一个工位继续进行检测，直到完成所有设备的故障检测。此后，可控制移动机器人进行新一轮的故障检测，以此就可以对多个设备的工作情况进行循环检测，并能够在设备出现移位、发生故障等异常时，及时发出提醒或者上报服务器，以便用户及时对异常的设备进行检查和维修。该种异常检测方法，只需要一个移动机器人便可以不间断地对设备的状态进行自动检测，以此可以降低故障检测的成本，另一方面，该种检测方法也不需要将设备移动到固定的位置，因此不会让设备中断工作，以此可以确保设备工作的连续性。

具体而言，该种异常检测方法可用于洗衣房、共享洗衣房等中洗衣机、烘干机等的检测，以此可以在洗衣机和烘干机发生移位或者出现故障时，及时发出提醒，以便用户对发生异常的设备及时进行检修。

第三方面，本申请实施例提出了一种电子设备，包括：存储器，存储器储存有程序或指令，处理器，处理器执行程序或指令时，实现第一方面任一项方案提供的异常检测方法的步骤。

根据本申请的电子设备，由于其能够实现第一方面任一项方案提供的异常检测方法的步骤。因此，该电子设备具有第一方面任一项方案提供的异常检测方法的全部有益效果。

第四方面，本申请实施例提出了一种可读存储介质，其上存储有程序或指令，程序或指令被执行时，实现第一方面任一项方案提供的异常检测方法的步骤。

由于可读存储介质能够实现第一方面任一项方案提供的异常检测方法的步骤。因此，可读存储介质具有一方面任一项方案提供的异常检测方法的全部有益效果。

第五方面，本申请实施例提出了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现第一方面任一项方案提供的异常检测方法的步骤。

由于计算机程序产品能够实现第一方面任一项方案提供的异常检测方法的步骤。因此，计算机程序产品具有一方面任一项方案提供的异常检测方法的全部有益效果。

第六方面，本申请实施例提出了一种移动机器人，包括：如第二方面提供的移动机器人的异常检测装置，和/第三方面任一项方案提供的电子设备；和/或第四方面任一项方案提供的可读存储介质，和/或第五方面任一项方案提供的计算机程序产品。

由于本申请实施例的移动机器人，包括上述任一技术方案的移动机器人的异常检测装置、电子设备、可读存储介质或计算机程序产品。因此，也具有移动机器人的异常检测装置或电子设备或可读存储介质或计算机程序产品的全部有益效果。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请一实施例的异常检测方法的流程示意图之一；

图2是本申请一实施例的异常检测方法的流程示意图之二；

图3是本申请一实施例的异常检测方法的流程示意图之三；

图4是本申请一实施例的异常检测方法的流程示意图之四；

图5是基于移动机器人的洗衣机/烘干机巡检俯视示意图；

图6是基于移动机器人的洗衣机/烘干机巡检正视示意图；

图7是使用移动机器人对每个工位拍摄获得的4张图片；

图8是阶段1和阶段4的视觉算法流程图；

图9是阶段2和阶段3的视觉算法流程图；

图10是基于移动机器人的洗衣机/烘干机的综合决策流程图；

图11是本申请的实施例的移动机器人的异常检测装置的方框图；

图12是本申请的实施例的电子设备的方框图。

具体实施方式

下面将详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面结合图1至图12来描述根据本申请实施例的移动机器人及其异常检测方法、装置、电子设备和可读存储介质。

根据本申请第一方面的实施例提供的移动机器人的异常检测方法，移动机器人包括图像采集装置，如图1所示，异常检测方法包括：

S102，控制移动机器人按照目标路线移动，目标路线上设置有多个工位，每个工位上放置有监测设备，监测设备包括信息显示区；

S104，在移动机器人移动到任一工位对应的采集位置时，控制图像采集装置采集当前工位对应的设备图像，设备图像包括信息显示区的图像；

S106，根据每个工位对应的设备图像判断工位对应的目标设备是否发生了故障。

本申请的移动机器人的异常检测方法，用于移动机器人，其主要用于多个设备集中工作场景下的设备的故障、移位等异常检测。该种场景下，多个设备设置在不同的工位进行工作。而故障检测时，可根据设备的分布情况设置好机器人的移动路线，然后控制移动机器人按照设置好的移动路线进行循环移动。而在移动机器人运动到任意一个工位时，即移动到任意一个设备的所在位置时，就对该工位上的设备进行图像采集，其中，采集的图像需要包括显示区的图像，以便根据显示区的图像判断该设备是否发生故障等。其中，在设备出现故障时，一般会在显示区进行故障码显示，本申请可检测并判断显示区是否有故障码来确定设备是否发生故障。而在当前工位的检测过程完毕后，便可按照移动路线移动到下一个工位继续进行检测，直到完成所有设备的故障检测。此后，可控制移动机器人进行新一轮的故障检测，以此就可以对多个设备的工作情况进行循环检测，并能够在设备出现移位、发生故障等异常时，及时发出提醒或者上报服务器，以便用户及时对异常的设备进行检查和维修。该种异常检测方法，只需要一个移动机器人便可以不间断地对设备的状态进行自动检测，以此可以降低故障检测的成本，另一方面，该种检测方法也不需要将设备移动到固定的位置，因此不会让设备中断工作，以此可以确保设备工作的连续性。

具体而言，该种异常检测方法可用于洗衣房、共享洗衣房等中洗衣机、烘干机等的检测，以此可以在洗衣机和烘干机发生移位或者出现故障时，及时发出提醒，以便用户对发生异常的设备及时进行检修。

可选地，监测设备包括信息显示区和身份码信息，异常包括目标设备是否发生故障，控制图像采集装置采集当前工位对应的设备图像的步骤包括：控制移动机器人移动到监测设备的第一位置，在第一位置控制图像采集装置按照预设间隔拍摄得到至少两张第一图像，在第一位置移动机器人能够拍摄到监测设备的身份码信息和监测设备的显示信息。第一位置均位于监测设备沿第一方向的一侧，且与监测设备之间设置有预设距离。

在该实施例中，设备上设置有信息显示区，如果设备出现故障时，会显示故障码。同时，设备上一般设置有设备的身份码信息，可提前将身份码信息和显示区设置在同一个面，这样就可以通过拍摄同一张图像便可得到显示信息和身份码信息。在检测设备的故障时，可拍摄显示区所在面的图像，然后基于显示区显示的信息来判断设备是否发生故障。同时，基于身份码信息来确定该工位对应的设备的身份信息，以便能够在检测到故障或移位时，将故障码或者移位信息同身份码一起进行上报。而为了确保故障检测的准确性，可间断地多拍两张图像，在任意一张图像检测到故障码时，就认定设备出现故障，反之，如果两张图像中都没有检测到故障码，则认定设备没有出现故障。

其中，鉴于机器的显示区和身份码一般都是设置在机器的前方的，因此，可在机器的正前方拍摄两张照片，作为第一图像。因此，这里的第一方向指的是设备的前后方向，第一位置为设备的正前方。

可选地，根据每个工位对应的设备图像判断工位对应的目标设备是否发生故障的步骤包括：根据每个工位的第一图像进行一次目标设备是否出现故障的判断；在任意一个第一图像判定目标设备出现故障时，确定目标设备发生故障；在每个第一图像均判定目标设备未发生故障时，确定目标设备未发生故障。

在该实施例中，对于采集的第一图像，需要针对每个第一图像进行一次故障检测，如果都未检测到故障，则认定无故障，如果有任意一个第一图像检测到故障，则认定设备存在故障。

示例性地，根据每个第一图像进行一次监测设备是否发生故障的判断，是否有任一阶段检测故障码信息？如果都没有故障码信息，则认为该工位的设备没有故障码；如果任一阶段有故障码信息，则认为该工位的设备有故障码，输出故障码的信息。

可选地，根据每个工位对应的设备图像判断工位对应的目标设备是否发生了故障的步骤包括：根据每个工位的第一图像进行一次目标身份码的检测和识别，在工位对应的所有第一图像中均未识别出目标身份码时，针对该工位的检测不输出任何检测信息。在工位对应的任意一个第一图像中识别出目标身份码时，继续进行后续检测。

在该实施例中，在每个工位对应的设备图像中未识别出监测设备的身份码信息时，不输出任何信息。即在该工位的图像中，如果没有检测到代表身份的身份码信息时，针对该工位的检测不输出任何信息，直接进行下一工位的检测。

可选地，根据每个工位的第一图像进行一次目标身份码的检测和识别的步骤包括：确定出第一图像中的目标设备；确定出第一图像中的目标身份码，目标身份码所在区域位于目标设备所在区域的内部；在第一图像中没有检测到目标身份码时，输出身份码检测失败；在第一图像中检测到目标身份码时，识别目标身份码，解析出目标身份码对应的工位信息。

在该实施例中，在确定设备出现故障时，还需要知道设备的具体身份信息，故而在得到第一图像后，还需要识别图像中目标身份码，即属于目标设备的身份码。如果检查到目标身份码，则识别目标身份码，以获取设备具体的身份信息，以便能够将故障判断结果与身份信息进行关联。如果没有检查到目标身份码或者身份码识别失败，就认为该位置不是工位或者工位被屏蔽，则不进行后续检测。

可选地，身份码为二维码。

可选地，识别目标身份码的步骤包括：从第一图像中提取出目标身份码的图像；对目标身份码的图像进行识别。

在该实施例中，可从第一图像中提前出目标身份码的图像，然后便可识别目标身份码的图像，以识别出身份信息。

可选地，在对目标身份码的图像识别失败时，将目标身份码的图像放大预设倍数后重新识别，如果还是识别失败，重复该步骤；在对目标身份码的图像识别失败的次数大于预设次数后，输出身份码识别失败。

在该实施例中，如果身份码识别失败的话，可将图像放大预设倍，然后重新识别，如果还是失败，继续放大，并重新识别。但如果识别次数大于预设次数后，则直接判断识别错误。通过多次放大并重复识别，可以确保目标身份码识别的准确性，避免身份信息的漏识别。

其中，该检测方法还需要对每个第一图像故障进行检测，其中，故障检测的步骤如图2所示，其步骤包括：

S202，确定出第一图像中的目标设备，识别第一图像中的目标显示码，目标显示码所在区域位于目标设备所在区域的内部；

S204，在未识别到目标显示码时，确定目标设备无故障；

S206，在识别到目标显示码时，识别目标显示码显示的内容，生成第一信息；

S208，根据第一信息判断目标设备是否发生故障。

在该实施例中，可先识别出第一图像中的目标显示码，即位于目标设备所在区域的内部的显示码。在未识别到目标显示码时，默认目标设备无故障。在识别到目标显示码时，识别目标显示码显示的内容，根据显示内容来确定设备是否有无故障。

可选地，根据第一信息判断目标设备是否发生故障的步骤包括：对第一信息中的目标字符进行替换，生成第二信息；在第二信息的首个字符为第一指定字符，且第二信息不包括第二指定字符串的情况下，确定第二信息为故障码，并判定目标设备发生故障；在第二信息的首个字符不为第一指定字符，或第二信息包括第二指定字符串的情况下，确定第二信息不是故障码，并判定目标设备未发生故障。

显示码中的个别数字和英文字母存在误识别，而显示码中也一般不存在上述字母，因此，在根据显示内容来确定设备是否有无故障时，可在识别出第一信息后，对第一信息中的易混淆字母替换成正确的数字或字母，然后在进行后续判断，以此可以提高识别出的内容准备性。

而产品的故障码和产品的其他正常显示内容区别是很大的，一般而言，故障码的首个字符基本都是一致的。且正常显示内容中也容易出现一些高频字符串。因此，在判断显示内容是否为故障码时，可结合首字母和高频字符串来进行判定。比如，可先确定第二信息中的首个字母是否为第一指定字符，比如，字符E，然后确定第二信息中是否包括特定的第二指定字符串，如果第二信息中的首个字母为第一指定字符(即首个字母像故障码)，且不包括第二指定字符串(即还不是比较常见的正常显示内容)的情况下，则可以认为产品故障，反之，如果首字母不是第一指定字符(即首个字母不符合故障码的首个字符要求)，或者包括了第二指定字符串(即包括了正常显示内容有关的字符串)则可以认为第二信息不是故障码，产品没有故障。示例性地，在第二信息的首个字符为E，即第一指定字符为E，且第二信息不是“End”(即第二指定字符串包括End)的情况下，确定第二信息为故障码，并判定目标设备发生故障；在第二信息的首个字符不为E，或第二信息为“End”的情况下，确定第二信息不是故障码，并判定目标设备未发生故障。

其中，鉴于故障码一般都是E开头的，因此，在检测到首个字符为第一指定字符，且第二信息不包括第二指定字符的预定字符串的情况下，确定第二信息为故障码，并输出故障码，并判定目标设备发生故障。反之，则认定设备无故障，此时可正常输出显示码，以供用户查看。

可选地，对第一信息中的目标字符进行替换的步骤包括：将第一信息中的目标字符替换成与目标字符对应的相似字符。其中，目标字符是监测设备正常显示码中不会存在的字符，且该些字符容易和其他字符近似。因此，可将这类字符替换成与其相似的字符，以确保识别出的第一信息的准确性。

示例性地，目标字符包括O、S、T、R。对应的相似字符包括：0、5、1、A。因为，O、S、T、R容易和0、5、1、A混淆，且一般情况下，错误码中也没有O、S、T、R，故而可以通过上述替换，来提高识别出的内容准备性。

可选地，识别目标显示码显示的内容，生成第一信息的步骤包括：将目标显示码的图像输入到第五图像识别模型中进行显示内容的识别，生成第四结果；将目标显示码的图像进行二值化处理后，输入到第六图像识别模型中进行显示内容的识别，生成第五结果；根据第四结果和第五结果确定出第一信息。

在该实施例中，可先通过图像识别模型对目标显示码的图像的进行识别，生成第四结果。同时，可将目标显示码的图像进行二值化处理后，在通过图像识别模型进行识别，生成第五结果。然后便可综合考虑两次的结果来确定出目标显示码的显示内容，即第一信息。该种设置，通过两种方式识别，然后综合得出结果，能够使显示内容识别的准确率更高。

其中，第四结果和第五结果中，每个结果都附带有评分，根据第四结果和第五结果确定出第一信息时，选取评分高的结果作为最终的结果。

可选地，将目标显示码的图像进行二值化处理的步骤包括：对目标显示码的图像进行二值化处理，生成第二二值化图像，第二二值化图像中目标显示码的图像中的主颜色像素和次颜色像素显示为白色，其余像素显示为黑色；其中，第二二值化图像的白色区域的面积之和为S，S与目标显示码的图像的面积的比值小于等于第八值。

在该实施例中，在二值化过程中需要考虑到目标设备大部分的颜色为白色，但少部分会有红色，因此需要对二值化阈值进行合理设计。此处提出了一种自适应颜色阈值分割算法，即分别设定红色的HSI阈值和白色的HSI阈值，且使用逻辑或的方式对2者进行合并后，需要确保二值化白色区域占裁剪后的图像的像素值比例对于第八值(如8％)。

可选地，对目标显示码的图像进行二值化处理的步骤包括：对目标显示码的图像中的主颜色像素的HSI阈值进行设置。对目标显示码的图像中的次颜色像素的HSI阈值进行设置。在S与目标显示码的图像的面积的比值大于第八值(8％)时，按比例(如20％)将主颜色像素的HSI阈值中的I的下限值下调，直到S与目标显示码的图像的面积的比值大于第八值(8％)为止。

在该实施例中，不同的产品，包括的颜色不完全一致，但一般以一个固定的颜色(即主颜色)为准，然后以另一个颜色(次颜色)为辅。因此，在二值化过程中，可将产品的主颜色和次颜色的HSI阈值进行调整。然后计算白色部分的面积，然后根据白色部分的面积占比来确定二值化过程是否合适。具体而言，如果二值化白色区域占裁剪后的图像的像素值比例<8％，则下调I的下阈值为0.8×190，如果二值化白色区域占裁剪后的图像的像素值比例<8％，则继续下调I的下阈值20％，直到二值化白色区域占裁剪后的图像的像素值比例>8％为止，该方法可以适应不同的光照环境。

示例性地，主颜色为白色，次颜色为红色。此时，主颜色的参数设置如下：H阈值为170-180，S阈值为180-255，I的阈值为100-255。次颜色的参数设置如下：H阈值为0-180，S的阈值为0-90，I的阈值为190-255。

在监测设备为洗衣机或者烘干机时，考虑到洗衣机或者烘干机的大部分颜色为白色，但少部分会有红色，因此在需要对二值化阈值进行合理设计。此处我们提出了一种自适应颜色阈值分割算法，设定红色的HSI阈值为H：170-180，S阈值为180-255，I的阈值为100-255；白色的HSI阈值按照如下设置：H：0-180，S：为0-90，I：190-255。此后便可计算出二值化后的白色图像的面积。

其中，HIS阈值分别色调，色饱和度，强度的阈值。

色调H(Hue)：与光波的波长有关，它表示人的感官对不同颜色的感受，如红色、绿色、蓝色等，它也可表示一定范围的颜色，如暖色、冷色等。饱和度S(Saturation)：表示颜色的纯度。亮度I(Intensity)：对应成像亮度和图像灰度，是颜色的明亮程度。

可选地，确定出第一图像中的目标设备的步骤包括：将第一图像输入到第三图像识别模型中进行监测设备的识别，得到识别出的每个监测设备的第一分值；将第一分值大于第七值的监测设备确定为待选设备；判断待选设备是否满足第一条件；在待选设备均不满足第一条件的情况下，确定第一图像中不存在目标设备；在只有一个待选设备满足第一条件的情况下，将待选设备确定为目标设备；在包括至少两个待选设备满足第一条件的情况下，计算每个待选设备的第二分值，将第二分值最大的待选设备确定为目标设备。

在该实施例中，鉴于在对目标设备进行拍摄第一图像时，会拍摄到相邻的其他设备，故而在拍摄第一图像后，需要先从第一图像中找到该拍摄位置对应的目标设备，其具体操作时，将第一图像进行图像识别，并得出每个监测设备的得分，在得分较高时，说明该设备是目标设备的概率较大，反之则说明该设备不是目标设备。此后，可将得分较高的设备确定为待选设备，然后通过待选设备与第一图像的宽度和高度比，以及待选设备在第一图像中的位置等条件确定出满足条件的待选设备。如果只有一个待选设备满足条件，则将该待选设备确定为目标设备，如果有多个待选设备满足条件，则按照预设条件计算各个待选设备的得分，将得分最高的待续设备确定为目标设备。该种方式，能够从第一图像中准确地识别出目标设备，为后续故障判断提供了基础。

可选地，第二分值为B，其中：第二分值B＝0.1×(abs(0.5×目标设备的宽度/第一图像的宽度-0.5))+目标设备的高度/第一图像的高度×目标设备的宽度/第一图像的宽度)。

其中，abs()表示绝对值。

可选地，第一条件与待选设备与第一图像的相对大小和待选设备在第一图像中的位置有关。

可选地，移动机器人的异常检测方法还包括：将第一图像输入到第四图像识别模型中进行监测设备的识别，得到每个监测设备的待选设备的目标框的信息，待选设备的目标框为矩形框。

通过识别目标框，便可知道待选设备的宽度、大小和位置，从而便于后续和第一图像进行对比，以确定待选设备是否是目标设备。

其中，第一图像中的设备可能只是设备的局部图像，但只要存在局部图像，均需要针对该图像生成目标框。

可选地，第一条件包括以下之一及其组合：待选设备的目标框的高度H1和第一图像的高度H2满足以下关系：0.45H2≤H1≤0.9H2；待选设备的目标框的宽度W1和第一图像的宽度W2满足以下关系：0.125W2≤W1≤0.38W2；待选设备的目标框沿宽度方向的第一侧与第一图像沿宽度方向的第一侧之间的距离D1和第一图像的宽度W2满足，D1/W2≥0.02，待选设备的目标框沿宽度方向的第二侧与第一图像沿宽度方向的第一侧之间的距离D2和第一图像的宽度W2满足，D2/W2≤0.98。

在该实施例中，鉴于采集图像的时候，一般是对着目标设备拍摄的，且拍摄位置和拍摄角度也是确定的，因此，目标设备的大小和第一图像的大小关系基本是固定的，即H2和H1的关系，W2和W1的关系，D1/W2的比值基本都是固定的，故而可以据此来筛选出满足上述大小关系的待选设备，以作为目标设备。

可选地，每个工位上，监测设备沿第一方向的一侧设置有标记物，监测设备沿第二方向的两侧分别设置有标记物，异常检测方法还包括：判断设备是否发生移位。该步骤包括：控制移动机器人移动到第二位置，并控制图像采集装置拍摄至少一张第二图像；控制移动机器人移动到第三位置，并控制图像采集装置拍摄至少一张第二图像；其中，第二位置和第三位置位于监测设备沿第二方向的两侧，第二位置和第三位置位于监测设备沿第一方向的同一侧，在第二位置和第三位置，移动机器人能够拍摄到监测设备与标记物的相对位置关系。

在该实施例中，标记物是用于检测设备的位置的。在实际过程中，可以通过红线或者红条等形成标记物。为了判断设备是否移位，可以从设备的左前方和右前方分别采集一张图像，然后基于采集的图像识别设备移位。

其中，这里的第二方向指的是设备的左右方向，第二位置和第三位置依次为设备的左前方和右前方。而在左前方和右前方不仅仅能采集到设备的侧面的标记物，还能采集到设备前方的标记物，这样就不用专门在采集设备前方的标记物，以此能够使需要采集的图像更少，以此简化了故障检测的流程。

示例性地，针对设备是否发生了移位的检测，可在设备的工位前方，左侧方，右侧方粘贴宽度为1cm的红色胶带，粘贴的位置离设备前边，左侧边，右侧边约3cm-5cm处。当设备在工作过程中如果发生了移位，则会压住红线，因此设备在巡检过程中从左侧和右侧两个角度低头对该工位进行拍照，并上传给算法进行判断时，如果有任一阶段判断为移位，则认为设备发生了移位。

其中，对于设备来说，一般需要同时判断设备是否移位和是否发生故障。故而在采集所需的图像时，可按照如图3所示的采集步骤进行。其中，如图3所示，图像采集的步骤包括：

S302，控制移动机器人移动到第一位置，并控制图像采集装置拍摄至少一张第一图像；

S304，控制移动机器人移动到第二位置，并控制图像采集装置拍摄至少一张第二图像；

S306，控制移动机器人移动到第三位置，并控制图像采集装置拍摄至少一张第二图像。

其中，第二位置、第三位置和第一位置均位于监测设备沿第一方向的同一侧，且与监测设备之间设置有预设距离。通过上述步骤便可完成一个工位的图像采集。

此外，判断目标设备是否发生移位和判断目标设备是否发生故障的次数可以是相同的，也可以是不同的，也即可以在进行一次是否发生移位后，需要进行一次是否发生故障判断。但也可以进行了多次是否发生移位判断后，才进行一次是否发生故障的判断。比如，可先移动第第一位置拍摄并判断是否故障，未故障的情况再移动到第二位置、第三位置拍摄判断移位所需的图像，或者，也可每个1小时判断是否移位，每隔2小时判断是否故障，也即是否发生移位和是否发生故障的判断以及对应的图像采集可以是独立的也可以是结合在一起的，在实际过程中，可根据实际情况，确定图像采集的顺序，以及是否发生移位和是否发生故障的判断顺序以及频率。

可选地，第二图像和第一图像通过同一个id来标记，以此实现不同工位的图像之间的区分。

可选地，判断设备是否移位和是否发生故障还包括：根据每个工位对应的设备图像判断工位对应的目标设备是否发生了移位的步骤。该步骤包括：根据每个工位的每个第二图像进行一次目标设备是否发生了移位的判断；在任意一个第二图像判定目标设备出现了移位时，确定目标设备移位；在每个第二图像均判定目标设备未出现移位时，确定监测设备未移位。

在该实施例中，可根据每个第二图像进行一次目标设备是否发生了移位的判断，如果都没有移位，则认为该工位上的设备是正常状态，如果任一阶段判断出现移位，则综合判断该工位对应的监测设备是否有移位问题。

其中，针对每张第二图像，需要判断是否移位，如图4所示，其具体的判断步骤包括：

S402，确定出第二图像中的目标设备，确定出第二图像中目标设备的目标框；

S404，根据目标设备的目标框确定剪裁框，剪裁框与目标框的中心对齐，且剪裁框的长度和宽度均大于目标框的长度和宽度；

S406，根据剪裁框对第二图像进行裁剪，并生成第三图像：

S408，将第三图像输入到第二图像识别模型中，以识别目标设备是否移位，并生成第一结果。

在该实施例中，鉴于在对目标监测设备进行拍摄第二图像时，会拍摄到相邻的其他设备，故而在拍摄第二图像后，需要先从第二图像中找到该拍摄位置对应的目标设备，同时，需要生成目标设备的目标框。其中，目标框为能够将目标设备进行框选的最小矩形框。此后，可将目标框适当扩大一点以后，按照扩大后的目标框对图像进行剪裁，以此能够将设备图像及其周围的标记物剪裁出来。也即这里的剪裁框的大小，可根据标记物和设备之间的间距进行合理设置，以能够将设备周围的标记物剪裁下来为准。此后，可将剪裁后的图像输入到图像识别模型进行识别，以识别目标设备是否移位，识别完成后，便可输出对应的结果。

其中，第二图像识别模型为神经网络智能模型，其经过大量的数据训练后，能够基于给出的图像确定图像中的目标设备是否移位。

其中，第二图像识别模型为目标分类器模型，该分类器直接判断目标是否发生移位；此处分类模型是yolov8n-cls模型，其类别分为2个类型，即移位和无移位，前期需要使用较多的数据进行模型训练。

可选地，第三图像的中心和目标设备的目标框的中心对齐，剪裁框的长度等于目标设备的目标框的长度的1.2倍，剪裁框的宽度等于目标设备的目标框的宽度的1.2倍。具体而言，对图片进行裁剪时，可目标框的中心，向左右各裁剪0.6倍目标的宽度，上下各裁剪目标0.6倍的高度。

其中，针对每张第二图像，需要判断是否移位，如图4所示，其具体的判断步骤还包括：

S410，将第二图像进行二值化处理，以生成第一二值化图像，根据第一二值化图像确定出第二图像中的标记物；

S412，从第二图像中的标记物中确定出与目标设备相关的标记物，将与目标设备相关的标记物确定为目标标记物；

S414，识别出目标标记物，根据目标标记物判断目标设备是否移位，并生成第二结果。

在该实施例中，可识别出第二图像中的标记物，然后基于目标设备的标记物是否断裂，宽度是否变窄等来确定设备是否移位。具体而言，鉴于在对目标设备进行拍摄第二图像时，会拍摄到相邻的其他设备，故而在拍摄第二图像后，需要先从第二图像中识别出该拍摄位置对应的目标设备。然后可将第二图像进行二值化处理，以确定出第二图像中的所有标记物。然后可根据识别出的目标设备和识别出标记物的关系确定目标设备相关的标记物，即目标标记物，然后便可基于目标标记物是否断裂，宽度是否变窄等来确定设备是否移位，然后便可基于判断结果形成第二结果。

其中，针对每张第二图像，需要判断是否移位，实际过程中，可单独通过人工智能图像识别模型对第二图像进行识别，以判断设备是否移位，并生成结果。或者可结单独通过标记物的判断结果来综合确定设备是否移位。但在该实施例中，将两者结果进行了结合来进行移位的判断。

基于此，如图4所示，针对每张第二图像，判断是否移位的步骤还包括：

S416，在两个结果都认定设备未发生位移时，确定设备未发生位移。

S418，在任意一个结果认定设备发生位移时，确定设备发生位移。

该种设置，可以提高移位判断的准确性，降低了发生了移位而未判断出来的情况的概率。

其中，由于第二图像为多个，因此，针对每个第二图像均需要进行上述处理，且需要针对每个第二图像均生成一个判断结果。

可选地，根据目标标记物判断目标设备是否移位，并生成第二结果的步骤包括：识别出目标标记物，形成线段集，对线段集中的角度相似且共线的两条线段进行合并，根据合并后的线段判断目标设备是否移位，并生成第二结果。

在该实施例中，在检测出目标设备周围的标记物以后，由于识别出的标记物为图像，故而需要先将标记物拟合形成线段。而在该线段拟合过程中，会形成很多的线段，故而在拟合完成后，需要对角度形似且共线的线段进行合并，合并后的线段即为表示标记物的线段。然后便可基于合并后的线段来判断设备是否发生移位。

可选地，根据合并后的线段判断目标设备是否移位，并生成第二结果的步骤包括：在合并后的线段为0条时，确定目标设备移位。

合并后的线段为0条，即代表未检测到标记物，说明标记物都被压住了，故而此时，可判断设备发生了移位。

在合并后的线段的数量大于等于1时，根据目标设备的朝向判断合并后的线段中是否包括目标线段，并判断每个目标线段是否断裂，其中，目标线段包括位于监测设备沿第二方向的两侧的第一目标线段和第二目标线段，以及位于监测设备沿第一方向的一侧的第三目标线段中一个或多个。

在该实施例中，在合并后的线段具有一条以上时，可先根据第二图像确定出设备的朝向，一般而言，是先识别出设备的指定结构，比如设备前方的目标结构，比如设备的门等结构，然后将识别出的目标结构在第二图像中的朝向确定为设备的朝向。然后便可根据设备的朝向和线段的斜率来判断是否存在目标线段。其中，在不同的第二图像中，目标线段指的是不同的线段，比如，在第二位置采集的图像，目标线段具体包括设备指定结构前方的标记物形成的线段，比如设备正前方的标记物形成的线段，以及设备靠近第二位置侧的标记物形成的线段。比如，在第三位置采集的图像，目标线段具体包括设备指定结构前方的标记物形成的线段，比如设备正前方的标记物形成的线段，以及设备靠近第三位置侧的标记物形成的线段。

可选地，在确定出合并后的线段中不包括目标线段时，确定目标设备移位。

可选地，在第一目标线段、第二目标线段和第三目标线段均存在且均未断裂时，确定第一目标线段的长度与第三目标线段的长度的第一比值，确定第二目标线段的长度与第三目标线段的长度的第二比值；在第一比值或第二比值均小于等于第一值时，确定目标设备移位；在第一比值或第二比值大于等于第二值(如1.2)时，确定目标设备移位；在第一比值和第二比值均大于第一值且小于第二值之间时，确定目标设备未移位。

在该实施例中，如果合并后的线段中没有目标线段，则认定设备发生了移位。反之，在每个第二图像均检测完成后，都在各自图像中识别到各自的目标线段，则判断目标线段是否断裂。如果存在目标线段断裂，则认为设备发生了移位，如果目标线段均存在且未断裂，需判断所有目标线段的比值，根据比值来确定设备是否发生移位。

具体来说，第一比值或第二比值小于等于第一值(第一值可为0.24，或0.3)时，说明设备左侧或右侧的线段非常短，故而可以确定设备压线，从而确定目标设备移位。在第一比值或第二比值大于等于第二值(如1.2)时，说明设备前方的线段较短，故而可以确定设备压线，从而确定目标设备移位。而在第一比值和第二比值均大于第一值且小于第二值时，说明设备左右两侧的线段和前方的线段的长度比较适中，故而可以确定设备未压线，从而可确定目标设备未移位。

可选地，判断目标线段是否断裂的步骤包括：在确定出合并后的线段中包括多个目标线段时，将长度最大的目标线段确定为最终的目标线段；获取参照线段，根据参照线段判断最终的目标线段是否断裂。

在该实施例中，在识别出的线段中，如果满足要求的同一个目标线段具有多个，比如，识别出第一目标线段有多个，则将长度最大的线段作为目标线段。此后，可参照目标线段绘制一个参照线段，然后基于参照线段和目标线段的面积占比来判断目标线段是否断裂。

其中，根据参照线段判断最终的目标线段是否断裂的步骤包括：在最终的目标线段的面积与参照线段的面积占比大于等于第三值(如0.8)时，确定目标线段未断裂，在目标线段的面积与参照线段的面积占比小于第三值时，确定目标线段断裂。即在目标线段相对参照线段的面积占比较小时，说明目标线段的长度过短，应该是被压了，故而可以确定设备移位。反之，在目标线段相对参照线段的面积占比较大时，说明目标线段的长度较正常，没有被压断裂，故而可以确定设备未移位。

可选地，对线段集中的角度相似且共线的两条线段进行合并的步骤包括：对线段集中的所有线段按照长度由短到长进行排序；判断首尾两条线段是否角度相似且共线，然后循环执行排除掉首尾两条线段，判断剩余线段中的首尾两条线段是否角度相似且共线的步骤，直到剩余的线段的数量小于等于1；其中，两条线段角度相似是指两条线段的角度差小于第四值(如5°)，两条线段共线是指两条线段中的一条线段的2个端点到两条线段中的另一条线段的延长线的投影距离小于第五值(一般为50)；在判断出首尾两条线段角度相似且共线时，确定首尾两条线段的角度平分线，从首尾两条线段中的4个端点中，确定出沿角度平分线的方向，相距最远的2个端点作为合并后的线段的端点并生成合并线段。

在该实施例中，在拟合出的线段集中，需要将角度相似且共线的线段进行合并。因为，具有角度相似且共线的线段一般属于同一个标记物，通过合并后便能够得到目标线段。其中，合并时，可先判断首尾线段是否需要合并，然后排除掉首尾线段判断剩下的线段中的首尾线是否可以合并，然后一直循环该步骤，直到判断完所有的线段。而在确定两条线段需要合并时，将两条线段的角度平分线确定为线段的方向，然后将待合并的两条线段的四个端点中，沿角度平分线的方向，相距最远的2个端点作为合并后的线段的两个端点，以此就实现了两条线段的合并。

其中，两条线段角度相似是指两条线段的角度差比较小，一般小于5°。而两条线段共线是指两条线段之间的距离比较近，也即这里的共线指的是大致共线。一般地，第一条线段的2个端点到两条线段中的另一条线段的延长线的投影距离小于50个单位(该单位和图片的长宽值的单位同步)即可认为两条线段共线。

可选地，从第二图像中的标记物中确定出与目标设备相关的标记物的步骤包括：在第二图像中，将目标设备的轮廓线进行扩大，以形成第一选框；基于第一选框对第二图像进行反选操作，得到反选区域；根据第一二值化图像确定出标记物的连通区域；计算每个连通区域和反选区域的交集区域；计算每个交集区域的面积与对应连通区域的面积的第一比值；在第一比值小于第六值时，将对应的连通区域的标记物确定为与目标设备相关的标记物。

在该实施例中，每个连通区域和反选区域的交集区域表示的是，该区域不属于目标设备，但属于标记物。而在该区域与连通区域的面积比值较小时，说明该区域比较小，因此，该连通域大多数在第一选框区域内，故而可以认为该连通域对应的标记物属于目标设备的相关的标记物，以此就可以快速地确定出目标设备相关的标记物。

其中，对于非目标设备的连通域来说，由于其完全位于目标区域外，故而，目标区域扩大并取反后的面积基本是包括该连通域的，因此，该连通域和反选区域的交集区域基本等于该连通域本身，故而其比值比较大。由此可见，该比值越大，说明该连通域和目标设备越不相关。

可选的，根据每个工位对应的设备图像判断工位对应的目标设备是否发生故障的步骤包括：根据每个工位对应的每个设备图像均进行一次工位对应的监测设备是否发生故障的判断，并针对每个设备图像均生成一个判断结果；在获取到所有设备图像的判断结果的情况下，根据所有的判断结果输出监测设备的异常确定结果信息；在预设时间内，如果获取到的判断结果缺少任意一个设备图像的判断结果，针对该工位的检测不输出任何检测信息。

在该实施例中，检查同一个设备图像的检测结果是否包含了各个阶段的判断结果，如果不包含继续等待，如果长时间没有收集到各个阶段的结果，则不输出任何信息；如果包含了各个阶段的结果，则继续执行下一个阶段。

可选的，异常检测方法还包括：根据每个第二图像进行一次监测设备是否发生了移位的判断，并针对每个第二图像生成一个判断结果；根据每个第一图像进行一次监测设备是否发生故障的判断，并针对每个第一图像生成一个判断结果；在获取到每个第二图像的判断结果和每个第一图像的判断结果的情况下，根据所有的判断结果输出监测设备的异常确定结果信息。在预设时间内，如果获取的判断结果缺少任意一个第二图像的判断结果或缺少任意一个第一图像的判断结果的情况下，不输出任何信息，即针对该工位的检测不输出任何信息，直接进行下一工位的检测。

在该实施例中，针对每个图像均生成一个判断结果，如果检测结果没有包含各个图像的判断结果，继续等待，如果长时间没有收集到各个阶段的结果，则不输出任何信息；如果包含了各个阶段的结果，则继续执行下一个阶段。

下面以洗衣机/烘干机的故障检测来进一步说明本申请的异常检测方法。

其中，在人工智能和自动化技术高速发展的今天，基于机器视觉的检测设备可以逐渐替代工人完成一部分机器质检工作。机器视觉有成本低、工作时间长、性能稳定的优势，所以将是未来自动化设备不断发展的趋势。

现有的基于机器人的故障或质量检测技术一般是机器人有固定的工位，使用传送带等将工件送到工位上进行检测。但对于洗衣机/烘干机运行故障质检这样的问题，洗衣机/烘干机作为被检测物体无法移动的，而且一个质检工厂往往会有非常多的洗衣机/烘干机工位，多台机器长时间运行，测试运行中的问题。如果使用固定工位的机器视觉检测设备观察的话，需要每个工位一套机器视觉检测设备，成本非常高，如何降低成本，使用较少的机器视觉检测设备去检测较多的洗衣烘干设备，移动机器人可能是一个好的解决方案。

细化到洗衣机/烘干机具体的检测项目，有都有其特殊性，例如洗衣机的移位检测，如何检测出机器在洗衣或者烘干过程中是否存在移位也是一个比较难的问题，尤其是对于一个移动的机器人，难度比较大；另外检测洗衣机/烘干机在工作中的显示码可能会出现错误，如何准确识别这些错误码也是一个比较难的问题，而且有一些机器在出现错误码后会出现闪烁现象，如何保证在闪烁过程中仍能正确识别错误码也是需要解决的问题。

本实施例是一种基于家庭服务机器人的用于洗衣机/烘干机质检的视觉方法，可以对洗衣机/烘干机故障发生的工位、出现的错误码、洗衣机/烘干机震动发生的移位进行检测。通过使用家庭服务机器人对洗衣机/烘干机质检工位建立导航地图，并使用导航算法对洗衣机/烘干机的边缘进行检测，确定拍照的位置，依次拍摄4张图片，分别是观察右侧移位，观察二维码和洗衣机/烘干机错误码2次和观察左侧移位。通过对4张图片的分析，判定该洗衣机/烘干机的工位，识别是否发生了错误码，解决错误码闪烁时难以检测的问题，并通过观察洗衣机/烘干机和实现粘贴的红线判定是否发生了移位，最终结果通过云服务通知质检工作人员，完成巡检.最终移位检测的正确率>99％，漏识别<2％，显示的错误码的识别正确率>99％，漏识别<1％。由于是多次巡检，漏识别在多次巡检后可以忽略不计。

洗衣机/烘干机在长运测试的过程中，需要对洗衣机/烘干机的性能长时间测试，为了替代人力，提高效率，需要由移动机器人在生产线上完成1)观察洗衣机/烘干机是否发生了移位，2)观察洗衣机/烘干机在工作过程中出现错误码，两个任务。

针对以上的需求，该实施例对巡检过程设计如下：

1、针对设备是否发生了移位，在设备的工位前方，左侧方，右侧方粘贴宽度为1cm的红色胶带3，粘贴的位置是离设备前边，左侧边，右侧边约3-5cm处，如图5所示。当设备在工作过程中如果发生了移位，则会压住红线，因此设备在巡检过程中在阶段1和阶段4会从左侧和右侧两个角度低头对该工位进行拍照，并上传给算法进行判断，如果有任一阶段判断为移位，则认为设备发生了移位。

2、针对观察洗衣机/烘干机在工作过程中出现错误码的需求，则需要机器人在前方低头观察洗衣机/烘干机的表盘，由于有些洗衣机/烘干机的错误码在出现后会以固定频率(1Hz)进行闪烁，因此将该过程分为了阶段2和阶段3，在移动机器人在该位置稳定后，间隔0.5s拍摄2张图片，并上传给算法进行判断，如果有任一阶段判断出现故障码，则认为洗衣机/烘干机发生了故障，如图5和图6所示。其中，图5中，1表示工位上的设备，2表示机器人，3表示粘贴的标记物，如胶带。

3、为了知道发生移位和错误码的工位，方便工人来检修，因此需要在工位上粘贴二维码并由机器人在阶段2和3进行识别，任一阶段识别出二维码信息，则将该二维码和移位、故障信息进行关联，上报给中控平台；

4、根据以上阶段1，2，3，4，需要移动机器人基于底盘的传感器设计导航算法，保证在每个工位都能正确地移动到阶段1-4的位置，并在这些位置静止后拍摄该工位的机器的照片，如图7所示。

在阶段1和阶段4，视觉算法端的流程如图8所示。其具体流程如下所示：

1、对于在阶段1和阶段4所采集的图片，首先会使用一个深度学习图像分割模型进行检测和分割，获得所有洗衣机/烘干机的目标框、掩码；此处深度学习图像分割模型是yolov8l-seg模型，类别为4个，分别是洗衣机/烘干机、洗衣机/烘干机的门、洗衣机/烘干机的错误码和工位二维码，前期需要使用较多的标注数据进行训练；

2、判断是否存在洗衣机/烘干机，在指定的区域和条件，如果没有洗衣机/烘干机，就认为该工位没有洗衣机/烘干机，直接返回默认无位移；如果存在洗衣机/烘干机，则获得洗衣机/烘干机的目标框位置和掩膜。指定的区域和条件包括，该洗衣机/烘干机的检测得分超过0.5，目标框的高度占据图片高度的0.45倍到0.9倍中间，宽度占据图片宽度的0.125倍到0.38倍之间，且目标框的左侧坐标和图片宽度的比值大于0.02，右侧坐标和图片宽度的比值小于0.98。如果存在多个洗衣机/烘干机满足以上条件，那么就选择以下得分最大的目标：score＝0.1×(abs(目标中心的横向坐标/图像宽度-0.5))+目标高度/图像高度×目标宽度/图像宽度。

3、检测洗衣机/烘干机周围红线，使用的方法是将图像从RGB域转换到HSV域，将满足0<H<10或148<H<180，且73<S<255，且40<V<255的像素设置为1，其余设置为0，获得红色区域，并使用图像的连通域运算去除掉像素值小于100的区域。

4、根据洗衣机/烘干机的目标框位置，对图片进行裁剪，裁剪的区域是以目标为中心，向左右各裁剪0.6倍目标的宽度，上下各裁剪目标0.6倍的高度，将图片输入到一个目标分类器中，该分类器直接判断目标是否发生移位；此处分类模型是yolov8n-cls模型，分为2个类型，即移位和无移位，前期需要使用较多的数据进行模型训练。

5、另外在原始图片中，基于感兴趣洗衣机/烘干机的掩码和检测出的多条红线，判断那些红线是和感兴趣洗衣机/烘干机相关的。主要的方法是对感兴趣洗衣机/烘干机的掩码进行形态学膨胀，使用的核的大小是[180，80]，然后对检测的红线的二值图像获得所有的连通域，然后这些连通域分别与膨胀后的掩码的反进行与操作，就可以获得该连通域未被膨胀后的掩码遮住的部分，对该部分的像素数量求和并除以原来连通域像素数量，如果商<0.3，就认为该连通域的红线是和感兴趣洗衣机/烘干机相关的。可能有多个相关的连通域，取所有这些连通域的并集，就是和感兴趣洗衣机/烘干机相关的所有红线。

6、对和感兴趣洗衣机/烘干机相关的所有红线进行线段拟合。使用opencv的HoughLinesP(霍夫变换直线检测)算法对二值图像进行检测，获得一个线段的集合，这些线段里面可能存在较多的重复，需要进行合并处理。首先对线段进行长度由长到短的排序，然后逐一考察排序靠后的线段和排序靠前的线段，是否角度相似且共线？角度相似即角度差的绝对值小于5度，共线是指线段1的2个端点到线段2延长线的投影距离<50.如果角度相似且共线，则对2条线进行合并，合并的要求是线段角度是2者的平均，并按照角度的方向从4个端点中选取2端最远的点作为新的线段的端点。经过拟合后，可能出现以下情况：

a)0条线段，认为无法检测到红线，返回位移错误码-2，错误信息：位移警告：在感兴趣区域无法检测到红线。

b)多于1条线段，那么会首先判断那根是中间的线段，如果洗衣机是朝左的，那么洗衣机线段朝右的是中间线段，反之亦然。如果没有中间线段，记录错误码-4，错误信息：位移警告：无法检测到中间红线，可能被压住.。如果有多条线段满足，选择长度最长的即可，同时，判断该线段是否出现断裂，即按照线段画一条宽线段，查验代表中间线段的二值图片占据宽线段像素的百分比，如果百分比<80％，就认为发生了断裂，记录错误码-4，错误信息：位移警告：检测到中间红线有中断，可能被压住。

c)如果洗衣机朝左(右)，还需要考察认为右(左)侧红线是否被压住，考察方法和以上类似，如果没有右(左)侧红线，返回位移错误码-5，错误信息：位移警告：无法检测到左(右)侧红线，可能被压住；如果右(左)侧红线有断裂，则记录错误码-6，错误信息：位移警告：检测到右侧红线有中断，可能被压住。

d)如果中线和右(左)侧红线都存在，还需要考察他们的比例，如果右(左)侧红线长度/中间红线长度<0.24(0.3)，则记录错误码-7，错误信息：位移警告：检测到右(左)侧红线过短，可能被压住.，如果右(左)侧红线长度/中间红线长度>1.2，则记录错误码-9，错误信息：位移警告：检测到中间红线过短，可能被压住。

e)如果以上考察都没有，则认为红线完整，返回无移动。

7、如果第4步的分类结果认为有移位问题且第6步对红线的考察也认为有移位问题，则综合判断该阶段有移位问题。使用与的方式可以大幅度降低误检测率，但不可避免的带来漏检测的问题，考虑到一个巡检机器人会循环往复的对一个工位不断的检测，因此误检测率会在不断的检测中不断放大，而漏检测会在不断循环中减少，因此这样的判断逻辑是适合该巡检场景的。

在阶段2和阶段3，视觉算法端的流程如图9所示。其具体流程如下所示：

1、对于在阶段2和阶段3所采集的图片，首先会使用一个深度学习图像分割模型进行检测和分割，获得所有洗衣机/烘干机的目标框、掩码、工位二维码、和显示码位置。此处深度学习图像分割模型是yolov8l-seg模型，类别为4个，分别是洗衣机/烘干机、洗衣机/烘干机的门、洗衣机/烘干机的错误码和工位二维码，前期需要使用较多的标注数据进行训练。

2、判断是否存在洗衣机/烘干机；需要确定感兴趣的洗衣机/烘干机的位置，在指定的区域和条件中，如果没有洗衣机/烘干机，就认为该工位没有洗衣机/烘干机，直接返回默认无故障码。指定的区域和条件包括洗衣机/烘干机的目标框的左边缘和图片的宽的比例不大于0.55，右边缘和图片的宽的比例不大于0.45，如果有多个洗衣机/烘干机满足条件，那么就选择以下得分最大的目标：score＝0.1×(abs(目标中心的横向坐标/图像宽度-0.5))+目标高度/图像高度×目标宽度/图像宽度。

3、判断是否存在二维码；在指定的区域和条件中，如果没有二维码，就认为该位置不是工位或者工位被屏蔽，或者是二维码检测失败，返回二维码识别失败的错误码-1，如果存在二维码，则使用pyzbar库识别出二维码中的内容并解析出对应的工位。指定的区域和条件中包括二维码目标框的左边缘不超过洗衣机/烘干机的左边缘，二维码的右边缘不超过洗衣机/烘干机的右边缘。为了提高二维码识别的成功率，会对二维码的区域进行裁剪后再识别，如果该区域识别未能识别出二维码，则会对该区域进行放大2倍，如果再识别不出来，则再放大2倍，当放大4倍后仍然识别不出来则认为识别失败，返回错误码-1。

4、判断是否存在显示码；在指定的区域和条件中，如果没有显示码的目标框，则认为洗衣机/烘干机是关闭状态，默认无故障，如果存在，则继续进行识别显示码中的内容。指定的区域和条件包括显示码目标框的左边缘不超过洗衣机/烘干机的左边缘，二维码的右边缘不超过洗衣机/烘干机的右边缘，如果出现多个符合条件的显示码，则全部进入下一步的显示码的识别步骤。

5、对显示码进行识别；将现实码对应的目标框区域进行裁剪，并使用的是基于ppocr_en巡检数据自训的模型进行识别，为了提高识别的成功率，会同时将原始图片和二值化图像送入模型中进行识别。在二值化过程中需要考虑到洗衣机/烘干机大部分的颜色为白色，但少部分会有红色，因此需要对二值化阈值进行合理设计。此处我们提出了一种自适应颜色阈值分割算法，设定红色的HSI阈值为H170-180，S阈值为180-255，I的阈值为100-255；白色的HSI阈值为H0-180，S阈值为0-90，I的阈值为190-255。使用逻辑或的方式对2者进行合并。如果二值化白色区域占裁剪后的图像的像素值比例<8％，则下调I的下阈值为0.8×190，如果二值化白色区域占裁剪后的图像的像素值比例<8％，则继续下调I的下阈值20％，直到二值化白色区域占裁剪后的图像的像素值比例>8％为止，该方法可以适应不同的光照环境。

6、对识别后的字符进行故障判断，考虑到洗衣机故障中不会出现O、S、T、R，因此如果识别出以上判断，则可以替换为0、5、1、A；如果识别到的是“E”打头的字符串且不是“End”，则判定为故障码，返回-1，并输出故障码，否则返回0，并输出现实码。

综合下来，视觉算法端的综合决策如图10所示。其具体流程如下所示：

1)机器人会对一个工位进行4个阶段的照片拍摄，对于同一个工位，会由同一个id来标志。

2)在视觉算法端，检查同一个id是否包含了阶段1，2，3，4的结果，如果不包含继续等待，如果长时间没有4个阶段的结果，则不输出任何信息；如果包含了4个阶段的结果，则继续执行下一个阶段。

3)对于阶段2和3，判断是否有任一阶段检测出工位信息，如果都没有工位信息，则不输出任何信息；如果任一阶段有工位信息，则继续下一阶段的判断。

4)对于阶段2和3，判断是否有任一阶段检测故障码信息，如果都没有故障码信息，则认为该工位的机器没有故障码；如果任一阶段有故障码信息，则认为该工位的机器有故障码，输出故障码的信息。

5)对于阶段1和4，判断是否有任一阶段检测出洗衣机/烘干机移位，如果都没有移位，则认为是正常状态，如果任一阶段出现，则综合判断该洗衣机/烘干机有移位问题。

如图11所示，根据本申请第一方面的实施例提供的移动机器人的异常检测装置，移动机器人包括图像采集装置，异常检测装置400包括：第一控制单元410，用于控制移动机器人按照目标路线移动，目标路线上设置有多个工位，每个工位上放置有监测设备，监测设备包括信息显示区，第二控制单元420，用于在移动机器人移动到任一工位对应的采集位置时，控制图像采集装置采集当前工位对应的设备图像，设备图像包括信息显示区的图像；判断单元430，用于根据每个工位对应的设备图像判断工位对应的目标设备是否发生了故障。

本申请的移动机器人的异常检测装置400，用于移动机器人，其主要用于多个设备集中工作场景下的设备的故障、移位等异常检测。该种场景下，多个设备设置在不同的工位进行工作。而故障检测时，可根据设备的分布情况设置好机器人的移动路线，然后控制移动机器人按照设置好的移动路线进行循环移动。而在移动机器人运动到任意一个工位时，即移动到任意一个设备的所在位置时，就对该工位上的设备进行图像采集，其中，采集的图像需要包括显示区的图像，以便根据显示区的图像判断该设备是否发生故障等。其中，在设备出现故障时，一般会在显示区进行故障码显示，本申请可检测并判断显示区是否有故障码来确定设备是否发生故障。而在当前工位的检测过程完毕后，便可按照移动路线移动到下一个工位继续进行检测，直到完成所有设备的故障检测。此后，可控制移动机器人进行新一轮的故障检测，以此就可以对多个设备的工作情况进行循环检测，并能够在设备出现移位、发生故障等异常时，及时发出提醒或者上报服务器，以便用户及时对异常的设备进行检查和维修。该种异常检测方法，只需要一个移动机器人便可以不间断地对设备的状态进行自动检测，以此可以降低故障检测的成本，另一方面，该种检测方法也不需要将设备移动到固定的位置，因此不会让设备中断工作，以此可以确保设备工作的连续性。

具体而言，该种异常检测方法可用于洗衣房、共享洗衣房等中洗衣机、烘干机等的检测，以此可以在洗衣机和烘干机发生移位或者出现故障时，及时发出提醒，以便用户对发生异常的设备及时进行检修。

如图12所示，根据本申请一些实施例的电子设备600，包括：存储器610，存储器610储存有程序或指令，处理器620，处理器620执行程序或指令时，实现第一方面任一项方案提供的异常检测方法的步骤。

在本申请实施例中，电子设备600因能够实现上述任一实施例提出的异常检测方法的步骤，因此具有上述异常检测方法限定的全部有益效果。

本申请实施例中的电子设备可以是装置，也可以是产品中的部件、集成电路、或芯片。

根据本申请一些实施例的可读存储介质，其上存储有程序或指令，程序或指令被执行时，实现第一方面任一项方案提供的异常检测方法的步骤。

在本申请实施例中，可读存储介质因能够实现上述任一实施例提出的异常检测方法的步骤，因此具有异常检测方法限定的全部有益效果。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、磁碟或者光盘等。

本申请实施例提出了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现第一方面任一项方案提供的异常检测方法的步骤。由于计算机程序产品能够实现第一方面任一项方案提供的异常检测方法的步骤。因此，计算机程序产品具有一方面任一项方案提供的异常检测方法的全部有益效果。

本申请实施例提出了一种移动机器人，包括：如第二方面提供的移动机器人的异常检测装置，和/第三方面任一项方案提供的电子设备；和/或第四方面任一项方案提供的可读存储介质，和/或第五方面任一项方案提供的计算机程序产品。

由于本申请实施例的移动机器人，包括上述任一实施例的移动机器人的异常检测装置、电子设备、可读存储介质或计算机程序产品。因此，也具有移动机器人的异常检测装置或电子设备或可读存储介质或计算机程序产品的全部有益效果。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述异常检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (20)

1.一种移动机器人的异常检测方法，其特征在于，所述移动机器人包括图像采集装置，所述异常检测方法包括：

控制所述移动机器人按照目标路线移动，所述目标路线上设置有多个工位，每个所述工位上放置有监测设备，所述监测设备包括信息显示区；

在所述移动机器人移动到任一所述工位对应的采集位置时，控制所述图像采集装置采集当前工位对应的设备图像，所述设备图像包括所述信息显示区的图像；

根据每个所述工位对应的所述设备图像判断所述工位对应的目标设备是否发生了故障。

2.根据权利要求1所述的移动机器人的异常检测方法，其特征在于，所述监测设备包括所述信息显示区和身份码信息，所述控制所述图像采集装置采集当前工位对应的设备图像的步骤包括：

控制所述移动机器人移动到所述当前工位对应的第一位置，在所述第一位置控制所述图像采集装置按照预设间隔拍摄得到至少两张第一图像，在所述第一位置，所述移动机器人能够拍摄到所述监测设备的身份码信息和所述监测设备的显示信息，在所述第一位置，所述移动机器人能够拍摄到所述监测设备的身份码信息和所述监测设备的显示信息。

3.根据权利要求2所述的移动机器人的异常检测方法，其特征在于，所述根据每个所述工位对应的所述设备图像判断所述工位对应的目标设备是否发生故障的步骤包括：

根据每个所述工位的第一图像进行一次目标设备是否发生故障的判断；

在任意一个所述第一图像判定所述目标设备出现故障时，确定所述目标设备发生故障；

在每个所述第一图像均判定所述目标设备未发生故障时，确定所述目标设备未发生故障；

根据每个所述工位的第一图像进行一次目标身份码的检测和识别，在所述工位对应的所有所述第一图像中均未识别出目标身份码时，针对该工位的检测不输出任何检测信息。

4.根据权利要求3所述的移动机器人的异常检测方法，其特征在于，所述根据每个所述工位的第一图像进行一次目标身份码的检测和识别的步骤包括：

确定出所述第一图像中的目标设备；

确定出所述第一图像中的目标身份码，所述目标身份码所在区域位于所述目标设备所在区域的内部；

在所述第一图像中没有检测到所述目标身份码时，输出身份码检测失败；

在所述第一图像中检测到所述目标身份码时，识别所述目标身份码，解析出所述目标身份码对应的工位信息。

5.根据权利要求4所述的移动机器人的异常检测方法，其特征在于，所述识别所述目标身份码的步骤包括：

从所述第一图像中提取出所述目标身份码的图像；

对所述目标身份码的图像进行识别；

在对所述目标身份码的图像识别失败时，将所述目标身份码的图像放大预设倍数后重新识别，如果还是识别失败，重复该步骤；

在对所述目标身份码的图像识别失败的次数大于预设次数后，输出身份码识别失败。

6.根据权利要求4所述的移动机器人的异常检测方法，其特征在于，根据每个所述工位的第一图像进行一次目标设备是否发生了故障的判断的步骤包括：

确定出所述第一图像中的目标设备；

识别所述第一图像中的目标显示码，所述目标显示码所在区域位于所述目标设备所在区域的内部；

在未识别到所述目标显示码时，确定所述目标设备无故障；

在识别到所述目标显示码时，识别所述目标显示码显示的内容，生成第一信息；

根据所述第一信息判断所述目标设备是否发生故障。

7.根据权利要求6所述的移动机器人的异常检测方法，其特征在于，所述根据所述第一信息判断所述目标设备是否发生故障的步骤包括：

对所述第一信息中的目标字符进行替换，生成第二信息；

在所述第二信息的首个字符为第一指定字符，且所述第二信息不包括第二指定字符串的情况下，确定所述第二信息为故障码，并判定所述目标设备发生故障；

在所述第二信息的首个字符不为所述第一指定字符，或所述第二信息包括所述第二指定字符串的情况下，确定所述第二信息不是故障码，并判定所述目标设备未发生故障。

8.根据权利要求7所述的移动机器人的异常检测方法，其特征在于，所述对所述第一信息中的目标字符进行替换的步骤包括：

将所述第一信息中的目标字符替换成与所述目标字符对应的相似字符。

9.根据权利要求6所述的移动机器人的异常检测方法，其特征在于，所述识别所述目标显示码显示的内容，生成第一信息的步骤包括：

将所述目标显示码的图像输入到第五图像识别模型中进行显示内容的识别，生成第四结果；

将所述目标显示码的图像进行二值化处理后，输入到第六图像识别模型中进行显示内容的识别，生成第五结果；

根据所述第四结果和所述第五结果确定出所述第一信息。

10.根据权利要求9所述的移动机器人的异常检测方法，其特征在于，所述将所述目标显示码的图像进行二值化处理的步骤包括：

对所述目标显示码的图像进行二值化处理，生成第二二值化图像，所述第二二值化图像中，所述目标显示码的图像中的主颜色像素和次颜色像素显示为白色，其余像素显示为黑色；

其中，所述第二二值化图像的白色区域的面积之和为S，所述S与所述目标显示码的图像的面积的比值小于等于第八值。

11.根据权利要求10所述的移动机器人的异常检测方法，其特征在于，所述对所述目标显示码的图像进行二值化处理的步骤包括：

对所述目标显示码的图像中的主颜色像素的HSI阈值进行设置；

对所述目标显示码的图像中的次颜色像素的HSI阈值进行设置；

在所述S与所述目标显示码的图像的面积的比值大于所述第八值时，按比例将主颜色像素的HSI阈值中的I的下限值下调，直到所述S与所述目标显示码的图像的面积的比值大于所述第八值为止。

12.根据权利要求4至11中任一项所述的移动机器人的异常检测方法，其特征在于，所述确定出所述第一图像中的目标设备的步骤包括：

将所述第一图像输入到第三图像识别模型中进行监测设备的识别，得到识别出的每个所述监测设备的第一分值；

将所述第一分值大于第七值的所述监测设备确定为待选设备；

判断所述待选设备是否满足第一条件；

在所述待选设备均不满足所述第一条件的情况下，确定所述第一图像中不存在目标设备；

在只有一个所述待选设备满足所述第一条件的情况下，将所述待选设备确定为所述目标设备；

在至少两个所述待选设备满足所述第一条件的情况下，计算每个所述待选设备的第二分值，将所述第二分值最大的所述待选设备确定为所述目标设备。

13.根据权利要求12所述的移动机器人的异常检测方法，其特征在于，所述第二分值为B，其中：

所述第二分值B＝0.1×(abs(0.5×所述目标设备的宽度/所述第一图像的宽度-0.5))+所述目标设备的高度/所述第一图像的高度×所述目标设备的宽度/所述第一图像的宽度)；和/或

所述第一条件与所述待选设备和所述第一图像的相对大小和所述待选设备在所述第一图像中的位置有关。

14.根据权利要求12所述的移动机器人的异常检测方法，其特征在于，还包括：

将所述第一图像输入到第四图像识别模型中进行监测设备的识别，得到每个所述待选设备的目标框的信息，所述待选设备的目标框为矩形框；

所述第一条件包括以下至少一项：

所述待选设备的目标框的高度H1和所述第一图像的高度H2满足以下关系：0.45H2≤H1≤0.9H2；

所述待选设备的目标框的宽度W1和所述第一图像的宽度W2满足以下关系：0.125W2≤W1≤0.38W2；

所述待选设备的目标框沿宽度方向的第一侧与所述第一图像沿宽度方向的第一侧之间的距离D1和所述第一图像的宽度W2满足，D1/W2≥0.02，所述待选设备的目标框沿宽度方向的第二侧与所述第一图像沿宽度方向的第一侧之间的距离D2和所述第一图像的宽度W2满足，D2/W2≤0.98。

15.根据权利要求1至11中任一项所述的移动机器人的异常检测方法，其特征在于，所述根据每个所述工位对应的所述设备图像判断所述工位对应的目标设备是否发生了故障的步骤包括：

根据每个所述工位对应的每个所述设备图像均进行一次所述目标设备是否发生了故障的判断，并针对每个所述设备图像均生成一个判断结果；

在获取到所有设备图像的判断结果的情况下，根据所有的判断结果输出目标设备的异常确定结果信息；

在预设时间内，如果获取到的判断结果缺少任意一个所述设备图像的判断结果，针对该工位的检测不输出任何检测信息。

16.一种移动机器人的异常检测装置，其特征在于，所述移动机器人包括图像采集装置，所述异常检测装置包括：

第一控制单元，用于控制所述移动机器人按照目标路线移动，所述目标路线上设置有多个工位，每个所述工位上放置有监测设备，所述监测设备包括信息显示区，

第二控制单元，用于在所述移动机器人移动到任一所述工位对应的采集位置时，控制所述图像采集装置采集当前工位对应的设备图像，所述设备图像包括所述信息显示区的图像；

判断单元，用于根据每个所述工位对应的所述设备图像判断所述工位对应的目标设备是否发生了故障。

17.一种电子设备，其特征在于，包括：

存储器，所述存储器储存有程序或指令；

处理器，所述处理器执行所述程序或所述指令时，实现如权利要求1至15中任一项所述的异常检测方法的步骤。

18.一种可读存储介质，其特征在于，其上存储有程序或指令，所述程序或所述指令被执行时，实现如权利要求1至15中任一项所述的异常检测方法的步骤。

19.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至15中任一项所述的异常检测方法的步骤。

20.一种移动机器人，其特征在于，包括：

如权利要求16所述的移动机器人的异常检测装置；和/或

如权利要求17所述的电子设备；和/或

如权利要求18所述的可读存储介质；和/或

如权利要求19所述的计算机程序产品。