CN115576324A - 机器人巡检方法、装置、存储介质及机器人 - Google Patents

Abstract

一种机器人巡检方法、装置、存储介质及机器人。其中，方法包括响应于当前场景的异常声音，获取当前场景的当前场景声像图；根据当前场景声像图，确定异常声音对应声源的当前位置；根据当前位置，驱动机器人向声源移动；对声源进行成像，得到声源的声源巡检图像，所述声源巡检图像包括声源视觉图像和声源声像图。本申请能够提高机器人巡检的效率。

Description

机器人巡检方法、装置、存储介质及机器人

技术领域

本申请涉及人工智能技术领域，具体涉及一种机器人巡检方法、装置、存储介质及机器人。

背景技术

在变电站、矿区、工厂等工业环境中，需要定期对工业环境中的设施进行巡检，从而保证设施的正常运转。

随着机器人的快速发展，考虑到工业环境的环境复杂度和巡检危险度。现如今，将机器人应用于工业环境中替代人工巡检。

在机器人巡检时，需要通过人工远程控制机器人在工业环境中移动到指定位置。其中，人工远程控制机器人影响机器人的巡检效率。

发明内容

本申请提供了一种机器人巡检方法、装置、存储介质及机器人，能够提高机器人的巡检效率。

本申请提供的机器人巡检方法，包括：

响应于当前场景的异常声音，获取当前场景的当前场景声像图；

当前场景声像图，确定异常声音对应声源的当前位置；

根据当前位置，驱动机器人向声源移动；

对声源进行成像，得到声源的声源巡检图像，声源巡检图像包括声源视觉图像和声源声像图。

本申请提供的机器人巡检装置，包括：

数据获取模块，用于响应于当前场景的异常声音，获取当前场景的当前场景声像图；

声源定位模块，用于根据当前场景声像图，确定异常声音对应声源的当前位置；

机器人控制模块，用于根据当前位置，驱动机器人向声源移动；

成像控制模块，用于对声源进行成像，得到声源的声源巡检图像，声源巡检图像包括声源视觉图像和声源声像图。

本申请提供的存储介质，其上存储有计算机程序，当计算机程序被处理器加载时执行如本申请提供的机器人巡检方法中的步骤。

本申请提供的机器人，包括处理器和存储器，存储器存有计算机程序，处理器通过加载计算机程序，用于执行本申请提供的机器人巡检方法中的步骤。

本申请中，在当前场景中存在异常声音时，获取当前场景的当前场景声像图，根据当前场景声像图确定出异常声音对应声源的当前位置。之后，基于当前场景中的声源的当前位置，驱动机器人向声源移动，从而使得机器人靠近声源，以对声源进行成像。具体地，通过对声源进行成像，得到声源的声源巡检图像，声源巡检图像包括声源视觉图像和声源声像图，从而通过分析声源视觉图像和声源声像图得到声源的异常原因。本申请能够通过机器人自主寻找异常声音的声源，实现了机器人的自动巡检，并不需要人工介入控制机器人移动。相比于现有技术，本申请避免了需要人工不间断地控制机器人移动，提高了机器人巡检的效率，且能够更加灵活地根据当前环境执行巡检任务。另外，还避免了人工控制机器人时因主观判断造成的巡检不全面的弊端，从而更加全面地对当前场景进行巡检，提高了机器人巡检的有效性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中提供的机器人巡检系统的示意图。

图2为本申请实施例提供的机器人巡检系统的另一示意图。

图3为本申请实施例提供的机器人巡检方法的流程示意图。

图4为机器人巡检方法中基于世界坐标系确定声源的当前位置的示意图。

图5为机器人巡检方法中成像距离的示意图。

图6为机器人巡检方法中根据声源环境确定成像参数的示意图。

图7为机器人巡检方法中根据当前位置规划机器人的移动路径的示意图。

图8为机器人巡检方法中确定机器人的移动路径的示意图。

图9为机器人巡检方法中确定机器人的移动路径的另一示意图。

图10为机器人巡检方法中确定机器人的移动路径的又一示意图。

图11为机器人巡检方法中通过外部设备驱动机器人的示意图。

图12为机器人巡检方法的细节流程示意图。

图13是本申请实施例提供的机器人巡检装置的结构框图。

图14是本申请实施例提供的机器人的结构框图。

具体实施方式

需要说明的是，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其他具体实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请以下实施例中所涉及的诸如第一和第二等关系术语仅用于将一个对象或者操作与另一个对象或者操作区分开来，并不用于限定这些对象或操作之间存在着实际的顺序关系。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能、感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括机器学习(Machine Learning,ML)技术，其中，深度学习(Deep Learning，DL)是机器学习中一个新的研究方向，它被引入机器学习以使其更接近于最初的目标，即人工智能。目前，深度学习主要应用在计算机视觉、自然语言处理等领域。

机器人(Robot)是一种能够半自主或全自主工作的智能机器。机器人能够通过编程和自动控制来执行诸如作业或移动等任务。其中，机器人可按照用途划分为巡检机器人、娱乐机器人、扫地机器人等，机器人还可按照其形状进行名称的区分，比如机器狗、机器猫等。

本申请中，机器人可在各种场景中执行巡检任务。比如，在电力巡检场景中，机器人对供电设备的供电情况进行巡检，其中，电力巡检场景中的异常情况包括供电设备出现电晕、电痕、电弧等放电情况，以及供电线路出现漏电、起火、悬挂异物、仪表报数示警等异常情况。再比如，在隧道巡检场景中，机器人对隧道内部情况进行巡检，其中，隧道巡检场景中的异常情况包括隧道塌方、地表渗水等。又比如，在管道巡检场景中，机器人对管道的运输情况进行巡检，其中，管道巡检场景中的异常情况包括气体或液体泄露、阀门松动、管道内异物示警等。还比如，在工业巡检场景中，机器人对工业设备的运行情况以及工业环境进行巡检，其中，工业巡检场景中的异常情况包括工业设备故障示警、工业设备运行时发出异常响动、工业场景中起火或爆炸预警、噪声污染等。

其中，通过机器人代替人工巡检，一方面可节省人力投入，另一方面也可保障人员的安全，但相关技术中还需要人工远程控制机器人执行巡检任务，影响了巡检效率。为了能够提高机器人巡检的效率，本申请将声成像引入到机器人巡检中，相应提供一种机器人巡检方法、机器人巡检装置、存储介质以及机器人。其中，机器人巡检方法可由机器人执行。

其中，声成像(acoustic imaging)是基于传声器阵列测量技术，通过测量一定空间内的声波到达各传声器的信号相位差异，依据相控阵原理确定声源的位置，测量声源的幅值，并以图像的方式显示声源在空间的分布，即取得空间声场分布云图-声像图，其中以图像的颜色和亮度代表强弱。其中，声成像组件集成有声成像功能。

本申请中，将机器人所处的巡检场景称为当前场景。其中，声成像组件和机器人可一体设置，也可分体设置。当声成像组件与机器人一体设置时，请参阅图1，图1为本申请实施例中提供的机器人巡检系统的示意图。其中，该机器人巡检系统包括机器人110，机器人110用于通过其自带的声成像组件120对当前场景进行声源定位，得到当前场景的当前场景声像图。比如，检测当前场景中分布的声源，并对声源的空间分布进行成像，以当前场景声像图的方式显示当前场景中声源的空间分布情况。

可选地，还可以以及通过声成像组件120对当前场景进行拍摄，得到当前场景的当前场景视觉图像，其中，当前场景视觉图像可以为图像也可以为视频。其中，当前场景的当前场景视觉图像和当前场景声像图即为对当前场景进行成像的成像结果，该成像结果称为当前场景的场景巡检图像。

之后，机器人110通过当前场景的当前场景声像图，确定出声源的当前位置，进而向声源移动，以对声源进行成像，得到声源的声源巡检图像，声源巡检图像包括声源视觉图像和声源声像图。

另外，机器人巡检系统还包括外部设备，图1中以手机130作为外部设备，通过手机130能够对机器人110进行远程控制。而且，机器人110可将当前场景视觉图像、当前场景声像图、声源视觉图像以及声源声像图等图像数据中的至少一个发送给手机130，手机130接收到此类图像数据后将其呈现在对应应用程序界面中。其中，手机130与机器人110通信连接。

可选地，手机130还可与遥控手柄140连接，通过遥控手柄140对手机130加载的应用程序进行控制，从而远程控制机器人110。其中，遥控手柄140与手机130相连，其连接方式可为WIFI连接、蓝牙连接、NFC连接等。

当声成像组件与机器人分体设置时，请参阅图2，图2为本申请实施例提供的机器人巡检系统的另一示意图。该机器人巡检系统包括声成像组件120，用于接收机器人110的控制信号，以对当前场景进行成像，得到当前场景的场景巡检图像。或者，用于对声源进行成像，得到声源的声源巡检图像，声源巡检图像包括声源视觉图像和声源声像图。另外，声成像组件120还用于将当前场景视觉图像(可选的)、当前场景声像图、声源视觉图像以及声源声像图等图像数据发送给机器人110。

另外，该机器人巡检系统还包括机器人110，机器人110用于对声成像组件120供电，两者电连接。机器人110还用于接收从声成像组件120发送的当前场景视觉图像(可选的)和当前场景声像图，并根据当前场景声像图确定当前场景中声源的当前位置，以向声源定位当前位置移动，从而控制声成像组件120对声源进行成像，以及接收从声成像组件120发送的声源视觉图像和声源声像图，以确定声源的异常原因。

可选地，机器人巡检系统还可包括外部设备，图2中以手机130作为外部设备，手机130用于接收机器人110发送的当前场景视觉图像(可选的)、声源视觉图像以及声源声像图等图像数据，手机130接收到此类图像数据后将其呈现在对应应用程序界面中。

可选地，机器人巡检系统还可包括遥控手柄140，遥控手柄140用于对手机130加载的应用程序进行控制，从而远程控制机器人110和/或声成像组件120。

需要说明的是，图1和图2所示的机器人巡检系统的示意图仅仅是一个示例，本申请实施例描述的机器人巡检系统是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着机器人巡检系统的演变，本申请实施例提供的技术方案对于类似的技术问题，同样适用。以下实施例中则以图2所示的机器人巡检系统为例解释本申请实施例提供的机器人巡检方法。

请参照图3，图3为本申请实施例提供的机器人巡检方法的流程示意图。如图3所示，本申请实施例提供的机器人巡检方法的流程可以如下：

在S210中，响应于当前场景的异常声音，获取当前场景的当前场景声像图。

其中，通过声成像组件采集机器人所处的当前场景中的声音，机器人通过对当前场景中的声音进行分析，以判别其是否为异常声音。在巡检场景中，异常声音可比如为噪音、设备异常响动、漏电声音等。

在本实施例中，可预先设置异常声音的频率或频段，进而判断采集的声音是否与预先设置的异常声音相匹配，若是，则确定该声音为异常声音。或者，还可将采集的声音输入预先训练好的神经网络模型中进行判别，以确定该声音是否为异常声音。可以理解地，确定当前场景中的声音是否为异常声音的方式有多种，此处不再列举。

当机器人确定出异常声音后，机器人获取通过声成像组件对当前场景中的声源进行检测，并通过成像算法对声源的空间分布进行可视化处理，得到当前场景的当前场景声像图，其中，当前场景声像图能够反映出当前场景中声源的当前位置。

示例性地，声成像组件在对当前场景进行声源检测的同时还可以对当前场景进行拍摄，以得到当前场景的场景巡检图像，该场景巡检图像包括当前场景视觉图像和当前场景声像图。声成像组件还可在检测到异常声音时，才对当前场景进行成像，得到当前场景的场景巡检图像。可以理解地，当声成像组件能够检测到当前场景中分布的声源时，通过当前场景声像图才能显示声源，故而，在进一步示例中，还当检测到异常声音时，定位异常声音的方位，进而控制机器人朝向该方位后，再对当前场景进行成像，从而能够得到显示有声源的场景巡检图像。

其中，当前场景的当前场景声像图和当前场景视觉图像可本地存储，也可云端存储。

在S220中，根据当前场景声像图，确定异常声音对应声源的当前位置。

其中，当前场景声像图显示了当前场景中声源的空间分布情况，根据声源的空间分布情况即可确定声源相对于机器人的空间位置，其中，将声源相对于机器人的空间位置称为声源的当前位置。

在S230中，根据当前位置，驱动机器人向声源移动。

当确定出声源的当前位置之后，即可驱动机器人向声源移动，其中，机器人移动的方式可为滚轮移动、步行移动、爬行移动等，具体视机器人的驱动结构而定。

本实施例中，通过驱动机器人向声源移动，能够缩小机器人与声源之间的距离，从而实现机器人靠近声源对其进行检测，以识别声源的细节，能够提高对声源进行异常分析的准确度。

在S240中，对声源进行成像，得到声源的声源巡检图像，声源巡检图像包括声源视觉图像和声源声像图。

机器人通过控制声成像组件对声源进行成像，得到声源的声源巡检图像，其中，声源巡检图像包括的声源视觉图像显示了声源内容，声源视觉图像显示了声源的空间分布。其中，该声源巡检图像可为声源视觉图像和声源声像图融合或叠加前的图像，也可为融合或叠加后的图像，而融合或叠加的处理可通过声成像组件实施，也可通过机器人实施，此处并不进行限定。

如上，本申请实施例提供的机器人巡检方法，通过近距离地对声源进行成像，能够得到声源的更多细节，从而便于分析声源的异常原因。相比于远距离对声源成像而言，本实施例得到的声音巡检图像能够展示声源更多的细节和特征，在对声源进行异常分析时，能够提高异常分析的准确度。另外，本实施例通过机器人自动寻找声源并对其进行成像，能够准确且快速地查找具有异常的声源，避免了机器人在当前场景中的无效移动，以及避免了漏检具有异常的声源，极大地提高了机器人巡检的效率，实现了全方位的异常巡检，提高了巡检的有效性。

具体实施时，本申请不受所描述的各个步骤的执行顺序的限制，在不产生冲突的情况下，某些步骤还可以采用其它顺序进行或者同时进行。

在一可选的实施例中，根据当前场景声像图，确定异常声音对应声源的当前位置，包括：

基于机器人所在位置构建世界坐标系；

和当前场景声像图，确定声源在世界坐标系中的当前位置。

在本实施例中，通过构建世界坐标系描述声源的当前位置。请参阅图4，图4为机器人巡检方法中基于世界坐标系确定声源的当前位置的示意图。其中，世界坐标系为三轴空间坐标系，该世界坐标系以机器人所在位置为原点，在机器人移动过程中，原点保持不变。通过当前场景声像图从图像坐标系变换到世界坐标系中，以得到声源在世界坐标系中的位置，其中，声源的当前位置以世界坐标系中的坐标值表示。如图4所示，在世界坐标系中，机器人在以x-y轴形成的平面上移动，机器人在z轴上坐标表示其高度，而声源的高度和机器人的高度可不相同。

示例性地，以当前位置为参照驱动机器人移动指的是以声源的坐标值(三维空间坐标)为参照，驱动机器人在二维平面(世界坐标系的x-y平面)上移动。当然地，若机器人为无人机等不需依赖地面移动的智能机器，即指的是驱动机器人在空间中移动。

在一可选的实施例中，对声源进行成像，得到声源的声源巡检图像，包括：

确定对声源的成像距离；

若机器人与声源之间的实时距离达到成像距离，则对声源进行成像，得到声源的声源巡检图像。

在确定了成像距离之后，机器人向声源移动，两者之间的实时距离呈下降趋势，当实时距离等于或小于成像距离时，即可对声源进行成像。可以理解地，以声源为圆点，以成像距离为半径，即可在x-y平面上圈选出一个区域，该区域称为成像区域，而该成像区域上以及成像区域内的任意一个坐标点即可称为成像点。

可以理解地，确定成像区域的目的为指示机器人移动到该成像区域内的任意位置(包含成像区域的边缘)时，即可对声源进行成像，并不限定对声源成像的位置、视角、时刻等，能够更加灵活地对声源进行成像。

其中，成像距离指的是在机器人对声源进行成像的位置与声源之间的距离，该成像距离可为三维空间的直线距离，也可为x-y平面上的距离(即成像位置在x-y平面上的投影与声源在x-y平面上的投影之间的距离)。

请参阅图5，图5为机器人巡检方法中成像距离的示意图。以成像区域上的任意一个成像点为例，当机器人移动至该成像点时，机器人与声源之间的实时距离即为成像距离。图5(a)显示的成像距离为三维空间的直线距离，图5(b)显示的成像距离为x-y平面上的距离，其中，将声源的当前位置投影在x-y平面上得到投影坐标(图中以圆点表示)，而该投影坐标与该成像点之间的距离即为成像距离。

示例性地，确定成像距离的方式有多种，比如，设定一个固定的成像距离。再比如，设定多个成像距离，以及设定成像距离与声源的当前位置之间的映射关系，进而根据声源的当前位置匹配一个目标成像距离，以当机器人与声源之间的实时距离小于或等于该目标成像距离时，对声源进行成像。再比如，还可通过用户自定义设定对声源的成像距离，或者通过预先训练好的神经网络模型预测出对声源的成像距离。由于确定成像距离的方式有多种，此处并不进行限定，可以理解地，凡是能够确定出成像距离的方式均可用于本申请实施例中，均属于本申请所要求的保护范围。

在一可选的实施例中，确定对声源的成像距离之后，还包括：

根据成像距离确定成像区域，并从成像区域中确定出目标成像点；

当机器人移动到目标成像点时，对声源进行成像，得到声源的声源巡检图像。

如上，根据成像距离可确定出一个成像区域，机器人可移动到成像区域内的任意一个成像点以对声源进行成像。本实施例中，提供了确定目标成像点的方案。

比如，将与声源的当前位置在x-y平面上投影重合的成像点作为目标成像点。再比如，根据声源的当前位置识别声源，进而获取该声源预设的目标成像点。又比如，根据机器人当前所处位置，将距离该位置最近的成像点作为目标成像点。还比如，结合当前场景，将成像视角较好的成像点作为目标成像点，其中，成像视角较好的依据包括：成像清晰、成像细节较多等。

可以理解地，目标成像点有一个或多个，当有多个时，机器人可逐一移动到各目标成像点以对声源进行成像。

本实施例中，通过从成像区域中确定出目标成像点，进而精准地驱动机器人移动到该目标成像点时才对声源进行成像，从而避免了需要持续地对声源进行成像，避免了产生较多无效的声源巡检图像，节省了机器人移动的电量消耗，声成像组件进行成像的电量消耗，也节省了对声源巡检图像的存储空间，以及节省了对声源的巡检时长，提高了巡检效率。

在一可选的实施例中，对声源进行成像，得到声源的声源巡检图像，声源巡检图像包括声源视觉图像和声源声像图，包括：

识别声源所处的声源环境；

根据声源环境，确定对声源的成像参数；

根据成像参数对声源进行成像，得到声源的声源巡检图像。

在本实施例中，提供了对声源进行成像的方式。

其中，通过机器人识别声源所处的声源环境。具体地，通过识别声源在声源环境中所处的位置，以分析该声源的遮挡物，声源的正面、侧面等信息，声源环境中是否有适合对声源成像的位置，换言之，声源环境中是否有适合容置机器人的位置。

示例性地，可按照预设条件确定成像参数。该成像参数可包括成像视角、成像焦距等。当成像参数包括成像视角时，该预设条件包括：选择无遮挡物的成像视角、选择声源细节较多的成像视角、选择声源正面的成像视角。可以理解地，机器人的位置和姿态是可以变化的，当确定机器人对声源进行成像时的成像视角之后，即可通过改变其位置(改变后的位置为视为目标成像点)和姿态，使得以该成像视角得到声源巡检图像。请参阅图6，图6为机器人巡检方法中根据声源环境确定成像参数的示意图。若选择无遮挡物的成像视角，图6中，声源无遮挡物的一面如箭头指示方位，通过驱动机器人移动到箭头指示方位，以对声源进行成像，即可得到无遮挡物的声源巡检图像。其中，机器人移动到箭头指示方位之后，即可对其位置进行微调，或者，对其姿态进行调整，以对声源进行成像。

另外，当成像参数包括成像焦距时，该预设条件包括：选择仅包含声源的焦距，选择包含声源局部细节的焦距等。可以理解地，当确定出不同的成像焦距后，即可得到呈现不同大小声源的声音巡检图像。

可以理解地，当确定成像参数之后，可根据成像参数驱动机器人在成像区域内移动或调整其姿态，以对声源进行拍摄，得到质量高的声音巡检图像。

本申请实施例通过确定成像参数，继而根据成像参数对声源进行成像，能够提高成像质量，以便于通过声源巡检图像获取到更加丰富的信息，以对声源进行异常检测，提高了异常检测的准确度。

在一可选的实施例中，根据当前位置，驱动机器人向声源移动，包括：

获取当前场景的地图数据；

根据世界坐标系、地图数据以及当前位置，确定机器人的移动路径；

按照移动路径，驱动机器人向声源移动。

其中，地图数据可以展示环境、设施、障碍物等内容。当机器人获取到当前场景的地图数据之后，即可对该地图数据进行坐标系转换，以将其转换成世界坐标系下的场景地图，该场景地图的类型可为栅格地图、特征地图等。之后，根据世界坐标系下的场景地图和声源的当前位置，规划出一条或多条移动路径。在得到机器人的移动路径之后，机器人通过调整其移动方向在移动路径上移动，从而通过自动导航以向声源移动。

示例性地，在规划机器人的移动路径时，可将机器人所在位置作为起点，将目标成像点作为终点。在确定出起点和终点之后，即可根据场景地图规划出移动路径，其中，在规划时还可根据路面状况进行避障处理。

请参阅图7，图7为机器人巡检方法中根据当前位置规划机器人的移动路径的示意图。机器人所在位置为起点，以目标成像点作为终点(图中以圆圈表示，目标成像点可有一个或多个)，根据起点和终点可在场景地图上规划出一条或多条移动路径(图中仅显示了一条移动路径)，机器人在移动过程中通过调整其移动姿态以沿移动路径行进至移动路径的终点，从而实现靠近声源移动。

当然地，当有多条移动路径时，可从多条移动路径中选择一个或多个较佳路径，其中，该较佳路径可满足移动时长较短、移动难度较小、拍摄视角广等条件。

可以理解地，场景巡检图像显示的当前场景中的声源可有一个或多个，当声源有一个时，可按照执行上述流程S210-S240。在声源有多个时，可根据多个声源的空间分布规划移动路径，进而驱动机器人按照移动路径逐一向各声源移动，进而对各声源进行成像。在以下实施例中，则对有多个声源的情形进行描述。

在一可选的实施例中，根据世界坐标系、地图数据以及当前位置，确定机器人的移动路径，包括：

若确定出多个声源各自的当前位置，则根据世界坐标系、地图数据以及各声源的当前位置，确定机器人至各声源的待移动距离；

根据世界坐标系、地图数据、各声源的当前位置以及机器人至各声源的待移动距离，确定机器人的移动路径；

按照移动路径，驱动机器人向声源移动，包括：

按照移动路径，驱动机器人逐一向各声源移动。

本实施例中，在获知多个声源各自的当前位置之后，即可确定各声源在世界坐标系中的分布情况。而根据世界坐标系和各声源的分布情况，即可确定对各声源的目标成像点。之后，根据各声源的目标成像点确定机器人至各声源的待移动距离。

示例性地，可将目标成像点与机器人之间的直线距离作为该目标成像点对应声源与机器人之间的待移动距离。还可根据各目标成像点与机器人在世界坐标系上的坐标，在场景地图上寻找机器人至目标成像点的路径，以将该路径称为机器人至各声源的待移动距离，其中，该路径为机器人能够在当前场景中移动且避障后的路径。

当确定待移动距离之后，即可按照待移动距离的大小对待移动距离进行升序排列，根据升序顺序规划移动路径，其中，移动路径按照待移动距离由近及远进行规划，即规划好的移动路径指示机器人先移动到与其距离最近的目标成像点。可以理解地，移动路径上包含了各声源的目标成像点，还按照场景地图进行了避障处理，使得机器人能够在移动路径中顺畅地移动。

请参阅图8，图8为机器人巡检方法中确定机器人的移动路径的示意图。如图8所示，在世界坐标系中显示有场景地图、各声源的当前位置、机器人所处位置为原点、各声源的目标成像点(以一个声源有一个目标成像点为例)以及移动路径，当机器人通过调整其移动方向和姿态以按照移动路径进行移动过程中，每达到一个目标检测点，即可在该目标检测点对其对应的声源进行成像，得到该声源的声音巡检图像。

本实施例通过根据各目标检测点与机器人之间的待移动距离，由近及远地规划出移动路径，使得机器人顺序地对各声源进行成像，优化了机器人的移动路径，提高了机器人的巡检效率。

在一可选的实施例中，根据世界坐标系、地图数据以及当前位置，确定机器人的移动路径，包括：

若确定出多个声源各自的当前位置，则评估各声源的紧急程度；

根据世界坐标系、地图数据以及各声源的当前位置和紧急程度，确定机器人的移动路径；

按照移动路径，驱动机器人向声源移动，包括：

按照移动路径，驱动机器人逐一向各声源移动。

其中，根据各声源的异常声音或其属性即可确定其紧急程度。比如，若声源的声音体现了声源剧烈响动，则可确定该声源的紧急程度较高，若声源的声音体现了声源响动但不剧烈，则可确定该声源的紧急程度一般。再比如，若声源指示其为重要设备，该重要设备的紧急程度较高，若声源指示其为非重要设备，该非重要设备的紧急程度较低。可以理解地，评估声源的紧急程度的方式可为对声源的声音进行分析，也可为对声源的属性进行分析，进而根据分析结果从预设的紧急程度中匹配对应声源的紧急程度。

本实施例中，当识别出紧急程度之后，即可根据紧急程度对声源进行排序，将紧急程度最高的声源排序在前，进而如上述示例提及的方式，按照紧急程度的排序、各声源对应的目标成像点、场景地图等，规划出移动路径，进而驱动机器人按照移动路径移动至各目标检测点，以在各目标检测点对对应声源进行成像，得到各声源的声源巡检图像。

请参阅图9，图9为机器人巡检方法中确定机器人的移动路径的另一示意图。在世界坐标系中显示有场景地图、各声源的当前位置、机器人所处位置为原点、各声源的目标成像点(以一个声源有一个目标成像点为例)以及移动路径，当机器人通过调整其移动方向和姿态以按照移动路径进行移动过程中，通过逐次按照紧急程度移动到每个目标检测点，以先后得到紧急程度降低的声源的声音巡检图像，图9中，黑色星形的紧急程度最高，故而，将黑色星形的目标检测点作为第一个成像点。

本实施例中，按照巡检路径移动以对声源进行成像的过程中，先得到紧急程度最较高的声源的声源巡检图像，以便于通过对该声源巡检图像进行分析，得到紧急程度最较高的声源的异常原因，以及时采取措施进行应对，能够及时地避免重大异常，或者极大程度地降低异常的影响。

在一可选的实施例中，根据世界坐标系、地图数据以及当前位置，确定机器人的移动路径，包括：

若确定出多个声源各自的当前位置，则评估各声源的紧急程度；

对于同一紧急程度的至少两个声源，确定机器人至至少两个声源的待移动距离；

根据世界坐标系、地图数据、各声源的当前位置和紧急程度以及机器人至至少两个声源的待移动距离，确定机器人的移动路径；

按照移动路径，驱动机器人向声源移动，包括：

按照移动路径，驱动机器人逐一向各声源移动。

本实施例综合了各声源的紧急程度以及各声源与机器人之间的待移动距离，在规划移动路径时，先考虑紧急程度，将紧急程度最高的声源对应的目标成像点设置在移动路径最靠近起点的位置。而对于同一紧急程度的声源，则将与机器人之间待移动距离最近的声源对应的目标成像点设置在最靠近起点的位置。由此，可以对移动路径进行合理规划，一方面考虑到了在当前场景中巡检时的紧急情况，另一方面考虑到了机器人的移动次数的优化，能够更加合理地执行巡检任务。

请参阅图10，图10为机器人巡检方法中确定机器人的移动路径的又一示意图。相比于图9和图8而言，图10显示的移动路径能够为机器人提供更加合理的巡检方式，以综合图9和图8移动路径的优势。

在一可选的实施例中，方法还包括：

在驱动机器人向声源移动过程中，获取机器人所处实时场景的实时场景声像图；

根据实时场景声像图，确定声源的实时位置；

根据实时位置、世界坐标系以及地图数据，更新移动路径。

其中，在驱动机器人向声源移动过程中，机器人参照的移动路径是根据世界坐标系中声源的实时位置动态变化的，即移动路径是逐渐缩短的。当机器人移动时，机器人所处的实时场景是发送变化的，可在机器人移动过程中通过声成像组件不断对实时场景进行声源检测，以得到实时场景的实时场景声像图，继而根据实时场景声像图确定声源的实时位置，当确定声源的实时位置之后，可在世界坐标系上显示声源的实时位置，并根据世界坐标系上的实时场景地图更新移动路径，从而使得机器人持续地自主导航。

可以理解地，当声源有多个时，可根据各声源的实时位置，以及世界坐标系以及地图数据，更新移动路径，使得机器人向各声源移动，进而对各声源进行成像，得到各声源的声源巡检图像。

在一可选的实施例中，根据世界坐标系、地图数据以及当前位置，确定机器人的移动路径之后，还包括：

将移动路径发送至第一外部设备；

响应于第一外部设备根据移动路径返回的修正路径，驱动机器人按照修正路径移动。

其中，如图2所示，机器人巡检系统中还包括外部设备，用户通过外部设备可远程控制机器人。具体地，请参阅图11，图11为机器人巡检方法中通过外部设备驱动机器人的示意图。图中，外部设备由用户操控，外部设备与机器人通信连接。机器人既可以将其得到的场景巡检图像和声源巡检图像发送给外部设备，也可以将其规划的移动路径发送给外部设备，还可以将机器人按照移动路径移动的过程的视频图像发送给外部设备。

外部设备可接收用户操控，以对机器人进行控制，比如，控制机器人暂停移动、控制机器人摆出各种姿势、控制机器人向一个指定方向移动等。再比如，还可控制机器人的移动路径进行调整。其调整方式比如为在外部设备上对其接收到的移动路径进行调整，进而将调整后的修正路径发送给机器人，以驱动机器人按照修正路径移动。或者，通过在外部设备上呈现的视频图像画面中选择一个位置点，以将该位置点作为修正指令，当机器人接收到该修正指令后，按照位置点对移动路径进行修正，具体地，使得移动路径包含该位置点。又比如，还可控制机器人的成像参数进行调整，比如，通过外部设备确定拍摄视角，进而控制机器人根据该拍摄视角对声源进行成像。由于通过外部设备与机器人进行交互的方式有多种，此处不再列举。

如上，在当前场景中没有异常声音时，还可恢复基于预设巡检路径的巡检，进而驱动机器人按照预设巡检路径移动。具体地，有预设巡检路径，机器人按照预设巡检路径执行巡检任务，当检测到当前场景中存在异常声音时，则暂停基于预设巡检路径的巡检。并且，驱动机器人向异常声音对应声源移动，在靠近声源移动过程中，还可检测是否有新的异常声音对应的声源出现在实时场景中，进而持续地根据实时场景中出现的新的声源驱动机器人不断移动。而当实时场景中没有新的异常声音对应的声源时，则恢复基于预设巡检路径的巡检，直至检测到新的异常声音对应的声源或者执行完成预设巡检路径的巡检。

在一可选的实施例中，在驱动机器人向声源移动过程中，方法还包括：

获取实时场景的实时场景视觉图像，并将实时场景视觉图像发送至第二外部设备进行显示。

其中，在驱动机器人向声源移动过程中，还可通过声成像组件对实时场景进行拍摄，以得到实时场景的实时场景视觉图像，进而将实时场景视觉图像发送至外部设备进行显示，以使得用户远程查看机器人所处的实时场景。当然地，还可对实时场景的实时场景视觉图像和实时场景声像图进行融合后，将其发送至外部设备进行显示，使得用户可以通过外部设备查看机器人所处的实时场景以及该实时场景中的声源位置。

进一步地，在通过声成像组件对实时场景进行声源检测和/或拍摄期间，也可接收外部设备发送的远程控制操作，进而驱动机器人执行该远程控制操作。

在一可选的实施例中，对声源进行成像，得到声源的声源巡检图像之后，还包括：

将声源巡检图像发送至第三外部设备进行显示；

响应于第三外部设备根据声源巡检图像返回的视觉控制操作，驱动机器人进行位姿变更。

具体地，通过将声源巡检图像发送至外部设备进行显示，从而在外部设备上可以显示声源声像图和声源视觉图像，用户通过操作外部设备可以远程对机器人进行控制。

此处进行举例说明。比如，显示在外部设备上的声源视觉图像展示了机器人所在的当前场景，用户通过在声源视觉图像上选取一个点，进而将该点作为机器人的位置终点，基于该点向机器人发送视觉控制操作后，当机器人接收到该视觉控制操作，即可朝向该视觉控制操作指示的终点移动。或者，用户通过在外部设备上为机器人指示一个方位，外部设备基于该方位向机器人发送视觉控制操作，当机器人接收到该视觉控制操作，即可控制其姿态进行变换以将视角移动到该方位。可以理解地，通过基于外部设备显示的声源视觉图像对机器人进行远程控制的方式有多种，除控制机器人的位姿进行变更之外，还可以控制机器人上的传感器使能，或者控制机器人的拍摄参数变更，或者控制机器人作出指定的姿势等，由于可控方式有多种，此处不再列举。

综上，请参阅图12，图12为机器人巡检方法的细节流程示意图。当机器人开始移动时，按照预设巡检路径正常移动，在移动过程中，机器人还检测其所处的当前场景中是否有异常声音，若否，则继续正常移动，若是，则确定异常声音对应声源的当前位置，并向声源移动，在移动到目标成像点之后，即可在目标成像点通过声成像组件对声源进行成像，得到声源的声音巡检图像，以此循环，直至没有检测到异常声音时，结束向声源移动。

本申请实施例提供的机器人巡检方法，一方面能够实现机器人自主在当前场景中通过寻找异常声音的声源以进行移动，提高了巡检的灵活性、全面性、有效性以及巡检效率。另一方面，还通过设置成像参数、移动路径等，以优化机器人的移动路径，提高巡检效率的同时，还能够得到质量更高的声源巡检图像，便于对声源进行异常分析，提高了对声源异常原因确定的准确度，且通过优化巡检路径提高了对声源进行应急处理的效率。

请参照图13，为更好的执行本申请所提供的机器人巡检方法，本申请进一步提供一种机器人巡检装置，如图13所示，该机器人巡检装置300包括：

数据获取模块310，用于响应于当前场景的异常声音，获取当前场景的当前场景声像图；

声源定位模块320，用于根据当前场景声像图，确定异常声音对应声源的当前位置；

机器人控制模块330，用于根据当前位置，驱动机器人向声源移动；

成像控制模块340，用于对声源进行成像，得到声源的声源巡检图像，声源巡检图像包括声源视觉图像和声源声像图。

在一可选的实施例中，声源定位模块320还用于：

基于机器人所在位置构建世界坐标系；

根据当前场景声像图，确定声源在世界坐标系中的当前位置。

在一可选的实施例中，机器人控制模块330还用于：

获取当前场景的地图数据；

根据世界坐标系、地图数据以及当前位置，确定机器人的移动路径；

按照移动路径，驱动机器人向声源移动。

在一可选的实施例中，机器人控制模块330还用于：

若确定出多个声源各自的当前位置，则根据世界坐标系、地图数据以及各声源的当前位置，确定机器人至各声源的待移动距离；

根据世界坐标系、地图数据、各声源的当前位置以及机器人至各声源的待移动距离，确定机器人的移动路径；

按照移动路径，驱动机器人逐一向各声源移动。

在一可选的实施例中，机器人控制模块330还用于：

若确定出多个声源各自的当前位置，则评估各声源的紧急程度；

根据世界坐标系、地图数据以及各声源的当前位置和紧急程度，确定机器人的移动路径；

按照移动路径，驱动机器人逐一向各声源移动。

在一可选的实施例中，机器人控制模块330还用于：

将移动路径发送至外部设备；

响应于外部设备根据移动路径返回的修正路径，驱动机器人按照修正路径移动。

在一可选的实施例中，机器人控制模块330还用于：

在驱动机器人向声源移动过程中，获取机器人所处实时场景的实时场景声像图；

根据实时场景声像图，确定声源的实时位置；

根据实时位置、世界坐标系以及地图数据，更新移动路径。

在一可选的实施例中，成像控制模块340还用于：

确定对声源的成像距离；

若机器人与声源之间的实时距离达到成像距离，则对声源进行成像，得到声源的声源巡检图像。

在一可选的实施例中，成像控制模块340还用于：

识别声源所处的声源环境；

根据声源环境，确定对声源的成像参数；

根据成像参数对声源进行成像，得到声源的声源巡检图像。

应当说明的是，本申请实施例提供的机器人巡检装置300与上文实施例中的机器人巡检方法属于同一构思，其具体实现过程详见以上相关实施例，此处不再赘述。

本申请实施例还提供一种机器人，包括存储器和处理器，其中处理器通过调用存储器中存储的计算机程序，用于执行本实施例提供的机器人巡检方法中的步骤。其中，该机器人的移动方式包括但不限于滚轮移动、步行移动、爬行移动等。

请参照图14，图14为本申请实施例提供的机器人110的结构示意图。

该机器人110可以包括网络接口150、存储器160、处理器170以及屏幕组件等部件。本领域技术人员可以理解，图14中示出的机器人110结构并不构成对机器人110的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

网络接口150可以用于进行设备之间的网络连接。

存储器160可用于存储计算机程序和数据。存储器160存储的计算机程序中包含有可执行代码。计算机程序可以划分为各种功能模块。处理器170通过运行存储在存储器160的计算机程序，从而执行各种功能应用以及数据处理。

处理器170是机器人110的控制中心，利用各种接口和线路连接整个机器人110的各个部分，通过运行或执行存储在存储器160内的计算机程序，以及调用存储在存储器160内的数据，执行机器人110的各种功能和处理数据，从而对机器人110进行整体控制。

在本申请实施例中，机器人110中的处理器170会按照如下的指令，将一个或一个以上的计算机程序对应的可执行代码加载到存储器160中，并由处理器170来执行本申请提供的机器人巡检方法中的步骤，比如：

响应于当前场景的异常声音，获取当前场景的当前场景声像图；

根据当前场景声像图，确定异常声音对应声源的当前位置；

根据当前位置，驱动机器人110向声源移动；

对声源进行成像，得到声源的声源巡检图像，声源巡检图像包括声源视觉图像和声源声像图。

另外，该机器人110还与声成像组件电连接，并控制声成像组件进行声源检测和/或拍摄，以及获取通过声成像组件得到的声像图和/或视觉图像。

尽管图14中未示出，机器人110还可以包括摄像头，摄像头用于对机器人所处的环境进行拍摄，或者进行场景识别。

机器人110还可以包括传感器、定位模块、通信模块等，在此不再赘述。

应当说明的是，本申请实施例提供的机器人110与上文实施例中的机器人巡检方法属于同一构思，其具体实现过程详见以上相关实施例，此处不再赘述。

本申请还提供一种计算机可读的存储介质，其上存储有计算机程序，当其存储的计算机程序在本申请实施例提供的机器人的处理器上执行时，使得机器人的处理器执行以上任一适于机器人的机器人巡检方法中的步骤。其中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM)或者随机存取器(Random Access Memory，RAM)等。

以上对本申请所提供的一种机器人巡检方法、装置、存储介质及机器人进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (14)

1.一种机器人巡检方法，其特征在于，包括：

响应于当前场景的异常声音，获取所述当前场景的当前场景声像图；

根据所述当前场景声像图，确定所述异常声音对应声源的当前位置；

根据所述当前位置，驱动所述机器人向所述声源移动；

对所述声源进行成像，得到所述声源的声源巡检图像，所述声源巡检图像包括声源视觉图像和声源声像图。

2.根据权利要求1所述的机器人巡检方法，其特征在于，所述根据所述当前场景声像图，确定所述异常声音对应声源的当前位置，包括：

基于所述机器人所在位置构建世界坐标系；

根据所述当前场景声像图，确定所述声源在所述世界坐标系中的所述当前位置。

3.根据权利要求2所述的机器人巡检方法，其特征在于，所述根据所述当前位置，驱动所述机器人向所述声源移动，包括：

获取所述当前场景的地图数据；

根据所述世界坐标系、所述地图数据以及所述当前位置，确定所述机器人的移动路径；

按照所述移动路径，驱动所述机器人向所述声源移动。

4.根据权利要求3所述的机器人巡检方法，其特征在于，所述根据所述世界坐标系、所述地图数据以及所述当前位置，确定所述机器人的移动路径，包括：

若确定出多个声源各自的当前位置，则根据所述世界坐标系、所述地图数据以及各所述声源的当前位置，确定所述机器人至各所述声源的待移动距离；

根据所述世界坐标系、所述地图数据、各所述声源的当前位置以及所述机器人至各所述声源的待移动距离，确定所述机器人的移动路径；

所述按照所述移动路径，驱动所述机器人向所述声源移动，包括：

按照所述移动路径，驱动所述机器人逐一向各所述声源移动。

5.根据权利要求3所述的机器人巡检方法，其特征在于，所述根据所述世界坐标系、所述地图数据以及所述当前位置，确定所述机器人的移动路径，包括：

若确定出多个声源各自的当前位置，则评估各所述声源的紧急程度；

根据所述世界坐标系、所述地图数据以及各所述声源的当前位置和紧急程度，确定所述机器人的移动路径；

所述按照所述移动路径，驱动所述机器人向所述声源移动，包括：

按照所述移动路径，驱动所述机器人逐一向各所述声源移动。

6.根据权利要求1所述的机器人巡检方法，其特征在于，所述对所述声源进行成像，得到所述声源的声源巡检图像，包括：

确定对所述声源的成像距离；

若所述机器人与所述声源之间的实时距离达到所述成像距离，则对所述声源进行成像，得到所述声源的声源巡检图像。

7.根据权利要求1所述的机器人巡检方法，其特征在于，所述对所述声源进行成像，得到所述声源的声源巡检图像，包括：

识别所述声源所处的声源环境；

根据所述声源环境，确定对所述声源的成像参数；

根据所述成像参数对所述声源进行成像，得到所述声源的声源巡检图像。

8.根据权利要求3至5任一项所述的机器人巡检方法，其特征在于，所述方法还包括：

在驱动所述机器人向所述声源移动过程中，获取所述机器人所处实时场景的实时场景声像图；

根据所述实时场景声像图，确定所述声源的实时位置；

根据所述实时位置、所述世界坐标系以及所述地图数据，更新所述移动路径。

9.根据权利要求3至5任一项所述的机器人巡检方法，其特征在于，所述根据所述世界坐标系、所述地图数据以及所述当前位置，确定所述机器人的移动路径之后，还包括：

将所述移动路径发送至第一外部设备；

响应于所述第一外部设备根据所述移动路径返回的修正路径，驱动所述机器人按照所述修正路径移动。

10.根据权利要求1至7任一项所述的机器人巡检方法，其特征在于，所述方法还包括：

在驱动所述机器人向所述声源移动过程中，获取所述机器人所处实时场景的实时场景视觉图像，并将所述实时场景视觉图像发送至第二外部设备进行显示。

11.根据权利要求1至7任一项所述的机器人巡检方法，其特征在于，所述对所述声源进行成像，得到所述声源的声源巡检图像之后，还包括：

将所述声源巡检图像发送至第三外部设备进行显示；

响应于所述第三外部设备根据所述声源巡检图像返回的视觉控制操作，驱动所述机器人进行位姿变更。

12.一种机器人巡检装置，其特征在于，包括：

数据获取模块，用于响应于当前场景的异常声音，获取所述当前场景的当前场景声像图；

声源定位模块，用于根据所述当前场景声像图，确定所述异常声音对应声源的当前位置；

机器人控制模块，用于根据所述当前位置，驱动所述机器人向所述声源移动；

成像控制模块，用于对所述声源进行成像，得到所述声源的声源巡检图像，所述声源巡检图像包括声源视觉图像和声源声像图。

13.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序被处理器加载时执行如权利要求1-11任一项所述的机器人巡检方法中的步骤。

14.一种机器人，包括处理器和存储器，所述存储器储存有计算机程序，其特征在于，所述处理器通过加载所述计算机程序，用于执行如权利要求1至11任一项所述的机器人巡检方法中的步骤。

Images