CN112597910B - 利用扫地机器人对人物活动进行监控的方法和装置 - Google Patents

Abstract

本发明适用于智能家居技术领域，提供了利用扫地机器人对人物活动进行监控的方法和装置，其中，所述方法包括：通过获取声源位置的人脸图像确定是否存在目标人物；当确定在所述声源位置不存在目标人物时，令扫地机器人在周围的预设区域内依次搜寻并跟踪所述目标人物。本发明通过扫地机器人来对目标人物与声源位置的图像中的人物不在一起的情况进行监控，防止目标人物在脱离人群或监控视线后发生意外的情况发生。

Description

利用扫地机器人对人物活动进行监控的方法和装置

技术领域

本发明属于智能家居技术领域，尤其涉及利用扫地机器人对人物活动进行监控的方法和装置。

背景技术

扫地机器人的主要功能是用于进行清扫任务，且一般都是在家里没有人的时候来进行清扫任务。因此，当家里有人的时候，扫地机器人一般都处于闲置状态。

考虑到扫地机器人具备图像识别和图像获取基础，当家里有小孩或老人时，是否能够利用扫地机器人来对特定人群进行有效监控。例如，当大人和小孩在一起时，如果大人无暇顾及小孩时，可以让扫地机器人来帮助对小孩进行监控，防止意外情况发生。因此，如何在扫地机器人上增加对特定人物进行跟踪监控的功能，目前还没有实现该功能的现有技术。

发明内容

有鉴于此，本发明实施例提供了利用扫地机器人对人物活动进行监控的方法和装置，以解决如何利用扫地机器人来对特定任务进行监控的问题。

本发明实施例的第一方面，提供了一种利用扫地机器人对人物活动进行监控的方法，其包括：通过获取声源位置的人脸图像确定是否存在目标人物；当确定在所述声源位置不存在目标人物时，控制扫地机器人在周围的预设区域内依次搜寻并跟踪所述目标人物。

在一些可选方案中，所述通过获取声源位置的人脸图像确定是否存在目标人物，包括：获取扫地机器人周围的语音信息；识别所述语音信息的方位；获取所述方位的人脸图像；识别所述人脸图像中是否存在目标人物。

在一些可选方案中，通过获取声源位置的人脸图像来确定是否存在目标人物，包括：获取设定用户的语音信息；根据所述语音信息确定所述设定用户的方位；获取所述设定用户所在方位的人脸图像；识别所述人脸图像中是否存在目标人物。

在一些可选方案中，控制扫地机器人在周围的预设区域内依次搜寻并跟踪所述目标人物，包括：获取扫地机器人周围预设区域的图像；识别所述预设区域的图像来确定所述目标人物的位置；根据所述位置控制所述扫地机器人跟随所述目标人物移动。

在一些可选方案中，所述获取扫地机器人周围预设区域的图像，包括：请求与扫地机器人连接的监控设备获取预设区域的监控图像；接收所述监控设备响应所述请求返回的监控图像。

在一些可选方案中，所述获取扫地机器人周围预设区域的图像，包括：扫地机器人依次移动至预设区域内的各个目标区域，其中，所述预设区域包括一个或多个隔开的目标区域；获取所述目标区域内的图像。

在一些可选方案中，所述识别所述预设区域的图像来确定所述目标人物的位置，包括：根据所述预设区域的图像建立对应的三维轮廓信息，其中，所述预设区域的图像包括深度图像；当识别所述三维轮廓信息中包含目标人物的轮廓信息时，确定所述目标人物的轮廓信息的位置。

在一些可选方案中，所述方法还包括：实时获取所述目标人物的人物图像；当识别到所述人物图像中包含预设动作时，发出提示信息。

本发明实施例的第二方面，提供了一种利用扫地机器人对人物活动进行监控的装置，其包括：目标人物识别模块，用于通过获取声源位置的人脸图像来确定是否存在目标人物；目标人物监控模块，用于当识别所述人脸图像确定在所述声源位置不存在目标人物时，令扫地机器人在周围的预设区域内依次搜寻并跟踪所述目标人物。

本发明实施例的第三方面，提供了一种扫地机器人，其至少包括：摄像头；拾音设备；存储器，存储有计算机程序；处理器，分别连接于所述摄像头、拾音设备和存储器，所述处理器执行所述计算机程序时实现如第一方面中任一项所述方法的步骤。

本发明实施例与现有技术相比存在的有益效果是：本发明通过扫地机器人来对目标人物与声源位置的图像中的人物不在一起的情况进行监控，防止目标人物在脱离人群或监控视线后发生意外的情况发生。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是实施例一提供的利用扫地机器人对人物活动进行监控的方法的流程图；

图2是实施例二还提供的利用扫地机器人对人物活动进行监控的装置的结构示意图；

图3是实施例三还提供的可以应用本发明利用扫地机器人对人物活动进行监控的方法和利用扫地机器人对人物活动进行监控的装置的扫地机器人的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一

图1为本实施例一提供的利用扫地机器人对人物活动进行监控的方法的流程图。

如图1所示，所述利用扫地机器人对人物活动进行监控的方法包括以下步骤：

S01，通过获取声源位置的人脸图像确定是否存在目标人物；

S02，当确定在所述声源位置不存在目标人物时，令扫地机器人在周围的预设区域内依次搜寻并跟踪所述目标人物。

上述方法通过获取声源位置的人脸图像来是识别目标人物，如果目标人物离开了声源位置，则在该人脸图像中识别不到目标人物，此时让扫地机器人来收搜寻目标人物，并对其进行跟踪，从而实现对目标人物进行监控。本实施例特别适用于家里有多个大人聚在一起聊天而无暇顾及小孩的场景。

具体的，在一个示例一中，上述步骤S01，可以具体包括步骤：

S111，获取扫地机器人周围的语音信息；

S112，识别所述语音信息的方位；

S113，获取所述方位的人脸图像；

S114，识别所述人脸图像中是否存在目标人物。

本示例适用于有多个人聚在一起的场景，例如，家庭或朋友到家中聚会。这些人聚在一起聊天时，可以获取到其语音信息，然后对该语音信息进行声源定位，确定语音信息的方位，然后获取该方位的人脸图像，此时如果在该方位的人脸图像中没有目标人物，例如小孩，那么可以判定此时小孩不在这些大人身边。

其中，所述方位可以是通过麦克风阵列识别语音信息来确定，例如，在扫地机器人上设置有麦克风阵列。

其中，识别人脸图像中是否存在目标人物，可以预先获取目标人物的人脸图像，将其存储在扫地机器人的本地，然后在进行人脸图像识别时便将其与获取的人脸图像进行比对，以此来确定是否存在目标人物。亦或者，也可以将目标人物的人脸图像上传至服务器，当扫地到底机器人获取到人脸图像后通过网络将其上传至服务器，然后由服务器进行图像识别确定是否存在目标人物，之后将结果返回给扫地机器人。

具体的，获取目标人物的人脸图像，可以是通过扫地机器人对目标人物获取人脸图像，或者，也可以是与扫地机器人或服务器连接的终端设备获取目标人物的人脸图像，例如，所述终端设备可以为智能手机。

具体的，在一个示例二中，上述步骤S01，可以具体包括步骤：

S121，获取设定用户的语音信息；

S122，根据所述语音信息确定所述设定用户的方位；

S123，获取所述设定用户所在方位的人脸图像；

S124，识别所述人脸图像中是否存在目标人物。

本示例适用于少数人的场景，例如，只有用户和小孩。当用户在无暇顾及小孩时，可以通过语音信息来让扫地机器人确定用户当前的位置，然后获取所述设定用户所在方位的人脸图像，之后识别该人脸图像是否存在目标人物。

其中，关于用户语音信息的方位和人脸图像的识别可以参考上述示例一的描述，这里不再赘述。

需要说明的是，在实际应用中，可以由用户通过语音唤醒扫地机器人来开始执行上述步骤，或者，也可以通过与扫地机器人连接的终端设备来执行上述步骤。

具体的，在一个示例三中，上述步骤S03，可以具体包括步骤：

S31，获取扫地机器人周围预设区域的图像；

S32，识别所述预设区域的图像来确定所述目标人物的位置；

S33，根据所述位置控制所述扫地机器人跟随所述目标人物移动。

其中，所述预设区域包括扫地机器人当前的周围区域以及所述扫地机器人可及的其他区域。具体的，所述预设区域包括一个或多个隔开的目标区域。例如，以家庭房间为预设区域，那么每个房间和客厅等都是一个目标区域。

具体的，在一些场景中，除了扫地机器人可以在预设区域内移动来获取图像外，如果预设区域内设置有监控设备，也可以通过监控设备来获取图像。

示例性的，上述步骤S31，可以具体包括步骤：S3111，请求与扫地机器人连接的监控设备获取预设区域的监控图像；S3112，接收所述监控设备响应所述请求返回的监控图像。

本示例适用于预设区域中设有监控设备的情况，当识别到没有目标人物时，可以连接预设区域的监控设备，向其发送请求，让该空间设备对所在的预设区域获取图像，这样可以快速获取到预设区域内的图像，尤其是预设区域包括多个目标区域是，不需要扫地机器人逐个移动至目标区域获取图像。

其中，所述监控设备可以为各种类型的摄像头，例如，所述摄像头可以包括RGB摄像头，或者高清摄像头等。

示例性的，上述步骤S31，还可以具体包括步骤：S3121，扫地机器人依次移动至预设区域内的各个目标区域，其中，所述预设区域包括一个或多个隔开的目标区域；S3122，获取所述目标区域内的图像。

本示例适用于预设区域内没有监控设备的情况，结合上述示例来说，当预设区域包括多个目标区域时，可以由扫地机器人逐次进入每个目标区域，然后获取该目标区域内的图像，直到该图像中具有目标人物为止。

示例性，上述步骤S32，可以具体包括步骤：S321，根据所述预设区域的图像建立对应的三维轮廓信息，其中，所述预设区域的图像包括深度图像；S322，当识别所述三维轮廓信息中包含目标人物的轮廓信息时，确定所述目标人物的轮廓信息的位置。

在获取到预设区域内的图像后，可以根据该图像来建立该预设区域的三维轮廓信息，例如，所述图像可以为RGB图像，根据该RGB图像可以获取到高精度的三维轮廓信息。然后依据该三维轮廓信息识别其中是否包含目标人物的轮廓信息，如果存在这可以确定该目标人物的位置。

其中，由于三维轮廓信息仅能识别人物的轮廓信息，实现定位，然而该人物的轮廓信息是否为目标人物，还可以结合人脸识别来确定。

示例性的，确定所述目标人物的轮廓信息的位置，可以具体包括：识别所述三维轮廓信息对应的图像，当确定所述图像中包含目标人物时，根据所述三维轮廓信息确定所述目标人物的位置。

此外，在一个示例四中，所述在上述图1所示步骤S02之后，还可以包括步骤：

S03，实时获取所述目标人物的人物图像；

S04，当识别到所述人物图像中包含预设动作时，发出提示信息。

所述提示信息的内容可以包括但不限于文字、语音或视频等形式。例如，可以发出语音提示信息，通知目标用户或大人。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

实施例二

在同一发明构思下，见图2，为本实施例二还提供的利用扫地机器人对人物活动进行监控的装置的结构示意图。

如图2所示，该装置200，具体包括：标人物识别模块201，用于通过获取声源位置的人脸图像来确定是否存在目标人物；标人物监控模块202，用于当识别所述人脸图像确定在所述声源位置不存在目标人物时，令扫地机器人在周围的预设区域内依次搜寻并跟踪所述目标人物。

在一些实施例中，目标人物识别模块201，具体包括：第一语音获取单元，用于获取扫地机器人周围的语音信息；第一语音定位单元，用于识别所述语音信息的方位；第一图像获取单元，用于获取所述方位的人脸图像；目标人物判断单元，用于识别所述人脸图像中是否存在目标人物。

在一些实施例中，目标人物识别模块201，具体包括：第二语音获取单元，用于获取设定用户的语音信息；第二语音定位单元，用于根据所述语音信息确定所述设定用户的方位；第二图像获取单元，用于获取所述设定用户所在方位的人脸图像；目标人物判断单元，用于识别所述人脸图像中是否存在目标人物。

在一些实施例中，该目标人物监控模块202，具体包括：第三图像获取单元，用于获取扫地机器人周围预设区域的图像；目标人物定位单元，用于识别所述预设区域的图像来确定所述目标人物的位置；目标人物跟踪单元，用于根据所述位置控制所述扫地机器人跟随所述目标人物移动。

在一些实施例中，所述第三图像获取单元，包括：图像请求单元，用于请求与扫地机器人连接的监控设备获取预设区域的监控图像；图像接收单元，用于接收所述监控设备响应所述请求返回的监控图像。

在一些实施例中，所述第三图像获取单元，包括：目标区域搜索单元，用于扫地机器人依次移动至预设区域内的各个目标区域，其中，所述预设区域包括一个或多个隔开的目标区域；目标区域图像获取单元，用于获取所述目标区域内的图像。

在一些实施例中，所述目标人物定位单元，具体包括：三维信息生成单元，用于根据所述预设区域的图像建立对应的三维轮廓信息，其中，所述预设区域的图像包括深度图像；人物位置识别单元，用于当识别所述三维轮廓信息中包含目标人物的轮廓信息时，确定所述目标人物的轮廓信息的位置。

在一些实施例中，所述装置200还包括：人物图像获取模块，用于实时获取所述目标人物的人物图像；人物行为监控模块，用于当识别到所述人物图像中包含预设动作时，发出提示信息。

实施例三

见图3，是实施例三提供的可以应用本发明利用扫地机器人对人物活动进行监控的方法和利用扫地机器人对人物活动进行监控的装置的扫地机器人的结构示意图。

如图3所示，所述扫地机器人300包括：摄像头301、拾音设备302、处理器303、存储器304以及存储在所述存储器304中并可在所述处理器303上运行的计算机程序305，其中，所述处理器303分别连接于摄像头301、拾音设备302和存储器304。所述处理器303执行所述计算机程序305时实现上述各个利用扫地机器人对人物活动进行监控方法实施例中的步骤，例如图1所示的步骤S01至S02。或者，所述处理器303执行所述计算机程序305时实现上述各装置实施例中各模块/单元的功能，例如图2所示模块201至202的功能。

示例性的，所述计算机程序305可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器304中，并由所述处理器303执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序305在扫地机器人300中的执行过程。例如，所述计算机程序305可以被分割成标人物识别模块201和标人物监控模块202，各模块具体功能如下：标人物识别模块201用于通过获取声源位置的人脸图像来确定是否存在目标人物；标人物监控模块202用于当识别所述人脸图像确定在所述声源位置不存在目标人物时，令扫地机器人在周围的预设区域内依次搜寻并跟踪所述目标人物。

所称处理器303可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器304可以是扫地机器人300的内部存储单元，例如*扫地机器人300的硬盘或内存。所述存储器304也可以是扫地机器人300的外部存储设备，例如扫地机器人300上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器304还可以既包括扫地机器人300的内部存储单元也包括外部存储设备。所述存储器304用于存储所述计算机程序以及所述扫地机器人300所需的其它程序和数据。所述存储器304还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (6)

1.利用扫地机器人对人物活动进行监控的方法，其特征在于，包括：

通过获取声源位置的人脸图像确定是否存在目标人物；具体包括：

获取设定用户的语音信息；

根据所述语音信息确定所述设定用户的方位；

获取所述设定用户所在方位的人脸图像，所述人脸图像的获取方法包括扫地机器人获取或终端设备获取，所述终端设备与所述扫地机器人相连接；

识别所述人脸图像中是否存在目标人物；

当确定在所述声源位置不存在目标人物时，控制扫地机器人在周围的预设区域内依次搜寻并跟踪所述目标人物；

控制扫地机器人在周围的预设区域内依次搜寻并跟踪所述目标人物，包括：

获取扫地机器人周围预设区域的图像；

识别所述预设区域的图像来确定所述目标人物的位置；

根据所述位置控制所述扫地机器人跟随所述目标人物移动；

所述获取扫地机器人周围预设区域的图像，包括：

请求与扫地机器人连接的监控设备获取预设区域的监控图像；

接收所述监控设备响应所述请求返回的监控图像；

所述识别所述预设区域的图像来确定所述目标人物的位置，包括：

根据所述预设区域的图像建立对应的三维轮廓信息，其中，所述预设区域的图像包括深度图像；

当识别所述三维轮廓信息中包含目标人物的轮廓信息时，确定所述目标人物的轮廓信息的位置。

2.根据权利要求1所述的方法，其特征在于，所述通过获取声源位置的人脸图像确定是否存在目标人物，包括：

获取扫地机器人周围的语音信息；

识别所述语音信息的方位；

获取所述方位的人脸图像；

识别所述人脸图像中是否存在目标人物。

3.根据权利要求1所述的方法，其特征在于，所述获取扫地机器人周围预设区域的图像，包括：

扫地机器人依次移动至预设区域内的各个目标区域，其中，所述预设区域包括一个或多个隔开的目标区域；

获取所述目标区域内的图像。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

实时获取所述目标人物的人物图像；当识别到所述人物图像中包含预设动作时，发出提示信息。

5.利用扫地机器人对人物活动进行监控的装置，其特征在于，包括：

目标人物识别模块，用于通过获取声源位置的人脸图像确定是否存在目标人物，具体包括：

获取设定用户的语音信息；根据所述语音信息确定所述设定用户的方位；获取所述设定用户所在方位的人脸图像；获取所述设定用户所在方位的人脸图像，所述人脸图像的获取方法包括扫地机器人获取或终端设备获取，所述终端设备与所述扫地机器人相连接；识别所述人脸图像中是否存在目标人物；

目标人物监控模块，用于当确定在所述声源位置不存在目标人物时，控制扫地机器人在周围的预设区域内依次搜寻并跟踪所述目标人物；具体包括：获取扫地机器人周围预设区域的图像；识别所述预设区域的图像来确定所述目标人物的位置；根据所述位置控制所述扫地机器人跟随所述目标人物移动；请求与扫地机器人连接的监控设备获取预设区域的监控图像；接收所述监控设备响应所述请求返回的监控图像；根据所述预设区域的图像建立对应的三维轮廓信息，其中，所述预设区域的图像包括深度图像；当识别所述三维轮廓信息中包含目标人物的轮廓信息时，确定所述目标人物的轮廓信息的位置。

6.一种扫地机器人，其特征在于，至少包括：

摄像头；

拾音设备；

存储器，存储有计算机程序；

处理器，分别连接于所述摄像头、拾音设备和存储器，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。