CN111479662B

CN111479662B - 学习障碍物的人工智能移动机器人及其控制方法

Info

Publication number: CN111479662B
Application number: CN201880081516.XA
Authority: CN
Inventors: 金廷桓; 李龙在; 李敏豪
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2017-10-25
Filing date: 2018-10-25
Publication date: 2023-07-07
Anticipated expiration: 2038-10-25
Also published as: CN111479662A; US11586211B2; AU2018356126B2; EP3702111A4; US20200341479A1; EP3702111B1; EP3702111A1; AU2018356126A1; WO2019083291A1

Abstract

根据本发明的学习障碍物的人工智能移动机器人及其控制方法经由图像捕获单元在移动的同时捕获图像以存储所捕获的多条图像数据，用图像数据判断障碍物以设置对应于障碍物的对应动作，并且根据按照障碍物指派的对应动作而移动。因此，本发明可通过使得能够经由所捕获的图像数据识别障碍物根据障碍物的类型来有效避让障碍物并移动，经由重复的图像学习来容易地判断障碍物，通过在检测到障碍物之前或者在检测到障碍物时判断障碍物根据对应动作而移动，并且即便在检测到障碍物时针对多个不同障碍物输入了相同的检测信号，也通过在图像中判断障碍物按照障碍物不同地移动对各种障碍物做出响应。

Description

学习障碍物的人工智能移动机器人及其控制方法

技术领域

本公开涉及移动机器人及其控制方法，并且更具体地，涉及用于在清洁区域中行进、学习障碍物并且执行清洁以避让障碍物的移动机器人。

背景技术

通常，移动机器人是一种在没有用户操纵的情况下在作为清洁目标的区域中自主行进的同时通过从地板表面吸附诸如灰尘这样的异物进行自动清洁的设备。

这种移动机器人检测与安装在清洁区域内的诸如家具、办公用品、墙壁等这样的障碍物的距离并且执行障碍物避让操作。

移动机器人包括诸如红外线或激光束这样的障碍物检测装置作为用于检测障碍物的装置。移动机器人可基于诸如红外线或激光束这样的传感器的检测信号来检测并避让预定距离内的障碍物。

当检测到障碍物时，如果立即改变路径，则移动机器人可能不能够清洁对应的区域，因此可在最大程度靠近障碍物或者与障碍物碰撞之后改变路径。

然而，当移动机器人为了清洁而靠近障碍物并与障碍物碰撞时，可能存在由于与移动机器人的碰撞而使目标物体受损的问题。例如，可能存在的问题是，桌子上的罐子掉下、障碍物受损或者障碍物的位置改变。

移动机器人在与障碍物碰撞时打滑，因此存在的问题是，在实际位置和由移动机器人确定的位置之间出现误差。

因此，需要识别障碍物的类型并且根据障碍物来操作移动机器人。

韩国专利公开10-2016-01575公开了一种使用图像信息来识别诸如障碍物属性这样的信息的机器人清洁器。传统上，在人脚的情况下，单独的识别模块还被配置为容易地识别人脚。然而，传统上，在机器人清洁器靠近障碍物之后识别障碍物，因此，存在的问题是，实际上对障碍物的响应有延迟。

另外，移动机器人基本上被设计为行进时避让障碍物，但是在识别任何类型的障碍物方面有限制。因此，移动机器人的行进受阻，并且严重地，移动机器人受约束而不再行进。

因此，最近，在产品发布之前，通过各种实验执行测试，因此，之前学习关于障碍物的信息。然而，由于限制性的测试环境，不可能通过事先学习来累积关于所有障碍物的信息，因此，移动机器人在响应障碍物方面有限制。

[引用的参考文献]

[专利文献]

韩国专利公开10-2016-01575

发明内容

技术问题

本公开的目的是提供用于通过在行进的同时捕获图像，通过多个所捕获的图像分析障碍物的特征并且获取关于新障碍物的信息，而以各种响应动作避让障碍物并摆脱危险情形的移动机器人及其控制方法。

技术解决方案

根据本公开，一种移动机器人包括：能移动的主体；图像获取器，其被配置为捕获行进方向上的图像；障碍物检测单元，其被配置为检测处于朝向所述行进方向的一侧的障碍物；以及控制器，其被配置为存储通过所述图像获取器捕获的多条图像数据，以在所述障碍物检测单元确定所述障碍物处于预定距离内的预定时间点开始响应动作，并且根据基于在所述预定时间点之前获取的所述图像数据所确定的障碍物来确定所述响应动作。

所述控制器可根据从所述障碍物检测单元输入的预定类型的检测信号来设置将执行的多个响应动作，并且可基于所述图像数据来选择所述多个响应动作中的任一个。

控制器可基于通过检测信号计算出的与障碍物的距离来确定障碍物是否处于预定距离内。

控制器可基于在确定障碍物处于预定距离处的时间点在与主体的行进方向相同的行进方向上捕获的图像数据来确定障碍物。

移动机器人可将图像数据发送到终端或服务器，并且可接收图像数据中包括的关于障碍物的信息。

根据本公开，一种移动机器人可包括：能移动的主体；图像获取器，其被配置为捕获行进方向上的图像；障碍物检测单元，其被配置为检测处于朝向所述行进方向的一侧的障碍物；以及控制器，其被配置为响应于行进状态而确定主体是否由于障碍物而受约束，并且响应于从在确定约束的时间点之前捕获的至少一条图像数据中获取的关于所述障碍物的信息而使移动机器人能够摆脱约束情形。

移动机器人可包括：控制器，其被配置为响应于行进状态而确定主体是否由于障碍物而受约束，可将在确定约束的时间点之前捕获的至少一条图像数据发送到服务器，可设置响应动作以防止主体响应于从服务器接收到的障碍物信息而受约束，并且可避让障碍物。

本公开可包括一种移动机器人和一种服务器，该移动机器人被配置为基于预先存储的障碍物信息来分析图像数据，确定处于行进方向上的一侧的所述障碍物的类型，并且在障碍物检测单元确定障碍物处于预定距离内的时间点对障碍物执行多个响应动作中的任一个，该服务器被配置为分析从移动机器人接收到的图像数据并且获取障碍物信息。

当出现约束情形时，控制器可将在从确定主体受约束的时间点起的预定时间之前或行进达先前预定距离期间捕获的至少一条图像数据发送到服务器。

当障碍物是作为约束原因的障碍物时，控制器可执行多个响应动作中的任一个以避让障碍物。

当在用于造成约束情形的候选中包括障碍物时，控制器可执行多个响应动作当中的任一个响应动作来输出关于约束的警告。

服务器可提取作为移动机器人的约束原因的障碍物的特征，可生成障碍物的识别模型，并且可生成包括用于避让障碍物的响应动作或用于摆脱约束情形的响应动作的障碍物信息。

服务器可响应于障碍物的特征而设置造成相对于形状与该障碍物相似的不同障碍物的约束的候选，并且可生成障碍物信息。

根据本公开，一种控制移动机器人的方法包括以下步骤：在行进的同时，通过图像获取器捕获行进方向上的图像并且存储图像数据；通过障碍物检测单元确定障碍物处于预定距离内；根据基于在确定障碍物处于预定距离内的预定时间点之前获取的图像数据所确定的障碍物来确定响应动作；在预定时间点开始针对障碍物的响应动作；以及基于响应动作进行操作并且行进以避让或穿过障碍物。

根据本公开，一种控制移动机器人的方法包括以下步骤：在行进的同时通过图像获取器周期性捕获行进方向上的图像并且存储图像数据；响应于行进状态而确定主体是否由于障碍物而受约束；当确定主体受约束时，从在确定约束的时间点之前捕获的至少一条图像数据获取障碍物信息；以及响应于障碍物信息而摆脱约束情形。

该方法还可包括以下步骤：当确定主体受约束时，将在确定约束的时间点之前捕获的至少一条图像数据发送到服务器；以及响应于从服务器接收到的障碍物信息设置响应动作，而防止主体受约束并且避让障碍物。

有利效果

根据本公开的移动机器人及其控制方法可在行进的同时捕获图像，可分析预先捕获的图像以设置相对于障碍物的多个响应动作，并且可执行多个响应动作中的任一个，因此，可根据障碍物执行预定操作。

根据本公开，即使当检测到多个不同障碍物时输入相同的检查信号，也可通过图像确定障碍物并且可根据障碍物执行不同的操作。

根据本公开，可在行进的同时捕获行进方向上的图像，因此，可通过障碍物处于预定距离内的预先捕获图像确定点确定障碍物。

根据本公开，可在障碍物处于预定距离内之前通过图像预先确定障碍物，因此，可在障碍物处于预定距离内的时间点立即执行响应操作。

根据本公开，可根据行进状态来确定移动机器人是否受约束，可分析在移动机器人受约束之前的至少一个预先捕获的图像，并且可提取作为约束原因的障碍物。

根据本公开，可响应于作为约束原因的障碍物而设置摆脱约束情形的响应动作，由此克服约束情形。

根据本公开，可设置避让作为约束原因的障碍物的响应动作，由此防止接下来行进时受约束。

根据本公开，可相对于形状与作为约束原因的障碍物相同或相似的另一障碍物设置造成约束情形的候选，并且可针对另一障碍物设置响应动作，由此防止发生约束。

根据本公开，可有效地避让障碍物，可根据障碍物的类型来执行操作，可防止移动机器人由于与障碍物碰撞而受损，可防止由于与障碍物碰撞而导致位置错误，可检测行进时的环境改变，并且可操作移动机器人。

根据本公开，移动机器人可通过以下步骤执行针对障碍物的各种响应并且可避让危险情形：通过利用服务器分析和学习障碍物获取关于新障碍物的信息并且更新关于现有障碍物的信息。

附图说明

图1是根据本公开的示例性实施方式的移动机器人的立体图。

图2是示出图1的移动机器人的水平视角的示图。

图3是图1的移动机器人的正视图。

图4是示出图1的移动机器人的底表面的示图。

图5是根据本公开的一个实施方式的移动机器人和用于识别的系统的示意图。

图6是示出图1的移动机器人的主要部件的框图。

图7和图8是示出根据本公开的移动机器人的驱动和在行进同时捕获的图像的示例的示图。

图9是用于说明根据本公开的一个实施方式的在移动机器人中识别障碍物的检测信号并识别障碍物的示图。

图10是用于说明根据本公开的一个实施方式的移动机器人根据障碍物的类型进行的操作的示图。

图11是用于说明根据本公开的一个实施方式的移动机器人和障碍识别装置之间的信号流的示图。

图12是用于说明根据本公开的一个实施方式的在移动机器人中检测障碍物和响应动作的流程图。

图13是用于说明根据本公开的一个实施方式的在移动机器人中识别障碍物并且基于此的控制方法的流程图。

图14是用于说明根据本公开的第二实施方式的移动机器人为了识别障碍物而进行的图像发送的示图。

图15是用于说明根据本公开的第二实施方式的通过移动机器人的图像来确定约束情形的方法的示图。

图16是用于说明根据本公开的第二实施方式的控制移动机器人的方法的示图。

图17是用于说明根据本公开的第二实施方式的确定移动机器人的错误的方法的流程图。

具体实施方式

参照用于例示本公开的示例性实施方式的附图，以便获得对本公开、其优点以及通过实施本公开而实现的目的的充分理解。然而，本发明可按许多不同形式来实施并且不应该被理解为限于本文中阐述的实施方式；确切地，提供这些实施方式，使得本公开将是彻底和完全的，并且将把本发明的概念充分传达给本领域的普通技术人员。此外，本文中使用的术语是出于描述特定实施方式的目的，不旨在限制本发明。附图中的类似附图标记表示类似的元件。根据本公开的控制部件可包括至少一个处理器。

图1是根据本公开的示例性实施方式的移动机器人的立体图。图2是示出图1的移动机器人的水平视角的示图。图3是图1的移动机器人的正视图。图4是示出图1的移动机器人的底表面的示图。

参照图1至图4，根据本公开的示例性实施方式的移动机器人1可沿着清洁区域的地板移动，并且可包括用于吸附地板上的诸如灰尘这样的异物的主体10以及设置在主体10的前表面上的障碍物检测装置。

主体10可包括：壳体11，其形成外观并形成用于在其中容纳主体10中包括的部件的空间；吸附单元34，其被设置在壳体11中并吸附诸如灰尘或废物这样的异物；以及左轮36(L)和右轮36(R)，其被能旋转地安装在壳体11中。当左轮36(L)和右轮36(R)旋转时，主体10可沿着清洁区域的地板移动，并且在该过程期间，可通过吸附单元34吸附异物。

吸附单元34可包括用于产生吸附力的吸附风扇(未示出)以及用于吸附经由吸附风扇的旋转产生的气流的吸附入口10h。吸附单元34可包括用于收集通过吸附入口10h吸附的气流中的异物的过滤器(未示出)以及其中容纳有过滤器收集到的异物的异物收集容器(未示出)。

主体10可包括用于驱动左轮36(L)和右轮36(R)的驱动驱动器。驱动驱动器可包括至少一个驱动马达。至少一个驱动马达可包括用于使左轮36(L)旋转的左轮驱动马达和用于使右轮36(R)旋转的右轮驱动马达。

左轮驱动马达和右轮驱动马达的操作可由控制器的驱动控制器独立地控制，因此，主体10可向前移动，可向后移动或者可转动。例如，当主体10向前移动时，左轮驱动马达和右轮驱动马达可在相同方向上旋转，但是当左轮驱动马达和右轮驱动马达以不同的速度旋转或在不同方向上旋转时，主体10的驱动方向可改变。主体10还可包括用于稳定支撑主体10的至少一个辅助轮37。

主体10还可包括多个刷子35，刷子35被设置在壳体11的底表面单元的前侧并且具有包括多个径向延伸的翼的刷子。通过多个刷子35的旋转，可从清洁区域的地板上去除灰尘，并且从地板上收集到的灰尘可通过吸附入口10h被吸附并且可被收集在收集容器中。

主体10还可包括控制面板，控制面板被设置在壳体11的上表面上并且从用户接收用于控制移动机器人1的各种命令。

如图1的(a)中所示，检测装置可包括用于使用多个传感器检测障碍物的感测单元150以及用于捕获图像的图像获取器170。

如图1的(b)中所示，检测装置可被设置在主体10的前表面上，并且可包括用于检测障碍物的障碍物检测器100和用于捕获图像的图像获取器170。障碍物检测器100可利用通过发射光学图案而捕获的图像来检测障碍物。障碍物检测器100可包括图案获取器140，并且还可包括感测单元150。

图像获取器170可被配置为面向前并且拍摄朝向行进方向的一侧，或者在必要时可被配置为面对天花板。当配置两个图像获取器时，图像获取器可被安装在主体的前表面和上端部部分上，以分别捕获前侧和天花板的图像。

障碍物检测器100可被设置在主体10的前表面上。

障碍物检测器100可被固定到壳体11的前表面，并且可包括第一图案发射单元120、第二图案发射单元130和图案获取器140。在这种情况下，图案获取器140可被设置在图案发射单元下方，或者可被设置在第一图案发射单元和第二图案发射单元之间，如图中所示。

图2中指示的发射角θh可指示从第一图案发射单元120发射的第一图案光束P1的水平发射角，可指示第一图案发射单元120与水平线的相对端部之间的角度，并且可被确定在130°至140°的范围内，但是本公开不限于此。图2中指示的虚线指向移动机器人1的前侧，并且第一图案光束P1可被配置为相对于虚线对称。

主体10可包括可再充电电池38，并且电池38的充电端子33可连接到商用电源(例如，家庭中的电源插座)，或者主体10可被对接到连接到商用电源的单独的充电台400上，并且可连接到商用电源以对电池38进行再充电。移动机器人1中包括的电气部件可从电池38接收电力，因此，当电池38被再充电时，移动机器人1可在移动机器人1与商用电源电分离的状态下自主驱动。

移动机器人1可接收相对于行进区域H的预定清洁区域的清洁命令，并且可执行清洁。移动机器人1可分析在行进的同时捕获的图像，并且可确定障碍物的类型。

移动机器人1可检测在行进区域H中存在的多个障碍物2和3以识别障碍物，并且可根据障碍物的类型执行靠近、穿过和避让操作中的任一个。在这种情况下，移动机器人1可避让障碍物而不是靠近障碍物，可靠近预定距离处的障碍物，然后根据障碍物的形状，可执行预定操作，可靠近障碍物接着可避让障碍物，或者可穿过障碍物。

移动机器人1可在行进的同时通过移动机器人1中包括的图像获取器170拍摄朝向行进方向的一侧，并且可通过障碍物检测器100检测处于预定距离内的障碍物。移动机器人1可通过图像获取器170连续拍摄朝向行进方向的一侧，或者可根据设置以预定间隔捕获图像。

移动机器人1可存储在行进的同时捕获的图像，并且当通过障碍物检测器100检测到障碍物时，移动机器人1可选择与其对应的可执行响应动作，然后可根据障碍物(具体地，根据通过图像分析确定的障碍物的类型)来执行对应于障碍物的响应动作。

即使相对于不同的障碍物输入了相同的检测信号，移动机器人1也可基于所捕获的图像来分析障碍物，可设置对应于障碍物的响应动作，因此，可执行与其相对应的操作。

当捕获图像时，移动机器人1可按预定间隔分析图像，并且可识别图像中包括的障碍物，并且当障碍物检测器100检测到障碍物处于预定距离内时，移动机器人1可基于障碍物的预定类型来执行与响应动作对应的操作。

例如，当所确定的障碍物是危险障碍物时，移动机器人1可避让障碍物而不是靠近障碍物，并且当所确定的障碍物是一般障碍物时，移动机器人1可按近距离靠近障碍物或者可与障碍物碰撞，然后可避让障碍物。

移动机器人1可基于存储在其中的数据来确定障碍物的类型，并且可连接到服务器90或终端80，并且可确定障碍物的类型。移动机器人1可连接到单独的通信装置(未示出)，以便通过网络N与服务器90通信。

移动机器人1可相对于在行进的同时捕获的图像过滤每条图像数据，并且可按预定间隔将图像数据发送到服务器或终端以请求障碍物信息，因此，可从服务器或终端接收图像数据中包括的障碍物信息。当障碍物检测器100确定障碍物处于预定距离内时，移动机器人1可立即通过图像数据检查障碍物。

终端80可包括用于控制移动机器人1的应用程序，可通过执行该应用程序来显示要由移动机器人1清洁的行进区域的地图，并且可确定地图上的特定区域以使移动机器人1清洁该区域。终端80可基于从移动机器人接收的数据来显示移动机器人的位置，并且可显示关于清洁状态的信息。

终端可以是这样的装置，即包括安装在其中的通信模块，连接到网络并且具有用于控制移动机器人的程序或用于控制安装在其中的移动机器人的应用程序，并且终端可以是计算机、膝上型计算机、智能手机、PDA或平板PC。另外，终端还可以是诸如智能手表这样的可穿戴装置。

终端80可通过在家庭中建立的网络连接到移动机器人。终端和移动机器人可使用WIFI连接，也可使用诸如蓝牙(Bluetooth)、红外线通信或Zigbee这样的短距离无线通信方法彼此通信。可注意到，终端与移动机器人的通信不限于此。

终端80可响应于从移动机器人1接收的图像而确定障碍物的类型。终端80可基于预先存储的数据来确定障碍物的类型，或者可连接到服务器以确定障碍物的类型。例如，当不可能经由与网络的连接将移动机器人1连接到服务器时，终端80可接收移动机器人的数据并且可将数据发送到服务器。

终端80可将图像显示在屏幕上，可通过用户输入来输入障碍物的类型，可将输入信息发送到移动机器人，并且可通过应用程序的菜单来确定特定障碍物的操作。

服务器90可分析从通过预定网络N与其连接的移动机器人1接收的图像数据，可确定障碍物的类型，并且可将对其的响应发送到移动机器人1。当有来自终端的请求时，服务器90可确定障碍物的类型并且可响应该请求。

服务器90可累积从多个移动机器人1接收的图像数据，可分析这多条图像数据，并且可学习障碍物。

服务器90可包括用于基于这多条图像数据来识别障碍物的数据库(未示出)，并且可识别从图像数据中提取的障碍物的特征，并且可确定障碍物的类型。

服务器90可累积并存储障碍物信息，可分析障碍物信息，并且可确定障碍物的类型。服务器90可根据障碍物的类型对其进行分类，并且可将移动机器人1的相对于障碍物的操作设置为至少一个响应动作。

服务器90可分析新的障碍物信息并且可更新预先存储的障碍物信息。服务器90可接收并存储由终端80设置或改变的关于移动机器人相对于障碍物的操作的信息，可使该信息与预先存储的障碍物信息匹配，并且可更新移动机器人相对于障碍物的操作的设置。

图6是示出图1的移动机器人的主要部件的框图。

如图6中所示，移动机器人1可包括障碍物检测器100、图像获取器170、清洁器260、行进单元250、数据单元180、输出单元190、操纵器160、通信器280和用于控制整体操作的控制器110。

操纵器160可包括至少一个按钮、开关和触摸输入装置，并且可接收移动机器人1的整体操作所需的开/关或各种命令，并且可将命令输入到控制器110。

输出单元190可包括诸如LED或LCD这样的显示器，并且可显示操作模式、预约信息、电池状态、操作状态、错误状态等。输出单元190可包括扬声器或蜂鸣器，并且可输出与操作模式、预约信息、电池状态、操作状态或错误状态对应的预定的声音效果、警告喇叭或语音指导。

通信器280可使用无线通信方法与终端80通信。通信器280可连接到互联网并且可通过家庭中的网络与外部服务器90通信。

通信器280可将所生成的地图发送到终端80，可从终端接收清洁命令，并且可将移动机器人的操作状态和清洁状态的数据发送到终端。通信器280可使用诸如WiFi或Wibro这样的通信模块以及诸如Zigbee或蓝牙(Bluetooth)这样的短距离无线通信来发送和接收数据。

通信器280可通过通信器280将关于障碍物检测器100检测到的障碍物的信息发送到服务器90，并且可从服务器接收障碍物的数据。通信器280可从终端80接收关于在行进区域中存在的障碍物的信息和基于此的操作信息，并且可将移动机器人的操作数据发送到终端80。

行进单元250可包括至少一个驱动马达，并且可使移动机器人根据行进控制器113的控制命令而行进。如上所述，行进单元250可包括用于使左轮36(L)旋转的左轮驱动马达和用于使右轮36(R)旋转的右轮驱动马达。

清洁器260可操作刷子，以使当前状态成为容易吸附移动机器人周围的灰尘或异物的状态，并且可操作吸附装置以吸附灰尘或异物。清洁器260可控制吸附单元34中包括的吸附风扇的操作，以便吸附诸如灰尘或废物这样的异物，以将灰尘通过吸附入口注入到异物收集容器(灰尘容器)。

清洁器260还可包括拖把清洁器(未示出)和水瓶(未示出)，拖把清洁器安装在主体的底表面后方以接触地板并被配置为对地板进行湿拖地，水瓶被配置为向拖把清洁器供应水。

电池(未示出)可供应移动机器人1以及驱动马达的整体操作所需的电力。当电池放电时，移动机器人1可行进返回到充电台400以便进行充电，并且在移动返回的同时，移动机器人1可自主地检测充电台的位置。充电台400可包括用于发送预定返回信号的信号发送器(未示出)。返回信号可以是超声信号或红外(IR)信号，但是不限于此。

数据单元180可存储从障碍物检测器100或感测单元150输入的检测信号，可存储用于确定障碍物的参考数据，并且可存储关于检测到的障碍物的障碍物信息。

数据单元180可存储用于确定障碍物类型的障碍物数据181、用于存储所捕获的图像的图像数据182以及区域的地图数据183。地图数据183可包括障碍物信息，并且可存储由移动机器人搜索的并且移动机器人能够在其中行进的区域的基本地图、通过将基本地图划分成多个区域而形成的清洁地图、通过安排清洁地图的多个区域的形状以便用户检查其而生成的用户地图以及通过将清洁地图和用户地图彼此交叠而显示的引导地图。

障碍物数据181可以是用于识别障碍物并确定障碍物类型的数据，并且可包括关于移动机器人相对于识别到的障碍物的操作的信息，例如，关于行进速度、行进方向、移动机器人是否避让障碍物、移动机器人是否停止等的动作信息，并且可包括通过扬声器173输出的声音效果、警告喇叭和语音指导的数据。图像数据182可包括所捕获的图像和从服务器接收的用于障碍物识别的识别信息。

数据单元180可存储用于控制移动机器人的操作的控制数据、移动机器人的清洁模式的数据以及感测单元150的超声波/激光等的检测信号。

数据单元180可存储将由微处理器读取的数据，并且可包括硬盘驱动器(HDD)、固态盘(SSD)、硅盘驱动器(SDD)、ROM、RAM、CD-ROM、磁带、软盘或光学数据存储装置。

障碍物检测器100可包括第一图案发射单元120、第二图案发射单元130和图案获取器140。如以上参照图1的(a)描述的，当不包括图案发射单元时，可在没有发射的图案的情况下从由图像获取器捕获的图像中检测障碍物。

障碍物检测器100可包括多个图像获取器。当障碍物检测器100包括图案发射单元时，障碍物检测器100还可包括用于捕获包括图案的图像的图像获取器以及用于拍摄行进方向侧或前向上侧的单独的图像获取器。

障碍物检测器100可包括第一图案发射单元120、第二图案发射单元130和图案获取器140。障碍物检测器100可包括至少一个传感器中包括的感测单元150。在必要时，障碍物检测器100可包括传感器。

如上所述，障碍物检测器100可被安装在主体10的前表面上，可将第一图案光束P1和第二图案光束P2发射到移动机器人的前侧，并且可拍摄所发射的图案光束以获取包括图案的图像。障碍物检测器100可将所获取的图像作为障碍物检测信号输入到控制器110。

障碍物检测器100的第一图案发射单元120和第二图案发射单元130可包括光源和光学图案投影元件(OPPE)，以便通过投射从光源发射的光来产生预定图案。光源可以是激光二极管(LD)、发光二极管(LED)等。与其他光源相比，LD由于具有优异的单色性、笔直特性和界面特性而能够精确地测量距离，具体地，红外线或可见光的问题在于，出于诸如目标对象的颜色或材料这样的原因，测量距离的精度存在大偏差，因此，LD可被用作光源。光学图案投影元件(OPPE)可包括透镜和衍射光学元件(DOE)。根据图案发射单元120和130中的每一个中包括的OPPE的配置，可发射具有各种图案的光束。

图案获取器140可获取主体10的前侧的图像。具体地，可在由图案获取器140获取的图像(下文中，所获取的图像)中指示图案光束P1和P2，并且在下文中，在所获取的图像上指示的图案光束P1和P2的图像可被称为光图案，并且光图案是通过将基本上入射到实际空间上的图案光束P1和P2聚焦到图像传感器上而形成的图像，因此，表示诸如图案光束P1和P2这样的附图标记，并且分别与第一图案光束P1和第二图案光束P2对应的图像可分别被称为第一光图案P1和第二光图案P2。

当不包括图案发射单元时，图案获取器140可获取不包括图案光束的主体的前侧的图像。

图案获取器140可包括相机，该相机用于将受试对象的图像转换成电信号，将电信号重新变为数字信号，然后将数字信号记录在存储装置中。相机可包括：图像传感器(例如，CMOS图像传感器)，其包括至少一个光学透镜和多个二极管(光电二极管，例如，像素)，以通过使光穿过光学透镜来形成图像；以及数字信号处理器(DSP)，其用于基于从光电二极管输出的信号来配置图像。除了静止图像之外，DSP还可生成包括含静止图像的帧的视频图像。

图像传感器可以是用于将光学图像转换成电信号的装置，并且可包括其上集成有多个光学二极管的芯片，并且光学二极管可以是例如像素。根据通过使光穿过透镜而形成在芯片上的图像，电荷可累积在每个像素上，并且累积在像素上的电荷可被转换成电信号(例如，电压)。电荷耦合器件(CCD)、互补型金属氧化物半导体(CMOS)等是众所周知的图像传感器。

图像处理器可基于从图像传感器输出的模拟信号来生成数字图像。图像处理器可包括：AD转换器，其用于将模拟信号转换成数字信号；缓冲存储器，其用于根据从AD转换器输出的数字信号来暂时记录数字数据；以及数字信号处理器(DSP)，其用于处理记录在缓冲存储器中的信息，以配置数字图像。

障碍物检测器100可通过所获取的图像来分析图案，并且可根据图案的形状来检测障碍物，并且感测单元150可通过传感器来检测处于每个传感器的检测距离处的障碍物。

感测单元150可包括多个检测器，以检测障碍物。感测单元150可使用激光束、超声波或红外线中的至少一个来检测主体10的前侧，即，行进方向上的障碍物。感测单元150还可包括用于检测在行进区域中的地板上是否存在斜坡的斜坡检测传感器。当所发射的信号被反射并输入到感测单元150时，感测单元150可将关于是否存在障碍物的信息或关于与障碍物的距离的信息作为障碍物检测信号输入到控制器110。

当移动机器人被操作时，图像获取器170可捕获连续的图像。图像获取器170可以预定时间段捕获图像。即使在障碍物检测器100未检测到障碍物的行进或清洁状态下，图像获取器170也可捕获图像。

例如，在图像获取器170执行一次拍摄之后，当移动机器人在行进方向上移动时，在保持行进方向而非改变行进方向的同时被拍摄一次的图像中仅仅所拍摄障碍物的大小改变，因此，可周期性捕获图像。图像获取器170可以预定时间或预定距离为单元捕获图像。图像获取器170可在行进方向改变的同时捕获新图像。

图像获取器170可根据移动机器人的移动速度来设置拍摄时间段。图像获取器170可考虑传感器单元的检测距离和移动机器人的移动速度来设置拍摄时间段。

图像获取器170可将在主体行进的同时捕获的图像作为图像数据182存储在数据单元180中。

障碍物检测器100可检测处于行进方向上的路径中的障碍物，并且可将检测信号输入到控制器。障碍物检测器100可将关于检测到的障碍物的位置的信息或关于其移动的信息输入到控制器110。图案获取器140可包括图像，该图像包括由图案发射单元向控制器发射的作为检测信号的图案，并且感测单元150可将由传感器检测到的障碍物的检测信号输入到控制器。

控制器110可控制行进单元250，以允许移动机器人在行进区域H中确定的行进区域中行进。

在行进的同时，控制器110可控制行进单元250和清洁器260吸附移动机器人周围的灰尘或异物，因此，可在行进区域中执行清洁。因此，清洁器260可操作刷子，以使当前状态成为容易吸附移动机器人周围的灰尘或异物的状态，并且可操作吸附装置以吸附灰尘或异物。控制器110可控制清洁器以吸附异物并在行进的同时执行清洁。

控制器110可检查电池的充电容量，并且可确定返回充电台的时间。当充电容量达到预定值时，控制器110可停止所执行的操作，并且可开始搜索充电台，以便返回到充电台。控制器110可输出电池的充电容量的通知和返回到充电台的通知。

控制器110可通过根据操纵器160的操纵处理输入数据来设置移动机器人的操作模式，可通过输出单元190输出操作状态，并且可通过扬声器基于检测到的操作状态、错误状态或障碍物来输出警告喇叭、声音效果或语音指导。

控制器110可识别由图像获取器170或障碍物检测器100检测到的障碍物，并且可设置并执行与该障碍物对应的多个响应动作中的任一个。

控制器110可从由图像获取器170捕获的图像中确定障碍物，并且当障碍物检测器100检测到障碍物镜处于预定距离内时，控制器可相对于障碍物设置和操作响应动作。

在障碍物检测器100检测到障碍物之前，控制器110可分析通过图像获取器170捕获的图像(即，图像数据)，并且可确定图像数据中包括的障碍物。控制器110可通过包含在其中的数据来确定障碍物，还可通过通信器将图像数据发送到服务器或终端，并且可确定障碍物的类型。

当障碍物检测器100在捕获图像之后检测到障碍物处于预定距离内时，如果用于根据对应障碍物的类型设置响应动作的传感器单元基于检测信号来检测对应障碍物，则控制器110可使主体根据预先识别到的障碍物的类型来执行所确定的操作。

当根据障碍物检测单元的检测距离检测到障碍物时，控制器110可执行与障碍物对应的操作，并且即使障碍物检测单元检测到障碍物，当障碍物处于预定距离内时，也可执行对应于障碍物的操作。

例如，当通过图案获取器从检测信号中最初检测到与障碍物的距离和通过超声波传感器检测到与障碍物的距离不同时，相对于障碍物输入检测信号的时间可改变。因此，当如同在激光传感器中一样，存在用于检测障碍物的多个元件或者用于检测障碍物的距离等于或大于预定距离时，控制器110可在障碍物处于预定距离(例如，30cm)内时基于由障碍物检测器100检测到的与障碍物的距离来执行多个响应动作中的任一个。

控制器110可基于相对于障碍物的检测信号，根据检测信号的形状来确定多个响应动作当中的可执行响应动作，可分析图像数据以识别图像中包括的障碍物，因此，可选择响应动作中的任一个来控制主体的操作。

例如，当检测信号对应于图案中包括的图像时，控制器可根据图案的形状基于不同的检测信号来确定障碍物，并且可根据检测信号即图案的形状来确认障碍物。

当通过图像识别障碍物时，控制器110可在障碍物检测单元输入检测信号之前或者在输入障碍物检测信号时相对于以预定时间段捕获的图像来确定障碍物。在必要时，控制器110可将数据发送到服务器90或终端80，并且可接收关于障碍物的数据。

例如，当控制器110相对于不同的障碍物、门槛、风扇或桌子输入相同的检测信号时，控制器110可相对于对应的检测信号选择多个可执行的响应动作，相对于门槛、风扇或桌子设置相应的响应动作，并且可通过图像数据控制操作。

控制器110可包括障碍物识别单元111、地图生成器112和行进控制器113。

当执行初始操作或者未存储清洁区域的地图时，地图生成器112可在移动机器人在清洁区域中行进的同时基于障碍物信息来生成清洁区域的地图。地图生成器112可基于在行进的同时获取的障碍物信息来生成预先生成的地图。

地图生成器112可基于在行进的同时从障碍物识别单元111获取的信息来生成基本地图，并且可通过将基本地图划分为多个区域来生成清洁地图。地图生成器112可通过安排清洁地图的区域并且设置区域的属性来生成用户地图和指导地图。基本地图可以是指示通过利用清洁区域的轮廓行进而获取的清洁区域的形状的地图，并且清洁地图可以是通过将基本地图划分成多个区域而形成的地图。基本地图和清洁地图可以包括关于移动机器人能够在其中行进的区域的信息以及障碍物信息。用户地图可以是通过简化清洁地图的区域、安排和处理区域轮廓的形状并且添加视觉效果而形成的地图。指导地图可以是通过将清洁地图与用户地图彼此重叠而获得的地图。指导地图可指示清洁地图，因此，可基于移动机器人实际在其中行进的区域来输入清洁命令。

在生成基本地图之后，地图生成器112可通过将清洁区域划分成多个区域、添加用于将多个区域连接到地图的连接路径并且将关于每个区域中的障碍物的信息添加到地图来生成地图。地图生成器112可生成地图，其中通过将地图上的区域划分成多个子区域以设置代表性区域、将所划分的子区域设置为单独的详细区域并且将详细区域合并成代表性区域进行区域分离。

地图生成器112可针对分离的区域处理区域的形状。地图生成器112可设置分离的区域的属性，并且可根据区域的属性来处理区域的形状。

障碍物识别单元111可通过来自图像获取器170或障碍物检测器100的输入来确定障碍物，并且地图生成器112可生成行进区域的地图并且可将关于检测到的障碍物的信息添加到地图。行进控制器113可控制行进单元250以响应于障碍物信息而改变移动方向或行进路径，或者行进穿过障碍物或避让障碍物。

行进控制器113可控制行进单元250独立地操作左轮驱动马达和右轮驱动马达，因此，主体10可行进以直行或转弯。行进控制器113可根据清洁命令来控制行进单元250和清洁器260，并且可在主体10在清洁区域中行进的同时吸附异物以执行清洁。

障碍物识别单元111可分析从障碍物检测器100输入的数据并且可确定障碍物。障碍物识别单元111可根据障碍物检测单元的检测信号(例如，超声波或激光束的信号)来计算障碍物的距离或与障碍物的距离，可分析包括图案的所捕获图像以提取图案，并且可确定障碍物。当使用超声波或红外线信号时，根据障碍物的距离或障碍物的位置改变接收到的超声波的形状和接收超声波的时间，障碍物识别单元111可基于此来确定障碍物。

当图像获取器170输入通过拍摄障碍物而获得的图像数据时，障碍物识别单元111可将图像数据存储在数据单元180中。图像获取器170可多次拍摄前方障碍物，因此，也可存储多条图像数据。当图像获取器170在行进方向上连续捕获图像时，障碍物识别单元111可将输入视频图像作为图像数据存储，或者可以以帧为单元划分视频图像，并且可将视频图像作为图像数据存储。

障碍物识别单元111可以帧为单元分析视频图像，可去除不必要的帧(即，目标对象抖动的帧、未聚焦的帧或空帧(没有拍摄到障碍物的帧))，并且可以预定时间单元将帧作为图像数据存储。

障碍物识别单元111可分析多条图像数据，并且可确定是否识别到所拍摄的目标对象，即，障碍物。在这种情况下，障碍物识别单元111可分析图像数据并且可确定图像数据是否可识别。例如，障碍物识别单元111可分离并丢弃抖动图像、未聚焦图像或由于黑暗未确认障碍物的图像。

障碍物识别单元111可分析图像数据以提取障碍物的特征，并且可基于障碍物的形状、大小和颜色进行确定，以确定障碍物的位置。

障碍物识别单元111可从多个预先捕获的图像中分析障碍物，并且可基于确定障碍物处于预定距离内的时间来分析在预定时间之前捕获的图像，以在接收到障碍物的检测信号之后确定障碍物。

在移动机器人靠近预定距离内的障碍物的状态下，仅拍摄障碍物的一部分，因此，可使用通过拍摄障碍物的完整形状而捕获的图像来确定障碍物，因为障碍物是在所确定时间之前被拍摄的，即，障碍物是在比预定距离远的距离处被拍摄的。障碍物识别单元111可确定障碍物的详细类型，并且在必要时，可仅确定障碍物的形状和大小。

障碍物识别单元111可从图像数据中排除图像的背景，可基于预先存储的障碍物数据来提取障碍物的特征，并且可确定障碍物的类型。可基于从服务器接收到的新障碍物数据来更新障碍物数据181。移动机器人1可存储检测到的障碍物的障碍物数据，并且可相对于其他数据从服务器接收障碍物类型的数据。

障碍物识别单元111可从图像中包括的预定像素中检测诸如点、线或面这样的特征，并且可基于检测到的特征来检测障碍物。

障碍物识别单元111可提取障碍物的轮廓，可基于其形状来识别障碍物，并且可确定障碍物的类型。障碍物识别单元111可基于形状根据障碍物的颜色或大小来确定障碍物的类型。障碍物识别单元111可基于障碍物的形状和移动来确定障碍物的类型。

障碍物识别单元111可基于障碍物信息来区分人、动物和物体。障碍物识别单元111可将障碍物的类型分为一般障碍物、危险障碍物、生物障碍物和地板障碍物，并且可针对每种类别确定障碍物的详细类型。

障碍物识别单元111可通过通信器280将可识别的图像数据发送到服务器90，并且可确定障碍物的类型。通信器280可将至少一条图像数据发送到服务器90。

当从移动机器人1接收到图像数据时，服务器90可分析图像数据，以提取被拍摄物体的轮廓或形状，并且可将所提取的信息与预先存储的物体的数据进行比较，并且可确定障碍物的类型。服务器90可优先搜索具有相似形状或相似颜色的障碍物，可从对应的图像数据中提取特征，并且可比较该信息，因此可确定障碍物的类型。

服务器90可确定障碍物的类型，然后可将障碍物的数据发送到移动机器人1。

障碍物识别单元111可将通过通信器从服务器接收的障碍物的数据作为障碍物数据存储在数据单元180中。当服务器确定障碍物的类型时，障碍物识别单元111可执行与其对应的操作。行进控制器113可响应于障碍物的类型而控制行进单元避让、靠近或穿过障碍物，并且在必要时，可通过扬声器输出预定的声音效果或警告喇叭或语音指导。

如上所述，障碍物识别单元111可确定是否可识别图像数据，并且可根据所存储的障碍物数据将图像数据发送到服务器，因此，可根据服务器的响应来识别障碍物的类型。

障碍物识别单元可存储用于相对于从多个障碍物当中选择的障碍物进行障碍物识别的障碍物数据，因此，即使图像数据未被发送到服务器，障碍物识别单元也可基于障碍物识别数据来识别障碍物。

数据单元180的存储容量有限制，因此，控制器110可将关于所选择障碍物的一部分的信息作为障碍物识别数据存储。例如，控制器110可相对于通过终端80选择的障碍物或基于检测次数被检测大量次数的障碍物，将障碍物识别数据存储在数据单元中。

因此，障碍物识别单元111可将关于清洁区域中存在的障碍物或重复检测到的障碍物的信息存储在数据单元中，因此，当检测到障碍物时，可立即执行与其对应的操作。

当从图像数据中识别到障碍物的类型时，行进控制器113可控制行进单元250，以允许主体10响应于障碍物的类型而执行预定操作。

当根据障碍物检测器100的检测信号确定要设置在预定距离内的障碍物时，行进控制器113可相对于要根据检测信号的类型或形状而执行的响应动作，根据基于图像数据确定的障碍物的类型、形状或大小来设置并执行多个响应动作中的任一个。

行进控制器113可确定移动机器人是否能够行进或进入，可设置行进路径/清洁路径以允许移动机器人靠近障碍物，穿过障碍物，或避让障碍物，并且可响应于由障碍物识别单元111识别到的障碍物而控制行进单元250。

例如，行进控制器113可响应于障碍物而停止、减速、加速、反向、掉头和改变行进方向，可防止主体10靠近预定距离或更大距离处的障碍物，并且可使主体10等待预定时间。行进控制器113可通过扬声器输出根据障碍物确定的声音，并且可与预定操作一起输出声音。

当障碍物检测器100检测到要设置在预定距离内的障碍物时，行进控制器113可根据检测信号来设置诸如避让、靠近、设置靠近距离、停止、减速、加速、反向、掉头和改变行进方向这样的多个响应动作，并且可根据从所捕获的图像数据中确定的障碍物来设置任一个响应动作，可控制行进单元。

行进控制器113可根据输入检测信号来设置多个响应动作，并且在这种情况下，可控制行进单元，以响应于在输入检测信号的时间之前从预先捕获的图像数据中确定的障碍物而执行多个响应动作中的任一个。

当通过图像数据确定障碍物的详细类型时，行进控制器113可根据障碍物的类型来设置响应动作，并且即使不可能准确地确定障碍物的类型，行进控制器113可根据障碍物的形状或大小来设置响应动作。例如，当不知道障碍物的详细类型，但是存在距地板表面达预定大小的空间(即，具有使移动机器人能够穿过其中的高度和宽度的空间)时，行进控制器113可将对主体的响应动作设置为穿过障碍物。

下文中，将描述根据第二实施方式的移动机器人。

根据第二实施方式的移动机器人可如表示第一实施方式的图1至图6中所示地配置。根据第二实施方式的移动机器人可用与第一实施方式中相同的硬件来配置，并且在图6中示出了基于此的控制部件。

如以上参照图6描述的，根据第二实施方式的移动机器人1可包括障碍物检测器100、图像获取器170、清洁器260、行进单元250、数据单元180、输出单元190、操纵器160、通信器280和用于控制整体操作的控制器110。控制器110可包括障碍物识别单元111、地图生成器112和行进控制器113。

因此，针对根据第二实施方式的移动机器人，对于与第一实施方式中相同的部件，表示相同的术语和相同的附图标记。相对于与第一实施方式中相同的部件，根据第二实施方式的移动机器人可遵循对第一实施方式的描述，并且以下将省略对其的描述。

根据第二实施方式的移动机器人可在行进的同时捕获多个图像，并且在这种情况下，可周期性地捕获和存储图像，可通过对应的图像预先检测障碍物，然后可在与障碍物的距离变为预定距离时，执行预定操作。

当存储通过拍摄朝向行进方向的一侧而获得的图像数据时，障碍物识别单元111可通过所存储的图像数据来确定障碍物。即使没有从障碍物检测单元输入单独的障碍物检测信号，障碍物识别单元111也可分析图像数据并且可识别图像数据中包括的障碍物。

当障碍物识别单元11从图像数据中确定障碍物，然后根据障碍物检测器100的检测信号使障碍物处于预定距离内时，行进控制器可响应于障碍物而设置响应动作，因此可执行响应动作。

即，根据第一实施方式和第二实施方式，在检测到障碍物之后，可分析图像并且可确定是否识别到障碍物或从图像中是否预先识别到障碍物，就此而言，可从图像中检测到障碍物，并且可根据障碍物的类型来设置和执行响应动作。

行进控制器113可相对于在行进的同时出现的各种情况确定危险情形，可向服务器发送基于出现危险情形的时间点预先捕获的图像数据，并且可请求障碍物信息，以便防止危险情形或者为危险情形做好准备。

例如，当在移动机器人进入障碍物之后由于预定障碍物而出现约束情形时，行进控制器113可向服务器发送在确定约束情形的时间点之前的预定时间捕获的图像或者在移动机器人行进的同时捕获的至少一条图像数据。当预定时间内的行进距离小于预定距离时，行进控制器113可将当前情形确定为约束情形。

约束情形可以是指主体的移动受约束和限制的状态，因为由于障碍物，不可能使主体移动达预定的距离或更大距离。

在行进的同时，当出现危险情形(例如，特定物体掉落在主体的上面或前方)时，行进控制器113可将在危险情形之前捕获的图像数据发送到服务器。例如，花瓶等可能在行进的同时由于与障碍物碰撞而掉落。

行进控制器113可输出错误，并且在必要时，可输出预定的警告喇叭或语音指导。

当出现危险情形时，行进控制器113可接收基于发送到服务器的图像数据而生成的障碍物信息，可更新数据单元的障碍物信息，可将对应的障碍物确定为作为危险情形原因的障碍物，然后可使移动机器人能够行进并避让障碍物。

服务器90可相对于预定时间或预定距离分析接收到的多条图像数据，可将障碍物确定为危险情形的原因，可生成对应障碍物的识别模型，可设置不靠近或进入障碍物的响应动作，可相对于所设置的响应动作更新障碍物信息，并且可将更新后的障碍物信息发送到移动机器人1。

服务器90可将障碍物确定为约束情形的原因，可设置包括对应障碍物的特征和针对该特征的响应动作的障碍物信息，以使移动机器人避让对应障碍物而不进入障碍物，并且可将障碍物信息发送到移动机器人。当花瓶在与障碍物碰撞的情况下掉落时，服务器90可分析图像，可确定放在花瓶上的障碍物，可设置响应动作以防止移动机器人靠近对应的障碍物，并且可生成障碍物信息。

行进控制器113可使移动机器人能够根据相对于从服务器接收到的约束情形的响应动作来行进并避让对应的障碍物。当在检测到的障碍物中出现约束情形时，行进控制器113可控制行进单元靠近然后避让预定距离的对应障碍物，或者在检测到障碍物之后立即改变行进方向并避让障碍物。

如图7中所示，在行进的同时，移动机器人1可检测处于主体10前方的障碍物。

当移动机器人1朝向如图7的(a)中所示的行进区域H中的窗口O4行进时，可捕获图7的(b)中示出的图像。所捕获的图像可包括处于朝向行进方向的一侧的多个障碍物O01至O06。

图像获取器170可连续捕获图像或者可以预定时间段重复捕获图像。

当移动机器人1笔直行进时，随着移动机器人靠近障碍物，可如图8所示以放大形式拍摄障碍物。

在所捕获的图像中，随着移动机器人1的主体行进，处于朝向移动机器人的行进方向的一侧的障碍物的区域可增大，并且处于移动机器人的行进方向的相对侧的障碍物的区域可减小。

如图8的(a)中所示，随着移动机器人行进，移动机器人可靠近处于区域中的多个障碍物O01至O06当中的第二障碍物O02和第三障碍物O03。因此，通过图像获取器170捕获的图像可包括通过如图8的(b)所示拍摄第二障碍物O02和第三障碍物O03而形成的图像。

障碍物识别单元111可存储在与图7相同的位置处捕获的图像，并且可通过所存储的图像数据来检测和识别多个障碍物O01至O06。如图8中所示，当移动机器人1靠近第二障碍物O02和第三障碍物O03时，障碍物检测器100可输入检测信号，并且障碍物识别单元111可确定障碍物处于预定距离内并且可基于预先捕获的图像数据来确定障碍物。障碍物识别单元111可在输入检测信号之前确定障碍物，可将图像数据发送到服务器或终端，并且可确定障碍物。

当移动机器人1的行进方向改变时，如果根据检测信号确定障碍物，则在行进方向改变之前捕获的图像数据在朝向行进方向的一侧不包括障碍物的可能性高，因此，可基于在行进方向改变之后的图像来确定障碍物。因此，当根据障碍物检测器100的检测信号障碍物处于预定距离内时，移动机器人1可基于在相同行进方向上预先捕获的图像数据来确定障碍物。

移动机器人1可从所捕获的图像数据中识别障碍物，并且可确定障碍物的类型。图像获取器170可存储在行进的同时捕获的图像数据，并且控制器可以预定时间段分析图像，并且在这种情况下，当障碍物检测器100确定障碍物或障碍物处于预定距离内时，控制器可使用预先捕获的图像数据来确定障碍物。

控制器可如上所述通过相对于第二障碍物O02和第三障碍物O03的图像数据来确定关于障碍物的类型、形状和大小的信息，因此，可响应于此而控制行进单元执行响应动作。

例如，当接收到相对于作为桌子的第二障碍物O02的第二障碍物的检测信号时，控制器110可选择靠近之后的诸如避让和进入这样的两个响应动作，可分析图像数据，并且可根据移动机器人是否进入桌子下方的空间来确定和操作响应动作中的任一个。

即使桌子具有相同的类型，桌子也具有不同的尺寸，桌子下方的空间也具有不同的大小，并且移动机器人也具有不同的大小，因此，移动机器人是否进入桌子下方的空间可改变，从而控制器可基于障碍物检测器100的检测信号来设置多个可执行的响应动作(例如，靠近之后避让、进入或穿过)，并且可通过图像分析根据障碍物的类型、形状和大小来选择和执行多个响应动作中的任一个。

可根据桌子的高度和桌子腿的宽度以及行进方向来确定移动机器人是否进入桌子下方的空间。相对于同一桌子(即，第二障碍物O02)，可根据是否存在诸如第三障碍物O03这样的椅子来改变响应动作。

因此，当输入检测信号时，移动机器人可相对于障碍物设置处理检测信号的多个响应动作，并且可基于通过图像确定的障碍物信息来设置任一个响应动作，因此，可相对于桌子根据障碍物的大小或形状或移动机器人的主体的大小来执行不同的响应动作。

图9是用于说明根据本公开的一个实施方式的在移动机器人中识别障碍物的检测信号并识别障碍物的示图。图10是用于说明根据本公开的一个实施方式的移动机器人根据障碍物的类型进行的操作的示图。

如图9的(a)中所示，当检测到障碍物处于预定距离内时，障碍物检测器100可输入其检测信号。

当图案获取器拍摄从图案发射单元发射的图案时，障碍物检测器100可显示发射到障碍物的图案P1，如图中所示。

当图案处于参考线ref1上方时，障碍物识别单元111可确定具有预定高度的障碍物处于朝向行进方向的一侧。

因此，行进控制器可响应于检测信号而相对于处于移动机器人前方的障碍物设置多个可执行的响应动作。例如，可设置诸如避让、靠近、进入或穿过这样的响应动作。

当输入检测信号时，障碍物识别单元111可分析预先捕获的图像数据(即，在输入检测信号之前捕获的图像数据)，并且可确定处于朝向行进方向的一侧的障碍物。

当如图9的(b)中所示图案被发射到空调的下部部分时，当如图9的(c)中所示图案被发射到风扇的支撑件时，当如图9的(d)中所示图案被发射到门槛时，以及当如图9的(e)中所示图案被发射到小盒子时，可拍摄以上提到的图9的(a)中示出的图案，以形成图像。

尽管障碍物不同，但是由于检测到相同的图案，所以障碍物识别单元111可基于预先捕获的图像来确定障碍物。

如图10中所示，可分析在输入检测信号之前捕获的图像，并且可将处于朝向行进方向的一侧的障碍物确定为风扇。

如图10的(a)中所示，当移动机器人1存储在行进的同时捕获的图像并且障碍物检测器100检测到障碍物处于预定距离内时，障碍物识别单元111可分析预先捕获的图像，可识别图像数据中的所拍摄的障碍物，并且可确定诸如障碍物的类型、大小或形状这样的关于障碍物的信息。

障碍物识别单元111可分析在输入检测信号之前捕获的图像数据，即，在比预定距离远的距离处拍摄障碍物的时间点捕获的图像数据。

例如，当在第二距离D02处输入检测信号时，障碍物识别单元111可如图10的(c)中所示仅拍摄第二距离处的障碍物的一部分，因此，分析在输入障碍物的检测信号之前(即，在输入检测信号的时间点之前的预定时间)捕获的图10的(b)中示出的图像，并且可确定障碍物。障碍物识别单元1111可捕获相同行进方向上的图像。

当主体的行进方向改变时，障碍物识别单元111可从在行进方向改变之后捕获的图像中确定障碍物。

行进控制器可如图9的(c)中所示基于检测信号通过多个响应动作当中的图像来确定障碍物是风扇，并且可对其执行响应动作。例如，当障碍物是风扇时，移动机器人可被约束在风扇下方或可被置于风扇的支撑件上方，因此，可设置响应动作(在靠近预定距离之后避让)，以在不以10cm或更大距离靠近风扇的情况下避让障碍物，并且可控制行进单元以根据响应动作进行操作。

当如图9的(e)中所示通过图像将障碍物确定为盒子时，移动机器人可靠近该盒子并且与其碰撞，可检查该移动机器人是否能够行进，然后可被设置为避让障碍物。当盒子轻时，移动机器人可改变其位置，因此，可设置响应动作以使移动机器人能够靠近障碍物并且与其碰撞。

控制器110可将关于检测到的障碍物的信息作为障碍物数据存储。

障碍物数据可以是根据检测到障碍物的次数被频繁检测多次的障碍物的数据。

行进控制器113可根据障碍物的类型另外确定障碍物是否是危险障碍物，并且可控制行进单元执行与其对应的操作。当根据障碍物的类型确定操作时，行进控制器113可执行所确定的操作，并且当没有单独确定操作时，行进控制器113可根据障碍物是否是危险障碍物来变化和设置障碍物的靠近程度。当障碍物是危险障碍物时，行进控制器113可根据障碍物的类型来输出预定的声音效果或警告喇叭，并且可输出语音指导。行进控制器113可将诸如花盆或花瓶、宠物、椅子腿等这样的易损坏障碍物设置为危险障碍物。

即使输入相同的检测信号并且设置相同的障碍物，障碍物识别单元111也可根据障碍物的大小或形状来执行不同的响应动作。

例如，当输入用于确定椅子腿的检测信号时，如果从图像中确定障碍物为椅子，则可根据椅子的高度和腿之间的间隔来执行诸如避让、靠近或进入这样的操作。障碍物识别单元111可在输入检测信号之后分析图像，可计算椅子之间的间隔和椅子的高度，并且可确定移动机器人是否进入障碍物。因此，行进控制器可执行诸如避让、靠近和进入这样的响应动作中的任一个。

如图11中所示，移动机器人1可在行进区域中行进的同时执行清洁。

移动机器人1可在行进的同时捕获图像并且可将图像作为图像数据存储。

移动机器人1不管是否检测到障碍物都可捕获图像，并且可从图像中识别处于朝向行进方向的一侧的障碍物。

当通过图像确定了障碍物时，控制器110可基于所存储的障碍物信息来分析图像，并且可确定障碍物(S1)。

在这种情况下，根据第一实施方式，当障碍物检测器100检测到障碍物时，移动机器人1可在连续捕获图像的同时分析图像并识别障碍物。

控制器110可存储图像数据，并且当障碍物检测单元检测到障碍物时，控制器110可分析预先捕获的图像数据，可去除背景，并且可在障碍物处于预定距离内时提取特征。障碍物识别单元111可确定障碍物的形状、大小和类型。

相对于图像中的障碍物，当检测到障碍物处于预定距离内时，移动机器人1可根据通过图像预先识别到的障碍物的类型，行进并避让障碍物。

根据第二实施方式，移动机器人1可存储图像数据，可分析和过滤以预定单元存储的图像数据以提取特征，并且可确定障碍物的形状、大小和类型。即，即使没有从障碍物检测单元输入障碍物的检测信号，根据第二实施方式的移动机器人也可在输入检测信号之前识别图像中包括的障碍物。

当障碍物检测器100在完全确定了障碍物的状态下输入检测信号时，控制器可基于通过检测信号和图像进行的障碍物确定来设置对障碍物的响应动作，并且可在障碍物处于预定距离内时执行预定操作。

根据第一实施方式和第二实施方式的移动机器人1可将图像数据发送到服务器90或终端80，并且可请求服务器90检查障碍物(S2)。

服务器90可分析图像数据，可提取障碍物的特征，并且可基于其形状来确定障碍物的类型。服务器90可将障碍物的累积数据存储在数据库中，并且可使用该数据来确定障碍物。

当从图像中识别到新障碍物时，服务器90可生成障碍物的识别模型并且可更新障碍物信息。识别模型可包括关于障碍物特征和所生成环境的信息，以从图像中确定障碍物的类型。识别模型可用于设置对对应障碍物的响应动作，并且当接收到类似障碍物的图像时，识别模型可基于预先生成的障碍物模型来分析特征，可确定障碍物的类型，并且可将对其的响应动作设置为避让操作。例如，当检测到特定障碍物时，可相对于移动机器人是否立即避让对应障碍物而不靠近障碍物、移动机器人是否靠近预定距离处的障碍物然后避让障碍物、或是否输出预定警告喇叭来设置响应动作。

当移动机器人1不能够访问服务器时，终端80可将从移动机器人接收到的图像数据发送到服务器。终端80可基于接收到的图像数据来确定障碍物的类型，并且可通过用户输入来确定障碍物的类型。

服务器90或终端80可响应于移动机器人的请求而将障碍物的类型的数据发送到移动机器人1(S3)。另外，服务器90或终端80可将与障碍物的类型对应的避让操作的数据发送到移动机器人1。移动机器人1可基于接收到的数据执行避让操作。

移动机器人1可基于接收到的数据来确定障碍物的类型，并且可响应于此而执行避让操作。也可从服务器或终端设置避让操作，并且在必要时，可选择和执行多个操作中的任一个。在必要时，可通过终端选择和输入多个操作中的任一个。

如图12中所示，移动机器人1可在行进的同时通过图像获取器170捕获多个图像。即使没有通过障碍物检测单元检测到任何障碍物，控制器110也可在行进的同时捕获图像。

图像可以预定时间间隔被捕获为静止图像，或者可通过连续摄影被捕获为视频图像。图像获取器170可将所捕获的图像存储在数据单元中的多条图像数据I01至IO3中(S11)。

图像获取器170中包括的图像处理器可过滤所捕获的图像并且可以预定时间间隔存储图像数据，并且当捕获到视频图像时，图像处理器可以帧为单元分析视频图像，可去除不必要的帧，然后可存储图像数据。

根据第一实施方式，控制器110可存储图像数据，并且当障碍物检测单元检测到障碍物(T1)时，如果障碍物处于预定距离内，则控制器110可分析预先捕获的图像数据并且可去除背景(S12)，并且可提取特征(S13)。障碍物识别单元111可确定障碍物的形状、大小和类型(S14)。

控制器110可响应于通过检测信号和图像确定的障碍物而设置多个响应动作。控制器110可选择所确定的多个响应动作中的任一个，并且可控制行进单元执行所选择的响应动作(S17)。

根据第二实施方式，在障碍物检测器100输入检测信号之前，控制器110可以预定单位分析和过滤图像数据以提取特征(S12和S13)，并且可确定障碍物的形状、大小或类型(S14)。当障碍物检测器100在完全确定了障碍物的状态下输入检测信号时(T2)，控制器可设置对障碍物的响应动作，并且可基于通过检测信号和图像进行的障碍物确定来执行预定操作(S17)。

控制器1110可将多条图像数据发送到服务器(S15)，并且可请求服务器确定障碍物。当从服务器接收到障碍物的数据时，控制器110可存储障碍物信息(S16)并且可基于该信息来确定障碍物(S14)。

控制器110可设置响应动作并且可基于障碍物检测器10的检测信号和图像来执行响应动作(S17)。

图13是用于说明根据本公开的第一实施方式的在移动机器人中识别障碍物并且基于此的控制方法的流程图。

如图13中所示，移动机器人1可在移动机器人1能够在其中行进的行进区域H的区域中行进，并且可清洁预定区域(S310)。

当接收到移动或清洁命令时，移动机器人1可通过图像获取器170捕获图像。图像获取器170可连续地捕获图像(视频图像)或者可以预定时间间隔捕获图像(S320)。所捕获的获取图像可被作为图像数据存储。

图像获取器170可根据移动机器人的移动速度来设置拍摄时间段，或者可基于用于供障碍物检测单元检测障碍物的距离来设置拍摄时间段。

关于多条图像数据，图像获取器170可确定障碍物是否能够被识别，可过滤图像数据，可选择能够被分析的图像，并且可将图像作为图像数据存储。

例如，图像获取器170可选择正常捕获的图像，并且除了由于在拍摄期间障碍物的移动或主体10的移动而不能够正常拍摄障碍物的情况(例如，由于作为拍摄目标的障碍物的晃动图像而不可能识别障碍物的情况或由于未聚焦图像而不可能识别障碍物的情况)之外，可将图像作为图像数据存储。

图像获取器170可在移动机器人1操作的同时捕获图像，并且障碍物检测器100可发射图案或者可使用超声波、红外线或激光束检测处于朝向行进方向的一侧的障碍物，并且可输入检测信号(S300)。

障碍物识别单元111可基于检测信号来确定障碍物是否处于朝向行进方向的一侧，或者可通过使用3D传感器进行图案分析来确定障碍物的大小或位置(S340)。

当利用通过发射图案而获得的图案的形状来确定障碍物时，控制器110可通过输入相同检测信号来分离并确认障碍物，并且可针对相应检测信号设置多个可执行的响应动作(S350)。

根据障碍物检测单元的传感器的类型来改变可检测距离，因此，控制器110可基于检测信号来确定与障碍物的距离，并且可确定障碍物是否处于预定距离处(S360)。

控制器110可根据检测信号的形状来确定相对于处于朝向行进方向的一侧的障碍物的多个可执行响应动作，并且当障碍物处于预定距离内时，控制器110可分析预先拍摄时间点之前的图像数据(S370)，并且可确定障碍物(S380)。

障碍物识别单元111可分析图像数据，可根据是否可能识别障碍物来过滤图像数据，可通过图像处理从过滤后的图像数据中去除背景，然后可提取障碍物的轮廓或特征点，以提取障碍物的形状和功能。

障碍物识别单元111可基于图像数据的亮度和清晰度以及主体10的移动速度来确定是否确认了图像数据。障碍物识别单元111可基于图像数据的多个像素值的亮度值来确定图像数据的亮度，并且可将亮度值分为过度曝光、曝光不足和正常曝光。当主体的移动速度等于或大于设定速度时，障碍物识别单元111可确定将晃动的捕获图像，可确定图像数据的清晰度，并且可确定是否可能确认图像数据。

障碍物识别单元111可提取所提取的障碍物的轮廓和特征以分析障碍物的形状，并且可基于障碍物数据来确定障碍物的类型和大小。

当不存在单独的障碍物数据或者不可能从障碍物数据中确定障碍物的类型时，障碍物识别单元111可将图像数据发送到服务器90或终端，并且可请求服务器90或终端检查障碍物。可在捕获到图像时立即通过服务器确定障碍物。可经由自主确定或来自服务器的响应来确定障碍物的类型。

服务器90可相对于一个障碍物存储多条图像数据，可提取特定障碍物的特征，并且可将特征存储在数据库中。服务器90可分析从移动机器人1接收的图像数据，并且可将图像数据与预先存储的数据进行比较，因此可确定障碍物的类型。服务器90可将障碍物的类型和与其相关的障碍物数据发送到移动机器人1。

障碍物识别单元111可基于响应于障碍物的形状和特征而确定的障碍物的数据来设置多个响应动作中的任一个(S390)。

行进控制器可基于所设置的响应动作来控制行进单元执行操作(S400)。

在危险障碍物的情况下，行进控制器113可将行进单元设置为行进，以避让障碍物，而不靠近预定距离或更大距离处的障碍物。当存在取决于障碍物类型的预定操作时，行进控制器113可执行预定操作。

行进控制器113可将行进单元设置为在靠近障碍物之后避让障碍物，或者在达到预定距离时立即避让障碍物，可在移动机器人靠近障碍物时设置靠近距离，并且可设置行进单元以进入和穿过障碍物。另外，移动机器人还可输出预定的警告喇叭。

因此，即使输入了相同的检测信号，移动机器人1也可经由图像分析根据障碍物执行不同的操作，并且即使检测信号相同并且障碍物具有相同的类型，也可根据障碍物的大小或形状来执行不同的响应动作。

根据本公开，当移动机器人靠近预定距离处的障碍物时，可执行预定操作，因此，移动机器人可立即对障碍物做出响应，并且可使用预先捕获的图像来容易地确定障碍物，因此，可更有效地避让障碍物。

根据第二实施方式的移动机器人1可在行进的同时通过图像获取器170捕获多个图像。即使障碍物检测单元没有检测到障碍物，控制器110也可捕获图像。

如图14中所示，移动机器人1可在行进的同时捕获多个图像301至304。移动机器人1可将以预定时间间隔捕获的图像作为图像数据存储，可将图像数据发送到服务器90，并且可请求关于障碍物的信息。

移动机器人1可周期性捕获静止图像并且可通过连续摄影来捕获视频。图像获取器170可将所捕获的图像作为多条图像数据301至304存储在数据单元中。

图像获取器170中包括的图像处理器可过滤所捕获的图像并且可以预定时间间隔或预定移动距离间隔存储图像数据，并且当捕获到视频图像时，图像处理器可以帧为单元分析视频图像，可去除不必要的帧，然后可存储图像数据。

移动机器人1可根据时间序列将在行进的同时捕获的图像数据发送到服务器，并且可选择性发送多条图像数据中的一些。

例如，当从图像中识别到朝向行进方向的一侧的障碍物时，移动机器人1可将对应的图像数据发送到服务器。

服务器90可分析障碍物的类型并且可将障碍物信息发送到移动机器人1，并且移动机器人1可响应于接收到的障碍物信息而对障碍物执行避让操作。避让操作可以是靠近障碍物、响应于障碍物的类型而改变行进方向然后避让障碍物的操作，靠近仅预定距离处的障碍物的操作或避让障碍物并且在检测到障碍物之后立即行进的操作。移动机器人1可响应于障碍物的类型而输出预定的警告喇叭、声音效果和语音指导，并且还可在经过预定时间之后重新行进。

当在预定时间内重复捕获到相同图像时，移动机器人1可将在预定时间内捕获的多条图像数据发送到服务器。

例如，当移动机器人1被约束在椅子或桌子下方的空间中并且它不能行进时，移动机器人1可输出错误，可向服务器发送在预定时间内捕获的图像数据或在行进预定距离的同时捕获的图像数据，可接收关于障碍物的信息，因此，可确定当前约束情形。移动机器人1可确定移动机器人由于约束情形而不能够行进，并且可基于此而输出错误。

服务器90可分析接收到的图像数据并且可生成移动机器人的约束情形的识别模型。

服务器90可分析由移动机器人在预定距离或预定时间内捕获的多条图像数据以及移动机器人的受约束位置，可在出现约束之前分析图像，并且可生成识别模型，以使移动机器人能够通过图像避让对应的障碍物。服务器90可基于所生成的识别模型来生成障碍物信息，并且可将该信息发送到移动机器人。

服务器90可基于关于在出现约束情形时一个地方周围的障碍物的信息以及关于出现约束情形之前的周围障碍物的信息来分析约束情形的原因。服务器90可确定相对于与对应障碍物具有相似的形状和大小的障碍物出现约束情形，可另外地设置相对于约束情形的响应动作，并且可更新障碍物信息。

移动机器人1可响应于从服务器接收到的障碍物信息而行进以在靠近其处出现约束情形的障碍物之前避让障碍物，并且可防止出现约束情形。

服务器90可分析其处出现约束情形的障碍物以计算统计数字，可确定其处出现约束情形的障碍物的候选组，并且可输出警告。

例如，可分析桌子的多条图像数据，可将其处出现约束情形的桌子的图像与其中没有出现约束情形的桌子的图像进行区分并且可将它们进行相互比较，并且当障碍物的类型为桌子时，可提取其处出现约束情形的障碍物的特征，并且可确定约束情形的候选组。

例如，当桌子的高度等于或小于20cm时，当桌子腿之间的间隔等于或小于35cm时，当另一个障碍物处于桌子下方，或者桌子具有五条腿或更多腿时，可提取特征，并且可设置约束情形的候选组。服务器可相对于对应的候选组确定对约束情形的响应动作。

在必要时，尽管没有出现约束情形，但是当在具有相似形状的另一障碍物中出现约束情形时，服务器可生成其处出现约束情形的障碍物的候选组，并且可设置响应动作以避让对应障碍物。移动机器人可进入对应的障碍物，并且服务器可在进入障碍物之前输出警告喇叭或语音指导，并且可设置响应动作，以使移动机器人在经过预定时间之后能够进入障碍物。

因此，相对于其处出现约束情形的障碍物，当检测到对应的障碍物时，移动机器人1可改变行进方向，并且可行进，以在靠近预定距离处的障碍物之后立即避让障碍物，或者当检测到障碍物时立即避让障碍物。当避让障碍物时，移动机器人1可输出针对其的语音指导。例如，移动机器人1可输出语音指导“我正在行进并避让约束情形的障碍物”。

当基于接收到的障碍物信息检测到与其处出现约束情形的障碍物相似的障碍物时，移动机器人1可在暂时暂停的状态下输出语音指导“如果我一直行进，则可能出现约束情形”，可接着行进。在语音指导之后，当用户接收到预定命令时，移动机器人可一直行进或者可改变行进方向并响应与此而行进。

当物体在行进的同时掉落时，移动机器人1可确定危险情形，并且可将在其之前捕获的多条图像数据发送到服务器。

服务器90可分析多条图像数据，可将障碍物确定为使物体掉落的原因，可提取对应障碍物的特征，可设置响应动作，然后可生成障碍物信息。

例如，在花瓶被放在桌子上的状态下，当移动机器人与桌子碰撞时，花瓶可能掉落。服务器可生成其上放有花瓶的桌子的新识别模型，可生成不靠近预定距离或更大距离处的桌子的响应动作，并且可将障碍物信息发送到移动机器人。

因此，当检测到花瓶被放在桌子上时，移动机器人1可行进并避让障碍物，而没有靠近预定距离或更大距离。

如图15中所示，根据第二实施方式的移动机器人1可以预定时间间隔捕获图像311至315，并且可存储多条图像数据。移动机器人1可将图像数据与时间信息一起存储。

图像获取器170可一直捕获图像或者可以预定时间段重复捕获图像。当移动机器人1行进预定距离时，随着移动机器人靠近障碍物，可以放大形式拍摄障碍物。

移动机器人1可分析所捕获的图像，可识别障碍物，可将结果发送到服务器90，并且可接收障碍物信息。

在行进的同时，移动机器人1可通过图像获取器170以预定时间间隔或预定移动距离间隔在第0时间t0、第11时间t11、第12时间t12、第13时间t13和第14时间t14捕获并存储第一图像311至第五图像315。例如，移动机器人1可每10cm的移动距离捕获图像。另外，移动机器人1可在行进的同时以10秒的间隔捕获图像。

在行进的同时，当移动距离小于预定时间内的预定距离时，移动机器人1可确定约束情形。例如，当移动机器人1在预定时间内没有移动5cm或更大距离时，移动机器人1可确定约束情形。

当确定约束情形时，移动机器人1可将在从确定约束情形的时间点P11起算的预定时间之前捕获的图像数据或在预定移动距离之前捕获的图像数据发送到服务器90。

移动机器人1可将基于移动距离在预定移动距离之前捕获的图像(即，第12图像312至第14图像314)发送到服务器90。移动机器人1可将第11时间t11至第13时间t13期间的图像(即，第12图像312至第14图像314)发送到服务器90。

移动机器人1可将图像数据和错误信息发送到终端等，并且可通过终端输出关于由于约束情形和当前位置而导致的错误的信息。

服务器90可从每个图像中识别障碍物，可分析该障碍物为约束情形的原因，并且可生成识别模型，以防止移动机器人靠近或进入对应的障碍物。服务器90可分析对应障碍物的特征，并且可将相同的识别模型应用于相似的障碍物。

如图中所示，当在桌子下方出现约束情形时，服务器90可检测对应的桌子，并且可生成具有响应动作的识别模型，该响应动作被设置为防止移动机器人进入桌子下方的空间。当相对于对应桌子的障碍物信息被预先生成时，服务器90可添加关于约束情形的信息并且可重新生成识别模型。

移动机器人可更新新的障碍物信息或预先存储的障碍物信息，并且可行进并避让障碍物以防止出现约束情形。可在预先存储的地图中设置出现约束情形的位置。

因此，在接下来行进期间，当捕获到诸如第12图像312这样的图像时，移动机器人1可通过图像检测桌子，并且可在根据对对应桌子的响应动作不进入桌子的情况下，在靠近预定距离处的障碍物之后行进并避让障碍物。在必要时，移动机器人1可在避让行进期间输出针对约束情形的语音指导。

当检测到形状与桌子相似的障碍物时，移动机器人1可以相同方式行进并避让障碍物。

如图16中所示，在行进(S450)的同时，移动机器人1可周期性捕获行进方向上的图像并且可获取图像信息(S460)。图像获取器170可捕获图像，可存储图像，并且可将图像作为可识别的图像数据存储在数据单元中。

在行进的同时，障碍物检测器100可检测处于朝向行进方向的一侧的障碍物，并且可将预定检测信号应用于障碍物识别单元。图案发射单元120和130可在行进方向上发射具有预定形状的图案，可通过图案获取器140拍摄对应的图案，并且可将图像输入到障碍物识别单元111。

障碍物识别单元111可分析从图像获取器170输入的图像以提取特征，并且可基于预先存储在数据单元180中的障碍物数据来确定所拍摄的障碍物的类型(S470)。

控制器110可将图像数据发送到服务器，并且可请求障碍物信息。控制器110可基于从服务器接收到的数据来确定图像中的被拍摄障碍物的类型。控制器110可从障碍物信息中接收和设置关于至少针对障碍物的可执行响应动作以及障碍物的类型的信息。

相对于预定障碍物，障碍物识别单元111可通过障碍物检测器100检测对应障碍物是否处于预定距离内(S480)。

当障碍物识别单元111识别到障碍物处于预定距离内时，行进控制器113可从图像中确定预先识别的障碍物(S490)，可响应于对应障碍物的类型而设置多个响应动作中的任一个，并且可控制行进单元250避让障碍物(S500)。

行进控制器113可响应于预定的障碍物类型而执行包括相对于障碍物的靠近、进入、穿过和避让的至少一个组合的响应动作。控制器110可通过输出单元190输出预定的警告喇叭、声音效果和语音指导。

当设置响应动作以使移动机器人能够进入检测到的障碍物时，行进控制器113可控制行进单元250，以使主体能够一直行进。

例如，当检测到桌子时，行进控制器113可在主体靠近桌子之后改变行进方向，并且可使移动机器人能够进入桌子下方的空间并一直行进。

障碍物识别单元111可连续分析在行进的同时捕获的图像，以确定障碍物的类型，并且当障碍物检测器100在预定距离内检测到障碍物时，行进控制器113可设置对应障碍物的响应动作并且可控制行进单元。

控制器110可将图像数据发送到服务器90，并且可请求关于障碍物的信息(S510)。

服务器90可分析从多个移动机器人接收到的图像数据以确定障碍物的类型，可更新关于预定的障碍物的信息，并且可生成新障碍物的识别模型。服务器90可将障碍物信息或基于根据移动机器人的请求而新生成的识别模型更新的障碍物信息发送到移动机器人。

移动机器人1可存储从服务器接收到的数据，并且可更新预先存储的障碍物信息。移动机器人1可基于新数据来确定障碍物，可将确定的信息发送到服务器，并且可检查关于障碍物的信息。

当在预先识别到的障碍物中出现约束情形时，移动机器人1可将在出现约束情形之前捕获的多条图像数据发送到服务器，并且可请求关于约束情形的新信息。

服务器90可分析多条图像数据，可在出现约束情形之前确定周围障碍物，可将障碍物确认为约束情形的原因，并且可设置响应动作。

服务器90可新生成其处出现约束情形的障碍物的识别模型，可针对其新设置响应动作，并且可将障碍物信息发送到移动机器人。

因此，移动机器人1可改变预先存储的数据并且可根据新的障碍物信息对障碍物执行响应动作。当出现约束情形时，移动机器人可指示在对应位置处出现约束情形，并且在必要时，可设置虚设墙壁。

在行进的同时，当从图像中识别到的障碍物是其处出现约束情形的障碍物时，移动机器人1可根据在障碍物检测器100检测到对应障碍物时设置的响应动作而行进并避让对应的障碍物。

如图17中所示，在行进(S550)的同时，移动机器人1可通过图像获取器170周期性捕获行进方向上的图像(S560)。图像获取器可捕获图像并且可以预定时间间隔或预定距离间隔存储图像。

移动机器人1可从所捕获的图像数据中识别障碍物，并且可确定障碍物的类型。图像获取器170可存储在行进的同时捕获的图像数据，并且控制器可以预定时间段分析图像数据，并且当通过障碍物检测器100确定障碍物或者检测障碍物处于预定距离处时，控制器可使用预先捕获的图像数据来确定障碍物。控制器110可将图像数据发送到服务器，可接收障碍物信息，并且可基于障碍物信息来确定所拍摄的障碍物的类型。

控制器通过图像数据确定关于障碍物的类型、形状和大小的信息，因此，当障碍物检测单元在行进的同时检测到障碍物处于预定距离内时，控制器可控制行进单元响应于此执行响应动作。

例如，当相对于桌子输入障碍物的检测信号时，控制器110可在接近和进入之后选择避让的两个响应动作，可分析图像数据，并且可根据移动机器人是否进入桌子下方的空间来确定和操作任一个响应动作。

在行进的同时，行进控制器113可基于行进单元的轮子的旋转次数或移动速度来计算移动距离。

当基于移动距离捕获图像时，如果移动机器人移动达预定的第一移动距离(S570)，则行进控制器113可应用控制命令，以使图像获取器170能够以第一移动距离为单元捕获图像。行进控制器113可在移动机器人基于移动时间移动达预定时间时控制图像获取器170。

行进控制器113可在行进的同时确定设定时间(即，第一时间)内的移动距离是否小于设定距离(第二移动距离)(S580)。

当第一时间内的移动距离小于第二移动距离时，如果移动机器人不能够正常行进，则行进控制器113可确定错误。行进控制器113可确定移动机器人由于周围障碍物而不能够移动，并且可确定约束情形(S590)。

在这种情况下，在主体进入障碍物之后，行进控制器113可基于每小时的移动距离来确定主体是否受约束。例如，当桌子太低或者桌子腿之间的间隔窄时，或者当桌子下方存在另一类型的障碍物时，可出现主体不能够正常行进的约束情形。

当设定时间内的移动距离小于设定距离时，行进控制器113可确定主体受约束。行进控制器113可响应于障碍物的类型而行进并避让障碍物。

当确定约束情形时，行进控制器113可针对先前的预定时间或预定距离从数据单元调用多条图像数据，并且可通过通信器将图像数据发送到服务器90(S600)。第一时间内的移动距离小于第二移动距离，因此，移动机器人1可将包括在出现约束情形之前的图像数据的信息发送到服务器。

服务器90可分析接收到的多个图像，可分析从另一移动机器人接收到的图像数据以对障碍物的类型进行分类，可根据障碍物的类型来计算所需的信息，并且可设置每个响应动作。

当服务器90通过多条图像数据执行图像分析和学习时，即使存在桌子，也可根据桌子的形状和大小分别生成识别模型以执行不同的响应动作，因此，障碍物信息可以是基于此新生成的，或者预先存储的障碍物信息可被更新。服务器可设置将由移动机器人执行的多个响应动作并且可提供障碍物信息，因此，移动机器人可执行任一个响应动作。

控制器110可将通过通信器从服务器接收到的障碍物信息存储在数据单元中(S610)。

移动机器人可基于接收到的数据而行进，以避让或摆脱约束情形(S620)。控制器可在移动机器人不能够摆脱障碍物时输出错误并且可输出警告喇叭。控制器可将当前位置和预先捕获的图像发送到终端，并且可使用户能够释放主体的约束情形。

当拍摄桌子时，障碍物识别单元可基于预先存储的障碍物信息通过图像来检测其处出现约束情形的桌子。

当确定障碍物处于预定距离内时，行进控制器可基于改变后的障碍物信息行进，以避让作为障碍物的桌子。

即，在初始检测的情况下，当设置响应动作以使主体能够进入障碍物并且接着出现约束情形时，响应动作可被设置为靠近之后避让或者相对于对应障碍物避让中的任一个，并且可在接下来检测的情况下使主体能够避让或摆脱障碍物。

即使桌子具有相同的类型，桌子也可具有不同的大小，桌子下方的空间也可具有不同的大小，并且移动机器人的大小可改变，因此，移动机器人是否能够进入桌子可改变，因此，控制器可基于障碍物检测器100的检测信号来设置多个响应动作(例如，可执行响应动作)以在靠近之后避让、进入或穿过障碍物，并且在这种情况下，可经由图像分析根据障碍物的类型、形状和大小来确定设置和执行多个响应动作中的任一个。

当检测到彼此不同但相似的其他桌子时，控制器110可确定是否由于桌子而出现约束情形，并且可设置移动机器人避让障碍物而不进入障碍物。移动机器人还可输出预定的警告喇叭。

因此，即使输入了相同的检测信号，移动机器人1也可经由图像分析根据障碍物执行不同的操作，并且即使存在相同的检测信号和相同类型的障碍物，移动机器人也可根据障碍物的大小或形状来执行不同的响应动作。

根据本公开，移动机器人可通过预先捕获的图像立即对障碍物做出响应，并且当出现约束情形时，移动机器人可针对预定时间或预定距离在行进的同时通过预先捕获的图像将障碍物归类为约束情形的原因，并且可在检测到对应障碍物时行进并避让障碍物，由此防止出现约束情形。

另外，可通过利用服务器更新障碍物的新识别模型来更新障碍物信息，因此，移动机器人可在相似情形下避让障碍物，可防止出现约束情形并且移动机器人可一直行进。

虽然已经参照本发明的示例性实施方式具体示出和描述了本发明，但是本领域的技术人员应该理解，可在不脱离随附权利要求书限定的本发明的精神和范围的情况下，在本文中进行形式和细节上的各种改变。

[对附图标记的说明]

1：移动机器人 10：主体

100：障碍物检测单元 110：控制器

111：障碍物识别单元 113：行进控制器

120、130：图案发射单元 140：图案获取器

150：传感器单元 170：图像获取器

180：数据单元

250：行进单元 260：清洁器

Claims

1.一种移动机器人，该移动机器人包括：

能移动的主体；

图像获取器，其被配置为捕获行进方向上的图像；

障碍物检测单元，其被配置为检测处于朝向所述行进方向的一侧的障碍物；以及

控制器，其被配置为存储通过所述图像获取器捕获的多条图像数据，以在所述障碍物检测单元确定所述障碍物处于预定距离内的预定时间点开始响应动作，并且根据基于在所述预定时间点之前获取的所述图像数据所确定的障碍物来确定所述响应动作，

其中，所述控制器响应于行进状态而确定所述主体是否由于所述障碍物而受约束，并且所述移动机器人响应于从在确定约束的时间点之前捕获的至少一条图像数据获取的关于所述障碍物的信息而摆脱约束情形，并且

其中，所述控制器计算所述主体的移动距离，在设定时间内的移动距离小于设定距离时确定所述主体受约束，将在确定约束的时间点之前的先前预定时间内捕获的或者在行进达先前预定距离的同时捕获的至少一条图像数据发送到服务器，并且获取关于所述障碍物的信息。

2.根据权利要求1所述的移动机器人，其中，所述控制器根据从所述障碍物检测单元输入的预定类型的检测信号来设置将执行的多个响应动作，并且基于所述图像数据来选择所述多个响应动作中的任一个。

3.根据权利要求2所述的移动机器人，其中，所述控制器相对于要输入的所述检测信号执行控制，以基于所述图像数据执行不同的响应动作。

4.根据权利要求1所述的移动机器人，其中，所述控制器分析以所述障碍物检测单元确定所述障碍物处于预定距离处的时间点为基准的预定时间之前捕获的图像数据，并且确定所述障碍物的形状和大小或所述障碍物的类型。

5.根据权利要求2所述的移动机器人，其中，在输入所述检测信号之前，所述控制器分析所述图像数据并确定所述障碍物。

6.根据权利要求2所述的移动机器人，其中，当输入所述检测信号时，所述控制器分析所述图像数据并确定所述障碍物。

7.根据权利要求1所述的移动机器人，其中，所述控制器执行控制以执行所述响应动作或语音指导，所述响应动作包括停止、减速、加速、反向、等待、避让、防止短距离靠近的至少一个组合。

8.根据权利要求1所述的移动机器人，其中，所述障碍物检测单元包括超声波传感器、激光传感器、红外传感器或3D传感器中的至少一者。

9.根据权利要求1所述的移动机器人，其中，所述控制器将所述图像数据发送到服务器或终端，请求所述服务器或所述终端检查所述障碍物，并且响应于从所述服务器或所述终端接收到的响应数据来确定所述障碍物的类型。

10.根据权利要求1所述的移动机器人，其中，所述控制器响应于关于所述障碍物的信息而执行多个响应动作当中的任一个预定响应动作并避让所述障碍物，以防止所述主体受约束。

11.根据权利要求1所述的移动机器人，其中，当在用于造成约束情形的候选中包括所述障碍物时，所述控制器执行多个响应动作当中的任一个响应动作来输出关于约束的警告。

12.一种控制移动机器人的方法，该方法包括以下步骤：

在行进的同时，由图像获取器捕获行进方向上的图像并存储图像数据；

通过障碍物检测单元确定障碍物处于预定距离内；

根据基于在确定所述障碍物处于预定距离内的预定时间点之前获取的所述图像数据所确定的障碍物来确定响应动作；

在所述预定时间点开始针对所述障碍物的响应动作；

基于所述响应动作进行操作并行进以避让或穿过所述障碍物；

在行进的同时，响应于行进状态而确定主体是否由于所述障碍物而受约束；

将所述图像数据发送到终端或服务器；

分析至少一条图像数据，从在所述主体受约束之前捕获的图像数据中识别周围障碍物，将障碍物确定为约束原因，并且生成关于所述障碍物的信息；以及

响应于从在确定约束的时间点之前捕获的所述至少一条图像数据获取的关于所述障碍物的信息而摆脱约束情形。

13.根据权利要求12所述的方法，其中，所述响应动作的设置包括：根据从所述障碍物检测单元输入的检测信号的形状来设置多个响应动作；以及基于所述图像数据来选择所述多个响应动作中的任一个。

14.根据权利要求12所述的方法，所述方法还包括以下步骤：

在捕获到图像之后，在从所述障碍物检测单元输入所述障碍物的检测信号之前，分析所述图像数据并确定所述障碍物。

15.根据权利要求12所述的方法，所述方法还包括以下步骤：

当从所述障碍物检测单元输入所述障碍物的检测信号时，分析所述图像数据并确定所述障碍物。

16.根据权利要求12所述的方法，所述方法还包括以下步骤：

响应于关于所述障碍物的信息而执行多个响应动作中的任一个并避让所述障碍物，以防止所述主体受约束。