CN112733571B - 机器人的控制方法、设备和存储介质 - Google Patents
机器人的控制方法、设备和存储介质 Download PDFInfo
- Publication number
- CN112733571B CN112733571B CN201910972285.8A CN201910972285A CN112733571B CN 112733571 B CN112733571 B CN 112733571B CN 201910972285 A CN201910972285 A CN 201910972285A CN 112733571 B CN112733571 B CN 112733571B
- Authority
- CN
- China
- Prior art keywords
- robot
- detected
- image
- area
- environment image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000007613 environmental effect Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010408 sweeping Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 230000001502 supplementing effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/36—Indoor scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Manipulator (AREA)
Abstract
本申请提供一种机器人的控制方法、设备和存储介质，该方法包括：根据采集的环境图像，确定机器人是否处于待检测区域；若所述机器人处于所述待检测区域，则根据所述环境图像，确定所述待检测区域内是否存在非可清扫的异物；若确定所述待检测区域内存在非可清扫的异物，则对用户进行提醒。上述方案实现了对待检测区域可能存在的异物的识别，对用户进行提醒，使得用户可以知道待检测区域存在异物，方便用户查找，提高了用户体验。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种机器人的控制方法、设备和存储介质。
背景技术
随着人工智能技术的发展，移动机器人的研究和发展非常迅速，一些服务型机器人也已逐渐进入人们的日常生活，例如清洁机器人，随着清洁机器人智能程度的提高,清洁机器人在家庭中的使用率越来越高。
相关技术中，扫地机器人主要是利用定位技术对家庭区域进行覆盖式的规划清扫任务。如图1所示，对于家居环境中用户不可视区域(如床底，沙发底，衣柜底)，可能存在小型异物(如玩具，拖鞋，遥控器)，机器人在清扫过程中会不断碰撞将该异物推至更加隐蔽不易于用户发现的位置，会增加用户查找异物的时间，用户体验较差。
发明内容
本申请提供一种机器人的控制方法、设备和存储介质，以实现对存在的异物的识别以及对用户的提醒。
第一方面，本申请提供一种机器人的控制方法，包括：
根据采集的环境图像，确定机器人是否处于待检测区域；
若所述机器人处于所述待检测区域，则根据所述环境图像，确定所述待检测区域内是否存在非可清扫的异物；
若确定所述待检测区域内存在非可清扫的异物，则对用户进行提醒。
第二方面，本申请提供一种机器人，包括：
图像采集单元、处理器和存储器；
其中，所述存储器，用于存储所述处理器的可执行指令；
所述图像采集单元用于采集环境图像；
所述处理器配置为经由执行所述可执行指令以实现：
根据采集的环境图像，确定机器人是否处于待检测区域；
若所述机器人处于所述待检测区域，则根据所述环境图像，确定所述待检测区域内是否存在非可清扫的异物；
若确定所述待检测区域内存在非可清扫的异物，则对用户进行提醒。
第三方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的方法。
第四方面，本申请实施例提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的方法。
本申请实施例提供的机器人的控制方法、设备和存储介质，根据采集的环境图像，确定机器人是否处于待检测区域；若所述机器人处于所述待检测区域，则根据所述环境图像，确定所述待检测区域内是否存在非可清扫的异物；若确定所述待检测区域内存在非可清扫的异物，则实现了对待检测区域可能存在的异物的识别，并对用户进行提醒，使得用户可以知道待检测区域存在异物，方便用户查找，提高了用户体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请一实施例提供的应用场景图；
图2A是本申请一实施例提供的TOF图像采集单元原理示意图；
图2B是本申请另一实施例提供的TOF图像采集单元原理示意图；
图3是本申请提供的机器人的控制方法一实施例的流程示意图；
图4是本申请提供的一实施例的环境地图中标注的示意图；
图5是本申请提供的一实施例的提醒示意图；
图6是本申请提供的一实施例的电子设备界面示意图；
图7是本申请提供的方法一实施例的原理示意图；
图8是本申请提供的方法一实施例的流程示意图；
图9是本申请提供的方法一实施例的镜头相对位置示意图；
图10是本申请提供的另一实施例的电子设备界面示意图；
图11是本申请提供的方法另一实施例的流程示意图；
图12是本申请提供的机器人一实施例的结构示意图；
图13是本申请提供的电子设备实施例的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本申请的说明书和权利要求书及所述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先对本申请所涉及的应用场景进行介绍：
本申请实施例提供的方法，应用于智能机器人，例如扫地机器人等服务型机器人。
如图1所示，对于家居环境中用户不可视区域(如床底，沙发底，衣柜底)，扫地机器人只能盲目的在不可视区域中进行清扫，而无法检测这些不可视区域中可能存在的小型异物(如玩具，拖鞋，遥控器)，因此在清扫过程中会不断碰撞将该异物推至更加隐蔽不易于用户发现的位置，用户体验非常差。而且通过调研发现，用户对不可视区域的异物寻找与清理非常关注，因此本申请实施例的方法能够及时准确的发现不可视区域的非可清扫的异物，并对用户进行提醒。
本申请实施例中的机器人可以设有图像采集单元，在一种实现方式中，图像采集单元可以包括两个图像采集单元，一个是RGB图像采集单元，一个是深度图像采集单元，其中深度图像采集单元可以是结构光镜头，还可以是基于飞行时间(time of fly，简称TOF)图像采集单元。
在一种实现方式中，如图2A、图2B所示，TOF图像采集单元可以包括带有镜头的红外阵列传感器和光源发射器。利用自带的红外光源对周围环境进行照射，当光源照射到物体上会有部分光源返回镜头，在阵列传感器上产生红外图像，形成灰度光强图。同时根据光的飞行时间获取镜头采集的图像中每个像素到目标物体之间的距离信息，产生深度图像。因此可以认为TOF图像采集单元是一种能够产生低分辨率灰度光强图和较为精确深度图的一种视觉设备，为RGBD图像采集单元的一类分支。
RGB图像采集单元相比于TOF图像采集单元能够提供更加丰富的空间、颜色、明暗信息，利用RGB图像采集单元采集的图像，用户可以直观了解到在待检测区域(例如家居环境中的隐蔽区域)中存在的异常物体是什么。
本申请实施例中的方法，执行主体可以是机器人的处理器，其中处理器可以集成在机器人中；或与机器人分离，集成在一控制器中；或者可以是与机器人通信的外部设备，例如服务器等，本发明实施例对此并不限定。
下面以具体的实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图3是本申请提供的机器人的控制方法一实施例的流程示意图。如图3所示，本实施例提供的方法，包括：
步骤101、根据采集的环境图像，确定机器人是否处于待检测区域。
具体的，机器人在清扫过程中采集环境图像，进而可以根据机器人采集的环境图像，确定该机器人是否处于待检测区域，例如用户不可视区域，如床底，沙发底，衣柜底等区域，或者其他可视区域(例如墙角)等。
在一种可能的实现方式中，根据环境图像的灰度信息，确定该机器人是否处于待检测区域，例如沙发底等区域，光线较暗，则可以认为该机器人处于待检测区域。
在一实施例中，可以实时的在机器人清扫过程中确定待检测区域，并对待检测区域的位置在机器人的环境地图中进行标注，如图4所示。
步骤102、若机器人处于待检测区域，则根据环境图像，确定待检测区域内是否存在非可清扫的异物。
具体的，若确定出机器人处于待检测区域，则进一步根据机器人采集的环境图像，确定待检测区域内是否存在非可清扫的异物，例如在床底，沙发底，衣柜底等区域确定是否存在玩具、拖鞋、遥控器等异物。
在一种可能的实现方式中，可以根据待检测区域的环境图像的灰度信息，与背景图像的灰度信息，进行比较，从而确定是否存在异物。例如，若环境图像的某些像素点的灰度值与背景图像的灰度值的差别较大，可以认为该些像素点为异物所在的区域。
步骤103、若确定待检测区域内存在非可清扫的异物，则对用户进行提醒。
具体的，若确定出待检测区域内存在非可清扫的异物，则对用户进行提醒，例如如图5所示，机器人发出语音提示信息，或，如图6所示，通过用户的电子设备上的应用程序APP显示文字或语音提示信息。
在一种实现方式中，如图4、图5所示，在用户的电子设备App的界面上显示的环境地图中对待检测区域以及存在的异物进行标注，然后广播告知用户。
在一实施例中，该控制方法还可以包括：
根据机器学习模型，对所述异物的类型进行识别，并将识别结果通知给用户。
例如，识别异物是玩具、充电器、遥控器等类别，并通知给用户，使得用户可以及时的知道存在的异物的类型，方便用户查找，提高了用户体验。
本实施例的方法，根据采集的环境图像，确定机器人是否处于待检测区域；若所述机器人处于所述待检测区域，则根据所述环境图像，确定所述待检测区域内是否存在非可清扫的异物；若确定所述待检测区域内存在非可清扫的异物，则实现了对待检测区域可能存在的异物的识别，并对用户进行提醒，使得用户可以知道待检测区域存在异物，方便用户查找，提高了用户体验。
在上述实施例的基础上，环境图像可以包括第一镜头采集的第一环境图像以及第二镜头采集的第二环境图像步骤101可以通过如下几种方式实现：
一种实现方式：
根据第一环境图像的平均灰度值，确定机器人是否处于待检测区域。
在一种可能的实现方式中，若第一环境图像的平均灰度值小于第一预设阈值，则确定机器人处于待检测区域。
本实施例中，例如第一镜头为RGB镜头，第二镜头为TOF镜头，则第一环境图像为RGB图像，第二环境图像为TOF图像。
由于RGB镜头是被动接受光源，因此可以利用环境图像的整体灰度大小较为简单的判断机器人是否在隐蔽区域活动，即是否处于待检测区域。
上述实施方式，通过RGB镜头采集的第一环境图像的灰度值可以较为方便的确定该机器人是否处于待检测区域，效率较高。
另一种实现方式：
根据第二环境图像的各个像素点的灰度值和深度值，确定机器人是否处于待检测区域。
在一种可能的实现方式中，可以通过如下方式确定机器人是否处于待检测区域：
根据第二环境图像的各个像素点对应的深度值，确定第二环境图像中是否存在障碍物区域；
若存在障碍物区域，则根据障碍物区域的各个像素点的灰度值和深度值，确定障碍物区域对应的三维点云的高度；
根据障碍物区域对应的三维点云的高度以及机器人的机身高度，确定机器人是否处于待检测区域。
在一种实现方式中，若障碍物区域对应的三维点云的高度大于机器人的机身高度，则确定机器人处于待检测区域。
如图7所示，机器人经常在家居环境中进入如沙发底等用户不可视区域，由于TOF镜头可以检测到待检测区域的深度信息，可以确定出机器人周围(例如前方)的障碍物区域，障碍物区域与其他区域的深度值不同，例如障碍物区域的深度值较小，进而可以根据障碍物区域整体的灰度信息和深度信息，确定障碍物区域对应的三维点云的实际高度，并结合机器人的机身高度，可以非常容易地判断出机器人是否进入了一个类似床底，沙发底，衣柜底的门洞场景(例如，检测到障碍物区域的最低高度都是高于机器人整体机身高度的)。进一步还可以结合RGB采集的第一环境图像的平均灰度值进行确认。
在另一实施例中，还可以通过如下方式确定是否存在障碍物区域：
根据第二环境图像的各个像素点的灰度值，确定第二环境图像中是否存在障碍物区域；
在一种可能的实现方式中，根据第二环境图像的各个像素点的灰度值，确定第二环境图像中是否存在障碍物区域，可以通过如下步骤实现：
确定第二环境图像以及第二镜头采集的背景图像的各个像素点的灰度值的差值；
将各个像素点的灰度值的差值进行二值化处理，并根据二值化处理结果确定是否存在障碍物区域。
具体的，由于TOF镜头的光源是自身提供的，因此在清扫过程中没有异物时，会采集到较为稳定的光强基准图像，作为背景图像，与当前在待检测区域采集的第二环境图像进行比较，并进行二值化处理，可以确定出是否存在障碍物区域，以及障碍物区域在第二环境图像中的位置。
在上述实施例的基础上，进一步的，步骤102具体可以采用如下方式实现：
确定所述第二环境图像以及所述背景图像的各个像素点的灰度值的差值；
将各个所述像素点的灰度值的差值进行二值化处理，并根据二值化处理结果确定所述待检测区域内是否存在异物；
若所述待检测区域内存在异物，则所述方法，还包括：
根据所述二值化处理结果，确定至少一个所述异物在所述第二环境图像上对应的像素点的像素坐标。
具体的，由于TOF镜头的光源是自身提供的，因此在清扫过程中没有异物时，会采集到较为稳定的光强基准图像，作为背景图像，与当前在待检测区域采集的第二环境图像进行比较，可以确定出是否存在异物，以及异物在第二环境图像中的位置。
假设I1(x,y)用于表示获取到的背景图像的像素点的灰度值集合。当待检测区域中出现异常物体时，TOF镜头发射的光强会在短时间内反射回来，形成较大的光强灰度图，表示为I2(x,y)。通过帧差法，获得两幅图像的差值图表示为Idif(x,y)，参见如下公式：
Idif(x,y)＝I2(x,y)-I1(x,y)
对于差值图Idif(x,y)，进行二值化处理：
其中，threshold表示预设的阈值，差值图中某个像素点的灰度值大于该阈值，则将该像素点的灰度值设为255，否则设为0。其中(x,y)表示该像素点的像素坐标。
经过二值化处理，可以在光强灰度图上得到疑似异物的像素位置，即异物在第二环境图像上对应的像素点的像素坐标。例如差值为255的像素点为异常物体对应的像素点。
进一步的，确定出待检测区域存在异物后，还根据至少一个异物在第二环境图像上对应的像素点的深度值，对至少一个异物在所述第二环境图像上对应的像素点进行聚类处理，得到聚类后的各个异物对应的像素点。
由于光强灰度图只能显示可能存在的异常物体，当待检测区域中多个异物堆叠在一起时无法对每个异常物体进行分类，因此可以进一步利用像素点对应的深度值对疑似异物的像素区域进行聚类操作，对多个异物进行分类，即可以识别出每个异物所在的像素区域，例如沙发底下存在的遥控器、玩具等，在聚类的过程中，还可以去除光强灰度图中的一些噪点和误识别的异物区域。
其中，聚类处理可以采用一些聚类算法，例如K-MEANS聚类算法、层次聚类算法、模糊聚类算法等，本申请对此并不限定。
示例性的，如图8所示，通过机器人采集TOF图像，获取光强灰度图和对应的深度图，基于光强灰度图利用背景帧差发提取疑似异物对应的像素点的像素位置，即通过将光强灰度图和背景灰度图的各个像素点的灰度值进行比较，从而得到疑似异物对应的像素点的像素位置。集合对应的深度信息对疑似异物进行聚类，若聚类成功，则检测到异物，并对异物进行了分类，在聚类之前还可以对深度图进行平滑滤波去除深度图中的噪点。
在上述实施例的基础上，进一步的，还可以确定异物在机器人的环境地图上的位置，以对用户进行提醒，本实施例中具体可以采用如下方式确定位置：
根据各个异物在第二环境图像上对应的像素点的像素坐标以及深度值，确定各个异物在第二镜头坐标系下的三维坐标；
根据第二镜头坐标系和机器人坐标系的转换关系，以及机器人坐标系和环境地图坐标系的转换关系，确定异物在环境地图上的位置。
具体的，假设通过前述实施例的方法已经获得了异物在第二环境图像上的像素位置集合，假设为Sobs((u1,v1),(u1,v1)...(un,vn))，其中Sobs表示异物在第二环境图像上所有像素集合，(u,v)表示像素坐标，该集合包括n个像素点。假设Dobs(d1,d2...dn)为集合Sobs的各个像素点对应的深度信息集合。假设通过标定已经获得第二镜头(即TOF镜头)的内参矩阵表示为：
其中，cx、cy分别表示光轴在图像平面的偏移量，即相机主点的像素坐标，fx、fy分别表示水平方向和竖直方向的焦距。
因此，由相机射影几何，可以获得异物的像素点集合在第二镜头坐标系(即TOF镜头坐标系)中的三维坐标，假设用Pobs((X1,Y1,Z1),(X2,Y2,Z2)...(Xn,Yn,Zn))表示所有点的三维坐标集合，其中三维坐标可以通过如下公式得出：
假设定义Pobs((X1,Y1,Z1),(X2,Y2,Z2)...(Xn,Yn,Zn))在机器人坐标系的三维坐标集合为RobotPobs((RX1,RY1,RZ1),(RX2,RY2,RZ2)...(RXn,RYn,RZn))；
假设定义Pobs((X1,Y1,Z1),(X2,Y2,Z2)...(Xn,Yn,Zn))在环境地图坐标系的三维坐标集合为GlobalPobs((GX1,GY1,GZ1),(GX2,GY2,GZ2)...(GXn,GYn,GZn))；
根据TOF镜头与机器人的里程计数据标定可以较为准确的获取TOF镜头坐标系相对于机器人坐标系的转换关系，即相对位置关系如下：
其中rRc表示TOF镜头坐标系到清洁机器人中心的旋转矩阵，rtc表示TOF镜头坐标系到清洁机器人中心的平移矩阵。
通过SLAM定位技术或者惯性导航技术可以较为准确获得当前机器人相对于环境地图的相对位置关系，即机器人坐标系和环境地图坐标系的转换关系如下：
其中gRr表示机器人当前位置相对于环境地图的旋转矩阵，gtr表示机器人当前位置相对于环境地图的平移矩阵。
因此，可以直接获得待检测区域的异物在环境地图上的位置信息如下：
GlobalPobs((GX1,GY1,GZ1),(GX2,GY2,GZ2)...(GXn,GYn,GZn))＝GTR×RTC×
Pobs((X1,Y1,Z1),(X2,Y2,Z2)...(Xn,Yn,Zn))
在一实施例中，步骤103还可以通过如下方式实现：
向所述用户的电子设备发送提醒消息，所述提醒消息包括所述异物在所述环境地图上的位置。
当获得异物在环境地图中的位置后，就可以在用户的电子设备App显示的环境地图上对待检测区域的异物进行标注，直观的呈现在用户面前，也更加方便用户寻找，如图4所示。
在上述实施例的基础上，进一步，本实施例的方法还可以包括：
获取第一镜头补光后采集的第三环境图像；
提取异物在第三环境图像中对应的图像区域。
在一种实现方式中，提取异物在第三环境图像中对应的图像区域，可以采用如下步骤实现：
根据异物在第二环境图像上对应的像素点的像素坐标以及深度值，确定异物在第二镜头坐标系下的三维坐标；
根据第一镜头和第二镜头之间的相对位姿关系，以及异物在所述第二镜头坐标系下的三维坐标，确定异物在第一镜头坐标系下对应的三维点的位置坐标；
根据第一镜头的内参信息以及异物在第一镜头坐标系下对应的三维点的位置坐标，确定异物在第一镜头坐标系下对应的三维点在第三环境图像中的投影像素点的像素坐标；
根据投影像素点的像素坐标，提取异物在第三环境图像中对应的图像区域。
因为TOF镜头采集的第二环境图像的分辨率较低，噪声相对较大，且不具备RGB颜色空间信息，因此本申请实施例中提出利用RGB镜头采集的环境图像提取的异物所在的精确的图像区域。
由于待检测区域通常为较暗的隐蔽区域，可以通过给RGB镜头进行额外补光，获得色彩较为丰富的环境图像信息。RGB镜头与TOF镜头的安装结构信息可以采用水平或垂直安装，具体可以按照机器人结构而定。水平安装情况如图9所示。首先通过双目标定技术，获取TOF镜头光心到RGB镜头光心的相对位姿关系如下：
其中，rgbRtof表示TOF镜头光心到RGB镜头光心的旋转矩阵，rgbttof表示TOF镜头光心到RGB镜头光心的平移矩阵。
假设定义异物在TOF镜头坐标系下的三维坐标集合为Pobs((X1,Y1,Z1),(X2,Y2,Z2)...(Xn,Yn,Zn))(计算过程参见前述实施例)，Pobs((X1,Y1,Z1),(X2,Y2,Z2)...(Xn,Yn,Zn))在RGB镜头坐标系下对应的三维点的位置坐标集合为RGBPobs((RGBX1,RGBY1,RGBZ1),(RGBX2,RGBY2,RGBZ2)...(RGBXn,RGBYn,RGBZn))。
定义点集RGBPobs在RGB镜头采集的RGB图像平面(即第三环境图像平面)的二维投影点集为RGBSobs((RGBu1,RGBv1),(RGBu2,RGBv2)...(RGBun,RGBvn))。定义RGB标定的内参矩阵为KRGB。
因此可以通过如下公式获得待检测区域中异物在RGB图像平面的像素点的像素坐标集合。
RGBSobs((RGBu1,RGBv1,1),(RGBu2,RGBv2,1)...(RGBun,RGBvn,1))＝
Zn×KRGB×RGBTtof×RGBPobs((RGBX1,RGBY1,RGBZ1),(RGBX2,RGBY2,RGBZ2)...(RGBXn,RGBYn,RGBZn))
当获得异物在RGB图像平面的所有像素点集RGBSobs后，可以获取异物所在的图像区域，例如获取所有点集中分别位于最左上，右上，左下，右下的四个像素点的集合定义为SROI＝((utopLeft,vtopLeft),(utopRight,vtopRight),(ubottomLeft,vbottomLeft),(ubottomRight,vbottomRight))，即该异物所在的矩形框区域，上述过程可以通过暴力搜索等方式实现。
进一步，还可以在RGB图像即第三环境图像中截取该矩形框区域中的图像上报给用户的电子设备，通过电子设备的APP呈现到用户眼前。在一实施例中，如果该矩形框区域太大，可以通过下采样的方式将大小缩小至固定窗口大小。在一实施例中，如果矩形框区域较小不适合呈现在App上，可以通过插值的方式获得固定窗口大小的感兴趣区域ROI图像。
在一实施例中，步骤103还可以通过如下方式实现：
向所述用户的电子设备发送提醒消息，所述提醒消息包括所述图像区域的内容。
例如，当判断出机器人在待检测区域，例如光线较暗的隐蔽区域活动后，确定该待检测区域中是否存在异物，若存在，则进一步确定出异物在环境地图中的位置坐标并进行标注，对RGB镜头进行额外补光，获取异物在RGB图像中的图像区域并将该图像区域的内容上报给用户的电子设备，通过该电子设备的App呈现给用户，如图10所示，该图10可以是用户对图6显示的提醒消息点击后查看到的详情。
在其他实施例中，还可以向用户的电子设备发送采集的待检测区域逇视频，方便用户查看。
示例性的，如图11所示，获取RGB镜头采集的RGB图像，通过RGB图像平均灰度值判断机器人是否处于隐蔽区域，即若平均灰度值小于预设阈值，则确定机器人处于隐蔽区域。获取TOF镜头采集的光强灰度图和深度图，检测是否存在异物，若检测到隐蔽区域存在异物，则获取异物在环境地图中的三维坐标，并在环境地图中对异物进行标注，同时还可以对RGB镜头进行补光获取高质量的RGB图像，并获取异物在RGB图像中的图像区域，然后向用户的电子设备的APP推送图像区域内容以及环境地图中标注的位置。
综上，本申请实施例的方法，实现了对待检测区域可能存在的异物的识别，并对用户进行提醒，使得用户可以知道待检测区域存在异物，方便用户查找，提高了用户体验。
图12为本申请提供的机器人实施例的结构图，如图12所示，该机器人包括：
图像采集单元122、处理器123，以及，用于存储处理器123的可执行指令的存储器124。
可选的，还可以包括：通信接口，用于实现与其他设备的通信。
其中，图像采集单元用于采集环境图像。
上述部件可以通过一条或多条总线进行通信。
其中，处理器123配置为经由执行所述可执行指令来执行：
根据采集的环境图像，确定机器人是否处于待检测区域；
若所述机器人处于所述待检测区域，则根据所述环境图像，确定所述待检测区域内是否存在非可清扫的异物；
若确定所述待检测区域内存在非可清扫的异物，则对用户进行提醒。
在一种可能的实现方式中，所述环境图像包括第一镜头采集的第一环境图像以及第二镜头采集的第二环境图像，处理器123配置为：
根据所述第一环境图像的平均灰度值，确定所述机器人是否处于所述待检测区域；或，
根据所述第二环境图像的各个像素点的灰度值和深度值，确定所述机器人是否处于所述待检测区域。
在一种可能的实现方式中，处理器123配置为：
若所述第一环境图像的平均灰度值小于第一预设阈值，则确定所述机器人处于所述待检测区域。
在一种可能的实现方式中，处理器123配置为：
根据所述第二环境图像的各个像素点的深度值，确定所述第二环境图像中是否存在障碍物区域；
若存在障碍物区域，则根据所述障碍物区域的各个像素点的灰度值和深度值，确定所述障碍物区域对应的三维点云的高度；
根据所述障碍物区域对应的三维点云的高度以及所述机器人的机身高度，确定所述机器人是否处于所述待检测区域。
在一种可能的实现方式中，处理器123配置为：
若所述障碍物区域对应的三维点云的高度大于所述机器人的机身高度，则确定所述机器人处于所述待检测区域。
在一种可能的实现方式中，处理器123配置为：
确定所述第二环境图像以及所述第二镜头采集的背景图像的各个像素点的灰度值的差值；
将各个所述像素点的灰度值的差值进行二值化处理，并根据二值化处理结果确定所述待检测区域内是否存在异物；
若所述待检测区域内存在至少一个异物，则所述方法，还包括：
根据所述二值化处理结果，确定至少一个所述异物在所述第二环境图像上对应的像素点的像素坐标。
在一种可能的实现方式中，处理器123配置为：
根据至少一个所述异物在所述第二环境图像上对应的像素点的深度值，对至少一个所述异物在所述第二环境图像上对应的像素点进行聚类处理，得到聚类后的各个所述异物对应的像素点。
在一种可能的实现方式中，处理器123配置为：
根据各个所述异物在所述第二环境图像上对应的像素点的像素坐标以及深度值，确定各个所述异物在第二镜头坐标系下的三维坐标；
根据所述第二镜头坐标系和机器人坐标系的转换关系，以及所述机器人坐标系和环境地图坐标系的转换关系，确定所述异物在所述环境地图上的位置。
在一种可能的实现方式中，处理器123配置为：
向所述用户的电子设备发送提醒消息，所述提醒消息包括所述异物在所述环境地图上的位置。
在一种可能的实现方式中，处理器123配置为：
获取所述第一镜头补光后采集的第三环境图像；
提取所述异物在所述第三环境图像中对应的图像区域。
在一种可能的实现方式中，处理器123配置为：
根据所述异物在所述第二环境图像上对应的像素点的像素坐标以及深度值，确定所述异物在第二镜头坐标系下的三维坐标；
根据所述第一镜头和第二镜头之间的相对位姿关系，以及所述异物在所述第二镜头坐标系下的三维坐标，确定所述异物在所述第一镜头坐标系下对应的三维点的位置坐标；
根据所述第一镜头的内参信息以及所述异物在所述第一镜头坐标系下对应的三维点的位置坐标，确定所述异物在所述第一镜头坐标系下对应的三维点在所述第三环境图像中的投影像素点的像素坐标；
根据所述投影像素点的像素坐标，提取所述异物在所述第三环境图像中对应的图像区域。
在一种可能的实现方式中，处理器123配置为：
向所述用户的电子设备发送提醒消息，所述提醒消息包括所述图像区域的内容。
在一种可能的实现方式中，处理器123配置为：
根据机器学习模型，对所述异物的类型进行识别，并将识别结果通知给用户。
本实施例的设备配置为经由执行所述可执行指令来执行前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，此处不再赘述。
图13为本申请提供的电子设备实施例的结构图，如图13所示，该电子设备包括：
处理器131，以及，用于存储处理器131的可执行指令的存储器132。
可选的，还可以包括：通信接口133，用于实现与其他设备的通信。
上述部件可以通过一条或多条总线进行通信。
其中，处理器131配置为经由执行所述可执行指令来执行前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，此处不再赘述。
该电子设备可以是与机器人通信的其他控制设备，例如服务器等。
本申请实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方法实施例中对应的方法，其具体实施过程可以参见前述方法实施例，其实现原理和技术效果类似，此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (14)
1.一种机器人的控制方法，其特征在于，包括：
根据采集的环境图像，确定机器人是否处于待检测区域；
若所述机器人处于所述待检测区域，则根据所述环境图像，确定所述待检测区域内是否存在非可清扫的异物；
若确定所述待检测区域内存在非可清扫的异物，则对用户进行提醒；
所述环境图像包括第一镜头采集的第一环境图像以及第二镜头采集的第二环境图像，所述根据采集的环境图像，确定机器人是否处于待检测区域，包括：
根据所述第一环境图像的平均灰度值，确定所述机器人是否处于所述待检测区域；或，
根据所述第二环境图像的各个像素点的灰度值和深度值，确定所述机器人是否处于所述待检测区域；
所述根据所述第二环境图像的各个像素点的灰度值和深度值，确定所述机器人是否处于所述待检测区域，包括：
根据所述第二环境图像的各个像素点的深度值，确定所述第二环境图像中是否存在障碍物区域；
若存在障碍物区域，则根据所述障碍物区域的各个像素点的灰度值和深度值，确定所述障碍物区域对应的三维点云的高度；
根据所述障碍物区域对应的三维点云的高度以及所述机器人的机身高度，确定所述机器人是否处于所述待检测区域。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一环境图像的平均灰度值，确定所述机器人是否处于所述待检测区域，包括：
若所述第一环境图像的平均灰度值小于第一预设阈值，则确定所述机器人处于所述待检测区域。
3.根据权利要求1所述的方法，其特征在于，所述根据所述障碍物区域对应的三维点云的高度以及所述机器人的机身高度，确定所述机器人是否处于所述待检测区域，包括：
若所述障碍物区域对应的三维点云的高度大于所述机器人的机身高度，则确定所述机器人处于所述待检测区域。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述环境图像，确定所述待检测区域内是否存在非可清扫的异物，包括：
确定所述第二环境图像以及所述第二镜头采集的背景图像的各个像素点的灰度值的差值；
将各个所述像素点的灰度值的差值进行二值化处理，并根据二值化处理结果确定所述待检测区域内是否存在异物；
若所述待检测区域内存在至少一个异物，则所述方法，还包括：
根据所述二值化处理结果，确定至少一个所述异物在所述第二环境图像上对应的像素点的像素坐标。
5.根据权利要求4所述的方法，其特征在于，所述确定至少一个所述异物在所述第二环境图像上对应的像素点的像素坐标之后，还包括：
根据至少一个所述异物在所述第二环境图像上对应的像素点的深度值，对至少一个所述异物在所述第二环境图像上对应的像素点进行聚类处理，得到聚类后的各个所述异物对应的像素点。
6.根据权利要求4所述的方法，其特征在于，还包括：
根据各个所述异物在所述第二环境图像上对应的像素点的像素坐标以及深度值，确定各个所述异物在第二镜头坐标系下的三维坐标；
根据所述第二镜头坐标系和机器人坐标系的转换关系，以及所述机器人坐标系和环境地图坐标系的转换关系，确定所述异物在所述环境地图上的位置。
7.根据权利要求6所述的方法，其特征在于，所述对用户进行提醒，包括：
向所述用户的电子设备发送提醒消息，所述提醒消息包括所述异物在所述环境地图上的位置。
8.根据权利要求1-3任一项所述的方法，其特征在于，还包括：
获取所述第一镜头补光后采集的第三环境图像；
提取所述异物在所述第三环境图像中对应的图像区域。
9.根据权利要求8所述的方法，其特征在于，所述提取所述异物在第三环境图像中对应的图像区域，包括：
根据所述异物在所述第二环境图像上对应的像素点的像素坐标以及深度值，确定所述异物在第二镜头坐标系下的三维坐标；
根据所述第一镜头和第二镜头之间的相对位姿关系，以及所述异物在所述第二镜头坐标系下的三维坐标，确定所述异物在所述第一镜头坐标系下对应的三维点的位置坐标；
根据所述第一镜头的内参信息以及所述异物在所述第一镜头坐标系下对应的三维点的位置坐标，确定所述异物在所述第一镜头坐标系下对应的三维点在所述第三环境图像中的投影像素点的像素坐标；
根据所述投影像素点的像素坐标，提取所述异物在所述第三环境图像中对应的图像区域。
10.根据权利要求8所述的方法，其特征在于，所述对用户进行提醒，包括：
向所述用户的电子设备发送提醒消息，所述提醒消息包括所述图像区域的内容。
11.根据权利要求1-3任一项所述的方法，其特征在于，还包括：
根据机器学习模型，对所述异物的类型进行识别，并将识别结果通知给用户。
12.一种机器人，其特征在于，包括：
图像采集单元、处理器和存储器；
其中，所述存储器，用于存储所述处理器的可执行指令；
所述图像采集单元用于采集环境图像；
所述处理器配置为经由执行所述可执行指令以实现：
根据采集的环境图像，确定机器人是否处于待检测区域；
若所述机器人处于所述待检测区域，则根据所述环境图像，确定所述待检测区域内是否存在非可清扫的异物；
若确定所述待检测区域内存在非可清扫的异物，则对用户进行提醒；
所述环境图像包括第一镜头采集的第一环境图像以及第二镜头采集的第二环境图像，所述处理器配置为：
根据所述第一环境图像的平均灰度值，确定所述机器人是否处于所述待检测区域；或，
根据所述第二环境图像的各个像素点的灰度值和深度值，确定所述机器人是否处于所述待检测区域；
所述根据所述第二环境图像的各个像素点的灰度值和深度值，确定所述机器人是否处于所述待检测区域，包括：
根据所述第二环境图像的各个像素点的深度值，确定所述第二环境图像中是否存在障碍物区域；
若存在障碍物区域，则根据所述障碍物区域的各个像素点的灰度值和深度值，确定所述障碍物区域对应的三维点云的高度；
根据所述障碍物区域对应的三维点云的高度以及所述机器人的机身高度，确定所述机器人是否处于所述待检测区域。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-11任一项所述的方法。
14.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-11任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910972285.8A CN112733571B (zh) | 2019-10-14 | 2019-10-14 | 机器人的控制方法、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910972285.8A CN112733571B (zh) | 2019-10-14 | 2019-10-14 | 机器人的控制方法、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112733571A CN112733571A (zh) | 2021-04-30 |
| CN112733571B true CN112733571B (zh) | 2024-05-17 |
Family
ID=75588577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910972285.8A Active CN112733571B (zh) | 2019-10-14 | 2019-10-14 | 机器人的控制方法、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112733571B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113534814A (zh) * | 2021-08-04 | 2021-10-22 | 国网浙江省电力有限公司嘉兴供电公司 | 一种变电站操作机器人的避障方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130030932A (ko) * | 2011-09-20 | 2013-03-28 | 엘지전자 주식회사 | 로봇 청소기 |
| CN103565366A (zh) * | 2012-08-08 | 2014-02-12 | 夏普株式会社 | 清扫机器人及其控制方法 |
| CN105468033A (zh) * | 2015-12-29 | 2016-04-06 | 上海大学 | 一种基于多摄像头机器视觉的医疗吊臂自动避障控制方法 |
| CN107491070A (zh) * | 2017-08-31 | 2017-12-19 | 成都通甲优博科技有限责任公司 | 一种移动机器人路径规划方法及装置 |
| CN108125622A (zh) * | 2017-12-15 | 2018-06-08 | 珊口（上海）智能科技有限公司 | 控制方法、系统及所适用的清洁机器人 |
| CN109145677A (zh) * | 2017-06-15 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 障碍物检测方法、装置、设备及存储介质 |
| CN109316127A (zh) * | 2018-06-29 | 2019-02-12 | 炬大科技有限公司 | 一种扫地机器人洞口检测装置及未知区域探索方法 |
| CN208988725U (zh) * | 2018-07-03 | 2019-06-18 | 景德镇学院 | 一种具有寻物功能的智能扫地机器人 |
| CN110084177A (zh) * | 2019-04-24 | 2019-08-02 | 珠海格力电器股份有限公司 | 定位系统、方法、控制系统以及空调、存储介质 |
-
2019
- 2019-10-14 CN CN201910972285.8A patent/CN112733571B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130030932A (ko) * | 2011-09-20 | 2013-03-28 | 엘지전자 주식회사 | 로봇 청소기 |
| CN103565366A (zh) * | 2012-08-08 | 2014-02-12 | 夏普株式会社 | 清扫机器人及其控制方法 |
| CN105468033A (zh) * | 2015-12-29 | 2016-04-06 | 上海大学 | 一种基于多摄像头机器视觉的医疗吊臂自动避障控制方法 |
| CN109145677A (zh) * | 2017-06-15 | 2019-01-04 | 百度在线网络技术（北京）有限公司 | 障碍物检测方法、装置、设备及存储介质 |
| CN107491070A (zh) * | 2017-08-31 | 2017-12-19 | 成都通甲优博科技有限责任公司 | 一种移动机器人路径规划方法及装置 |
| CN108125622A (zh) * | 2017-12-15 | 2018-06-08 | 珊口（上海）智能科技有限公司 | 控制方法、系统及所适用的清洁机器人 |
| CN109316127A (zh) * | 2018-06-29 | 2019-02-12 | 炬大科技有限公司 | 一种扫地机器人洞口检测装置及未知区域探索方法 |
| CN208988725U (zh) * | 2018-07-03 | 2019-06-18 | 景德镇学院 | 一种具有寻物功能的智能扫地机器人 |
| CN110084177A (zh) * | 2019-04-24 | 2019-08-02 | 珠海格力电器股份有限公司 | 定位系统、方法、控制系统以及空调、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112733571A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8860760B2 (en) | Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene | |
| CN109564690B (zh) | 使用多向相机评估封闭空间的尺寸 | |
| CN109003303B (zh) | 基于语音和空间物体识别及定位的设备控制方法及装置 | |
| US10163256B2 (en) | Method and system for generating a three-dimensional model | |
| Zhou et al. | Self‐supervised learning to visually detect terrain surfaces for autonomous robots operating in forested terrain | |
| WO2019179441A1 (zh) | 智能设备的焦点跟随方法、装置、智能设备及存储介质 | |
| US7831087B2 (en) | Method for visual-based recognition of an object | |
| CN113359692B (zh) | 一种障碍物的避让方法、可移动机器人 | |
| JP2014106685A (ja) | 車両周辺監視装置 | |
| US11748998B1 (en) | Three-dimensional object estimation using two-dimensional annotations | |
| JPWO2014103433A1 (ja) | 車両周辺監視装置 | |
| WO2021114776A1 (en) | Object detection method, object detection device, terminal device, and medium | |
| US11282180B1 (en) | Object detection with position, pose, and shape estimation | |
| CN111028271A (zh) | 基于人体骨架检测的多摄像机人员三维定位跟踪系统 | |
| CN112150448A (zh) | 图像处理方法、装置及设备、存储介质 | |
| US20150016673A1 (en) | Image processing apparatus, image processing method, and program | |
| CN112733571B (zh) | 机器人的控制方法、设备和存储介质 | |
| KR20170072491A (ko) | 축사 개체 탐지 장치 및 방법 | |
| JP6920949B2 (ja) | 物体分布推定装置 | |
| US20230091536A1 (en) | Camera Placement Guidance | |
| CN109641351B (zh) | 一种物体特征的识别方法、视觉识别装置及机器人 | |
| US20220245860A1 (en) | Annotation of two-dimensional images | |
| KR20230109406A (ko) | 열화상 카메라와 라이다 센서 융합 기반 객체 탐지 장치 및 방법 | |
| Maier et al. | Surprise-driven acquisition of visual object representations for cognitive mobile robots | |
| CN107067468B (zh) | 一种信息处理方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TG01 | Patent term adjustment | ||
| TG01 | Patent term adjustment |