CN114343478B - 一种清洁机器人的场景识别方法及清洁机器人 - Google Patents
一种清洁机器人的场景识别方法及清洁机器人 Download PDFInfo
- Publication number
- CN114343478B CN114343478B CN202011053967.8A CN202011053967A CN114343478B CN 114343478 B CN114343478 B CN 114343478B CN 202011053967 A CN202011053967 A CN 202011053967A CN 114343478 B CN114343478 B CN 114343478B
- Authority
- CN
- China
- Prior art keywords
- image
- cleaning
- cleaning robot
- acquisition module
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种清洁机器人的场景识别方法及清洁机器人，其特征在于：在清洁机器人上设置第一图像采集模块和第二图像采集模块，第一图像采集模块和第二图像采集模块能分别采集两个不同方向范围内图像，令第一图像采集模块采集的图像为第一图像，第二图像采集模块采集的图像为第二图像；对第一图像和第二图像进行目标物体检测，如果第一图像和第二图像中检测到的目标物体属于同一家居场景，则将该家居场景识别为清洁机器人当前所处的家居场景。与现有技术相比，本发明的优点在于：对于开放式家居环境来说，能准确快速的识别出不同的家居场景。
Description
技术领域
本发明涉及一种清洁机器人的场景识别方法及清洁机器人。
背景技术
随着社会的发展与进步，人民对于生活的品质有了更高的要求，体现在家居场景上便是越来越多的家庭已经不再满足于传统的家装风格，更多的家庭选择开放式场景如开放式厨房，开放式卧室等，体现出对于美好生活的追求。而对于传统的清洁机器人而言，在对家庭环境进行清扫的过程中往往是根据不同的空间来选择不同的清扫模式，对于开放式场景来说，传统的清洁机器人对于空间分割往往采用虚拟墙的方式进行，并没有有针对性的进行空间分割。此外，传统的清洁机器人场景识别算法往往对于外界环境的光影的变化有很高的要求，对于各种各样的家居环境并不能达到较好识别效果。并且传统的清洁机器人场景识别算法往往是基于场景分割之后进行相关策略的清扫工作，因此均需要先利用一段时间来进行场景的学习。
在一些利用视觉系统进行场景识别的清洁机器人中，在常见的家居场景中，利用这种方法可以很好的得到当前空间位置下的具体场景，进而给出相应的清扫策略，而在实际生活中，对于开放式空间来说，如常见的开放式厨房，开放式卧室等。当利用上述方法进行视觉检测时，对于开放式场景下的例如厨房与客厅相连时，清洁机器人检测到的目标通常会随着清扫路线而变化，如镜头面向客厅时，检测到的目标会使得机器人判断当前是在客厅中，进而选择客厅的清扫模式，而实际情况下此时的位置还在厨房中，这种场景对智能清洁机器人的清扫会产生一定的问题。
发明内容
本发明所要解决的第一个技术问题是针对上述现有技术提供一种在开放式家居环境中能准确快速的识别出家居场景的清洁机器人的场景识别方法。
本发明所要解决的第二个技术问题是针对上述现有技术提供一种能准确快速的识别出开放式场景环境下的不同空间的清洁机器人。
本发明解决上述第一个技术问题所采用的技术方案为：一种清洁机器人的场景识别方法，其特征在于：在清洁机器人上设置第一图像采集模块和第二图像采集模块，第一图像采集模块和第二图像采集模块能分别采集两个不同方向范围内图像，令第一图像采集模块采集的图像为第一图像，第二图像采集模块采集的图像为第二图像；对第一图像和第二图像进行目标物体检测，如果第一图像和第二图像中检测到的目标物体属于同一家居场景，则将该家居场景识别为清洁机器人当前所处的家居场景。
如果第一图像和第二图像中采集到的目标物体属于不同的家居场景，令第一图像检测到的目标物体属于第一家居场景，令第二图像检测到的目标物体属于第二家居场景，清洁机器人通过如下方式判别清洁机器人当前所处的家居场景为第一家居场景还是第二家居场景：
获取第一图像检测到的目标物体与清洁机器人之间的距离，获取第一图像检测到的目标物体与清洁机器清扫前进方向的夹角，计算第一图像检测到的目标物体在清洁机器清扫前进方向上的垂直投影距离，将该垂直投影距离标记为d1；
获取第二图像检测到的目标物体与清洁机器人之间的距离，获取第二图像检测到的目标物体与清洁机器清扫前进方向的夹角，计算第二图像检测到的目标物体在清洁机器清扫前进方向上的垂直投影距离，将该垂直投影距离标记为d2；
如果d1小于d2，判别清洁机器人当前所处的家居场景为第一家居场景；
如果d1大于d2，判别清洁机器人当前所处的家居场景为第二家居场景；
如果d1等于d2，判别清洁机器人当前所处的家居场景为上次识别出的家居场景。
如果第一图像检测到的目标物体有多个，则分别获取第一图像中不同目标物体与清洁机器人之间的距离，分别获取第一图像中不同目标物体与清洁机器清扫前进方向的夹角，然后分别计算第一图像中不同目标物体在清洁机器清扫前进方向上的垂直投影距离，将多个第一图像中不同目标物体在清洁机器清扫前进方向上的垂直投影距离的平均值标记为d1；如果第二图像检测到的目标物体有多个，则分别获取第二图像中不同目标物体与清洁机器人之间的距离，分别获取第二图像中不同目标物体与清洁机器清扫前进方向的夹角，然后分别计算第二图像中不同目标物体在清洁机器清扫前进方向上的垂直投影距离，将多个第二图像中不同目标物体在清洁机器清扫前进方向上的垂直投影距离的平均值标记为d2。
所述第一图像采集模块采集的为清洁机器人清扫前进方向范围内的图像，第二图像采集模块采用为与清洁机器人清扫前进方向相反的方向范围内的图像。
本发明解决上述第二个技术问题所采用的技术方案为：一种清洁机器人，包括机体，机体上设有清洁组件，机体内设有用于控制清洁组件工作状态的控制器，其特征在于：所述清洁机器人上设置第一图像采集模块和第二图像采集模块，第一图像采集模块和第二图像采集模块能分别采集两个不同方向范围内图像，第一图像采集模块和第二图像采集模块均与控制器连接，所述控制器采用上述场景识别方法对当前工作环境进行识别。
所述控制器内设有针对不同类型的家居场景对应的清扫策略，每个清扫策略下，控制器控制清洁组件以不同工作条件进行工作，当控制器识别出清洁机器人当前所处的家居场景后，按照预设对应的清扫策略，控制清洁组件以对应的工作条件进行工作。
与现有技术相比，本发明的优点在于：通过设置两个能集两个不同方向范围内图像的图像采集装置，并对采集的两组图像进行目标物体检测，如果两组图像中检测到的目标物体属于同一家居场景，则将该家居场景识别为清洁机器人当前所处的家居场景，对于开放式家居环境来说，能准确快速的识别出不同的家居场景。
附图说明
图1为本发明实施例中清洁机器人的场景识别方法流程图。
图2为本发明实施例中多目标物体的垂直投影示意图。
具体实施方式
以下结合附图实施例对本发明做详细描述。
如图1所示，本发明提供了一种清洁机器人的场景识别方法，其在清洁机器人上设置第一图像采集模块和第二图像采集模块，第一图像采集模块和第二图像采集模块能分别采集两个不同方向范围内图像，本实施例中，所述第一图像采集模块设置在清洁机器人的前侧，用于采集清洁机器人清扫前进方向范围内的图像，第二图像采集模块设置在清洁机器人后侧，用于采用为与清洁机器人清扫前进方向相反的方向范围内的图像；第一图像采集模块和第二图像采集模块的识别角度为5度～120度；令第一图像采集模块采集的图像为第一图像，第二图像采集模块采集的图像为第二图像；对第一图像和第二图像进行目标物体检测，如果第一图像和第二图像中检测到的目标物体属于同一家居场景，则将该家居场景识别为清洁机器人当前所处的家居场景；如果第一图像和第二图像中采集到的目标物体属于不同的家居场景，令第一图像检测到的目标物体属于第一家居场景，令第二图像检测到的目标物体属于第二家居场景，清洁机器人通过如下方式判别清洁机器人当前所处的家居场景为第一家居场景还是第二家居场景：
获取第一图像检测到的目标物体与清洁机器人之间的距离L1，获取第一图像检测到的目标物体与清洁机器清扫前进方向的夹角α，计算第一图像检测到的目标物体在清洁机器清扫前进方向上的垂直投影距离，将该垂直投影距离标记为d1＝L1×cosα；
获取第二图像检测到的目标物体与清洁机器人之间的距离L2，获取第二图像检测到的目标物体与清洁机器清扫前进方向的夹角β，计算第二图像检测到的目标物体在清洁机器清扫前进方向上的垂直投影距离，将该垂直投影距离标记为d2＝L2×cosβ；
如果d1小于d2，判别清洁机器人当前所处的家居场景为第一家居场景；
如果d1大于d2，判别清洁机器人当前所处的家居场景为第二家居场景；
如果d1等于d2，判别清洁机器人当前所处的家居场景为上次识别出的家居场景。
如果第一图像检测到的目标物体有多个，则分别获取第一图像中不同目标物体与清洁机器人之间的距离，分别获取第一图像中不同目标物体与清洁机器清扫前进方向的夹角，然后分别计算第一图像中不同目标物体在清洁机器清扫前进方向上的垂直投影距离，将多个第一图像中不同目标物体在清洁机器清扫前进方向上的垂直投影距离的平均值标记为d1；如果第二图像检测到的目标物体有多个，则分别获取第二图像中不同目标物体与清洁机器人之间的距离，分别获取第二图像中不同目标物体与清洁机器清扫前进方向的夹角，然后分别计算第二图像中不同目标物体在清洁机器清扫前进方向上的垂直投影距离，将多个第二图像中不同目标物体在清洁机器清扫前进方向上的垂直投影距离的平均值标记为d2。以图2为例，机器人前进方向为y方向，第一图像检测到的目标物体有三个，三个目标物体与清洁机器人之间的距离分别为l11、l12、l13，三个不同目标物体与清洁机器清扫前进方向的夹角α1、α2、α3，三个目标物体在清洁机器清扫前进方向上的垂直投影距离d11、d12、d13，其中，d11＝l11×α1，d12＝l12×α2，d13＝l13×α3，则d1＝(d11+d12+d13)÷3；第二图像检测到的目标物体有两个，两个目标物体与清洁机器人之间的距离分别为l21、l22，两个不同目标物体与清洁机器清扫前进方向的夹角β1、β2，两个目标物体在清洁机器清扫前进方向上的垂直投影距离d21、d22，其中，d21＝l21×β1，d22＝l22×β2，则d2＝(d21+d22)÷2。
目标物体与家居场景的对应关系可以预存在清洁机器人中，例如在清洁机器人内预存家居场景中N类常见的目标物体的类别名称；目标物体如油烟机、灶具、沙发、电视、床、餐桌椅、茶几、镜子、马桶、书等；在对图像进行识别时，如果识别到的目标物体为油烟机或灶具，则该家居场景对应为厨房，如果识别到目标物体为沙发，则该家居场景对应为客厅。当然还可以采用申请号为202010685444.9的中国专利申请中采用的目标物体与场景对应关系的识别方法进行场景识别。
本实施例中还提供了一种清洁机器人，包括机体，机体上设有清洁组件，机体的前侧设有第一图像采集模块，机体的后侧设有第二图像采集模块，两个图像采集模块均为摄像头，机体内设有用于控制清洁组件工作状态的控制器，两个图像采集模块均与控制器连接，控制器采用如上述场景识别方法对当前工作环境进行识别。控制器内设有针对不同类型的特定家居场景对应的清扫策略，每个清扫策略下，控制器控制清洁组件以不同工作条件进行工作，当控制器识别出清洁机器人当前所处的特定家居场景后，按照预设对应的清扫策略，控制清洁组件以对应的工作条件进行工作。
Claims (5)
1.一种清洁机器人的场景识别方法，其特征在于：在清洁机器人上设置第一图像采集模块和第二图像采集模块，第一图像采集模块和第二图像采集模块能分别采集两个不同方向范围内图像，令第一图像采集模块采集的图像为第一图像，第二图像采集模块采集的图像为第二图像；对第一图像和第二图像进行目标物体检测，如果第一图像和第二图像中检测到的目标物体属于同一家居场景，则将该家居场景识别为清洁机器人当前所处的家居场景；如果第一图像和第二图像中采集到的目标物体属于不同的家居场景，令第一图像检测到的目标物体属于第一家居场景，令第二图像检测到的目标物体属于第二家居场景，清洁机器人通过如下方式判别清洁机器人当前所处的家居场景为第一家居场景还是第二家居场景：
获取第一图像检测到的目标物体与清洁机器人之间的距离，获取第一图像检测到的目标物体与清洁机器清扫前进方向的夹角，计算第一图像检测到的目标物体在清洁机器清扫前进方向上的垂直投影距离，将该垂直投影距离标记为d1；
获取第二图像检测到的目标物体与清洁机器人之间的距离，获取第二图像检测到的目标物体与清洁机器清扫前进方向的夹角，计算第二图像检测到的目标物体在清洁机器清扫前进方向上的垂直投影距离，将该垂直投影距离标记为d2；
如果d1小于d2，判别清洁机器人当前所处的家居场景为第一家居场景；
如果d1大于d2，判别清洁机器人当前所处的家居场景为第二家居场景；
如果d1等于d2，判别清洁机器人当前所处的家居场景为上次识别出的家居场景。
2.根据权利要求1所述的场景识别方法，其特征在于：如果第一图像检测到的目标物体有多个，则分别获取第一图像中不同目标物体与清洁机器人之间的距离，分别获取第一图像中不同目标物体与清洁机器清扫前进方向的夹角，然后分别计算第一图像中不同目标物体在清洁机器清扫前进方向上的垂直投影距离，将多个第一图像中不同目标物体在清洁机器清扫前进方向上的垂直投影距离的平均值标记为d1；如果第二图像检测到的目标物体有多个，则分别获取第二图像中不同目标物体与清洁机器人之间的距离，分别获取第二图像中不同目标物体与清洁机器清扫前进方向的夹角，然后分别计算第二图像中不同目标物体在清洁机器清扫前进方向上的垂直投影距离，将多个第二图像中不同目标物体在清洁机器清扫前进方向上的垂直投影距离的平均值标记为d2。
3.根据权利要求1或2所述的场景识别方法，其特征在于：所述第一图像采集模块采集的为清洁机器人清扫前进方向范围内的图像，第二图像采集模块采用为与清洁机器人清扫前进方向相反的方向范围内的图像。
4.一种清洁机器人，包括机体，机体上设有清洁组件，机体内设有用于控制清洁组件工作状态的控制器，其特征在于：所述清洁机器人上设置第一图像采集模块和第二图像采集模块，第一图像采集模块和第二图像采集模块能分别采集两个不同方向范围内图像，第一图像采集模块和第二图像采集模块均与控制器连接，所述控制器采用如权利要求1所述的场景识别方法对当前工作环境进行识别。
5.根据权利要求4所述的清洁机器人，其特征在于：所述控制器内设有针对不同类型的家居场景对应的清扫策略，每个清扫策略下，控制器控制清洁组件以不同工作条件进行工作，当控制器识别出清洁机器人当前所处的家居场景后，按照预设对应的清扫策略，控制清洁组件以对应的工作条件进行工作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011053967.8A CN114343478B (zh) | 2020-09-30 | 2020-09-30 | 一种清洁机器人的场景识别方法及清洁机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011053967.8A CN114343478B (zh) | 2020-09-30 | 2020-09-30 | 一种清洁机器人的场景识别方法及清洁机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114343478A CN114343478A (zh) | 2022-04-15 |
| CN114343478B true CN114343478B (zh) | 2023-04-14 |
Family
ID=81089756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011053967.8A Active CN114343478B (zh) | 2020-09-30 | 2020-09-30 | 一种清洁机器人的场景识别方法及清洁机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114343478B (zh) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930794A (zh) * | 2016-04-20 | 2016-09-07 | 东北大学 | 一种基于云计算的室内场景识别方法 |
| CN108563987A (zh) * | 2018-03-02 | 2018-09-21 | 刘峰 | 一种智能移动终端 |
| CN108540780A (zh) * | 2018-06-08 | 2018-09-14 | 苏州清研微视电子科技有限公司 | 基于扫地机器人设备的智能移动家庭监控系统 |
| JP7049983B2 (ja) * | 2018-12-26 | 2022-04-07 | 株式会社日立製作所 | 物体認識装置および物体認識方法 |
| CN111012261A (zh) * | 2019-11-18 | 2020-04-17 | 深圳市杉川机器人有限公司 | 基于场景识别的清扫方法、系统、扫地设备及存储介质 |
-
2020
- 2020-09-30 CN CN202011053967.8A patent/CN114343478B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114343478A (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Droeschel et al. | Learning to interpret pointing gestures with a time-of-flight camera | |
| CN108763606B (zh) | 一种基于机器视觉的户型图元素自动提取方法与系统 | |
| CN109871013A (zh) | 清洁机器人路径规划方法及系统、存储介质、电子设备 | |
| JP5478075B2 (ja) | 空気調和装置 | |
| CN105701437B (zh) | 基于机器人的肖像绘制系统 | |
| CN1694045A (zh) | 一种非接触式目控操作系统和方法 | |
| JP5788037B2 (ja) | 空気調和装置 | |
| CN111028271A (zh) | 基于人体骨架检测的多摄像机人员三维定位跟踪系统 | |
| CN105149794A (zh) | 一种基于双目视觉的智能激光切边系统及其方法 | |
| CN111898553B (zh) | 一种判别虚像人员的方法、装置及计算机设备 | |
| CN108032011A (zh) | 基于激光结构光焊缝初始点导引装置及方法 | |
| CN105856229A (zh) | 室内定位方法、装置及扫地机器人 | |
| Bormann et al. | Autonomous dirt detection for cleaning in office environments | |
| CN114343478B (zh) | 一种清洁机器人的场景识别方法及清洁机器人 | |
| CN104952104A (zh) | 一种三维人体姿态估计方法和装置 | |
| CN113252567A (zh) | 铝阀板表面多种缺陷快速检测方法、系统、介质、终端 | |
| CN111292376A (zh) | 一种仿生视网膜的视觉目标跟踪方法 | |
| CN114938556A (zh) | 台灯光线自动调节方法、装置、电子设备及存储介质 | |
| Moutinho et al. | Deep learning-based human action recognition to leverage context awareness in collaborative assembly | |
| CN108972556B (zh) | 微特电机生产线上复杂光照环境下的导线抓取系统及方法 | |
| KR102022877B1 (ko) | 결로와 곰팡이를 탐지하고 제거하는 장치 | |
| CN105526682A (zh) | 智能识别人体数量的空调系统及图像处理方法 | |
| CN102303314B (zh) | 工业生产中的碳碗中心和导槽定位装置及其定位方法 | |
| Bo et al. | Detection of a hand-raising gesture by locating the arm | |
| CN114119773A (zh) | 一种用于工业机器人智能抓取检测的相机自动对焦方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |