CN110063694A - 一种双目扫地机器人及工作方法 - Google Patents
一种双目扫地机器人及工作方法 Download PDFInfo
- Publication number
- CN110063694A CN110063694A CN201910347523.6A CN201910347523A CN110063694A CN 110063694 A CN110063694 A CN 110063694A CN 201910347523 A CN201910347523 A CN 201910347523A CN 110063694 A CN110063694 A CN 110063694A
- Authority
- CN
- China
- Prior art keywords
- sweeping robot
- binocular
- neural network
- processing
- mould group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010408 sweeping Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 77
- 238000013528 artificial neural network Methods 0.000 claims abstract description 50
- 238000004140 cleaning Methods 0.000 claims abstract description 43
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims description 13
- 230000004888 barrier function Effects 0.000 claims description 11
- 239000000428 dust Substances 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 5
- 238000010835 comparative analysis Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000007373 indentation Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims description 2
- 230000037237 body shape Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 10
- 230000008859 change Effects 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- YREOLPGEVLLKMB-UHFFFAOYSA-N 3-methylpyridin-1-ium-2-amine bromide hydrate Chemical compound O.[Br-].Cc1ccc[nH+]c1N YREOLPGEVLLKMB-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000010926 purge Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000930 thermomechanical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/648—Performing a task within a working area or space, e.g. cleaning
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/24—Floor-sweeping machines, motor-driven
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4063—Driving means; Transmission means therefor
- A47L11/4066—Propulsion of the whole machine
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/24—Arrangements for determining position or orientation
- G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
- G05D1/2462—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM] using feature-based mapping
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/02—Docking stations; Docking operations
- A47L2201/022—Recharging of batteries
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2105/00—Specific applications of the controlled vehicles
- G05D2105/10—Specific applications of the controlled vehicles for cleaning, vacuuming or polishing
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2107/00—Specific environments of the controlled vehicles
- G05D2107/40—Indoor domestic environment
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2109/00—Types of controlled vehicles
- G05D2109/10—Land vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
- G05D2111/10—Optical signals
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Electric Vacuum Cleaner (AREA)
Abstract
本发明涉及智能家居技术领域，具体涉及一种双目扫地机器人及工作方法，所述双目扫地机器人的双目视觉模组对同一物体实时捕获至少两个角度的图形，进行视觉扫描形成立体模型，并通过控制单元对清洁区域进行定位建图、及智能规划清洁路径。应用所述双目扫地机器人的工作方法，所述神经网络处理模块接受所述双目视觉模组所采集的反馈信息并进行深度学习，使得扫地机器人仅通过双目视觉模块，实现视觉扫描、slam定位建图、及工作路径规划的技术效果，改变传统单一的视觉原理应用，高度集成设置所述扫地机器人的内部空间结构，设计结构合理，技术效果突出，十分适用于扫地机器人的清洁场景。
Description
技术领域
本发明涉及智能家居技术领域，具体涉及一种双目扫地机器人及工作方法。
背景技术
目前，使用扫地机器人的家庭越来越多。现在市场上的扫地机器人进入一个新的环境工作时，首先要按照算法对整个房间进行遍历，完成建图和定位。然后构建语义地图，最后进行路径规划，然后再开始对房间的清洁。其中，遍历房间的方法往往是扫地机器人一直贴着一条墙壁走，形成一个闭合回路后，再逐渐填补中间空白位置，这种做法路程较长，会花费大量的时间。
同样，路径规划算法不仅复杂、需要大量的计算和人力工程，而且不够完善，不能使扫地机器人以最优路径工作。且市面上的扫地机器人采用的摄像头进行图像采集后，仅利用图像采集数据进行单项视觉扫描，或slam定位建图、及路径规划，而识别避障仍采用较为传统的物理传感方式；
近年来，深度增强学习发展迅速，智能扫地机器人日益流行，过去机器人仅能实现一些简单的任务，但随着人工智能、神经网络的技术发展，可以更好的采集、并处理图像数据，而目前市面上还没有出现此类智能扫地机器人。
发明内容
为了有效解决上述问题，本发明提供一种双目扫地机器人及工作方法。
本发明的具体技术方案如下：一种双目扫地机器人，所述双目扫地机器人包括至少一个进行运动清洁的本体、至少一个具有神经网络处理反馈的控制单元、至少一个双目视觉模组；
所述本体内设置所述控制单元，并所述控制单元与双目视觉模组连接，所述双目视觉模组对同一物体捕获至少两个角度的图像，进行视觉扫描形成立体模型，并通过控制单元对清洁区域进行定位建图、及智能规划清洁路径。
进一步地，所述双目视觉模组包括至少一个第一摄像头、及至少一个第二摄像头；
所述控制单元包括至少一个控制处理模块、及至少一个神经网络处理模块，所述第一摄像头、第二摄像头都与神经网络处理模块连接，所述神经网络处理模块将分析处理后的结果反馈至所述控制处理模块。
进一步地，至少一个行走单元、至少一个压力传感单元、电池单元、及至少一个清洁单元；
所述控制单元分别与行走单元、压力传感单元、电池单元、及清洁单元连接。
进一步地，在所述双目视觉模组下方、前半圆外围侧面上设置有压力传感单元；
所述压力传感单元包括但不限于电感式压力传感器、电容式压力传感器、电位器式压力传感器、霍耳式压力传感器。
进一步地，所述本体包括至少一个底座、及至少一个外壳体，所述底座与外壳体相互组合构成一个扁圆状结构体；
所述本体内部设置有可容纳垃圾、粉尘的尘盒，所述本体的顶面上设置至少一个尘盒盖。
进一步地，所述控制单元还包括至少一个控制按键，所述控制按键设置在所述本体的顶面上，并所述控制按键与控制处理模块相互连接；
所述控制处理模块包括但不限于单片机模块；
神经网络处理模块包括但不限于可以深度学习，积累识别物品种类的嵌入式神经网络(NPU)处理器、英特尔神经网络处理器。
进一步地，所述行走单元包括第一行进轮、第二行进轮、万向轮、电机组件，所述第一行进轮、第二行进轮分别对称设置在底座的底面上，所述第一行进轮、第二行进轮都与电机组件相互连接；
所述底座的底面靠近压力传感单元的位置处设置有至少一个万向轮；
所述电池单元包括至少一个可充放电的电池、至少一个可对电池进行充电的充电座，所述电池与控制单元连接，所述充电座固定设置在某个扫地机器人可到达的位置上。
一种双目扫地机器人的工作方法，所述工作方法包括以下步骤：
A1启动工作：双目视觉模组工作，扫地机器人行进中配合旋转，拍摄整体空间，应用第一摄像头、第二摄像头对同一物体进行视觉扫描，实时获取第一图像、第二图像，构成立体模型；
A2定位建图：将所述双目视觉模组拍摄的图片传输至所述神经网络处理模块，对实时图片视差计算，直接得到前方图像的各个点距离，建立空间环境的点云图，利用点云图边接起来，再次投影构成一个完整单间的地图；
A3路径规划：扫地机器人控制单元完全建成目标地图，通过预定路径算法计算地图内部清洁的最优方案，把目标地图划分成多个区域，进行清洁工作；
A4回充续航：扫地机器人通过双目视觉模组实时拍摄照片，并对拍摄物体形成立体形状，不断与神经网络处理模块存储的充电座图片进行模型对比，获得充电座的位置，并回位充电；
A5复位工作：在扫地机器人清扫完成后，执行默认程序是回到充电座上，进入待机休眠状态，等待预设的下一次工作时间启动或是人工启动。
进一步地，所述A2定位建图还包括：
B1构建初步地图：若扫地机器人运动至有门或是缺口的地方，则执行步骤B2，若已在神经网络处理模块中构建完整的初步地图信息，则执行步骤B3；
B2继续定位建图：在有门或是缺口的地方，扫地机器人从门或缺口处进入到另一个单元，继续拍摄建立空间地图，重复上述步骤，直到完成一个封闭空间地图，构成一个完整、封闭的清洁区域的初步地图；
B3智能调整地图：初步地图建立存贮在内存中后，扫地机器人开始沿墙行走，机器内的IMU测量本体的角速度和加速度，记录机器实际行走线路，边清扫边记录墙根，或家具位置，并通过神经网络处理模块的深度学习，实时与存储的初步地图进行对比，建立完整的目标地图。
进一步地，所述A3路径规划还包括：
C1紧急处理：扫地机器人对于突然出现，挡在前面的障碍物，通过扫地机器人前半圆外围的压力传感单元，在撞击挤压产生的轻微变形后，形成反馈信号，传输给控制单元，该信号具有最高优先级，并所述控制单元给出电机组件反转信号，即可实现扫地机器人后退避障，执行步骤S7；
C2重新学习：扫地机器人调整角度，所述双目视觉模组再次拍摄障碍物图像，进行测距计算，与神经网络处理模块存储的原型对比分析处理，并将处理结果传输给控制处理模块，所述控制处理模块根据反馈，再做相应相应动作处理，所述神经网络处理模块在紧急处理过程中深度学习，积累识别物品的种类；
C3特别避让：在扫地机器人清扫地过程中，遇到小物件，通过神经网络处理模块识别后，优先避让绕行。
本发明的有益之处：应用本发明所述一种双目扫地机器人及工作方法，扫地机器人根据双目视觉模组获取的图像信息，并应用视差原理，对每个图像都构建立体模型，通过神经网络的深度学习，可及时判断待清扫的地面环境的变化，并控制扫地机器人的工作模式跟随清扫的地面环境进行变化，使得扫地机器人面对不同的地面环境，都能保证清洁效果；
进一步地，所述神经网络处理模块接受所述双目视觉模组所采集的反馈信息并进行深度学习，使得扫地机器人仅通过双目视觉模块，实现视觉扫描、slam定位建图、及工作路径规划的技术效果，改变传统单一的视觉原理应用，高度集成设置所述扫地机器人的内部空间结构，设计结构合理，技术效果突出，十分适用于扫地机器人的清洁场景。
附图说明
图1为本发明第一实施例的整体结构示意图；
图2为本发明第一实施例的整体结构拆分示意图；
图3为本发明第一实施例的连接关系示意图；
图4为本发明第一实施例另一视角的整体结构示意图；
图5为本发明第二实施例的工作流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
相反，本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
如图1、图2所示，为本发明第一实施例的整体结构示意图，该实施例提供了一种双目扫地机器人，所述双目扫地机器人包括至少一个本体1、至少一个控制单元3、至少一个双目视觉模组4、至少一个行走单元5、至少一个压力传感单元6、至少一个清洁单元7、及至少一个电池单元；
在本实施例中，所述双目扫地机器人的本体1采用扁圆状结构体，并所述本体1包括至少一个底座10、及至少一个外壳体11，所述底座10与外壳体11可相互组合成一个扁圆状结构体，该组合设置方式包括但不限于两者相互螺接、卡接、扣接等本领域技术人员常见的固定方式。
在所述本体1内部设置有可容纳垃圾、粉尘的尘盒，在图中未示意尘盒结构，所述尘盒为本领域的扫地机器人的常规装置，所述尘盒在本体1内的位置、及设置关系为本领域的常规装置，在此不做具体限定；
在所述本体1的顶面上设置至少一个尘盒盖2，所述尘盒盖2用于临时密封所述尘盒，保证垃圾、粉尘临时存储在尘盒内，并将所述尘盒盖2设置在本体1的顶面位置，便于用户直接打开尘盒盖2进行清洁垃圾。
在所述本体1的顶面上设置所述控制单元3，在本实施例中，所述控制单元3包括至少一个控制按键、至少一个控制处理模块、及至少一个神经网络处理模块，所述控制按键设置在本体1顶面上，在本实施例中，所述控制按键包括但不限于采用按钮式开关；
如图3所示，所述控制处理模块设置在本体1内部，所述控制处理模块用于控制并处理所述扫地机器人反馈的数据、及控制扫地机器人的运动方式，所述控制处理模块与控制按键连接，并通过所述控制按键，实现与用户的操作交互，所述控制处理模块与行走单元5、压力传感单元6、清洁单元7、电池单元分别连接，从而控制各个模块协同工作，完成扫地机器人的智能化清洁工作；所述控制处理模块包括但不限于单片机模块，在此不做具体限定；
进一步地，所述控制单元3集成设置有一个用于深度学习的神经网络处理模块，所述神经网络处理模块与控制处理模块相互连接，进行信息交互通讯，所述神经网络处理模块接受所述双目视觉模组4所采集的反馈信息并进行深度学习，使得扫地机器人仅通过双目视觉模块，实现视觉扫描、slam定位建图、及工作路径规划的技术效果。
在本实施例中，神经网络处理模块包括但不限于可以深度学习，积累识别物品种类的嵌入式神经网络(NPU)处理器、英特尔神经网络处理器等，在此不做具体限定；
具体为，在所述本体1的前进方向的侧面上设置有双目视觉模组4，在本实施例中，所述双目视觉模组4包括第一摄像头41、第二摄像头42，所述第一摄像头41、第二摄像头42都与神经网络处理模块连接，并将采集到的图像信息输入神经网络处理模块进行深度学习、及处理分析，所述神经网络处理模块将处理分析后的反馈结构，输入所述控制处理模块中，作为控制处理模块的动作依据，并根据内置工作路径，控制所述行走单元5进行移动；
通过所述第一摄像头41、第二摄像头42同时对一个物体进行图像采集，进行对两幅图像视差的计算，也可以理解为，直接对前方景物(图像所拍摄到的范围)进行距离测量，而无需判断前方出现的是什么类型的障碍物。所以对于任何类型的障碍物，都能根据距离信息的变化，进行必要的预警或制动。
由于双目摄像头的原理与人眼相似，人眼能够感知物体的远近，是由于两只眼睛对同一个物体呈现的图像存在差异，也称“视差”。物体距离越远，视差越小；反之，视差越大。视差的大小对应着物体与眼睛之间距离的远近，这也是3D电影能够使人有立体层次感知的原因。
所述双目视觉模组4在扫地机器人进行视觉扫描时，可获取室内的三维立体地图，并根据物体的位置关系，进行slam定位建图，在需要进行清洁工作时，同样通过所述双目视觉模组4进行工作路径规划，确保清洁区域内的每个位置都获得清洁，充分利用所述双目视觉模组4的视差原理，使得本体1内部空间高度集成，扫地过程更加智能化。
进一步地，在所述双目视觉模组4下方、前半圆外围侧面上设置有压力传感单元6，所述压力传感单元6用于检测突发情况下的障碍物，在本实施例中所述压力传感单元6包括但不限于电感式压力传感器、电容式压力传感器、电位器式压力传感器、霍耳式压力传感器等，本领域技术人员常见的压力传感器，在此不做具体限定；
在扫地机器人面对突然出现，挡在机器前的障碍物，如走过的人，或是特意靠近的物体，地图中是没有记录的，机器在没办法及时通过双目模组摄像分析处理时，通过本体1外壳前半圆外围的压力传感器，在撞击挤压产生的轻微变形后，形成反馈信号，传输给控制处理模块；
所述控制单元3给出行动装置反转信号，所述扫地机器人即可后退，然后调整角度，双目视觉模组4继续拍摄上传处理中心，测距计算后，与神经网络处理模块存储的原型对比分析，再给控制处理模块进行处理反馈，从而再次科学的进行相应处理，或继续后退，或绕行，或继续前进，(障碍物撤离)。
如图4所示，在本实施例中，所述行走单元5包括第一行进轮51、第二行进轮52、万向轮53、电机组件54，所述第一行进轮51、第二行进轮52分别对称设置在底座10的底面上，所述底座10对应第一行进轮51、第二行进轮52贯穿开设有通孔位置，所述第一行进轮51、第二行进轮52都与电机组件54相互连接，并带有清扫所述电机组件54为本领域可驱动所述第一行进轮51、第二行进轮52进行转动的常规电机装置，在此不做具体限定；
所述第一行进轮51、第二行进轮52的中间位置，也可以理解为所述底座10的底面靠近压力传感单元6的位置处设置有至少一个万向轮53，所述万向轮53由另一小型电机组件54驱动，并在该电机的驱动下所述万向轮53可进行转向运动，所述万向轮53的运动方式、及驱动原理采用本领域常规的转向装置即可，整个所述行走单元5仅提供所述扫地机器人实现清洁轨迹的运动，并非本技术方案的所要解决技术问题的核心技术方案，在其他实施例中，仅以实现所述扫地机器人可满足正常的实现清洁轨迹运动的要求即可，在此不做具体限定；
所述清洁单元7包括至少一个吸尘组件，所述吸尘组件将扫地机器人经过清洁轨迹的垃圾集中处理，并临时存储至尘盒中，所述吸尘组件为本领域的常规吸尘装置，仅以实现扫地机器人清洁地面的要求即可，在此不具体限定；
所述电池单元包括至少一个可充放电的电池，所述电池与控制单元3连接，并提供各个单元模块正常工作的电能，所述电池单元为本领域的常规可充放电的电池装置，在此不做具体限定；
所述电池单元还包括至少一个可对电池进行充电的充电座，所述充电座固定设置在某个扫地机器人可到达的位置上，在扫地机器人工作中，若控制单元3检测到电池电量不足时，扫地机器人开始寻找充电座，通过双目视觉模组4拍摄照片，实时形成立体三维形状，并不断与内设的充电痤图片对比。当两个模型的对比重合度达到预定值时，所述扫地机器人调整方向行进，并在充电极接上后，停止运动，开始对电池进行充电；
进一步地，待充电完成后，扫地机器人再回到清洁未完成的点，继续按规划完成清扫；清扫完成后，默认程序是回到充电座上，充电，充满后，进入待机休眠状态。等待下预设的下一次工作时间启动或是人工启动。
如图5所示，在本发明的第二实施例中，所述第二实施例提供一种双目扫地机器人的工作方法，所述工作方法应用上述的扫地机器人中，并所述工作方法具体包括以下步骤：
S1启动工作：打开扫地机器人电源开关，双目视觉模组4工作，扫地机器人行进中配合旋转，拍摄整体空间，应用第一摄像头41、第二摄像头42对同一物体进行视觉扫描，实时获取第一图像、第二图像，构成立体模型；
S2定位建图：将所述双目视觉模组4拍摄的图片传输至所述神经网络处理模块，对实时图片视差计算，直接得到前方图像的各个点距离，建立空间环境的点云图，利用点云图边接起来，再次投影构成一个完整单间的地图，若扫地机器人运动至有门或是缺口(宽度大于机器本身)的地方，则执行步骤S3，若已在神经网络处理模块中构建完整的初步地图信息，则执行步骤S4；
S3继续定位建图：在有门或是缺口(宽度大于机器本身)的地方，扫地机器人从门或缺口处进入到另一个单元，继续拍摄建立空间地图，重复上述步骤，直到完成一个封闭空间地图，构成一个完整、封闭的清洁区域的初步地图；
S4智能调整地图：初步地图建立存贮在内存中后，扫地机器人开始沿墙行走，机器内的IMU(惯性传感器)测量本体1的角速度和加速度，记录机器实际行走线路，边清扫边记录墙根(或家具等轮廓)位置，并通过神经网络处理模块的深度学习，实时与存储的初步地图进行对比，建立完整的目标地图；
S5智能规划清洁路径：扫地机器人沿墙清扫完成后，扫地机器人控制单元3已经把地图完全建成，通过预定路径算法计算地图内部清洁的最优方案，把目标地图划分成多个区域，仅以实现尽可能的减少机器避让，拐弯，掉头和重叠清扫区域的技术效果；
或用户可通过智能终端设备，包括但不限于具有视觉界面的手机、平板电脑等，进行自定义人工分配清洁区域，从而满足自定义清洁需求；
S6紧急处理：扫地机器人对于突然出现，挡在前面的障碍物，通过扫地机器人前半圆外围的压力传感单元6，在撞击挤压产生的轻微变形后，形成反馈信号，传输给控制单元3，该信号具有最高优先级，并所述控制单元3给出电机组件54反转信号，即可实现扫地机器人后退避障，执行步骤S7；
S7重新学习：扫地机器人调整角度，所述双目视觉模组4再次拍摄障碍物图像，进行测距计算，与神经网络处理模块存储的原型对比分析处理，并将处理结果传输给控制处理模块，所述控制处理模块根据反馈，再做相应相应动作处理，所述神经网络处理模块在紧急处理过程中深度学习，积累识别物品的种类；
在本实施例中，在扫地机器人清洁过程中，遇到的障碍物包括但不限于走过的人，或是特意靠近的物体，地图中是没有记录的，扫地机器人在没办法及时通过双目模组摄像分析处理时，即可启动紧急处理步骤；
S8特别避让：在扫地机器人清扫地过程中，遇到小物件，(体积比机器小，比尘盒入口大的，高度不超过机器本身)通过神经网络处理模块识别后，优先避让绕行。
S9预置充电座：所述扫地机器人还包括至少一个充电座，所述充电座设置在视觉扫描的地图范围内，在扫地机器人工作中，如果电量检测不足时，则执行步骤S10；
S10回充续航：扫地机器人开始寻找充电座，通过双目视觉模组4实时拍摄照片，并对拍摄物体形成立体形状，不断与神经网络处理模块存储的充电座图片进行模型对比；
若对比重合度达到时，扫地机器人调整方向行进并在充电极接上后，停止运动，进行充电续航，待充电完成后，再回到清洁未完成的点，继续按规划完成清扫；
S11复位工作：在扫地机器人清扫完成后，执行默认程序是回到充电座上，充电，充满后，进入待机休眠状态，等待预设的下一次工作时间启动或是人工启动。
应用所述双目扫地机器人的工作方法，扫地机器人根据双目视觉模组4获取的图像信息，并应用视差原理，对每个图像都构建立体模型，通过神经网络的深度学习，可及时判断待清扫的地面环境的变化，并控制扫地机器人的工作模式跟随清扫的地面环境进行变化，使得扫地机器人面对不同的地面环境，都能保证清洁效果；
进一步地，所述神经网络处理模块接受所述双目视觉模组4所采集的反馈信息并进行深度学习，使得扫地机器人仅通过双目视觉模块，实现视觉扫描、slam定位建图、及工作路径规划的技术效果，改变传统单一的视觉原理应用，高度集成设置所述扫地机器人的内部空间结构，设计结构合理，技术效果突出，十分适用于扫地机器人的清洁场景。
对于本领域的普通技术人员而言，根据本发明的教导，在不脱离本发明的原理与精神的情况下，对实施方式所进行的改变、修改、替换和变形仍落入本发明的保护范围之内。
Claims (10)
1.一种双目扫地机器人，其特征在于，所述双目扫地机器人包括至少一个进行运动清洁的本体、至少一个具有神经网络处理反馈的控制单元、至少一个双目视觉模组；
所述本体内设置所述控制单元，并所述控制单元与双目视觉模组连接，所述双目视觉模组对同一物体捕获至少两个角度的图像，进行视觉扫描形成立体模型，并通过控制单元对清洁区域进行定位建图、及智能规划清洁路径。
2.根据权利要求1所述一种双目扫地机器人及工作方法，其特征在于，所述双目视觉模组包括至少一个第一摄像头、及至少一个第二摄像头；
所述控制单元包括至少一个控制处理模块、及至少一个神经网络处理模块，所述第一摄像头、第二摄像头都与神经网络处理模块连接，所述神经网络处理模块将分析处理后的结果反馈至所述控制处理模块。
3.根据权利要求1所述一种双目扫地机器人及工作方法，其特征在于，至少一个行走单元、至少一个压力传感单元、电池单元、及至少一个清洁单元；
所述控制单元分别与行走单元、压力传感单元、电池单元、及清洁单元连接。
4.根据权利要求2所述一种双目扫地机器人及工作方法，其特征在于，在所述双目视觉模组下方、前半圆外围侧面上设置有压力传感单元；
所述压力传感单元包括但不限于电感式压力传感器、电容式压力传感器、电位器式压力传感器、霍耳式压力传感器。
5.根据权利要求1所述一种双目扫地机器人及工作方法，其特征在于，所述本体包括至少一个底座、及至少一个外壳体，所述底座与外壳体相互组合构成一个扁圆状结构体；
所述本体内部设置有可容纳垃圾、粉尘的尘盒，所述本体的顶面上设置至少一个尘盒盖。
6.根据权利要求2所述一种双目扫地机器人及工作方法，其特征在于，所述控制单元还包括至少一个控制按键，所述控制按键设置在所述本体的顶面上，并所述控制按键与控制处理模块相互连接；
所述控制处理模块包括但不限于单片机模块；
神经网络处理模块包括但不限于可以深度学习，积累识别物品种类的嵌入式神经网络(NPU)处理器、英特尔神经网络处理器。
7.根据权利要求3所述一种双目扫地机器人及工作方法，其特征在于，所述行走单元包括第一行进轮、第二行进轮、万向轮、电机组件，所述第一行进轮、第二行进轮分别对称设置在底座的底面上，所述第一行进轮、第二行进轮都与电机组件相互连接；
所述底座的底面靠近压力传感单元的位置处设置有至少一个万向轮；
所述电池单元包括至少一个可充放电的电池、至少一个可对电池进行充电的充电座，所述电池与控制单元连接，所述充电座固定设置在某个扫地机器人可到达的位置上。
8.一种双目扫地机器人的工作方法，所述工作方法包括以下步骤：
A1启动工作：双目视觉模组工作，扫地机器人行进中配合旋转，拍摄整体空间，应用第一摄像头、第二摄像头对同一物体进行视觉扫描，实时获取第一图像、第二图像，构成立体模型；
A2定位建图：将所述双目视觉模组拍摄的图片传输至所述神经网络处理模块，对实时图片视差计算，直接得到前方图像的各个点距离，建立空间环境的点云图，利用点云图边接起来，再次投影构成一个完整单间的地图；
A3路径规划：扫地机器人控制单元完全建成目标地图，通过预定路径算法计算地图内部清洁的最优方案，把目标地图划分成多个区域，进行清洁工作；
A4回充续航：扫地机器人通过双目视觉模组实时拍摄照片，并对拍摄物体形成立体形状，不断与神经网络处理模块存储的充电座图片进行模型对比，获得充电座的位置，并回位充电；
A5复位工作：在扫地机器人清扫完成后，执行默认程序是回到充电座上，进入待机休眠状态，等待预设的下一次工作时间启动或是人工启动。
9.根据权利要求8所述一种双目扫地机器人的工作方法，其特征在于，所述A2定位建图还包括：
B1构建初步地图：若扫地机器人运动至有门或是缺口的地方，则执行步骤B2，若已在神经网络处理模块中构建完整的初步地图信息，则执行步骤B3；
B2继续定位建图：在有门或是缺口的地方，扫地机器人从门或缺口处进入到另一个单元，继续拍摄建立空间地图，重复上述步骤，直到完成一个封闭空间地图，构成一个完整、封闭的清洁区域的初步地图；
B3智能调整地图：初步地图建立存贮在内存中后，扫地机器人开始沿墙行走，机器内的IMU测量本体的角速度和加速度，记录机器实际行走线路，边清扫边记录墙根，或家具位置，并通过神经网络处理模块的深度学习，实时与存储的初步地图进行对比，建立完整的目标地图。
10.根据权利要求8所述一种双目扫地机器人的工作方法，其特征在于，所述A3路径规划还包括：
C1紧急处理：扫地机器人对于突然出现，挡在前面的障碍物，通过扫地机器人前半圆外围的压力传感单元，在撞击挤压产生的轻微变形后，形成反馈信号，传输给控制单元，该信号具有最高优先级，并所述控制单元给出电机组件反转信号，即可实现扫地机器人后退避障，执行步骤S7；
C2重新学习：扫地机器人调整角度，所述双目视觉模组再次拍摄障碍物图像，进行测距计算，与神经网络处理模块存储的原型对比分析处理，并将处理结果传输给控制处理模块，所述控制处理模块根据反馈，再做相应相应动作处理，所述神经网络处理模块在紧急处理过程中深度学习，积累识别物品的种类；
C3特别避让：在扫地机器人清扫地过程中，遇到小物件，通过神经网络处理模块识别后，优先避让绕行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910347523.6A CN110063694A (zh) | 2019-04-28 | 2019-04-28 | 一种双目扫地机器人及工作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910347523.6A CN110063694A (zh) | 2019-04-28 | 2019-04-28 | 一种双目扫地机器人及工作方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110063694A true CN110063694A (zh) | 2019-07-30 |
Family
ID=67369244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910347523.6A Pending CN110063694A (zh) | 2019-04-28 | 2019-04-28 | 一种双目扫地机器人及工作方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110063694A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110499727A (zh) * | 2019-08-14 | 2019-11-26 | 北京智行者科技有限公司 | 一种基于多传感器的贴边清扫方法和清扫车 |
| CN110825088A (zh) * | 2019-11-29 | 2020-02-21 | 燕山大学 | 一种多目视觉导引船体清洁机器人系统及清洁方法 |
| CN112401752A (zh) * | 2020-11-04 | 2021-02-26 | 北京石头世纪科技股份有限公司 | 一种检测未知障碍物的方法、装置、介质和电子设备 |
| CN112587036A (zh) * | 2020-12-10 | 2021-04-02 | 苏州阿甘机器人有限公司 | 一种基于机器视觉的无人扫地机及其工作方法 |
| CN113534812A (zh) * | 2021-07-30 | 2021-10-22 | 上海高仙自动化科技发展有限公司 | 清洁机器人控制系统及清洁机器人 |
| CN113729561A (zh) * | 2021-09-26 | 2021-12-03 | 复旦大学 | 一种清洁机器人及其控制方法 |
| CN113885519A (zh) * | 2021-10-27 | 2022-01-04 | 北京小乔机器人科技发展有限公司 | 一种控制机器人自动跟随的方法 |
| WO2022041737A1 (zh) * | 2020-08-28 | 2022-03-03 | 北京石头世纪科技股份有限公司 | 一种测距方法、装置、机器人和存储介质 |
| CN114415657A (zh) * | 2021-12-09 | 2022-04-29 | 安克创新科技股份有限公司 | 基于深度强化学习的清洁机器人沿墙方法和清洁机器人 |
| CN114794953A (zh) * | 2022-04-19 | 2022-07-29 | 净豹智能机器人(台州)有限公司 | 基于深度学习的智能清洁机器人贴边清洁系统及方法 |
| CN114913223A (zh) * | 2021-02-09 | 2022-08-16 | 北京盈迪曼德科技有限公司 | 一种视觉扫地机正方向识别方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2861855A1 (fr) * | 2003-11-03 | 2005-05-06 | Wany Sa | Procede et dispositif pour balayer une surface de maniere statistique |
| CN107092254A (zh) * | 2017-04-27 | 2017-08-25 | 北京航空航天大学 | 一种基于深度增强学习的家用扫地机器人的设计方法 |
| CN108888187A (zh) * | 2018-05-31 | 2018-11-27 | 四川斐讯信息技术有限公司 | 一种基于深度相机的扫地机器人 |
-
2019
- 2019-04-28 CN CN201910347523.6A patent/CN110063694A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2861855A1 (fr) * | 2003-11-03 | 2005-05-06 | Wany Sa | Procede et dispositif pour balayer une surface de maniere statistique |
| CN107092254A (zh) * | 2017-04-27 | 2017-08-25 | 北京航空航天大学 | 一种基于深度增强学习的家用扫地机器人的设计方法 |
| CN108888187A (zh) * | 2018-05-31 | 2018-11-27 | 四川斐讯信息技术有限公司 | 一种基于深度相机的扫地机器人 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110499727A (zh) * | 2019-08-14 | 2019-11-26 | 北京智行者科技有限公司 | 一种基于多传感器的贴边清扫方法和清扫车 |
| CN110825088A (zh) * | 2019-11-29 | 2020-02-21 | 燕山大学 | 一种多目视觉导引船体清洁机器人系统及清洁方法 |
| WO2022041737A1 (zh) * | 2020-08-28 | 2022-03-03 | 北京石头世纪科技股份有限公司 | 一种测距方法、装置、机器人和存储介质 |
| CN112401752A (zh) * | 2020-11-04 | 2021-02-26 | 北京石头世纪科技股份有限公司 | 一种检测未知障碍物的方法、装置、介质和电子设备 |
| WO2022095488A1 (zh) * | 2020-11-04 | 2022-05-12 | 北京石头创新科技有限公司 | 一种检测未知障碍物的方法、装置、介质和电子设备 |
| CN112587036A (zh) * | 2020-12-10 | 2021-04-02 | 苏州阿甘机器人有限公司 | 一种基于机器视觉的无人扫地机及其工作方法 |
| CN114913223A (zh) * | 2021-02-09 | 2022-08-16 | 北京盈迪曼德科技有限公司 | 一种视觉扫地机正方向识别方法及系统 |
| CN113534812A (zh) * | 2021-07-30 | 2021-10-22 | 上海高仙自动化科技发展有限公司 | 清洁机器人控制系统及清洁机器人 |
| CN113729561A (zh) * | 2021-09-26 | 2021-12-03 | 复旦大学 | 一种清洁机器人及其控制方法 |
| CN113885519A (zh) * | 2021-10-27 | 2022-01-04 | 北京小乔机器人科技发展有限公司 | 一种控制机器人自动跟随的方法 |
| CN114415657A (zh) * | 2021-12-09 | 2022-04-29 | 安克创新科技股份有限公司 | 基于深度强化学习的清洁机器人沿墙方法和清洁机器人 |
| CN114794953A (zh) * | 2022-04-19 | 2022-07-29 | 净豹智能机器人(台州)有限公司 | 基于深度学习的智能清洁机器人贴边清洁系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110063694A (zh) | 一种双目扫地机器人及工作方法 | |
| TWI654961B (zh) | 機器人裝置、終端裝置、機器人裝置之遙控操作系統及程式 | |
| JP3986310B2 (ja) | 親子型電気掃除機 | |
| KR101366860B1 (ko) | 이동 로봇 및 이의 제어 방법 | |
| US11537135B2 (en) | Moving robot and controlling method for the moving robot | |
| CN109431381A (zh) | 机器人的定位方法及装置、电子设备、存储介质 | |
| US20180125319A1 (en) | Apparatus and methods for programming and training of robotic household appliances | |
| EP3705010B1 (de) | Sauggutsammelstation, system aus einer sauggutsammelstation und einem saugreinigungsgerät sowie verfahren dafür | |
| CN110063687A (zh) | 自行式电动吸尘器 | |
| CN110091326A (zh) | 移动机器人以及移动机器人的控制方法 | |
| KR20190073140A (ko) | 복수의 로봇 청소기 및 그 제어방법 | |
| US20050131581A1 (en) | Environment recognizing device, environment recognizing method, route planning device, route planning method and robot | |
| JP2019528535A (ja) | 移動ロボット及びその制御方法 | |
| CN110325938A (zh) | 电动吸尘器 | |
| DE112011104644T5 (de) | Mobiles Roboter-System | |
| CN110376934A (zh) | 清洁机器人、清洁机器人控制方法及终端控制方法 | |
| CN105209997A (zh) | 用于朝向驳接台站引导自主车辆的装置 | |
| CN104541517A (zh) | 布局信息作成装置、布局信息作成方法、家电设备操作系统以及自走式电子设备 | |
| CN106239517A (zh) | 机器人及其实现自主操控的方法、装置 | |
| CN113378684B (zh) | 清洁设备及用于清洁设备的光触发事件识别方法 | |
| CN108544912A (zh) | 四轮差速全地形移动机器人控制系统及其控制方法 | |
| CN109634267A (zh) | 一种用于商场超市智能拣货送货机器人 | |
| CN110515383A (zh) | 自主充电的方法以及移动机器人 | |
| CN211786765U (zh) | 一种智能的室内自主导航机器人 | |
| WO2018114412A1 (de) | Verfahren zur erstellung einer umgebungskarte für ein bearbeitungsgerät |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |