CN115399680A - 清洁机器人控制方法、装置和清洁机器人 - Google Patents
清洁机器人控制方法、装置和清洁机器人 Download PDFInfo
- Publication number
- CN115399680A CN115399680A CN202211010697.1A CN202211010697A CN115399680A CN 115399680 A CN115399680 A CN 115399680A CN 202211010697 A CN202211010697 A CN 202211010697A CN 115399680 A CN115399680 A CN 115399680A
- Authority
- CN
- China
- Prior art keywords
- hair
- image
- cleaning
- processed
- cleaning robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004140 cleaning Methods 0.000 title claims abstract description 321
- 238000000034 method Methods 0.000 title claims abstract description 65
- 210000004209 hair Anatomy 0.000 claims abstract description 444
- 238000012549 training Methods 0.000 claims description 38
- 208000030695 Sparse hair Diseases 0.000 claims description 32
- 238000005520 cutting process Methods 0.000 claims description 17
- 238000002372 labelling Methods 0.000 claims description 8
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 19
- 238000004804 winding Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 13
- 238000010408 sweeping Methods 0.000 description 11
- 244000007853 Sarothamnus scoparius Species 0.000 description 9
- 238000004590 computer program Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000003813 thin hair Effects 0.000 description 4
- 239000004744 fabric Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010004542 Bezoar Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/24—Floor-sweeping machines, motor-driven
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/28—Floor-scrubbing machines, motor-driven
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4072—Arrangement of castors or wheels
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本申请提供一种清洁机器人控制方法、装置和清洁机器人。该方法包括：根据清洁机器人运行时采集的清扫图像，生成待处理图像；对待处理图像中的毛发进行识别，得到待处理图像中毛发的毛发位置信息；根据毛发位置信息，控制清洁机器人针对清扫图像中的毛发进行清扫。该方法能够使得清洁机器人在清扫过程中针对毛发进行清扫，从而避免毛发缠绕清洁机器人的转动组件以及拖布粘连毛发而引发故障，提高清洁机器人的稳定性和使用体验。
Description
技术领域
本申请涉及机器人领域，尤其涉及一种清洁机器人控制方法、装置和清洁机器人。
背景技术
随着科学技术的进步，越来越多的家庭使用扫地机器人作为地面清洁工具。智能化的扫地机器人能够凭借一定的人工智能来完成室内地面的清洁作业。
在相关技术中，扫地机器人大多使用边刷或滚刷将垃圾聚拢，将地面灰尘、毛发、杂物等吸入自身的垃圾收纳盒中。
然而，在相关技术中，扫地机器人的清扫路径通常是根据清扫区域的面积规划，而毛发由于重量较轻，在清扫过程中容易缠绕住清洁机器人的转动部件，从而造成转动部件的转动不流畅，或外力带动而频繁移动位置，从而出现被机器人略过而未被清理的情况，导致清洁效果下降。
发明内容
基于上述技术问题，本申请提供一种清洁机器人控制方法、装置和清洁机器人，以避免毛发缠绕清洁机器人转动组件以及拖布粘连毛发而引发故障，提高清洁机器人的稳定性和使用体验。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供一种清洁机器人控制方法，包括：
根据清洁机器人运行时采集的清扫图像，生成待处理图像；
对所述待处理图像中的毛发进行识别，得到所述待处理图像中毛发的毛发位置信息；
根据所述毛发位置信息，控制所述清洁机器人针对所述清扫图像中的毛发进行清扫。
在本申请的一些实施例中，基于以上技术方案，所述待处理图像包括第一尺度的第一待处理图像和第二尺度的多个第二待处理图像，所述第二待处理图像是对所述清扫图像进行划分得到的；所述对所述待处理图像中的毛发进行识别，得到所述待处理图像中毛发的毛发位置信息，包括：
通过第一毛发识别模型对所述第一待处理图像进行毛发团识别，得到在所述清扫图像中毛发团的第一位置信息；
通过第二毛发识别模型对所述多个第二待处理图像进行毛发识别，得到在所述清扫图像中毛发团和稀疏毛发的第二位置信息；
根据所述第一位置信息和所述第二位置信息，确定毛发位置信息。
在本申请的一些实施例中，基于以上技术方案，所述通过第二毛发识别模型对所述多个第二待处理图像进行毛发识别，得到在所述清扫图像中毛发团和稀疏毛发的第二位置信息，包括：
通过第二毛发识别模型对每个第二待处理图像进行图像划分，得到多个子图像；
通过第二毛发识别模型，对每个第二待处理图像和对应的多个子图像进行识别，确定包含毛发的第二待处理图像以及对应的毛发类别，所述毛发类别用于指示所述第二待处理图像中毛发为毛发团或稀疏毛发；
根据所述毛发的第二待处理图像的毛发类别以及在所述清扫图像中的位置信息，对所述第二待处理图像进行合并，得到所述清扫图像中毛发团和稀疏毛发的第二位置信息。
在本申请的一些实施例中，基于以上技术方案，所述通过第二毛发识别模型对所述多个第二待处理图像进行毛发识别，得到在所述清扫图像中毛发团和稀疏毛发的第二位置信息之前，所述方法还包括：
针对样本图像集合中每个样本图像进行图像划分，得到样本子图像，所述样本图像集合中包括样本图像、样本图像中毛发的毛发类别和位置信息；
对于每个子样本图像，根据所属于的样本图像中毛发的毛发类别和位置信息，对子样本图像是否包含毛发团或者稀疏毛发进行标注，得到每个子样本图像的样本标签，得到训练样本集合；
针对所述训练样本集合中包含毛发的样本子图像进行样本扩增，得到扩增后的训练样本集合；
根据所述扩增后的训练样本集合，对待训练识别模型进行训练，得到第二毛发识别模型。
在本申请的一些实施例中，基于以上技术方案，所述通过第一毛发识别模型对所述第一待处理图像进行毛发团识别，得到在所述清扫图像中毛发团的第一位置信息之前，所述方法还包括：
获取毛发团图像并且对所述毛发团图像中的毛发团位置进行标注，得到样本图像集合；
对于所述样本图像集合中的每个样本图像，根据预设的剪裁规则，对所述清扫图像进行剪裁，得到训练样本集合；
根据所述训练样本集合，对待训练模型进行训练，得到第一毛发识别模型。
在本申请的一些实施例中，基于以上技术方案，所述根据清洁机器人运行时采集的清扫图像，生成待处理图像，包括：
获取清洁机器人运行时采集的清扫图像；
根据预设的剪裁规则，对所述清扫图像进行剪裁，得到第一尺度的待识别图像；
对所述第一尺度的待识别图像进行图像划分，得到第二尺度的待识别图像，其中，所述第二尺度小于所述第一尺度；
将所述第一尺度的待识别图像和所述第二尺度的待识别图像确定为待处理图像。
在本申请的一些实施例中，基于以上技术方案，所述根据所述毛发位置信息，控制所述清洁机器人向所述毛发后退并经过所述毛发，以针对所述清扫图像中的毛发进行清扫，包括：
根据所述毛发在所述待处理图像中的毛发位置信息，控制所述清洁机器人自转和移动并持续采集图像，以使所述毛发位于所采集图像中的预定位置；
根据预设的角度参数，控制所述清洁机器人自转，以使所述毛发位于所述清洁机器人的后退方向；
控制所述清洁机器人后退并进行清扫，以对所述待处理图像中的毛发进行清扫。
在本申请的一些实施例中，基于以上技术方案，所述根据所述毛发在所述待处理图像中的毛发位置信息，控制所述清洁机器人自转和移动并持续采集图像，以使所述毛发位于所采集图像中的预定位置，包括：
根据所述毛发位置信息，控制所述清洁机器人自转，以使所述毛发位于所采集图像的中线上；
控制所述清洁机器人向所述毛发移动，以使所述毛发位于所采集图像的底部边缘。
在本申请的一些实施例中，基于以上技术方案，所述根据预设的角度参数，控制所述清洁机器人自转，以使所述毛发位于所述清洁机器人的后退方向，包括：
控制所述清洁机器人自转180度，以使所述毛发位于所述清洁机器人的正后方；
所述控制所述清洁机器人后退并进行清扫，以对所述待处理图像中的毛发进行清扫，包括：
控制所述清洁机器人沿所述中轴线后退经过所述毛发并对所述毛发进行清扫。
根据本申请实施例的一个方面，提供一种清洁机器人控制装置，包括：
图像生成模块，用于根据清洁机器人运行时采集的清扫图像，生成待处理图像；
毛发识别模块，用于对所述待处理图像中的毛发进行识别，得到所述待处理图像中毛发的毛发位置信息；
清扫控制模块，用于根据所述毛发位置信息，控制所述清洁机器人针对所述清扫图像中的毛发进行清扫。
根据本申请实施例的一个方面，提供一种清洁机器人，该清洁机器人包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，该处理器配置为经由执行可执行指令来执行如以上技术方案中的清洁机器人控制方法。
根据本申请实施例的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时实现如以上技术方案中的清洁机器人方法。
在本申请的实施例中，会根据清洁机器人运行时采集的清扫图像，生成多尺度的图像，并且通过训练后的毛发识别模型来识别出图像中的毛发位置，再根据毛发位置控制清洁机器人针对毛发进行清扫。通过上述的方式，能够使得清洁机器人在清扫过程中针对毛发进行清扫，从而避免毛发缠绕清洁机器人转动组件以及拖布粘连毛发而引发故障，提高清洁机器人的稳定性和使用体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本申请实施例中在一个应用场景中的示意性清洁机器人的结构示意图；
图2为本申请实施例中清洁机器人控制方法的整体流程的示意性流程图；
图3为本申请实施例中进行毛发识别过程的示意性流程图；
图4为本申请实施例中一种清洁机器人控制方法的示意流程图；
图5为本申请实施例中第二毛发识别模型的结构示意图；
图6为通过第二毛发识别模型进行毛发识别过程的示意性流程图；
图7为本申请实施例中生成待处理图像的过程示意图；
图8本申请实施例中清洁机器人清洁毛发过程的示意性过程；
图9示意性地示出了本申请实施例中清洁机器人控制装置的组成框图；
图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应理解，本申请的方案可以应用于清洁机器人场景，并且具体应用在控制清洁机器人针对毛发进行清洁的场景中。在此类场景中，清洁机器人在清洁的过程中，通常不会针对毛发，尤其是宠物毛发进行针对性的清理，而是在清洁时，根据当前清扫空间的面积和形状规划清洁路线，或者根据预定的清洁路线直接进行清洁。清洁机器人的中扫通常具备将毛发切断和吸入的功能，从而避免毛发卷入中扫的转轴中而影响中扫转动。然而，在清洁的过程中，地面上的毛发经常会被卷入到扫地机器人的万向轮、边扫和驱动轮中，从而影响清洁机器人的运行。应用本申请的方案，清洁机器人会识别出地面上的毛发，并且针对毛发进行清洁，从而能够避免毛发被忽略或者被卷入到万向轮、边扫和驱动轮中，从而避免清洁效率受到影响。
下面介绍本申请实施例中的应用场景。为了便于介绍，请参阅图1，图1为本申请实施例中在一个应用场景中的示意性清洁机器人的结构示意图。如图1所示，该清洁机器人100主要包括万向轮101、边扫102、中扫103、驱动轮104和拖布105。其中，万向轮101用于控制清洁机器人100的行进方向，边扫102用于将行进方向上的灰尘、毛发和杂物等要清洁的目标物扫到中扫103中。中扫103用于将目标物吸入到清洁机器人100中。其中，中扫103中还具有将毛发或者头发等进行切断等防缠绕功能。驱动轮140用于为清洁机器人100提供前进或者后退的动力。拖布105用于对清扫过的地面进行擦拭。在本申请的实施例中，清洁机器人100中还会包括摄像设备，通常安装在机器人的前撞中央，从而对清洁机器人前进方向上的影像进行拍摄。摄像设备也可以安装在前撞的两侧，并且可以采用单目相机或者双目相机等各类适合的摄像设备。摄像设备的安装角度通常为水平或者略向地面倾斜，从而获取前进方向的影像。可以理解的是，上述的清洁机器人结构进为是示意性结构，其中的各个部件可以被省略或者替换其他部件，各个部件的位置也可以被适当的调整。
下面对本申请实施例中的清洁机器人控制方法的整体流程进行介绍。为了便于介绍，请参阅图2，图2为本申请实施例中清洁机器人控制方法的整体流程的示意性流程图。如图2所示，清洁机器人在进行清扫的过程中，在步骤201中，会通过摄像机获取周遭图像，随后，在步骤202中，对于拍摄到的图像，控制装置会截取图像的下半部分区域。随后，对于截取到图像，在步骤203中，控制装置通过毛发团识别算法以及稀疏毛发识别算法来进行毛发识别。如果识别到毛发团或者稀疏毛发，则在步骤204中，控制装置会控制清洁机器人对准识别到的毛发，随后在步骤205中，控制清洁机器人移动到毛发附近。在步骤206中，控制装置会控制清洁机器人进行180度的自转并且控制清洁机器人将拖布抬起并且后退，从而通过中扫直接清扫毛发。在一个实施例中，在进行毛发识别时，还会基于拍摄的图片进行宠物识别，如果识别出存在宠物，则控制装置会强化中扫转速，从而确保针对毛发的防缠绕效果。
下面具体介绍上述步骤203中通过毛发团识别算法以及稀疏毛发识别算法来进行毛发识别的过程。为了便于介绍，请参阅图3，图3为本申请实施例中进行毛发识别过程的示意性流程图。如图3所示，在步骤202后，控制装置在步骤301中会通过调用目标检测模型进行毛发检测，并且步骤302中确定毛发团识别的识别结果。在步骤303中，控制装置会将截取到的图像进行图像子区域划分，并且随后在步骤304中通过子区域分类模型来对各个子区域进行毛发识别。随后，在步骤305中，确定子区域毛发识别的识别结果。在步骤306中，综合毛发团识别的识别结果和子区域毛发识别的识别结果，确定最终毛发识别结果。此外，在一个实施例中，控制装置在清洁机器人的运行过程中，还会通过目标检测模型来进行家庭宠物识别，如果识别到宠物，则在进行清洁时会根据识别结果来在进行针对于毛发的转速控制，例如将中扫的转速加快，从而针对性地进行毛发的切断等处理。
下面结合具体实施方式对本申请提供的技术方案做出详细说明。为了便于介绍，请参阅图4，图4为本申请实施例中一种清洁机器人控制方法的示意流程图。该方法可以应用于清洁机器人的控制系统中。在本申请实施例中，该故障检测方法可以包括如下的步骤S410至步骤S430：
步骤S410，根据清洁机器人运行时采集的清扫图像，生成待处理图像。
在本实施例中，控制装置会根据清洁机器人运行时采集的清扫图像，生成待处理图像。具体地，清扫图像通常是清洁机器人在清扫过程中通过摄像头等拍摄设备进行实时拍摄得到的图像，该图像会包含清洁机器人前进方向的图像，因此，清扫图像中会包括清洁机器人即将清扫的区域的图像。待处理图像可以是一张图像，也可以是多尺度的多张图像。多尺度的图像通常基于清扫图像进行缩放、截取或者划分得到的图像，其中包括不同大小或者不同清晰度的多张图像。在一个实施例中，清洁机器人还会对待处理图像进行预处理，例如进行锐化等。通过多尺度的图像，有利于对毛发的细小目标进行识别，从而能够提高识别的精细度和准确性。
步骤S420，对所述待处理图像中的毛发进行识别，得到所述待处理图像中毛发的毛发位置信息。
在本实施例中，控制装置中会配置有训练后的毛发识别模型或者图像识别算法。该毛发识别模型或者图像识别算法针对于毛发进行识别训练，用于识别出待处理图像中的毛发以及毛发在待识别图像以及在清扫图像中的位置。将待处理图像输入到训练后的毛发识别模型或者图像识别算法进行识别，从而能够得到待处理图像中毛发的毛发位置信息。
步骤S430，根据所述毛发位置信息，控制所述清洁机器人向所述毛发后退并经过所述毛发，以针对所述清扫图像中的毛发进行清扫。
具体地，根据毛发位置信息，控制装置可以计算出清洁机器人与识别出的清扫图像中的毛发之间的相对位置。根据该相对位置，控制装置可以控制清洁机器人按照预定程序将毛发置于清洁机器人后退方向上，并且后退经过毛发。在清洁机器人后退的方向上通常不会设置有边扫或者轮子等部件，因此清洁机器人后退可以直接利用中扫来针对识别到的毛发进行清扫。在一个实施例中，清洁机器人后退的方向设置有拖布。在后退清理毛发时，清洁机器人会将拖布升起，以避免毛发粘连在拖布上。具体地，该预定程序通常会针对于毛发进行特定的清洁方式，从而避免在清洁时毛发卷入驱动轮等转动部件。例如，控制清洁机器人正对毛发，并且停止边扫转动后再进行清扫，从而避免毛发卷入边扫和驱动轮等部件中。
在本申请的实施例中，会根据清洁机器人运行时采集的清扫图像，生成多尺度的图像，并且通过训练后的毛发识别模型来识别出图像中的毛发位置，再根据毛发位置控制清洁机器人针对毛发进行清扫。通过上述的方式，能够使得清洁机器人在清扫过程中针对毛发进行清扫，从而避免毛发缠绕清洁机器人转动组件以及拖布粘连毛发而引发故障，提高清洁机器人的稳定性和使用体验。
在本申请的一个实施例中，基于以上技术方案，待处理图像包括第一尺度的第一待处理图像和第二尺度的多个第二待处理图像，第二待处理图像是对所述清扫图像进行划分得到的，上述步骤S420，对所述待处理图像中的毛发进行识别，得到所述待处理图像中毛发的毛发位置信息，具体包括如下的步骤：
通过第一毛发识别模型对所述第一待处理图像进行毛发团识别，得到在所述清扫图像中毛发团的第一位置信息；
通过第二毛发识别模型对所述多个第二待处理图像进行毛发识别，得到在所述清扫图像中毛发团和稀疏毛发的第二位置信息；
根据所述第一位置信息和所述第二位置信息，确定毛发位置信息。
在本实施例中，待处理图像中包括第一尺度的第一待处理图像和第二尺度的多个第二待处理图像。其中，第一尺度的第一待处理图像通常是基于清扫图像直接进行截图而得到的，而第二尺度的第二待处理图像则是对第一待处理图像进行切分而得到的，因此，第二尺度通常小于第一尺度。具体地，控制装置会通过第一毛发识别模型对第一待处理图像进行毛发团识别，得到在清扫图像中毛发团的第一位置信息。第一毛发识别模型用于识别待处理图像中的毛发团，毛发团通常体积通常相对较大，因此，可以采用相对较大的第一尺度的第一待处理图像进行毛发团识别，从而得到第一待处理图像中毛发团的位置，从而可以推算出清扫图像中毛发团的第一位置信息。控制装置还会通过第二毛发识别模型对多个第二待处理图像进行毛发识别，得到在所述清扫图像中毛发团和稀疏毛发的第二位置信息。具体地，控制装置会通过第二毛发识别模型对各个第二待处理图像进行识别，从而识别出各个第二待处理图像中是否包含毛发团或者稀疏毛发的结果。随后，再根据含有毛发团和稀疏毛发的第二待处理图像在清扫图像中的位置，从而得到清扫图像中毛发团和稀疏毛发的第二位置信息。最后，控制装置可以根据第一位置信息和第二位置信息进行综合判断，例如去除重复的识别结果以及对重叠的识别结果进行准确定位，从而确定毛发位置信息。
在本申请的实施例中，通过不同的模型分别识别毛发团和稀疏毛发，从而有利于准确识别待处理图像中的毛发，提升识别的准确性。
在本申请的一个实施例中，基于以上技术方案，上述步骤，通过第二毛发识别模型对所述多个第二待处理图像进行毛发识别，得到在所述清扫图像中毛发团和稀疏毛发的第二位置信息，具体包括如下的步骤：
通过第二毛发识别模型对每个第二待处理图像进行图像划分，得到多个子图像；
通过第二毛发识别模型，对每个第二待处理图像和对应的多个子图像进行识别，确定包含毛发的第二待处理图像以及对应的毛发类别，所述毛发类别用于指示所述第二待处理图像中毛发为毛发团或稀疏毛发；
根据所述毛发的第二待处理图像的毛发类别以及在所述清扫图像中的位置信息，对所述第二待处理图像进行合并，得到所述清扫图像中毛发团和稀疏毛发的第二位置信息。
在本实施例中，控制装置会将第二待处理图像进行划分后再进行处理。控制装置先通过第二毛发识别模型对每个第二待处理图像进行图像划分，得到多个子图像，随后通过第二毛发识别模型对每个第二待处理图像和对应的多个子图像进行识别，确定包含毛发的第二待处理图像以及对应的毛发类别。毛发类别包括毛发团或者稀疏毛发两种。最后，控制装置根据所述毛发的第二待处理图像的毛发类别以及在所述清扫图像中的位置信息，对所述第二待处理图像进行合并，得到所述清扫图像中毛发团和稀疏毛发的第二位置信息。具体地，为了便于介绍，请参阅图5，图5为本申请实施例中第二毛发识别模型的结构示意图。如图5所示，第二毛发识别模型会融合全局区域与局部区域图像深度特征。具体地，首先会对输入的第二待处理图像进行切分，例如经过2x2等分、4x4等分或者3x3,6x6等划分方式划分出子区域图像，经过卷积操作提取底层视觉特征。随后，将划分的子区域图像和第二待处理图像全局、局部区域(或特征图)作为单独样本，进入共享特征提取骨干(如MobileNet、ResNet等)，避免每个区域单独一个骨干网络，从而减少模型大小，便于部署。在将各个区域的特征向量拼接后，输入到全连接特征层，从而对特征向量降维，去掉冗余无效特征信息。最后经过子区域毛发识别，从而得到子区域图像的识别信息。将多个第二待处理图像的结果进行会从，从而能够得到对于待处理图像中的毛发识别的总体结果。具体地，请参阅图6，图6为通过第二毛发识别模型进行毛发识别过程的示意性流程图。如图6所示，在步骤601中，控制装置会截取清扫图像的下半区域，随后在步骤602中，从下半区域的图像中获取相互存在重叠部分的子区域图像作为检测框，随后，在步骤603中通过第二待处理图像来进行识别，从而在步骤604中得到各个子区域图像的分类结果，其中包括各个子区域图像的类别和置信度，置信度用于表示该子区域图像中包含毛发的概率。根据各个子区域图像的分类结果，控制装置在步骤605中汇总毛发类别的识别信息，随后在步骤606中，通过极大值抑制等方式去掉重叠的冗余检测框，最后在步骤607中确定图像下半区域的毛发检测结果。
在一个实施例中，在上述步骤，通过第二毛发识别模型对所述多个第二待处理图像进行毛发识别，得到在所述清扫图像中毛发团和稀疏毛发的第二位置信息之前，还包括如下的步骤：
针对样本图像集合中每个样本图像进行图像划分，得到样本子图像，所述样本图像集合中包括样本图像、样本图像中毛发的毛发类别和位置信息；
对于每个子样本图像，根据所属于的样本图像中毛发的毛发类别和位置信息，对子样本图像是否包含毛发团或者稀疏毛发进行标注，得到每个子样本图像的样本标签，得到训练样本集合；
针对所述训练样本集合中包含毛发的样本子图像进行样本扩增，得到扩增后的训练样本集合；
根据所述扩增后的训练样本集合，对待训练识别模型进行训练，得到第二毛发识别模型。
具体地，由于稀疏毛发比较细小，在图像上视觉特征不明显且在图像上占比较小，基于整图进行毛发识别精度较差。在本实施例中，会基于图像子区域的思想进行稀疏毛发识别，从而提高稀疏毛发的视觉显著性。例如，对图像下半区域进行NxN的网格划分，得到样本子图像集合。样本子图像之间可以存在一定的重叠。随后，对样本子图像进行有无毛发标注，从而得到训练样本集合。考虑到毛发团过小可能被识别模型漏检，因此在基于样本子图像的毛发识别算法中加入该类别，避免毛发团漏检，同时也提升了毛发识别的准确性。毛发标注类别分为3类：稀疏毛发、毛发团、无毛发。在一个实施例中，对于无毛发类别可以还可以继续细分，从而避免毛发误识。对于标注后的样本子图像进行扩增，例如对含有毛发的样本子图像进行旋转、翻转(左右、上下)、亮度调整等操作，从而增加含有毛发的样本子图像的数量。最后，在利用扩增后的样本训练样本集合来对待训练识别模型进行训练，得到第二毛发识别模型。
在一个实施例中，在上述步骤，通过第一毛发识别模型对所述第一待处理图像进行毛发团识别，得到在所述清扫图像中毛发团的第一位置信息之前，还包括如下的步骤：
获取毛发团图像并且对所述毛发团图像中的毛发团位置进行标注，得到样本图像集合；
对于所述样本图像集合中的每个样本图像，根据预设的剪裁规则，对所述清扫图像进行剪裁，得到训练样本集合；
根据所述训练样本集合，对待训练模型进行训练，得到第一毛发识别模型。
在本申请的一个实施例中，基于以上技术方案，上述步骤，根据清洁机器人运行时采集的清扫图像，生成待处理图像，具体包括如下的步骤：
获取清洁机器人运行时采集的清扫图像；
根据预设的剪裁规则，对所述清扫图像进行剪裁，得到第一尺度的待识别图像；
对所述第一尺度的待识别图像进行图像划分，得到第二尺度的待识别图像，其中，所述第二尺度小于所述第一尺度；
将所述第一尺度的待识别图像和所述第二尺度的待识别图像确定为待处理图像。
在本申请的实施例中，控制装置将清扫图像切分成多尺度的图像。具体地，控制装置会获取到清洁机器人运行时采集的清扫图像，随后，根据预设的剪裁规则，对采集到的清扫图像进行裁剪，从而得到第一尺度下的待识别图像。通常，第一尺度的待识别图像是清扫图像的下半部分区域，即包含地面图像的区域。随后，控制装置会对第一尺度的待识别图像进行图像划分，得到第二尺度的待识别图像，并且第二尺度小于第一尺度。通常，进行划分时，会让第二地粗的待识别图像之间存在一定的重叠。最后，将第一尺度的待识别图像和第二尺度的待识别图像确定为一起确定为待处理图像。具体地，请参阅图7，图7为本申请实施例中生成待处理图像的过程示意图。如图7所示，清扫图像会按照预定的区域被切分出第一尺度的待识别图像701，其中包括待识别的毛发和毛发团。随后，对第一尺度的待识别图像701进行划分，从而得到划分出多个第二尺度的待识别图像702。
在本申请的一个实施例中，基于以上技术方案，上述步骤S430，根据所述毛发位置信息，控制所述清洁机器人向所述毛发后退并经过所述毛发，以针对所述清扫图像中的毛发进行清扫，具体包括如下的步骤：
根据毛发在所述待处理图像中的毛发位置信息，控制所述清洁机器人自转和移动并持续采集图像，以使所述毛发位于所采集图像中的预定位置；
根据预设的角度参数，控制所述清洁机器人自转，以使所述毛发位于所述清洁机器人的后退方向；
控制所述清洁机器人后退并进行清扫，以对所述待处理图像中的毛发进行清扫。
在本实施例中，控制装置会根据毛发的毛发位置信息，控制清洁机器人采用后退的方式进行清扫，从而避免毛发卷入边扫、万向轮和驱动轮等部件。为了便于介绍，请参阅图8，图8本申请实施例中清洁机器人清洁毛发过程的示意性过程。具体地，控制装置会根据毛发在所述待处理图像中的毛发位置信息，控制所述清洁机器人自转和移动并持续采集图像，以使所述毛发位于所采集图像中的预定位置。如图8中的步骤801和步骤803所示，清洁机器人首先会通过自转将毛发对准清洁机器人的中线，随后前进直到毛发位于拍摄的图像的下边缘附近。随后，控制装置会根据预设的角度参数，控制所述清洁机器人自转，以使所述毛发位于所述清洁机器人的后退方向。具体地，如图8中的步骤804所示，清洁机器人会自转180度，从而使得毛发位于清洁机器人后退的方向上。可以理解的是，取决于对准的位置不同，自转角度也可以是其他的角度，例如90度或者150等各个角度，具体的自转度数也可以根据进行实际的位置和对准方式进行计算，例如，清洁机器人对准毛发的位置可以不是中线而是偏移一定的角度，而自转的度数则可以根据偏移的角度进行计算，对准角度为中线偏移30度，例如自转度数则从180度中减去30度。然后，控制装置控制所述清洁机器人后退并进行清扫，以对所述待处理图像中的毛发进行清扫。具体地，如图8的步骤805所示，清扫机器人后退并清扫，从而通过中扫来对毛发进行清扫。
在本申请的实施例中，通过控制清扫机器人通过后退的方式来清扫识别到的毛发，从而能够避免毛发在清扫时卷入在清扫机器人前进方向上设置的边扫、万向轮和驱动轮等部件的转动结构而导致的部件变形或者转动不流畅。从而提升清洁效率。
在本申请的一个实施例中，基于以上技术方案，上述步骤，根据所述毛发在所述待处理图像中的毛发位置信息，控制所述清洁机器人自转和移动并持续采集图像，以使所述毛发位于所采集图像中的预定位置，具体包括如下的步骤：
根据所述毛发位置信息，控制所述清洁机器人自转，以使所述毛发位于所采集图像的中线上；
控制所述清洁机器人向所述毛发移动，以使所述毛发位于所采集图像的底部边缘。
在本申请的一个实施例中，基于以上技术方案，根据预设的角度参数，控制所述清洁机器人自转，以使所述毛发位于所述清洁机器人的后退方向，具体包括如下的步骤：
控制所述清洁机器人自转180度，以使所述毛发位于所述清洁机器人的正后方；
上述步骤，控制所述清洁机器人后退并进行清扫，以对所述待处理图像中的毛发进行清扫，具体包括如下的步骤：
控制所述清洁机器人沿所述中轴线后退经过所述毛发并对所述毛发进行清扫。
具体地，清洁机器人会根据毛发位置信息的毛发位置以及用于采集图像的图像采集框的中线位置之间的相对关系，控制清洁机器人自转，以使毛发位于所采集图像的中线上。例如，当在待识别图像中，毛发位于中线右侧，则控制装置会控制清洁机器人向右转，直至在采集到的图像中，毛发位于图像的中线上。此时，在实际空间中，毛发会位于清洁机器人的正前方。仍以图8为例，在自转后，清洁机器人行进方向上的中轴线会对准毛发的方向。随后，控制装置会控制清洁机器人向前移动，即向毛发方向移动，并且继续检测毛发在所采集图像中的位置，直到在采集到的图像中，毛发已经位于图像的最底部。可以理解的是，清洁机器人的图像采集区域最底部与清洁机器人距离毛发的距离是预先设定的，从而当毛发已经位于所采集图像的最底部时，清洁机器人与毛发之间仍存在足够的距离，而不会导致毛发被卷入到清洁机器人的任意部件中。
随后，控制装置会控制清洁机器人自转180度，以使所述毛发位于所述清洁机器人的正后方。具体地，由于之前清洁机器人已经正对毛发，此时，180度的自转会使毛发位于清洁机器人的正后方，即清洁机器人后退方向上的中轴线会对准毛发的方向。
之后，控制装置会控制清洁机器人沿中轴线后退经过毛发并对毛发进行清扫。具体地，在之前的过程中，机器人在将毛发置于所所采集图像的最底部时，清洁机器人与毛发之间的距离是根据采集图像的摄像头的角度等参数设定过的，因此，在自转过后，当清洁机器人在将正后方对准毛发时，其与毛发之间的距离也是已知的。根据该已知的距离以及清洁机器人本身的尺寸和中扫位置等参数，可以确定出使清洁机器人的中扫对毛发进行清洁所需要后退的距离。因此，可以根据该距离控制清洁机器人后退使清洁机器人的中扫经过毛发，从而利用中扫来对毛发进行清洁。
应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施，可以用于执行本申请上述实施例中的清洁机器人控制方法。图9示意性地示出了本申请实施例中清洁机器人控制装置的组成框图。如图9所示，清洁机器人控制装置900主要可以包括：
图像生成模块910，用于根据清洁机器人运行时采集的清扫图像，生成待处理图像；
毛发识别模块920，用于对所述待处理图像中的毛发进行识别，得到所述待处理图像中毛发的毛发位置信息；
清扫控制模块930，用于根据所述毛发位置信息，控制所述清洁机器人向所述毛发后退并经过所述毛发，以针对所述清扫图像中的毛发进行清扫。
在本申请的一些实施例中，基于以上技术方案，所述待处理图像包括第一尺度的第一待处理图像和第二尺度的多个第二待处理图像，所述第二待处理图像是对所述清扫图像进行划分得到的；毛发识别模块920包括：
第一识别单元，用于通过第一毛发识别模型对所述第一待处理图像进行毛发团识别，得到在所述清扫图像中毛发团的第一位置信息；
第二识别单元，用于通过第二毛发识别模型对所述多个第二待处理图像进行毛发识别，得到在所述清扫图像中毛发团和稀疏毛发的第二位置信息；
位置确定单元，用于根据所述第一位置信息和所述第二位置信息，确定毛发位置信息。
在本申请的一些实施例中，基于以上技术方案，第二识别单元包括
图像划分子单元，用于通过第二毛发识别模型对每个第二待处理图像进行图像划分，得到多个子图像；
类别确定子单元，用于通过第二毛发识别模型，对每个第二待处理图像和对应的多个子图像进行识别，确定包含毛发的第二待处理图像以及对应的毛发类别，所述毛发类别用于指示所述第二待处理图像中毛发为毛发团或稀疏毛发；
位置确定子单元，用于根据所述毛发的第二待处理图像的毛发类别以及在所述清扫图像中的位置信息，对所述第二待处理图像进行合并，得到所述清扫图像中毛发团和稀疏毛发的第二位置信息。
在本申请的一些实施例中，基于以上技术方案，所述清洁机器人控制装置900还包括：
样本模块，用于针对样本图像集合中每个样本图像进行图像划分，得到样本子图像，所述样本图像集合中包括样本图像、样本图像中毛发的毛发类别和位置信息；
第一标注模块，用于对于每个子样本图像，根据所属于的样本图像中毛发的毛发类别和位置信息，对子样本图像是否包含毛发团或者稀疏毛发进行标注，得到每个子样本图像的样本标签，得到训练样本集合；
扩增模块，用于针对所述训练样本集合中包含毛发的样本子图像进行样本扩增，得到扩增后的训练样本集合；
第一训练模块，用于根据所述扩增后的训练样本集合，对待训练识别模型进行训练，得到第二毛发识别模型。
在本申请的一些实施例中，基于以上技术方案，清洁机器人控制装置900还包括：
第二标注模块，用于获取毛发团图像并且对所述毛发团图像中的毛发团位置进行标注，得到样本图像集合；
剪裁模块，用于对于所述样本图像集合中的每个样本图像，根据预设的剪裁规则，对所述清扫图像进行剪裁，得到训练样本集合；
第二训练模块，用于根据所述训练样本集合，对待训练模型进行训练，得到第一毛发识别模型。
在本申请的一些实施例中，基于以上技术方案，图像生成模块910包括：
图像获取单元，用于获取清洁机器人运行时采集的清扫图像；
图像剪裁单元，用于根据预设的剪裁规则，对所述清扫图像进行剪裁，得到第一尺度的待识别图像；
图像划分单元，用于对所述第一尺度的待识别图像进行图像划分，得到第二尺度的待识别图像，其中，所述第二尺度小于所述第一尺度；
图像确定单元，用于将所述第一尺度的待识别图像和所述第二尺度的待识别图像确定为待处理图像。
在本申请的一些实施例中，基于以上技术方案，所述清扫控制模块930包括：
移动控制单元，用于根据所述毛发在所述待处理图像中的毛发位置信息，控制所述清洁机器人自转和移动并持续采集图像，以使所述毛发位于所采集图像中的预定位置；
自转控制单元，用于根据预设的角度参数，控制所述清洁机器人自转，以使所述毛发位于所述清洁机器人的后退方向；
清扫控制单元，用于控制所述清洁机器人后退并进行清扫，以对所述待处理图像中的毛发进行清扫。
在本申请的一些实施例中，基于以上技术方案，移动控制单元包括：
第一自转控制子单元，用于根据所述毛发位置信息，控制所述清洁机器人自转，以使所述毛发位于所采集图像的中线上；
第一移动控制子单元，用于控制所述清洁机器人向所述毛发移动，以使所述毛发位于所采集图像的底部边缘。
在本申请的一些实施例中，基于以上技术方案，自转控制单元包括：
第二自转控制子单元，用于控制所述清洁机器人自转180度，以使所述毛发位于所述清洁机器人的正后方；
清扫控制单元包括：
后退控制子单元，用于控制所述清洁机器人沿所述中轴线后退经过所述毛发并对所述毛发进行清扫。
需要说明的是，上述实施例所提供的装置与上述实施例所提供的方法属于同一构思，其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。
图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图10示出的电子设备的计算机系统1000仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示，计算机系统1000包括中央处理单元(Central Processing Unit，CPU)1001，其可以根据存储在只读存储器(Read-Only Memory，ROM)1002中的程序或者从储存部分1008加载到随机访问存储器(Random Access Memory，RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统操作所需的各种程序和数据。CPU1001、ROM1002以及RAM 1003通过总线1004彼此相连。输入/输出(Input/Output，I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1007；包括硬盘等的储存部分1008；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入储存部分1008。
特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (11)
1.一种清洁机器人控制方法，其特征在于，包括：
根据清洁机器人运行时采集的清扫图像，生成待处理图像；
对所述待处理图像中的毛发进行识别，得到所述待处理图像中毛发的毛发位置信息；
根据所述毛发位置信息，控制所述清洁机器人向所述毛发后退并经过所述毛发，以针对所述清扫图像中的毛发进行清扫。
2.根据权利要求1所述的方法，其特征在于，所述待处理图像包括第一尺度的第一待处理图像和第二尺度的多个第二待处理图像，所述第二待处理图像是对所述清扫图像进行划分得到的；对所述待处理图像中的毛发进行识别，得到所述待处理图像中毛发的毛发位置信息，包括：
通过第一毛发识别模型对所述第一待处理图像进行毛发团识别，得到在所述清扫图像中毛发团的第一位置信息；
通过第二毛发识别模型对所述多个第二待处理图像进行毛发识别，得到在所述清扫图像中毛发团和稀疏毛发的第二位置信息；
根据所述第一位置信息和所述第二位置信息，确定毛发位置信息。
3.根据权利要求2所述的方法，其特征在于，所述通过第二毛发识别模型对所述多个第二待处理图像进行毛发识别，得到在所述清扫图像中毛发团和稀疏毛发的第二位置信息，包括
通过第二毛发识别模型对每个第二待处理图像进行图像划分，得到多个子图像；
通过第二毛发识别模型，对每个第二待处理图像和对应的多个子图像进行识别，确定包含毛发的第二待处理图像以及对应的毛发类别，所述毛发类别用于指示所述第二待处理图像中毛发为毛发团或稀疏毛发；
根据所述毛发的第二待处理图像的毛发类别以及在所述清扫图像中的位置信息，对所述第二待处理图像进行合并，得到所述清扫图像中毛发团和稀疏毛发的第二位置信息。
4.根据权利要求2所述的方法，其特征在于，所述通过第二毛发识别模型对所述多个第二待处理图像进行毛发识别，得到在所述清扫图像中毛发团和稀疏毛发的第二位置信息之前，所述方法还包括：
针对样本图像集合中每个样本图像进行图像划分，得到样本子图像，所述样本图像集合中包括样本图像、样本图像中毛发的毛发类别和位置信息；
对于每个子样本图像，根据所属于的样本图像中毛发的毛发类别和位置信息，对子样本图像是否包含毛发团或者稀疏毛发进行标注，得到每个子样本图像的样本标签，得到训练样本集合；
针对所述训练样本集合中包含毛发的样本子图像进行样本扩增，得到扩增后的训练样本集合；
根据所述扩增后的训练样本集合，对待训练识别模型进行训练，得到第二毛发识别模型。
5.根据权利要求2所述的方法，其特征在于，所述通过第一毛发识别模型对所述第一待处理图像进行毛发团识别，得到在所述清扫图像中毛发团的第一位置信息之前，所述方法还包括：
获取毛发团图像并且对所述毛发团图像中的毛发团位置进行标注，得到样本图像集合；
对于所述样本图像集合中的每个样本图像，根据预设的剪裁规则，对所述清扫图像进行剪裁，得到训练样本集合；
根据所述训练样本集合，对待训练模型进行训练，得到第一毛发识别模型。
6.根据权利要求2所述的方法，其特征在于，所述根据清洁机器人运行时采集的清扫图像，生成待处理图像，包括：
获取清洁机器人运行时采集的清扫图像；
根据预设的剪裁规则，对所述清扫图像进行剪裁，得到第一尺度的待识别图像；
对所述第一尺度的待识别图像进行图像划分，得到第二尺度的待识别图像，其中，所述第二尺度小于所述第一尺度；
将所述第一尺度的待识别图像和所述第二尺度的待识别图像确定为待处理图像。
7.根据权利要求1所述的方法，其特征在于，所述根据所述毛发位置信息，控制所述清洁机器人向所述毛发后退并经过所述毛发，以针对所述清扫图像中的毛发进行清扫，包括：
根据所述毛发在所述待处理图像中的毛发位置信息，控制所述清洁机器人自转和移动并持续采集图像，以使所述毛发位于所采集图像中的预定位置；
根据预设的角度参数，控制所述清洁机器人自转，以使所述毛发位于所述清洁机器人的后退方向；
控制所述清洁机器人后退并进行清扫，以对所述待处理图像中的毛发进行清扫。
8.根据权利要求7所述的方法，其特征在于，所述根据所述毛发在所述待处理图像中的毛发位置信息，控制所述清洁机器人自转和移动并持续采集图像，以使所述毛发位于所采集图像中的预定位置，包括：
根据所述毛发位置信息，控制所述清洁机器人自转，以使所述毛发位于所采集图像的中线上；
控制所述清洁机器人向所述毛发移动，以使所述毛发位于所采集图像的底部边缘。
9.根据权利要求7所述的方法，其特征在于，所述根据预设的角度参数，控制所述清洁机器人自转，以使所述毛发位于所述清洁机器人的后退方向，包括：
控制所述清洁机器人自转180度，以使所述毛发位于所述清洁机器人的正后方；
所述控制所述清洁机器人后退并进行清扫，以对所述待处理图像中的毛发进行清扫，包括：
控制所述清洁机器人沿所述中轴线后退经过所述毛发并对所述毛发进行清扫。
10.一种清洁机器人控制装置，其特征在于，包括：
图像生成模块，用于根据清洁机器人运行时采集的清扫图像，生成待处理图像；
毛发识别模块，用于对所述待处理图像中的毛发进行识别，得到所述待处理图像中毛发的毛发位置信息；
清扫控制模块，用于根据所述毛发位置信息，控制所述清洁机器人向所述毛发后退并经过所述毛发，以针对所述清扫图像中的毛发进行清扫。
11.一种清洁机器人，其特征在于，包括：
处理器；
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9中任意一项所述的清洁机器人控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211010697.1A CN115399680A (zh) | 2022-08-22 | 2022-08-22 | 清洁机器人控制方法、装置和清洁机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211010697.1A CN115399680A (zh) | 2022-08-22 | 2022-08-22 | 清洁机器人控制方法、装置和清洁机器人 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115399680A true CN115399680A (zh) | 2022-11-29 |
Family
ID=84162466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211010697.1A Pending CN115399680A (zh) | 2022-08-22 | 2022-08-22 | 清洁机器人控制方法、装置和清洁机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115399680A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107440622A (zh) * | 2017-09-20 | 2017-12-08 | 深圳市富辉鸿电子科技有限公司 | 一种用于清洁机器人的清洁中刷 |
| CN109813285A (zh) * | 2019-01-31 | 2019-05-28 | 莱克电气股份有限公司 | 基于视觉的清洁机器人环境识别方法、存储介质、一种清洁机器人 |
| CN111166247A (zh) * | 2019-12-31 | 2020-05-19 | 深圳飞科机器人有限公司 | 垃圾分类处理方法及清洁机器人 |
| CN111202472A (zh) * | 2020-02-18 | 2020-05-29 | 深圳市愚公科技有限公司 | 一种扫地机器人的终端地图构建方法、终端设备及清扫系统 |
| CN111220148A (zh) * | 2020-01-21 | 2020-06-02 | 珊口（深圳）智能科技有限公司 | 移动机器人的定位方法、系统、装置及移动机器人 |
| CN111374598A (zh) * | 2018-12-28 | 2020-07-07 | 珠海市一微半导体有限公司 | 扫地机器人清理毛发的控制方法、装置和芯片 |
| CN112205925A (zh) * | 2019-07-11 | 2021-01-12 | 尚科宁家(中国)科技有限公司 | 一种智能扫地机器人的清扫方法及扫地机器人 |
| CN112401763A (zh) * | 2020-11-27 | 2021-02-26 | 深圳市杉川致行科技有限公司 | 扫地机器人的控制方法、扫地机器人以及计算机可读存储介质 |
-
2022
- 2022-08-22 CN CN202211010697.1A patent/CN115399680A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107440622A (zh) * | 2017-09-20 | 2017-12-08 | 深圳市富辉鸿电子科技有限公司 | 一种用于清洁机器人的清洁中刷 |
| CN111374598A (zh) * | 2018-12-28 | 2020-07-07 | 珠海市一微半导体有限公司 | 扫地机器人清理毛发的控制方法、装置和芯片 |
| CN109813285A (zh) * | 2019-01-31 | 2019-05-28 | 莱克电气股份有限公司 | 基于视觉的清洁机器人环境识别方法、存储介质、一种清洁机器人 |
| CN112205925A (zh) * | 2019-07-11 | 2021-01-12 | 尚科宁家(中国)科技有限公司 | 一种智能扫地机器人的清扫方法及扫地机器人 |
| CN111166247A (zh) * | 2019-12-31 | 2020-05-19 | 深圳飞科机器人有限公司 | 垃圾分类处理方法及清洁机器人 |
| CN111220148A (zh) * | 2020-01-21 | 2020-06-02 | 珊口（深圳）智能科技有限公司 | 移动机器人的定位方法、系统、装置及移动机器人 |
| CN111202472A (zh) * | 2020-02-18 | 2020-05-29 | 深圳市愚公科技有限公司 | 一种扫地机器人的终端地图构建方法、终端设备及清扫系统 |
| CN112401763A (zh) * | 2020-11-27 | 2021-02-26 | 深圳市杉川致行科技有限公司 | 扫地机器人的控制方法、扫地机器人以及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114521836B (zh) | 一种自动清洁设备 | |
| CN107251096B (zh) | 图像捕获装置和方法 | |
| EP3651055A1 (en) | Gesture recognition method, apparatus, and device | |
| TWI684136B (zh) | 機器人、控制系統以及用以操作機器人之方法 | |
| JP2019121136A (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
| CN111402326A (zh) | 障碍物的检测方法、装置、无人车及存储介质 | |
| WO2024087962A1 (zh) | 车厢姿态识别系统、方法、电子设备及存储介质 | |
| WO2021194490A1 (en) | Method and system for improved attention map guidance for visual recognition in images | |
| EP3839817A2 (en) | Generating and/or using training instances that include previously captured robot vision data and drivability labels | |
| CN111421553A (zh) | 基于轮廓识别的机器人控制方法、存储介质及移动机器人 | |
| CN115147809A (zh) | 一种障碍物检测方法、装置、设备以及存储介质 | |
| CN112363501A (zh) | 无人驾驶扫地车的避障方法、装置、系统及存储介质 | |
| CN111814773A (zh) | 一种划线车位识别方法及系统 | |
| CN109300322B (zh) | 引导线绘制方法、装置、设备和介质 | |
| CN110866504A (zh) | 标注数据的获取方法、装置和设备 | |
| CN111337898A (zh) | 激光点云的处理方法、装置、设备及存储介质 | |
| Martens et al. | Cross domain matching for semantic point cloud segmentation based on image segmentation and geometric reasoning | |
| CN115399680A (zh) | 清洁机器人控制方法、装置和清洁机器人 | |
| CN117173415A (zh) | 用于大型洗地机的视觉分析方法及系统 | |
| CN115607052A (zh) | 一种机器人的清洁方法、装置、设备及清洁机器人 | |
| CN113298044B (zh) | 基于定位补偿的障碍物检测方法、系统、设备及存储介质 | |
| CN113869163A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN113657277A (zh) | 一种车辆被遮挡状态判断系统及方法 | |
| CN108858213B (zh) | 机器人、行进动作控制方法及机器人工作方法 | |
| CN114271737B (zh) | 一种迎宾式扫地机的控制方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |