CN109074084B - 机器人的控制方法、装置、系统及所适用的机器人 - Google Patents

机器人的控制方法、装置、系统及所适用的机器人 Download PDF

Info

Publication number
CN109074084B
CN109074084B CN201880001118.2A CN201880001118A CN109074084B CN 109074084 B CN109074084 B CN 109074084B CN 201880001118 A CN201880001118 A CN 201880001118A CN 109074084 B CN109074084 B CN 109074084B
Authority
CN
China
Prior art keywords
robot
line segments
characteristic line
image
room
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880001118.2A
Other languages
English (en)
Other versions
CN109074084A (zh
Inventor
崔彧玮
候喜茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Akobert Robot Co ltd
Shenzhen Akobot Robot Co ltd
Original Assignee
Shanghai Akobert Robot Co ltd
Shenzhen Akobot Robot Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Akobert Robot Co ltd, Shenzhen Akobot Robot Co ltd filed Critical Shanghai Akobert Robot Co ltd
Priority to CN202210205435.4A priority Critical patent/CN114355836A/zh
Publication of CN109074084A publication Critical patent/CN109074084A/zh
Application granted granted Critical
Publication of CN109074084B publication Critical patent/CN109074084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/054—Input/output
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/10—Plc systems
    • G05B2219/11—Plc I-O input output
    • G05B2219/1103—Special, intelligent I-O processor, also plc can only access via processor

Abstract

本申请提供一种机器人的控制方法、装置、系统及所适用的机器人。所述控制方法包括获取机器人移动期间所摄取的图像以及识别所述图像中的特征线段；根据所识别出的特征线段确定所述机器人与房间分隔体在物理空间中相对的方位关系；根据所述方位关系调整所述机器人的姿态，使得在物理空间中所述机器人沿基于房间分隔体所构建的主方向移动。本申请通过获取图像中的特征线段来确定机器人与房间分隔体之间的方位关系，使得机器人能够基于所述方位关系将其姿态调整至沿基于房间分隔体所构建的主方向移动，提高了移动覆盖率。

Description

机器人的控制方法、装置、系统及所适用的机器人
技术领域
本申请涉及智能机器人领域，特别是涉及一种机器人的控制方法、装置、系统及所适用的机器人。
背景技术
随着科技的不断发展，智能机器人逐渐走入人们的生活。在实际应用中，智能机器人既可以接受人类指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。这类机器人可用在室内或室外，可用于工业或家庭，可用于取代保安巡视、取代人们清洁地面，还可用于家庭陪伴、辅助办公等。
以清洁机器人为例，为了达到较高的清扫效率，理想的是在清洁机器人进行清洁作业前自动调整机器人的姿态以使其沿主方向移动，即机器人的行进方向垂直于或平行于墙面方向，然后再进行清扫，进而使得在清扫期间能够尽量减少补扫面积，提高清扫效率。因而，如何准确地调整机器人的姿态以使其沿主方向移动是提高清扫效率的关键因素。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种机器人的控制方法、装置、系统及所适用的机器人，用于解决现有技术中如何自动调整机器人的姿态以使其沿主方向移动的问题。
为实现上述目的及其他相关目的，本申请的第一方面提供一种机器人的控制方法，包括：获取机器人移动期间所摄取的图像以及识别所述图像中的特征线段；根据所识别出的特征线段确定所述机器人与房间分隔体在物理空间中相对的方位关系；根据所述方位关系调整所述机器人的姿态，使得在物理空间中所述机器人沿基于房间分隔体所构建的主方向移动。
在本申请的第一方面的某些实施方式中，所述根据所识别出的特征线段确定所述机器人与房间分隔体在物理空间中相对的方位关系的步骤包括：基于所识别出的多条特征线段的消失点对各条特征线段进行分组；从所分组的特征线段中选取至少一组特征线段；根据所选择的特征线段组的消失点在图像坐标系中的位置确定所述机器人与房间分隔体在物理空间中相对的方位关系。
在本申请的第一方面的某些实施方式中，所述从所分组的特征线段中选取至少一组特征线段的步骤包括：选取特征线段数量最多的一组特征线段。
在本申请的第一方面的某些实施方式中，所述根据方位关系调整所述机器人的姿态的步骤包括：根据所述方位关系并以预设角度步长调整所述机器人的姿态；以及重复上述各步骤直至满足用于确定所述机器人沿基于房间分隔体所构建的主方向的预设条件。
在本申请的第一方面的某些实施方式中，所述确定机器人沿基于房间分隔体所构建的主方向的步骤包括：判断当前图像中识别出的特征线段是否满足预设的平行条件，若满足所述平行条件则确定所述机器人的姿态与基于房间分隔体所构建的主方向一致，反之，则继续调整所述机器人的姿态并重复上述各步骤直至满足所述平行条件为止。
在本申请的第一方面的某些实施方式中，所述平行条件包括以下至少一种：不在同一直线上的两条特征线段之间的间距误差小于等于预设的间距误差阈值，所选择的特征线段组的消失点的位置落入预设的位置区域。
在本申请的第一方面的某些实施方式中，所获取的图像是由与机器人移动平面垂直设置的摄像装置摄取的，所述根据所识别出的特征线段确定所述机器人与房间分隔体在物理空间中相对的方位关系的步骤包括：统计从至少一幅图像中所识别的特征线段在预设图像坐标系中的倾斜角；根据所统计的倾斜角确定所述机器人与房间分隔体在物理空间中相对的方位关系。
在本申请的第一方面的某些实施方式中，所述统计从至少一幅图像中所识别的特征线段在预设图像坐标系中的倾斜角的步骤包括以下任一种：统计单幅图像中特征线段在预设图像坐标系中的倾斜角；在姿态调整的一时间段内，根据机器人摄取图像时所对应的旋转角度，对所摄取的至少两幅图像中各特征线段的倾斜角进行回归处理；以及统计回归处理后各特征线段在预设图像坐标系中的倾斜角。
在本申请的第一方面的某些实施方式中，所述根据所统计的倾斜角确定所述机器人与房间分隔体在物理空间中相对的方位关系的步骤包括：根据所统计的位于峰值区间的倾斜角，确定所述机器人与房间分隔体在物理空间中相对的方位关系。
在本申请的第一方面的某些实施方式中，所述根据方位关系调整所述机器人的姿态的步骤包括：根据所述倾斜角和机器人的当前姿态，调整所述机器人的姿态。
在本申请的第一方面的某些实施方式中，所述控制方法还包括：在确定在物理空间中所述机器人沿基于房间分隔体所构建的主方向时，基于当前位置规划导航路线。
在本申请的第一方面的某些实施方式中，所述导航路线包括：所述机器人向所述房间分隔体移动的第一路线，以及自所述第一路线的终点开始遍历一预设区域的第二路线。
本申请的第二方面还提供一种机器人的控制装置，包括：存储单元，用于存储至少一个程序以及由摄像装置所摄取的图像；处理单元，与所述存储单元相连，用于执行所述至少一个程序以执行上述中任一所述的控制方法。
本申请的第三方面还提供一种机器人，包括：摄像装置，用于在机器人移动期间摄取图像；移动装置，用于按照所接收的控制指令调整所述机器人的姿态；控制装置，与所述摄像装置和移动装置相连，用于执行以下步骤：获取所述摄像装置所摄取的图像以及识别所述图像中的特征线段；根据所识别出的特征线段确定所述机器人与房间分隔体在物理空间中相对的方位关系；根据所述方位关系控制所述移动装置调整所述机器人的姿态，使得使得在物理空间中所述机器人沿基于房间分隔体所构建的主方向移动。
在本申请的第三方面的某些实施方式中，所述摄像装置的光轴与机器人移动平面的夹角在0°至90°之间，所述摄像装置在机器人移动期间摄取图像并提供给所述控制装置；所述控制装置执行根据所识别出的特征线段确定所述机器人与房间分隔体在物理空间中相对的方位关系的步骤包括：基于所识别出的多条特征线段的消失点对各条特征线段进行分组；从所分组的特征线段中选取至少一组特征线段；根据所选择的特征线段组的消失点在图像坐标系中的位置确定所述机器人与房间分隔体在物理空间中相对的方位关系。
在本申请的第三方面的某些实施方式中，所述控制装置执行从所分组的特征线段中选取至少一组特征线段的步骤包括：选取特征线段数量最多的一组特征线段。
在本申请的第三方面的某些实施方式中，所述控制装置执行根据方位关系调整所述机器人的姿态的步骤包括：根据所述方位关系并以预设角度步长控制所述移动装置的旋转方向和旋转角度；以及重复上述各步骤直至满足用于确定所述机器人沿基于房间分隔体所构建的主方向的预设条件。
在本申请的第三方面的某些实施方式中，所述控制装置执行确定机器人沿基于房间分隔体所构建的主方向的步骤包括：判断当前图像中识别出的特征线段是否满足预设的平行条件，若满足所述平行条件则确定所述机器人的姿态与基于房间分隔体所构建的主方向一致，反之，则继续调整所述机器人的姿态并重复上述各步骤直至满足所述平行条件为止。
在本申请的第三方面的某些实施方式中，所述平行条件包括以下至少一种：不在同一直线上的两条特征线段之间的间距误差小于等于预设的间距误差阈值，所选择的特征线段组的消失点的位置落入预设的位置区域。
在本申请的第三方面的某些实施方式中，所述摄像装置的光轴与机器人移动平面垂直，所述摄像装置在机器人移动期间摄取图像并提供给所述控制装置；所控制装置执行根据所识别出的多条特征线段确定所述机器人与房间分隔体在物理空间中相对的方位关系的步骤包括：统计从至少一幅图像中所识别的特征线段在预设图像坐标系中的倾斜角；以及根据所统计的倾斜角确定所述机器人与房间分隔体在物理空间中相对的方位关系。
在本申请的第三方面的某些实施方式中，所述控制装置执行统计从至少一幅图像中所识别的特征线段在预设图像坐标系中的倾斜角的步骤包括以下任一种：统计单幅图像中特征线段在预设图像坐标系中的倾斜角；在姿态调整的一时间段内，根据机器人摄取图像时所对应的旋转角度，对所摄取的至少两幅图像中各特征线段的倾斜角进行回归处理；以及统计回归处理后各特征线段在预设图像坐标系中的倾斜角。
在本申请的第三方面的某些实施方式中，所述控制装置执行根据所统计的倾斜角确定所述机器人与房间分隔体在物理空间中相对的方位关系的步骤包括：根据所统计的位于峰值区间的倾斜角，确定所述机器人与房间分隔体在物理空间中相对的方位关系。
在本申请的第三方面的某些实施方式中，所述控制装置执行根据方位关系调整所述机器人的姿态的步骤包括：根据所述倾斜角和机器人的当前姿态，调整所述机器人的姿态。
在本申请的第三方面的某些实施方式中，所述控制装置还用于执行以下步骤：在确定在物理空间中所述机器人沿基于房间分隔体所构建的主方向时，基于当前位置规划导航路线。
在本申请的第三方面的某些实施方式中，所述导航路线包括：所述机器人向所述房间分隔体移动的第一路线，以及自所述第一路线的终点开始遍历一预设区域的第二路线。
在本申请的第三方面的某些实施方式中，所述机器人为清洁机器人。
本申请的第四方面还提供一种计算机存储介质，存储至少一种程序，所述至少一种程序在被调用时执行上述中任一所述的控制方法。
本申请的第五方面还提供一种机器人的控制系统，包括：图像处理模块，用于获取机器人移动期间所摄取的图像以及识别所述图像中的特征线段；方位计算模块，用于根据所识别出的特征线段确定所述机器人与房间分隔体在物理空间中相对的方位关系；控制模块，用于根据所述方位关系调整所述机器人的姿态，使得在物理空间中所述机器人沿基于房间分隔体所构建的主方向移动。
在本申请的第五方面的某些实施方式中，所述方位计算模块包括第一方位计算单元，用于执行以下步骤：基于所识别出的多条特征线段的消失点对各条特征线段进行分组；从所分组的特征线段中选取至少一组特征线段；根据所选择的特征线段组的消失点在图像坐标系中的位置确定所述机器人与房间分隔体在物理空间中相对的方位关系。
在本申请的第五方面的某些实施方式中，所述方位计算模块包括第二方位计算单元，用于执行以下步骤：统计从至少一幅图像中所识别的特征线段在预设图像坐标系中的倾斜角；根据所统计的倾斜角确定所述机器人与房间分隔体在物理空间中相对的方位关系。
在本申请的第五方面的某些实施方式中，所述控制模块包括导航路线规划单元，用于在确定在物理空间中所述机器人沿基于房间分隔体所构建的主方向时，基于当前位置规划导航路线。
如上所述，本申请的机器人的控制方法、装置、系统及所适用的机器人，具有以下有益效果：通过获取图像中的特征线段来确定机器人与房间分隔体之间的方位关系，使得机器人能够基于所述方位关系将其姿态调整至沿基于房间分隔体所构建的主方向移动，提高了移动覆盖率。
附图说明
图1显示为本申请机器人的控制方法在一种实施方式中的流程示意图。
图2显示为通过摄像装置所获取的图像的示意图。
图3显示为基于图2中的图像所识别出的轮廓特征的示意图。
图4显示为本申请控制方法在另一种实施方式中的流程图。
图5显示为本申请控制方法在又一种实施方式中的流程图。
图6显示为本申请特征线段和倾斜角的统计结果在一种实施方式中的波形图.
图7显示为本申请特征线段和倾斜角的统计结果在另一种实施方式中的波形图。
图8显示为本申请机器人的控制装置在一种实施方式中的结构示意图。
图9显示为本申请机器人在一种实施方式中的结构示意图。
图10显示为本申请机器人的控制系统在一种实施方式中的结构示意图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。
在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
机器人基于导航控制技术执行移动操作。以清洁机器人为例，一般地，清洁机器人所处室内两个互相垂直的主方向即对应墙的两个方向。为了遍历整个待清扫区域，清洁机器人按照弓字形移动。其中，若清洁机器人沿着或面向或背离如墙、窗、屏风等房间分隔体所构建的方向移动，则能够以最高效的方式完成清洁操作。这是因为清洁机器人按照上述方向移动能够在作业期间尽可能全面覆盖待清洁区域，减少补扫操作，提高清洁效率。
基于上述清洁机器人的示例并推及至其他移动机器人，为了提高移动机器人的移动覆盖率，以及在移动期间执行相应操作的工作效率，本申请提供一种机器人的控制方法，使用所述控制方法可以基于机器人所获取图像中的特征线段来确定机器人与房间分隔体例如墙面、窗户等之间的相对方位，使得机器人能够基于所述相对方位调整其姿态，进而能够沿主方向如平行于墙面方向或垂直于墙面方向移动，提高移动覆盖率。
请参阅图1，图1显示为本申请机器人的控制方法在一种实施方式中的流程示意图。其中，所述控制方法可由控制装置来执行。其中，所述控制装置位于机器人中，所述机器人还包括与所述控制装置数据相连的摄像装置，用以摄取图像。在一实施例中，控制装置可以预先设定摄像装置拍摄图像的时间间隔，然后控制装置获取经摄像装置以预设时间间隔拍摄的不同时刻下的静态图像，并执行步骤S110-S130。在另一实施例中，摄像装置可以拍摄视频，由于视频是由图像帧构成的，因此控制装置首先可以连续或不连续地采集所获取的视频中的图像帧，然后控制装置选用一帧图像作为一幅图像并执行步骤S110-S130。
在步骤S110中，获取机器人移动期间所摄取的图像以及识别图像中的特征线段。
在此，机器人的控制装置获取摄像装置在机器人移动期间所摄取的图像，然后利用图像处理技术识别图像中的特征线段。其中，所述特征线段为直线线段。
在一些实施例中，所述控制装置可以采用下述方式识别图像中的特征线段：首先，从所获取的图像中提取物体的轮廓特征。其中，可通过轮廓线提取方法提取轮廓特征，所述轮廓线提取方法包括但不限于：二值、灰度、canny算子等方法。然后，从所提取的轮廓特征中提取特征线段。其中，可通过霍夫变换来提取特征线段。其中，所述特征线段包括但不限于以下特征：直度和/或长度特征等。例如，当图像中所识别的相邻特征点连线的直度大于预设直度阈值，和/或其长度大于预设长度阈值时，可判定该特征点的连线为特征线段。在一示例中，所述控制装置基于物体轮廓线截取不连续的多条直线线段作为特征线段以进行后续处理。在另一示例中，所述控制装置将基于物体轮廓线所提取的轮廓特征进行分段，再从分段后的轮廓特征中提取特征线段。如此便于保留更多的特征线段。
需要说明的是，所述物体轮廓应宽泛理解，其包括但不限于摆放在房间中的物体的轮廓，还包括房间中墙与墙之间、墙与屋顶之间、墙与门窗之间的交界线等。请参阅图2和图3，其中，图2显示为通过摄像装置所获取的图像的示意图，图3显示为基于图2中的图像所识别出的轮廓特征的示意图。如图3所示，其中细线条指示轮廓特征，所述轮廓特征例如是基于二值、灰度、canny算子等方法从图像中提取的；粗线条指示特征线段，在此，当图像中所识别的相邻特征点连线的直度大于预设直度阈值，和/或其长度大于预设长度阈值时，可判定该特征点的连线为特征线段。
还需要说明的是，所述控制装置还可以采用如神经网络算法来识别特征线段。在此不对识别特征线段的方式进行限制。
在步骤S120中，根据所识别出的特征线段确定机器人与房间分隔体在物理空间中相对的方位关系。
其中，房间分隔体是指在机器人所处应用场景中用于分隔应用空间的立面。以清洁机器人为例，在清洁机器人处于室内场景时，所述房间分隔体是指用于分隔室内空间的立面，如墙面、隔断、落地窗、天花板等。因而，例如，机器人与房间分隔体在物理空间中相对的方位关系可以表示为机器人的行进方向与墙面所构建的方向之间相对的方位关系。在某些实施例中，机器人与房间分隔体之间的方位关系可由机器人的行进方向与房间分隔体所限定的平面之间的夹角来表征。例如，所述夹角反映机器人行进方向与墙面的相对方位关系为平行、垂直相交或非垂直相交。
所述控制装置基于所识别的特征线段，来确定机器人当前面向(或背离)墙面移动、沿墙面移动、或与墙面具有0°到90°之间夹角的方位关系。这是由于为充分利用室内空间，室内物体基本根据房间隔离体所构建的主方向进行摆放，例如，书桌、床、衣柜、鞋柜等不易移动的物体均根据房间隔离体所构建的主方向进行摆放，这使得实际物理空间中的摆放特征可藉由图像反映出来，因此根据室内的物体、房间隔离体等所呈现的方位特征，所述控制装置对所识别的特征线段进行分析，得到所述机器人与房间分隔体在物理空间中相对的方位关系。
在步骤S130中，根据方位关系调整机器人的姿态，使得在物理空间中机器人沿基于房间分隔体所构建的主方向移动。
在此，所述调整机器人的姿态主要指调整机器人与基于房间分隔体所构建的主方向之间的角度关系，当根据方位关系确定机器人以沿着、面向、或背离基于房间分隔体所构建的主方向，则完成机器人的姿态调整。
在某些实施例中，所述控制装置根据所识别特征线段在实际物理空间中的夹角以及机器人的当前姿态，控制机器人旋转一角度，以实现机器人与房间分隔体平行或垂直。在另一些实施例中，可以依据预设的角度和方向不断调整机器人旋转，并在旋转期间重复上述步骤S110-S130，直至根据所识别出的特征线段满足预设条件，以确认机器人与房间分隔体大致平行或垂直为止。其中，所述预设条件是基于特征线段所反映的机器人与主方向的方位关系而设置的。
机器人按照大致平行于或垂直于房间分隔体的行进方向进行移动。例如，控制装置在确定清洁机器人面向一墙面后，控制清洁机器人移动至墙边，并按弓字形移动。
本申请机器人的控制方法，通过获取图像中的特征线段来确定机器人与房间分隔体之间的方位关系，使得机器人能够基于所述方位关系将其姿态调整至沿基于房间分隔体所构建的主方向移动，提高了移动覆盖率。
基于上述技术思想并结合实际摄像装置在机器人的摆放角度，所述控制装置可采用与摄像装置的摆放角度相关的实现方式来确定所述机器人与房间分隔体在物理空间中相对的方位关系以及进行姿态调整。
在一些实施方式中，摄像装置设置在机器人体侧，即摄像装置的光轴与机器人移动平面的夹角在0°至90°之间的情况下，请参阅图4，图4显示为本申请控制方法在另一种实施方式中的流程图，如图所示，所述控制方法包括步骤S210-S250。
在步骤S210中，获取机器人移动期间所摄取的图像以及识别图像中的特征线段。其中，步骤S210与上述步骤S110相同或相似，在此不再详述。
在步骤S220中，基于所识别出的多条特征线段的消失点对各条特征线段进行分组。
在此，由于摄像装置的光轴与主方向具有0°至90°的夹角，因此，所拍摄的图像中平行线条具有消失点线性特征。其中，所述消失点线性特征是指两条或多条代表平行线线条向远处地平线(HORIZON LINE)伸展直至聚合的那一点。在计算机视觉领域中，图像中具有共同消失点的直线对应于空间中的平行线，也就是说，空间中的平行线对应在图像视角中是相交的线，这些相交的线在具有共同消失点的情况下代表空间中的多组平行线。
所述控制装置以图像所在图像坐标系对所识别出的各特征线段延长处理以得到各特征线段的消失点。例如，所述控制装置利用各特征线段在图像坐标系中的倾斜角计算任意两特征线段的交汇点，并对各交汇点进行聚类处理以将位置相近的交汇点归类为一个消失点。
在所识别的多个特征线段中，所得到的消失点的数量通常为多个，本申请中基于所识别出的多条特征线段所对应的消失点在图像坐标系中的不同坐标位置，将相交于同一消失点的特征线段分为一组。
在步骤S230中，从所分组的特征线段中选取至少一组特征线段。
由于房间内的大部分物体按照房间分隔体所构建的主方向进行摆放，因此，图像中各分组中特征线段的数量能够反映基于房间分隔体所构建的主方向。例如，消失点对应的特征线段数量越多，表示相应分组的特征线段在物理空间中的方向是基于房间分隔体所构建的主方向的可能性越大。鉴于此，在某些实施例中，从所分组的特征线段中选取特征线段数量最多的一组特征线段，该组特征线段代表基于房间分隔体所构建的主方向。
需要说明的是，所得到的特征线段的数量最多的分组并非一定仅为一个，可选择数量最多的多个分组的特征线段或随机选择其中一组特征线段执行步骤S240。
在步骤S240中，根据所选择的特征线段组的消失点在图像坐标系中的位置确定机器人与房间分隔体在物理空间中相对的方位关系。
其中，所选择的特征线段组代表基于房间分隔体所构建的主方向。例如所选择的特征线段组代表沿平行于一墙体或垂直于一墙体方向设置的物体的轮廓线或房间的交界线。
在此，当在物理空间中机器人与待面向的某一房间分隔体A具有一定偏角的方位关系，平行于该房间分隔体A的多条直线反映在图像中，即为具有同一消失点的特征线段，根据包含所述偏角的方位关系(例如机器人逆时针偏转地面向某一房间分隔体A，或者机器人顺时针偏转地面向某一房间分隔体A)，相应的消失点将位于图像坐标系的某一象限或者与预设中心点相距预设距离之内的区域中。基于上述方位关系与消失点在图像坐标系中位置的对应关系，所述控制装置通过分析消失点在图像坐标系中的位置确定机器人与房间分隔体A在物理空间中相对的方位关系。例如，以垂直于摄像装置的光轴的平面构建的图像坐标系，其中，光轴所在位置为坐标原点，若所选择的特征线段组的消失点位于坐标系左侧，则机器人与待面向的房间分隔体A的方位关系为逆时针偏转。其中，所述方位关系为粗略的，并非一定能够确定机器人与待面向的房间分隔体之间的精准偏角值。
在步骤S250中，根据方位关系并以预设角度步长调整机器人的姿态。
在此，所述控制装置以预设角度步长为单位角度并按照所得到的方位关系进行逐步调整。
每控制机器人旋转一单位角度时，获取摄像装置所拍摄的图像，并重复执行上述步骤S210至步骤S250，直至确定机器人与房间分隔体大致平行或垂直，即，满足用于确定机器人沿基于房间分隔体所构建的主方向的预设条件。其中，当机器人面向或背离某一房间分隔体时，或者当机器人沿某一房间分隔体时，所选择分组的特征线段被认为是房间内平行于或垂直于该房间分隔体的直线在图像中的映射。所述预设条件可基于所选择分组的特征线段的消失点在图像坐标系中的位置坐标而预先设置；还可以设置用于评价所选择分组的特征线段的平行度的条件参数。
在某些实施例中，确定机器人沿基于房间分隔体所构建的主方向的步骤包括：判断当前图像中识别出的特征线段是否满足预设的平行条件，若满足，则确定机器人的姿态与基于房间分隔体所构建的主方向一致，反之，则继续调整所述机器人的姿态并重复上述各步骤直至满足所述平行条件为止。其中，所述机器人的姿态与基于房间分隔体所构建的主方向一致包括机器人的当前姿态为面向某一房间分隔体、背离某一房间分隔体或沿某一房间分隔体。
在一些示例中，当所述控制装置所选择的特征线段组符合预设平行条件时，所述控制装置确定机器人的当前姿态为面向某一房间分隔体。其中，在一种更具体示例中，所述平行条件包括：所选择的特征线段组中的不在同一直线上的两条特征线段之间的间距误差小于等于预设的间距误差阈值。例如，控制装置计算所选择的特征线段组中任意两条特征线段的端点距离，若所计算的端点距离之间的误差小于所述间距误差阈值，则确定所选择的特征线段彼此平行，即确定在物理空间中机器人面向于某一房间分隔体，反之，则继续调整姿态。在另一种更具体示例中，所述平行条件包括所选择的特征线段组的消失点的位置落入预设的位置区域。例如，控制装置计算所选择的特征线段组的消失点坐标是否位于图像坐标系中预设的位置区域，该位置区域用于界定机器人的当前姿态与某一房间分隔体为大致垂直，若是，则确定所选择的特征线段彼此平行，即确定在物理空间中机器人面向于某一房间分隔体，反之，则继续调整姿态。
在确定了机器人沿基于房间分隔体所构建的主方向的情况下，控制机器人沿房间分隔体例如墙体构建的主方向移动可以包括控制机器人平行于墙体移动、控制机器人面向墙体移动、控制机器人背离墙体移动。
在另一些实施方式中，摄像装置垂直向上设置在机器人顶部，即摄像装置的光轴与机器人移动平面垂直的情况下，请参阅图5，图5显示为本申请控制方法在又一种实施方式中的流程图，如图所示，所述控制方法包括步骤S310-S340。
在步骤S310中，获取机器人移动期间所摄取的图像以及识别图像中的特征线段。其中，步骤S310与上述步骤S110相同或相似，在此不再详述。
在步骤S320中，统计从至少一幅图像中所识别的特征线段在预设图像坐标系中的倾斜角。
在此，由于在房间中各物体摆放及房间结构均基于房间分隔体所构建的主方向摆放，并且基于房间分隔体所构建的主方向彼此正交的特点，设置于机器人顶部且光轴与机器人移动平面垂直的摄像装置所摄取的图像也具有彼此正交的特征线段，因此，统计位于所述图像坐标系中各特征线段的倾斜角可便于找出彼此正交的特征线段及其倾斜角。
在一些实施例中，统计单幅图像中特征线段在预设图像坐标系中的倾斜角。例如，预设图像坐标系UOV，其中，以相机光轴与成像平面的交点作为图像坐标系的原点O、以彼此正交的两个方向作为图像坐标系的U轴和图像坐标系的V轴。针对图像中所识别出的特征线段，可获得特征线段在图像坐标系UOV中的相应坐标，以及每条特征线段在图像坐标系UOV中的倾斜角，然后对所获得的倾斜角进行统计以得到统计结果，该统计结果表示特征线段的角度分布。其中，倾斜角在0°至180°范围内。在一示例中，可以以波形图、直方图等方式示出统计结果，例如，在以波形图方式示出统计结果的情况下，假设以X轴表示图像中特征线段在图像坐标系UOV中的倾斜角数值大小，Y轴表示在相应倾斜角数值下特征线段的数量，绘制统计结果。
在另一些实施例中，为了提高对倾斜角统计的准确度，控制装置统计多幅图像中特征线段在预设图像坐标系中的倾斜角。
在此，为了避免因机器人姿态变化而改变特征线段在图像坐标系中的倾斜角，所述控制装置在机器人移动期间获取所摄取的相邻图像所对应的所述机器人的姿态变化。由于所述图像坐标系平行于机器人的移动平面，因此，所检测的姿态变化可用于将对应图像中特征线段的倾斜角进行回归补偿。因而，步骤S320包括在姿态调整的一时间段内，根据机器人摄取图像时所对应的旋转角度，对所摄取的至少两幅图像中各特征线段的倾斜角进行回归处理；以及统计回归处理后各特征线段在预设图像坐标系中的倾斜角。
其中，回归处理是指以机器人拍摄的其中一幅图像作为基准图像，以拍摄该基准图像时机器人的姿态(位置和角度)作为基准姿态，对其他幅图像中特征线段的倾斜角进行修正。以统计两幅图像中特征线段的倾斜角为例，机器人拍摄第一幅图像并对第一幅图像中的特征线段的倾斜角进行统计以获得第一统计结果，机器人调整姿态后拍摄第二幅图像并对第二幅图像中的特征线段的倾斜角进行统计以获得第二统计结果。基于此，以机器人拍摄第一幅图像时的姿态作为基准姿态，基于机器人拍摄第二幅图像时的姿态，可以借助于陀螺仪、VSLAM等方式获得机器人相对于基准姿态的旋转角度。然后，将所获得的旋转角度投影到图像坐标系中得到第二幅图像相对于第一幅图像的旋转角度，基于此对第二统计结果中包括的特征线段的倾斜角进行修正，使得第二幅图像中特征线段与第一幅图像中特征线段在图像坐标系内实现坐标统一，消除机器人旋转所带来的倾斜角偏差。最后，将第一统计结果和经过回归处理的第二统计结果进行整体统计，以获得各特征线段在图像坐标系中的倾斜角的统计结果。
在步骤S330中，根据所统计的倾斜角确定机器人与房间分隔体在物理空间中相对的方位关系。
当控制装置对至少一幅图像中的特征线段进行统计后，所述控制装置可得到至少一个统计峰值区间，并将所得到的统计峰值区间对应的倾斜角作为机器人与房间分隔体在物理空间中相对的方位关系。在此，基于统计结果可获得峰值区间，所述峰值区间表示峰值区间内对应的倾斜角下特征线段的数量最多，而特征线段数量最多表示这些特征线段所在的方向代表基于房间分隔体所构建的主方向。因而，在某些实施例中，根据所统计的位于峰值区间的倾斜角，确定机器人与房间分隔体在物理空间中相对的方位关系。在此，所述方位关系包括机器人与待面向某一房间分隔体之间的偏角区间和旋转方向。例如，按照预设图像坐标系的UV轴射线方向确定所统计的峰值区间为41°±1°，所述控制装置确定机器人位于待面向某一房间分隔体的逆时针方向，且与该房间分隔体呈41°±1°的偏角区间。
需要说明的是，基于图像识别误差、统计误差等，峰值区间内对应的倾斜角可以是在一定误差范围内的倾斜角区间。基于此，在一种示例中，以倾斜角区间中的平均倾斜角作为表征方位关系的倾斜角。
请参阅图6，图6显示为本申请特征线段和倾斜角的统计结果在一种实施方式中的波形图，如图所示，X轴表示图像中特征线段的倾斜角，Y轴表示特征线段的数量，图中示出存在一最大的峰值区间的情况，由所述峰值区间的倾斜角对应的特征线段即表示基于房间分隔体所构建的主方向，如平行于墙体方向或垂直于墙体方向，因而，机器人与房间分隔体在物理空间中相对的方位关系可由机器人与房间分隔体之间的夹角即峰值区间对应的倾斜角来表征。例如，假设峰值区间对应的倾斜角为45°，即表示机器人行进方向与墙体方向之间的夹角为45°。
请参阅图7，图7显示为本申请特征线段和倾斜角的统计结果在另一种实施方式中的波形图，如图所示，X轴表示图像中特征线段的倾斜角，Y轴表示特征线段的数量，图中示出存在两个最大峰值区间的情况，根据实际情况，所述两个峰值区间对应的两个倾斜角理论上应互成90°，则其对应的特征线段分别表示平行于墙体的方向和垂直于墙体的方向。因而，一方面，机器人与房间分隔体在物理空间中相对的方位关系可由机器人与房间分隔体之间的夹角即任一峰值区间对应的倾斜角来表征，另一方面，还可以通过两个峰值区间对应的两个倾斜角之间的差是否在“90°±σ”的范围内(其中，σ表示误差)来进一步验证所获得的两个峰值区间对应的特征线段是否分别表征平行于墙体和垂直于墙体的方向。例如，假设一峰值区间对应的倾斜角为30°，则另一峰值区间对应的角度应为120°±σ，即表示机器人行进方向与墙体方向之间的夹角为30°或120°±σ。
在步骤S340中，根据倾斜角及机器人的当前姿态，调整机器人的姿态。
在此，控制装置基于统计获得的倾斜角度以及机器人的当前姿态，控制机器人按照相应倾斜角度和旋转方向进行旋转，使得机器人的行进方向平行于或垂直于房间分隔体，进而控制机器人沿上述主方向面向或背离房间分隔体移动。
按照上述各示例调整机器人姿态的方式，控制装置还执行在确定在物理空间中所述机器人沿基于房间分隔体所构建的主方向时，基于当前位置规划导航路线的步骤。
其中，所述导航路线可以包括：机器人向房间分隔体移动的第一路线，以及自第一路线的终点开始遍历一预设区域的第二路线。其中，所述预设区域例如清洁机器人的清扫区域，巡逻机器人的巡逻区域等。
以清洁机器人为例，则基于房间分隔体所构建的主方向可以为互相垂直的第一墙面和第二墙面，在确定了清洁机器人沿基于房间分隔体所构建的主方向的情况下，设置清洁机器人沿所述主方向移动直至接触房间分隔体，例如，设置清洁机器人面向或背离第一墙面移动，直至接触第一墙面或接触平行于第一墙面的另一墙面，或者，设置清洁机器人沿着第一墙面移动，直至接触与第一墙面垂直的第二墙面。然后，以清洁机器人当前位置作为起点，采用“弓”字形或“之”字形等路线规划清洁机器人在清扫区域移动，使得清洁机器人在作业期间尽可能全面覆盖待清洁区域，提高清洁效率。
本申请还提供一种机器人的控制装置，请参阅图8，图8显示为本申请机器人的控制装置在一种实施方式中的结构示意图，如图所示，机器人的控制装置包括存储单元11和处理单元12。
存储单元11用于存储至少一个程序以及由摄像装置所摄取的图像。存储单元11可包括高速随机存取存储器，并且还可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储单元11还包括存储器控制器可控制设备的诸如CPU和外设接口之类的其他组件对存储器的访问。存储单元11中所保存的程序包括稍后描述的由处理单元调用以执行控制方法的相关程序。
处理单元12可操作地与存储单元等耦接。此外，处理单元还可操作地耦接至电源，该电源可向控制主板中的各种部件提供电力。如此，电源可包括任何合适的能源，诸如可再充电的锂聚合物(Li-poly)电池和/或交流电(AC)电源转换器。
处理单元12用于调用所述至少一个程序并执行如上任一所述的控制方法。其中，处理单元12与存储单元11进行数据通信。处理单元12可执行在存储单元中存储的指令以在机器人中执行操作。处理单元执行控制方法的具体实现方式如图1至图7及其相应描述所示，在此不再赘述。
本申请还提供一种机器人，所述机器人包括但不限于清洁机器人、巡逻机器人、家庭陪伴机器人等。所述机器人执行上述控制方法。请参阅图9，图9显示为本申请机器人在一种实施方式中的结构示意图，如图所示，机器人包括摄像装置21、移动装置22以及控制装置23。
摄像装置21用于在机器人移动期间摄取图像。在一实施例中，控制装置可以预先设定摄像装置拍摄图像的时间间隔，然后控制装置获取经摄像装置以预设时间间隔拍摄的不同时刻下的静态图像。在另一实施例中，摄像装置可以拍摄视频，由于视频是由图像帧构成的，因此控制装置首先可以连续或不连续地采集所获取的视频中的图像帧，然后控制装置选用一帧图像作为一幅图像。所述摄像装置包括但不限于：照相机、视频摄像机、集成有光学系统或CCD芯片的摄像模块、集成有光学系统和CMOS芯片的摄像模块等。所述摄像装置的供电系统可受移动机器人的供电系统控制，所述摄像装置摄取移动机器人移动期间所途经路线的图像。
移动装置22用于按照所接收的控制指令调整机器人的姿态。其中，移动装置22在控制装置23的控制下调整移动距离、移动方向和移动速度、移动加速度等。
在某些实施例中，移动装置22包括驱动单元和至少两个滚轮组。其中，所述至少两个滚轮组中的至少一个滚轮组为受控滚轮组。所述驱动单元与所述处理装置相连，所述驱动单元用于基于所述处理装置输出的移动控制指令驱动所述受控滚轮组滚动。
所述驱动单元包含驱动电机，所述驱动电机与所述滚轮组相连用于直接驱动滚轮组滚动。所述驱动单元可以包含专用于控制驱动电机的一个或多个处理器(CPU)或微处理单元(MCU)。例如，所述微处理单元用于将所述处理装置所提供的信息或数据转化为对驱动电机进行控制的电信号，并根据所述电信号控制所述驱动电机的转速、转向等以调整移动机器人的移动速度和移动方向。所述信息或数据如所述处理装置所确定的偏角。所述驱动单元中的处理器可以和所述处理装置中的处理器共用或可独立设置。例如，所述驱动单元作为从处理设备，所述处理装置作为主设备，驱动单元基于处理装置的控制进行移动控制。或者所述驱动单元与所述处理装置中的处理器相共用。驱动单元通过程序接口接收处理装置所提供的数据。所述驱动单元用于基于所述处理装置所提供的移动控制指令控制所述受控滚轮组滚动。
控制装置23与摄像装置21和移动装置22进行数据通信。控制装置23可以包括一个或多个处理器。所述处理器可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个数字信号处理器(DSP)、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。所述控制装置还与I/O端口和输入结构可操作地耦接，该I/O端口可使得机器人能够与各种其他电子设备进行交互，该输入结构可使得用户能够与计算设备进行交互。因此，输入结构可包括按钮、键盘、鼠标、触控板等。所述其他电子设备可以是所述机器人中移动装置中的移动电机，或机器人中专用于控制移动装置的从处理器，如MCU(Microcontroller Unit，微控制单元，简称MCU)。
在一种示例中，所述控制装置通过数据线分别连接摄像装置和移动装置。所述控制装置通过接口协议与摄像装置、移动装置进行交互。其中，所述数据读写技术包括但不限于：高速/低速数据接口协议、数据库读写操作等。所述接口协议包括但不限于：HDMI接口协议、串行接口协议等。
控制装置23获取摄像装置21所摄取的图像以及识别所述图像中的特征线段。
在此，机器人的控制装置获取摄像装置在机器人移动期间所摄取的图像，然后利用图像处理技术识别图像中的特征线段。其中，所述特征线段为直线线段。
在一些实施例中，所述控制装置可以采用下述方式识别图像中的特征线段：首先，从所获取的图像中提取物体的轮廓特征。其中，可通过轮廓线提取方法提取轮廓特征，所述轮廓线提取方法包括但不限于：二值、灰度、canny算子等方法。然后，从所提取的轮廓特征中提取特征线段。其中，可通过霍夫变换来提取特征线段。其中，所述特征线段包括但不限于以下特征：直度和/或长度特征等。例如，当图像中所识别的相邻特征点连线的直度大于预设直度阈值，和/或其长度大于预设长度阈值时，可判定该特征点的连线为特征线段。在一示例中，所述控制装置基于物体轮廓线截取不连续的多条直线线段作为特征线段以进行后续处理。在另一示例中，所述控制装置将基于物体轮廓线所提取的轮廓特征进行分段，再从分段后的轮廓特征中提取特征线段。如此便于保留更多的特征线段。
需要说明的是，所述物体轮廓应宽泛理解，其包括但不限于摆放在房间中的物体的轮廓，还包括房间中墙与墙之间、墙与屋顶之间、墙与门窗之间的交界线等。请参阅图2和图3，其中，图2显示为通过摄像装置所获取的图像的示意图，图3显示为基于图2中的图像所识别出的轮廓特征的示意图。
还需要说明的是，所述控制装置还可以采用如神经网络算法来识别特征线段。在此不对识别特征线段的方式进行限制。
接着，控制装置根据所识别出的特征线段确定机器人与房间分隔体在物理空间中相对的方位关系。
其中，房间分隔体是指在机器人所处应用场景中用于分隔应用空间的立面。以清洁机器人为例，在清洁机器人处于室内场景时，所述房间分隔体是指用于分隔室内空间的立面，如墙面、隔断、落地窗、天花板等。因而，例如，机器人与房间分隔体在物理空间中相对的方位关系可以表示为机器人的行进方向与墙面所构建的方向之间相对的方位关系。在某些实施例中，机器人与房间分隔体之间的方位关系可由机器人的行进方向与房间分隔体所限定的平面之间的夹角来表征。例如，所述夹角反映机器人行进方向与墙面的相对方位关系为平行、垂直相交或非垂直相交。
所述控制装置基于所识别的特征线段，来确定机器人当前面向(或背离)墙面移动、沿墙面移动、或与墙面具有0°到90°之间夹角的方位关系。这是由于为充分利用室内空间，室内物体基本根据房间隔离体所构建的主方向进行摆放，例如，书桌、床、衣柜、鞋柜等不易移动的物体均根据房间隔离体所构建的主方向进行摆放，这使得实际物理空间中的摆放特征可藉由图像反映出来，因此根据室内的物体、房间隔离体等所呈现的方位特征，所述控制装置对所识别的特征线段进行分析，得到所述机器人与房间分隔体在物理空间中相对的方位关系。
然后，控制装置根据方位关系调整机器人的姿态，使得在物理空间中机器人沿基于房间分隔体所构建的主方向移动。
在此，所述调整机器人的姿态主要指调整机器人与基于房间分隔体所构建的主方向之间的角度关系，当根据方位关系确定机器人以沿着、面向、或背离基于房间分隔体所构建的主方向，则完成机器人的姿态调整。
在某些实施例中，所述控制装置根据所识别特征线段在实际物理空间中的夹角以及机器人的当前姿态，控制机器人旋转一角度，以实现机器人与房间分隔体平行或垂直。在另一些实施例中，可以依据预设的角度和方向不断调整机器人旋转，并在旋转期间重复上述步骤，直至根据所识别出的特征线段满足预设条件，以确认机器人与房间分隔体大致平行或垂直为止。其中，所述预设条件是基于特征线段所反映的机器人与主方向的方位关系而设置的。
机器人按照大致平行于或垂直于房间分隔体的行进方向进行移动。例如，控制装置在确定清洁机器人面向一墙面后，控制清洁机器人移动至墙边，并按弓字形移动。
本申请的机器人，通过控制装置基于获取的图像中的特征线段来确定机器人与房间分隔体之间的方位关系，使得机器人能够基于所述方位关系将其姿态调整至沿基于房间分隔体所构建的主方向移动，提高了移动覆盖率。
基于上述技术思想并结合实际摄像装置在机器人的摆放角度，所述控制装置可采用与摄像装置的摆放角度相关的实现方式来确定所述机器人与房间分隔体在物理空间中相对的方位关系以及进行姿态调整。
在一些实施方式中，摄像装置21设置在机器人体侧，即摄像装置21的光轴与机器人移动平面的夹角在0°至90°之间的情况下，摄像装置21在机器人移动期间摄取图像并提供给控制装置23，控制装置23识别所述图像中的特征线段。
接着，控制装置23基于所识别出的多条特征线段的消失点对各条特征线段进行分组。
在此，由于摄像装置的光轴与主方向具有0°至90°的夹角，因此，所拍摄的图像中平行线条具有消失点线性特征。其中，所述消失点线性特征是指两条或多条代表平行线线条向远处地平线(HORIZON LINE)伸展直至聚合的那一点。在计算机视觉领域中，图像中具有共同消失点的直线对应于空间中的平行线，也就是说，空间中的平行线对应在图像视角中是相交的线，这些相交的线在具有共同消失点的情况下代表空间中的多组平行线。
所述控制装置以图像所在图像坐标系对所识别出的各特征线段延长处理以得到各特征线段的消失点。例如，所述控制装置利用各特征线段在图像坐标系中的倾斜角计算任意两特征线段的交汇点，并对各交汇点进行聚类处理以将位置相近的交汇点归类为一个消失点。
在所识别的多个特征线段中，所得到的消失点的数量通常为多个，本申请中基于所识别出的多条特征线段所对应的消失点在图像坐标系中的不同坐标位置，将相交于同一消失点的特征线段分为一组。
然后，控制装置23从所分组的特征线段中选取至少一组特征线段。
由于房间内的大部分物体按照房间分隔体所构建的主方向进行摆放，因此，图像中各分组中特征线段的数量能够反映基于房间分隔体所构建的主方向。例如，消失点对应的特征线段数量越多，表示相应分组的特征线段在物理空间中的方向是基于房间分隔体所构建的主方向的可能性越大。鉴于此，在某些实施例中，从所分组的特征线段中选取特征线段数量最多的一组特征线段，该组特征线段代表基于房间分隔体所构建的主方向。
需要说明的是，所得到的特征线段的数量最多的分组并非一定仅为一个，可选择数量最多的多个分组的特征线段或随机选择其中一组特征线段执行步骤S240。
接下来，控制装置23根据所选择的特征线段组的消失点在图像坐标系中的位置确定机器人与房间分隔体在物理空间中相对的方位关系。
其中，所选择的特征线段组代表基于房间分隔体所构建的主方向。例如所选择的特征线段组代表沿平行于一墙体或垂直于一墙体方向设置的物体的轮廓线或房间的交界线。
在此，当在物理空间中机器人与待面向的某一房间分隔体A具有一定偏角的方位关系，平行于该房间分隔体A的多条直线反映在图像中，即为具有同一消失点的特征线段，根据包含所述偏角的方位关系(例如机器人逆时针偏转地面向某一房间分隔体A，或者机器人顺时针偏转地面向某一房间分隔体A)，相应的消失点将位于图像坐标系的某一象限或者与预设中心点相距预设距离之内的区域中。基于上述方位关系与消失点在图像坐标系中位置的对应关系，所述控制装置通过分析消失点在图像坐标系中的位置确定机器人与房间分隔体A在物理空间中相对的方位关系。例如，以垂直于摄像装置的光轴的平面构建的图像坐标系，其中，光轴所在位置为坐标原点，若所选择的特征线段组的消失点位于坐标系左侧，则机器人与待面向的房间分隔体A的方位关系为逆时针偏转。其中，所述方位关系为粗略的，并非一定能够确定机器人与待面向的房间分隔体之间的精准偏角值。
最后，控制装置23根据方位关系调整机器人的姿态。
在此，控制装置23根据方位关系并以预设角度步长控制移动装置22的旋转方向和旋转角度以进行逐步调整。
每控制机器人旋转一单位角度时，获取摄像装置所拍摄的图像，并重复执行上述步骤，直至确定机器人与房间分隔体大致平行或垂直，即，满足用于确定机器人沿基于房间分隔体所构建的主方向的预设条件。其中，当机器人面向或背离某一房间分隔体时，或者当机器人沿某一房间分隔体时，所选择分组的特征线段被认为是房间内平行于或垂直于该房间分隔体的直线在图像中的映射。所述预设条件可基于所选择分组的特征线段的消失点在图像坐标系中的位置坐标而预先设置；还可以设置用于评价所选择分组的特征线段的平行度的条件参数。
在某些实施例中，确定机器人沿基于房间分隔体所构建的主方向的步骤包括：判断当前图像中识别出的特征线段是否满足预设的平行条件，若满足，则确定机器人的姿态与基于房间分隔体所构建的主方向一致，反之，则继续调整所述机器人的姿态并重复上述各步骤直至满足所述平行条件为止。其中，所述机器人的姿态与基于房间分隔体所构建的主方向一致包括机器人的当前姿态为面向某一房间分隔体、背离某一房间分隔体或沿某一房间分隔体。
在一些示例中，当所述控制装置所选择的特征线段组符合预设平行条件时，所述控制装置确定机器人的当前姿态为面向某一房间分隔体。其中，在一种更具体示例中，所述平行条件包括：所选择的特征线段组中的不在同一直线上的两条特征线段之间的间距误差小于等于预设的间距误差阈值。例如，控制装置计算所选择的特征线段组中任意两条特征线段的端点距离，若所计算的端点距离之间的误差小于所述间距误差阈值，则确定所选择的特征线段彼此平行，即确定在物理空间中机器人面向于某一房间分隔体，反之，则继续调整姿态。在另一种更具体示例中，所述平行条件包括所选择的特征线段组的消失点的位置落入预设的位置区域。例如，控制装置计算所选择的特征线段组的消失点坐标是否位于图像坐标系中预设的位置区域，该位置区域用于界定机器人的当前姿态与某一房间分隔体为大致垂直，若是，则确定所选择的特征线段彼此平行，即确定在物理空间中机器人面向于某一房间分隔体，反之，则继续调整姿态。
在确定了机器人沿基于房间分隔体所构建的主方向的情况下，控制机器人沿房间分隔体例如墙体构建的主方向移动可以包括控制机器人平行于墙体移动、控制机器人面向墙体移动、控制机器人背离墙体移动。
在另一些实施方式中，摄像装置21垂直向上设置在机器人顶部，即摄像装置21的光轴与机器人移动平面垂直的情况下，摄像装置21在机器人移动期间摄取图像并提供给控制装置23，控制装置23识别所述图像中的特征线段。
接着，控制装置23统计从至少一幅图像中所识别的特征线段在预设图像坐标系中的倾斜角。
在此，由于在房间中各物体摆放及房间结构均基于房间分隔体所构建的主方向摆放，并且基于房间分隔体所构建的主方向彼此正交的特点，设置于机器人顶部且光轴与机器人移动平面垂直的摄像装置所摄取的图像也具有彼此正交的特征线段，因此，统计位于所述图像坐标系中各特征线段的倾斜角可便于找出彼此正交的特征线段及其倾斜角。
在一些实施例中，统计单幅图像中特征线段在预设图像坐标系中的倾斜角。例如，预设图像坐标系UOV，其中，以相机光轴与成像平面的交点作为图像坐标系的原点O、以彼此正交的两个方向作为图像坐标系的U轴和图像坐标系的V轴。针对图像中所识别出的特征线段，可获得特征线段在图像坐标系UOV中的相应坐标，以及每条特征线段在图像坐标系UOV中的倾斜角，然后对所获得的倾斜角进行统计以得到统计结果，该统计结果表示特征线段的角度分布。其中，倾斜角在0°至180°范围内。在一示例中，可以以波形图、直方图等方式示出统计结果，例如，在以波形图方式示出统计结果的情况下，假设以X轴表示图像中特征线段在图像坐标系UOV中的倾斜角数值大小，Y轴表示在相应倾斜角数值下特征线段的数量，绘制统计结果。
在另一些实施例中，为了提高对倾斜角统计的准确度，控制装置统计多幅图像中特征线段在预设图像坐标系中的倾斜角。
在此，为了避免因机器人姿态变化而改变特征线段在图像坐标系中的倾斜角，所述控制装置在机器人移动期间获取所摄取的相邻图像所对应的所述机器人的姿态变化。由于所述图像坐标系平行于机器人的移动平面，因此，所检测的姿态变化可用于将对应图像中特征线段的倾斜角进行回归补偿。因而，在姿态调整的一时间段内，根据机器人摄取图像时所对应的旋转角度，机器人需对所摄取的至少两幅图像中各特征线段的倾斜角进行回归处理；以及统计回归处理后各特征线段在预设图像坐标系中的倾斜角。
其中，回归处理是指以机器人拍摄的其中一幅图像作为基准图像，以拍摄该基准图像时机器人的姿态(位置和角度)作为基准姿态，对其他幅图像中特征线段的倾斜角进行修正。以统计两幅图像中特征线段的倾斜角为例，机器人拍摄第一幅图像并对第一幅图像中的特征线段的倾斜角进行统计以获得第一统计结果，机器人调整姿态后拍摄第二幅图像并对第二幅图像中的特征线段的倾斜角进行统计以获得第二统计结果。基于此，以机器人拍摄第一幅图像时的姿态作为基准姿态，基于机器人拍摄第二幅图像时的姿态，可以借助于陀螺仪、VSLAM等方式获得机器人相对于基准姿态的旋转角度。然后，将所获得的旋转角度投影到图像坐标系中得到第二幅图像相对于第一幅图像的旋转角度，基于此对第二统计结果中包括的特征线段的倾斜角进行修正，使得第二幅图像中特征线段与第一幅图像中特征线段在图像坐标系内实现坐标统一，消除机器人旋转所带来的倾斜角偏差。最后，将第一统计结果和经过回归处理的第二统计结果进行整体统计，以获得各特征线段在图像坐标系中的倾斜角的统计结果。
然后，控制装置23根据所统计的倾斜角确定机器人与房间分隔体在物理空间中相对的方位关系。
当控制装置对至少一幅图像中的特征线段进行统计后，所述控制装置可得到至少一个统计峰值区间，并将所得到的统计峰值区间对应的倾斜角作为机器人与房间分隔体在物理空间中相对的方位关系。在此，基于统计结果可获得峰值区间，所述峰值区间表示峰值区间内对应的倾斜角下特征线段的数量最多，而特征线段数量最多表示这些特征线段所在的方向代表基于房间分隔体所构建的主方向。因而，在某些实施例中，根据所统计的位于峰值区间的倾斜角，确定机器人与房间分隔体在物理空间中相对的方位关系。在此，所述方位关系包括机器人与待面向某一房间分隔体之间的偏角区间和旋转方向。例如，按照预设图像坐标系的UV轴射线方向确定所统计的峰值区间为41°±1°，所述控制装置确定机器人位于待面向某一房间分隔体的逆时针方向，且与该房间分隔体呈41°±1°的偏角区间。
需要说明的是，基于图像识别误差、统计误差等，峰值区间内对应的倾斜角可以是在一定误差范围内的倾斜角区间。基于此，在一种示例中，以倾斜角区间中的平均倾斜角作为表征方位关系的倾斜角。
请参阅图6，图6显示为本申请特征线段和倾斜角的统计结果在一种实施方式中的波形图，如图所示，X轴表示图像中特征线段的倾斜角，Y轴表示特征线段的数量，图中示出存在一最大的峰值区间的情况，由所述峰值区间的倾斜角对应的特征线段即表示基于房间分隔体所构建的主方向，如平行于墙体方向或垂直于墙体方向，因而，机器人与房间分隔体在物理空间中相对的方位关系可由机器人与房间分隔体之间的夹角即峰值区间对应的倾斜角来表征。例如，假设峰值区间对应的倾斜角为45°，即表示机器人行进方向与墙体方向之间的夹角为45°。
请参阅图7，图7显示为本申请特征线段和倾斜角的统计结果在另一种实施方式中的波形图，如图所示，X轴表示图像中特征线段的倾斜角，Y轴表示特征线段的数量，图中示出存在两个最大峰值区间的情况，根据实际情况，所述两个峰值区间对应的两个倾斜角理论上应互成90°，则其对应的特征线段分别表示平行于墙体的方向和垂直于墙体的方向。因而，一方面，机器人与房间分隔体在物理空间中相对的方位关系可由机器人与房间分隔体之间的夹角即任一峰值区间对应的倾斜角来表征，另一方面，还可以通过两个峰值区间对应的两个倾斜角之间的差是否在“90°±σ”的范围内(其中，σ表示误差)来进一步验证所获得的两个峰值区间对应的特征线段是否分别表征平行于墙体和垂直于墙体的方向。例如，假设一峰值区间对应的倾斜角为30°，则另一峰值区间对应的角度应为120°±σ，即表示机器人行进方向与墙体方向之间的夹角为30°或120°±σ。
最后，控制装置23根据倾斜角及机器人的当前姿态，调整机器人的姿态。
在此，控制装置基于统计获得的倾斜角度以及机器人的当前姿态，控制机器人按照相应倾斜角度和旋转方向进行旋转，使得机器人的行进方向平行于或垂直于房间分隔体，进而控制机器人沿上述主方向面向或背离房间分隔体移动。
按照上述各示例调整机器人姿态的方式，控制装置还执行在确定在物理空间中所述机器人沿基于房间分隔体所构建的主方向时，基于当前位置规划导航路线的步骤。
其中，所述导航路线可以包括：机器人向房间分隔体移动的第一路线，以及自第一路线的终点开始遍历一预设区域的第二路线。其中，所述预设区域例如清洁机器人的清扫区域，巡逻机器人的巡逻区域等。
以清洁机器人为例，则基于房间分隔体所构建的主方向可以为互相垂直的第一墙面和第二墙面，在确定了清洁机器人沿基于房间分隔体所构建的主方向的情况下，设置清洁机器人沿所述主方向移动直至接触房间分隔体，例如，设置清洁机器人面向或背离第一墙面移动，直至接触第一墙面或接触平行于第一墙面的另一墙面，或者，设置清洁机器人沿着第一墙面移动，直至接触与第一墙面垂直的第二墙面。然后，以清洁机器人当前位置作为起点，采用“弓”字形或“之”字形等路线规划清洁机器人在清扫区域移动，使得清洁机器人在作业期间尽可能全面覆盖待清洁区域，提高清洁效率。
本申请还提供一种机器人的控制系统，请参阅图10，图10显示为本申请机器人的控制系统在一种实施方式中的结构示意图，如图所示，控制系统包括图像处理模块31、方位计算模块32以及控制模块33。
其中，图像处理模块31用于获取机器人移动期间所摄取的图像以及识别图像中的特征线段。方位计算模块32用于根据所识别出的特征线段确定机器人与房间分隔体在物理空间中相对的方位关系。控制模块33用于根据方位关系调整机器人的姿态，使得在物理空间中机器人沿基于房间分隔体所构建的主方向移动。
基于上述技术思想并结合实际摄像装置在机器人的摆放角度，所述控制装置可采用与摄像装置的摆放角度相关的实现方式来确定所述机器人与房间分隔体在物理空间中相对的方位关系以及进行姿态调整。
在一些实施方式中，摄像装置设置在机器人体侧，即摄像装置的光轴与机器人移动平面的夹角在0°至90°之间的情况下，方位计算模块32包括第一方位计算单元，第一方位计算单元用于基于所识别出的多条特征线段的消失点对各条特征线段进行分组；从所分组的特征线段中选取至少一组特征线段；根据所选择的特征线段组的消失点在图像坐标系中的位置确定机器人与房间分隔体在物理空间中相对的方位关系。
在另一些实施方式中，摄像装置垂直向上设置在机器人顶部，即摄像装置的光轴与机器人移动平面垂直的情况下，方位计算模块32包括第二方位计算单元用于统计从至少一幅图像中所识别的特征线段在预设图像坐标系中的倾斜角；根据所统计的倾斜角确定机器人与房间分隔体在物理空间中相对的方位关系。
此外，控制模块33还包括导航路线规划单元，用于在确定在物理空间中机器人沿基于房间分隔体所构建的主方向时，基于当前位置规划导航路线。
在此，本申请控制系统中各模块的工作方式与上述控制方法中对应步骤相同或相似，在此不再赘述。
需要说明的是，应理解图10实施例中装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，每个模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上接收模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)，或，一个或多个微处理器(digitalsingnalprocessor，简称DSP)，或，一个或者多个现场可编程门阵列(FieldProgrammableGateArray，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessingUnit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
另外需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请的部分或全部可借助软件并结合必需的通用硬件平台来实现。基于这样的理解，本申请还提供一种计算机存储介质，所述存储介质存储有至少一个程序，所述程序在被调用时执行前述的任一所述的控制方法。需说明的是，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可包括其上存储有机器可执行指令的一个或多个机器可读介质，这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器根据本申请的实施例来执行操作。例如执行机器人的定位方法中的各步骤等。机器可读介质可包括，但不限于，能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、软盘、光盘、CD-ROM(紧致盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、电载波信号、电信信号以及软件分发介质或适于存储机器可执行指令的其他类型的介质/机器可读介质。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。其中，所述存储介质可位于机器人也可位于第三方服务器中，如位于提供某应用商城的服务器中。在此对具体应用商城不做限制，如小米应用商城、华为应用商城、苹果应用商城等。
本申请可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (20)

1.一种机器人的控制方法，其中，所述机器人上配置有摄像装置，其特征在于，包括：
获取机器人移动期间所述摄像装置所摄取的图像以及识别所述图像中的特征线段；其中，所述摄像装置设置在机器人体侧，且所述摄像装置的光轴与机器人移动平面的夹角在0°至90°之间；
基于所识别出的多条特征线段的消失点对各条特征线段进行分组；
从所分组的特征线段中选取至少一组特征线段；
根据所选择的特征线段组的消失点在图像坐标系中的位置确定所述机器人与房间分隔体在物理空间中相对的方位关系；其中，房间分隔体是指在机器人所处应用场景中用于分隔应用空间的立面；所述机器人与所述房间分隔体之间的方位关系可由所述机器人的行进方向与所述房间分隔体所限定的平面之间的夹角来表征；
根据所述方位关系，以大致平行于或垂直于所述房间分隔体所构建的主方向调整所述机器人的姿态，使得在物理空间中的待清扫区域内所述机器人覆盖式地移动。
2.根据权利要求1所述的控制方法，其特征在于，所述从所分组的特征线段中选取至少一组特征线段的步骤包括：选取特征线段数量最多的一组特征线段。
3.根据权利要求1所述的控制方法，其特征在于，所述根据方位关系调整所述机器人的姿态的步骤包括：
根据所述方位关系并以预设角度步长调整所述机器人的姿态；以及
重复上述各步骤直至满足用于确定所述机器人沿基于房间分隔体所构建的主方向的预设条件。
4.根据权利要求3所述的控制方法，其特征在于，所述确定机器人沿基于房间分隔体所构建的主方向的步骤包括：
判断当前图像中识别出的特征线段是否满足预设的平行条件，若满足所述平行条件则确定所述机器人的姿态与基于房间分隔体所构建的主方向一致，反之，则继续调整所述机器人的姿态并重复上述各步骤直至满足所述平行条件为止。
5.根据权利要求4所述的控制方法，其特征在于，所述平行条件包括以下至少一种：不在同一直线上的两条特征线段之间的间距误差小于等于预设的间距误差阈值，所选择的特征线段组的消失点的位置落入预设的位置区域。
6.根据权利要求1所述的控制方法，其特征在于，还包括：在确定在物理空间中所述机器人沿基于房间分隔体所构建的主方向时，基于当前位置规划导航路线。
7.根据权利要求6所述的控制方法，其特征在于，所述导航路线包括：所述机器人向所述房间分隔体移动的第一路线，以及自所述第一路线的终点开始遍历一预设区域的第二路线。
8.一种机器人的控制装置，其特征在于，包括：
存储单元，用于存储至少一个程序以及由摄像装置所摄取的图像；
处理单元，与所述存储单元相连，用于执行所述至少一个程序以执行如权利要求1-7中任一所述的控制方法。
9.一种机器人，其特征在于，包括：
摄像装置，用于在机器人移动期间摄取图像；其中，所述摄像装置设置在机器人体侧，且所述摄像装置的光轴与机器人移动平面的夹角在0°至90°之间；
移动装置，用于按照所接收的控制指令调整所述机器人的姿态；
控制装置，与所述摄像装置和移动装置相连，用于执行以下步骤：
获取所述摄像装置所摄取的图像以及识别所述图像中的特征线段；
基于所识别出的多条特征线段的消失点对各条特征线段进行分组；
从所分组的特征线段中选取至少一组特征线段；
根据所选择的特征线段组的消失点在图像坐标系中的位置确定所述机器人与房间分隔体在物理空间中相对的方位关系；其中，房间分隔体是指在机器人所处应用场景中用于分隔应用空间的立面；所述机器人与所述房间分隔体之间的方位关系可由所述机器人的行进方向与所述房间分隔体所限定的平面之间的夹角来表征；
根据所述方位关系，以大致平行于或垂直于所述房间分隔体所构建的主方向控制所述移动装置调整所述机器人的姿态，使得在物理空间中的待清扫区域内所述机器人覆盖式地移动。
10.根据权利要求9所述的机器人，其特征在于，所述摄像装置在机器人移动期间摄取图像并提供给所述控制装置。
11.根据权利要求9所述的机器人，其特征在于，所述控制装置执行从所分组的特征线段中选取至少一组特征线段的步骤包括：选取特征线段数量最多的一组特征线段。
12.根据权利要求9所述的机器人，其特征在于，所述控制装置执行根据方位关系调整所述机器人的姿态的步骤包括：
根据所述方位关系并以预设角度步长控制所述移动装置的旋转方向和旋转角度；以及
重复上述各步骤直至满足用于确定所述机器人沿基于房间分隔体所构建的主方向的预设条件。
13.根据权利要求12所述的机器人，其特征在于，所述控制装置执行确定机器人沿基于房间分隔体所构建的主方向的步骤包括：
判断当前图像中识别出的特征线段是否满足预设的平行条件，若满足所述平行条件则确定所述机器人的姿态与基于房间分隔体所构建的主方向一致，反之，则继续调整所述机器人的姿态并重复上述各步骤直至满足所述平行条件为止。
14.根据权利要求12所述的机器人，其特征在于，所述平行条件包括以下至少一种：不在同一直线上的两条特征线段之间的间距误差小于等于预设的间距误差阈值，所选择的特征线段组的消失点的位置落入预设的位置区域。
15.根据权利要求9所述的机器人，其特征在于，所述控制装置还用于执行以下步骤：在确定在物理空间中所述机器人沿基于房间分隔体所构建的主方向时，基于当前位置规划导航路线。
16.根据权利要求15所述的机器人，其特征在于，所述导航路线包括：所述机器人向所述房间分隔体移动的第一路线，以及自所述第一路线的终点开始遍历一预设区域的第二路线。
17.根据权利要求9所述的机器人，其特征在于，所述机器人为清洁机器人。
18.一种计算机存储介质，其特征在于，存储至少一种程序，所述至少一种程序在被调用时执行如权利要求1-7中任一所述的控制方法。
19.一种机器人的控制系统，其中，所述机器人上配置有摄像装置，其特征在于，包括：
图像处理模块，用于获取机器人移动期间所述摄像装置所摄取的图像以及识别所述图像中的特征线段；其中，所述摄像装置设置在机器人体侧，且所述摄像装置的光轴与机器人移动平面的夹角在0°至90°之间；
方位计算模块，用于根据所识别出的特征线段确定所述机器人与房间分隔体在物理空间中相对的方位关系；所述方位计算模块包括第一方位计算单元，用于执行以下步骤：
基于所识别出的多条特征线段的消失点对各条特征线段进行分组；
从所分组的特征线段中选取至少一组特征线段；
根据所选择的特征线段组的消失点在图像坐标系中的位置确定所述机器人与房间分隔体在物理空间中相对的方位关系；其中，房间分隔体是指在机器人所处应用场景中用于分隔应用空间的立面；所述机器人与所述房间分隔体之间的方位关系可由所述机器人的行进方向与所述房间分隔体所限定的平面之间的夹角来表征；
控制模块，用于根据所述方位关系，以大致平行于或垂直于所述房间分隔体所构建的主方向调整所述机器人的姿态，使得在物理空间中的待清扫区域内所述机器人覆盖式地移动。
20.根据权利要求19所述的控制系统，其特征在于，所述控制模块包括导航路线规划单元，用于在确定在物理空间中所述机器人沿基于房间分隔体所构建的主方向时，基于当前位置规划导航路线。
CN201880001118.2A 2017-08-02 2018-08-01 机器人的控制方法、装置、系统及所适用的机器人 Active CN109074084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210205435.4A CN114355836A (zh) 2017-08-02 2018-08-01 机器人的控制方法、装置、系统及所适用的机器人

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710652836.3A CN109388093B (zh) 2017-08-02 2017-08-02 基于线特征识别的机器人姿态控制方法、系统及机器人
CN2017106528363 2017-08-02
PCT/CN2018/097953 WO2019024863A1 (zh) 2017-08-02 2018-08-01 机器人的控制方法、装置、系统及所适用的机器人

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210205435.4A Division CN114355836A (zh) 2017-08-02 2018-08-01 机器人的控制方法、装置、系统及所适用的机器人

Publications (2)

Publication Number Publication Date
CN109074084A CN109074084A (zh) 2018-12-21
CN109074084B true CN109074084B (zh) 2022-02-22

Family

ID=65232265

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201710652836.3A Active CN109388093B (zh) 2017-08-02 2017-08-02 基于线特征识别的机器人姿态控制方法、系统及机器人
CN202210205435.4A Pending CN114355836A (zh) 2017-08-02 2018-08-01 机器人的控制方法、装置、系统及所适用的机器人
CN201880001118.2A Active CN109074084B (zh) 2017-08-02 2018-08-01 机器人的控制方法、装置、系统及所适用的机器人

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201710652836.3A Active CN109388093B (zh) 2017-08-02 2017-08-02 基于线特征识别的机器人姿态控制方法、系统及机器人
CN202210205435.4A Pending CN114355836A (zh) 2017-08-02 2018-08-01 机器人的控制方法、装置、系统及所适用的机器人

Country Status (4)

Country Link
US (1) US10437254B2 (zh)
EP (1) EP3686703B1 (zh)
CN (3) CN109388093B (zh)
WO (1) WO2019024863A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572775B2 (en) * 2017-12-05 2020-02-25 X Development Llc Learning and applying empirical knowledge of environments by robots
CN111358364B (zh) * 2018-12-26 2021-09-07 珠海市一微半导体有限公司 基于视觉机器人的死角清扫方法、装置、芯片及机器人
CN109612469B (zh) * 2019-01-14 2020-05-22 深圳乐动机器人有限公司 一种机器人搜索充电基座位置的方法及机器人
CN110268354A (zh) 2019-05-09 2019-09-20 珊口（深圳）智能科技有限公司 更新地图的方法及移动机器人
CN110288650B (zh) * 2019-05-27 2023-02-10 上海盎维信息技术有限公司 用于vslam的数据处理方法及扫描终端
CN112013844B (zh) * 2019-05-31 2022-02-11 北京小米智能科技有限公司 建立室内环境地图的方法及装置
CN112558595A (zh) * 2019-09-06 2021-03-26 苏州科瓴精密机械科技有限公司 自动工作系统、自动行走设备及其控制方法及计算机可读存储介质
CN110851896B (zh) * 2019-09-29 2023-02-21 成都信息工程大学 基于局部邻域信息的cad外墙体识别方法及装置
CN112683266A (zh) * 2019-10-17 2021-04-20 科沃斯机器人股份有限公司 机器人及其导航方法
CN110874101B (zh) * 2019-11-29 2023-04-18 合肥哈工澳汀智能科技有限公司 一种机器人清扫路径的生成方法及装置
CN113552866B (zh) * 2020-04-17 2023-05-05 苏州科瓴精密机械科技有限公司 提升遍历均衡性能的方法、系统，机器人及可读存储介质
CN112034837A (zh) * 2020-07-16 2020-12-04 珊口（深圳）智能科技有限公司 确定移动机器人工作环境的方法、控制系统及存储介质
CN114115212A (zh) * 2020-08-26 2022-03-01 宁波方太厨具有限公司 一种清洁机器人的定位方法及采用该方法的清洁机器人
CN112263188B (zh) * 2020-10-22 2022-04-05 湖南格兰博智能科技有限责任公司 一种移动机器人行进方向的矫正方法及其设备
CN113126628A (zh) * 2021-04-26 2021-07-16 上海联适导航技术股份有限公司 一种农机自动驾驶的方法、系统、设备及可读存储介质
CN115383737A (zh) * 2021-05-21 2022-11-25 灵动科技（北京）有限公司 用于智能移动机器人的调度系统和方法
CN113379850B (zh) * 2021-06-30 2024-01-30 深圳银星智能集团股份有限公司 移动机器人控制方法、装置、移动机器人及存储介质
CN113633221B (zh) * 2021-08-17 2022-11-11 北京智行者科技股份有限公司 自动清洁设备漏扫区域处理方法、装置和系统
CN113768419B (zh) * 2021-09-17 2023-06-23 安克创新科技股份有限公司 确定扫地机清扫方向的方法、装置及扫地机
CN114415658A (zh) * 2021-12-10 2022-04-29 深圳拓邦股份有限公司 一种房间分区缺口识别方法及室内机器人
CN114569004B (zh) * 2022-02-22 2023-12-01 杭州萤石软件有限公司 行进方向调整方法、移动机器人系统及电子设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496754B2 (en) * 2000-11-17 2002-12-17 Samsung Kwangju Electronics Co., Ltd. Mobile robot and course adjusting method thereof
RU2220643C2 (ru) * 2001-04-18 2004-01-10 Самсунг Гванджу Электроникс Ко., Лтд. Автоматическое чистящее устройство, автоматическая чистящая система и способ управления этой системой (варианты)
CN1569558A (zh) * 2003-07-22 2005-01-26 中国科学院自动化研究所 基于图像表现特征的移动机器人视觉导航方法
JP2005275500A (ja) * 2004-03-23 2005-10-06 Zenrin Co Ltd 消失点決定方法
KR101339449B1 (ko) * 2006-05-08 2013-12-06 삼성전자주식회사 바닥 영상 정보를 이용하여 청소용 로봇 및 로봇의 제어방법
KR100843085B1 (ko) * 2006-06-20 2008-07-02 삼성전자주식회사 이동 로봇의 격자지도 작성 방법 및 장치와 이를 이용한영역 분리 방법 및 장치
KR101121518B1 (ko) * 2009-10-09 2012-02-28 고려대학교 산학협력단 로봇 이동 장치 지도 작성 방법
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
FR2985588B1 (fr) * 2012-01-10 2015-03-20 Jean Paul Sicard Procede de localisation d'un mobile en milieu construit
CN102663737B (zh) * 2012-03-19 2014-07-23 西安交通大学 一种针对富含几何信息的视频信号的消逝点检测方法
JP2012210703A (ja) * 2012-05-02 2012-11-01 Kazuo Hanno 国の全額借金返済と都道府県市町村区の全額借金返済の為の多機能インプット全自動ロボットの著作権原本。コメント２００８年８月３０日ａｍ１時１６分１１秒原本図面幾らかコピー取って眠る美馬牛カンキチ。２００８年９月４日ｐｍ１７時４９分４７秒多機能ロボット図面とロボット原本図を作り終えて、漸く再び書き始める美馬牛カンキチ。
US9595134B2 (en) * 2013-05-11 2017-03-14 Mitsubishi Electric Research Laboratories, Inc. Method for reconstructing 3D scenes from 2D images
KR101776621B1 (ko) * 2014-06-17 2017-09-11 주식회사 유진로봇 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
CN104063711B (zh) * 2014-06-23 2018-04-06 西北工业大学 一种基于K‑means方法的走廊消失点快速检测算法
CN104077809B (zh) * 2014-06-24 2017-04-12 上海交通大学 基于结构性线条的视觉slam方法
KR101575597B1 (ko) * 2014-07-30 2015-12-08 엘지전자 주식회사 로봇 청소 시스템 및 로봇 청소기의 제어방법
US9978149B1 (en) * 2015-04-20 2018-05-22 Hrl Laboratories, Llc System and method for door detection for corridor exploration
EP3144765B1 (en) * 2015-09-18 2020-01-08 Samsung Electronics Co., Ltd. Apparatus for localizing cleaning robot, cleaning robot, and controlling method of cleaning robot
WO2017076928A1 (en) * 2015-11-02 2017-05-11 Starship Technologies Oü Method, device and assembly for map generation
DE102015119865B4 (de) * 2015-11-17 2023-12-21 RobArt GmbH Robotergestützte Bearbeitung einer Oberfläche mittels eines Roboters
US20170329347A1 (en) * 2016-05-11 2017-11-16 Brain Corporation Systems and methods for training a robot to autonomously travel a route
CN106020207B (zh) * 2016-07-26 2019-04-16 广东宝乐机器人股份有限公司 自移动机器人行走方法与装置
CN106970623B (zh) * 2017-04-18 2021-05-25 杭州匠龙机器人科技有限公司 智能清洁装置及其网格路径作业方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
室内地面清洁机器人路径规划;梁喜凤;《中国计量学院学报》;20060330;第64-68页 *
室内清洁机器人避障路径规划研究;石为人 等;《计算机应用》;20070601;第378-379页 *
清洁机器人系统开发及路径规划研究;邢敏;《中国优秀硕士学位论文全文数据库信息科技辑》;20070915;第I140-210页 *
清洁机器人避障控制及路径规划;张建龙;《中国优秀硕士学位论文全文数据库信息科技辑》;20150715;第I140-378页 *

Also Published As

Publication number Publication date
CN109388093B (zh) 2020-09-15
US20190146521A1 (en) 2019-05-16
CN114355836A (zh) 2022-04-15
EP3686703B1 (en) 2022-12-14
WO2019024863A1 (zh) 2019-02-07
EP3686703A4 (en) 2020-12-23
CN109074084A (zh) 2018-12-21
US10437254B2 (en) 2019-10-08
EP3686703A1 (en) 2020-07-29
CN109388093A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
CN109074084B (zh) 机器人的控制方法、装置、系统及所适用的机器人
CN109074083B (zh) 移动控制方法、移动机器人及计算机存储介质
WO2019170164A1 (zh) 基于深度相机的三维重建方法、装置、设备及存储介质
CN110874100A (zh) 用于使用视觉稀疏地图进行自主导航的系统和方法
Borrmann et al. The 3d hough transform for plane detection in point clouds: A review and a new accumulator design
WO2020223974A1 (zh) 更新地图的方法及移动机器人
US10430951B2 (en) Method and device for straight line detection and image processing
CN109978925B (zh) 一种机器人位姿的识别方法及其机器人
EP3712853A1 (en) Positioning method and system, and suitable robot
US8644560B2 (en) Image processing apparatus and method, and program
US8755562B2 (en) Estimation apparatus, control method thereof, and program
EP2693300A2 (en) Device and method for recognizing gesture based on direction of gesture
Witt et al. Robust stereo visual odometry using iterative closest multiple lines
CN110807350A (zh) 用于面向扫描匹配的视觉slam的系统和方法
CN109923583A (zh) 一种姿态的识别方法、设备及可移动平台
CN109313799A (zh) 图像处理方法及设备
CN103577789A (zh) 检测方法和装置
CN111595344B (zh) 一种基于地图信息辅助的多姿态下行人行位推算方法
Luo et al. Multisensor integrated stair recognition and parameters measurement system for dynamic stair climbing robots
WO2023070115A1 (en) Three-dimensional building model generation based on classification of image elements
Asif et al. Real-time pose estimation of rigid objects using RGB-D imagery
CN114782639A (zh) 一种基于多传感器融合的快速式差速潜伏式agv稠密三维重建方法
KR101683194B1 (ko) 깊이 영상에서 가장자리 쌍 기반의 손 추적 방법
US11321914B1 (en) System for generating a navigational map of an environment
CN113776517A (zh) 地图生成方法、装置、系统、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 2208, No.4 office building, Chongwen garden, No.1 tangling Road, Fuguang community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong 518000

Applicant after: Shenzhen akobot robot Co.,Ltd.

Applicant after: Shanghai akobert robot Co., Ltd

Address before: Room C307, 3rd floor, building T1, Silicon Valley complex, jinhuafa Industrial Park, Qingquan Road, Longhua street, Longhua District, Shenzhen, Guangdong 518109

Applicant before: SHANKOU (SHENZHEN) INTELLIGENT TECHNOLOGY Co.,Ltd.

Applicant before: Shankou (Shanghai) Intelligent Technology Co., Ltd

GR01 Patent grant
GR01 Patent grant