CN115153347B - 消除检测死角的机器人 - Google Patents

消除检测死角的机器人 Download PDF

Info

Publication number
CN115153347B
CN115153347B CN202210735566.3A CN202210735566A CN115153347B CN 115153347 B CN115153347 B CN 115153347B CN 202210735566 A CN202210735566 A CN 202210735566A CN 115153347 B CN115153347 B CN 115153347B
Authority
CN
China
Prior art keywords
light
light source
image frame
cleaning robot
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210735566.3A
Other languages
English (en)
Other versions
CN115153347A (zh
Inventor
林士钦
王维中
王国振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixart Imaging Inc
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to CN202210735566.3A priority Critical patent/CN115153347B/zh
Publication of CN115153347A publication Critical patent/CN115153347A/zh
Application granted granted Critical
Publication of CN115153347B publication Critical patent/CN115153347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/30—Arrangement of illuminating devices
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning

Abstract

一种清洁机器人，包含分别朝向前进方向投射垂直的第一光区段及第二光区段的第一光源模块及第二光源模块，其中所述第一光区段及所述第二光区段在清洁机器人前方的预定距离彼此交错，以消除清洁机器人前方位于所述第一光源模块及所述第二光源模块之间的检测死角，避免清洁机器人运作时与物体发生碰撞。

Description

消除检测死角的机器人
本申请是申请号为201911012140.X、申请日为2019年10月23日、名称为“消除检测死角的机器人”的中国发明专利申请的分案申请。
技术领域
本发明有关一种清洁机器人，更特别有关一种可消除清洁机器人前进方向的检测死角以避免与障碍物碰撞的清洁机器人。
背景技术
清洁机器人已成为智慧家庭的众多家电制品中的重要产品之一。
在使用图像传感器做为检测手段的清洁机器人中，由于图像传感器具有检测死角，运作时可能会有检测不到环境物体的情形。因此，这种清洁机器人在运作上的重要问题点之一，就是如何避免与环境中其他物体发生碰撞，以降低运作时发出的噪声并防止造成家具、装潢甚至装置本身的损伤。
有鉴于此，有需要提出一种可消除前进方向的检测死角以避免碰撞障碍物的清洁机器人。
发明内容
本发明提供一种通过于清洁机器人前方投射彼此交错的垂直光区段，以消除前进方向的检测死角并避免碰撞障碍物的清洁机器人。
本发明还提供一种可同时检测前方悬崖及障碍物的清洁机器人。
本发明提供一种包含第一光源模块、第二光源模块、图像传感器以及处理器的清洁机器人。所述第一光源模块用于朝向行进方向的左侧投射第一光区段。所述第二光源模块用于朝向所述行进方向的右侧投射第二光区段，其中，所述第一光区段及所述第二光区段是垂直的光区段并在所述清洁机器人前方的预定距离彼此交错。所述图像传感器具有视角用于获取包含所述第一光区段及所述第二光区段的图像帧。所述处理器用于控制所述第一光源模块、所述第二光源模块及所述图像传感器，其中所述视角大于所述第一光区段及所述第二光区段的夹角，以使所述第一线段图像在所述图像帧中距离所述右侧边缘的第一有效区间大于所述图像帧的一半，并使所述第二线段图像在所述图像帧中距离所述左侧边缘的第二有效区间大于所述图像帧的一半。
本发明还提供一种包含光源组、图像传感器以及处理器的清洁机器人。所述光源组用于朝向行进方向的左侧投射垂直的第一光区段、右侧投射垂直的第二光区段以及水平光区段。所述图像传感器具有视角用于获取包含所述第一光区段、所述第二光区段及所述水平光区段的图像帧。所述处理器用于控制所述光源组及所述图像传感器，其中，所述视角大于所述第一光区段及所述第二光区段的投射角度，以使所述第一线段图像在所述图像帧中距离所述图像帧的右侧边缘的第一有效区间大于所述图像帧的一半，并使所述第二线段图像在所述图像帧中距离所述图像帧的左侧边缘的第二有效区间大于所述图像帧的一半。
本发明实施例的清洁机器人中，不同光源模块可以同时或分时投射垂直光区段。当不同光源模块同时投射垂直光区段时，不同光区段优选具有不同的区段特征，例如不同亮度、宽度、数量和/或闪烁频率等。
本发明实施例的清洁机器人中，同一个绕射光学组件可用于当光线从其内穿过时形成一个以上的投射光区段。
为了让本发明的上述和其他目的、特征和优点能更明显，下文将配合所附图示，详细说明如下。此外，于本发明的说明中，相同的构件以相同的符号表示，于此合先述明。
附图说明
图1A是本发明第一实施例的清洁机器人的运作示意图；
图1B是本发明第一实施例的清洁机器人的方框图；
图2A是本发明第一实施例的清洁机器人点亮第一光源的运作示意图；
图2B是本发明第一实施例的清洁机器人的第一光源点亮时，图像传感器所获取的图像帧的示意图；
图3A是本发明第一实施例的清洁机器人点亮第二光源的运作示意图；
图3B是本发明第一实施例的清洁机器人的第二光源点亮时，图像传感器所获取的图像帧的示意图；
图4是本发明第二实施例的清洁机器人的运作示意图；
图5是本发明第三实施例的清洁机器人的运作示意图；
图6A是本发明第四实施例的清洁机器人的运作示意图；
图6B是图6A的清洁机器人的图像传感器所获取的图像帧的示意图，其中该图像传感器未检测到悬崖及障礙物；
图6C是图6A的清洁机器人的图像传感器所获取的图像的示意图，其中该图像传感器检测到悬崖但未检测到障礙物；
图6D是图6A的清洁机器人的图像传感器所获取的图像的示意图，其中该图像传感器未检测到悬崖但检测到障礙物；
图7A是本发明另一实施例的清洁机器人的运作示意图；
图7B是图7A的清洁机器人的图像传感器所获取的图像帧的示意图；
图8A是本发明再一实施例的清洁机器人的运作示意图；以及
图8B是图8A的清洁机器人的图像传感器所获取的图像帧的示意图。
附图标记说明
100 清洁机器人
11 第一光源模块
111 第一光源
112 第一绕射光学组件
121 第二光源
122 第二绕射光学组件
13 图像传感器
14 处理器
15 存储
F 图像帧
C1、C2 控制信号
具体实施方式
本发明各实施例的清洁机器人是用于消除行进方向前方的检测死角，以避免清洁机器人在运作的过程中与其他障碍物发生碰撞。
请同时参照图1A及图1B，图1A是本发明第一实施例的清洁机器人100的运作示意图；图1B是本发明第一实施例的清洁机器人100的方框图。
清洁机器人100包含第一光源模块11、第二光源模块12、图像传感器13、处理器14以及存储15；其中，第一光源模块11、第二光源模块12及图像传感器13电性连接于处理器14并受其控制，存储15亦电性连接于或内建于处理器14以受其存取。
第一光源模块11包含第一光源111及第一绕射光学组件(DOE1)112。第一光源111例如为发出不可见光的激光二极管，并受控于处理器14(例如通过控制信号C1)而发光，可持续发光或闪烁发光。第一绕射光学组件112用于使所述第一光源111所发出的光通过时产生垂直的第一光区段LS1。例如，图1A显示第一光源模块11设置于较靠近清洁机器人100的右侧，用于朝向清洁机器人100的行进方向的左前方投射第一光区段LS1。
第二光源模块12包含第二光源121及第二绕射光学组件(DOE2)122。第二光源121例如为发出不可见光的激光二极管，并受控于处理器14(例如通过控制信号C2)而发光，可持续发光或闪烁发光。第二绕射光学组件122用于使所述第二光源121所发出的光通过时产生垂直的第二垂直线段LS2。例如，图1A显示第二光源模块12设置于清洁机器人100的左侧，用于朝向清洁机器人100的行进方向的右前方投射第二垂直线段LS2。
通过这样的配置，第一光区段LS1及第二光区段LS2在清洁机器人100前方预定距离Dc的位置彼此交错后，在前方的行进表面上投射具有夹角(其根据第一光源模块11及第二光源模块12之间距及光区段投射角度而定)的两个光区段。同时，当前方存在墙面(可为任何物体的表面)时，则会在所述墙面投射彼此平行的两个光区段，亦即LS1、LS2，如图1A所示。本发明中，第一光区段LS1及第二光区段LS2的宽度并无特定限制，其根据图像传感器13的灵敏度及可检测距离而定。
据此，当清洁机器人100的正前方具有小型物体时，例如小于第一光源模块11与第二光源模块12之间的距离的椅脚或桌脚等，所述小型物体会在所述交错处受到光源模块11、12照明而被图像传感器13检测，故可消除前方的检测死角。
图像传感器13例如为CCD图像传感器、CMOS图像传感器或其他用以检测光信号并输出电信号的光检测器。图像传感器13朝向清洁机器人100的行进方向以固定或可调的取样频率(优选同步于第一光源模块11和第二光源模块12的点亮)获取包含第一光区段LS1及第二光区段LS2的图像帧F并将其传送至处理器14进行后处理。更详言之，图像传感器13具有视角(FOV)，其范围包含第一光区段LS1及第二光区段LS2。
处理器14例如是微控制器(MCU)、中央处理器(CPU)、图形处理器(GPU)或特定功能集成电路(ASIC)，其用于根据图像帧F中的第一光区段LS1相关的第一线段图像及第二光区段LS2相关的第二线段图像计算物体距离(举例说明于后)。
存储15例如包含挥发性存储和/或非挥发性存储，用于预先储存计算物体距离和进行判断时所需的算法和参数。
第一实施例中，处理器14控制第一光源模块11及第二光源模块12分时或同时投射第一光区段LS1及第二光区段LS2。
请参照图2A-2B及图3A-3B所示，其显示处理器14控制第一光源模块11及第二光源模块12分时点亮的运作示意图，例如于第一时间点亮第一光源模块11(如图2A)，接着于第二时间点亮第二光源模块12(如图3A)，如此反复运作。
如图2A所示，当第一光源模块11点亮且当前方物体W1位于最大检测距离D11时，图像传感器13则可获得包含第一光区段LS1相关的第一线段图像I11的图像帧F11；当前方物体W2位于最小检测距离D12时，图像传感器13则可获得包含第一光区段LS1相关的第一线段图像I12的图像帧F12。本实施例中，由于第一光源模块11朝向左前方投射第一光区段LS1，因此图像帧中I11及I12间的有效区间A1(effective area)可超过图像帧的尺寸的一半，亦即任何存在W1及W2之间的物体会出现在有效区间A1内。
当清洁机器人100前方的不同距离具有不同物体时，例如下方的物体较近而上方的物体较远，图像传感器13则会获取如图2B所示的图像帧F，其中，第一线段图像的上半段I11(对应于第一光区段LS1的上半段)与图像帧F的右侧边缘距离d11而第一线段图像的下半段I13(对应于第一光区段LS1的下半段)与图像帧F的右侧边缘距离d13，其不同于d11。处理器14则计算第一线段图像(例如此时包含I11、I13)与图像帧F的第一边缘(此时为右侧边缘)的第一距离(例如此时为d11、d13)，并根据所述第一距离d11、d13判断第一物体距离，其中每个第一距离d11、d13对应一个物体距离(例如d11对应所述上方物体与清洁机器人100的距离，而d13对应所述下方物体与清洁机器人100的距离)。
存储15预先纪录有第一距离与第一物体距离的第一相对关系，例如为数学式或对照表。当处理器14计算出一个或多个第一距离时，则存取存储15以求出相对各第一距离的物体距离。必须说明的是，虽然本实施例中的第一距离是以第一线段图像I11、I13与图像帧F的右侧边缘的距离为例进行说明，但其并非用以限定本发明。其他实施例中，第一距离也可选定为第一线段图像与图像帧F的左侧边缘的距离。
如图3A所示，当第二光源模块12点亮且当前方物体W1位于最大检测距离D11时，图像传感器13则可获得包含第二光区段LS2相关的第二线段图像I11'的图像帧F11'；当前方物体W2位于最小检测距离D12时，图像传感器13则可获得包含第二光区段LS2相关的第二线段图像I12'的图像帧F12'。本实施例中，由于第二光源模块12朝向右前方投射第二光区段LS2，因此图像帧中I11'及I12'间的有效区间A2亦可超过图像帧的尺寸的一半，亦即存在W1及W2之间的物体会出现在A2内。
当清洁机器人100前方的不同距离具有不同物体时，例如下方的物体较近而上方的物体较远，图像传感器13则会获取如图3B所示的图像帧F'，其中，第二线段图像的上半段I11'(对应于第二光区段LS2的上半段)与图像帧F'的左侧边缘距离d21而第二线段图像的下半段I13'(对应于第二光区段LS2的下半段)与图像帧F'的左侧边缘距离d23，其不同于d21。处理器14则计算第二线段图像(例如此时包含I11'、I13')与图像帧F'的第二边缘(此时为左侧边缘)的第二距离(例如d21、d23)，并根据所述第二距离d21、d23判断第二物体距离，其中每个第二距离d21、d23对应一个物体距离(例如d21对应所述上方物体与清洁机器人100的距离，而d23对应所述下方物体与清洁机器人100的距离)。
存储15预先纪录有第二距离与第二物体距离的第二相对关系，例如为数学式或对照表。当处理器14计算出一个或多个第二距离时，则存取存储15以求出相对各第二距离的物体距离。必须说明的是，虽然本实施例中的第二距离是以第二线段图像I11'、I13'与图像帧F'的左侧边缘的距离为例进行说明，但其并非用以限定本发明。其他实施例中，第二距离也可选定为第二线段图像与图像帧F'的右侧边缘的距离。
本实施例中，处理器14可先计算图像帧中的第一光区段LS1及第二光区段LS2对应的每个线段图像的平均线或重心线(多段线段图像时则计算多段平均线或多段重心线)，并根据求得的平均线或求得的重心线与图像帧的两相对边缘的距离分别计算物体距离，如图2B及图3B所示I11、I13、I11'、I13'为相关的线段图像的平均线或所述重心线。但是如果线段图像够窄，则无需计算平均线或重心线。
可以了解的是，图2A及图3A显示的远近两个墙面W1及W2是指不同时间的独立检测状况，并非指第一光源模块11及第二光源模块12所发出的光穿过较近墙面W2。
必须说明的是，图2A-2B及图3A-3B仅显示图像帧中投射于清洁机器人100前方墙面W1、W2上的光区段的图像，并未显示投射于清洁机器人100前方地面上的光区段的图像(将举例说明于后)。
当处理器14控制第一光源模块11及第二光源模块12同时点亮时，第一光区段LS1及第二光区段LS2优选具有不同的区段特征，以供处理器14能够区别并分别计算物体距离。
例如参照图4所示，其为本发明第二实施例的清洁机器人400的运作示意图。第二实施例与第一实施例的差异在于，第一光源模块41是投射两条第一光区段LS1'以供处理器14能够与第二光区段LS2区隔。本实施例中，第一绕射光学组件112是配置成当第一光源111所发出的光经过时，产生多条垂直的第一光区段，其彼此互相平行。此外，与第一实施例相同的组件则以相同符号表示，并不再赘述。第二实施例中，处理器14计算第一光区段LS1'相关的物体距离的方式在于，先计算图像传感器13获取的图像帧F中的两条第一光区段LS1'的两条线段图像的平均线或重心线，并根据所述平均线或所述重心线与图像帧F的左右边缘其中之一的距离计算物体距离，其计算方式类似于图2B及图3B，本领域技术人员在了解图2B及图3B的说明后即能够了解，故于此不再赘述。
例如参照图5所示，其为本发明第三实施例的清洁机器人500的运作示意图。第三实施例与第一实施例的差异在于，第一光源模块51是投射较宽或较亮的第一光区段LS1”以供处理器14能够与第二光区段LS2区隔。此外，与第一实施例相同的组件则以相同符号表示，并不再赘述。第三实施例中，处理器14计算第一光区段LS1”相关的物体距离的方式在于，先计算图像传感器13获取的图像帧F中的较宽或较亮的第一光区段LS1”的线段图像的平均线或重心线，并根据所述平均线或所述重心线与图像帧F的左右边缘其中之一的距离计算物体距离，其计算方式类似于图2B及图3B，本领域技术人员在了解图2B及图3B的说明后即能够了解，故于此不再赘述。
换句话说，本发明中所述区段特征例如包含线段数目、线段宽度、线段亮度和/或线段的闪烁频率等。
请参照图6A所示，其为本发明第四实施例的清洁机器人600的运作示意图。除了包含第一光源模块11、第二光源模块12、图像传感器13、处理器14及存储15(例如参照图1B)之外，清洁机器人600还包含第三光源模块63用于朝向行进方向投射水平光区段LS3。第四实施例中，与第一实施例相同的组件以相同符号表示。
第四实施例中，第一光源模块11同样用于朝向行进方向投射垂直的第一光区段LS1；第二光源模块12同样用于朝向行进方向投射垂直的第二光区段LS2，因其已说明于前，故于此不再赘述。图像传感器13用于获取包含第一光区段LS1、第二光区段LS2及水平光区段LS3的图像帧F，例如图6B显示图像帧F包含对应第一光区段LS1的第一线段图像I1、对应第二光区段LS2的第二线段图像I2以及对应水平光区段LS3的第三线段图像I3。图6B中同时显示了第一线段图像I1及第二线段图像I2中，投射至地面(例如倾斜部分)及墙面(例如垂直部分)的线段图像；其中，倾斜部分与垂直部分的长度比例是根据前方物体的距离而定。
处理器14用于根据图像帧F中的第一光区段LS1相关的第一线段图像I1及第二光区段LS2相关的第二线段图像I2判断行进方向前方的悬崖(例如阶梯)，并根据水平光区段LS3相关的第三线段图像I3计算前方的物体距离。
例如参照图6C，当图像帧F中的第一线段图像I1与第二线段图像I2缺少部分下方线段图像时，表示前方不存在可行进表面。此时，处理器14则判断行进方向的前方存在悬崖而无法继续前进。因此，处理器14还可根据下方线段图像的长度计算与悬崖的距离，并在距离悬崖预定距离时控制清洁机器人600转向。本实施例中，存储15中预先纪录有倾斜线段图像的长度(例如从图像帧F下方边缘开始计算)与悬崖距离的相对关系(可为算法或对照表)。当处理器14计算出倾斜线段图像的长度后，则存取存储15以得到与悬崖的相对距离。
例如参照图6D，当图像帧F中的第三线段图像I3的全部或部分高度改变时，表示图像传感器13的视野前方存在物体。例如，图6D显示图像传感器13检测到小型物体(例如桌脚或椅脚)，而使得第三线段图像I3的中央部分的高度自H0变化为H1。本实施例中，存储15中预先纪录有第三线段图像I3的不同高度与物体距离的相对关系(可为算法或对照表)。当处理器14计算出水平线段图像的高度(一个或多个)后，则存取存储15以得到相对应的物体距离。
图6D的实施例中，第三光源模块13例如是朝向上方投射水平光区段LS3，因此当物体越近，图像帧F中的第三线段图像I3的高度越低。反之，当第三光源模块13配置成朝向下方投射水平光区段LS3时，当物体越近时，图像帧F中的第三线段图像I3的高度越高。
第四实施例中，处理器14是根据第三线段图像I3计算物体距离，但不根据第一线段图像I1及第二线段图像I2计算所述物体距离。此外，可选择将水平光区段LS3投射介于第一光区段LS1与第二光区段LS2之间，以达到消除清洁机器人600正前方的检测死角的问题。因此，既然可利用水平光区段LS3检测正前方的物体，所述第一光区段LS1与所述第二光区段LS2在清洁机器人600的前方可选择为彼此交错或彼此平行，并无特定限制。
类似第一实施例至第三实施例，第四实施例中处理器14可控制第一光源模块11及第二光源模块12同时或分时投射第一光区段LS1及第二光区段LS2。当第一光源模块11及第二光源模块12同时投射第一光区段LS1及第二光区段LS2时，所述第一光区段LS1及所述第二光区段LS2优选具有不同的区段特征，例如具有不同宽度、亮度、数目和/或闪烁频率等，以利区隔。
第四实施例的另一种实施方式中，是使用光源组朝向行进方向投射第一光区段LS1、第二光区段LS2以及水平光区段LS3，其中，所述光源组包含第一光源模块11及第二光源模块12(例如参照图1B)。第一光源模块11包含第一光源111受控于处理器14而发光以及第一绕射光学组件112用于使所述第一光源111所发出的光通过时产生第一光区段LS1及水平光区段LS3。第二光源模块12包含第二光源121受控于处理器14而发光以及第二绕射光学组件122用于使所述第二光源121所发出的光通过时产生第二光区段LS2。更详言之，本实施方式中，光源组并不包含独立的光源模块用以产生水平光区段LS3，而是使第一绕射光学组件112配置成当光通过时能同时产生第一光区段LS1及水平光区段LS3。其他实施方中，光源组也可配置成是第二光源模块12同时投射第二光区段LS2及水平光区段LS3，而第一光源模块11仅投射第一光区段LS1。同理，水平光区段LS3优选投射介于第一光区段LS1与第二光区段LS2之间。
本实施方式中，图像传感器13同样用于获取视野包含第一光区段LS1、第二光区段LS2及水平光区段LS3的图像帧F，如图6B所示。处理器14同样用于获根据所述图像帧F中的第一光区段LS1相关的第一线段图像I1及第二光区段LS2相关的第二线段图像I2判断行进方向前方的悬崖并计算悬崖距离(如图6C所示)，并根据所述图像帧F中的水平光区段LS3相关的第三线段图像I3计算物体距离(如图6D所示)，其细节已举例说明于上，故于此不再赘述。
本实施方式中，处理器14同样用于控制第一光源模块11及第二光源模块12同时或分时点亮。当第一光源模块11及第二光源模块12同时点亮时，所述第一光区段LS1及所述第二光区段LS2优选具有不同的区段特征。
本发明说明中，垂直光区段是指其长度方向与清洁机器人100、400、500及600行进的平面垂直的方向的光区段而水平光区段是指其长度方向与所述平面平行的光区段。
必须说明的是，本发明并不限制应用于清洁机器人，还可应用于清洁机器人以外的其他机器人，只要该机器人需要计算其行进方向前方的物体或悬崖距离。所述机器包含光源组、图像传感器13以及处理器14。如前所述，光源组用于朝向行进方向投射第一光区段LS1及第二光区段LS2。该第一光区段LS1及第二光区段LS2是垂直的光区段并在所述机器人前方的预定距离彼此交错。图像传感器13用于获取包含所述第一光区段LS1及所述第二光区段LS2的图像帧F。处理器14用于根据所述图像帧F中的所述第一光区段LS1相关的第一线段图像及所述第二光区段LS2相关的第二线段图像计算距离。所述光源组、图像传感器13以及处理器14的运作细节已说明如上，故于此不再赘述。
此外，通过投射垂直线段，本发明实施例的机器人还可侦测其他形状的障碍物，例如判断隧道及计算悬崖高度。
例如参照图7A所示，图像传感器13的视野FOV包含第一墙面W3及第二墙面W4，其中第一墙面W3突出于第二墙面W4而形成隧道。可以了解的是，所述第一墙面W3及第二墙面W4并非限定为墙壁表面，亦可为其他家具及家电的表面。
为简化图标，图7A仅显示清洁机器人100的部份组件而省略了其他组件。图7B为图像传感器13所获取的图像帧F7的示意图。本实施例中，是以第一光源模块11朝向图像传感器13的左前方投射第一光区段LS1(例如参照图2A)为例进行说明。本领域技术人员在了解以下说明后，即能够了解以第二光源模块12朝向图像传感器13的右前方投射第二光区段LS2(例如参照图3A)的实施方式。
如图7B所示，图像帧F7包含两平行线段图像分别与图像帧F7的右侧边缘具有横向距离b'及d'，其中b'<d'。如前所述，存储15预先纪录有不同横向距离与物体距离的相对关系的算法或对照表。当处理器14计算出一个或多个所述横向距离时，则存取存储15以求出相对各横向距离的物体距离(此时为墙面距离)。此外，图像帧F7包含两垂直距离a'及c'。本实施例中，存储15还预先纪录有不同物体距离下垂直距离与实际高度的相对关系，例如算法或对照表。当处理器14计算出垂直距离a'和/或c'相对的物体距离时，即可根据垂直距离a'和/或c'计算出实际高度a和/或c。处理器14可判断清洁机器人100是否能够进入第一墙面W3下方的空间(即隧道)中。
亦即，当所述图像帧F7中的第一线段图像I1具有两平行线段图像(例如图7B的两垂直线段图像)，且所述两平行线段图像的上方线段图像与第一边缘(例如图7B的右侧边缘)的第一距离(例如图7B的b')小于所述两平行线段图像的下方线段图像与所述第一边缘的第一距离(例如图7B的d')时；或者当所述图像帧F7中的第二线段图像(未绘示)具有两平行线段图像，且所述两平行线段图像的上方线段图像与第二边缘(例如图7B的左侧边缘)的第二距离小于所述两平行线段图像的下方线段图像与所述第二边缘的第二距离时，处理器14则判断所述行进方向前方的存在隧道。
例如参照图8A所示，图像传感器13的视野FOV包含第一地板FL1及第二地板FL2，其中第一地板FL1高出于第二地板FL2垂直距离b而形成悬崖。可以了解的是，所述第一地板FL1及所述第二地板FL2是指清洁机器人100可行进的任何表面。图8B为图像传感器13所获取的图像帧F8的示意图。本实施例同样是以第一光源模块11朝向图像传感器13的左前方投射第一光区段LS1为例进行说明。本领域技术人员在了解下列说明后，即能够了解以第二光源模块12朝向图像传感器13的右前方投射第二光区段LS2的实施方式。图8A同样仅显示清洁机器人100的部份组件而省略了其他构件。
由于第一地板FL1与第二地板FL2具有高度差，图像帧F8中的第一线段图像I1形成两断线且其间具有横向距离b'。图8B所示，图像帧F8的下方断线的前端与图像帧F8的右侧边缘具有横向距离a'。如前所述，存储15预先纪录有不同横向距离与物体距离(此处为悬崖距离)的相对关系的算法或对照表。当处理器14计算出所述横向距离a'时，则存取存储15以求出相对所述横向距离a'的悬崖距离a。存储15中还记录有不同横向距离a'及b'与实际距离a及b的对应关系，例如算法或对照表。当处理器14计算出横向距离a'及b'后，即能够同时判断悬崖距离a以及悬崖高度b。
综上所述，使用图像传感器的已知清洁机器人的前方具有检测死角，而具有于操作时会与检测死角内的物体发生碰撞的问题。因此，本发明另提供一种清洁机器人(图1A-1B、图4-6A)，其通过于清洁机器人前方投射彼此交错的垂直光区段或同时投射垂直光区段及水平光区段，以消除行进方向的检测死角，并可同时达到悬崖检测的功效。
虽然本发明已通过前述实例披露，但是其并非用以限定本发明，任何本发明所属技术领域中具有通常知识技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修改。因此本发明的保护范围当视后附的权利要求所界定的范围为准。

Claims (10)

1.一种清洁机器人，该清洁机器人包含：
第一光源模块，该第一光源模块用于朝向行进方向的左侧投射第一光区段；
第二光源模块，该第二光源模块用于朝向所述行进方向的右侧投射第二光区段，其中，所述第一光区段及所述第二光区段是垂直的光区段并在所述清洁机器人前方的预定距离彼此交错；
图像传感器，该图像传感器具有视角用于获取包含所述第一光区段及所述第二光区段的图像帧，以及
处理器，该处理器用于控制所述第一光源模块、所述第二光源模块及所述图像传感器，其中，
所述视角大于第一光区段及所述第二光区段的夹角，以使所述第一光区段相关的第一线段图像在所述图像帧中距离所述图像帧的右侧边缘的第一有效区间大于所述图像帧的一半，并使所述第二光区段相关的第二线段图像在所述图像帧中距离所述图像帧的左侧边缘的第二有效区间大于所述图像帧的一半。
2.根据权利要求1所述的清洁机器人，其中，
所述第一光源模块及所述第二光源模块分时投射所述第一光区段及所述第二光区段，或
所述第一光源模块及所述第二光源模块同时投射所述第一光区段及所述第二光区段，且所述第一光区段及所述第二光区段具有不同的区段特征。
3.根据权利要求1所述的清洁机器人，其中，
所述第一光源模块包含：
第一光源；及
第一绕射光学组件，该第一绕射光学组件用于使所述第一光源所发出的光通过时产生所述第一光区段；
所述第二光源模块包含：
第二光源；及
第二绕射光学组件，该第二绕射光学组件用于使所述第二光源所发出的光通过时产生所述第二光区段。
4.根据权利要求1所述的清洁机器人，还包含存储，用于：
记录右侧边缘距离与第一物体距离的第一相对关系，及
记录左侧边缘距离与第二物体距离的第二相对关系，
所述右侧边缘距离为所述第一线段图像在所述图像帧中与所述图像帧的右侧边缘的距离，所述左侧边缘距离为所述第二线段图像在所述图像帧中与所述图像帧的左侧边缘的距离。
5.一种清洁机器人，该清洁机器人包含：
光源组，该光源组用于朝向行进方向的左侧投射垂直的第一光区段、右侧投射垂直的第二光区段以及水平光区段；
图像传感器，该图像传感器具有视角用于获取包含所述第一光区段、所述第二光区段及所述水平光区段的图像帧；以及
处理器，该处理器用于控制所述光源组及所述图像传感器，其中，
所述视角大于所述第一光区段及所述第二光区段的投射角度，以使所述第一光区段相关的第一线段图像在所述图像帧中距离所述图像帧的右侧边缘的第一有效区间大于所述图像帧的一半，并使所述第二光区段相关的第二线段图像在所述图像帧中距离所述图像帧的左侧边缘的第二有效区间大于所述图像帧的一半。
6.根据权利要求5所述的清洁机器人，其中所述第一光区段与所述第二光区段在所述清洁机器人的前方的预定距离彼此交错。
7.根据权利要求5所述的清洁机器人，其中所述光源组包含第一光源模块及第二光源模块，
所述第一光源模块包含：
第一光源；及
第一绕射光学组件，该第一绕射光学组件用于使所述第一光源所发出的光通过时产生所述第一光区段及所述水平光区段；以及
所述第二光源模块包含：
第二光源；及
第二绕射光学组件，该第二绕射光学组件用于使所述第二光源所发出的光通过时产生所述第二光区段。
8.根据权利要求7所述的清洁机器人，其中所述处理器还用于控制所述第一光源及所述第二光源分时点亮。
9.根据权利要求7所述的清洁机器人，其中所述处理器还用于控制所述第一光源及所述第二光源同时点亮，且所述第一光区段及所述第二光区段具有不同的区段特征。
10.根据权利要求5所述的清洁机器人，其中所述水平光区段投射介于所述第一光区段与所述第二光区段之间。
CN202210735566.3A 2019-01-28 2019-10-23 消除检测死角的机器人 Active CN115153347B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210735566.3A CN115153347B (zh) 2019-01-28 2019-10-23 消除检测死角的机器人

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/258,675 2019-01-28
US16/258,675 US11353884B2 (en) 2019-01-28 2019-01-28 Robot without detection dead zone
CN202210735566.3A CN115153347B (zh) 2019-01-28 2019-10-23 消除检测死角的机器人
CN201911012140.XA CN111481117B (zh) 2019-01-28 2019-10-23 消除检测死角的机器人

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201911012140.XA Division CN111481117B (zh) 2019-01-28 2019-10-23 消除检测死角的机器人

Publications (2)

Publication Number Publication Date
CN115153347A CN115153347A (zh) 2022-10-11
CN115153347B true CN115153347B (zh) 2023-12-26

Family

ID=71731215

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210735566.3A Active CN115153347B (zh) 2019-01-28 2019-10-23 消除检测死角的机器人
CN201911012140.XA Active CN111481117B (zh) 2019-01-28 2019-10-23 消除检测死角的机器人

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201911012140.XA Active CN111481117B (zh) 2019-01-28 2019-10-23 消除检测死角的机器人

Country Status (2)

Country Link
US (3) US11353884B2 (zh)
CN (2) CN115153347B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11691264B2 (en) * 2017-06-02 2023-07-04 Pixart Imaging Inc. Mobile robot performing multiple detections using image frames of same optical sensor
US11821985B2 (en) 2017-06-02 2023-11-21 Pixart Imaging Inc. Mobile robot performing multiple detections using image frames of same optical sensor
US11752635B2 (en) 2017-06-02 2023-09-12 Pixart Imaging Inc. Mobile robot performing multiple detections using image frames of same optical sensor
US10627518B2 (en) 2017-06-02 2020-04-21 Pixart Imaging Inc Tracking device with improved work surface adaptability
US11009882B2 (en) * 2018-01-12 2021-05-18 Pixart Imaging Inc. Method, system for obstacle detection and a sensor subsystem
CN114454162B (zh) * 2022-01-10 2023-05-26 广东技术师范大学 一种移动机器人复杂路口防碰撞方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103479307A (zh) * 2012-06-07 2014-01-01 三星电子株式会社 障碍物感测模块和包括该障碍物感测模块的清洁机器人
CN103941307A (zh) * 2014-01-13 2014-07-23 苏州爱普电器有限公司 一种清洁机器人及用于控制其避开障碍物的方法
CN105286729A (zh) * 2015-09-25 2016-02-03 江苏美的清洁电器股份有限公司 扫地机器人
TW201809724A (zh) * 2016-05-17 2018-03-16 Ｌｇ電子股份有限公司 行動機器人及其控制方法
TW201832035A (zh) * 2017-01-18 2018-09-01 南韓商Ｌｇ電子股份有限公司 移動式機器人系統及其控制方法
CN109073370A (zh) * 2016-04-15 2018-12-21 微软技术许可有限责任公司 使用结构化照明的深度感测
CN208286955U (zh) * 2017-08-22 2018-12-28 江苏美的清洁电器股份有限公司 清洁机器人

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8412377B2 (en) * 2000-01-24 2013-04-02 Irobot Corporation Obstacle following sensor scheme for a mobile robot
TWI245902B (en) * 2004-05-14 2005-12-21 Chung Shan Inst Of Science Microstructure angular velocity sensor device
US8629988B2 (en) * 2009-04-20 2014-01-14 Javad Gnss, Inc. Laser beam image contrast enhancement
KR20130090438A (ko) * 2012-02-04 2013-08-14 엘지전자 주식회사 로봇 청소기
US9939529B2 (en) * 2012-08-27 2018-04-10 Aktiebolaget Electrolux Robot positioning system
KR102093177B1 (ko) * 2013-10-31 2020-03-25 엘지전자 주식회사 이동 로봇 및 그 동작방법
US10518416B2 (en) * 2014-07-10 2019-12-31 Aktiebolaget Electrolux Method for detecting a measurement error in a robotic cleaning device
US9840003B2 (en) * 2015-06-24 2017-12-12 Brain Corporation Apparatus and methods for safe navigation of robotic devices
US9919425B2 (en) * 2015-07-01 2018-03-20 Irobot Corporation Robot navigational sensor system
US20170102288A1 (en) * 2015-10-13 2017-04-13 Fluke Corporation Three-dimensional inspection of optical communication links
KR102588486B1 (ko) * 2016-03-15 2023-10-11 에이비 엘렉트로룩스 로봇 청소 장치 및 로봇 청소 장치에서의 절벽 검출 실시 방법
CN207979622U (zh) * 2016-05-17 2018-10-19 Lg电子株式会社 机器人吸尘器
TWI653964B (zh) * 2016-05-17 2019-03-21 Ｌｇ電子股份有限公司 行動機器人及其控制方法
WO2018097574A1 (ko) * 2016-11-24 2018-05-31 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR102000067B1 (ko) * 2017-01-16 2019-09-17 엘지전자 주식회사 이동 로봇
DE102017208485A1 (de) * 2017-05-19 2018-11-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Anordnung und Verfahren zur berührungslosen Entfernungsbestimmung nach Art des Lichtschnittverfahrens
JP7243967B2 (ja) * 2017-06-02 2023-03-22 アクチエボラゲット エレクトロルックス ロボット清掃デバイスの前方の表面のレベル差を検出する方法
KR102428216B1 (ko) * 2017-12-04 2022-08-01 엘지전자 주식회사 인공지능을 이용한 이동 로봇, 이동 로봇의 제어방법, 및 이동 로봇의 제어 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103479307A (zh) * 2012-06-07 2014-01-01 三星电子株式会社 障碍物感测模块和包括该障碍物感测模块的清洁机器人
CN103941307A (zh) * 2014-01-13 2014-07-23 苏州爱普电器有限公司 一种清洁机器人及用于控制其避开障碍物的方法
CN105286729A (zh) * 2015-09-25 2016-02-03 江苏美的清洁电器股份有限公司 扫地机器人
CN109073370A (zh) * 2016-04-15 2018-12-21 微软技术许可有限责任公司 使用结构化照明的深度感测
TW201809724A (zh) * 2016-05-17 2018-03-16 Ｌｇ電子股份有限公司 行動機器人及其控制方法
TW201832035A (zh) * 2017-01-18 2018-09-01 南韓商Ｌｇ電子股份有限公司 移動式機器人系統及其控制方法
CN208286955U (zh) * 2017-08-22 2018-12-28 江苏美的清洁电器股份有限公司 清洁机器人

Also Published As

Publication number Publication date
US11675365B2 (en) 2023-06-13
CN111481117B (zh) 2022-07-19
US20230259139A1 (en) 2023-08-17
US20200241550A1 (en) 2020-07-30
US11353884B2 (en) 2022-06-07
CN111481117A (zh) 2020-08-04
CN115153347A (zh) 2022-10-11
US20220253068A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
CN115153347B (zh) 消除检测死角的机器人
TWI652034B (zh) 清掃機器人
US9632505B2 (en) Methods and systems for obstacle detection using structured light
CN115399679B (zh) 可侦测二维深度信息的清洁机器人
JP6237876B2 (ja) 自己位置算出装置及び自己位置算出方法
US20070019181A1 (en) Object detection system
US20070058838A1 (en) Object position detecting apparatus, map creating apparatus, autonomous mobile apparatus, object position detecting method, and computer program product for object position detection
JP6237875B2 (ja) 自己位置算出装置及び自己位置算出方法
CN108983998B (zh) 可增加工作表面适用性的轨迹追踪装置
JP2004117078A (ja) 障害物検出装置及び方法
JP6187672B2 (ja) 自己位置算出装置及び自己位置算出方法
US11691264B2 (en) Mobile robot performing multiple detections using image frames of same optical sensor
KR101300350B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP6547362B2 (ja) 自己位置算出装置及び自己位置算出方法
US20240036204A1 (en) Mobile robot performing multiple detections using different parts of pixel array
US20220369886A1 (en) Cleaning robot capable of eliminating reflection interference
US11880205B2 (en) Auto clean machine and auto clean machine control method
JP6369897B2 (ja) 自己位置算出装置及び自己位置算出方法
JP6492974B2 (ja) 自己位置算出装置及び自己位置算出方法
CN114019533A (zh) 移动机器人
TWI435059B (zh) 光學測距系統
TWI510087B (zh) 電子系統
JPS6168503A (ja) 車両運転者の位置認識装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant