CN116096539A - 机器人及其控制方法 - Google Patents

机器人及其控制方法 Download PDF

Info

Publication number
CN116096539A
CN116096539A CN202180056307.1A CN202180056307A CN116096539A CN 116096539 A CN116096539 A CN 116096539A CN 202180056307 A CN202180056307 A CN 202180056307A CN 116096539 A CN116096539 A CN 116096539A
Authority
CN
China
Prior art keywords
information
image
robot
external light
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180056307.1A
Other languages
English (en)
Inventor
皇甫旻秀
洪贤石
李泳录
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116096539A publication Critical patent/CN116096539A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

公开了一种机器人。根据本公开的机器人包括:发光单元;相机;以及处理器,其中,所述处理器可在所述发光单元输出用于获得关于对象的距离信息的光时通过使用所述相机获得关于所述对象的第一信息,在所述发光单元不输出光时通过使用所述相机获得关于所述对象的第二信息,基于第一信息和第二信息获得关于所述对象的第三信息,基于第一信息、第二信息和第三信息中的至少一个信息获得关于外部光区域的信息,以及基于关于所述外部光区域的信息生成所述机器人的行驶路径。

Description

机器人及其控制方法
技术领域
本公开涉及机器人及其控制方法。更具体地,本公开涉及一种基于关于外部光区域的信息来生成行驶路径的机器人及其控制方法。
本申请要求在2020年8月11日在韩国知识产权局提交的第10-2020-0100228号韩国专利申请的优先权,其公开内容通过引用整体并入本文。
背景技术
最近,随着电子技术的发展,对自主机器人的研究正在积极进展。为了机器人的平稳行驶,重要的是获得到机器人周围环境的距离信息。作为获得距离信息的方法的示例,机器人可输出光,并且通过接收从对象反射的光来获得到对象的距离信息。
当机器人在暴露于外部光(诸如阳光)的环境中行驶时,机器人可接收外部光。在这种情况下,由于机器人不能区分机器人输出的光和外部光,因此机器人可能将外部光识别为对象,因此存在行驶效率低的问题。
因此,越来越需要防止对象的错误检测并生成有效的行驶路径的技术。
发明内容
技术问题
本公开将解决的一个技术问题是提供一种基于关于外部光区域的信息来生成有效的行驶路径的机器人。
本公开将解决的技术问题不限于上述技术问题,并且本公开所属领域的普通技术人员将从下面的描述中清楚地理解未描述的其他技术问题。
技术方案
根据实施例,可提供一种机器人,包括发光部件、相机和处理器,所述处理器被配置为进行以下操作:在所述发光部件输出用于获得到对象的距离信息的光时使用所述相机获得关于所述对象的第一信息,并且在所述发光部件不输出所述光时使用所述相机获得关于所述对象的第二信息,基于第一信息和第二信息获得关于所述对象的第三信息,基于第一信息、第二信息和第三信息中的至少一个信息,获得关于外部光区域的信息,以及基于关于所述外部光区域的信息,生成所述机器人的行驶路径。
第一信息可包括在所述发光部件输出所述光时由所述相机拍摄的第一图像,第二信息可包括在所述发光部件不输出所述光时由所述相机拍摄的第二图像,并且第三信息可包括第三图像,其中,在第三图像中,从第一图像的像素值中减去了第二图像的像素值。
所述处理器可被配置为获得第二图像像素中的具有大于或等于阈值的尺寸的像素的位置信息,并且将获得的像素的位置信息获得为关于所述外部光区域的位置信息。
所述处理器可被配置为从第一图像的像素中识别具有大于或等于阈值的尺寸的至少一个像素,获得与识别的所述至少一个像素相应的区域的厚度信息,并且将获得的厚度信息与预先存储的所述光的厚度信息进行比较,并且识别与识别的所述至少一个像素相应的区域是否与外部光区域相应。
所述处理器可被配置为获得与识别的所述至少一个像素相应的区域的厚度信息,并且基于识别的所述至少一个像素中的位于下端的第一像素的位置信息和识别的所述至少一个像素中的位于上端的第二像素的位置信息,获得与识别的所述至少一个像素相应的区域的厚度信息。
第一信息可包括到包括在第一图像中的至少一个对象之间的第一距离信息,其中,第一图像是在所述发光部件输出所述光时由所述相机拍摄的,第二信息可包括到包括在第二图像中的至少一个对象的第二距离信息,其中,第二图像是在发光部件不输出所述光时由所述相机拍摄的,第三信息可包括第三距离信息,其中,在第三距离信息中,从第一距离信息中减去了第二距离信息。
所述处理器可被配置为从第二距离信息中识别阈值范围内的距离信息,获得第二图像的与识别出的距离信息相应的像素的位置信息,并且将获得的像素的位置信息获得为关于所述外部光区域的位置信息。
所述处理器可被配置为获得到包括在第三图像中的对象的距离信息,并且基于到所述对象的距离信息和关于所述外部光区域的信息,生成绕过所述对象和所述外部光区域的行驶路径。
根据一个实施方式,可提供一种机器人的控制方法,包括:在发光部件输出用于获得到对象的距离信息的光时使用相机获得关于所述对象的第一信息,并且在所述发光部件不输出所述光时使用所述相机获得关于所述对象的第二信息,基于第一信息和第二信息获得关于所述对象的第三信息,基于第一信息、第二信息和第三信息中的至少一个信息,获得关于外部光区域的信息,以及基于所述外部光区域的信息生成所述机器人的行驶路径。
所述获得关于外部光区域的信息的步骤可包括:获得第二图像像素中的具有大于或等于阈值的尺寸的像素的位置信息,并且将获得的像素的位置信息获得为关于所述外部光区域的位置信息。
所述获得关于外部光区域的信息的步骤可包括:从第一图像的像素中识别具有大于或等于阈值的尺寸的至少一个像素,获得与识别的所述至少一个像素相应的区域的厚度信息,并且将获得的厚度信息与预先存储的所述光的厚度信息进行比较,并且识别与识别的所述至少一个像素相应的区域是否与所述外部光区域相应。
所述获得与识别的所述至少一个像素相应的区域的厚度信息的步骤可包括:基于识别的所述至少一个像素中的位于下端的第一像素的位置信息和识别的所述至少一个像素中的位于上端的第二像素的位置信息,获得与识别的所述至少一个像素相应的区域的厚度信息。
所述获得关于所述外部光区域的信息的步骤可包括:从第二距离信息中识别阈值范围内的距离信息,获得第二图像的与识别出的距离信息相应的像素的位置信息,以及将获得的像素的位置信息获得为关于所述外部光区域的位置信息。
所述控制方法还可包括获得关于包括在第三图像中的对象的距离信息,并且所述生成行驶路径的步骤可包括:基于关于所述对象的距离信息和关于所述外部光区域的信息,生成绕过所述对象和所述外部光区域的行驶路径。
本公开的技术方案不限于上述技术方案,并且本公开所属领域的普通技术人员将从本公开的描述和附图中清楚地理解本公开中未提及的技术方案。
发明效果
根据如上所述的本公开的各种实施例,机器人可基于关于外部光区域的信息来生成有效的行驶路径。因此,可增强用户满意度和便利性。
此外,通过本公开的实施例可获得或预测的效果将在本公开的示例性实施例的详细描述中直接或暗示地描述。例如,将在下面要描述的详细描述中描述根据本公开的实施例可预测的各种效果。
从下面关于附图描述本公开的各种实施例的详细描述中,本公开的其他方面、优点和显著特征对于本领域普通技术人员将变得清楚。
附图说明
通过以下结合附图的描述,本公开的某些实施例的上述和其他方面、特征和优点将更加明显,其中:
图1是示出根据本公开的实施例的机器人的配置的框图;
图2是示出根据本公开的实施例的获得距离信息的方法的示图;
图3是示出根据本公开的实施例的图像的示图;
图4a是示出根据本公开的实施例的获得关于外部光区域的信息的方法的示图;
图4b是示出根据本公开的另一实施例的获得关于外部光区域的信息的方法的示图;
图4c是示出根据本公开的另一实施例的获得关于外部光区域的信息的方法的示图;
图5是示出根据本公开的实施例的行驶路径的示图;
图6是示出根据本公开的实施例的相机的框图;
图7是示出根据本公开的实施例的机器人的控制方法的流程图;
图8是示出根据本公开的实施例的机器人的控制方法的流程图;以及
图9是示出根据本公开的另一实施例的机器人的控制方法的流程图。
具体实施方式
将简要描述本公开中使用的术语,并且将详细描述本公开。
在本公开的实施例中使用的术语是考虑到它们在本文中的功能而选择的当前广泛使用的一般术语。然而,这些术语可根据相关领域普通技术人员的意图、法律或技术解释、新技术的出现等而改变。此外,在某些情况下,可能存在任意选择的术语,并且在这种情况下,将在相应的描述中更详细地公开该术语的含义。因此,本文使用的术语应基于该术语的含义和本公开的整体上下文来定义,而不是简单地通过其名称来定义。
可对本公开的实施例进行各种修改,并且可存在各种类型的实施例。因此,将在附图中示出具体实施例,并且将在具体实施方式中详细描述实施例。然而,应当注意,各种实施例不用于将本公开的范围限制于特定实施例,而是应当理解它们包括本文公开的思想和技术范围中包括的实施例的所有修改、等同或替代。在确定在描述实施例时相关已知技术的详细描述可能不必要地混淆本公开的主旨的情况下,将省略详细描述。
诸如“第一”和“第二”的术语可用于描述各种元件,但是元件不受术语的限制。这些术语可仅用于将一个元件与另一个元件区分开。
除非另有说明,否则单数表达包括复数表达。在本公开中,应当理解,诸如“组成”或“包括”的术语在本文中用于表示特征、数量、步骤、操作、元件、组件或它们的组合的存在,而不排除存在或添加一个或更多个其他特征、数量、步骤、操作、元件、组件或它们的组合的可能性。
下面将参照附图详细描述本公开的实施例,以帮助本领域普通技术人员理解。然而,本公开可以以各种不同的形式实现,并且应当注意,本公开不限于本文描述的各种实施例。此外,在附图中,已经省略了与描述无关的部件以清楚地描述本公开,并且贯穿本公开,相同的附图标记可用于指示相同的元件。
图1是示出根据本公开的实施例的机器人的配置的框图。
参照图1,机器人100可包括发光部件110、相机120、行驶部件130、存储器140和处理器150。
发光部件110可输出用于获得到对象的距离信息的光。此时,到对象的距离信息可以是指机器人100到对象之间的距离。发光部件110可以以预设的时间间隔输出光。例如,发光部件110可在第一时间段内输出光,并且在第二时间段内不输出光。发光部件110可输出具有各种形式的激光。例如,发光部件110可在与地面水平的方向上输出线光束形式的激光。发光部件110可被实现为各种激光装置。例如,发光部件110可被实现为激光二极管(LD)或垂直腔表面发射激光器(VCSEL)。
相机120可拍摄机器人100的周围环境,并且获得从对象反射的反射光。具体地,相机120可获得在从发光部件110输出之后从对象反射的反射光。另外,照相机120可获得外部光。这里,外部光可包括太阳光。照相机120可包括各种类型的传感器装置。例如,照相机120可包括电荷耦合器件(CCD)传感器、互补金属氧化物半导体(CMOS)传感器、光电二极管(PD)和雪崩光电二极管(APD)。
行驶部件130可以是用于使机器人100移动的结构。具体地,行驶部件130可包括用于行驶机器人100的致动器。
存储器140可存储用于控制机器人100的元件的全部操作的操作系统(OS)以及与机器人100的元件相关联的命令或数据。为此,存储器140可被实现为非易失性存储器(例如,硬盘、固态驱动器(SSD)、闪存)、易失性存储器等。
处理器150可控制机器人100的全部操作。处理器150可包括图像获得模块151、距离信息获得模块152、校正图像获得模块153、行驶路径生成模块154和外部光区域识别模块155。
图像获得模块151可使用相机120获得机器人100周围环境的图像。图像获得模块151可基于由相机120获得的光来生成图像。在通过图像获得模块151获得的图像中,可包括存在于机器人100周围环境中的对象和从发光部件110输出后从对象反射的光。例如,图像获得模块151可在发光部件110输出光时获得第一图像,并且在发光部件110不输出光时获得第二图像。此时,从发光部件110输出的光可包括在第一图像中,但是从发光部件110输出的光会不包括在第二图像中。
距离信息获得模块152可分析通过图像获得模块151获得的图像,并获得到包括在图像中的到对象的距离信息。例如,距离信息获得模块152可基于三角测量获得到对象的距离信息。具体地,距离信息获得模块152可从图像中的像素中识别尺寸在阈值范围内的像素。然后,距离信息获得模块152可基于所识别的像素的位置来计算到与所识别出的像素相应的对象的距离。距离信息获得模块152可基于与从发光部件110输出的光相应的像素在图像上的位置来计算到对象的距离。
基于通过距离信息获得模块152获得的距离信息,机器人可生成行驶路径,并根据生成的行驶路径进行行驶。由相机120获得的光不仅可包括从发光部件110输出的光,而且可包括外部光(例如,太阳光)。因此,外部光区域(或外部光)可存在于通过图像获得模块151获得的图像中。当基于包括外部光区域的图像获得距离信息并生成行驶路径时,由于外部光区域像对象(或障碍物)那样被处理,因此可能降低距离信息的精度和机器人100的行驶效率。即,尽管实际上不存在对象,但也会基于外部光被识别为对象而生成绕过外部光区域的行驶路径。
如上所述,为了防止机器人100的行驶效率因外部光而降低,校正图像获得模块153可获得去除了外部光区域的新图像。如图2所示,校正图像获得模块153可基于在发光部件110输出光时获得的第一图像10和在发光部件110不输出光时获得的第二图像20来生成第三图像30。具体地,校正图像获得模块153可通过从第一图像10的像素值中减去第二图像20的像素值来生成第三图像30。如图2所示,第一图像10可包括与从发光部件110输出的光相应的区域A(或激光区域)和外部光区域B,但是第三图像30可不包括外部光区域B。
距离信息获得模块152可基于去除了外部光区域的第三图像30获得第三距离信息31。距离信息获得模块152可基于激光区域A在第三图像30上的位置获得第三距离信息31。第三距离信息31可包括与多个角度(θ)中的每一个相应的距离数据r。
行驶路径生成模块154可基于第三距离信息31生成行驶路径。处理器150可控制机器人100的行驶部件130沿着生成的行驶路径行驶。如上所述,通过基于第三图像获得距离信息,可提高距离信息的精度,并且可提高机器人100的行驶效率。
如图3所示,激光器区域A和外部光区域B可重叠。由于校正图像获得模块153通过从第一图像10的像素值中减去第二图像20的像素值来生成第三图像30,因此不仅外部光区域B而且激光区域A中的一部分也可被去除。在该情况下,当基于第三图像30生成行驶路径时,当生成行驶路径时被去除的激光区域A不被反射,从而可能发生由于机器人100必须向外部光区域B行驶而与存在于外部光区域B的对象碰撞的问题。
为了防止诸如上述问题,当激光区域A和外部光区域B重叠时,外部光区域识别模块155可识别外部光区域B,行驶路径生成模块154可生成绕过所识别的外部光区域B进行行驶的行驶路径。
外部光区域识别模块155可基于关于对象的信息来识别外部光区域B。这里,关于对象的信息可包括拍摄对象的图像和到对象的距离信息。例如,关于对象的信息可包括在发光部件110输出光时拍摄的第一图像和在发光部件110不输出光时拍摄的第二图像。可选地,关于对象的信息可包括到包括在第一图像中的对象的距离信息和到包括在第二图像中的对象的距离信息。
下面将描述根据各种实施例的识别外部光区域的方法。
根据实施例,外部光区域识别模块155可通过分析第一图像10来识别外部光区域B。具体地,外部光区域识别模块155可从第一图像10的像素中识别具有大于或等于阈值的尺寸的像素。外部光区域识别模块155可识别与所识别的像素相应的区域。外部光区域识别模块155可获得所识别的区域的厚度信息。外部光区域识别模块155可基于具有大于或等于阈值的尺寸的多个像素中的位于下端的像素和位于上端的像素的位置信息来获得所识别的区域的厚度信息。
外部光区域识别模块155可将所获得的关于厚度的信息与预先存储的关于光的厚度的信息进行比较,并且识别与所识别的像素相应的区域是否与外部光区域B相应。这里,预先存储的关于光的厚度的信息可包括查找表,在该查找表中匹配并存储关于图像内的位置和光的厚度的信息。例如,如果与所识别的像素相应的区域的厚度大于查找表中存储的厚度,则外部光区域识别模块155可将与所识别的像素相应的区域识别为外部光区域B。可选地,如果与所识别的像素相应的区域的厚度与存储在查找表中的厚度之间的差大于或等于阈值,则外部光区域识别模块155可将与所识别的像素相应的区域识别为外部光区域B。
外部光区域识别模块155可通过分析第一图像10的图案来识别外部光区域B。具体地,外部光区域识别模块155可从第一图像10的像素中识别具有大于或等于阈值的尺寸的像素。外部光区域识别模块155可将与识别出的像素相应的区域的图案与预先存储的图案进行比较,并识别外部光区域B,例如,外部光区域识别模块155可基于与识别出的像素相应的区域的图案获得与预先存储的图案的相似度,并且获得的相似度小于或等于阈值,将识别出的区域识别为外部光区域B。这里,可基于从发光部件110输出的光的形式(例如,线光束形式)来定义预先存储的图案。
根据另一实施例,外部光区域识别模块155可通过分析第二图像20来识别外部光区域B。具体地,外部光区域识别模块155可从第二图像20的像素中识别具有大于或等于阈值的尺寸的像素。外部光区域识别模块155可将与识别出的像素相应的区域识别为外部光区域B。即,由于第二图像20是在发光部件110不输出光时获得的图像,因此外部光区域识别模块155可根据外部光基于第二图像20中存在具有大于或等于阈值的尺寸的像素,确定相应像素具有大于或等于阈值的尺寸。
外部光区域识别模块155可基于通过距离信息获得模块152获得的距离信息来识别外部光区域。距离信息可包括距机器人100的距离和基于机器人100的角度(或位置)的信息。如图4a所示,距离信息可包括分别与多个角度(θ)相应的距离数据r。如上所述,距离信息获得模块152可使用三角测量基于第一图像10获得第一距离信息11,并基于第二图像20获得第二距离信息21。
外部光区域识别模块155可基于第二距离信息21识别外部光区域B。例如,外部光区域识别模块155可从第二距离信息21中获得阈值范围的距离数据(r3,r4,r5,r6,r7)。然后,外部光区域识别模块155可获得第二图像20中的与所获得的距离数据(r3,r4,r5,r6,r7)相应的像素的位置信息。外部光区域识别模块155可将所获得的像素的位置信息获得为关于外部光区域B的位置信息。
距离信息获得模块152可通过从第一距离信息11中减去第二距离信息21来获得第三距离信息31。然后,行驶路径生成模块154可基于第三距离信息31和关于外部光区域B的位置信息生成行驶路径。在一个示例中,行驶路径生成模块154可生成绕过激光区域A和外部光区域B的行驶路径。
当基于第二距离信息21识别出外部光区域B时,外部光区域识别模块155可将与所识别的外部光区域B相应的距离数据的值改变为预设的值并将其存储。例如,如图4b所示,外部光区域识别模块155可将第二距离信息21中的距离数据(r3,r4,r5,r6,r7)的值改变为预设值c并存储该预设值c。因此,由距离信息获得模块152获得的第三距离信息31可包括以预设值c反映的距离数据。在这种情况下,行驶路径生成模块154可基于距离数据(r3,r4,r5,r6,r7)的值来生成绕过与距离数据(r3,r4,r5,r6,r7)相应的区域的行驶路径。如上所述,外部光区域识别模块155可将与外部光区域B相应的距离数据改变为预设值,使得预设值可在生成行驶路径时被反映并存储。
在图4a和图4b中,尽管已经描述了距离信息获得模块152通过从第一距离信息11中减去第二距离信息21来获得第三距离信息31的实施例,但是距离信息获得模块152可基于通过校正图像获得模块153获得的第三图像30来获得第三距离信息31。
参照图4c,校正图像获得模块153可通过从第一图像10的像素值中减去第二图像20的像素值来生成第三图像30。机器人100可在拍摄第一图像10的时间点与拍摄第二图像的时间点之间移动。因此,可能需要匹配第一图像10的像素和第二图像20的像素的位置。校正图像获得模块153可在从第一图像10的像素值中减去第二图像20的像素值之前校正第一图像10或第二图像20的像素的位置。然后,距离信息获得模块152可通过从第一图像10的像素值中减去第二图像20的像素值来生成第三图像30。距离信息获得模块152可基于包括在第三图像30中的与激光区域A相应的像素的位置,获得包括到激光区域A的距离信息的第三距离信息31。即,距离信息获得模块152可基于三角测量获得第三距离信息31。
上述处理器150的每个模块可用软件实现,或者以软件和硬件的组合形式实现。
在图1中,已经示出了多个模块151至155作为处理器150的一种配置。然而,这仅仅是一个实施例,并且多个模块151至155可存储在存储器140中。此时,处理器150可将存储在存储器140中的多个模块151至155从非易失性存储器加载到易失性存储器,并执行多个模块151至155的相应功能。
图5是示出根据本公开的实施例的机器人的行驶路径的示图。
如图5所示,机器人100可生成绕过激光区域A和外部光区域B的行驶路径P。因为现有技术的机器人仅基于图4a和图4b的第三距离信息31而不考虑外部光区域B来生成行驶路径,所以来自第三距离信息31的距离值为0的区域已经被确定为自由空间,并且已经生成了通过自由空间的行驶路径。因此,现有技术的机器人生成穿过外部光区域B的行驶路径,如果外部光区域B内存在对象,则存在发生碰撞事故的问题。另一方面,由于根据本公开的实施例的机器人100不仅考虑第三距离信息31还考虑外部光区域B来生成行驶路径,因此能够生成绕过外部光区域B的行驶路径,由此能够提高行驶稳定性。
以上,对机器人100在发光部件110输出光时获得第一图像10、在发光部件110不输出光时获得第二图像20的情况进行了说明。然而,这仅仅是一个实施例,并且机器人100可被实现为使得能够在发光部件110输出光时获得第二图像20。
图6是示出根据本公开的实施例的获得第二图像的方法的机器人的框图。参照图6,相机120可包括第一传感器121和第二传感器122。此时,第二传感器122可包括拒绝与从发光部件110输出的光的波长(例如,905nm)相应的光的滤光器(例如,带阻滤光器)。因此,即使在发光部件110输出光的情况下,第二传感器122也能够获得不包括激光区域的第二图像20。此外,第一传感器121可获得包括激光区域的第一图像10。处理器150可基于第一图像10和第二图像20获得去除了外部光区域的第三图像30。
图7是示出根据本公开的实施例的机器人的控制方法的流程图。
机器人100可在发光部件输出用于获得到对象的距离信息的光时使用相机获得关于对象的第一信息,并且在发光部件不输出光时使用相机获得关于对象的第二信息(S710)。这里,第一信息和第二信息可以是通过相机拍摄的图像。可选地,第一信息和第二信息可以是基于图像获得的距离信息。在本公开中,信息可包括图像和距离信息。
机器人100可基于第一信息和第二信息获得关于对象的第三信息(S720)。基于作为图像的第一信息和第二信息,机器人100可从第一信息的像素值中减去第二信息的像素值,并且获得第三信息(第三图像)。如果第一信息和第二信息是到图像内的每个区域的距离数据,则机器人100可通过从第一信息中减去第二信息来获得第三信息。
机器人100可基于第一信息、第二信息和第三信息中的至少一个来获得关于外部光区域的信息(S730)。在一个示例中,机器人100可通过分析第二信息来获得关于外部光区域的信息。具体地,基于第二信息是图像,机器人100可获得第二信息的像素中的尺寸大于或等于阈值的像素的位置信息。机器人100可将所获得的像素的位置信息获得为关于外部光区域的位置信息。基于第二信息是距离信息,机器人100可从第二信息中识别阈值范围内的距离信息。机器人100可获得与所识别出的距离信息相应的位置信息,并且将所获得的像素的位置信息获得为关于外部光区域的位置信息。
机器人100可基于关于外部光区域的信息生成机器人100的行驶路径(S740)。机器人100可生成绕过外部光区域的行驶路径。因此,能够提高机器人100的行驶稳定性。
图8是示出根据本公开的实施例的机器人的控制方法的流程图。
机器人100可在发光部件输出用于获得到对象的距离信息的光时使用相机获得第一图像,并且在发光部件不输出光时使用相机获得第二图像(S810)。因此,虽然关于从发光部件输出的光的信息可包括在第一图像中,但是关于从发光部件输出的光的信息也可不包括在第二图像中。
机器人100可通过从第一图像的像素值中减去第二图像的像素值来获得第三图像(S820)。因此,关于外部光区域的信息可不包括在第三图像中。机器人100可通过分析第三图像来获得到包括在第三图像中的对象的距离信息(S830)。此时,机器人100可基于第三图像中的从发光部件输出的光的位置,获得到对象的距离信息。
机器人100可基于第一图像、第二图像和第三图像中的至少一个图像获得关于外部光区域的信息(S840)。在一个示例中,机器人100可从第一图像的像素中识别尺寸大于或等于阈值的像素。此时,机器人100可获得与所识别的像素相应的区域的厚度信息。然后,机器人100可将获得的厚度信息与预先存储的厚度信息进行比较,并且识别与所识别出的像素所相应的区域是否与外部光区域相应。在另一示例中,机器人100可通过将第一图像的图案与预先存储的图案进行比较和分析来识别包括在第一图像中的外部光区域。
机器人100可基于到对象的距离信息和关于外部光区域的信息来生成行驶路径(S850)。机器人100可生成行驶路径,以与对象和外部光区域间隔预设距离或间隔预设距离以上地行驶。
图9是示出根据本公开的另一实施例的机器人的控制方法的流程图。
机器人100可在发光部件输出用于获得到对象的距离信息的光时使用相机获得第一图像,并且在发光部件不输出光时使用相机获得第二图像(S910)。因为该操作与图8中的操作S810相应,所以将省略该操作的详细描述。
机器人100可基于第一图像获得第一距离信息,并基于第二图像获得第二距离信息(S920)。机器人100可基于三角测量获得第一距离信息和第二距离信息。然后,机器人100可通过从第一距离信息中减去第二距离信息来获得第三距离信息(S930)。
机器人100可基于第二距离信息获得关于外部光区域的信息(S940)。机器人100可从第二距离信息中识别出阈值范围内的距离信息,并且获得第二图像的与识别出的距离信息相应的像素的位置信息。机器人100可将所获得的像素的位置信息获得为关于外部光区域的位置信息。
机器人100可基于第三距离信息和关于外部光区域的信息生成行驶路径(S950)。机器人100可基于到对象的距离信息和包括在第三距离信息中的外部光区域的位置信息,生成行驶路径以与对象和外部光区域间隔预设距离或间隔预设距离以上地行驶。即,机器人100可生成绕过对象和外部光区域的行驶路径。
上述各种实施例可使用软件、硬件或它们的组合在计算机中或在可由类似于计算机的设备读取的记录介质中实现。在一些情况下,本公开中描述的实施例可由处理器自己实现。基于软件实现,本公开中描述的过程和功能的实施例可用单独的软件模块来实现。上述软件模块中的每一个可执行本公开中描述的至少一个功能和操作。
用于执行根据上述各种实施例的处理操作的计算机指令可存储在非暂时性计算机可读介质中。存储在该非暂时性计算机可读介质中的计算机指令在由处理器执行时,可使特定装置执行根据上述各种实施例的处理操作。
非暂时性计算机可读介质可指半永久地存储数据而不是在非常短的时间内存储数据的介质,诸如寄存器、高速缓存、存储器等,并且可由设备读取。非暂时性计算机可读介质的具体示例可包括例如但不限于光盘(CD)、数字通用光盘(DVD)、硬盘、蓝光光盘、USB、存储卡、ROM等。
虽然已经参照本公开的各种示例实施例示出和描述了本公开,但是应当理解,各种示例实施例旨在是说明性的,而不是限制性的。本领域技术人员将理解,在不脱离包括所附权利要求及其等同物的本公开的真实精神和全部范围的情况下,可在其中进行形式和细节上的各种改变。

Claims (15)

1.一种机器人,包括:
发光部件;
相机;以及
处理器,
其中,所述处理器被配置为进行以下操作:
在所述发光部件输出用于获得到对象的距离信息的光时使用所述相机获得关于所述对象的第一信息,并且在所述发光部件不输出所述光时使用所述相机获得关于所述对象的第二信息,
基于第一信息和第二信息获得关于所述对象的第三信息,
基于第一信息、第二信息以及第三信息中的至少一个信息,获得关于外部光区域的信息,以及
基于关于所述外部光区域的信息生成所述机器人的行驶路径。
2.根据权利要求1所述的机器人,其中,
第一信息包括在所述发光部件输出所述光时由所述相机拍摄的第一图像,
第二信息包括在所述发光部件不输出所述光时由所述相机拍摄的第二图像,以及
第三信息包括第三图像,其中,在第三图像中,从第一图像的像素值中减去了第二图像的像素值。
3.根据权利要求2所述的机器人,其中,所述处理器被配置为进行以下操作:
获得第二图像像素中的包括大于或等于阈值的尺寸的像素的位置信息,以及
将获得的像素的位置信息获得为关于所述外部光区域的位置信息。
4.根据权利要求2所述的机器人,其中,所述处理器被配置为进行以下操作:
从第一图像的像素中识别包括大于或等于阈值的尺寸的至少一个像素,
获得与识别的所述至少一个像素相应的区域的厚度信息,以及
将获得的厚度信息与预先存储的所述光的厚度信息进行比较,并且识别与识别的所述至少一个像素相应的区域是否与所述外部光区域相应。
5.根据权利要求4所述的机器人,其中,所述处理器被配置为进行以下操作:
获得与识别的所述至少一个像素相应的区域的厚度信息,以及
基于识别的所述至少一个像素中的位于下端的第一像素的位置信息和识别的所述至少一个像素中位于上端的第二像素的位置信息,获得与识别的所述至少一个像素相应的区域的厚度信息。
6.根据权利要求1所述的机器人,其中,
第一信息包括到包括在第一图像中的至少一个对象的第一距离信息,其中,第一图像是在所述发光部件输出所述光时由所述相机拍摄的,
第二信息包括到包括在第二图像中的至少一个对象的第二距离信息其中,第二图像是在所述发光部件不输出所述光时由所述相机拍摄的,以及
第三信息包括第三距离信息,其中,在第三距离信息中,从第一距离信息中减去了第二距离信息。
7.根据权利要求6所述的机器人,其中,所述处理器被配置为进行以下操作:
从第二距离信息中识别阈值范围内的距离信息,
获得第二图像的与识别出的距离信息相应的像素的位置信息,以及
将获得的像素的位置信息获得为关于所述外部光区域的位置信息。
8.根据权利要求2所述的机器人,其中,所述处理器被配置为进行以下操作:
获得到包括在第三图像中的对象的距离信息,以及
基于到所述对象的距离信息和关于所述外部光区域的信息,生成绕过所述对象和所述外部光区域的行驶路径。
9.一种机器人的控制方法,所述方法包括:
在发光部件输出用于获得到对象的距离信息的光时使用相机获得关于所述对象的第一信息,并且在所述发光部件不输出所述光时使用所述相机获得关于所述对象的第二信息;
基于第一信息和第二信息获得关于所述对象的第三信息;
基于第一信息、第二信息以及第三信息中的至少一个信息,获得关于外部光区域的信息;以及
基于关于所述外部光区域的信息生成所述机器人的行驶路径。
10.根据权利要求9所述的方法,其中,
第一信息包括在所述发光部件输出所述光时拍摄的第一图像,
第二信息包括在所述发光部件不输出所述光时拍摄的第二图像,以及
第三信息包括第三图像,其中,在第三图像中,从第一图像的像素值中减去了第二图像的像素值。
11.根据权利要求10所述的方法,其中,所述获得关于所述外部光区域的信息的步骤包括:
获得第二图像像素中的包括大于或等于阈值的尺寸的像素的位置信息,以及
将获得的像素的位置信息获得为关于所述外部光区域的位置信息。
12.根据权利要求10所述的方法,其中,所述获得关于所述外部光区域的信息的步骤包括:
从第一图像的像素中识别包括大于或等于阈值的尺寸的至少一个像素,
获得与识别的所述至少一个像素相应的区域的厚度信息,以及
将获得的厚度信息与预先存储的所述光的厚度信息进行比较,并且识别与识别的所述至少一个像素相应的区域是否与所述外部光区域相应。
13.根据权利要求12所述的方法,其中,所述获得与识别的所述至少一个像素相应的区域的厚度信息的步骤包括:
基于识别的所述至少一个像素中的位于下端的第一像素的位置信息和识别的所述至少一个像素中的位于上端的第二像素的位置信息,获得与识别的所述至少一个像素相应的区域的厚度信息。
14.根据权利要求9所述的方法,其中,
第一信息包括到包括在第一图像中的至少一个对象的第一距离信息,其中,第一图像是在所述发光部件输出所述光时拍摄的,
第二信息包括到包括在第二图像中的至少一个对象的第二距离信息,其中,第二图像是在所述发光部件不输出所述光时拍摄的,以及
第三信息包括第三距离信息,其中,在第三距离信息中,从第一距离信息中减去了第二距离信息。
15.根据权利要求14所述的方法,其中,所述获得关于所述外部光区域的信息的步骤包括:
从第二距离信息中识别阈值范围内的距离信息,
获得第二图像的与识别出的距离信息相应的像素的位置信息,以及
将获得的像素的位置信息获得为关于所述外部光区域的位置信息。
CN202180056307.1A 2020-08-11 2021-08-05 机器人及其控制方法 Pending CN116096539A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200100228A KR20220019930A (ko) 2020-08-11 2020-08-11 로봇 및 그 제어 방법
KR10-2020-0100228 2020-08-11
PCT/KR2021/010331 WO2022035127A1 (ko) 2020-08-11 2021-08-05 로봇 및 그 제어 방법

Publications (1)

Publication Number Publication Date
CN116096539A true CN116096539A (zh) 2023-05-09

Family

ID=80246749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180056307.1A Pending CN116096539A (zh) 2020-08-11 2021-08-05 机器人及其控制方法

Country Status (5)

Country Link
US (1) US20230185308A1 (zh)
EP (1) EP4151373A4 (zh)
KR (1) KR20220019930A (zh)
CN (1) CN116096539A (zh)
WO (1) WO2022035127A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114374777B (zh) * 2021-06-02 2023-06-16 北京石头世纪科技股份有限公司 线激光模组及自移动设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003185412A (ja) * 2001-12-18 2003-07-03 Toshiba Corp 画像取得装置および画像取得方法
KR101461185B1 (ko) * 2007-11-09 2014-11-14 삼성전자 주식회사 스트럭쳐드 라이트를 이용한 3차원 맵 생성 장치 및 방법
KR101450569B1 (ko) * 2013-03-05 2014-10-14 엘지전자 주식회사 로봇 청소기
KR101578878B1 (ko) * 2014-05-07 2015-12-21 에브리봇 주식회사 거리 센서 장치, 로봇 청소기 및 이의 제어 방법
JP6848364B2 (ja) * 2016-11-10 2021-03-24 株式会社リコー 測距装置、移動体、ロボット、3次元計測装置、監視カメラ及び測距方法
US11498228B2 (en) * 2017-06-14 2022-11-15 Lg Electronics Inc. Method for sensing depth of object by considering external light and device implementing same
US11341615B2 (en) * 2017-09-01 2022-05-24 Sony Corporation Image processing apparatus, image processing method, and moving body to remove noise in a distance image
KR102612861B1 (ko) 2019-02-15 2023-12-14 한국철도기술연구원 철도차량용 전기기계식 제동장치의 휴대용 성능 시험장치
CN211012988U (zh) * 2019-11-19 2020-07-14 珠海市一微半导体有限公司 基于激光视觉信息避障导航的移动机器人

Also Published As

Publication number Publication date
KR20220019930A (ko) 2022-02-18
EP4151373A4 (en) 2023-11-08
US20230185308A1 (en) 2023-06-15
EP4151373A1 (en) 2023-03-22
WO2022035127A1 (ko) 2022-02-17

Similar Documents

Publication Publication Date Title
US20210231435A1 (en) Distance measurement device, distance measurement system, imaging apparatus, moving body, method of controlling distance measurement device, method of controlling distance measurement system, and recording medium
US10776946B2 (en) Image processing device, object recognizing device, device control system, moving object, image processing method, and computer-readable medium
US8805021B2 (en) Method and apparatus for estimating face position in 3 dimensions
US8477198B2 (en) Interaction control system, method for detecting motion of object, host apparatus and control method thereof
WO2017158958A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
CN108600740B (zh) 光学元件检测方法、装置、电子设备和存储介质
US10914960B2 (en) Imaging apparatus and automatic control system
US20180137638A1 (en) Processing device, image capture device, and automatic control system
US20230177709A1 (en) Electronic device and method for controlling same
CN111801706A (zh) 视频对象检测
CN116096539A (zh) 机器人及其控制方法
JP2017151535A (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP2016173795A (ja) 画像処理装置、画像処理方法およびプログラム
CN114556252A (zh) 信息处理装置、信息处理方法和程序
JP6992356B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム
US11210530B2 (en) Semiconductor device, mobile apparatus, and method of controlling mobile apparatus
JP6491893B2 (ja) 自律走行制御システムとこれを用いる自律走行装置及び自律走行制御方法と制御プログラムと記録媒体
EP3547213A1 (en) Information processing system and information processing method
US11750912B2 (en) Main subject tracking and prioritization using depth and successive temporal location proximity
KR102646750B1 (ko) 표시 객체의 확산 정도에 기반하여 초점을 조절하는 방법 및 이를 구현한 전자 장치
CN114762019A (zh) 摄像机系统
JP5361352B2 (ja) 目標検出装置
US20240176354A1 (en) In-port object occupied space recognition apparatus
KR20170108262A (ko) 무인 이동 장치를 위한 장애물 검출 방법 및 장치
JP2009252094A (ja) 顔画像検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination