CN112346449A - 语意地图定向装置、方法及机器人 - Google Patents

语意地图定向装置、方法及机器人 Download PDF

Info

Publication number
CN112346449A
CN112346449A CN202010440553.4A CN202010440553A CN112346449A CN 112346449 A CN112346449 A CN 112346449A CN 202010440553 A CN202010440553 A CN 202010440553A CN 112346449 A CN112346449 A CN 112346449A
Authority
CN
China
Prior art keywords
processor
space
semantic
image information
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010440553.4A
Other languages
English (en)
Inventor
陈永庆
谢光勋
潘信全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pegatron Corp
Original Assignee
Pegatron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pegatron Corp filed Critical Pegatron Corp
Publication of CN112346449A publication Critical patent/CN112346449A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155Bayesian classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36Indoor scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/70Labelling scene content, e.g. deriving syntactic or semantic representations
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

一种语意地图定向装置、方法及机器人,其中语意地图定向装置包含相互耦接的影像获取装置、存储器以及处理器。存储器存储地图信息,地图信息界定空间中的至少一区域。处理器获取语意属性列表,语意属性列表包含多个物件组合及多个空间关键词,该些空间关键词分别对应该些物件组合。处理器用以存取地图信息,控制影像获取装置获取对应至少一区域中的一者的影像信息,并判断影像信息中被获取的多个物件是否匹配语意属性列表中的物件组合中的一者。若影像信息中被获取的该些物件匹配物件组合,处理器将区域分类至对应物件组合的空间关键词以更新地图信息。

Description

语意地图定向装置、方法及机器人
技术领域
本公开涉及一种电子装置、控制方法及机器人,特别涉及一种基于语意地图进行定向的装置、控制方法及机器人。
背景技术
电脑视觉(Computer Vision,CV)可用于建立语意地图,但演算法的分类误差可能造成不准确的判断结果。在现有技术中可通过检测“门”的位置来判断空间的分隔。然而,这种判断方式并无法可靠地界定空间中的各区域在语意上的差异。
发明内容
为了解决前述问题,本公开提出下列的实施方式,使电子装置以及机器人利用语意地图进行多种应用。
本公开的一实施方式涉及一种语意地图定向装置。该语意地图定向装置至少包含一影像获取装置、一存储器以及一处理器,该影像获取装置以及该存储器耦接于该处理器。该存储器存储一地图信息,其中该地图信息界定一空间中的至少一区域。该处理器获取一语意属性列表,其中该语意属性列表包含多个物件组合及多个空间关键词,其中该些空间关键词分别对应该些物件组合。该处理器用以执行以下步骤:存取该地图信息;控制该影像获取装置获取对应该至少一区域其中一个的一影像信息;判断该影像信息中被获取的多个物件是否匹配该语意属性列表中的该些物件组合的其中一个;以及若该影像信息中被获取的该些物件匹配该物件组合,将该区域分类至对应该物件组合的该空间关键词以更新该地图信息。
本公开的另一实施方式涉及一种语意地图定向方法。该物件检测方法由一处理器所执行。该语意地图定向至少包含以下步骤:存取一地图信息,其中该地图信息界定一空间中的至少一区域;控制一影像获取装置获取对应该至少一区域的一影像信息;判断该影像信息中被获取的多个物件是否匹配一语意属性列表中的多个物件组合的其中一个,其中该语意属性列表包含该些物件组合及多个空间关键词,且该些空间关键词分别对应该些物件组合;以及若该影像信息中被获取的该些物件匹配该物件组合,将该区域分类至对应该物件组合的该空间关键词以更新该地图信息。
本公开的又一实施方式涉及一种机器人,该机器人具有语意地图定向功能。该机器人包含一影像获取装置、一移动装置、一输入装置、一存储器以及一处理器。该处理器耦接于该影像获取装置、该移动装置、该输入装置以及该存储器。该输入装置用以接收一指令。该处理器获取一语意属性列表,该语意属性列表包含多个物件组合及多个空间关键词,其中该些空间关键词分别对应该些物件组合。该处理器用以:存取该地图信息;控制该影像获取装置获取对应该至少一区域其中一个的一影像信息;判断该影像信息中被获取的多个物件是否匹配该语意属性列表中的该些物件组合的其中一个;若该影像信息中被获取的该些物件匹配该物件组合,将该区域分类至对应该物件组合的该空间关键词以更新该地图信息;判断该输入装置接收的该指令是否对应该些空间关键词的其中一个;以及若该指令对应该些空间关键词的其中一个,控制该移动装置移动至对应该空间关键词的该至少一区域。
因此,根据本公开的前述实施方式,本公开至少提供一种语意地图定向装置、方法以及机器人,可在传统的地图上附加具有可供语意识别的空间属性,使电子装置以及机器人利用语意地图进行多种应用。
附图说明
参照后续段落中的实施方式以及下列附图,当可更佳地理解本发明的内容:
图1是基于本公开一些实施例所示出的语意地图定向装置的示意图;
图2是基于本公开一些实施例所示出的语意地图定向机器人的示意图;
图3是基于本公开一些实施例所示出的语意地图定向方法的流程图;
图4是基于本公开一些实施例所示出的地图信息的示意图;
图5是基于本公开一些实施例所示出的语意地图定向机器人执行物件识别的示意图;以及
图6~图11是基于本公开一些实施例所示出的语意地图定向方法的情境示意图。
附图标记说明:
100A:语意地图定向装置
100B:语意地图定向机器人
110:存储器
120:处理器
130:影像获取装置
140:输入装置
150:移动装置
160:作业装置
S1~S6:步骤流程
RH:头部
RL1~RL3:关节
RB:躯干
RR:手臂
RF:底座
C1~C4:坐标
RM:平面图
Z1~Z6:区域
O1~O14:物件
具体实施方式
以下将以附图及详细叙述清楚说明本公开的构思,任何所属技术领域中技术人员在了解本公开的实施例后,当可由本公开所教示的技术,加以改变及修饰,其并不脱离本公开的构思与范围。
关于本文中所使用的“耦接”或“连接”,均可指二或多个元件或装置相互直接作实体接触,或是相互间接作实体接触,亦可指二或多个元件或装置相互操作或动作。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等,均为开放性的用语,意指包含但不限于。
关于本文中所使用的“及/或”,包括所述事物的任一或全部组合。
请参照图1,其为基于本公开一些实施例所示出的语意地图定向装置的示意图。如图1所示,在一些实施例中,语意地图定向装置100A包含存储器110以及处理器120,存储器110电性/通信耦接于处理器120。在又一些实施例中,语意地图定向装置100A还包含影像获取装置130,影像获取装置130亦电性/通信耦接于处理器120。然而,语意地图定向装置100A的硬件架构并不以此为限。
在一些实施例中,语意地图定向装置100A当中的存储器110、处理器120以及影像获取装置130可构成独立运行的一运算装置。在一些实施例中,影像获取装置130主要用以获取特定空间中的影像(或连续的影像串流)信息,使处理器120可根据存储器中所存储的电脑可读取指令处理影像获取装置130所获取的影像信息,借此实现语意地图定向装置100A的功能。
请参照图2,其为基于本公开一些实施例所示出的语意地图定向机器人的示意图。如图2所示,在一些实施例中,语意地图定向机器人100B包含图1所示的语意地图定向装置100A当中的元件。详细而言,语意地图定向机器人100B包含存储器110、处理器120、影像获取装置130、输入装置140、移动装置150以及作业装置160。如图2所示,该些装置皆电性/通信耦接于处理器120。然而,语意地图定向机器人100B的硬件架构并不以此为限。
在一些实施例中,存储器110、处理器120、影像获取装置130以及输入装置140可构成语意地图定向机器人100B的运算单元,移动装置150以及作业装置160可构成语意地图定向机器人100B的作业单元。运算单元与作业单元可协同运行,借此实现语意地图定向机器人100B的功能(例如,控制移动装置150以及作业装置160完成对应外部指令的特定动作)。
应理解,本公开所称的“电性耦接”或“通信耦接”可为实体或非实体的耦接。例如,在一些实施例中,处理器120可以通过无线通信技术耦接至存储器110,借此两者可进行双向的信息交换。在一些实施例中,存储器110以及处理器120可以通过实体线路耦接,借此两者亦可进行双向的信息交换。前述实施例皆可称作“电性耦接”或“通信耦接”。
在一些实施例中,存储器110可为包含但不限于快闪(flash)存储器、硬盘(HDD)、固态硬盘(SSD)、动态随机存取存储器(DRAM)或静态随机存取存储器(SRAM)当中的一者或其组合。在一些实施例中,作为一种非暂态电脑可读取媒体,存储器110可存储至少一电脑可读取指令,此电脑可读取指令可供处理器120存取,处理器120可执行此电脑可读取指令以运行一应用程序,借此实现语意地图定向装置100A的功能。应理解,此应用程序主要是一种将地图信息与特定语意关键词连结的应用程序。
在一些实施例中,处理器120可包含但不限于单一处理器或多个微处理器的集成,例如,中央处理器(CPU)、绘图处理器(GPU)或特殊应用电路(ASIC)等。承前所述,在一些实施例中,处理器120可用以自存储器110存取并执行此电脑可读取指令,借此运行应用程序,进而实现语意地图定向装置100A的功能。
在一些实施例中,影像获取装置130可包含但不限于一般用途光学摄影机、红外线摄影机、深度摄影机或可调式摄影机等。在一些实施例中,影像获取装置130为可单独运行的装置,其可独自获取并存储器映象串流。在一些实施例中,影像获取装置130可获取影像串流,并将影像串流存储至存储器110。在一些实施例中,影像获取装置130可获取影像串流,由处理器120处理后存储至存储器110。
在一些实施例中,输入装置140可包含多种用以自外部接收信息的信号接收器,例如:以麦克风(Microphone)接收来自外部的音频、以温度计检测外部的温度、以脑波检测器接收使用者的脑波、以键盘或触控显示器接收使用者操作的输入等。在一些实施例中,输入装置140可进行基本的信号前处理、信号转换、信号过滤、信号放大等功能,但本公开并不以此为限。
在一些实施例中,移动装置150可包含多种机械装置以及驱动装置的组合,例如:马达、履带、轮具、机械肢体、关节机构、转向机、避震器等的组合。在一些实施例中,移动装置150可用以于特定空间中移动语意地图定向机器人100B。
在一些实施例中,作业装置160可包含多种机械装置以及驱动装置的组合,例如:马达、机械肢体、关节机构、转向机、避震器等的组合。在一些实施例中,作业装置160令语意地图定向机器人100B可与物体进行特定的互动性操作,例如:抓取物体、移动物体、放下物体、组装物体、破坏物体等。
为了更佳地理解本公开,由语意地图定向装置100A以及语意地图定向机器人100B的处理器120所运行的应用程序的详细内容,将于下面段落中解释。
请参照图3,其为基于本公开一些实施例所示出的语意地图定向方法的流程图。在一些实施例中,此语意地图定向方法可由图1的语意地图定向装置100A或由图1的语意地图定向机器人100B所实施。为了更佳地理解下面实施例,请一并参照图1、图2的实施例,以语意地图定向装置100A或语意地图定向机器人100B当中各单元的运行。
详细而言,图3所示的语意地图定向方法即为图1、图2的实施例所述的应用程序,其是由处理器120自存储器110读取并执行电脑可读取指令以运行。在一些实施例中,语意地图定向方法的详细步骤如下所示。
S1:存取一地图信息,其中该地图信息界定一空间中的至少一区域。
在一些实施例中,处理器120可自存储装置(例如:存储器110或云端服务器)存取特定的地图信息,尤为语意地图定向装置100A及/或语意地图定向机器人100B所处空间的地图信息。例如:若语意地图定向装置100A及/或语意地图定向机器人100B被设置于一住宅当中,此地图信息可为此住宅的平面图(Floor Plan)信息,此地图信息可记录住宅中的多个分隔物(例如:墙壁、固定式家具等)的位置信息,该些分隔物于住宅当中界定多个区域(Zones)。然而,本公开的地图信息并不以此为限。
在一些实施例中,此地图信息可由处理器120所产生。例如:语意地图定向机器人100B可通过移动装置150于所处空间中移动。在语意地图定向机器人100B的移动过程中,语意地图定向机器人100B可通过特定光学装置(例如:光学雷达装置或影像获取装置130)获取语意地图定向机器人100B相对于所处空间的多个信息(例如:光学雷达装置与空间中障碍的距离),处理器120可采用特定的实时定位与地图构建(Simultaneous localizationand mapping,SLAM)演算法(例如:Google Cartographer演算法)来产生空间的平面图,再以特定的空间区隔(Room Segmentation)演算法(例如:维诺图分割法)处理该些影像信息以区隔空间中的多个区域(例如:以“门”的位置作为区域的分隔)。借此,处理器120可产生此地图信息并确认空间中的多个区域。
在一些实施例中,空间区隔演算法可包含以下步骤:(A)、根据影像获取装置于空间中进行采样的结果产生一般化的维诺图(Voronoi Diagram);(B)、根据维诺图中的临界点(Critical Point)之间的距离决定是否缩减临界点的数量,借此减少系统运算量;(C)、根据临界点规划出临界线(Critical Lines),以于维诺图中分隔出多个空间,并根据临界线之间的夹角角度决定来是否减少临界线的数量;(D)、根据隔墙的比例决定是否合并相邻的空间为单一空间。
为了更佳地理解此地图信息,请参照图4,其为基于本公开一些实施例所示出的地图信息的示意图。如图4所示,平面图RM示出了一住宅当中的多个区域Z1~Z6,每个区域分别对应至住宅当中的实体房间或通道。如图4所示,区域Z1与区域Z2、区域Z3及区域Z6连通。区域Z3与区域Z1、区域Z4及区域Z5连通。
S2:控制一影像获取装置获取对应该至少一区域的一影像信息。
在一些实施例中,处理器120可控制影像获取装置130于此地图信息定义的各区域当中获取影像,进而产生多个影像信息。例如,语意地图定向机器人100B的处理器120可根据一定逻辑(例如:遍历搜索)来控制移动装置150移动,使语意地图定向机器人100B得以于平面图RM对应的住宅中移动。在移动过程中,处理器120可控制影像获取装置130于区域Z1~Z6分别对应的房间或通道当中获取影像。
在一些实施例中,处理器120可控制影像获取装置130进行水平或垂直旋转,方可全面性地获取各房间或通道当中的影像。借此,处理器120可获取对应于区域Z1~Z6的影像信息。在一些实施例中,处理器120可于特定存储装置(例如:存储器110)中存储该些影像信息。
S3:判断该影像信息中被获取的多个物件是否匹配一语意属性列表中的多个物件组合的其中一个,该语意属性列表包含该些物件组合及多个空间关键词,且该些空间关键词分别对应该些物件组合。
在一些实施例中,处理器120可根据电脑视觉(Computer Vision,CV)技术中的特定物件识别(Object Detection)演算法分析影像获取装置130所获取的影像信息,其目的在于识别影像当中是否包含对应特定物件(例如:窗户、门、家具、日用品等),并获取该些物件于空间中的坐标信息。
为了更佳地理解处理器120所执行的物件识别演算法,请一并图5,其是基于本公开一些实施例所示出的语意地图定向机器人执行物件识别的示意图。在一些实施例中,语意地图定向机器人100B的外观如图5所示。语意地图定向机器人100B可包含多个部件,由外观可大致区分为头部RH、关节RL1~RL3、躯干RB、手臂RR以及底座RF。头部RH通过关节RL可多向旋转地耦接于躯干RB,手臂RR通过关节RL2可多向旋转地耦接于躯干RB,底座RF通过关节RL3可多向旋转地耦接于躯干RB。在一些实施例中,影像获取装置130设置于头部RH,移动装置150设置于底座RF,作业装置160设置于手臂RR。
在一些实施例中,语意地图定向机器人100B是通过机器人作业系统(RobotOperating System,ROS)来执行预定的各种操作。一般而言,语意地图定向机器人100B的头部RH、关节RL1~RL3、躯干RB、手臂RR以及底座RF的连接关系或可旋转角度可存储为机器人作业系统中的特定树状(Tree)结构数据。当影像获取装置130持续获取环境中的影像信息并检测到物件时,处理器120可根据此树状结构数据当中的该些部件作为参照点来执行坐标转换程序,以将被检测的物件于照相机色彩光学框架(Camera Color Optical Frame)中的位置转换为世界坐标(World Map),并将被检测的物件的世界坐标存储到位于特定存储装置(例如:存储器110或其他存储器)的语意地图数据库当中。例如,当语意地图定向机器人100B的底座RF位于世界坐标中的坐标C1时,通过树状结构数据中所定义的底座RF与躯干RB的距离以及旋转角度,处理器120可获取躯干RB于世界坐标中对应的坐标C2。同理地,通过树状结构数据中所定义的躯干RB与头部RH的距离以及旋转角度,处理器120可获取头部RH对应的坐标C3。当位于头部的影像获取装置130检测到环境中的特定物件时,通过前述相互参照的世界坐标转换程序(即以坐标C1~C3作为参照点),处理器120可获取并存储此物件对应的坐标C4。
然而,应理解,前述物件识别演算法仅是用以示例而非用以限制本公开,其他可行的物件识别演算法亦包含于本公开的保护范围中。同理地,语意地图定向机器人100B的外观以及结构仅亦仅是示例而非用以限制本公开,本公开的保护范围亦包含其他可行的机器人设计。
在一些实施例中,处理器120可自特定存储装置(例如:存储器110)存取一语意(Semantic)属性列表,或者处理器本身可具有另一存储器(例如:用以实施前述语意地图数据库的存储器)用于存储此语意属性列表。此语意属性列表包含关于多种特定的物件组合(例如:窗户、门、家具、日用品等的组合)的信息,每个物件组合可对应至特定的关键词。在一些实施例中,该些关键词的语意于一般意义上是用以定义空间的用途或特性,例如:客厅、厨房、寝室、厕所、阳台、楼梯等。亦即,此语意属性列表中存储的关键词可理解为一种“空间”关键词。
在一些实施例中,根据此语意属性列表,处理器120可判断影像获取装置130所获取的影像信息中是否有特定的物件组合。例如:根据对应区域Z1的影像,处理器120可判断区域Z1当中是否有沙发椅及电视等家具的组合。又例如:根据对应区域Z2的影像,处理器120可判断区域Z2当中是否有瓦斯炉及冰箱等家具的组合。
S4:若该影像信息中被获取的该些物件匹配该物件组合,将该区域分类至对应该物件组合的该空间关键词以更新该地图信息。
承前所述,该些关键词的语意于一般意义上是用以定义空间的用途或特性。在一些实施例中,此语意属性列表当中的每个物件组合与空间关键词的对应关系可由系统工程师或使用者预定义而成。在一些实施例中,此对应关系可由处理器120通过特定的学习(Machine Learning)演算法而产生。例如:处理器120可于网络上获取关于该些空间关键词(例如:客厅、厨房、寝室等)的影像,并通过类神经网络(Neural Network)演算法反复训练特定模型,以推论该些空间关键词是否关联于特定物件组合(例如:厨房当中设置有瓦斯炉及冰箱、寝室中设置有床及衣柜等)。
在一些实施例中,处理器120可根据特定的推论引擎(Inference Engine)判断影像信息中是否包含特定的物件组合。在一些实施例中,此推论引擎为一种单纯贝氏分类器(Naive Bayes Classifier)。单纯贝氏分类器可理解为一种几率分类器(ProbabilityClassifier),其是假设特征值(即,特定物件)的出现分别为独立的事件,并为特征值的几率分配指定特定的随机变数,进而使用贝氏定理(Bayes’Theorem)进行分类的推论。单纯贝氏分类器可通过较少的训练样本配合经验法则来进行训练,其训练时间较之深度学习相对快速,有利于资源有限的硬件平台上实现。
在一些实施例中,当处理器120于某些区域对应的影像信息当中识别特定的物件组合时,处理器120可于此区域附加此物件组合对应的空间关键词,并以附加空间关键词的地图信息更新/取代原有的地图信息。换言之,这种更新可理解为处理器120对地图信息中的此区域进行语意分类,此语意分类对应于此区域中检测到的物件组合所对应的空间关键词。反复于各空间中实施此步骤,处理器120可为各空间分别附加对应空间关键词的语意属性,使原始的地图信息变为一种具有语意属性的地图信息。
为了更佳地理解步骤S220-S240,请一并参照图6~图11,该些附图是基于本公开一些实施例所示出的语意地图定向方法的情境示意图。
在一些实施例中,处理器120存取的语意属性列表至少包含下列“空间关键词”以及“物件”的对应关系:(A)“客厅”对应“电视”、“沙发”以及“柜子”;(B)“厨房”对应“瓦斯炉”、“冰箱”以及“烘碗机”;(C)“厕所”对应“镜子”、“浴缸”以及“马桶”;(D)“寝室”对应“床”、“柜子”以及“镜子”;(E)“通道”对应“图画”、“扶手”以及“壁纸”;(F)“储藏室”对应“纸箱”、“脚踏车”以及“层架”;以及(G)“阳台”对应“洗衣机”、“衣架”以及“脸盆”。应理解,在本实施例中,各空间关键词对应的物件组合彼此有部分重叠,但此语意属性列表仅是用以说明而非用以限制本公开。在另一些实施例中,语意属性列表当中可包含更多关键词以及更多物件组合的对应关系。
如图6所示,语意地图定向机器人100B位于对应区域Z1的房间中,处理器120可控制影像获取装置130于对应区域Z1的房间中获取影像信息,并分析影像信息中是否包含特定物件组合。如图5所示,处理器120可于影像信息中识别出物件O1~O3,其中物件O1为沙发,物件O2为柜子,物件O3为电视。处理器120可根据前述的语意属性列表执行贝氏分类器,其判断结果为物件O1~O3匹配“客厅”定义的全部物件组合。因此,对应区域Z1的房间有高几率为“客厅”,处理器120可于地图信息中的区域Z1附加“客厅”空间关键词的语意属性。
如图7所示,语意地图定向机器人100B可通过移动装置150移动至对应区域Z2的房间,并通过影像获取装置130获取影像信息。如图6所示,处理器120可于影像信息中识别出物件O4~O6,其中物件O4为冰箱,物件O5为瓦斯炉,物件O6为餐桌。处理器120可根据贝氏分类器判断物件O4~O6匹配“厨房”定义的部分物件组合(包含“瓦斯炉”以及“冰箱”)。因此,对应区域Z2的房间有较高几率为“厨房”,处理器120可于地图信息中的区域Z2附加“厨房”空间关键词的语意属性。
如图8所示,语意地图定向机器人100B可移动至对应区域Z3的房间,并通过影像获取装置130获取影像信息。处理器120可于影像信息中识别出物件O7,其为图画。处理器120可根据贝氏分类器判断物件O7匹配“通道”定义的部分物件组合(仅包含“图画”)。因此,对应区域Z3的房间有几率为“通道”,处理器120可于地图信息中的区域Z3附加“通道”空间关键词的语意属性。
如图9所示,语意地图定向机器人100B可移动至对应区域Z4的房间,并通过影像获取装置130获取影像信息。如图8所示,处理器120可于影像信息中识别出物件O8~O9,物件O8为床,物件O9为柜子。处理器120可根据贝氏分类器判断物件O8~O9匹配“寝室”定义的部分物件组合(包含“床”以及“柜子”)。因此,对应区域Z4的房间有较高几率为“寝室”,处理器120可于地图信息中的区域Z4附加“寝室”空间关键词的语意属性。
如图10所示,语意地图定向机器人100B可移动至对应区域Z5的房间,并通过影像获取装置130获取影像信息。处理器120可于影像信息中识别出物件O10~O11,物件O10为床,物件O11为书桌。处理器120可根据贝氏分类器判断物件O10~O11匹配“寝室”定义的部分物件组合(仅包含“床”)。因此,对应区域Z5的房间有几率为“寝室”,处理器120可于地图信息中的区域Z5附加“寝室”空间关键词的语意属性。
如图11所示,语意地图定向机器人100B可移动至对应区域Z6的房间,并通过影像获取装置130获取影像信息。处理器120可于影像信息中识别出物件O12~O14,物件O12为马桶,物件O13为浴缸,物件O14为洗衣机。处理器120可根据贝氏分类器判断物件O12~O14同时匹配“厕所”以及“阳台”定义的部分物件组合,但对于“厕所”对应的物件组合的匹配程度较高。因此,对应区域Z6的房间有较几率为“厕所”而非“阳台”,处理器120可于地图信息中的区域Z6附加“厕所”空间关键词的语意属性。
承前所述,处理器120所执行的贝氏分类器可理解为一种几率型分类器,其可根据影像信息中所识别的物件与空间关键词的定义的匹配程度决定是否为特定区域附加语意属性。因此,增加语意属性列表当中的关键词分类,或增加各空间关键词对应的物件组合的复杂程度,可提升贝氏分类器正确分类的几率。例如:可于语意属性列表中将“寝室”细分为“主卧室”以及“小孩卧室”等空间关键词,或者于“寝室”定义的物件组合中加入更多的物件等。
S5:判断一输入装置接收的一指令是否对应该些空间关键词的其中一个。
在一些实施例中,语意地图定向机器人100B的使用者可通过输入装置140(例如:麦克风)输入指令,处理器120可根据特定语意分析演算法分析此指令,以判断此指令是否涉及前述用以定义空间中各区域的空间关键词。例如,使用者可通过输入装置140输入语音指令“去厨房帮我倒一杯水”,处理器120可判断此指令是否涉及前述空间关键词,处理器120的判断结果为此指令为涉及“厨房”此一空间关键词。
S6:若该指令对应该些空间关键词的其中一个,针对对应该空间关键词的该至少一区域执行一作业。
在一些实施例中,若处理器120判断使用者输入的指令涉及前述空间关键词,处理器120可针对对应此空间关键词的区域执行一作业。在一些实施例中,此作业包含控制移动装置150移动至对应空间关键词的区域。例如,承前所述,若处理器120判断此指令涉及“厨房”此一空间关键词,处理器120可根据平面图RM控制移动装置150移动至对应区域Z2的房间。进一步地,由于此指令中包含“倒一杯水”,处理器120可控制手臂RR上的作业装置160抓取杯子并进行取水的动作。应理解,通过前述机器人作业系统当中的树状结构数据以及世界坐标转换程序,处理器120于语意地图的训练过程中可获取“杯子”及“水”的世界坐标。借此,处理器120可正确地执行取水的动作。
应理解,前述实施例仅是用以解释而非用以限制本公开,其构思在于,通过本公开的语意地图定向机器人100B执行语意地图定向方法,令处理器120获得具有语意属性的地图信息。此后,当处理器120于指令中识别出该些语意属性,处理器120可正确地根据语意属性定向至对应的空间,并于此空间中执行指令所界定的作业。亦即,通过语意地图以及物件的世界坐标,语意地图定向机器人100B可具有环境感知功能。
在前述实施例中,虽多以语意地图定向机器人100B举例以解释本公开,然本公开并不以此为限。应理解,通过本公开方法进行的训练语意地图定向装置100A,其处理器120仍可将原始的地图信息更新为具有语意属性的地图信息,并借此定向特定区域以进行作业。
应理解,在前述实施例中,本公开的语意地图定向装置100A以及语意地图定向机器人100B具有多个功能方块或模块。领域中人应当理解,在一些实施例中,优选地,该些功能方块或模块可通过特定电路(包含在一或多个处理器以及编码指令下操作的专用电路或通用电路)以实现。一般而言,特定电路可包含晶体管或其他电路元件,以前述实施例中的方式配置,使特定电路可根据本公开所述的功能以及操作运行。进一步地,特定电路当中的功能方块或模块间的协作程序可由特定编译器(compiler)所实现,例如,暂存器传送语言(Register Transfer Language,RTL)编译器。然而,本公开并不以此为限。
虽然本公开以实施例公开如上,然其并非用以限定本公开,任何本领域技术人员,在不脱离本公开的构思和范围内,当可作各种的变动与润饰,因此本公开的保护范围当视权利要求所界定者为准。

Claims (16)

1.一种语意地图定向装置,其特征在于,包含:
一影像获取装置;
一存储器,存储一地图信息,其中该地图信息界定一空间中的至少一区域;以及
一处理器,耦接于该影像获取装置以及该存储器,该处理器获取一语意属性列表,其中该语意属性列表包含多个物件组合及多个空间关键词,其中所述多个空间关键词分别对应所述多个物件组合,该处理器用以:
存取该地图信息;
控制该影像获取装置获取对应该至少一区域其中一个的一影像信息;
判断该影像信息中被获取的多个物件是否匹配该语意属性列表中所述多个物件组合的其中一个;以及
若该影像信息中被获取的所述多个物件匹配该物件组合,将该区域分类至对应该物件组合的该空间关键词以更新该地图信息。
2.如权利要求1所述的语意地图定向装置,其特征在于,还包含:
一输入装置,耦接于该处理器,该输入装置用以接收一指令,并判断该指令是否对应所述多个空间关键词的其中一个,若该指令对应所述多个空间关键词的其中一个,该处理器针对对应该空间关键词的该至少一区域执行一作业。
3.如权利要求2所述的语意地图定向装置,其特征在于,该输入装置包含一麦克风,且该指令是一语音指令。
4.如权利要求2所述的语意地图定向装置,其特征在于,还包含:
一移动装置,耦接于该处理器,
其中该处理器执行的该作业是控制该移动装置移动至该空间中的该至少一区域。
5.如权利要求1所述的语意地图定向装置,其特征在于,该处理器是根据一贝氏分类器判断该影像信息中被获取的所述多个物件是否匹配所述多个物件组合的其中一个。
6.如权利要求1所述的语意地图定向装置,其特征在于,该处理器更用以:
根据一电脑视觉演算法识别该影像信息中被获取的所述多个物件;
根据该影像获取装置相对于多个参照点的一连接关系或一可旋转角度执行一坐标转换程序;
根据该坐标转换程序计算所述多个物件中的每一者于该至少一区域中的一坐标;以及
根据所述坐标判断该影像信息中被获取的所述多个物件是否位于该至少一区域的其中一个。
7.如权利要求6所述的语意地图定向装置,其特征在于,所述多个参照点是一机器人的至少一部件,该机器人用以承载该影像获取装置、该存储器以及该处理器。
8.一种语意地图定向方法,由一处理器所执行,其特征在于,该语意地图定向方法包含:
存取一地图信息,其中该地图信息界定一空间中的至少一区域;
控制一影像获取装置获取对应该至少一区域其中一个的一影像信息;
判断该影像信息中被获取的多个物件是否匹配一语意属性列表中的多个物件组合的其中一个,其中该语意属性列表包含所述多个物件组合及多个空间关键词,且所述多个空间关键词分别对应所述多个物件组合;以及
若该影像信息中被获取的所述多个物件匹配该物件组合,将该区域分类至对应该物件组合的该空间关键词以更新该地图信息。
9.如权利要求8所述的语意地图定向方法,其特征在于,还包含:
通过一输入装置接收一指令;
判断该指令是否对应所述多个空间关键词的其中一个;以及
若该指令对应所述多个空间关键词的其中一个,控制一移动装置移动至该空间中对应该空间关键词的该至少一区域。
10.如权利要求9所述的语意地图定向方法,其特征在于,该指令是一语音指令。
11.如权利要求8所述的语意地图定向方法,其特征在于,判断该影像信息中被获取的所述多个物件是否匹配该物件组合的其中一个是根据一贝氏分类器进行。
12.如权利要求8所述的语意地图定向方法,其特征在于,还包含:
根据一电脑视觉演算法识别该影像信息中被获取的所述多个物件;
根据该影像获取装置相对于多个参照点的一连接关系或一可旋转角度执行一坐标转换程序;
根据该坐标转换程序计算所述多个物件中的每一者于该至少一区域中的一坐标;以及
根据所述坐标判断该影像信息中被获取的所述多个物件是否位于该至少一区域的其中一个。
13.如权利要求12所述的语意地图定向方法,其特征在于,所述多个参照点是一机器人的至少一部件,该机器人用以承载该影像获取装置以及该处理器。
14.一种机器人,具有语意地图定向功能,其特征在于,该机器人包含:
一影像获取装置;
一移动装置;
一输入装置,用以接收一指令;
一存储器,存储一地图信息,其中该地图信息界定一空间中的至少一区域;以及
一处理器,耦接于该影像获取装置、该移动装置、该输入装置以及该存储器,该处理器获取一语意属性列表,其中该语意属性列表包含多个物件组合及多个空间关键词,其中所述多个空间关键词分别对应所述多个物件组合,该处理器用以:
存取该地图信息;
控制该影像获取装置获取对应该至少一区域其中一个的一影像信息;
判断该影像信息中被获取的多个物件是否匹配该语意属性列表中的所述多个物件组合的其中一个;
若该影像信息中被获取的所述多个物件匹配该物件组合,将该区域分类至对应该物件组合的该空间关键词以更新该地图信息;
判断该输入装置接收的该指令是否对应所述多个空间关键词的其中一个;以及
当该指令对应所述多个空间关键词的其中一个,控制该移动装置移动至对应该空间关键词的该至少一区域。
15.如权利要求14所述的机器人,其特征在于,该处理器更用以:
根据一电脑视觉演算法识别该影像信息中被获取的所述多个物件;
根据该影像获取装置相对于多个参照点的一连接关系或一可旋转角度执行一坐标转换程序;
根据该坐标转换程序计算所述多个物件中的每一者于该至少一区域中的一坐标;以及
根据所述坐标判断该影像信息中被获取的所述多个物件是否位于该至少一区域的其中一个。
16.如权利要求15所述的机器人,其特征在于,该机器人还包含:
至少一部件,用以承载该影像获取装置、该输入装置、该存储器以及该处理器,该至少一部件并耦接该移动装置,
其中所述多个参照点包含该至少一部件以及该移动装置。
CN202010440553.4A 2019-08-08 2020-05-22 语意地图定向装置、方法及机器人 Pending CN112346449A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108128368 2019-08-08
TW108128368A TWI735022B (zh) 2019-08-08 2019-08-08 語意地圖定向裝置、方法及機器人

Publications (1)

Publication Number Publication Date
CN112346449A true CN112346449A (zh) 2021-02-09

Family

ID=74357389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010440553.4A Pending CN112346449A (zh) 2019-08-08 2020-05-22 语意地图定向装置、方法及机器人

Country Status (3)

Country Link
US (1) US20210041889A1 (zh)
CN (1) CN112346449A (zh)
TW (1) TWI735022B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220282991A1 (en) * 2021-03-02 2022-09-08 Yujin Robot Co., Ltd. Region segmentation apparatus and method for map decomposition of robot
US20240020876A1 (en) * 2022-07-18 2024-01-18 Wing Aviation Llc Machine-Learned Monocular Depth Estimation and Semantic Segmentation for 6-DOF Absolute Localization of a Delivery Drone

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306145A (zh) * 2011-07-27 2012-01-04 东南大学 一种基于自然语言处理的机器人导航方法
CN104330090A (zh) * 2014-10-23 2015-02-04 北京化工大学 机器人分布式表征智能语义地图创建方法
CN105892302A (zh) * 2016-05-31 2016-08-24 北京光年无限科技有限公司 面向智能机器人的智能家居控制方法及控制系统
CN106067191A (zh) * 2016-05-25 2016-11-02 深圳市寒武纪智能科技有限公司 一种家用机器人建立语义地图的方法及系统
CN106782029A (zh) * 2016-11-30 2017-05-31 北京贝虎机器人技术有限公司 室内地图生成方法及装置
CN109163731A (zh) * 2018-09-18 2019-01-08 北京云迹科技有限公司 一种语义地图构建方法及系统
CN109272554A (zh) * 2018-09-18 2019-01-25 北京云迹科技有限公司 一种识别目标的坐标系定位和语义地图构建的方法及系统
US20190188473A1 (en) * 2017-12-20 2019-06-20 X Development Llc Semantic place recognition and localization
US20190202062A1 (en) * 2018-01-04 2019-07-04 Samsung Electronics Co., Ltd. Mobile home robot and controlling method of the mobile home robot
CN114102585A (zh) * 2021-11-16 2022-03-01 北京洛必德科技有限公司 一种物品抓取规划方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101152720B1 (ko) * 2009-10-30 2012-06-18 주식회사 유진로봇 이동 로봇의 슬립 감지 장치 및 방법
JP4821934B1 (ja) * 2011-04-14 2011-11-24 株式会社安川電機 3次元形状計測装置およびロボットシステム
TWI555524B (zh) * 2014-04-30 2016-11-01 國立交通大學 機器人的行動輔助系統
US11175676B2 (en) * 2016-10-20 2021-11-16 Lg Electronics Inc. Mobile robot and method of controlling the same
CN110100217B (zh) * 2016-12-30 2022-06-07 罗伯特·博世有限公司 处理室内环境的非结构化数据的移动机器人设备
US11194994B2 (en) * 2017-12-20 2021-12-07 X Development Llc Semantic zone separation for map generation
US11007644B2 (en) * 2018-09-04 2021-05-18 Irobot Corporation Mapping interface for mobile robots

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102306145A (zh) * 2011-07-27 2012-01-04 东南大学 一种基于自然语言处理的机器人导航方法
CN104330090A (zh) * 2014-10-23 2015-02-04 北京化工大学 机器人分布式表征智能语义地图创建方法
CN106067191A (zh) * 2016-05-25 2016-11-02 深圳市寒武纪智能科技有限公司 一种家用机器人建立语义地图的方法及系统
CN105892302A (zh) * 2016-05-31 2016-08-24 北京光年无限科技有限公司 面向智能机器人的智能家居控制方法及控制系统
CN106782029A (zh) * 2016-11-30 2017-05-31 北京贝虎机器人技术有限公司 室内地图生成方法及装置
US20190188473A1 (en) * 2017-12-20 2019-06-20 X Development Llc Semantic place recognition and localization
US20190202062A1 (en) * 2018-01-04 2019-07-04 Samsung Electronics Co., Ltd. Mobile home robot and controlling method of the mobile home robot
CN109163731A (zh) * 2018-09-18 2019-01-08 北京云迹科技有限公司 一种语义地图构建方法及系统
CN109272554A (zh) * 2018-09-18 2019-01-25 北京云迹科技有限公司 一种识别目标的坐标系定位和语义地图构建的方法及系统
CN114102585A (zh) * 2021-11-16 2022-03-01 北京洛必德科技有限公司 一种物品抓取规划方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LIJUN ZHAO;PAN LUO;ZHIQIANG ZHAO;LIANG DONG: "Indoor Environment Semantic Topological Mapping Based on Deep Learning", 2018 IEEE INTERNATIONAL CONFERENCE ON REAL-TIME COMPUTING AND ROBOTICS (RCAR), pages 520 - 523 *
王恒升;任晋;: "室内移动机器人人机交互的语义实现", 计算机科学与探索, no. 10 *
王恒升;任晋;: "室内移动机器人人机交互的语义实现", 计算机科学与探索, no. 10, 18 January 2018 (2018-01-18) *

Also Published As

Publication number Publication date
TWI735022B (zh) 2021-08-01
US20210041889A1 (en) 2021-02-11
TW202107331A (zh) 2021-02-16

Similar Documents

Publication Publication Date Title
US10297070B1 (en) 3D scene synthesis techniques using neural network architectures
Shridhar et al. Interactive visual grounding of referring expressions for human-robot interaction
Moon et al. Multiple kinect sensor fusion for human skeleton tracking using Kalman filtering
US11436437B2 (en) Three-dimension (3D) assisted personalized home object detection
US20190042894A1 (en) Embedding human labeler influences in machine learning interfaces in computing environments
US10062010B2 (en) System for building a map and subsequent localization
JP6339579B2 (ja) コンピュータビジョンベースの追跡のために複数のマップをマージするシステムおよび方法
Mei et al. Closing loops without places
US20180246520A1 (en) Observability Grid-Based Autonomous Environment Search
CN112346449A (zh) 语意地图定向装置、方法及机器人
Zerrouki et al. Accelerometer and camera-based strategy for improved human fall detection
US11562524B2 (en) Mobile robots to generate occupancy maps
Banos et al. Kinect= imu? learning mimo signal mappings to automatically translate activity recognition systems across sensor modalities
KR102359289B1 (ko) 학습된 기계학습 모델의 성능을 개선하기 위한 가상 학습데이터 생성 방법 및 이를 수행하는 장치
Hu et al. Human action recognition based on scene semantics
Anderson et al. Segmentation and linguistic summarization of voxel environments using stereo vision and genetic algorithms
Moreli et al. 3d maps representation using gng
CN112836549A (zh) 用户信息的检测方法及系统、电子设备
Yao et al. A type-2 fuzzy logic based system for linguistic summarization of video monitoring in indoor intelligent environments
Karaman et al. Passive profiling and natural interaction metaphors for personalized multimedia museum experiences
Linåker et al. Real-time appearance-based Monte Carlo localization
WO2023091131A1 (en) Methods and systems for retrieving images based on semantic plane features
Liu et al. Building semantic maps for blind people to navigate at home
Saha et al. Gesture recognition from two-person interactions using ensemble decision tree
Wang et al. ProbNet: Bayesian deep neural network for point cloud analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination