CN110238837B - 自主移动装置、自主移动方法以及存储介质 - Google Patents
自主移动装置、自主移动方法以及存储介质 Download PDFInfo
- Publication number
- CN110238837B CN110238837B CN201910169913.9A CN201910169913A CN110238837B CN 110238837 B CN110238837 B CN 110238837B CN 201910169913 A CN201910169913 A CN 201910169913A CN 110238837 B CN110238837 B CN 110238837B
- Authority
- CN
- China
- Prior art keywords
- autonomous moving
- moving apparatus
- index
- destination
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000008569 process Effects 0.000 claims description 60
- 238000003384 imaging method Methods 0.000 claims description 28
- 238000012937 correction Methods 0.000 claims description 16
- 230000003993 interaction Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 36
- 238000001514 detection method Methods 0.000 description 30
- 238000003306 harvesting Methods 0.000 description 29
- 239000000575 pesticide Substances 0.000 description 23
- 241000607479 Yersinia pestis Species 0.000 description 19
- 238000005507 spraying Methods 0.000 description 19
- 241000196324 Embryophyta Species 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 241000209094 Oryza Species 0.000 description 7
- 235000007164 Oryza sativa Nutrition 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 235000009566 rice Nutrition 0.000 description 7
- 239000007921 spray Substances 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 229920000426 Microplastic Polymers 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 239000000126 substance Substances 0.000 description 5
- 241000255925 Diptera Species 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 239000003905 agrochemical Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000002917 insecticide Substances 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000010902 straw Substances 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/30003—Arrangements for executing specific machine instructions
- G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供一种自主移动装置、自主移动方法以及存储介质。自主移动装置(100)基于规定的地图而移动。自主移动装置(100)具备:构成为使自主移动装置(100)移动的驱动部(42)、和控制部(10)。控制部(10)获取表示地图之上的多个地点的各个地点处的物体存在的可能性的指标即存在指标,基于所获取的存在指标从多个地点选择目的地用的地点,将所选择的地点设定为目的地,控制驱动部(42),以使得自主移动装置(100)移动至被设定的目的地。由此,自主移动装置可改善应移动的地点不明确的情况下的对应。
Description
关于本申请,主张以2018年3月7日申请的日本国专利申请2018-040392以及2018年12月17日申请的日本国专利申请2018-235719为基础的优先权,将该基础申请的内容全部援引于本申请。
技术领域
本发明涉及自主移动装置、自主移动方法以及存储介质。
背景技术
根据用途而自主地移动的自主移动装置正在普及。例如,已知为了进行室内的清扫而自主地移动的自主移动装置。并且,还开发出具有如下功能的自主移动装置:在识别出用户的呼叫的情况下,移动至作为目的地的用户所在的地方。例如在JP特开2008-46956号公报中公开了一种机器人引导系统,基于来自传感器单元的信号进行用户的定位计算,将机器人引导至通过定位计算而得到的用户的位置。
【发明要解决的课题】
在JP特开2008-46956号公报所记载的机器人引导系统的这种现有技术中,在能够基于来自传感器单元的信号进行用户的定位计算的情况下,能够将机器人引导至通过定位计算得到的用户的位置。但是,在无法进行用户的定位计算的情况下,存在机器人应该移动的地点(目的地)不明确的这种问题。
发明内容
本发明是为了解决上述问题而提出的,其目的在于改善自主移动装置应移动的地点不明确的情况下的应对。
【用于解决课题的手段】
为了实现上述目的,本发明的自主移动装置是基于规定的地图而移动的自主移动装置,其具备构成为使自主移动装置移动的驱动部、和控制部,所述控制部获取表示所述地图之上的多个地点的各个地点处的物体存在的可能性的指标即存在指标,基于所述获取的存在指标,从所述多个地点选择目的地用的地点,将所述选择的地点设定为目的地,控制所述驱动部以使得所述自主移动装置移动至所述设定的目的地。
【发明的效果】
根据本发明,能够改善自主移动装置在应移动的地点不明确的情况下的对应。
附图说明
图1是表示本发明的实施方式1所涉及的自主移动装置的功能结构的图。
图2是表示实施方式1所涉及的自主移动装置的外观的一例的图。
图3是表示实施方式1所涉及的环境地图的一例的图。
图4是表示实施方式1所涉及的存在指标的一例的图。
图5是实施方式1所涉及的呼叫检测移动处理的流程图。
图6是实施方式1所涉及的存在指标的更新的处理的流程图。
图7是实施方式1所涉及的脸部的位置推断的处理的流程图。
图8是表示在说明实施方式1所涉及的呼叫检测移动处理的具体例时使用的附加了存在指标的环境地图的一例的图。
图9是本发明的实施方式2所涉及的呼叫检测移动处理的流程图。
图10是表示本发明的实施方式3所涉及的自主移动装置的功能结构的图。
图11是表示实施方式3所涉及的指标修正信息的一例的图。
图12是表示本发明的实施方式5所涉及的自主移动装置的功能结构的图。
图13是表示实施方式5所涉及的农作物收割处理的流程图。
图14是表示本发明的实施方式6所涉及的自主移动装置的功能结构的图。
图15是实施方式6所涉及的农药喷洒处理的流程图。
具体实施方式
以下,参照附图,对本发明的实施方式所涉及的自主移动装置进行说明。另外,图中对于相同或者相当的部分赋予同一符号。
(实施方式1)
本发明的实施方式1所涉及的自主移动装置是创建周围的地图同时根据用途而自主地移动的装置。该用途例如是警备监视用、室内清扫用、宠物用、玩具用等。并且,该自主移动装置具有若识别出用户的呼叫则移动至用户所存在的地方的功能。
如图1所示,本发明的实施方式1所涉及的自主移动装置100作为功能结构而具备:控制部10、存储部20、传感器部30、摄像部41、驱动部42、声音获取部43、声音输出部44以及通信部45。
此外,如图2所示,自主移动装置100呈可爱的动作这种的形状。并且,自主移动装置100在眼睛的位置具备障碍物传感器31,在鼻子的位置具备照相机131,在头部具备包含多个麦克风的麦克风阵列132,在嘴的位置具备扬声器133,在耳朵的位置具备人感应传感器32,在前脚的位置具备朝向自由变化的脚轮134,在后脚的位置具备独立二轮驱动的车轮135。
控制部10包含CPU(Central Processing Unit:中央处理单元)等,通过执行存储部20中所存储的程序,实现后述的各部(SLAM处理部11、环境地图创建部12、声源定位部13、位置获取部14、存在指标更新部15、移动控制部16)的功能。此外,控制部10具备时钟(未图示),能够进行当前时刻的获取、经过时间的计时。
存储部20包含ROM(Read Only Memory:只读存储器)、RAM(Random AccessMemory:随机访问存储器)等,在功能上包含图像存储部21、SLAM(SimultaneousLocalization and Mapping:同步定位与建图)地图存储部22、环境地图存储部23以及存在指标存储部24。ROM中存储控制部10的CPU所执行的程序以及在执行程序时预先所需的数据。RAM中存储程序执行中被生成或者被变更的数据。
图像存储部21中存储由摄像部41拍摄的图像(帧)。不过,为了节约存储容量,也可以不存储所拍摄的全部的图像。自主移动装置100利用图像存储部21中存储的多个图像,通过SLAM处理,进行SLAM处理用的数据(后述的Map点的数据)的生成以及自主移动装置100的位置的推断。自主移动装置100的位置的推断中使用的图像被称为关键帧,图像存储部21中与关键帧的图像的信息一起,还存储拍摄该关键帧时的自主移动装置100的位置(自主移动装置100的位置以及朝向)的信息等。
SLAM地图存储部22中存储有图像存储部21所存储的关键帧中包含的特征点之中、求取三维位置(X、Y、Z)的特征点(成为Map点)的信息。所谓特征点,是指图像中的边缘部分、角部分等图像内的特征性的部分的点。特征点能够利用SIFT(Scale-Invariant FeatureTransform:尺度不变特征变换)、SURF(Speeded Up Robust Features:加速鲁棒变换)等的算法来获取。SLAM地图存储部22中作为特征点的信息,其三维位置与其特征点的特征量(例如通过SIFT等而得到的特征量)被关联地存储。
环境地图存储部23中存储基于来自传感器部30的信息而环境地图创建部12所创建的环境地图。环境地图如图3所示那样,将自主移动装置100移动的地面分割为例如5cm×5cm的网格,以网格为单位记录有该网格所对应的环境(地面、障碍物等)的状态。作为环境的状态,例如存在没有障碍物而自主移动装置100能够自由通过的自由空间303、自主移动装置100无法通过的障碍物302、状态不明确的不明空间304等。此外,环境地图中还记录有充电器301的位置。
存在指标存储部24中存储有基于来自位置获取部14的信息而获取的、表示环境地图至少的多个地点各自位置处的人存在的可能性的指标(存在指标)。如图4所示,存在指标是将自主移动装置100移动的地面分割为例如5cm×5cm的网格、以网格为单位记录了该网格的位置存在人的概率(可能性)。另外,图4中,表示了作为存在指标而记录了人存在于该网格的位置的概率,但是,作为存在指标也可以记录在该网格的位置检测到人的次数。此外,图4中以小数表示概率,但是也可以通过以对数换算表示概率,由此以整数表示概率。
此外,图4中未区别人(用户)、此外未指定时间带而表示了该网格中存在某人的概率。但是,由于位置获取部14如后述那样能够进行用户识别,因此也可以按每个用户(按每个人)记录存在指标。此外,也可以通过控制部10具备的时钟,获取位置获取部14获取到人的位置的定时的时刻,由此记录每个时间带的存在指标。当然,也可以按每个用户以及每个时间带记录存在指标。
传感器部30具备障碍物传感器31、人感应传感器32。障碍物传感器31是能够检测周围所存在的物体(障碍物)、并测定到该物体(障碍物)的距离的距离传感器,例如是红外线距离传感器、超声波传感器。另外,也可以不搭载独立的障碍物传感器31,利用摄像部41来检测障碍物。该情况下,摄像部41兼作障碍物传感器31。此外,作为障碍物传感器31,也可以不是距离传感器,而具备检测与其他物体碰撞的保险部件传感器。该情况下,自主移动装置100能够检测出在由保险部件传感器检测到碰撞的位置存在障碍物。
人感应传感器32是能够检测人存在于自主移动装置100的附近的传感器。人感应传感器32例如是红外线人感应传感器。
摄像部41具备单眼的摄像装置(照相机131)。摄像部41例如以30fps(frames persecond)来拍摄并获取图像(帧)。自主移动装置100基于摄像部41逐次获取的图像,通过SLAM处理实时地识别自主移动装置100的位置和周围环境,同时进行自主移动。
驱动部42具备独立二轮驱动的车轮135和电动机,被构成为根据来自控制部10的指示(控制)使自主移动装置100移动。自主移动装置100通过2个车轮135的同一方向驱动能够进行前后的平行移动(平移移动),通过2个车轮135的反方向驱动能够进行该地点的转动(朝向变更),通过2个车轮135各自改变速度的驱动能够进行旋转移动(平移+转动(朝向变更)移动)。此外,在各个车轮135具备旋转式编码器,由旋转式编码器测量车轮135的转速,通过利用车轮135的直径、车轮135间的距离等的几何学的关系,从而能够计算平移移动量以及转动量。
例如,若将车轮135的直径设为D,将转速设为C,则该车轮135的接地部分的平移移动量为π·D·C。在此,转速C能够通过车轮135所具备的旋转式编码器来测定。此外,若将车轮135的直径设为D,将左右的车轮135间的距离设为I,将右侧的车轮135的转速设为CR,将左侧的车轮135的转速设为CL,则朝向变更的转动量(将右转动设为正)360°×D×(CL-CR)/(2×I)。通过将该平移移动量以及转动量分别逐次相加,从而驱动部42能够作为机制测距发挥功能,能够测量自主移动装置100的位置(以移动开始时的位置以及朝向为基准的位置以及朝向)。车轮135所具备的旋转式编码器作为距离测量部发挥功能。
另外,驱动部42也可以取代车轮135而具备履带,还可以具备多个(例如两个)脚并利用脚步行来进行移动。这些情况下,基于两个履带的运动、脚的运动等,能够与车轮135的情况同样地测量自主移动装置100的位置以及朝向。
声音获取部43具备包含多个麦克风的麦克风阵列132,获取周围的声音。自主移动装置100利用由声音获取部43的麦克风阵列132获取的声音数据,通过应用MUSIC(MUltipleSIgnal Classification:多信号分类)法,能够推断发出声音的人的位置。
声音输出部44具备扬声器133,输出声音。自主移动装置100能够通过声音输出部44,向用户说话。并且,自主移动装置100通过声音获取部43获取用户发出的声音,控制部10进行声音识别,从声音输出部44对回答内容进行声音输出,由此能够与用户进行对话。
通信部45是用于与外部装置通信的模块,在与外部装置进行无线通信的情况下,是包含天线的无线模块。例如,通信部45是用于进行基于Bluetooth(注册商标)的近距离无线通信的无线模块。通过使用通信部45,自主移动装置100能够与外部进行数据的交互等。例如,自主移动装置100与外部的服务器(未图示)通过通信部45进行通信,能够由外部的服务器执行控制部10的功能的一部分。此外,能够将存储部20中存储的数据的一部分存储于外部的服务器、或者从外部的服务器获取。
接下来,对自主移动装置100的控制部10的功能上的结构进行说明。控制部10实现SLAM处理部11、环境地图创建部12、声源定位部13、位置获取部14、存在指标更新部15、移动控制部16的功能,进行自主移动装置100的移动控制等。此外,控制部10能够对应于多线程功能,并行地执行多个线程(不同的处理的流程)。
SLAM处理部11利用摄像部41拍摄并存储于图像存储部21的多个图像,基于根据这些图像得到的特征点的信息,通过SLAM处理来推断自主移动装置100的姿势(位置以及朝向)。若进行简单说明,SLAM处理部11在图像存储部21中存储的多个关键帧间,获取同一特征点的对应,从SLAM地图存储部22对获取到的对应特征点的三维位置进行获取,从而进行自主移动装置100的位置的推断。在进行该SLAM处理时,提取图像中包含的特征点,对于能够计算三维位置的特征点(Map点),使SLAM地图存储部22存储该Map点的信息。另外,在自主移动装置100的姿势(位置以及朝向)的推断中,也可以利用能够从驱动部42获取的机制测距的信息。自主移动装置100也可以在自主移动装置100的位置以及朝向的推断中使用机制测距的信息的情况下不进行SLAM处理。
环境地图创建部12利用SLAM处理部11推断出的自主移动装置100的位置以及朝向的信息、来自障碍物传感器31的信息,创建记录有障碍物302的位置的环境地图,将创建的环境地图的信息写入环境地图存储部23。
声源定位部13通过声音获取部43所具备的麦克风阵列132,观测用户发出的声音,通过MUSIC法来计算该声音的发生源的位置。另外,麦克风阵列132也能够观测人发出的声音以外的声响,不过,声源定位部13利用麦克风阵列132观测的声响的频率分量等,判断是否为人的语音。并且,声源定位部13针对人的语音(声音)应用MUSIC法,计算该声音是从哪里发出(听到声音的方向以及距声源的距离)。此外,声源定位部13利用观测的声音的频率分量等进行用户识别,也能够识别出该声音是谁的声音,能够获取谁从哪个位置发出了声音。
位置获取部14从由摄像部41获取的图像之中检测人的脸部,获取该人所在的位置。位置获取部14基于图像中的脸部的大小,推断距该人所在的位置的距离,根据摄像部41的拍摄方向和图像中的人的脸部的位置,推断该人所在的方向。位置获取部14根据这些的推断结果来获取该人所在的位置。此外,位置获取部14通过对检测的脸部进行用户识别,也能够获取谁位于哪个位置。另外,在不需要用户识别的情况下,位置获取部14也可以利用人感应传感器32来获取人的位置。
存在指标更新部15利用位置获取部14获取的人的位置的信息,获取环境地图存储部23中存储的环境地图的多个地点的各处的人的存在概率,利用获取的存在概率,更新存在指标存储部24中存储的存在指标。
移动控制部16从后述的上层应用程序接受目的地的指示,设定路径以及移动速度,控制驱动部42以使得自主移动装置100沿着所设定的路径移动。在移动控制部16设定路径时,基于环境地图创建部12创建的环境地图,设定从自主移动装置100的当前位置到目的地的路径。
以上,对自主移动装置100的功能结构进行了说明。接下来,参照图5对自主移动装置100的呼叫检测移动处理进行说明。自主移动装置100在电源切断时连接于充电器301(充电站)进行充电,若电源被接通,则在连接于充电器301的位置开始呼叫检测移动处理。另外,若自主移动装置100被接通电源,则除了该“呼叫检测移动”以外,与用途相应的上层应用程序另行(以其他线程)启动,上层应用或者用户设定目的地。例如,如果用途是室内清扫用,则上层应用程序为了在屋内到处旋转的同时进行清扫,将移动地点逐次设定为目的地。对于上层应用程序的详细省略说明。
若“呼叫检测移动”的处理开始,则自主移动装置100的控制部10使存储部20中存储的各种数据(图像存储部21、SLAM地图存储部22、环境地图存储部23、存在指标存储部24)初始化(步骤S101)。对于环境地图的初始化,由于若自主移动装置100启动则从充电器301的位置开始移动,因此,在该时间点,环境地图以表示“自主移动装置100存在于充电器的位置”的信息被初始化。此外,对于存在指标,也可以通过预先过去所收集的信息进行初始化。
接下来,控制部10启动用于SLAM处理的各种线程(步骤S102)。具体而言,启动装置位置推断线程、地图创建线程、环路闭合线程。这些线程并行地进行动作,由此SLAM处理部11从摄像部41拍摄的图像提取特征点,进行自主移动装置100的位置的推断。省略用于SLAM处理的各线程的说明。
接下来,控制部10判定是否动作结束(例如从上层应用程序或者用户接收到动作结束指示)(步骤S103)。如果动作结束(接受了动作结束指示)(步骤S103:是),则结束“呼叫检测移动”的处理。如果不是动作结束(未接受动作结束指示)(步骤S103:否),环境地图创建部12进行环境地图的创建和更新,存在指标更新部15进行存在指标的更新(步骤S104)。关于存在指标的更新的处理后述。
接下来,移动控制部16从上层应用程序接受目的地的指示,使自主移动装置100移动(步骤S105)。接下来,声源定位部13判定是否由声音获取部43检测出声音(步骤S106)。如果没有检测出声音(步骤S106:否),返回至步骤S103。如果检测出声音(步骤S106:是),声源定位部13计算发出该声音的位置(步骤S107)。
然后,控制部10使摄像部41朝向发出该声音的方向(步骤S108)。在该处理中,可以仅使自主移动装置100的头部转动而使摄像部41朝向声音的方向,也可以对驱动部42进行驱动从而使自主移动装置100自身朝向声音的方向,由此使摄像部41朝向声音的方向。
然后,位置获取部14判定从摄像部41拍摄的图像是否检测出脸部(步骤S109)。如果没有检测出脸部(步骤S109:否),则进入步骤S115。如果检测出脸部(步骤S109:是),则推断脸部的位置,更新存在指标(步骤S110)。对于脸部的位置的推断方法后述。
然后,位置获取部14判定该脸部的人是否看着(关注)这边(自主移动装置100)(步骤S111)。如果没有看着这边(步骤S111:否),则进入步骤S115。
如果位置获取部14检测出的脸部的人看着这边(步骤S111:是),则移动控制部16使自主移动装置100移动至该人的位置(步骤S112)。然后,位置获取部14判定距检测出的脸部的人的距离是否为能够声音识别距离(例如1.5m)以下(步骤S113)。如果距检测出的脸部的人的距离不是能够声音识别距离以下(步骤S113:否),则进入步骤S109。
如果距检测出的脸部的人的距离为能够声音识别距离以下(步骤S113:是),则控制部10利用声音获取部43和声音输出部44,与该人进行对话(步骤S114)。然后,返回至步骤S103。
另一方面,在步骤S109中未检测到脸部的情况下(步骤S109:否)、以及步骤S111中检测出的脸部的人没有看这边的情况下(步骤S111:否),控制部10基于存在指标存储部24中存储的信息,创建“人可能存在的位置的列表(目的地用的地点的候选列表)”(步骤S115)。例如,图4所示的存在指标(人存在的概率)被存储于存在指标存储部24,若将“人可能存在的位置”的存在指标基准值设为0.65,则图4中存在指标大于0.65的两处被登记于“人可能存在的位置的列表”。控制部10按被登记于该列表的顺序来选择“人可能存在的位置(目的地用的地点)”,因此,也可以基于(a)概率高的顺序、(b)摄像部41的朝向相对于用户的声音的方向的偏离的角度(以下称为“摄像部偏离角度”)较小的顺序、(c)距自主移动装置100的位置的距离较小的顺序等,对该列表进行分类。
此外,在创建“人可能存在的位置的列表”时,也未必使用存在指标基准值。例如,可以将存在指标存储部24中存储的存在指标最高的位置登记于“人可能存在的位置的列表”,也可以将存在指标存储部24中存储的存在指标按从高到低的顺序取出规定的个数(例如3个),将该存在指标所对应的位置登记于“人可能存在的位置的列表”。
然后,控制部10判定人可能存在的位置的列表是否为空(步骤S116)。如果该列表为空(步骤S116:是),则返回至步骤S103。如果该列表不为空(步骤S116:否),则从列表取出一个“人可能存在的位置”(步骤S117)。然后,使自主移动装置100移动至“看得见人可能存在的位置的地点”(步骤S118)。所谓“看得见人可能存在的位置的地点”,是满足以下2个条件的地点,分别是(A)在与“人可能存在的位置”之间没有障碍物、(B)在“人可能存在的位置”有人的情况下能够进行脸部检测的距离。
在此,(A)的条件能够基于环境地图存储部23中存储的障碍物302的位置的信息进行判定。此外,(B)的条件能够根据环境地图的网格尺寸、最小脸部检测尺寸、标准的脸部尺寸以及摄像部41的视角进行判定。在判定这2个条件的地点存在多个的情况下,选择距自主移动装置100的当前位置的距离较近的地点、或者相对于声音方向的偏离角度较小的地点。
移动之后,控制部10由摄像部41拍摄“人可能存在的位置”,判定是否从拍摄的图像检测出脸部(步骤S119)。如果检测出脸部(步骤S119:是),则进入步骤S110。如果没有检测出脸部(步骤S119:否),则判定是否经过了规定时间(例如3秒。等待脸部检测的时间)(步骤S120)。如果没有经过规定时间(步骤S120:否),则返回至步骤S119。如果经过了规定时间(步骤S120:是),则返回至步骤S116,直到“人可能存在的位置的列表”变为空为止,反复进行到“看得见人可能存在的位置的地点”的移动和脸部的检测。
以上是呼叫检测移动的处理的流程。接下来,参照图6,对上述步骤S104中进行的存在指标的更新的处理进行说明。
首先,SLAM处理部11通过SLAM处理来获取自主移动装置100的当前的位置和方向(步骤S201)。另外,在后述的脸部的位置推断的处理的步骤S301中,在已经获取了这些的情况下,可以直接对其使用。接下来,位置获取部14判定在自主移动装置100的周围是否检测到有人(步骤S202)。如果没有检测出人(步骤S202:否),则结束处理。
如果在自主移动装置100的周围存在人(步骤S202:是),则位置获取部14获取距被检测的人的距离以及该人的方向(步骤S203)。对于这些值,在后述的脸部的位置推断的处理的步骤S303中已经推断出距脸部的距离以及脸部的方向的情况下,也可以直接对其使用。然后,存在指标更新部15基于步骤S201中获取的自主移动装置100的当前的位置以及方向、步骤S203中获取的距检测出的人的距离以及该人的方向,向环境地图上的该人的位置进行投票(步骤S204),并结束处理。
在此,所谓投票,是更新存在指标存储部24中存储的存在指标的操作的一种,例如,使该人的位置所对应的存在指标(概率)的值增加规定的值(例如0.1)。在以对数换算来表示存在指标(概率)的情况下,例如使其增加1。
此外,可以持续观察被检测的人,测量滞留于该位置的时间,该时间(滞留时间)越多则越增大使存在指标增加的值(采用对数换算的情况下,例如该人滞留了m分钟滞留的情况下,使其增加m等)。此外,对于使存在指标的值,也可以基于检测出该人时的似然度来决定(例如,在似然度为L的情况下,使其增加L等)。
另外,位置获取部14在通过脸部识别等进行用户识别的情况下,分别更新每个用户的存在指标、与用户无关(将全部的人作为对象)的存在指标。
以上,对存在指标的更新的处理进行了说明。接下来,参照图7,对脸部的位置推断的处理进行说明。
首先,SLAM处理部11通过SLAM处理来获取自主移动装置100的当前的位置和方向(步骤S301)。接下来,位置获取部14获取呼叫检测移动处理(图5)的步骤S109中检测出的脸部的图像中的坐标以及尺寸(步骤S302)。在此,将脸部的中心部的图像中的坐标设为(f_x,f_y),将尺寸设为横宽f_width、高度f_height来获取。
接下来,位置获取部14推断距脸部的距离和方向(步骤S303)。关于各个推断方法,以下进行补充说明。
首先,关于距脸部的距离f_dist,若由F_WIDTH_1M表示从1米的距离拍摄平均尺寸的脸部时的横宽,则能够通过以下的式(1)来表示。
f_dist=F_WIDTH_1M/f_width...(1)
此外,关于脸部的方向,若将与照相机131的角度设为f_dir,将照相机131的视角设为AOV,将照相机131的拍摄图像的水平方向的尺寸由WIDTH来表示,则能够通过以下的式(2)来表示。
f_dir=AOV/2×|f_x-WIDTH/2|/(WIDTH/2)...(2)
然后,位置获取部14基于步骤S301中获取的自主移动装置100的当前的位置以及方向、步骤S303中推断的距检测出的脸部的距离以及其脸部的方向,计算脸部的位置(步骤S304),使处理结束。
以上,对脸部的位置推断的处理进行说明。在此,参照图8,对呼叫检测移动处理(图5)的简单的具体例进行说明。首先,假定自主移动装置100处于图8的100A的位置的状态下,用户200呼叫自主移动装置100。并且,假定自主移动装置100(步骤S106以及步骤S107中)在图8中从右下45度的方向检测出声音。于是,自主移动装置100即便(步骤S108中)看到声音的方向,被障碍物302A遮挡也无法检测(步骤S109中)用户200的脸部。因此,控制部10在步骤S115中创建“人可能存在的位置的列表”。在此,假定“人可能存在的位置的列表”中登记了存在指标为0.7的2个位置。
然后,控制部10针对“人可能存在的位置的列表”,首先按概率高的顺序进行分类,接下来,按相对于从自主移动装置100的位置看到的声音方向的偏离的角度由小到大的顺序进行分类。该情况下,尽管被登记于列表的2个位置的概率为0.7是相同的,但是相对于声音方向的偏离的角度在图8中处于下方的0.7一方较小,因此存在用户200的0.7一方(步骤S117中)作为“人可能存在的位置”被最先取出。
然后,在步骤S118中,移动至看得见该“人可能存在的位置”的地点,但是这里,作为“看得见人可能存在的位置的地点”,存在100B和100C的2个候选。距作为当前位置的100A的距离较近的地点为100B,相对于声音方向(右下45度)的偏离的角度较小的地点为100C,因此在重视距离的情况下,100B被选定为“看得见人可能存在的位置的地点”,在重视角度的情况下,100C被选定为“看得见人可能存在的位置的地点”,自主移动装置100移动至此处。然后,在步骤S119中检测脸部,(步骤S112中)移动至脸部的位置,(步骤S114中)与用户进行对话。
通过进行这种处理,自主移动装置100即便在呼叫的人的声音的方向看不到人的脸部的情况下,也能够基于存在指标来移动至人可能存在的位置。其结果,能够移动至进行了呼叫的人的位置的可能性提高。
此外,如果按每个用户存储存在指标,根据进行了呼叫的人的声音对用户进行识别,则在创建“人可能存在的位置的列表”时,能够利用识别出的用户的存在指标来创建该列表,能够提高移动至该用户所在的位置的可能性。
此外,如果按每个时间带存储存在指标,则在创建“人可能存在的位置的列表”时,能够利用当前时刻的时间带所对应的存在指标来创建该列表,能够提供移动至人所在的位置的可能性。
再有,如果将存在指标按每个用户以及每个时间带进行存储,从进行了呼叫的人的声音来识别用户,则在创建“人可能存在的位置的列表”时,能够利用识别出的用户的当前时刻的时间带所对应的存在指标来创建该列表,能够移动至该用户所在的位置的可能性被进一步提高。
(变形例1)
在实施方式1中,在创建“人可能存在的位置的列表(目的地用的地点的候选列表)”时,将存在指标存储部24中存储的存在指标大于存在指标基准值(例如0.65)的位置作为“人可能存在的位置”。但是,由于相对于自主移动装置100的位置成为背阴而处于死角的区域难以确认人的存在,因此存在指标的值难以提高。为此,在创建“人可能存在的位置的列表”时,对除了存在指标以外、或者取代存在指标而使用死角区域的变形例1进行说明。
在变形例1中,在“呼叫检测移动”处理(图5)的步骤S115中,在控制部10创建“人可能存在的位置列表”时,根据环境地图上的障碍物302的位置与自主移动装置100的位置的关系,计算从自主移动装置100的摄像部41的拍摄区域偏出的区域(从自主移动装置100观看而成为死角的区域即死角区域),将该区域(死角区域)内的地点作为“人可能存在的位置”,追加至“人可能存在的位置列表”。另外,控制部10与实施方式1同样地,对于存在指标大于存在指标基准值的位置,也可以作为“人可能存在的位置”追加至“人可能存在的位置列表”。
变形例1与实施方式1的不同点仅仅在于上述部分。通过在“人可能存在的位置列表”中追加死角区域内的地点,在步骤S117中从列表取出的位置是死角区域内的地点的情况下,在步骤S118中,移动至看得见该死角区域的地点。因此,如果在死角区域存在人,控制部10也能够在步骤S119中检测脸部。
如以上所说明,变形例1中自主移动装置100能够移动至看得见原本无法确认人的存在的死角区域的地点,因此即便在死角区域有人的情况下,也能够提高移动至人所在的位置的可能性。
(实施方式2)
实施方式1中,基于在进行搜索人之前移动的结果来更新存在指标,但是也可以基于进行了搜索人的结果来更新存在指标。对于这种实施方式2进行说明。
实施方式2所涉及的自主移动装置101的功能结构与图1所示的实施方式1所涉及的自主移动装置100的功能结构相同。自主移动装置101中的“呼叫检测移动”的处理的存在指标的更新的方式与自主移动装置100不同。参照图9,对实施方式2所涉及的自主移动装置101的“呼叫检测移动”的处理进行说明。
自主移动装置101的“呼叫检测移动”的处理(图9)是在实施方式1所涉及的自主移动装置100的“呼叫检测移动”的处理(图5)中追加了步骤S131的处理内容,因此对该步骤S131进行说明。
在步骤S131中,存在指标更新部15基于步骤S112中接近的用户所在的位置以及对话结果,更新存在指标存储部24中存储的存在指标。步骤S131中存在指标更新与步骤S110中的存在指标更新不同,在步骤S110的存在指标的更新中,与有无对话无关地,单纯地增大本次检测出脸部的用户的位置所对应的存在指标的概率的值(例如加上0.1)。
相对于此,在步骤S131的存在指标更新中,对于针对存在指标的概率相加的值,基于对话结果、用户的发声内容来如下地进行变更(可以采用以下的全部,也可以仅采用一部分)。
(a)在与接近的用户进行了对话的情况下,增大相加的值(例如相加0.2)。
(b)在用户的发声内容是“没有呼叫呀”、“即便不来也可以”等否定的内容的情况下,减小相加的值(例如相加0.01)。
(c)加入对话时间,对话时间越长,则越是增大相加的值(例如对话时间为n分钟的情况下,相加n/10)。
在实施方式2中,如以上那样,通过基于对话结果对更新存在指标的值进行更为细致地变更,从而不仅提高了能够移动至人所在的位置的可能性,而且还能够提高移动至想要与自主移动装置101对话的人的位置。
(实施方式3)
在实施方式1中,存在指标存储部24中如图4所那样以网格为单位存储了存在人的概率。但是,也可以设为考虑了用户的行动特性等的存在指标。对于这种的实施方式3进行说明。
如图10所示,实施方式3所涉及的自主移动装置102的功能结构是在实施方式1所涉及的自主移动装置100的功能结构中追加了指标修正信息存储部25。指标修正信息存储部25中存储有图11所示这种的指标修正信息,该指标修正信息对通过人物、时间、季节、噪音种类等来表现出人存在的可能性为哪种趋势进行表示。并且,自主移动装置102的存在指标是通过图11所示的指标修正信息来修正存在指标的更新的处理(图6)中被更新的存在指标而得到的。
在图11所示的信息中,人物的确定、物体的确定、噪音的确定等能够通过任意的方法来进行。例如,利用声音信息并通过语音识别能够确定个人。此外,也能够根据图像信息,通过脸部识别、人体识别等来确定个人。此外,能够根据图像信息,来确定电脑、沙发等的物体、厨房、玄关等的地点。此外,能够根据声响信息,来确定电视的声响、水流的声响等噪音。
在实施方式3中,这样利用指标修正信息来修正存在指标,从而能够进一步提高移动至用户的位置的可能性。
(实施方式4)
在上述实施方式中,说明了根据用户的呼叫而接近于用户的自主移动装置100、101、102,但是作为实施方式4,还考虑即便不被用户呼叫也接近于用户的自主移动装置。例如,还考虑为了每天早上7时叫醒用户而移动至用户的位置的自主移动装置。实施方式4所涉及的自主移动装置如果不检测声音也满足了接近的条件(例如成为早上7时),则进入呼叫检测移动处理(图5)的步骤S115,移动至人可能存在的位置。
该情况下,由于考虑到用户(正在睡觉)看不到自主移动装置的情况也较多,因此在实施方式4所涉及的呼叫检测移动处理中,跳过了步骤S111的判定,接着步骤S110而进入步骤S112。此外,该情况下,由于不需要识别用户的声音,即便与用户的距离处于分开也需要叫醒用户,因此也跳过步骤S113的判定,在步骤S114中进行叫醒用户的发声。
如以上所说明,实施方式4所涉及的自主移动装置即便不被用户呼叫(即便不知道用户的当前的位置),也能够基于存在指标而移动至用户的位置,与用户进行对话(向用户发声)。
此外,作为实施方式4的变形例,也考虑不进行人的检测或存在指标的更新处理,基于预先存储于存在指标存储部24的存在指标来进行移动的自主移动装置。该情况下,从环境地图上的多个地点之中,基于存在指标存储部24中存储的存在指标,将人可能存在的位置设定为目的地来进行移动。另外,预先存储于存在指标存储部24的存在指标可以是基于过去的统计信息等而创建的,也可以是从外部的服务器经由通信部45而获取的。
(实施方式5)
此外,在上述实施方式中,位置获取部14从由摄像部41获取的图像之中检测人的脸部,由此获取该人所在的位置。但是,位置获取部14不仅仅是针对人,也可以从由摄像部41获取的图像之中识别其他的机器人、物质(空罐等的铝或铁、容器或吸管等塑料、有害物质等)、动物(害虫、野兽、食用的鸟兽等)、植物(杂草、农作物等)等的物体,获取该物体存在的位置。并且,存在指标更新部15利用位置获取部14获取的机器人、物质、动物、植物等物体的位置的信息,获取对环境地图存储部23中存储的环境地图之上的多个地点各处的该物体的存在可能性进行表示的存在指标(存在概率),利用获取的存在指标,能够更新存在指标存储部24中存储的存在指标。该存在指标可以与人的存在指标同样地,不区别物体或个人来求取,也可以分别识别出物体或个人来按每个物体、每个人求取。
这种自主移动装置能够与“人可能存在的位置的列表”同样地,创建“机器人、物质、动物、植物等物体可能存在的位置的列表”,基于该列表进行移动,由此不仅仪是人,也能够提高移动至其他机器人、物质、动物、植物等物体所在的位置的可能性。
在此,作为实施方式5,说明作为农作物收割机器人的自主移动装置103。实施方式5所涉及的自主移动装置103的功能结构如图12所示,除了具备农作物收割部46以外,与自主移动装置100的功能结构(图1)相同。但是,如果自主移动装置103可以不呼应人的呼叫、或者不接近于人,那么也可以不具备声音获取部43、声源定位部13以及人感应传感器32。
农作物收割部46基于来自控制部10的指示,收割农作物。此外,位置获取部14并不是检测人的位置,而是从摄像部41获取的图像之中检测农作物,由此来获取农作物存在的位置。此外,位置获取部14也可以通过对农作物的种类进行图像识别,由此按每个农作物的种类来获取其位置。
此外,自主移动装置103取代呼叫检测移动处理(图5),进行图13所示的这种农作物收割处理。若自主移动装置103的电源被接通,则开始该农作物收割处理。另外,若自主移动装置103被接通电源,则除了该农作物收割处理以外,与用途相应的上层应用程序另行(以其他线程)启动,上层应用或者用户设定目的地。例如,如果用途是从整个田地来收割农作物,则上层应用程序为了在整个田地到处环绕的同时收割农作物,而将移动地点逐次设定为田地内的各地点。对于上层应用程序的详细省略说明。接下来,参照图13说明农作物收割处理。
由于农作物收割处理(图13)的从步骤S101到步骤S105的处理与呼叫检测移动处理(图5)相同,因此省略说明。接着步骤S105,位置获取部14判定从摄像部41拍摄的图像是否检测出农作物(步骤S151)。如果没有检测出农作物(步骤S151:否),则进入步骤S155。
如果检测出农作物(步骤S151:是),则推断农作物的位置,更新存在指标(步骤S152)。农作物的位置的推断能够通过与上述实施方式1所涉及的脸部的位置推断的处理(图7)同样的方法来进行。在实施方式1所涉及的脸部的位置推断的处理(图7)中,将脸部作为对象来进行位置的推断,但是在步骤S152的农作物的位置的推断中,取代脸部而将农作物作为对象,获取图像中的农作物的坐标以及尺寸(步骤S302),推断距农作物的距离和方向(步骤S303),基于自主移动装置103的位置以及方向以及距农作物的距离以及方向来计算农作物的位置(步骤S304),由此推断农作物的位置。
此外,存在指标的更新也能够通过与上述实施方式1所涉及的存在指标的更新的处理(图6)同样的方法来进行。在实施方式1所涉及的存在指标的更新的处理(图6)中,将人作为对象来更新人的存在指标,但是在步骤S152的存在指标的更新中,取代人而将农作物作为对象,检测农作物(步骤S202),获取距农作物的距离和方向(步骤S203),基于自主移动装置103的位置以及方向、距农作物的距离以及方向,对环境地图上的农作物的位置进行投票(步骤S204),由此更新农作物的存在指标。
然后,移动控制部16使自主移动装置103移动至位置获取部14推断出的农作物的位置(步骤S153)。然后,控制部10控制农作物收割部46,进行收割农作物的动作(步骤S154),并返回至步骤S103。
另一方面,如果步骤S151中没有检测出农作物(步骤S151:否),则控制部10基于存在指标存储部24中存储的信息,创建“农作物可能存在的位置的列表”(步骤S155)。例如,图4所示的存在指标(农作物存在的概率)被存储于存在指标存储部24,若将“农作物可能存在的位置”的存在指标基准值设为0.65,则图4中存在指标大于0.65的2处地点被登记于“农作物可能存在的位置的列表”。控制部10按照被登记于该列表的顺序来选择“农作物可能存在的位置”(=目的地用的地点),因此,针对该列表也能够基于(a)概率从高到低的顺序、(b)距自主移动装置103的位置的距离从小到大的顺序等进行分类。另外,与上述实施方式1同样,在创建“农作物可能存在的位置的列表”时,未必使用存在指标基准值,例如也可以将存在指标存储部24中存储的存在指标按从高到低的顺序取出规定的个数(例如3个),将该存在指标对应的位置登记在“农作物可能存在的位置的列表”。
此外,图4中,表示将地面分割为例如5cm×5cm的网格的二维信息的存在指标,但是存在指标并不限于二维信息。也可以将空间分割为例如纵向5cm×横向5cm×高度5cm的三维格子,使用三维信息的存在指标。
然后,控制部1判定作为农作物的物体可能存在的位置的列表是否为空(步骤S156)。如果该列表为空(步骤S156:是),则返回至步骤S103。如果该列表不为空(步骤S156:否),则从列表取出一个“物体可能存在的位置”(步骤S157)。然后,控制驱动部42,使自主移动装置103移动至“看得见物体可能存在的位置的地点”(步骤S158)。所谓“看得见物体可能存在的位置的地点”,是在与“物体可能存在的位置”之间不存在障碍物的地点。
然后,位置获取部14判定从由摄像部41拍摄的图像是否检测到物体(农作物)(步骤S159)。如果检测出物体(步骤S159:是),则进入步骤S152。如果没有检测出物体(步骤S159:否),则判定是否经过了规定时间(例如3秒。等待物体检测的时间)(步骤S160)。如果没有经过规定时间(步骤S160:否),则返回至步骤S159。如果经过了规定时间(步骤S160:是),则返回至步骤S156,直到“物体可能存在的位置的列表”为成空为止,反复进行至“看得见物体可能存在的位置的地点”的移动和物体(农作物)的检测。
通过以上的处理,即便自主移动装置103未检测出物体的情况下,也能够基于存在指标来移动至作为物体的农作物可能存在的位置,收割农作物。
另外,作为物体,在不是农作物而将其他机器人作为对象的情况下,在上述步骤S159中,并不是仅仅判定是否检测出物体,而与实施方式1中的呼叫检测移动处理(图5)的步骤S119同样,可以判定是否检测出其他机器人的脸部(相对于该物体的脸部的部分)。通过进行这种判定,能够进行仅在其他机器人朝向这边时向该机器人进行移动的处理。
另外,例如在如农作物A的田地、农作物B的田地那样具有多个田地的农家中的农作物收割机器人的情况,可以如用于收割农作物A的存在指标A、用于收割农作物B的存在指标B那样,设定/更新与农作物分别对应的存在指标。
(实施方式6)
实施方式5所涉及的自主移动装置103检测作为物体的农作物,基于检测出的物体的位置来更新存在指标,但是还考虑不检测物体而基于来自外部的信息更新存在指标的实施方式。这里,作为实施方式6,对不检测作为物体的害虫、杂草、农作物,而作为喷洒农药的农药喷洒机器人的自主移动装置104进行说明。实施方式6所涉及的自主移动装置104的功能结构如图14所示,除了具备农药喷洒部47、不具备声源定位部13以及位置获取部14以外,与自主移动装置100的功能结构(图1)同样。不过,与自主移动装置103同样,如果自主移动装置104可以不呼应人的呼叫、或者不接近于人,那么也可以不具备声音获取部43、人感应传感器32。
农药喷洒部47向从控制部10指定的方向喷洒被指定的量的农药。另外,由于自主移动装置104不检测物体(害虫、杂草、农作物),因此农药喷洒部47与实时的物体的有无无关地,进行朝向基于从控制部10接受的指示的位置以及方向喷洒农药的动作。
此外,自主移动装置104取代呼叫检测移动处理(图5),进行图15所示的农药喷洒处理。若自主移动装置104的电源被接通,则开始该农药喷洒处理。另外,若自主移动装置104被接通电源,则除了该农药喷洒处理以外,与用途相应的上层应用程序另行(以其他线程)启动,上层应用或者用户设定目的地。例如,如果用途是向整个田地的农药喷洒,则上层应用程序为了在整个田地到处环绕的同时喷洒农药,将移动地点逐次设定为田地内的各地点。对于上层应用程序的详细省略说明。接下来,参照图15对农药喷洒处理进行说明。
由于农药喷洒处理(图15)的从步骤S101到步骤S105的处理与实施方式1的呼叫检测移动处理(图5)相同,因此省略说明。不过,自主移动装置104不检测物体(害虫、杂草、农作物),因此对于步骤S104中进行的存在指标的更新的处理,与实施方式1的存在指标的更新处理(图6)不同。自主移动装置104中的存在指标的更新的处理成为从外部(服务器、网络、人等)经由通信部45而接收存在指标的数据并写入存在指标存储部24的处理。由于喷洒农药的地点预先知道的情况较多,因此通过将这种地点作为存在指标数据来由外部(服务器等)创建,自主移动装置104能够在步骤S104中获取(更新)该存在指标数据。
另外,自主移动装置104可以不进行存在指标的更新的处理,该情况下直接使用预先存储于存在指标存储部24的存在指标。该预先存储于存在指标存储部24的存在指标可以是基于过去的统计信息等而创建的、也可以是从外部的服务器等经由通信部45而获取的。
然后,接着步骤S105,控制部10基于存在指标存储部24中存储的信息,创建“物体可能存在的位置的列表”(步骤S161)。该处理与实施方式5所涉及的农作物收割处理(图13)的步骤S155的处理同样。并且,控制部10判定物体可能存在的位置的列表是否为空(步骤S162)。如果该列表为空(步骤S162:是),则返回至步骤S103。如果该列表不为空(步骤S162:否),则从列表取出一个“物体可能存在的位置”(步骤S163)。然后,控制驱动部42,使自主移动装置104向“物体可能存在的位置”移动(步骤S164)。
然后,控制部10控制农药喷洒部47来进行在“物体可能存在的位置”喷洒农药的动作(步骤S165)。然后,返回至步骤S162,直至“物体可能存在的位置的列表”成为空为止,反复进行向“物体可能存在的位置”的移动和农药的喷洒。
通过以上处理,实施方式6所涉及的自主移动装置104不检测物体(害虫、杂草、农作物),能够基于从外部获取的(或者预先存储的)存在指标,向物体可能存在的位置移动,进行农药喷洒。
此外,在实施方式6中,对存储部20也追加指标修正信息存储部25,作为实施方式3中所说明的指标修正信息(图11),不仅是人的行动特性,也能够使用基于物体(害虫、杂草、农作物)的特性而预先设定的指标修正信息。通过使用指标修正信息,自主移动装置104例如基于“春天害虫在高度1m左右的地方飞的情况较多。”、“秋天害虫处在地面的情况较多。”等的指标修正信息,能够调整农药喷洒的位置。
此外,实施方式6也能够用于将无法进行图像识别或者难以进行图像识别的物体作为对象的情况。例如作为实施方式6所涉及的自主移动装置,也能够假定对海洋中漂浮的微型塑料进行回收的机器人。该情况下,成为将自主移动装置104的农药喷洒部47置换为回收微型塑料的回收部的自主移动装置。微型塑料是特别存在于海洋中的微小的塑料,难以通过图像识别来确定位置,但是能够基于发生源的位置、海流等,在统计学上计计算海洋中的存在概率。为此,如果基于这样计计算的存在概率来设定存在指标,实施方式6所涉及的自主移动装置能够自动地移动至微型塑料的存在概率高的位置,能够有效地回收微型塑料。
此外,实施方式6所涉及的自主移动装置104通过将农药喷洒部47置换为杀虫剂喷洒部,也能够适用于驱除害虫的害虫驱除机器人。由于害虫较小从而飞来飞去的情况较多,因此多数情况下难以通过图像识别进行检测,此外,即便进行了检测(由于飞来飞去),已经不在检测出的位置的情况也较多。但是,人能够将存在害虫的可能性高的位置作为存在指标数据提供给自主移动装置104、或者外部的服务器(例如解析SNS(SocialNetworkSevice:社交网络服务)的写入等)将害虫产生较多的地点作为存在指标数据发送至自主移动装置104。这样,自主移动装置104能够基于从外部提供的存在指标移动至存在害虫的可能性高的位置,喷洒农药来驱除害虫。
再有,在该害虫驱除机器人中,也对存储部20追加指标修正信息存储部25,作为实施方式3中说说明的指标修正信息(图11,不仅是人的行动特性,还能够使用基于害虫的特性而预先设定的指标修正信息。例如,由于公园的树木每个季节发生变化的情况较多,因此将每个季节可能产生害虫的地点设定为指标修正信息,由此能够有效地驱除公园的害虫(毛虫、蚊等)。
此外,实施方式6所涉及的自主移动装置104通过将农药喷洒部47置换为农作物收割部46,也能够应用于农作物收割机器人。例如,在作为农作物的水稻的收割中,一般预先知道要收割水稻的地点。因此,在收割水稻的农作物收割机器人的情况下,即便不对水稻进行图像识别而获取水稻存在的位置,如果预先收割水稻的地点存储于存在指标存储部24,则也能够收割水稻。此外,该情况下,例如在如农作物A的田地、农作物B的田地那样具有多个田地的农家的农作物收割机器人的情况下,如用于收割农作物A的存在指标A、用于收割农作物B的存在指标B那样,将农作物分别对应的存在指标预先存储于服务器,从服务器进行接收,从而该农作物收割机器人即便不对各农作物进行图像识别而获取位置,通过使用各农作物对应的存在指标,也能够收割该农作物。
(变形例2)
上述的各实施方式中,自主移动装置100、101、102、103、104以通过SLAM处理部11以及环境地图创建部12创建SLAM地图以及环境地图为前提进行了说明。但是,SLAM地图以及环境地图的创建不是必需的。自主移动装置100、101、102、103、104可具备GPS(GlobalPositioning System:全球卫星定位系统)等的自己位置推断单元,此外,在移动范围是预先决定的范围内的情况下,预先将该移动范围内的环境地图存储于环境地图存储部23,由此即便不创建SLAM地图以及环境地图,通过GPS也能够进行自己位置推断,此外,通过参照环境地图存储部23中存储的环境地图能够向必要的地点进行移动。这种变形例2也包含在本发明中。
另外,自主移动装置100、101、102、103、104的各功能也能够通过通常的PC(Personal Computer:个人计算机)等的计算机来实施。具体而言,在上述实施方式中,自主移动装置100、101、102、103、104进行的自主移动控制处理的程序预先存储于存储部20的ROM来进行了说明。但是,也可以将程序保存于软盘、CD-ROM(Compact Disc Read OnlyMemory:压缩盘只读存储器)、DVD(Digital Versatile Disc:数字多功能盘)以及MO(Magneto-Optical Disc:磁光盘)等的计算机可读取的记录介质来进行发布,通过将该程序读入计算机进行安装,来构成实现上述各功能的计算机。
以上,对本发明的优选的实施方式进行了说明,但是本发明并不限定于所涉及的特定的实施方式,本发明中包含权利要求书中记载的发明及其等同的范围。
Claims (18)
1.一种自主移动装置,基于规定的地图进行移动,其特征在于,具备:
驱动部,构成为使自主移动装置进行移动;以及
控制部,
所述控制部获取表示所述规定的地图之上的多个地点的各个地点处的物体存在的可能性的指标即存在指标,
在检测出来自所述物体的呼叫、并且未检测出所述物体的位置的情况下,所述控制部基于所获取的所述存在指标,从所述多个地点选择所述物体存在的可能性高的位置即目的地用的地点,
所述控制部将所选择的所述目的地用的地点设定为目的地,
所述控制部控制所述驱动部,以使得所述自主移动装置移动至所设定的所述目的地,
所述存在指标是基于物体的存在概率、次数或者时间带而得到的。
2.根据权利要求1所述的自主移动装置,其特征在于,
所述控制部在判定为检测出所述物体的情况下,将所检测出的所述物体的位置设定为所述目的地。
3.根据权利要求2所述的自主移动装置,其特征在于,
所述自主移动装置还具备:摄像部,拍摄所述自主移动装置的周围的图像,
所述控制部基于由所述摄像部拍摄到的所述自主移动装置的周围的图像,来判定是否检测出应作为所述目的地的所述物体。
4.根据权利要求1所述的自主移动装置,其特征在于,
所述自主移动装置还具备:
摄像部,拍摄所述自主移动装置的周围的图像;和
存储部,
所述控制部获取所述摄像部拍摄到的所述自主移动装置的周围的图像,基于所获取的所述图像来设定所述存在指标,
所述控制部将所设定的所述存在指标存储于所述存储部,
所述控制部获取所述存储部中所存储的存在指标。
5.根据权利要求4所述的自主移动装置,其特征在于,
所述自主移动装置还具备:声音获取部,获取声音数据,
所述控制部基于所述声音获取部所获取的声音数据来计算所述物体存在的方向,
所述控制部获取由所述摄像部拍摄到的所计算的所述方向的图像,
所述控制部基于所获取的所述图像,来判定是否检测出所述物体。
6.根据权利要求4所述的自主移动装置,其特征在于,
所述自主移动装置还具备:
声音获取部,获取所述自主移动装置的周围的声音数据;
声音输出部,输出声音;和
存储部,
所述控制部利用所述声音获取部和所述声音输出部,进行与作为所述物体的人对话的控制,
所述控制部基于与所述人对话的结果,设定所述存在指标,
所述控制部将所设定的所述存在指标存储于所述存储部,
所述控制部获取所述存储部中所存储的存在指标。
7.根据权利要求1至6的任意一项所述的自主移动装置,其特征在于,
所述控制部选择所述多个地点之中由对应的所述存在指标表示的所述物体存在的可能性高于由规定的指标基准值表示的所述物体存在的可能性的地点,并设定为所述目的地。
8.根据权利要求7所述的自主移动装置,其特征在于,
在所获取的所述存在指标中,表示高于由所述指标基准值表示的可能性的所述物体存在的可能性的存在指标存在多个的情况下,所述控制部将所述多个存在指标各自所对应的所述地点之中的由对应的所述存在指标表示的可能性最高的地点设定为目的地。
9.根据权利要求7所述的自主移动装置,其特征在于,
在所获取的所述存在指标中,存在多个表示比由所述指标基准值表示的可能性高的所述物体存在的可能性的存在指标的情况下,所述控制部计算所述多个存在指标各自所对应的所述地点的各个地点与所述自主移动装置之间的距离,将所述多个存在指标各自所对应的所述地点之中的所计算出的距离最小的地点设定为所述目的地。
10.根据权利要求1所述的自主移动装置,其特征在于,
所述控制部将所述多个地点之中表示所述物体存在的最高的可能性的存在指标所对应的地点设定为所述目的地。
11.根据权利要求1所述的自主移动装置,其特征在于,
所述自主移动装置还具备:摄像部,拍摄规定的拍摄方向的图像,
所述控制部利用所述多个地点,基于所获取的存在指标来创建所述目的地用的地点的候选列表,
所述控制部从所述多个地点,选择从所述摄像部的拍摄区域偏出的区域内的多个地点,将所选择的多个地点追加至所述目的地用的地点的所述候选列表,
所述控制部从所述候选列表选择所述目的地用的地点。
12.根据权利要求1所述的自主移动装置,其特征在于,
所述自主移动装置还具备:存储部,存储基于所述物体的特性而预先被设定的指标修正信息,
所述控制部基于所述存储部中所存储的所述指标修正信息来修正所述存在指标。
13.根据权利要求1所述的自主移动装置,其特征在于,
所述存在指标在不识别所述物体的情况下而被设定。
14.根据权利要求1所述的自主移动装置,其特征在于,
所述存在指标按识别出的每个所述物体而被设定。
15.根据权利要求1所述的自主移动装置,其特征在于,
所述多个地点所对应的多个所述存在指标是表示在所述多个地点的各个地点同一物体存在的可能性的指标或者表示同一种类的物体存在的可能性的指标。
16.根据权利要求1所述的自主移动装置,其特征在于,
所述物体是人。
17.一种自主移动方法,是基于规定的地图而移动的自主移动装置的自主移动方法,其特征在于,
获取表示所述规定的地图之上的多个地点的各个地点处的物体存在的可能性的指标即存在指标,
在检测出来自所述物体的呼叫、并且未检测出所述物体的位置的情况下,基于所获取的存在指标,从所述多个地点选择所述物体存在的可能性高的位置即目的地用的地点,
将所选择的所述目的地用的地点设定为目的地,
控制驱动部,以使得所述自主移动装置移动至所设定的所述目的地,
所述存在指标是基于物体的存在概率、次数或者时间带而得到的。
18.一种非临时性的记录介质,其存储有程序,该程序用于使基于规定的地图而移动的自主移动装置的计算机执行规定的处理,
所述规定的处理包含如下处理:
获取表示所述规定的地图之上的多个地点的各个地点处的物体存在的可能性的指标即存在指标,
在检测出来自所述物体的呼叫、并且未检测出所述物体的位置的情况下,基于所获取的存在指标,从所述多个地点选择所述物体存在的可能性高的位置即目的地用的地点,
将所选择的所述目的地用的地点设定为目的地,
控制驱动部,以使得所述自主移动装置移动至所设定的所述目的地,
所述存在指标是基于物体的存在概率、次数或者时间带而得到的。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018040392 | 2018-03-07 | ||
JP2018-040392 | 2018-03-07 | ||
JP2018235719A JP7225763B2 (ja) | 2018-03-07 | 2018-12-17 | 自律移動装置、自律移動方法及びプログラム |
JP2018-235719 | 2018-12-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110238837A CN110238837A (zh) | 2019-09-17 |
CN110238837B true CN110238837B (zh) | 2023-04-18 |
Family
ID=67842508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910169913.9A Active CN110238837B (zh) | 2018-03-07 | 2019-03-06 | 自主移动装置、自主移动方法以及存储介质 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20190278294A1 (zh) |
CN (1) | CN110238837B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018132607A2 (en) * | 2017-01-12 | 2018-07-19 | Mobileye Vision Technologies Ltd. | Navigation based on vehicle activity |
JP6686977B2 (ja) * | 2017-06-23 | 2020-04-22 | カシオ計算機株式会社 | 音源分離情報検出装置、ロボット、音源分離情報検出方法及びプログラム |
KR20200101221A (ko) * | 2019-02-19 | 2020-08-27 | 삼성전자주식회사 | 사용자 입력 처리 방법 및 이를 지원하는 전자 장치 |
US11815525B1 (en) * | 2020-09-14 | 2023-11-14 | Amazon Technologies, Inc. | System to determine device disposition |
US11714157B2 (en) * | 2020-11-10 | 2023-08-01 | Amazon Technologies, Inc. | System to determine direction toward user |
CN113640744A (zh) * | 2021-08-20 | 2021-11-12 | 歌尔科技有限公司 | 声源定位方法及音频设备 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4896838B2 (ja) * | 2007-08-31 | 2012-03-14 | カシオ計算機株式会社 | 撮像装置、画像検出装置及びプログラム |
US9400503B2 (en) * | 2010-05-20 | 2016-07-26 | Irobot Corporation | Mobile human interface robot |
US10466795B2 (en) * | 2013-03-29 | 2019-11-05 | Lg Electronics Inc. | Mobile input device and command input method using the same |
CN106826815B (zh) * | 2016-12-21 | 2019-05-31 | 江苏物联网研究发展中心 | 基于彩色图像与深度图像的目标物体识别与定位的方法 |
CN107703935A (zh) * | 2017-09-12 | 2018-02-16 | 安徽胜佳和电子科技有限公司 | 多个数据权重融合进行避障的方法、存储装置及移动终端 |
-
2019
- 2019-02-28 US US16/289,154 patent/US20190278294A1/en not_active Abandoned
- 2019-03-06 CN CN201910169913.9A patent/CN110238837B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110238837A (zh) | 2019-09-17 |
US20190278294A1 (en) | 2019-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110238837B (zh) | 自主移动装置、自主移动方法以及存储介质 | |
JP7225763B2 (ja) | 自律移動装置、自律移動方法及びプログラム | |
Eliakim et al. | A fully autonomous terrestrial bat-like acoustic robot | |
JP7320239B2 (ja) | 音源の方向を認識するロボット | |
US9655356B1 (en) | Selective herbicide and responsible pesticide allocation apparatus and system | |
Latif et al. | Sound localization sensors for search and rescue biobots | |
US20220254155A1 (en) | Method for plantation treatment based on image recognition | |
US9693547B1 (en) | UAV-enforced insect no-fly zone | |
JP6274430B2 (ja) | 害虫捕獲収容装置及び害虫殺虫装置 | |
US10772295B2 (en) | Unmanned aerial vehicle for determining geolocation foraging zones | |
US11109586B2 (en) | System and methods for automated wildlife detection, monitoring and control | |
KR101919613B1 (ko) | 농업용 방제로봇 | |
KR20170054808A (ko) | 드론을 이용한 야생동물 퇴치 시스템 및 이를 이용한 퇴치 방법. | |
CN109996729A (zh) | 用于基于农作物破坏检测经由无人交通工具标识包含农作物的区域中的有害生物的系统和方法 | |
JP6671577B2 (ja) | 人を識別する自律行動型ロボット | |
CN113787517B (zh) | 自移动机器人控制方法、装置、设备及可读存储介质 | |
JP2018061513A (ja) | 害虫駆除装置 | |
WO2020193458A1 (en) | Apparatus for insect control | |
Schiano et al. | Autonomous detection and deterrence of pigeons on buildings by drones | |
US11986959B2 (en) | Information processing device, action decision method and program | |
CN111814665A (zh) | 基于宠物情绪识别的陪护方法、装置、服务器及存储介质 | |
JP2022104060A (ja) | 飛行型ロボット、飛行型ロボットの制御プログラムおよび飛行型ロボットの制御方法 | |
KR102575262B1 (ko) | 스마트 팜 자율 주행 로봇이 무선 충전을 수행하는 방법 및 이를 위한 장치 | |
Chakraborty et al. | A low cost autonomous multipurpose vehicle for advanced robotics | |
CN109421061A (zh) | 室内杀虫机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |