CN107077138A - 移动体控制装置和移动体 - Google Patents

移动体控制装置和移动体 Download PDF

Info

Publication number
CN107077138A
CN107077138A CN201580048306.7A CN201580048306A CN107077138A CN 107077138 A CN107077138 A CN 107077138A CN 201580048306 A CN201580048306 A CN 201580048306A CN 107077138 A CN107077138 A CN 107077138A
Authority
CN
China
Prior art keywords
moving body
image
point
people
mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580048306.7A
Other languages
English (en)
Other versions
CN107077138B (zh
Inventor
S·O·孟松
赤松政弘
大谷正幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidec Corp
Original Assignee
Nidec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=55458912&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN107077138(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nidec Corp filed Critical Nidec Corp
Publication of CN107077138A publication Critical patent/CN107077138A/zh
Application granted granted Critical
Publication of CN107077138B publication Critical patent/CN107077138B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

移动体控制装置具有摄像部、确定部和控制部。摄像部在被设置于移动体的情况下，对移动体的周围的至少一部分进行摄像，取得图像。确定部在摄像部拍摄到的图像中包含有人的像的情况下，根据人的像将该人的躯干决定为代表点。控制部根据确定部决定的代表点在图像内的位置，控制移动体的移动。

Description

移动体控制装置和移动体
技术领域
本发明涉及移动体控制装置和移动体。
背景技术
以往，提出了检测特定的跟踪对象物的位置并与该跟踪对象物隔开间隔来进行跟踪的跟踪方法。例如，在专利文献1中记载的跟踪方法中，在跟踪对象物中设置第1位置检测传感器和第1信息通信单元，跟踪对象物具有存储单元，该存储单元将第1位置检测传感器的位置检测信息与来自时钟单元的时刻信息一起进行存储。在本跟踪方法中，在跟踪装置中设置有第2位置检测传感器和第2信息通信单元，跟踪装置根据存储单元中存储的信息，再现跟踪对象物过去通过的路径来进行跟踪。
现有技术文献
专利文献
专利文献1：日本公开公报：日本特开2006-155349号公报
发明内容
发明要解决的问题
然而，相比于通过车轮的旋转而进行移动的移动体(车辆或台车等)，人进行更复杂的动作。为了取得人的移动信息，要求使用各种传感器，并使用各个传感器检测到的信息实时进行复杂的运算，因此，要求较多的部件和运算量。专利文献1中记载的跟踪方法要求对跟踪对象者安装第1位置检测传感器和第1信息通信单元。
本发明正是鉴于上述情况而完成的，提供能够以简单的结构追随人的移动体控制装置和移动体。
用于解决问题的手段
(1)本发明是为了解决上述的课题而完成的，本发明的一个方式是移动体控制装置，其特征在于，该移动体控制装置具有：摄像部，其在被设置于移动体的情况下，该摄像部对该移动体的周围的至少一部分进行摄像，得到图像；确定部，其在所述摄像部拍摄到的图像中包含有人的像的情况下，根据所述人的像将该人的躯干决定为代表点；以及控制部，其根据所述确定部决定的所述代表点在所述图像内的位置，控制所述移动体的移动。
(2)本发明的一个方式是上述的移动体控制装置，其特征在于，所述确定部针对所述摄像部按照时间序列拍摄到的多个图像中的每个图像，分别提取所述代表点，所述控制部根据所述确定部提取出的所述代表点的位置的时间变化，控制所述移动体的移动。
(3)本发明的一个方式是上述的移动体控制装置，其特征在于，所述移动中包含有所述移动体的移动方向，所述控制部在所述确定部无法决定所述代表点的情况下，改变所述移动体的朝向。
(4)本发明的一个方式是上述的移动体控制装置，其特征在于，所述控制部在所述确定部判定为所述摄像部拍摄到的图像中包含有规定的姿势的人的像的情况下，开始基于该人的所述代表点来进行的所述移动体的移动的控制。
(5)本发明的一个方式是上述的移动体控制装置，其特征在于，所述控制部在所述确定部无法决定所述代表点的情况下，输出催促所述规定的姿势的通知。
(6)本发明的一个方式是上述的移动体控制装置，所述控制部针对所述代表点与所述移动体的基准点之间的距离，将规定的距离作为目标来控制所述移动体的移动。
(7)本发明的一个方式是移动体，其具有上述的移动体控制装置，能够在任意的方向上沿着地面移动。
(8)本发明的一个方式是上述移动体，该移动体是无人输送车。
发明的效果
根据本发明的一个方式，移动体能够以简单的结构追随人。
附图说明
图1是示出第1实施方式的移动体的结构的概略图。
图2是用于说明图像数据和坐标系的图。
图3是示出第1实施方式的移动体控制装置的结构的框图。
图4是示出人体模型的例的图。
图5是用于说明第1实施方式的移动控制的俯视图。
图6是示出第1实施方式的移动控制的例子的俯视图。
图7是示出第1实施方式的移动体控制处理的流程图。
图8是用于说明第2实施方式的方向变更处理的一例的俯视图。
图9是用于说明第2实施方式的方向变更处理的另一例的俯视图。
图10是示出第2实施方式的移动体控制处理的流程图。
图11是用于说明第2实施方式的变形例的方向决定处理的俯视图。
图12是示出所拍摄的图像的例子的图。
图13是示出第2实施方式的变形例的方向决定处理的流程图。
图14是示出第2实施方式的变形例的移动体的结构的俯视图。
图15是第2实施方式的变形例的移动体控制装置的框图。
图16是示出第3实施方式的移动体控制装置的结构的框图。
图17是示出第3实施方式的移动体控制处理的流程图。
图18是示出针对从基准点到代表点的距离的速度的目标值的例子的图。
具体实施方式
(第1实施方式)
以下，参照附图对本发明的第1实施方式进行说明。
图1是示出本实施方式的移动体1的结构的概略图。在图1中，X，Y，Z分别表示3维正交坐标系的X轴、Y轴、Z轴。图1的(A)、(B)分别是移动体1的俯视图、侧视图。移动体1具有驱动部13-1、13-2、车轮14-1、14-2、14-3和基台15。移动体1例如是无人输送车。通过该结构，无人输送车能够以简单的结构追随人。
驱动部13-1、13-2使车轮14-1、14-2旋转。车轮14-1、14-2和14-3支承基台15的底面，通过进行旋转而使移动体1的整体移动。车轮14-3配置在该底面的一边的接近中点的位置，与此相对，车轮14-1、14-2配置在接近与该一边对置的边、且接近基台15的两侧面的位置。轴线Ar是分别通过车轮14-1、14-2的旋转中心的直线。在以下的说明中，将从车轮14-3朝向车轮14-1、14-2的中点的方向称作前方，将从车轮14-1、14-2的中点朝向车轮14-3的方向称作后方。将面向前方时的左方、右方分别简称作左方、右方。
在车轮14-1、14-2的车轴(未图示)上分别安装有旋转传感器(未图示)。旋转传感器检测各个车轮14-1、14-2的旋转速度，将表示检测到的旋转速度的旋转信号输出到驱动部13-1、13-2。驱动部13-1、13-2分别根据从旋转传感器接收到的旋转信号所表示的旋转速度，计算车轮14-1、14-2的旋转量。驱动部13-1、13-2分别将旋转量作为控制量，将从移动体控制装置20输入的驱动量作为控制目标量，来控制车轮14-1、14-2的旋转。驱动部13-1、13-2在车轮14-1、14-2的旋转的控制中，例如使用PID(Proportional-Integral-Derivative：比例积分微分)控制。
在基台15上设置有摄像部11和移动体控制装置20。摄像部11和移动体控制装置20中的任意一方或两方也可以能够相对于基台15拆装。
在图1所示的例中，摄像部11的光学轴朝向前方。摄像部11的光学中心在俯视时与轴线Ar上的车轮14-1、14-2的旋转中心间的中点一致。在以下的说明中，将摄像部11的光学中心称作基准点Op。基准点Op是代表移动体1的位置的点。
摄像部11每隔规定时间(例如，30ms)对以光学轴的方向为中心的规定的视野内的被摄体的像进行摄像。即，摄像部11对移动体1的周围的一部分进行摄像，取得图像。摄像部11对摄像面Ie上形成的被摄体的像进行摄像。摄像部11例如是距离图像传感器、立体照相机等。表示摄像部11取得的图像的图像数据是深度映射图。深度映射图是分别针对1帧的图像的区域所包含的多个2维坐标而具有深度值的数据。换言之，深度映射图是利用多个2维坐标的深度值表示被摄体表面的3维形状的数据。深度映射图被称作深度映射图(depthmap)或距离图像。例如，通过摄像部11拍摄到的图像和距离图像传感器而生成深度映射图。另外，也可以通过立体照相机拍摄到的2张图像而生成深度映射图。摄像部11将表示取得的图像的图像数据输出到移动体控制装置20。
接着，使用图2对图像的区域中包含的2维坐标和深度值进行说明。在以下的说明中，有时将图像的区域中包含的2维坐标称作图像内坐标。
图2是用于说明图像内坐标和深度值之间的关系的图。在图2所示的例中，摄像部11的光学轴的方向Oc朝向Z方向。
摄像面Ie在摄像部11中设置在从基准点Op向前方离开规定的焦距f的位置。摄像面Ie的法线方向朝向光学轴的方向Oc。穿过基准点Op的光学轴和摄像面Ie与摄像面Ie的中心oc相交。图像内坐标(x，y)表示摄像面Ie上排列的多个像素中的任意一个像素的位置。图像内坐标(x，y)通过以中心oc为原点的2维坐标系来表示。x、y分别表示水平方向的坐标值、垂直方向的坐标值。
这里，假定给出了表示某个被摄体的代表点Oh的位置的3维坐标(X，Y，Z)的情况。在通过基准点Op和代表点Oh的直线与摄像面Ie的交点oh处，形成表示代表点Oh的像。深度映射图针对交点oh的图像内坐标(x，y)具有代表点Oh的Z方向的坐标值作为深度值Z。此时，使用深度值Z和图像内坐标(x，y)利用式(1)来表示代表点Oh的X方向的坐标值X和Y方向的坐标值Y。因此，在深度映射图中，指定图像内坐标(x，y)，确定代表点Oh的3维坐标(X，Y，Z)。
X＝x·Z/f、Y＝y·Z/f…(1)
移动体控制装置20检测摄像部11输出的图像数据所表示的人的像。移动体控制装置20根据检测到的人的像，将该人的躯干决定为代表点。移动体控制装置20根据所决定的代表点，控制由驱动部13-1、13-2驱动的车轮14-1、14-2的旋转。通过该控制，控制移动体1的移动。
(移动体控制装置的结构)
接着，对本实施方式的移动体控制装置20的结构进行说明。图3是示出本实施方式的移动体控制装置20的结构的框图。
移动体控制装置20包括图像输入部21、对象确定部22、移动控制部25、姿势识别部26和存储部27。移动体控制装置20也可以还包括摄像部11。
图像输入部21将从摄像部11输入的图像数据逐次存储到存储部27中。图像输入部21例如是数据输入输出接口。
对象确定部22构成为包括人体判定部23、代表点确定部24。
人体判定部23读取逐次存储到存储部27中的图像数据，根据读取到的图像数据检测人的像。人体判定部23例如参照图像数据，根据相互接近的坐标之间的深度值的差来提取像的轮廓。人体判定部23对照所提取的轮廓和人体模型来检测人的像。人体判定部23将表示所提取到的轮廓的轮廓数据存储到存储部27中。
人体模型是多个节点的图像内坐标(x，y)和表示多个边的数据。节点是表示构成人体的各部位的位置或构成人体的各部位的中间位置的点。节点例如是表示头部的位置或上臂与前臂之间的点。节点也被称作接头或结点(node)。边是表示连接各2个节点间的信息。通过边来表示有无部位之间的联结。边也被称作连线(link)。因此，通过人体模型表现人体的姿势。接着，对人体模型的例进行说明。
图4是示出人体模型的例子的图。图4所示的人体模型具有15个节点jt-1～jt-15和14条边。例如，节点jt-1、jt-2、jt8、jt-9、jt-15分别表示头部、胸部、右手部、腰部、右脚部的各位置。与表示腰部的位置的节点jt-9连接的边的数量是3条。3条边分别与表示胸部的位置的节点jt-2、表示左腰部的位置的节点jt-10、表示右腰部的位置的节点jt-11连接。通过使用这样的人体模型，容易限定人体的姿势模型的样式。因此，能够降低在人体判定部23中的人的像的检测、和代表点确定部24决定代表点时所需要的运算量。
使用图3对人体判定部23检测人的像的处理进行说明。在存储部27中预先存储多个人体模型。各个人体模型所表示的人体的姿势在多个人体模型间相互不同。将存储部27中存储的人体模型分别与相互不同的识别编号对应起来。
人体判定部23从存储部27中读取每1个人体模型。人体判定部23对所提取的轮廓和读取的人体模型进行对照。在进行对照时，人体判定部23使形成所读取的人体模型的各节点的图像内坐标(x，y)偏移某个变位量(Δx，Δy)。人体判定部23计算所提取的轮廓和偏移后的各节点的图像内坐标(x+Δx，y+Δy)的分数。分数是表示轮廓所表示的形状和人体模型所表示的姿势之间的适合度的指标值。人体判定部23针对每1个人体模型，对多个变位量分别计算分数。然后，人体判定部23决定给出计算出的分数中的成为最大的分数的人体模型和变位量。在以下的说明中，将成为最大的分数称作最大分数。
人体判定部23在最大分数为预先决定的分数的下限以上的情况下，判定为图像中包含人的像。由此，确定图像中包含的人的姿势和位置。人体判定部23将所决定的人体模型的识别编号和变位量存储到存储部27中。
人体判定部23在最大分数小于预先决定的分数的下限的情况下，判定为图像中不包含人的像。
代表点确定部24从存储部27中读取与目前为止的规定时间内存储的识别编号对应的人体模型和变位量。规定时间例如与摄像部11对被摄体的像进行摄像的时间间隔相等。
代表点确定部24从读取的人体模型的节点中确定表示人体的躯干的位置的节点。即，对象确定部22将表示人的躯干的位置的节点决定为代表点。躯干是人体中的除去四肢和头部后的躯体。躯干在人的日常动作中不会像四肢和头部那样频繁动作。因此，通过取得躯干的位置的时间变化，能够稳定地检测伴随步行的人的全身的平行运动。另外，躯干虽然包括胸部、肩部和腰部，但是，也可以仅使用其中的腰部作为表示躯干的位置的节点。腰部相比于其他的部位不容易受到四肢和头部的动作的影响。
代表点确定部24将确定出的节点的图像内坐标与读取的变位量相加，决定代表点的图像内坐标。代表点确定部24将表示决定出的图像内坐标的代表点数据存储到存储部27中。如上所述，代表点的图像内坐标(x，y)和形成图像数据的距离值中的利用代表点的图像内坐标(x，y)指定的距离值表示代表点的3维空间内的位置(X，Y，Z)。
移动控制部25从存储部27读取在目前为止的规定时间内存储的代表点数据。移动控制部25决定与读取的代表点数据所相关的代表点之间的距离成为规定距离(例如，1.0m)的移动目标点。移动控制部25计算从当前的基准点向移动目标点的移动量。移动控制部25计算用于以计算出的移动量进行移动的驱动量，生成控制信号，该控制信号指示以计算出的驱动量进行驱动。移动控制部25将生成的控制信号输出到驱动部13-1、13-2。驱动部13-1、13-2以从移动控制部25输入的控制信号所表示的驱动量使车轮14-1、14-2旋转。由此，移动体1根据移动控制部25计算出的移动量进行移动。后面叙述移动控制部25进行的移动控制的例子。
姿势识别部26读取存储部27中目前为止的规定时间内存储的轮廓数据和预先存储的姿势模型。姿势模型是表示规定的姿势的人体模型。规定的姿势例如是如下的状态：人与摄像部11相对而站立，右上臂相对于水平面平行地朝向右方，使左上臂朝向铅直方向。
姿势识别部26对轮廓数据所表示的轮廓和姿势模型进行对照，判定是否识别出了规定的姿势。识别出了规定的姿势意味着，轮廓数据的生成所使用的图像中包含规定的姿势的人的像。
在提取的轮廓和姿势模型的对照中，姿势识别部26例如计算提取的轮廓和分别使用多个变位量而进行偏移后的各节点的图像内坐标(x+Δx，y+Δy)的分数。人体判定部23决定计算出的分数中的成为最大的最大分数。姿势识别部26在计算出的最大分数为规定的分数的下限以上的情况下，判定为识别出了规定的姿势。姿势识别部26在计算出的最大分数小于规定的分数的下限的情况下，判定为规定的姿势的识别失败。在对照成功的情况下，姿势识别部26将表示对照的成功的对照数据存储到存储部27中。然后，移动体控制装置20开始后述的移动体控制处理。在移动体控制处理中包括基于移动控制部25进行的移动体1的位置和朝向的控制。另外，姿势识别部26也可以构成为代表点确定部24的一部分。姿势识别部26的功能与代表点确定部24的功能共用，从而能够简单地构成移动体控制装置20。
存储部27构成为包含存储各种数据的存储介质。存储部27例如构成为包含ROM(Read-only memory：只读存储器)，RAM(Random Access Memory：随机存取存储器)等。
(移动控制)
接着，对移动控制部25进行的移动控制进行说明。
图5是用于说明本实施方式的移动控制的俯视图。实线的四边形表示某一时刻t的移动体1。虚线的四边形表示移动到作为移动目标的移动目标点Op’时的移动体1。在以下的说明中，在时刻t，以决定了代表点Oh的情况为例。Oc表示时刻t的移动体1的方向，与摄像部11的光学轴的方向一致。Δθ表示代表点Oh的水平面内的方向。
接着，移动控制部25将与代表点Oh之间的距离为规定距离d且是方向Δθ的位置决定为移动目标点Op’，计算从基准点Op向移动目标点Op’的移动量。具体而言，移动控制部25决定弧Tr，将所决定的弧Tr的路径长度决定为平均驱动量。弧Tr在基准点Op处的切线方向是方向Oc，并且弧Tr通过移动目标点Op’。平均驱动量是对车轮14-1的驱动量和对车轮14-2的驱动量的算术平均值。移动控制部25计算从所决定的弧Tr的中心Oa到车轮14-1、14-2的距离ρ1、ρ2。移动控制部25分别针对计算出的距离ρ1、ρ2，计算与从弧的中心到基准点Op的距离ρ之比r1、r2。移动控制部25将所决定的平均移动量分别与比值r1、r2相乘，计算分别对车轮14-1、14-2的驱动量。
移动控制部25生成分别指示以计算出的驱动量进行驱动的控制信号。移动控制部25将生成的控制信号分别输出到驱动部13-1、13-2。驱动部13-1、13-2以从移动控制部25输入的控制信号所表示的驱动量使车轮14-1、14-2旋转。
移动控制部25决定的弧Tr相当于移动体1从基准点Op朝向移动目标点Op’的轨迹。距离ρ相当于弧Tr的曲率半径。在曲率半径与车轮14-1、14-2间的间隔相等的情况下，移动控制部25使车轮14-1、14-2中的任意一方静止而使移动体1移动。在曲率半径是0(零)的情况下，由于移动目标点Op’与基准点Op一致，因此，移动控制部25使车轮14-1、14-2以彼此相等的速度反向旋转，从而使移动体1沿着地面旋转。该情况下，移动控制部25根据目标方向Δθ以及从车轮14-1、14-2的中点到车轮14-1、14-2中的一方的距离ρ，来决定车轮14-1、14-2的驱动量。
另外，存在规定的角度的阈值是十分接近0的值(例如，1.0°)、且方向Δθ的绝对值小于该阈值的情况。能够视为摄像部11的视野朝向移动体1的前方，根据图像而决定的移动目标点Op’位于基准点Op的前方。该情况下，移动控制部25将计算出的距离d’与规定距离d之差决定为从基准点Op到移动目标点Op’的移动量。移动控制部25将所决定的移动量决定为车轮14-1、14-2共同的驱动量。移动控制部25生成指示以决定的驱动量进行驱动的控制信号。移动控制部25将所生成的控制信号分别输出到驱动部13-1、13-2。另外，在移动量是正的值的情况下，移动体1前进，在该移动量是负的值的情况下，移动体1后退。如以上说明的那样，移动控制部25能够使移动体1在地面上的任意的方向上移动。
另外，移动控制部25也可以根据计算出的距离d’，依照预先设定的加减速时间T来计算移动体1的行进速度。行进速度存在上限。例如，在移动开始时刻的行进速度是0的情况下，从该时刻起经过了加减速时间T后的时刻的行进速度成为上限。另一方面，假定行进速度是上限、且在某个时刻开始制动的情况时，从该时刻经过了加减速时间T后的时刻的行进速度成为0。因此，将横轴作为时刻、纵轴作为速度而表示的速度的描绘形状成为梯形。但是，根据距离d’的不同，有时在从移动开始时刻起经过加减速时间T之前，移动控制部25开始对移动体1进行制动。该情况下，速度的描绘形状成为三角形。
从摄像部11取得的图像数据不限于上述的深度映射图，还能够利用表示每个图像内坐标(x，y)的距离d’的图像数据。如上所述，根据水平方向的坐标x唯一地给出X坐标。X坐标是以基准点Op为原点的3维空间内的水平方向的坐标值。移动控制部25根据基于图像数据而决定的代表点Oh的X坐标和距离d’，计算移动体1的目标方向Δθ。
移动控制部25根据计算出的目标方向Δθ和上述的信号速度，计算分别针对车轮14-1、14-2的速度衰减率。速度衰减率是表示车轮14-1、14-2之间的转速的比率的系数。例如，在目标方向Δθ是10°的情况下，车轮14-1的速度衰减率是1的情况下，车轮14-2的速度衰减率为0.9。其结果为，移动体1在前进的同时向右方或左方前进。此外，在距离d’与规定距离d的差分，即移动量Δd为负的情况下，移动体1在后退的同时向右方或左方前进。
如以下说明的那样，移动控制部25根据移动量Δd的值来决定对车轮14-1、14-2的驱动速度。
(1)在移动量Δd为正的情况下，移动控制部25将前述的行进速度与速度衰减率相乘来决定对车轮14-1、14-2的驱动速度。
(2)在移动量Δd为0的情况下，移动控制部25将预先设定的转弯上限速度与速度衰减率相乘来决定对车轮14-1、14-2的驱动速度。
(3)在移动量Δd为负的情况下，前述的行进速度也为负。该情况下，移动控制部25将前述的行进速度与速度衰减率相乘来计算对车轮14-1、14-2的驱动速度。
移动控制部25生成指示以所决定的驱动速度使车轮14-1、14-2旋转的控制信号，将所生成的控制信号输出到驱动部13-1、13-2。
接着，对本实施方式的移动控制的例子进行说明。
图6是示出本实施方式的移动控制的例子的俯视图。
图6的(A)示出移动体1的运动的例子。箭头m1示出代表点Oh向移动体1的前方移动从而远离移动体1的情况。该情况下，如箭头m1’所示，移动体1前进从而接近代表点Oh。箭头m2示出代表点Oh向移动体1的后方移动从而接近移动体1的情况。该情况下，如箭头m2’所示，移动体1后退从而远离代表点Oh。
图6的(B)示出移动体1的运动的另一例。箭头m3示出代表点Oh相对于移动体1向右方移动的情况。该情况下，如箭头m3’所示，移动体1向右方转弯，从而朝向代表点Oh。箭头m4示出相对于代表点Oh向左方移动的情况。该情况下，如箭头m4’所示，移动体1向左方转弯，从而朝向代表点Oh。
如以上说明的那样，移动控制部25能够使移动体1追随在地面上的任意方向移动的人体。通过该追随动作，从基准点到代表点的距离接近规定距离。例如，在规定距离为1.0m的情况下，即使具有平均的上肢的长度(日本人男性的情况下约为72cm)的人不步行的情况下伸展上肢，上肢也不会接触移动体1。另一方面，如果人在步行的同时伸展上肢，则上肢会接触移动体。即，1.0m是如下的距离：虽然具有平均尺寸的人不会马上接触，但是，如果倾斜上体或移动下肢并伸展上肢，则能够马上访问(access)移动体1。此外，1.0m是比以人的平均的步行速度(约4km/h)移动中的移动体1的制动距离短的距离。
因此，规定距离的1.0m是不与人体接触而人能够马上访问的平均的距离。规定距离也可以不是严苛地为1.0m，也可以是处于从1.0m起的规定的范围，例如从0.8m到1.2m的范围。人不接触移动体1而能够马上访问的距离根据利用者的尺寸、步行速度、移动体的移动速度等利用条件而不同，因此，能够根据该利用条件来变更规定距离。
(移动体控制处理)
接着，对本实施方式的移动体控制处理进行说明。
图7是示出本实施方式的移动体控制处理的流程图。(步骤S101)从摄像部11向图像输入部21输入图像数据。然后，进入步骤S102的处理。(步骤S102)姿势识别部26参照存储部27中存储的姿势模型数据，判定是否在所输入的图像数据所表示的图像中识别出了规定的姿势。在判定为姿势识别部26识别出的情况下(步骤S102“是”)，进入步骤S103的处理。在判定为姿势识别部26未能识别的情况下(步骤S102“否”)，重复步骤S101的处理。
(步骤S103)从摄像部11向图像输入部21输入图像数据。然后，进入步骤S104的处理。(步骤S104)人体判定部23参照存储部27中存储的人体模型数据，从所输入的图像数据所表示的图像中检测人的像。然后，进入步骤S105的处理。(步骤S105)代表点确定部24将所检测到的人的像中的与躯干相关的节点决定为代表点。然后，进入步骤S106的处理。
(步骤S106)移动控制部25决定与代表点之间的距离成为规定距离的移动目标点。然后，进入步骤S107的处理。(步骤S107)移动控制部25计算从移动体1的基准点到移动目标点的移动量。然后，进入步骤S108的处理。(步骤S108)移动控制部25根据计算出的移动量来驱动驱动部13-1、13-2。然后，进入步骤S103。
(变形例)
在上述中，以代表点确定部24使用在一个时刻取得的图像数据决定该时刻的代表点的情况为例，但是，代表点确定部24也可以针对摄像部11按照时间序列拍摄到的多个图像中的每个图像来分别决定代表点。即，代表点确定部24针对摄像部11按照时间序列拍摄到的多个图像中的每个图像，分别提取代表点。移动控制部25根据代表点确定部24提取出的代表点的位置的时间变化，控制移动体1的移动。
这里，代表点确定部24使用在目前为止的预定的期间内取得的代表点来追踪当前的代表点。追踪也被称作跟踪(tracking)。在追踪中，代表点确定部24对在目前为止的预定的期间内取得的代表点进行线性预测来计算当前的代表点。代表点确定部24使用上述的方法，根据当前取得的图像数据来决定当前的代表点。但是，人体判定部23在对提取出的轮廓和人体模型进行对照时，将给出与根据追踪而决定的代表点相关的图像内坐标的变位量决定为预测变位量。然后，人体判定部23根据决定的预测变位量针对规定的探索范围内的多个变位量分别计算分数，根据计算出的分数决定最大分数。代表点确定部24计算通过追踪而决定的代表点和根据图像数据而决定的代表点之间的距离。代表点确定部24根据计算出的距离，例如使用最小二乘法来更新线性预测系数。
由此，在提取出的轮廓和人体模型的对照中，人体判定部23能够限制用于探索最大分数的变位量的探索范围。换言之，能够减轻如下处理：判定图像中是否包含人的像，根据图像所示的人的像来确定人体的姿势和位置。即，在图像中不需要包含人的像的整体。此外，移动体1的振动引起的代表点的偏离被缓和，因此，在移动体1的平移运动中能够高精度地追随。
另外，在上述中，以代表点确定部24主要将表示人体的躯干的位置的节点决定为代表点的情况为例，但是，也可以将表示其他的部位的位置的节点决定为代表点。该情况下，代表点确定部24也可以追踪当前的代表点。在追踪中，也可以使用表示该节点的运动形态的运动模型来预测代表点。例如，在使用表示左下肢部的位置的节点的情况下，运动模型包含表示伴随步行的左下肢部的前后运动的系数。通过使用该运动模型，能够抑制伴随步行的前后运动引起的代表点的变位，能够估计与平移运动对应的代表点。
如以上说明的那样，在移动体1具有本实施方式的移动体控制装置20的情况下，该移动体控制装置20具有摄像部11，该摄像部11对移动体1的周围的至少一部分进行摄像，取得图像。移动体控制装置20具有代表点确定部24，该代表点确定部24在摄像部11拍摄到的图像中包含人的像的情况下，根据人的像将人的躯干决定为代表点。移动体控制装置20具有移动控制部25，该移动控制部25根据由代表点确定部24决定的代表点的图像内的位置，控制移动体的移动。
通过该结构，移动体控制装置20在控制移动体的移动时，能够利用根据拍摄到的图像而决定的人的躯干的位置。因此，能够通过图像一元化地掌握复杂的人的运动，捕捉人的平移运动，因此，能够以简单的结构使移动体追随人。
在本实施方式的移动体控制装置20中，代表点确定部24针对摄像部11按照时间序列拍摄到的多个图像中的每个图像，分别提取代表点。移动控制部25能够根据代表点确定部24提取出的代表点的位置的时间变化，控制移动体的移动。
通过该结构，能够根据代表点的位置的时间变化来估计人的运动的倾向。通过利用估计出的人的运动的倾向，能够减轻处理。
在本实施方式的移动体控制装置20中，姿势识别部26判定为摄像部11拍摄到的图像中包含规定的姿势的人的像的情况下，使移动控制部25开始基于代表点的移动体的移动的控制。通过该结构，人即使不与移动体控制装置20接触，也能够通过采取规定的姿势来指示控制的开始。移动体控制装置20不是必须具有用于受理人进行的控制开始的指示的结构，因此能够抑制部件数量的增加。
在本实施方式的移动体控制装置20中，移动控制部25针对代表点和移动体1的基准点之间的距离，以规定的距离作为目标来控制移动体1的移动。
通过该结构，以规定的距离为目标对人与移动体1之间的距离进行控制。因此，既能够在人能够留意到的范围内对移动体1的位置进行控制，又能避免移动体1对人的接触。
(第2实施方式)
接着，对本发明的第2实施方式进行说明。针对与上述的实施方式相同的结构标注相同的标号并省略说明。
在本实施方式的移动体控制装置20中，在代表点确定部24无法决定代表点的情况下，移动控制部25改变移动体1的朝向。
在代表点确定部24无法决定代表点的情况下，存在以下情况。
(1)人体判定部23无法根据取得的图像检测人的像的情况。该情况中，存在由于人位于摄像部11的视野外而在该图像中不包含人的像的情况、由于移动体1的振动而在该图像中产生了“抖动”的情况等。人体判定部23在上述的最大分数低于规定的分数的阈值的情况下，能够判定为无法检测人的像。
(2)代表点确定部24无法根据检测到的人的像来决定代表点的情况。该情况中，存在检测到的人的像中不包含表示检测对象的躯干的位置的节点的情况、代表点的图像内坐标(x，y)的深度值Z异常的情况(例如为0以下)等。
接着，对移动控制部25改变移动体1的朝向的处理进行说明。将改变移动体1的朝向的处理称作方向变更处理。
图8和图9是用于说明本实施方式的方向变更处理的例子的俯视图。在方向变更处理的方式中存在如下的方式(1)、(2)。也可以在移动控制部25中预先设定执行(1)、(2)中的哪一方。
(1)使移动体1后退。如图8所示，在无法检测人的像的情况中，存在代表点Oh的图像内坐标位于图像的范围外的情况。这意味着，代表点Oh位于摄像部11的视野Ov的范围外。
因此，移动控制部25将移动体1的移动方向决定为后方，使移动体1后退规定的移动量Δd。这里，移动控制部25将移动目标点Op’决定为从当前的基准点Op向后方移动了移动量Δd的位置。移动控制部25根据到所决定的移动目标点Op’为止的移动量Δd来进行上述的移动控制。通过使移动体1后退，在前方的水平方向上位于比后退前更宽的范围内的物体包含于摄像部11的视野Ov内。在图8所示的例中，在视野Ov内包含人的像。因此，代表点确定部24能够再次决定代表点Oh。
与代表点确定部24能够决定代表点Oh的距离d’的范围(例如，0.5-3.5m)相比，移动量Δd也可以十分小(例如，0.3m)。通过限制移动量Δd，能够降低移动体1与位于移动体1的后方的物体接触的可能性。
(2)使移动体1的水平方向变化。在图9所示的例中，移动控制部25将移动目标点Op’决定为与基准点Op相同，将目标方向Δθ决定为从前方右转规定角度，根据目标方向Δθ进行上述的移动控制。通过使移动体1向右方转弯，位于移动前的摄像部11的视野Ov的右方的物体包含在移动后的视野Ov内。在图9所示的例中，视野Ov内包含人的像。因此，代表点确定部24能够再次决定代表点Oh。另外，目标方向Δθ不限于右方，也可以是左方。给出目标方向Δθ的规定角度也可以是小于摄像部11的视野角的角度。通过重复方向变更处理，移动体控制装置20能够在整周范围内探索有无人的像。
(移动体控制处理)
接着，对本实施方式的移动体控制处理进行说明。
图10是示出本实施方式的移动体控制处理的流程图。
图10所示的移动体控制处理具有步骤S101-S108的处理和步骤S201-S205的处理。步骤S101-S108的处理与上述的说明同样。
在步骤S101-S104的处理结束后，进入步骤S201。(步骤S201)人体判定部23判定是否从所输入的图像数据所表示的图像中检测到了人的像。在人体判定部23判定为检测到的情况下(步骤S201“是”)，进入步骤S105的处理。在步骤S105的处理结束后，进入步骤S202的处理。在判定为人体判定部23没有检测到的情况下(步骤S201“否”)，进入步骤S203的处理。(步骤S202)代表点确定部24判定是否根据检测到的人的像决定了代表点。在代表点确定部24判定为决定了的情况下(步骤S202“是”)，进入步骤S106的处理。在代表点确定部24判定为没能决定的情况下(步骤S202“否”)，进入步骤S203的处理。
(步骤S203)代表点确定部24判定从不能决定代表点的时刻起的经过时间是否成为规定的经过时间的阈值(例如，15秒)以上。在代表点确定部24判定为成为了规定的经过时间以上的情况下(步骤S203“是”)，结束图10所示的处理。在代表点确定部24判定为未成为规定的经过时间的阈值以上的情况下(步骤S203“否”)，返回步骤S204的处理。(步骤S204)移动控制部25改变移动体1的朝向。这里，移动控制部25执行上述的方向变更处理。然后，进入步骤S103的处理。
通过图10所示的移动体控制处理，移动控制部25改变移动体1的朝向，直到代表点确定部24能够决定代表点。由此，移动控制部25能够重新开始使移动体1追随人的控制。但是，当从无法决定代表点的时刻起经过了规定的经过时间以上的时间时，移动控制部25停止移动体控制处理。
另外，当移动控制部25使移动体1后退时，存在移动目标点Op’超过规定的后退范围的情况。规定的后退范围是将从距离d’的范围的下限dmin’增大预定的极限值δd的值dmin’+δd作为下限，将从该范围的上限dmax’减小预定的极限值δd的值作为上限dmax’+δd的范围，其中，该距离d’是代表点确定部24能够决定代表点的距离。该情况下，移动控制部25也可以停止上述的移动体控制处理。由此，代表点确定部24能够将移动体1的移动范围限制在能够决定代表点的距离d’的范围内。
(变形例)
接着，对本实施方式的变形例进行说明。移动控制部25也可以根据在目前为止的规定期间内决定的代表点的图像内坐标(x，y)，来决定移动体1的朝向。在前时刻的代表点的图像内坐标(x，y)包含于从图像的水平方向的一端起的规定宽度的区域中的情况下，移动控制部25将移动体的朝向决定为该一端的方向。在前时刻的代表点的图像内坐标(x，y)包含于从图像的水平方向的另一端起的规定宽度的区域中的情况下，移动控制部25将移动体1的朝向决定为该另一端的方向。前时刻是指，对在作为当前处理对象的图像数据的紧前所取得的图像数据进行处理的时刻。规定宽度小于图像的水平方向的大小的一半的大小。在其以外的情况下，移动控制部25判定为使移动体1后退。将决定移动体1的朝向的处理称作方向决定处理。
图11是用于说明本变形例的方向决定处理的俯视图。
箭头m1、m2、m3分别表示人的运动。◎标记表示各时刻t的代表点Oh(t)。例如，代表点Oh(t11)、Oh(t12)、Oh(t13)分别表示时刻t11、t12、t13的人的位置。
箭头m1表示人从左方向右方横切移动体1的前方。到时刻t12为止，人位于摄像部11的视野Ov内，然后，人从视野Ov脱离。因此，在时刻t13，代表点确定部24判定为无法决定代表点。然后，移动控制部25从存储部27读取前时刻t12的代表点数据。读取的代表点数据所表示的代表点的图像内坐标(x，y)包含于从图像的右端起的规定宽度的区域内。因此，移动控制部25将移动体1的移动方向决定为右方。然后，移动控制部25将移动体1的朝向向右方变更目标方向Δθ。
箭头m2表示人从右方向左方横切移动体1的前方。到时刻t22为止，人位于摄像部11的视野Ov内，然后，人从视野Ov脱离。因此，在时刻t23，代表点确定部24判定为无法决定代表点。然后，移动控制部25从存储部27读取前时刻t22的代表点数据。读取的代表点数据所表示的代表点的图像内坐标(x，y)包含于从图像的左端起的规定宽度的区域内。因此，移动控制部25将移动体1的移动方向判定为左方。然后，移动控制部25将移动体1的朝向向左方变更目标方向Δθ。
箭头m3表示人接近移动体1。在时刻t31，人位于摄像部11的移动体1的正面。箭头m3的终点的×标记表示之后代表点确定部24无法决定代表点。此时，移动控制部25从存储部27读取代表点数据。代表点数据所表示的代表点的图像内坐标(x，y)位于图像的大致中央部，因此，既不包含于从图像的左端起的规定宽度的区域内，也不包含于从图像的右端起的规定宽度的区域内。因此，移动控制部25判定为使移动体1后退。然后，移动控制部25使移动体1后退移动量Δd。
接着，以通过箭头m1表示人的移动的情况为例，对摄像部11拍摄到的图像的例子进行说明。图12是示出摄像部11拍摄到的图像的例子的图。
图12的(A)表示在时刻t12拍摄到的图像Im12。图像Im12表示从左方向右方移动的人h。Cm表示代表点的图像内坐标(x，y)，代表图像Im12中的人h的位置。人h的像包含在图像Im12的相比于左端而更接近右端的位置。
图12的(B)示出在时刻t13拍摄到的图像Im13。人h的像不包含于图像Im13。虚线表示假设视野达到该部分时，所识别的人h的像。由于人h的像，进而代表点的图像内坐标(x，y)包含于图像Im13，因此，代表点确定部24判定为不能决定代表点。然后，移动控制部25从存储部27读取前时刻t12的代表点数据。读取的代表点数据所表示的代表点的图像内坐标(x，y)包含于从图像的右端起的规定宽度的区域内。因此，移动控制部25将移动体1的移动方向判定为右方。然后，移动控制部25将移动体1的朝向向右方变更目标方向Δθ。
图12的(C)示出在时刻t14拍摄到的图像Im14。通过使摄像部11的朝向向右方旋转，人包含于摄像部11的视野Ov内。因此，代表点确定部24能够再次决定代表点。
(方向决定处理)
接着，对本变形例的方向决定处理进行说明。在步骤S203(图10)中代表点确定部24判定为未成为规定的经过时间的阈值以上的情况下(步骤S203“否”)，移动控制部25开始以下说明的方向决定处理。
图13是示出本变形例的方向决定处理的流程图。(步骤S211)移动控制部25从存储部27读取前时刻的代表点数据。然后，进入步骤S212。
(步骤S212)移动控制部25判定读取的代表点数据的代表点的方向。这里，代表点数据所表示的代表点的图像内坐标(x，y)包含于从图像的右端起的规定的区域内的情况下，移动控制部25将代表点的方向判定为右方。在代表点的图像内坐标(x，y)包含于从图像的左端起的规定的区域内的情况时，移动控制部25将代表点的方向判定为左方。在代表点的图像内坐标(x，y)既不包含于从图像的左端起的规定的区域内，也不包含于从图像的右端起的规定的区域内的情况下，不能判定代表点的方向。然后，进入步骤S213。
(步骤S213)在移动控制部25判定出的代表点的方向是左方的情况下(步骤S213左)，进入步骤S214的处理。在不能判定代表点的方向的情况下(步骤S213不能判定)，进入步骤S215的处理。在移动控制部25判定出的代表点的方向是右方的情况下(步骤S213右)，进入步骤S216的处理。
(步骤S214)移动控制部25设定用于使移动体1的朝向向左方的目标方向Δθ。然后，进入步骤S204(图10)的处理。
(步骤S215)移动控制部25设定用于使移动体1后退的移动量Δd。然后，进入步骤S204的处理。
(步骤S216)移动控制部25设定用于使移动体的朝向向右方的目标方向Δθ。然后，进入步骤S204(图10)的处理。
根据上述的方向决定处理，在前时刻决定的代表点的图像内坐标(x，y)包含于从图像的水平方向的一端起的规定宽度的区域内的情况下，移动控制部25将移动体1的朝向决定为该一端的方向。然后，移动控制部25使移动体1向所决定的方向移动。由此，通过使移动体1向人最近的方向移动，能够以较小的移动量对人再次进行识别。
在前时刻决定的代表点的代表像素不包含于分别从图像的水平方向的两端起的规定宽度的区域内的情况下，移动控制部25判定为使移动体1后退。然后，移动控制部25使移动体1后退。由此，移动控制部25能够根据对更宽的区域进行拍摄得到的图像得到再次对人进行识别的线索。
另外，在上述中，以移动控制部25根据在前时刻决定的代表点来决定移动体1的朝向的情况为例，但不限于此。移动控制部25也可以根据在从当前起规定时间内(例如，2秒)的多个时刻分别决定的代表点，来决定移动体1的朝向。
由此，代表点确定部24在暂时无法决定代表点时，也能够利用在过去的某时刻决定的代表点。因此，移动控制部25能够稳定地决定移动体1的朝向。
(物体检测部的设置)
如图14所示，也可以在移动体1上还设置有物体检测部16。
图14是示出本变形例的移动体1的结构的俯视图。物体检测部16设置在基台15上，检测位于其周围的检测范围内的物体。物体检测部16能够检测物体的检测范围Od朝向移动体1的后方。检测范围Od朝向与摄像部11的视野Ov彼此相反的方向，不具有与视野Ov重叠的部分。因此，物体检测部16能够检测位于后方的物体。物体检测部16将表示检测到的物体的位置的物标数据输出到移动体控制装置20。物体检测部16例如是雷达装置、红外线传感器、磁传感器等。另外，物体检测部16也可以能够相对于基台15拆装。
图15是本变形例的移动体控制装置20的框图。移动体控制装置20相对于图3所示的移动体控制装置20，还具有检测信号输入部28。
检测信号输入部28将从物体检测部16输入的物标数据逐次存储到存储部27。检测信号输入部28例如是输入输出接口。检测信号输入部28也可以是与图像输入部21共用的输入输出接口。
移动控制部25从存储部27读取物标数据。移动控制部25计算代表点确定部24决定的代表点与读取的物标数据所表示的位置之间的距离。在计算出的距离为规定的距离的阈值(例如，0.5m)以下的情况下，移动控制部25将指示驱动的停止的驱动停止信号输出到驱动部13-1、13-2。
驱动部13-1、13-2在从移动控制部25输入了驱动停止信号时，使车轮14-1、14-2的旋转停止。
由此，移动控制部25能够检测摄像部11的视野中未包含的后方的物体的位置。移动控制部25在使移动体1后退而接近了检测到的物体时，能够使移动体1的移动停止。因此，移动体控制装置20能够避免移动体1与检测到的物体接触。
如以上说明的那样，在本实施方式的移动体控制装置20中，在作为控制对象的移动体1的移动中包含移动体1的移动方向。在代表点确定部24无法决定代表点的情况下，移动控制部25改变移动体1的朝向。
通过该结构，能够使移动体1向摄像部11拍摄到的图像中包含人的像的位置或方向移动。代表点确定部24能够再次决定代表点，因此，移动控制部25能够重新开始移动体1的控制。
(第3实施方式)
接着，对本发明的第3实施方式进行说明。对于上述的实施方式相同的结构标注相同的标号并省略说明。
图16是示出本实施方式的移动体控制装置20的结构的框图。
本实施方式的移动体控制装置20构成为，相对于图3所示的移动体控制装置20，还包括通知信息输出部(控制部)29。移动体控制装置20还可以具有通知部31。
代表点确定部24在无法决定代表点的情况下，将表示无法决定代表点的错误数据存储到存储部27中。
通知信息输出部29监视是否在目前为止的规定时间内在存储部27中存储了错误数据。在通知信息输出部29检测到存储了错误数据的情况下，生成通知信息数据。通知信息数据是表示如下信息的数据，该信息表示对人催促进行规定的姿势。通知信息的形式例如是表示该意思的文本、图像、声音、光线的闪烁等。通知信息输出部29将生成的通知信息数据输出到通知部31。
通知部31通知从通知信息输出部29输入的通知信息数据所表示的通知信息。通知部31具有与通知信息的形式对应的结构。例如，在通知信息的形式是文本或图像的情况下，通知部31具有显示器。在通知信息的形式是声音的情况下，通知部31具有扬声器。在通知信息的形式是光线的闪烁的情况下，通知部31具有灯。
(移动体控制处理)
接着，对本实施方式的移动体控制处理进行说明。
图17是示出本实施方式的移动体控制处理的流程图。
本实施方式的移动体控制处理具有步骤S101-S108的处理和步骤S301、S302的处理。步骤S101-S108的处理与上述的说明相同。
在步骤S101-S104的处理结束后，进入步骤S301的处理。
(步骤S301)人体判定部23判定是否从所输入的图像数据所表示的图像中检测到了人的像。在人体判定部23判定为检测到的情况下(步骤S301“是”)，进入步骤S105的处理。在人体判定部23判定为没有检测到的情况下(步骤S301“否”)，进入步骤S302的处理。
(步骤S302)通知信息输出部29生成表示催促进行规定的姿势的通知信息数据，将生成的通知信息数据输出到通知部31。通知部31通知从通知信息输出部29输入的通知信息数据所表示的通知信息。然后，返回步骤S101。
如以上说明的那样，在本实施方式的移动体控制装置20中，在代表点确定部24无法决定代表点的情况下，通知信息输出部29输出催促规定的姿势的通知。
通过该结构，在代表点确定部24无法决定代表点的情况下，向位于移动体控制装置20的周围的人通知催促规定的姿势的信息。因此，被通知的人在摄像部11的视野内进行规定的姿势，从而能够重新开始移动控制部25对移动体1的移动的控制。
以上，参照附图对本发明的实施方式和变形例进行了说明，但是，具体的结构不限于上述的实施方式和变形例，能够在不脱离本发明的主旨的范围内进行各种设计变更等。
例如，也可以是，基准点Op到代表点Oh的距离d’越大，则移动控制部25使移动体1移动的速度v越快。
图18是示出相对于距离d’的速度v的目标值的例子的图。纵轴、横轴分别表示速度v的目标值、距离d’。在图18所示的例中，速度v的目标值与距离d’成比例。移动控制部25生成表示根据距离d而决定的速度v的目标值的驱动信号，将所生成的驱动信号输出到驱动部13-1、13-2。驱动部13-1、13-2以与从移动控制部25输入的驱动信号所表示的速度v的目标值成比例的旋转速度使车轮14-1、14-2旋转。
这样，距离d’越大，则移动控制部25越提高使移动体1移动的速度v，从而能够使移动体1尽快追随人。距离d’越小，则移动控制部25越降低使移动体1移动的速度v，从而能够降低移动体1与人接触的可能性。另外，在图18所示的例中，速度v的目标值被定义在下限dmin到上限dmax之间。dmin、dmax分别是距离d’的下限、上限。是距离d’的下限、上限。vmin、vmax分别是速度v的目标值的下限、上限。在距离d’小于下限dmin的情况下，或大于上限dmax的情况下，移动控制部25将速度v的目标值决定为0。这是因为，在该情况下，代表点确定部24无法决定代表点。
另外，上述的实施方式和变形例的移动体控制装置20也可以代替姿势识别部26而具有操作输入部，或者同时具有姿势识别部26和操作输入部。当操作输入部检测到人的操作时，移动体控制装置20开始上述的移动体控制处理。操作输入部也可以构成为包括按钮、鼠标、触摸面板等指向设备。因此，通过由人进行操作，即使不进行规定的姿势也能够指示移动体控制处理的开始。
上述的实施方式和变形例也可以任意组合。例如，第2实施方式的移动体控制装置20也可以具有第3实施方式的通知信息输出部29，能够从通知部31通知通知信息。该情况下，图10所示的移动体控制处理也可以具有步骤S302(图17)的处理。而且，在步骤S203中代表点确定部24判定为成为规定的经过时间以上的情况下(步骤S203“是”)，也可以进入步骤S302的处理。
另外，关于上述的实施方式中的移动体控制装置20所具有的各部的功能整体或其一部分，也可以通过将用于实现这些功能的程序记录在计算机可读取的记录介质中，使计算机系统读入该记录介质中记录的程序并执行来实现。另外，这里所说的“计算机系统”不限于CPU(Central Processing Unit：中央处理器)等控制装置，还包含OS(OperatingSystem：操作系统)、周边设备等硬件。
“计算机可读取的记录介质”是指软盘、光磁盘、ROM、CD-ROM等可移动介质、计算机系统中内置的硬盘等存储部。进而“计算机可读取的记录介质”还可以包含：如经由互联网等网络或电话回线等通信回线而发送程序的情况下的通信线那样，短时间内动态保持程序的介质，以及如该情况下的服务器和作为客户端的计算机系统内部的易失性存储器那样，在一定时间内保持程序的介质。上述程序可以用于实现前述的功能的一部分，进而，也可以是，与计算机系统中已经记录的程序进行组合来实现前述的功能。
标号说明
1…移动体、11…摄像部、13-1、13-2…驱动部、14-1、14-2、14-3…车轮、15…基台、16…物体检测部、20…移动体控制装置、21…图像输入部、22…对象确定部、23…人体判定部、24…代表点确定部、25…移动控制部、26…姿势识别部、27…存储部、28…检测信号输入部、29…通知信息输出部、31…通知部。

Claims (8)

1.一种移动体控制装置，其特征在于，该移动体控制装置具有：
摄像部，其在被设置于移动体的情况下，对该移动体的周围的至少一部分进行摄像，取得图像；
确定部，其在所述摄像部拍摄到的图像中包含有人的像的情况下，根据所述人的像将该人的躯干决定为代表点；
控制部，其根据所述确定部决定的所述代表点在所述图像内的位置，控制所述移动体的移动。
2.根据权利要求1所述的移动体控制装置，其特征在于，
所述确定部针对所述摄像部按照时间序列拍摄到的多个图像中的每个图像，分别提取所述代表点，
所述控制部根据所述确定部提取出的所述代表点的位置的时间变化，控制所述移动体的移动。
3.根据权利要求1或2所述的移动体控制装置，其特征在于，
所述移动中包含有所述移动体的移动方向，
所述控制部在所述确定部无法决定所述代表点的情况下，改变所述移动体的朝向。
4.根据权利要求1至3中的任意一项所述的移动体控制装置，其特征在于，
在所述确定部判定为所述摄像部拍摄到的图像中包含有规定的姿势的人的像的情况下，所述控制部开始基于该人的所述代表点来进行的所述移动体的移动的控制。
5.根据权利要求4所述的移动体控制装置，其特征在于，
所述控制部在所述确定部无法决定所述代表点的情况下，输出催促所述规定的姿势的通知。
6.根据权利要求1至5中的任意一项所述的移动体控制装置，其特征在于，
所述控制部针对所述代表点与所述移动体的基准点之间的距离，将规定的距离作为目标来控制所述移动体的移动。
7.一种移动体，其中，
该移动体具有权利要求1至6中的任意一项所述的移动体控制装置，
能够在任意的方向上沿着地面移动。
8.根据权利要求7所述的移动体，其中，
该移动体是无人输送车。
CN201580048306.7A 2014-09-08 2015-08-27 移动体控制装置和移动体 Expired - Fee Related CN107077138B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014181853A JP6669948B2 (ja) 2014-09-08 2014-09-08 移動体制御装置及び移動体
JP2014-181853 2014-09-08
PCT/JP2015/074210 WO2016039158A1 (ja) 2014-09-08 2015-08-27 移動体制御装置及び移動体

Publications (2)

Publication Number Publication Date
CN107077138A true CN107077138A (zh) 2017-08-18
CN107077138B CN107077138B (zh) 2020-12-01

Family

ID=55458912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580048306.7A Expired - Fee Related CN107077138B (zh) 2014-09-08 2015-08-27 移动体控制装置和移动体

Country Status (5)

Country Link
US (1) US10379541B2 (zh)
EP (1) EP3193229B1 (zh)
JP (1) JP6669948B2 (zh)
CN (1) CN107077138B (zh)
WO (1) WO2016039158A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111052025A (zh) * 2017-09-13 2020-04-21 日本电产株式会社 移动机器人系统
CN111164533A (zh) * 2018-03-28 2020-05-15 株式会社爱考斯研究 移动体

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108780757B (zh) 2016-03-22 2022-08-23 株式会社半导体能源研究所 半导体装置以及包括该半导体装置的显示装置
DE102017117872B4 (de) * 2017-08-07 2019-11-07 Motherson Innovations Company Limited Selbstfahrendes Gepäckstück und Verfahren zum Betreiben eines selbstfahrenden Gepäckstücks
JP2020017206A (ja) 2018-07-27 2020-01-30 ソニー株式会社 情報処理装置、行動決定方法及びプログラム
EP3894972B1 (en) 2019-04-29 2023-11-08 Google LLC Motorized computing device that autonomously adjusts device location and/or orientation of interfaces according to automated assistant requests
CN111353474B (zh) * 2020-03-30 2023-12-19 安徽建筑大学 一种基于人体姿态不变特征的行人再识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040015265A1 (en) * 2002-03-18 2004-01-22 Yasuharu Asano Robot apparatus and method for controlling the operation thereof
JP2004126802A (ja) * 2002-09-30 2004-04-22 Secom Co Ltd 搬送ロボット
US20040199292A1 (en) * 2003-04-01 2004-10-07 Yoshiaki Sakagami Apparatus, process, and program for controlling movable robot control
JP2007229816A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 自律移動型ロボット
US20070222566A1 (en) * 2006-03-24 2007-09-27 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
WO2009116597A1 (ja) * 2008-03-18 2009-09-24 株式会社日立製作所 姿勢把握装置、姿勢把握プログラム、及び姿勢把握方法
JP2010172548A (ja) * 2009-01-30 2010-08-12 Saitama Univ 自律移動車椅子
US20130342652A1 (en) * 2012-06-22 2013-12-26 Microsoft Corporation Tracking and following people with a mobile robotic device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH036710A (ja) * 1989-06-05 1991-01-14 Toshiba Corp 追随移動ロボット制御装置
JP2003052039A (ja) * 2001-08-07 2003-02-21 Suzuki Motor Corp 作業動作計測システム及び方法並びに作業動作計測用プログラム
JP2006155349A (ja) 2004-11-30 2006-06-15 Sony Corp 追尾方法、追尾装置、追尾システム及び追尾プログラム
JP4154430B2 (ja) * 2006-02-06 2008-09-24 株式会社トイパッククリエーション 発信源の位置を検知する方法及び装置
JP2007265343A (ja) 2006-03-30 2007-10-11 Tottori Univ 移動物体の追従装置及び同装置を備えた電動車椅子
US7961667B2 (en) * 2006-07-21 2011-06-14 International Business Machines Corporation Ad-hoc groups in SIP/SIMPLE
JP4802112B2 (ja) * 2007-02-08 2011-10-26 株式会社東芝 トラッキング方法及びトラッキング装置
JP5757063B2 (ja) 2010-03-29 2015-07-29 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20120316680A1 (en) 2011-06-13 2012-12-13 Microsoft Corporation Tracking and following of moving objects by a mobile robot
JP6195450B2 (ja) * 2013-01-31 2017-09-13 セコム株式会社 自律飛行ロボット
DE102013110456A1 (de) 2013-09-21 2015-03-26 Still Gmbh Verfahren zur Steuerung eines Kommissionierflurförderzeugs
CN105794191B (zh) * 2013-12-17 2019-04-09 夏普株式会社 识别数据传输装置及方法和识别数据记录装置及方法
JP6448223B2 (ja) * 2014-06-12 2019-01-09 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040015265A1 (en) * 2002-03-18 2004-01-22 Yasuharu Asano Robot apparatus and method for controlling the operation thereof
JP2004126802A (ja) * 2002-09-30 2004-04-22 Secom Co Ltd 搬送ロボット
US20040199292A1 (en) * 2003-04-01 2004-10-07 Yoshiaki Sakagami Apparatus, process, and program for controlling movable robot control
JP2007229816A (ja) * 2006-02-27 2007-09-13 Toyota Motor Corp 自律移動型ロボット
US20070222566A1 (en) * 2006-03-24 2007-09-27 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
WO2009116597A1 (ja) * 2008-03-18 2009-09-24 株式会社日立製作所 姿勢把握装置、姿勢把握プログラム、及び姿勢把握方法
JP2010172548A (ja) * 2009-01-30 2010-08-12 Saitama Univ 自律移動車椅子
US20130342652A1 (en) * 2012-06-22 2013-12-26 Microsoft Corporation Tracking and following people with a mobile robotic device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111052025A (zh) * 2017-09-13 2020-04-21 日本电产株式会社 移动机器人系统
CN111164533A (zh) * 2018-03-28 2020-05-15 株式会社爱考斯研究 移动体

Also Published As

Publication number Publication date
US20180231983A1 (en) 2018-08-16
EP3193229A4 (en) 2018-04-11
CN107077138B (zh) 2020-12-01
EP3193229B1 (en) 2019-10-02
EP3193229A1 (en) 2017-07-19
US10379541B2 (en) 2019-08-13
WO2016039158A1 (ja) 2016-03-17
JP2016057720A (ja) 2016-04-21
JP6669948B2 (ja) 2020-03-18

Similar Documents

Publication Publication Date Title
CN107077138A (zh) 移动体控制装置和移动体
Malleson et al. Real-time full-body motion capture from video and imus
US11481982B2 (en) In situ creation of planar natural feature targets
US10852847B2 (en) Controller tracking for multiple degrees of freedom
CN108351522B (zh) 注视方向映射
CN102609942B (zh) 使用深度图进行移动相机定位
JP7178396B2 (ja) 入力映像に含まれた客体の３次元ポーズの推定のためのデータを生成する方法およびコンピュータシステム
CN103339654A (zh) 使用遮挡来检测并跟踪三维对象
CN108846867A (zh) 一种基于多目全景惯导的slam系统
He et al. Wearable ego-motion tracking for blind navigation in indoor environments
WO2013165440A1 (en) 3d reconstruction of human subject using a mobile device
Huang et al. Through-the-lens drone filming
JP2010123019A (ja) 動作認識装置及び方法
US20220148453A1 (en) Vision-based rehabilitation training system based on 3d human pose estimation using multi-view images
Jiang et al. Retina-based pipe-like object tracking implemented through spiking neural network on a snake robot
Silva et al. Sensor data fusion for full arm tracking using myo armband and leap motion
Park et al. A novel line of sight control system for a robot vision tracking system, using vision feedback and motion-disturbance feedforward compensation
Zhu et al. Bayesian 3D human body pose tracking from depth image sequences
EP2846288A2 (en) Dynamic Image Analyzing System And Operating Method Thereof
Lobo et al. Bioinspired visuo-vestibular artificial perception system for independent motion segmentation
JPH0973543A (ja) 画像処理装置
JP7415912B2 (ja) 装置、システム、方法およびプログラム
Chen et al. Application of Gesture Estimation Method Based on Computer
Gans et al. Image Based State Estimation.
Park et al. 3D pose estimation using joint-based calibration in distributed RGB-D camera system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201201