CN105929827B - 移动机器人及其定位方法 - Google Patents

移动机器人及其定位方法 Download PDF

Info

Publication number
CN105929827B
CN105929827B CN201610341566.XA CN201610341566A CN105929827B CN 105929827 B CN105929827 B CN 105929827B CN 201610341566 A CN201610341566 A CN 201610341566A CN 105929827 B CN105929827 B CN 105929827B
Authority
CN
China
Prior art keywords
user
positioning
mobile robot
image
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610341566.XA
Other languages
English (en)
Other versions
CN105929827A (zh
Inventor
陈本东
徐厚畅
程烈
张芊
牛建伟
都大龙
潘复平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Robotics Technology Research and Development Co Ltd
Original Assignee
Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Robotics Technology Research and Development Co Ltd filed Critical Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority to CN201610341566.XA priority Critical patent/CN105929827B/zh
Publication of CN105929827A publication Critical patent/CN105929827A/zh
Application granted granted Critical
Publication of CN105929827B publication Critical patent/CN105929827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/026—Acoustical sensing devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals

Abstract

本发明提供一种移动机器人及其定位方法，所述方法包括：采集用户的语音信息，根据所述语音信息定位所述用户的方向；转动所述移动机器人以使图像定位单元朝向所述方向；采集图像序列，识别所述图像序列中所述用户的特征部位；根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离。本发明通过语音定位为图像采集导向，再通过识别所采集图像序列中用户的特征部位，并根据所述特征部位的位置校准用户的方向、定位用户的距离，从而实现对作为声源的用户的准确定位；并进一步通过识别用户的召唤或跟踪命令，在对用户进行准确定位后驱动移动机器人移动至用户面前。

Description

移动机器人及其定位方法
技术领域
本申请涉及人机交互技术领域，具体涉及一种移动机器人及其定位方法。
背景技术
现有的机器人对说话的用户进行定位的定位方式，通常采用单纯的声源定位方法，由于声源定位在实际应用中时常存在一定方向误差，例如5°-10°的角度误差，同时无法准确定位距离，而导致无法对用户进行准确定位。
进一步地，对于服务类的机器人，在人机交互中存在一个非常重要的场景：呼唤机器人，让机器人知道说话的用户在什么方向，多远的距离。机器人在获取方向和距离的定位信息之后，可以转向用户，移动至用户面前，和用户进行面对面的交互。由于现有定位方式不够准确，方向的误差会导致机器人向错误的方向移动，无法准确的将机器人召唤到用户面前。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种通过结合图像和语音定位对用户进行准确定位的移动机器人及其定位方法。
第一方面，本发明提供一种移动机器人，所述移动机器人包括：
语音定位单元，用于采集用户的语音信息，根据所述语音信息定位所述用户的方向；
驱动单元，用于转动所述移动机器人以使图像定位单元朝向所述方向；
图像定位单元，用于采集图像序列，识别所述图像序列中所述用户的特征部位，根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离。
第二方面，本发明提供一种移动机器人的定位方法，所述方法包括：
采集用户的语音信息，根据所述语音信息定位所述用户的方向；
转动所述移动机器人以使图像定位单元朝向所述方向；
采集图像序列，识别所述图像序列中所述用户的特征部位；
根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离。
本发明诸多实施例提供的移动机器人及其定位方法通过语音定位为图像采集导向，再通过识别所采集图像序列中用户的特征部位，并根据所述特征部位的位置校准用户的方向、定位用户的距离，从而实现对作为声源的用户的准确定位；
本发明一些实施例提供的移动机器人及其定位方法进一步通过识别用户的召唤或跟踪命令，在对用户进行准确定位后驱动移动机器人移动至用户面前；
本发明一些实施例提供的移动机器人及其定位方法进一步通过结合基于同步定位和地图构建生成的环境定位信息，规划移动机器人前进的路线以规避障碍物等路障；
本发明一些实施例提供的移动机器人及其定位方法进一步通过预存用户的声纹和特征部位的对应关系，通过识别语音信息的声纹识别对应的特征信息，实现了在采集的图像序列中存在多个用户时准确识别和定位对应的用户。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例中移动机器人的结构示意图。
图2为本发明一实施例中移动机器人的定位方法的流程图。
图3为图2所示定位方法的一种优选实施方式的流程图。
图4为图3所示定位方法的一种优选实施方式的流程图。
图5为图2所示定位方法的一种优选实施方式的流程图。
图6为图5所示的步骤S73中所述特征部位的水平位置触发预设的校准阈值的示意图。
图7为图2所示定位方法的一种优选实施方式中步骤S10的流程图。
图8为图1所示移动机器人的一种优选实施方式的结构示意图。
图9为图2所示定位方法的一种优选实施方式的流程图。
图10为图9所示定位方法的一种优选实施方式中步骤S90的流程图。
图11为图10所示的步骤S91中所述特征部位的上下位置触发预设的前进阈值的示意图。
图12为图8所示移动机器人的一种优选实施方式的结构示意图。
图13为图10所示步骤S90的一种优选实施方式的流程图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1为本发明一实施例中移动机器人的结构示意图。
如图1所示，在本实施例中，本发明提供的移动机器人10包括语音定位单元11、驱动单元12和图像定位单元13。
语音定位单元11用于采集用户的语音信息，根据所述语音信息定位所述用户的方向；驱动单元12用于转动移动机器人10以使图像定位单元13朝向所述方向；图像定位单元13用于采集图像序列，识别所述图像序列中所述用户的特征部位，根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离。
图2为本发明一实施例中移动机器人的定位方法的流程图。图2所示的定位方法可对应应用于图1所示的移动机器人中。
如图2所示，在本实施例中，本发明提供的移动机器人的定位方法包括：
S10：采集用户的语音信息，根据所述语音信息定位所述用户的方向；
S30：转动所述移动机器人以使图像定位单元朝向所述方向；
S50：采集图像序列，识别所述图像序列中所述用户的特征部位；
S70：根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离。
具体地，在本实施例中，语音定位单元11包括用于采集用户语音信息的麦克风阵列，和用于根据所述语音信息定位所述用户的方向的语音定位子单元。图像定位单元13包括用于采集图像序列的摄像头，和用于识别所述图像序列中所述用户的特征部位、根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离的图像定位子单元。
在更多实施例中，语音定位单元11可根据实际需求采用不同的声音采集装置，图像定位单元13可根据实际需求采用不同的图像采集装置，只要声音采集装置能通过至少两点不同位置的采集终端采集语音信息，以供语音定位子单元定位用户的方向，图像采集装置能采集图像序列，即可实现相同的技术效果，未超出上述技术方案的设计思想和保护范围。
在本实施例中，步骤S10中，当用户甲说话时，语音定位单元11中的麦克风阵列采集用户甲的语音信息，语音定位子单元根据所述语音信息定位用户甲的第一方向；
步骤S30中，驱动单元12转动移动机器人10以使图像定位单元13朝向所述第一方向；
步骤S50中，图像定位单元13的摄像头采集所述第一方向的图像序列，图像定位子单元识别所述图像序列中用户甲的脸部；
步骤S70中，所述图像定位子单元根据用户甲的脸部的位置判断出所述第一方向与用户甲的实际方向存在偏差角度，通过控制驱动单元12转动移动机器人10以使图像定位单元13对准用户甲的实际方向以实现校准所述第一方向，并根据用户甲的脸部的位置定位用户甲与移动机器人10之间的距离。
在本实施例中，步骤S70中通过控制驱动单元12转动移动机器人10，使图像定位单元13对准用户甲的实际方向以实现校准所述第一方向，在更多实施例中，图像定位单元13还可通过先计算出所述第一方向与用户甲的实际方向之间的偏差角度，再控制驱动单元12驱动移动机器人10旋转所述偏差角度，以实现校准所述第一方向，可实现相同的技术效果。
上述实施例通过语音定位为图像采集导向，再通过识别所采集图像序列中用户的特征部位，并根据所述特征部位的位置校准用户的方向、定位用户的距离，从而实现对作为声源的用户的准确定位。
在一优选实施例中，驱动单元12还用于在图像定位单元13未识别出所述特征部位时驱动移动机器人10向所述方向前进，直至图像定位单元13识别出所述特征部位或驱动单元12根据预设策略停止驱动前进。
图3为图2所示定位方法的一种优选实施方式的流程图。图3所示的定位方法可对应应用于上述优选实施例的移动机器人中。
如图3所示，在一优选实施例中，步骤S50之后还包括：
若未识别出所述特征部位，执行步骤S53：驱动所述移动机器人向所述方向前进，直至识别出所述特征部位或根据预设策略停止驱动前进。
具体地，当移动机器人10与用户甲距离较远时，由于摄像头的采集范围有限，可能无法采集到用户甲的图像，导致图像定位单元13无法从采集的图像序列中识别出用户甲的特征部位。此时驱动单元12驱动移动机器人10向所述方向前进，直至图像定位单元13在持续采集的图像序列中识别出用户甲的特征部位，或者根据预设策略判断停止驱动前进。所述预设策略具体包括通过环境定位判断出无法继续前进(例如已到墙边)，或因接收到新的语音命令而中断当前定位等。
在一优选实施例中，图像定位单元13还用于在未识别出所述特征部位时识别移动机器人10转动过程中所采集的图像序列中的所述用户的特征部位。
图4为图3所示定位方法的一种优选实施方式的流程图。图4所示的定位方法可对应应用在上述优选实施例的移动机器人中。
如图4所示，在一优选实施例中，步骤S53之前还包括：
S51：识别所述移动机器人转动过程中所采集的图像序列中的所述用户的特征部位：若识别出，则跳转至步骤S70。
具体地，图像定位单元13未识别出用户甲的特征部位的另一种可能的原因在于所述方向与用户甲的实际方向之间的偏差角度较大，因此在驱动单元12驱动移动机器人10向所述方向前进之前先对步骤S30的转动过程中，图像定位单元13所采集的图像进行识别，可以有效的提高定位的成功率。
在一优选实施例中，所述根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离包括：
根据所述特征部位在所述图像序列中的水平位置校准所述用户的方向；判断所述水平位置是否触发预设的校准阈值：若触发，则转动所述移动机器人以使图像定位单元朝向校准后的方向；根据所述特征部位在所述图像序列中的位置定位所述用户的距离。
图5为图2所示定位方法的一种优选实施方式的流程图。图5所示的定位方法可对应应用在上述优选实施例的移动机器人中。
如图5所示，在一优选实施例中，步骤S70包括：
S71：根据所述特征部位在所述图像序列中的水平位置校准所述用户的方向；
S73：判断所述水平位置是否触发预设的校准阈值：若触发，则跳转至步骤S30以使以使图像定位单元朝向校准后的方向；
S75：根据所述特征部位在所述图像序列中的位置定位所述用户的距离。
具体地，在步骤S71中，当所述方向与用户甲的实际方向之间存在偏差角度，即所述特征部位的水平位置不位于图像序列的中央位置时，根据所述水平位置校准所述方向。
在本实施例中，摄像头的分辨率为640*480、镜头视角为58°，图像定位子单元根据以下公式计算语音定位的方向与所述用户的实际方向之间的偏差角度angle：
Figure BDA0000995369380000071
其中，box.centerX()为所述特征部位的中心点的横坐标，在本实施例中即用户甲的脸部的中心点横坐标；FOV为图像采集装置的镜头视角，在本实施例中即摄像头的镜头视角。
例如，当检测到用户甲的脸部的水平位置位于图像序列的中央位置，其中心点横坐标为320时，通过上述公式计算得到angle＝0°，无需对所述方向进行校准；
当检测到用户甲的脸部的水平位置位于图像序列的右侧位置，其中心点横坐标为480时，通过上述公式计算得到angle＝14.5°，从而对所述方向采取(移动机器人10视角的顺时针方向的)14.5°的方向校准。
当检测到用户甲的脸部的水平位置位于图像序列的左侧位置，其中心点横坐标为160时，通过上述公式计算得到angle＝345.5°，从而对所述方向采取(移动机器人10视角的顺时针方向的)345.5°的方向校准。
在本实施例中，摄像头的分辨率为640*480、镜头视角为58°，采用上述公式对语音定位的方向进行校准，在更多实施例中，可根据实际需求采用不同分辨率和不同镜头视角的图像采集装置，以及不同的公式对语音定位的方向进行校准，应具有相同的技术效果，未超出本发明技术方案的设计构思和保护范围。
图6为图5所示的步骤S73中所述特征部位的水平位置触发预设的校准阈值的示意图。如图6所示，本实施例中预设的校准阈值如图6中的中央虚线区域所示。
在步骤S73中，当图像定位单元13检测到所识别的人脸的水平位置偏出中央虚线区域，即触发了预设的校准阈值，跳转至步骤S30，控制驱动单元12转动移动机器人10，使图像定位单元13对准用户甲的实际方向。
在步骤S75中，图像定位单元13根据人脸在图像序列中的位置定位用户甲和移动机器人10之间的距离。
在一优选实施例中，移动机器人10预存有用户的声纹和特征部位的对应关系。语音定位单元11还用于识别所述语音信息的声纹。所述识别所述图像序列中所述用户的特征部位包括：识别所述图像序列中对应于所识别出声纹的特征部位。
图7为图2所示定位方法的一种优选实施方式中步骤S10的流程图。图7所示的定位方法可对应应用在上述优选实施例的移动机器人中。
如图7所示，在一优选实施例中，所述移动机器人预存有用户的声纹和特征部位的对应关系，步骤S10包括：
S11：采集用户的语音信息；
S13：识别所述语音信息的声纹；
S15：根据所述语音信息定位所述用户的方向。
具体地，步骤S13和S15不存在固定的先后顺序，在不同实施例中可以互换先后顺序，也可以同时执行。
在本实施例的场景中，图像定位单元13所采集的图像序列中同时存在用户甲和乙。通过步骤13对采集的语音信息进行声纹识别，识别出该语音信息是用户甲发出的，在步骤S50中调用用户甲的人脸特征信息对采集的图像序列进行识别，从而实现了对图像序列中同时存在的甲和乙进行区分。
上述实施例进一步通过预存用户的声纹和特征部位的对应关系，通过识别语音信息的声纹识别对应的特征信息，实现了在采集的图像序列中存在多个用户时准确识别和定位对应的用户。
图8为图1所示移动机器人的一种优选实施方式的结构示意图。
如图8所示，在一优选实施例中，语音定位单元11还用于根据所述语音信息识别所述用户的命令。
移动机器人10还包括：
交互单元14，用于根据所述命令生成交互信息并输出，执行所述命令。
图9为图2所示定位方法的一种优选实施方式的流程图。图9所示的定位方法可对应应用在上述优选实施例的移动机器人中。
如图9所示，在一优选实施例中，步骤S10还包括：根据所述语音信息识别所述用户的命令。
步骤S70之后还包括：
S90：执行所述命令。
具体地，在一优选实施例中，步骤S10中识别出用户的命令之后，还可以实时输出响应信息，以通知用户已收到命令。例如输出语音信息“好哒”、“收到”等，或以其它各类不同方式通知用户。
在一优选实施例中，所述命令为召唤命令或跟踪命令，例如“过来”或“跟我来”等。所述执行所述命令包括：控制图像定位单元13判断所述特征部位在所述图像序列中的上下位置是否触发预设的前进阈值：若未触发，驱动单元12驱动移动机器人10向校准后的方向前进；若触发，驱动单元12停止驱动移动机器人10前进。
图10为图9所示定位方法的一种优选实施方式中步骤S90的流程图。图10所示定位方法可对应应用于上述优选实施例的移动机器人中。
如图10所示，在一优选实施例中，所述命令为召唤命令或跟踪命令，步骤S90包括：
S91：判断所述特征部位在所述图像序列中的上下位置是否触发预设的前进阈值：
若未触发，执行步骤S93：驱动所述移动机器人向校准后的方向前进；
若触发，执行步骤S95：停止驱动所述移动机器人前进。
图11为图10所示的步骤S91中所述特征部位的上下位置触发预设的前进阈值的示意图。
如图11所示，在步骤S91中，当移动机器人10距离用户甲较远时，人脸在图像序列中的位置靠近下方，未触发虚线所示的前进阈值，执行步骤S93，控制驱动单元12驱动移动机器人10向校准后的方向前进；
当移动机器人10移动至用户甲附近，距离用户甲较近时，人脸在图像序列中的位置靠近上方，超出预设的前进阈值，执行步骤S95，控制驱动单元12停止驱动移动机器人10前进。
上述实施例进一步通过识别用户的召唤或跟踪命令，在对用户进行准确定位后驱动移动机器人移动至用户面前。
图12为图8所示移动机器人的一种优选实施方式的结构示意图。
如图12所示，在一优选实施例中，移动机器人10还包括：
环境定位单元15，用于通过同步定位和地图构建生成环境定位信息；
路线规划单元16，用于根据所述环境定位信息、校准后的方向和定位的距离规划移动机器人10前进的路线。
图13为图10所示步骤S90的一种优选实施方式的流程图。图13所示的定位方法可对应应用于图12所示的移动机器人中。
如图13所示，在一优选实施例中，步骤S93之前还包括：
S92：通过同步定位和地图构建生成环境定位信息，根据所述环境定位信息、校准后的方向和定位的距离规划所述移动机器人前进的路线。
具体地，在本实施例中，环境定位单元15为即时定位与地图构建(simultaneouslocalization and mapping，简称SLAM)单元，在更多实施例中可根据实际需求采用其它生成环境定位信息的装置或组件。
上述实施例进一步通过结合基于同步定位和地图构建生成的环境定位信息，规划移动机器人前进的路线以规避障碍物等路障。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，语音定位子单元和图像定位子单元可以是设置在移动机器人处理单元中的软件程序，也可以是单独进行语音定位和单独进行图像定位的硬件芯片。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，图像定位单元13还可以被描述为“用于定位跟踪用户的跟踪摄像单元”。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的公式输入方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (11)

1.一种移动机器人，其特征在于，所述移动机器人包括：
语音定位单元，用于采集用户的语音信息，根据所述语音信息定位所述用户的方向；
驱动单元，用于转动所述移动机器人以使图像定位单元朝向所述用户的方向；
图像定位单元，用于采集所述用户的方向的图像序列，识别所述图像序列中所述用户的特征部位，根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离，所述图像定位单元还用于在未识别出所述特征部位时识别所述移动机器人转动过程中所采集的图像序列中的所述用户的特征部位；
其中，所述移动机器人预存有用户的声纹和特征部位的对应关系；
所述语音定位单元还用于识别所述语音信息的声纹；
所述识别所述图像序列中所述用户的特征部位包括：识别所述图像序列中对应于所识别出声纹的特征部位。
2.根据权利要求1所述的移动机器人，其特征在于，所述驱动单元还用于在所述图像定位单元未识别出所述特征部位时驱动所述移动机器人向所述用户的方向前进，直至所述图像定位单元识别出所述特征部位或所述驱动单元根据预设策略停止驱动前进。
3.根据权利要求1所述的移动机器人，其特征在于，所述根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离包括：
根据所述特征部位在所述图像序列中的水平位置校准所述用户的方向；
判断所述水平位置是否触发预设的校准阈值；若触发，则转动所述移动机器人以使图像定位单元朝向校准后的方向；
根据所述特征部位在所述图像序列中的位置定位所述用户的距离。
4.根据权利要求1-3任一项所述的移动机器人，其特征在于，所述语音定位单元还用于根据所述语音信息识别所述用户的命令；
所述移动机器人还包括：
交互单元，用于根据所述命令生成交互信息并输出，执行所述命令。
5.根据权利要求4所述的移动机器人，其特征在于，所述命令为召唤命令或跟踪命令；
所述执行所述命令包括：
控制所述图像定位单元判断所述特征部位在所述图像序列中的上下位置是否触发预设的前进阈值：若未触发，所述驱动单元驱动所述移动机器人向校准后的方向前进；若触发，所述驱动单元停止驱动所述移动机器人前进。
6.根据权利要求5所述的移动机器人，其特征在于，所述移动机器人还包括：
环境定位单元，用于通过同步定位和地图构建生成环境定位信息；
路线规划单元，用于根据所述环境定位信息、校准后的方向和定位的距离规划所述移动机器人前进的路线。
7.一种移动机器人的定位方法，其特征在于，所述方法包括：
采集用户的语音信息，根据所述语音信息定位所述用户的方向；
转动所述机器人以使图像定位单元朝向所述用户的方向；
采集图像序列，识别所述用户的方向的图像序列中所述用户的特征部位；
根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离；
其中，所述采集图像序列，识别所述图像序列中所述用户的特征部位之后还包括：
若未识别出所述特征部位，驱动所述移动机器人向所述用户的方向前进直至识别出所述特征部位或根据预设策略停止驱动前进，
其中，所述驱动所述移动机器人向所述用户的方向前进之前还包括：
识别所述移动机器人转动过程中所采集的图像序列中的所述用户的特征部位：若识别出，则跳转至所述根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离；
且其中，所述移动机器人预存有用户的声纹和特征部位的对应关系；
所述采集用户的语音信息，根据所述语音信息定位所述用户的方向还包括：识别所述语音信息的声纹；
所述识别所述图像序列中所述用户的特征部位包括：识别所述图像序列中对应于所识别出声纹的特征部位。
8.根据权利要求7所述的定位方法，其特征在于，所述根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离包括：
根据所述特征部位在所述图像序列中的水平位置校准所述用户的方向；
判断所述水平位置是否触发预设的校准阈值；若触发，则转动所述移动机器人以使图像定位单元朝向校准后的方向；
根据所述特征部位在所述图像序列中的位置定位所述用户的距离。
9.根据权利要求7-8任一项所述的定位方法，其特征在于，所述采集用户的语音信息，根据所述语音信息定位所述用户的方向还包括：
根据所述语音信息识别所述用户的命令；
所述根据所述特征部位的位置校准所述用户的方向并定位所述用户的距离之后还包括：
执行所述命令。
10.根据权利要求9所述的定位方法，其特征在于，所述命令为召唤命令或跟踪命令；
所述执行所述命令包括：
判断所述特征部位在所述图像序列中的上下位置是否触发预设的前进阈值；
若未触发，驱动所述移动机器人向校准后的方向前进；
若触发，停止驱动所述移动机器人前进。
11.根据权利要求10所述的定位方法，其特征在于，所述驱动所述移动机器人向校准后的方向前进之前还包括：
通过同步定位和地图构建生成环境定位信息，根据所述环境定位信息、校准后的方向和定位的距离规划所述移动机器人前进的路线。
CN201610341566.XA 2016-05-20 2016-05-20 移动机器人及其定位方法 Active CN105929827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610341566.XA CN105929827B (zh) 2016-05-20 2016-05-20 移动机器人及其定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610341566.XA CN105929827B (zh) 2016-05-20 2016-05-20 移动机器人及其定位方法

Publications (2)

Publication Number Publication Date
CN105929827A CN105929827A (zh) 2016-09-07
CN105929827B true CN105929827B (zh) 2020-03-10

Family

ID=56841816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610341566.XA Active CN105929827B (zh) 2016-05-20 2016-05-20 移动机器人及其定位方法

Country Status (1)

Country Link
CN (1) CN105929827B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210511A (zh) * 2016-06-30 2016-12-07 纳恩博（北京）科技有限公司 一种定位用户的方法和装置
CN106483957A (zh) * 2016-10-09 2017-03-08 乐视控股（北京）有限公司 控制婴儿车跟随目标物体的方法和装置
CN106548231B (zh) * 2016-11-24 2020-04-24 北京地平线机器人技术研发有限公司 移动控制装置、可移动机器人和移动到最佳交互点的方法
CN106737724A (zh) * 2016-11-29 2017-05-31 上海小持智能科技有限公司 一种家庭社交服务型机器人系统
CN107077844B (zh) * 2016-12-14 2020-07-31 深圳前海达闼云端智能科技有限公司 语音联合协助的实现方法、装置及机器人
CN108242007B (zh) * 2016-12-26 2022-01-25 纳恩博（北京）科技有限公司 服务提供方法及装置
CN106682638A (zh) * 2016-12-30 2017-05-17 华南智能机器人创新研究院 一种定位机器人智能互动的系统
WO2018135276A1 (ja) * 2017-01-19 2018-07-26 シャープ株式会社 言動制御装置、ロボット、制御プログラムおよび言動制御装置の制御方法
JP6885160B2 (ja) * 2017-03-31 2021-06-09 カシオ計算機株式会社 移動装置、移動装置の制御方法及びプログラム
CN107977852B (zh) 2017-09-29 2021-01-22 京东方科技集团股份有限公司 一种智能语音导购系统及方法
CN108303972B (zh) 2017-10-31 2020-01-17 腾讯科技（深圳）有限公司 移动机器人的交互方法及装置
CN109885104A (zh) * 2017-12-06 2019-06-14 湘潭宏远电子科技有限公司 一种终端跟踪系统
CN108196455B (zh) * 2017-12-26 2020-08-11 北京康力优蓝机器人科技有限公司 一种智能取物机器人
CN109991859B (zh) * 2017-12-29 2022-08-23 青岛有屋科技有限公司 一种手势指令控制方法及智能家居控制系统
CN108245099A (zh) * 2018-01-15 2018-07-06 深圳市沃特沃德股份有限公司 机器人移动方法和装置
CN110062200A (zh) * 2018-01-19 2019-07-26 浙江宇视科技有限公司 视频监控方法、装置、网络摄像机及存储介质
CN108724177B (zh) * 2018-03-21 2020-11-06 北京猎户星空科技有限公司 任务退出控制方法、装置、机器人及存储介质
CN110555876B (zh) * 2018-05-30 2022-05-03 百度在线网络技术（北京）有限公司 用于确定位置的方法和装置
CN111067354B (zh) * 2018-10-19 2022-06-07 佛山市顺德区美的饮水机制造有限公司 饮水机及其移动方法与装置
CN111489411B (zh) * 2019-01-29 2023-06-20 北京百度网讯科技有限公司 线条绘制方法、装置、图像处理器、显卡及车辆
CN109771163A (zh) * 2019-03-01 2019-05-21 弗徕威智能机器人科技（上海）有限公司 一种轮椅自动控制系统
EP3797938B1 (en) 2019-09-27 2024-01-03 Tata Consultancy Services Limited Attention shifting of a robot in a group conversation using audio-visual perception based speaker localization
CN111128158A (zh) * 2019-12-17 2020-05-08 深圳拓邦股份有限公司 一种扫地机器人参数语音设置方法及扫地机器人
CN111055288B (zh) * 2020-01-14 2021-04-13 弗徕威智能机器人科技（上海）有限公司 一种随叫随到的机器人控制方法、存储介质及机器人

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6967455B2 (en) * 2001-03-09 2005-11-22 Japan Science And Technology Agency Robot audiovisual system
JP2004299025A (ja) * 2003-04-01 2004-10-28 Honda Motor Co Ltd 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム
JP2008087140A (ja) * 2006-10-05 2008-04-17 Toyota Motor Corp 音声認識ロボットおよび音声認識ロボットの制御方法
CN101295016B (zh) * 2008-06-13 2011-04-27 河北工业大学 一种声源自主搜寻定位方法
CN105116994B (zh) * 2015-07-07 2019-05-31 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人追踪方法和追踪装置
CN105116920B (zh) * 2015-07-07 2018-07-10 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人追踪方法、装置及智能机器人
CN105058389A (zh) * 2015-07-15 2015-11-18 深圳乐行天下科技有限公司 一种机器人系统、机器人控制方法及机器人
CN104985599B (zh) * 2015-07-20 2018-07-10 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人控制方法、系统及智能机器人
CN105184214B (zh) * 2015-07-20 2019-02-01 北京进化者机器人科技有限公司 一种基于声源定位和人脸检测的人体定位方法和系统

Also Published As

Publication number Publication date
CN105929827A (zh) 2016-09-07

Similar Documents

Publication Publication Date Title
CN105929827B (zh) 移动机器人及其定位方法
EP3174285A1 (en) Camera shooting angle adjusting method and apparatus, computer program and recording medium
WO2018124682A3 (ko) 이동 로봇 및 그 제어방법
JP6608466B2 (ja) ロボット音声探索回転システム及び方法
EP1617652A3 (en) Hybrid autofocus system for a camera
WO2017166725A1 (zh) 拍摄控制方法、设备及系统
JP2008087140A (ja) 音声認識ロボットおよび音声認識ロボットの制御方法
WO2019179468A1 (zh) 智能设备的控制方法、装置、设备和存储介质
KR101850534B1 (ko) 적외선 카메라와 마커를 이용한 영상 촬영 시스템, 방법 및 어플리케이션
CN108063909B (zh) 视频会议系统、图像跟踪采集方法及装置
US20130308835A1 (en) Mobile Communication Device with Image Recognition and Method of Operation Therefor
US10896513B2 (en) Method and apparatus for surveillance using location-tracking imaging devices
JP2009166184A (ja) ガイドロボット
JP2013167986A (ja) 画像認識システム、画像認識方法
JPH1124694A (ja) 命令認識装置
KR101060528B1 (ko) 보안시스템으로 적용되는 영상처리 시스템 및 그 운영방법
US20210064334A1 (en) Device operation apparatus, device operation system and device operation method
TWI737588B (zh) 拍照系統及方法
CN112188089A (zh) 距离获取方法及装置、焦距调节方法及装置、测距组件
US11070719B2 (en) Image capture assist device and image capture assist method
KR100936244B1 (ko) 로봇용 지능형 음성입력 장치 및 그 운용 방법
US10868956B2 (en) Picture-taking technique for self-photography using device having camera and device therefor
CN112511757B (zh) 一种基于移动机器人的视频会议实现方法及系统
CN112733566B (zh) 基于位置引导的二维码识读方法和装置
US20190010948A1 (en) Electronic fan and method for controlling the electronic fan

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant