CN110597251B - 用于控制智能移动设备的方法及装置 - Google Patents

用于控制智能移动设备的方法及装置 Download PDF

Info

Publication number
CN110597251B
CN110597251B CN201910827257.7A CN201910827257A CN110597251B CN 110597251 B CN110597251 B CN 110597251B CN 201910827257 A CN201910827257 A CN 201910827257A CN 110597251 B CN110597251 B CN 110597251B
Authority
CN
China
Prior art keywords
target object
throwing
mobile device
intention
smart mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910827257.7A
Other languages
English (en)
Other versions
CN110597251A (zh
Inventor
孟宪宇
马聪
管皓
赵瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN201910827257.7A priority Critical patent/CN110597251B/zh
Publication of CN110597251A publication Critical patent/CN110597251A/zh
Application granted granted Critical
Publication of CN110597251B publication Critical patent/CN110597251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种用于控制智能移动设备的方法及装置。所述用于控制智能移动设备的方法包括：拍摄目标区域内的场景视频或多张照片；从拍摄的场景视频或多张照片中识别出具有投掷意图的目标对象；控制所述智能移动设备移动至距所述目标对象预定义接近度的指定位置，以接收即将被所述目标对象投掷的目标物体。所述用于控制智能移动设备的装置包括：拍摄单元，拍摄目标区域内的场景视频或多张照片；识别单元，从拍摄的场景视频或多张照片中识别出具有投掷意图的目标对象；控制单元，控制所述智能移动设备移动至距所述目标对象预定义接近度的指定位置，以接收即将被所述目标对象投掷的目标物体。

Description

用于控制智能移动设备的方法及装置
技术领域
本申请涉及智能移动设备领域，具体涉及一种用于控制智能移动设备的方法及装置。
背景技术
随着科技的发展，人们对生活的智能化要求越来越高，特别是，智能移动设备(诸如，智能垃圾桶、智能清理机器人等)的出现给人们的生活带了极大的方便性。然而，现有的智能移动设备通常在用户投掷物体之后根据物体的落点位置来控制智能移动设备的移动，由于从物体被投掷到物体落地的时间非常短，因而这种控制方式容易导致智能移动设备的移动速度过快，从而带来一定的安全隐患。另外，障碍物的存在也会导致智能移动设备不能在物体落地之前及时抵达到物体的落点位置。
因此，迫切需要一种能够解决上述问题的方法及装置。
发明内容
本发明的目的在于提供一种用于控制智能移动设备的方法及装置。
据本发明的一方面，提供一种用于控制智能移动设备的方法，所述方法包括：拍摄目标区域内的场景视频或多张照片；从拍摄的场景视频或多张照片中识别出具有投掷意图的目标对象；控制所述智能移动设备移动至距所述目标对象预定义接近度的指定位置，以接收即将被所述目标对象投掷的目标物体。
优选地，所述从拍摄的场景视频或多张照片中识别出具有投掷意图的目标对象的步骤包括：通过比对所述目标对象的肢体动作在拍摄的场景视频中的相邻帧之间的变化或在拍摄的多张照片之间的变化来识别出具有投掷意图的目标对象。
优选地，所述方法还包括：当所述目标物体被所述目标对象投掷时，预测所述目标物体的落点位置；如果预测出所述目标物体的落点位置偏离所述指定位置，则控制所述智能移动设备从所述指定位置移动至所述落点位置，以使得所述目标物体落入所述智能移动设备的容器中。
优选地，所述方法还包括：检测所述目标区域中存在的障碍物；根据检测到的障碍物来规划所述智能移动设备到达所述指定位置的最短路径。
优选地，所述控制所述智能移动设备移动至距所述目标对象预定义接近度的指定位置的步骤包括：使用规划的最短路径来控制所述智能移动设备移动至距所述目标对象预定义接近度的指定位置。
优选地，所述方法还包括：当从拍摄的场景视频或多张照片中识别出多个具有投掷意图的目标对象时，基于所述目标物体的类别、所述目标对象的类别、以及所述智能移动设备与所述目标对象之间的距离中至少一者来确定所述多个具有投掷意图的目标对象中的每个目标对象的优先级。
优选地，所述控制所述智能移动设备移动至距所述目标对象预定义接近度的指定位置的步骤包括：按照所述多个具有投掷意图的目标对象的优先级，控制所述智能移动设备依次移动至距所述多个具有投掷意图的目标对象中的每个目标对象预定义接近度的指定位置。
优选地，所述按照所述多个具有投掷意图的目标对象的优先级，控制所述智能移动设备依次移动至距所述多个具有投掷意图的目标对象中的每个目标对象预定义接近度的指定位置的步骤包括：将所述多个具有投掷意图的目标对象中的每个目标对象依次压入栈中，其中，优先级最高的具有投掷意图的目标对象被置于所述栈的栈顶，优先级最低的具有投掷意图的目标对象被置于所述栈的栈底；按照所述多个具有投掷意图的目标对象中每个目标对象在所述栈中的出栈顺序，控制所述智能移动设备依次移动至距所述多个具有投掷意图的目标对象中的每个目标对象预定义接近度的指定位置。
优选地，所述按照所述多个具有投掷意图的目标对象的优先级，控制所述智能移动设备依次移动至距所述多个具有投掷意图的目标对象中的每个目标对象预定义接近度的指定位置的步骤还包括：如果在所述智能移动设备移动至距任一具有投掷意图的目标对象预定义接近度的指定位置期间从拍摄的场景视频或多张照片中识别出未被压入所述栈中的另一具有投掷意图的目标对象并且所述另一具有投掷意图的目标对象的优先级比所述任一具有投掷意图的目标对象的优先级高，则将所述任一具有投掷意图的目标对象压入所述栈中，并且控制所述智能移动设备改变为移动至距所述另一具有投掷意图的目标对象预定义接近度的指定位置。
据本发明的另一方面，提供一种用于控制智能移动设备的装置，所述装置包括：拍摄单元，拍摄目标区域内的场景视频或多张照片；识别单元，从拍摄的场景视频或多张照片中识别出具有投掷意图的目标对象；控制单元，控制所述智能移动设备移动至距所述目标对象预定义接近度的指定位置，以接收即将被所述目标对象投掷的目标物体。
优选地，所述识别单元通过比对所述目标对象的肢体动作在拍摄的场景视频中的相邻帧之间的变化或在拍摄的多张照片之间的变化来识别出具有投掷意图的目标对象。
优选地，所述装置还包括：落点预测单元，当所述目标物体被所述目标对象投掷时，预测所述目标物体的落点位置；位置调整单元，如果预测出所述目标物体的落点位置偏离所述指定位置，则控制所述智能移动设备从所述指定位置移动至所述落点位置，以使得所述目标物体落入所述智能移动设备的容器中。
优选地，所述装置还包括：障碍检测单元，检测所述目标区域中存在的障碍物；路径规划单元，根据检测到的障碍物来规划所述智能移动设备到达所述指定位置的最短路径。
优选地，所述控制单元使用规划的最短路径来控制所述智能移动设备移动至距所述目标对象预定义接近度的指定位置。
优选地，所述装置还包括：优先级确定单元，当从拍摄的场景视频或多张照片中识别出多个具有投掷意图的目标对象时，基于所述目标物体的类别、所述目标对象的类别、以及所述智能移动设备与所述目标对象之间的距离中至少一者来确定所述多个具有投掷意图的目标对象中的每个目标对象的优先级。
优选地，所述控制单元按照所述多个具有投掷意图的目标对象的优先级，控制所述智能移动设备依次移动至距所述多个具有投掷意图的目标对象中的每个目标对象预定义接近度的指定位置。
优选地，所述控制单元包括：压栈单元，将所述多个具有投掷意图的目标对象中的每个目标对象依次压入栈中，其中，优先级最高的具有投掷意图的目标对象被置于所述栈的栈顶，优先级最低的具有投掷意图的目标对象被置于所述栈的栈底；出栈单元，按照所述多个具有投掷意图的目标对象中每个目标对象在所述栈中的出栈顺序，控制所述智能移动设备依次移动至距所述多个具有投掷意图的目标对象中的每个目标对象预定义接近度的指定位置。
优选地，所述压栈单元如果在所述智能移动设备移动至距任一具有投掷意图的目标对象预定义接近度的指定位置期间从拍摄的场景视频或多张照片中识别出未被压入所述栈中的另一具有投掷意图的目标对象并且所述另一具有投掷意图的目标对象的优先级比所述任一具有投掷意图的目标对象的优先级高，则将所述任一具有投掷意图的目标对象压入所述栈中，并且控制所述智能移动设备改变为移动至距所述另一具有投掷意图的目标对象预定义接近度的指定位置。
据本发明的另一方面，提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序在被处理器执行时，实现如前面所述的用于控制智能移动设备的方法。
据本发明的另一方面，提供一种计算机设备，所述计算机设备包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现如前面所述的用于控制智能移动设备的方法。
本发明所提供的用于控制智能移动设备的方法及装置能够对人或用户的投掷行为提前作出预判，以使得智能移动设备能够在物体被投掷之前到达人或用户的附近等待接收被投掷的物体，即便物体的投掷偏离了智能移动设备当前所在的位置，也可通过在近距离内及时调整智能移动设备所在的位置来接住被投掷的物体，从而有效地避免了由于智能移动设备从较远距离处移动而导致移动速度过快所带来的安全隐患。此外，所述方法及装置还能够根据智能移动设备在行进过程中遇到的障碍物及时调整移动路线，以使得智能移动设备在移动过程中及时避开这些障碍物，从而顺利到达人或用户的附近。
附图说明
通过下面结合附图进行的描述，本发明的目的和特点将会变得更加清楚，其中：
图1是示出根据本发明的示例性实施例的用于控制智能移动设备的方法的流程图；
图2是示出根据本发明的示例性实施例的用于控制智能移动设备的装置的结构框图；
图3是示出根据本发明的示例性实施例的按照优先级对多个具有投掷意图的目标对象进行压栈和出栈的示意图；
图4是示出根据本发明的示例性实施例的控制智能移动设备移动至距具有投掷意图的目标对象预定义接近度的指定位置的示意图；
图5是示出根据本发明的示例性实施例的按照优先级控制智能移动设备依次移动至距每个具有投掷意图的目标对象预定义接近度的指定位置的示意图；
图6是示出根据本发明的示例性实施例的按照优先级控制智能移动设备依次移动至距每个具有投掷意图的目标对象预定义接近度的指定位置的另一示意图；
图7是示出根据本发明的示例性实施例的将智能移动设备从指定位置移动至预测出的落点位置的示意图；
具体实施方式
以下，将参照附图来详细说明本发明的实施例。
图1是示出根据本发明的示例性实施例的用于控制智能移动设备的方法的流程图。
在步骤110中，拍摄目标区域内的场景视频或多张照片。
作为示例，目标区域可以是家中的客厅、卧室、书房等私人区域，也可以是办公室、商场、银行等公共区域，并且目标区域中的适当位置可布置有用于拍摄场景的摄像头。
在步骤120中，从拍摄的场景视频或多张照片中识别出具有投掷意图的目标对象(即，人或用户)。
具体实施时，可通过比对目标对象的肢体动作在拍摄的场景视频中的相邻帧之间的变化或在拍摄的多张照片之间的变化来识别出具有投掷意图的目标对象。场景视频中的时间和空间的特征信息可利用3D卷积神经网络模块来被捕获，在3D卷积神经网络模块中时间维度可被视为第三维。3D卷积神经网络模块通过堆叠多个连续的帧来组成立方体，以利用立方体中的3D卷积核(其中，3D卷积核的卷积层中的每个特征图都会与上一层中多个邻近的连续帧相连)来捕捉目标对象的运动信息，然后使用支持向量机(Support VectorMachine，SVM)来对捕捉的目标对象的运动信息进行行为识别，以在目标物体被投掷出去之前确定目标对象是否具有投掷目标物体的倾向/行为。同样地，也可利用3D卷积神经网络模块对拍摄的多张照片中的目标对象的运动信息进行行为识别，以在目标物体被投掷出去之前确定目标对象是否具有投掷目标物体的倾向/行为。
在步骤130中，控制智能移动设备移动至距目标对象预定义接近度的指定位置，以接收即将被目标对象投掷的目标物体。
这样可使得智能移动设备能够在目标物体被投掷之前到达目标对象的附近等待目标对象投掷目标物体。即便目标物体的投掷偏离了智能移动设备所在的指定位置，也能够通过在近距离内及时调整智能移动设备的位置来接住投掷的目标物体。
为此，当目标物体被目标对象投掷时，可继续利用3D卷积神经网络模块来预测目标物体的落点位置，如果预测出目标物体的落点位置偏离智能移动设备所在的指定位置，则控制智能移动设备从指定位置移动至预测出的落点位置，以确保目标物体落入智能移动设备的容器中。
另外，为确保智能移动设备在移动的过程中绕开障碍物，还可检测目标区域中存在的障碍物，以根据检测到的障碍物来规划智能移动设备到达指定位置的最短路径。具体实施时，可采用深度优先算法找到最短路径，选取最短路径上的关键点，利用贝塞尔曲线进行路线平滑，并在智能移动设备的行进过程中不断探测障碍物，如果在智能移动设备的行进过程中出现新的障碍物，则重新计算最短路线。
此外，当在步骤120中从拍摄的场景视频或多张照片中识别出多个具有投掷意图的目标对象时，还可基于目标物体的类别、目标对象的类别、以及智能移动设备与目标对象之间的距离中至少一者来确定这些多个具有投掷意图的目标对象中的每个目标对象的优先级。作为示例，目标物体的类别可根据物体的干湿情况而被划分干的物体和湿的物体，一般来说，湿的物体的优先级比干的物体的优先级高。目标对象的类别可根据对象的年龄而被划分为老人、中青年、儿童等，通常，老人的优先级比中青年和儿童的优先级高。具体实施时，还可综合考虑上述各种因素的影响来确定目标对象的优先级。相应地，在步骤130中，可按照多个具有投掷意图的目标对象的优先级，控制智能移动设备依次移动至距多个具有投掷意图的目标对象中的每个目标对象预定义接近度的指定位置。
以下将结合具体的示例来进一步详细说明上述按照优先级来控制智能移动设备的实施过程。
在一个示例中，可将多个具有投掷意图的目标对象中的每个目标对象依次压入栈中，其中，优先级最高的具有投掷意图的目标对象被置于栈的栈顶，优先级最低的具有投掷意图的目标对象被置于栈的栈底；然后，按照多个具有投掷意图的目标对象中的每个目标对象在栈中的出栈顺序，控制智能移动设备依次移动至距多个具有投掷意图的目标对象中的每个目标对象预定义接近度的指定位置。这样的控制可持续至栈为空为止。
另外，在上述示例中，如果在控制智能移动设备移动至距任一具有投掷意图的目标对象预定义接近度的指定位置期间从拍摄的场景视频或多张照片中识别出未被压入栈中的另一具有投掷意图的目标对象并且另一具有投掷意图的目标对象的优先级比任一具有投掷意图的目标对象的优先级高，则将任一具有投掷意图的目标对象压入栈中，并且控制智能移动设备改变为移动至距另一具有投掷意图的目标对象预定义接近度的指定位置。
在上述实施过程中，栈可被用作暂时存放多个具有投掷意图的目标对象，并且这些多个具有投掷意图的目标对象可按照其优先级经由栈的一端被依次压入栈中(也被称作“压栈”)或弹出栈外(也被称作“出栈”)。可利用栈的这一特点来实现针对多个具有投掷意图的目标对象的优先级管理，以控制智能移动设备依次移动至距各个目标对象预定义接近度的指定位置。
以下将参照附图3来进一步详细说明上述栈的实施过程。
图3是示出根据本发明的示例性实施例的按照优先级对多个具有投掷意图的目标对象进行压栈和出栈的示意图。
如图3中所示，栈Stack包括4个具有投掷意图的目标对象Task 1、Task 2、Task 3和Task 4，其中，目标对象Task 1的优先级为0.9，目标对象Task 2的优先级为0.8，目标对象Task 3的优先级为0.7，目标对象Task 4的优先级为0.6。这4个具有投掷意图的目标对象Task 1、Task 2、Task 3和Task 4按照优先级被依次压入栈Stack中，使得具有最高优先级0.9的目标对象Task 1被置于栈顶Top，具有最低优先级0.6的目标对象Task 4被置于栈底Bottom。利用栈Stack“后进先出(LIFO)”的特性，具有最高优先级的目标对象将始终被最先弹出，这使得智能移动设备可按照这4个具有投掷意图的目标对象Task 1、Task 2、Task 3和Task 4在栈Stack中的出栈顺序控制智能移动设备依次移动至距每个目标对象预定义接近度的指定位置。当在智能移动设备移动至距上述目标对象Task 1、Task 2、Task 3和Task4中的任一目标对象预定义接近度的指定位置期间检测到优先级比该目标对象的优先级更高的具有投掷意图的目标对象Task 5(未示出)时，可将该目标对象压回栈Stack中，并控制智能移动设备改变为移动至距优先级更高的具有投掷意图的目标对象Task 5预定义接近度的指定位置。
图2是示出根据本发明的示例性实施例的用于控制智能移动设备的装置的结构框图。
参照图2，图2所示的装置200可包括拍摄单元210、识别单元220和控制单元230。拍摄单元210可拍摄目标区域内的场景视频或多张照片。识别单元220可从拍摄的场景视频或多张照片中识别出具有投掷意图的目标对象。控制单元230可控制智能移动设备移动至距目标对象预定义接近度的指定位置，以接收即将被目标对象投掷的目标物体。
具体地，识别单元220可通过比对目标对象的肢体动作在拍摄的场景视频中的相邻帧之间的变化或在拍摄的多张照片之间的变化来识别出具有投掷意图的目标对象。
进一步地，图2所示的装置200还可包括落点预测单元和位置调整单元(均未示出)。当目标物体被目标对象投掷时，落点预测单元可预测目标物体的落点位置。如果预测出目标物体的落点位置偏离指定位置，则位置调整单元可控制智能移动设备从指定位置移动至预测出的落点位置，以确保目标物体落入智能移动设备的容器中。
进一步地，为确保智能移动设备在移动的过程中绕开障碍物，图2所示的装置200还可包括障碍检测单元和路径规划单元(均未示出)。障碍检测单元可检测目标区域中存在的障碍物。路径规划单元可根据检测到的障碍物来规划智能移动设备到达指定位置的最短路径。相应地，控制单元230可使用规划的最短路径来控制智能移动设备移动至距目标对象预定义接近度的指定位置。
进一步地，图2所示的装置200还可包括优先级确定单元(未示出)。当从拍摄的场景视频或多张照片中识别出多个具有投掷意图的目标对象时，优先级确定单元可基于目标物体的类别、目标对象的类别、以及智能移动设备与目标对象之间的距离中至少一者来确定多个具有投掷意图的目标对象中的每个目标对象的优先级。相应地，控制单元230可按照多个具有投掷意图的目标对象的优先级，控制智能移动设备依次移动至距多个具有投掷意图的目标对象中的每个目标对象预定义接近度的指定位置。
在一个示例中，控制单元230可进一步包括压栈单元和出栈单元(均未示出)。压栈单元可将多个具有投掷意图的目标对象中的每个目标对象依次压入栈中，其中，优先级最高的具有投掷意图的目标对象被置于栈的栈顶，优先级最低的具有投掷意图的目标对象被置于栈的栈底。出栈单元可按照多个具有投掷意图的目标对象中每个目标对象在所述栈中的出栈顺序，控制智能移动设备依次移动至距多个具有投掷意图的目标对象中的每个目标对象预定义接近度的指定位置。
另外，在上述示例中，如果在智能移动设备移动至距任一具有投掷意图的目标对象预定义接近度的指定位置期间从拍摄的场景视频或多张照片中识别出未被压入栈中的另一具有投掷意图的目标对象并且另一具有投掷意图的目标对象的优先级比该任一具有投掷意图的目标对象的优先级高，则压栈单元将该任一具有投掷意图的目标对象压入栈中并且控制所述智能移动设备改变为移动至距另一具有投掷意图的目标对象预定义接近度的指定位置。
以下将参照附图4至附图7来进一步详细说明本发明的上述实施过程。
图4至图7所示的系统主要包括布置在目标区域中的摄像头100、装置200、物联网(IoT)300和智能移动设备400。装置200可包括如图2中所示的拍摄单元210、识别单元220和控制单元230。装置200可直接连接至摄像头100，并且经由物联网300向智能移动设备400发送通知或其它控制数据，以此来控制智能移动设备400的移动。
图4是示出根据本发明的示例性实施例的控制智能移动设备移动至距具有投掷意图的目标对象预定义接近度的指定位置的示意图。
如图4所示，当装置200从摄像头100拍摄到的场景视频或多张照片中识别出一个具有投掷意图的目标对象A时，装置200可通过物联网300通知智能移动设备400沿着路径Path 1移动至距目标对象A预定义接近度的指定位置以接收即将被目标对象A投掷的目标物体(诸如，但不限于，纸团、易拉罐等垃圾)。
图5是示出根据本发明的示例性实施例的按照优先级控制智能移动设备依次移动至距每个具有投掷意图的目标对象预定义接近度的指定位置的示意图。
如图5所示，当装置200从摄像头100拍摄到的场景视频或多张照片中识别出两个具有投掷意图的目标对象A和目标对象B并且基于预定的优先级策略确定出目标对象A的优先级比目标对象B的优先级高时，装置200可通过物联网300通知智能移动设备400首先沿着路径Path 1移动至距目标对象A预定义接近度的指定位置以接收即将被目标对象A投掷的目标物体，然后再沿着路径Path 2移动至距目标对象B预定义接近度的指定位置以接收即将被目标对象B投掷的目标物体。
图6是示出根据本发明的示例性实施例的按照优先级控制智能移动设备依次移动至距每个具有投掷意图的目标对象预定义接近度的指定位置的另一示意图。
如图6所示，如果装置200在智能移动设备400沿着路径Path 1移动至距具有投掷意图的目标对象A预定义接近度的指定位置期间从摄像头100拍摄到的场景视频或多张照片中识别出优先级比目标对象B的优先级更高的目标对象B时，则装置200可将目标对象A压入栈中并且通知智能移动设备400改变为沿着Path 2移动至距目标对象B预定义接近度的指定位置，以接收即将被目标对象B投掷的目标物体，然后再从栈中弹出目标对象A并控制智能移动设备400沿着路径Path 3移动至距目标对象A预定义接近度的指定位置，以接收即将被目标对象A投掷的目标物体。
图7是示出根据本发明的示例性实施例的将智能移动设备从指定位置移动至预测出的落点位置的示意图。
如图7所示，当装置200从摄像头100拍摄到的场景视频或多张照片中识别出具有投掷意图的目标对象A时，装置200可通过物联网300通知智能移动设备400沿着路径Path 1移动至距目标对象A预定义接近度的指定位置，然而，当装置200预测出目标物体的落点位置偏离指定位置时，装置200可通过物联网300通知智能移动设备400沿着路径Path 2从指定位置移动至预测出的落点位置，以确保目标物体落入智能移动设备400的容器中。
可以看出，本发明的上述实施过程能够对人或用户的投掷行为提前作出预判，以使得智能移动设备能够在物体被投掷之前到达人或用户的附近等待接收被投掷的物体，即便物体的投掷偏离了智能移动设备当前所在的位置，也可通过在近距离内及时调整智能移动设备所在的位置来接住被投掷的物体，从而有效地避免了由于智能移动设备从较远距离处移动而导致移动速度过快所带来的安全隐患。此外，本发明的上述实施过程还能够根据智能移动设备在行进过程中遇到的障碍物及时调整移动路线，以使得智能移动设备在移动过程中及时避开这些障碍物，从而顺利到达人或用户的附近。
根据本发明的示例性实施例还提供一种存储有计算机程序的计算机可读存储介质。该计算机可读存储介质存储有当被处理器执行时使得处理器执行根据本发明的用于控制智能移动设备的方法的计算机程序。该计算机可读记录介质是可存储由计算机系统读出的数据的任意数据存储装置。计算机可读记录介质的示例包括：只读存储器、随机存取存储器、只读光盘、磁带、软盘、光数据存储装置和载波(诸如经有线或无线传输路径通过互联网的数据传输)。
根据本发明的示例性实施例还提供一种计算机设备。该计算机设备包括处理器和存储器。存储器用于存储计算机程序。所述计算机程序被处理器执行使得处理器执行根据本发明的用于控制智能移动设备的方法的计算机程序。
尽管已参照优选实施例表示和描述了本申请，但本领域技术人员应该理解，在不脱离由权利要求限定的本申请的精神和范围的情况下，可以对这些实施例进行各种修改和变换。

Claims (12)

1.一种用于控制智能移动设备的方法，其特征在于，所述方法包括：
拍摄目标区域内的场景视频或多张照片；
从拍摄的场景视频或多张照片中识别出具有投掷意图的目标对象；
控制所述智能移动设备移动至距所述目标对象预定义接近度的指定位置，以接收即将被所述目标对象投掷的目标物体，
其中，所述从拍摄的场景视频或多张照片中识别出具有投掷意图的目标对象的步骤包括：
通过比对所述目标对象的肢体动作在拍摄的场景视频中的相邻帧之间的变化或在拍摄的多张照片之间的变化来识别出具有投掷意图的目标对象，
其中，当从拍摄的场景视频或多张照片中识别出多个具有投掷意图的目标对象时，基于所述目标物体的类别、所述目标对象的类别、以及所述智能移动设备与所述目标对象之间的距离中至少一者来确定所述多个具有投掷意图的目标对象中的每个目标对象的优先级，
其中，所述控制所述智能移动设备移动至距所述目标对象预定义接近度的指定位置的步骤包括：按照所述多个具有投掷意图的目标对象的优先级，控制所述智能移动设备依次移动至距所述多个具有投掷意图的目标对象中的每个目标对象预定义接近度的指定位置，
其中，所述按照所述多个具有投掷意图的目标对象的优先级，控制所述智能移动设备依次移动至距所述多个具有投掷意图的目标对象中的每个目标对象预定义接近度的指定位置的步骤包括：如果在所述智能移动设备移动至距任一具有投掷意图的目标对象预定义接近度的指定位置期间从拍摄的场景视频或多张照片中识别出未被压入栈中的另一具有投掷意图的目标对象并且所述另一具有投掷意图的目标对象的优先级比所述任一具有投掷意图的目标对象的优先级高，则将所述任一具有投掷意图的目标对象压入所述栈中，并且控制所述智能移动设备改变为移动至距所述另一具有投掷意图的目标对象预定义接近度的指定位置。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
当所述目标物体被所述目标对象投掷时，预测所述目标物体的落点位置；
如果预测出所述目标物体的落点位置偏离所述指定位置，则控制所述智能移动设备从所述指定位置移动至所述落点位置，以使得所述目标物体落入所述智能移动设备的容器中。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
检测所述目标区域中存在的障碍物；
根据检测到的障碍物来规划所述智能移动设备到达所述指定位置的最短路径。
4.如权利要求3所述的方法，其特征在于，所述控制所述智能移动设备移动至距所述目标对象预定义接近度的指定位置的步骤包括：
使用规划的最短路径来控制所述智能移动设备移动至距所述目标对象预定义接近度的指定位置。
5.如权利要求1所述的方法，其特征在于，所述按照所述多个具有投掷意图的目标对象的优先级，控制所述智能移动设备依次移动至距所述多个具有投掷意图的目标对象中的每个目标对象预定义接近度的指定位置的步骤包括：
将所述多个具有投掷意图的目标对象中的每个目标对象依次压入栈中，其中，优先级最高的具有投掷意图的目标对象被置于所述栈的栈顶，优先级最低的具有投掷意图的目标对象被置于所述栈的栈底；
按照所述多个具有投掷意图的目标对象中每个目标对象在所述栈中的出栈顺序，控制所述智能移动设备依次移动至距所述多个具有投掷意图的目标对象中的每个目标对象预定义接近度的指定位置。
6.一种用于控制智能移动设备的装置，其特征在于，所述装置包括：
拍摄单元，拍摄目标区域内的场景视频或多张照片；
识别单元，从拍摄的场景视频或多张照片中识别出具有投掷意图的目标对象；
控制单元，控制所述智能移动设备移动至距所述目标对象预定义接近度的指定位置，以接收即将被所述目标对象投掷的目标物体，
其中，所述识别单元通过比对所述目标对象的肢体动作在拍摄的场景视频中的相邻帧之间的变化或在拍摄的多张照片之间的变化来识别出具有投掷意图的目标对象，
其中，所述装置还包括：优先级确定单元，当从拍摄的场景视频或多张照片中识别出多个具有投掷意图的目标对象时，基于所述目标物体的类别、所述目标对象的类别、以及所述智能移动设备与所述目标对象之间的距离中至少一者来确定所述多个具有投掷意图的目标对象中的每个目标对象的优先级，
其中，所述控制单元按照所述多个具有投掷意图的目标对象的优先级，控制所述智能移动设备依次移动至距所述多个具有投掷意图的目标对象中的每个目标对象预定义接近度的指定位置，
其中，所述控制单元包括：压栈单元，如果在所述智能移动设备移动至距任一具有投掷意图的目标对象预定义接近度的指定位置期间从拍摄的场景视频或多张照片中识别出未被压入所述栈中的另一具有投掷意图的目标对象并且所述另一具有投掷意图的目标对象的优先级比所述任一具有投掷意图的目标对象的优先级高，则将所述任一具有投掷意图的目标对象压入所述栈中，并且控制所述智能移动设备改变为移动至距所述另一具有投掷意图的目标对象预定义接近度的指定位置。
7.如权利要求6所述的装置，其特征在于，所述装置还包括：
落点预测单元，当所述目标物体被所述目标对象投掷时，预测所述目标物体的落点位置；
位置调整单元，如果预测出所述目标物体的落点位置偏离所述指定位置，则控制所述智能移动设备从所述指定位置移动至所述落点位置，以使得所述目标物体落入所述智能移动设备的容器中。
8.如权利要求6所述的装置，其特征在于，所述装置还包括：
障碍检测单元，检测所述目标区域中存在的障碍物；
路径规划单元，根据检测到的障碍物来规划所述智能移动设备到达所述指定位置的最短路径。
9.如权利要求8所述的装置，其特征在于，所述控制单元使用规划的最短路径来控制所述智能移动设备移动至距所述目标对象预定义接近度的指定位置。
10.如权利要求6所述的装置，其特征在于，所述控制单元还包括：
出栈单元，按照所述多个具有投掷意图的目标对象中每个目标对象在所述栈中的出栈顺序，控制所述智能移动设备依次移动至距所述多个具有投掷意图的目标对象中的每个目标对象预定义接近度的指定位置，
其中，所述压栈单元将所述多个具有投掷意图的目标对象中的每个目标对象依次压入栈中，其中，优先级最高的具有投掷意图的目标对象被置于所述栈的栈顶，优先级最低的具有投掷意图的目标对象被置于所述栈的栈底。
11.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序在被处理器执行时实现如权利要求1-5中的任意一项所述的用于控制智能移动设备的方法。
12.一种计算机设备，其特征在于，所述计算机设备包括：
处理器；
存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1-5中的任意一项所述的用于控制智能移动设备的方法。
CN201910827257.7A 2019-09-03 2019-09-03 用于控制智能移动设备的方法及装置 Active CN110597251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910827257.7A CN110597251B (zh) 2019-09-03 2019-09-03 用于控制智能移动设备的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910827257.7A CN110597251B (zh) 2019-09-03 2019-09-03 用于控制智能移动设备的方法及装置

Publications (2)

Publication Number Publication Date
CN110597251A CN110597251A (zh) 2019-12-20
CN110597251B true CN110597251B (zh) 2022-10-25

Family

ID=68857065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910827257.7A Active CN110597251B (zh) 2019-09-03 2019-09-03 用于控制智能移动设备的方法及装置

Country Status (1)

Country Link
CN (1) CN110597251B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297876A (zh) * 2020-02-21 2021-08-24 佛山市云米电器科技有限公司 基于智能冰箱的运动姿势矫正方法、智能冰箱及存储介质
CN113284404B (zh) * 2021-04-26 2022-04-08 广州九舞数字科技有限公司 一种基于用户动作的电子沙盘展示方法及装置
CN114424911B (zh) * 2022-01-23 2024-01-30 深圳银星智能集团股份有限公司 清理方法及移动设备
CN115236627B (zh) * 2022-09-21 2022-12-16 深圳安智杰科技有限公司 一种基于多帧多普勒速度扩维的毫米波雷达数据聚类方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295405A (zh) * 2008-06-13 2008-10-29 西北工业大学 人像与车辆识别报警跟踪方法
CN101715070A (zh) * 2009-11-16 2010-05-26 南京邮电大学 特定监控视频中的背景自动更新方法
CN106295532A (zh) * 2016-08-01 2017-01-04 河海大学 一种视频图像中的人体动作识别方法
CN107089458A (zh) * 2017-07-03 2017-08-25 成都大学 一种新型的智能环保垃圾自动回收系统
CN107544754A (zh) * 2017-07-28 2018-01-05 紫光华山信息技术有限公司 一种垃圾回收法及装置
CN107590486A (zh) * 2017-10-11 2018-01-16 广州杰赛科技股份有限公司 运动目标识别方法和系统、自行车流量统计方法和设备
CN107665604A (zh) * 2017-09-30 2018-02-06 宁波优泊停车服务有限公司 泊位任务自动分配方法、系统、计算机装置及计算机可读存储介质
CN108724199A (zh) * 2017-04-17 2018-11-02 哈工大机器人集团有限公司 一种工业级自主回收垃圾废料智能机器人

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101746584A (zh) * 2008-12-18 2010-06-23 上海市南汇区惠南镇城东中心小学 智能垃圾桶
CN103569547A (zh) * 2012-07-31 2014-02-12 青岛联合创新技术服务平台有限公司 智能垃圾桶及其工作方法
CN103569548A (zh) * 2012-07-31 2014-02-12 青岛联合创新技术服务平台有限公司 智能垃圾桶
CN103810496B (zh) * 2014-01-09 2017-01-25 江南大学 基于图像深度信息的3d高斯空间人体行为识别方法
CN104058202A (zh) * 2014-07-04 2014-09-24 天津国强再创科技有限公司 智能垃圾桶
CN104326195A (zh) * 2014-11-10 2015-02-04 安徽省新方尊铸造科技有限公司 一种具有自动判断需求的智能垃圾桶
CN105476553B (zh) * 2015-11-25 2018-09-07 江苏美的清洁电器股份有限公司 智能吸尘器
CN107618783A (zh) * 2016-07-13 2018-01-23 深圳市朗驰欣创科技股份有限公司 自动接收物体的控制方法及控制系统
CN205855075U (zh) * 2016-07-25 2017-01-04 江苏美的清洁电器股份有限公司 智能垃圾桶
CN105947493A (zh) * 2016-07-25 2016-09-21 江苏美的清洁电器股份有限公司 智能垃圾桶
CN108038418B (zh) * 2017-11-14 2020-08-25 珠海格力电器股份有限公司 垃圾清理方法和装置
CN108182455A (zh) * 2018-01-18 2018-06-19 齐鲁工业大学 一种垃圾图像智能分类的方法、装置及智能垃圾桶
KR20190089336A (ko) * 2018-01-22 2019-07-31 숭실대학교산학협력단 영상 내 물체의 이동 속도 측정 장치 및 측정 방법, 상기 방법을 수행하기 위한 기록 매체
CN109902547B (zh) * 2018-05-29 2020-04-28 华为技术有限公司 动作识别方法和装置
CN108931924B (zh) * 2018-08-06 2020-02-28 珠海格力电器股份有限公司 智能家居系统的控制方法及装置、处理器、存储介质
CN109279229A (zh) * 2018-09-30 2019-01-29 温州职业技术学院 一种自动接垃圾的智能垃圾桶
CN109911451A (zh) * 2019-04-18 2019-06-21 东华大学 一种基于机器视觉的智能分类垃圾桶

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101295405A (zh) * 2008-06-13 2008-10-29 西北工业大学 人像与车辆识别报警跟踪方法
CN101715070A (zh) * 2009-11-16 2010-05-26 南京邮电大学 特定监控视频中的背景自动更新方法
CN106295532A (zh) * 2016-08-01 2017-01-04 河海大学 一种视频图像中的人体动作识别方法
CN108724199A (zh) * 2017-04-17 2018-11-02 哈工大机器人集团有限公司 一种工业级自主回收垃圾废料智能机器人
CN107089458A (zh) * 2017-07-03 2017-08-25 成都大学 一种新型的智能环保垃圾自动回收系统
CN107544754A (zh) * 2017-07-28 2018-01-05 紫光华山信息技术有限公司 一种垃圾回收法及装置
CN107665604A (zh) * 2017-09-30 2018-02-06 宁波优泊停车服务有限公司 泊位任务自动分配方法、系统、计算机装置及计算机可读存储介质
CN107590486A (zh) * 2017-10-11 2018-01-16 广州杰赛科技股份有限公司 运动目标识别方法和系统、自行车流量统计方法和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于DBN-HMM的人体动作识别;罗晓宇;《中国优秀硕士学位论文全文数据库信息科技辑》;20190115(第12期);全文 *
视频序列中对特定运动目标跟踪算法研究;梁静;《中国优秀硕士学位论文全文数据库信息科技辑》;20091215(第12期);全文 *

Also Published As

Publication number Publication date
CN110597251A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
CN110597251B (zh) 用于控制智能移动设备的方法及装置
JP6905081B2 (ja) 車両損失査定画像を取得するための方法および装置、サーバ、ならびに端末デバイス
US9928481B1 (en) Management of inventory items
EP2659321B1 (en) Mobile robot system
CA2928262C (en) Mobile robot system
US20190196495A1 (en) Mobile robot and control method for controlling the same
US11300972B2 (en) Path planning device, path planning method, and program
US11170266B2 (en) Apparatus and method for identifying object
US9285868B2 (en) Camera device, communication system, and camera system
US20200349704A1 (en) Control method and device for mobile platform, and computer readable storage medium
AU2013263851B2 (en) Mobile robot system
CN112119627A (zh) 基于云台的目标跟随方法、装置、云台和计算机存储介质
JP5001808B2 (ja) 犯罪防止装置及び犯罪防止プログラム
CN112207812A (zh) 设备控制方法、设备、系统及存储介质
KR20200097482A (ko) 무인 배달로봇 서비스 제공 시스템
KR102336264B1 (ko) 매장 내 자동 결제 방법, 시스템 및 프로그램
AU2017201879A1 (en) Mobile robot system
JP6940969B2 (ja) 車両制御装置、車両制御方法及びプログラム
US11533428B2 (en) Electronic device and method for controlling electronic device
US20230111067A1 (en) Systems, robots, and methods for selecting classifiers based on context
WO2021044751A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US11847832B2 (en) Object classification for autonomous navigation systems
US20240177587A1 (en) System and Method for Detecting and Confirming Fall Events
KR20210069547A (ko) 로봇 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant