CN105892668B - 设备控制方法和装置 - Google Patents

设备控制方法和装置 Download PDF

Info

Publication number
CN105892668B
CN105892668B CN201610204742.5A CN201610204742A CN105892668B CN 105892668 B CN105892668 B CN 105892668B CN 201610204742 A CN201610204742 A CN 201610204742A CN 105892668 B CN105892668 B CN 105892668B
Authority
CN
China
Prior art keywords
target object
change
target
parameter
capture device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610204742.5A
Other languages
English (en)
Other versions
CN105892668A (zh
Inventor
杨高峰
安宁
陈子冲
孙晓路
王野
蒲立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninebot Beijing Technology Co Ltd
Original Assignee
Ninebot Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninebot Beijing Technology Co Ltd filed Critical Ninebot Beijing Technology Co Ltd
Priority to CN201610204742.5A priority Critical patent/CN105892668B/zh
Publication of CN105892668A publication Critical patent/CN105892668A/zh
Application granted granted Critical
Publication of CN105892668B publication Critical patent/CN105892668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

本发明公开了一种设备控制方法和装置。其中,该方法包括:通过图像采集设备获取包含目标对象的一组目标图像,一组目标图像中的图像数量至少为一张;根据一组目标图像对目标对象的动作进行识别,得到动作指令,在动作指令中至少包括用于控制图像采集设备进行移动的移动指令;根据移动指令生成用于控制图像采集设备执行移动动作的第一控制指令;获取目标对象与图像采集设备之间的位置变化参数,根据位置变化参数生成用于控制图像采集设备拍摄角度的第二控制指令。本发明解决了由于空间手势识别装置无法对目标对象进行跟踪,导致可识别区域小的技术问题。

Description

设备控制方法和装置
技术领域
本发明涉及智能硬件领域,具体而言,涉及一种设备控制方法和装置。
背景技术
随着科学的进步,智能设备出现在我们生活当中的各个角落。在现有的智能设备中,通常还是需要用户主动向其发送控制指令,才能控制其实现某些特定的功能。
手势识别是一种在智能设备中广泛应用的控制方法。通常需要借助触敏传感器,获取肢体在触敏传感器上的滑动轨迹,并对滑动轨迹进行识别来获取控制指令,例如,被应用于智能手机上的手势识别方法,用来实现对图像放大缩小等操作。
而接触式手势识别通常需要依赖于肢体的实体接触,因此,需要用户始终手持带有触敏传感器的控制终端,才能实现对智能设备的控制操作,一旦控制终端从用户手中脱离,就无法对智能设备进行操作。
在现有的智能设备当中,虽然集成了语音识别的功能以实现通过语音对器进行控制操作,但是,由于语音识别受到距离、环境、发音等因素的影响,识别准确率往往不高。除此之外,还有些智能设备集成了空间手势识别功能,但其只能通过识别算法对正对的目标对象的动作进行识别。在实际使用中,用户想要对智能设备进行控制,必须对位置进行调整,操作起来非常不便。
针对由于空间手势识别装置无法对目标对象进行跟踪,导致可识别区域小的技术问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种设备控制方法和装置,以至少解决由于空间手势识别装置无法对目标对象进行跟踪,导致可识别区域小的技术问题。
根据本发明实施例的一个方面,提供了一种设备控制方法,该方法包括:通过图像采集设备获取包含目标对象的一组目标图像,其中,一组目标图像中的图像数量至少为一张;根据一组目标图像对目标对象的动作进行识别,得到动作指令,其中,在动作指令中至少包括用于控制图像采集设备进行移动的移动指令;根据移动指令生成用于控制图像采集设备执行移动动作的第一控制指令;获取目标对象与图像采集设备之间的位置变化参数,根据位置变化参数生成用于控制图像采集设备拍摄角度的第二控制指令。
进一步地,获取目标对象与图像采集设备之间的位置变化参数,根据位置变化参数生成用于控制图像采集设备拍摄角度的第二控制指令,包括:获取目标对象的第一位置信息和图像采集设备的第二位置信息;根据第一位置信息和第二位置信息,确定目标对象与图像采集设备之间的位置变化参数;根据位置变化参数,生成用于控制图像采集设备拍摄角度的第二控制指令。
进一步地,位置变化参数至少包括:平面位置变化参数,其中,获取目标对象与图像采集设备之间的位置变化参数包括:对第一次获取到的目标图像中的目标对象进行识别,确定目标对象在图像中的第一相对位置信息;对第二次获取到的目标图像中的目标对象进行识别,确定目标对象在图像中的第二相对位置信息;根据第一相对位置信息和第二相对位置信息,确定平面位置变化参数。
进一步地,图像采集设备为深度相机,位置变化参数还包括:深度变化参数,其中,获取目标对象与图像采集设备之间的位置变化参数包括:通过深度相机在第一次获取目标图像时,获取与目标对象对应的第一深度信息;通过深度相机在第二次获取目标图像时,获取与目标对象对应的第二深度信息;根据第一深度信息和第二深度信息,确定深度变化参数。
进一步地,位置变化参数至少包括:移动方向参数和移动速度参数,其中,根据位置变化参数,生成用于控制图像采集设备拍摄角度的第二控制指令包括:根据移动方向参数,生成用于控制图像采集设备切换拍摄角度的旋转方向指令;根据移动速度参数,生成用于控制图像采集设备切换拍摄角度的旋转速度指令。
进一步地,在根据移动指令生成用于控制图像采集设备执行移动动作的第一控制指令之后,方法还包括:对目标图像中的目标对象进行识别;当在目标图像中未识别到目标对象时,生成用于控制图像采集设备停止执行动作的第四控制指令。
根据本发明实施例的另一个方面,提供了一种设备控制装置,该装置包括:获取单元,用于通过图像采集设备获取包含目标对象的一组目标图像,其中,一组目标图像中的图像数量至少为一张;识别单元,用于根据一组目标图像对目标对象的动作进行识别,得到动作指令,其中,在动作指令中至少包括用于控制图像采集设备进行移动的移动指令;第一生成单元,用于根据移动指令生成用于控制图像采集设备执行移动动作的第一控制指令;第二生成单元,用于获取目标对象与图像采集设备之间的位置变化参数,根据位置变化参数生成用于控制图像采集设备拍摄角度的第二控制指令。
进一步地,第二生成单元包括:第一获取模块,用于获取目标对象的第一位置信息和图像采集设备的第二位置信息;第一确定模块,用于根据第一位置信息和第二位置信息,确定目标对象与图像采集设备之间的位置变化参数;生成模块,用于根据位置变化参数,生成用于控制图像采集设备拍摄角度的第二控制指令。
进一步地,位置变化参数至少包括:平面位置变化参数,其中,第二生成单元包括:第一识别模块,用于对第一次获取到的目标图像中的目标对象进行识别,确定目标对象在图像中的第一相对位置信息;第二识别模块,用于对第二次获取到的目标图像中的目标对象进行识别,确定目标对象在图像中的第二相对位置信息;第二确定模块,用于根据第一相对位置信息和第二相对位置信息,确定平面位置变化参数。
进一步地,图像采集设备为深度相机,位置变化参数还包括:深度变化参数,其中,第二生成单元还包括:第二获取模块,用于通过深度相机在第一次获取目标图像时,获取与目标对象对应的第一深度信息;第三获取模块,用于通过深度相机在第二次获取目标图像时,获取与目标对象对应的第二深度信息;第三确定模块,用于根据第一深度信息和第二深度信息,确定深度变化参数。
在本发明实施例中,通过图像采集设备获取包含目标对象的一组目标图像;根据一组目标图像对目标对象的动作进行识别,得到动作指令,在动作指令中至少包括用于控制图像采集设备进行移动的移动指令;根据移动指令生成用于控制图像采集设备执行移动动作的第一控制指令;获取目标对象与图像采集设备之间的位置变化参数,根据位置变化参数生成用于控制图像采集设备拍摄角度的第二控制指令,通过对目标对象位置的识别,并根据目标对象的位置来调整图像采集设备的拍摄角度,从而解决了由于空间手势识别装置无法对目标对象进行跟踪,导致可识别区域小的技术问题,实现了对目标对象进行准确跟拍的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的设备控制方法的流程图;
图2是根据本发明实施例的一个可选的设备控制方法的流程图;以及
图3是根据本发明实施例的设备控制装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本发明实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
深度相机:目前的深度相机有TOF、结构光、激光扫描等几种,主要用于机器人、互动游戏等应用。
根据本发明实施例,提供了一种设备控制方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的设备控制方法的流程图,如图1所示,该方法包括如下步骤:
步骤S101,通过图像采集设备获取包含目标对象的一组目标图像,其中,一组目标图像中的图像数量至少为一张。
步骤S102,根据一组目标图像对目标对象的动作进行识别,得到动作指令,其中,在动作指令中至少包括用于控制图像采集设备进行移动的移动指令。
步骤S103,根据移动指令生成用于控制图像采集设备执行移动动作的第一控制指令。
步骤S104,获取目标对象与图像采集设备之间的位置变化参数,根据位置变化参数生成用于控制图像采集设备拍摄角度的第二控制指令。
通过上述实施例,图像采集设备获取包含目标对象的一组目标图像;根据一组目标图像对目标对象的动作进行识别,得到动作指令,在动作指令中至少包括用于控制图像采集设备进行移动的移动指令;根据移动指令生成用于控制图像采集设备执行移动动作的第一控制指令;获取目标对象与图像采集设备之间的位置变化参数,依此生成用于控制图像采集设备拍摄角度的第二控制指令,通过对目标对象位置的识别,并根据目标对象的位置来调整图像采集设备的拍摄角度。从而解决了由于空间手势识别装置无法对目标对象进行跟踪,导致可识别区域小的技术问题,实现了对目标对象进行准确跟拍的技术效果。
为了准确地识别出人的手势,需要对图像采集设备进行实时地调整,以保证图像采集设备始终是对准人的,在一种可选的实施例中,步骤S104的获取目标对象与图像采集设备之间的位置变化参数,根据位置变化参数生成用于控制图像采集设备拍摄角度的第二控制指令,可以通过如下的方式实现:获取目标对象的第一位置信息和图像采集设备的第二位置信息;根据第一位置信息和第二位置信息,确定目标对象与图像采集设备之间的位置变化参数;根据位置变化参数,生成用于控制图像采集设备拍摄角度的第二控制指令。
上述的位置信息可以是相对位置信息(如相对距离、相对夹角等),也可以是绝对位置信息,如目标对象所处平面或者三维空间的坐标等,下面以坐标为例详述本申请的实施例。
具体地,通过位置传感器、红外传感器等传感器实时采集目标对象和图像采集设备的坐标信息,以根据连续采集到的坐标信息进行计算以确定目标对象与图像采集设备之间的位置变化参数,从而根据位置变化参数调整采集设备的拍摄角度。
例如,上述的目标对象可以为人,可以将图像采集设备安装在平衡车上,在识别用户的手势的过程中,可以通过平衡车上的位置传感器实时采集图像采集设备和用户的坐标信息,并根据连续采集到的坐标信息的位置变化参数生成对应的第二控制指令,以控制图像采集设备的摄像头始终正面面对用户的正面。
除了可以根据上述的位置传感器采集到的位置信息来控制图像采集设备的拍摄角度外,还可以通过图像处理方法来确定图像采集设备与目标对象的相对位置,并对应的调整图像采集设备的拍摄角,位置变化参数至少包括:平面位置变化参数,其中,获取目标对象与图像采集设备之间的位置变化参数可以通过如下方式实现:对第一次获取到的目标图像中的目标对象进行识别,确定目标对象在图像中的第一相对位置信息;对第二次获取到的目标图像中的目标对象进行识别,确定目标对象在图像中的第二相对位置信息;根据第一相对位置信息和第二相对位置信息,确定平面位置变化参数。
例如,可以将图像采集设备安装在移动设备(如独轮平衡车、两轮平衡车、思维车、体感车等),并通过图像采集设备或者移动设备上的摄像机连续采集目标对象的图像,如某人向某一个方向移动时,可以根据连续两次拍摄到的图片(包括第一次和第二次获取到的目标图像)进行图像识别处理,以分别确定移动的人分别在两幅图片中的相对位置信息,从而可以根据两个相对位置信息确定出人在某个平面上的移动距离和角度(即平面位置变化参数),移动设备可根据移动距离和角度对图像采集设备进行调整,以使图像采集设备的摄像头始终对准人的正面、或者对准人的头像。
具体可以根据上述采集到的图像来确定人的移动,并对应的调整图像采集设备的位置,如在人向某一个方向移动时,图像采集设备根据拍摄得到的连续图片识别出目标对象的移动方向和移动速度,并据此得到用于调整的第二控制指令,并根据这个指令调整图像采集设备的位置,以保证图像采集设备始终处于比较好的拍摄位置。
如,在目标对象为小孩时,将图像采集设备安装在平衡车上,为了保证合适的拍摄角度,在小孩在朝某一方向移动时,平衡车也需要向同样的方向移动,以始终保证镜头正对小孩的正面。
在一个可选的实施例中,图像采集设备为深度相机(如TOF相机),位置变化参数还可以包括:深度变化参数,其中,获取目标对象与图像采集设备之间的位置变化参数包括:通过深度相机在第一次获取目标图像时,获取与目标对象对应的第一深度信息;通过深度相机在第二次获取目标图像时,获取与目标对象对应的第二深度信息;根据第一深度信息和第二深度信息,确定深度变化参数。
有时,由于目标对象的活动范围并不局限于某个平面,因此,仅仅识别目标对象在某个平面内的移动并不足以始终保持目标对象在合适的拍摄角度,所以可以采用本申请的上述方法对目标对象在三维空间内的空间位置变换进行监测,并对应的调整图像采集设备的位置。
具体地,可以将深度相机安装在思维车上,思维车可以通过深度相机连续地获取人的图像(包括第一次和第二次获取的目标图像),并通过图像处理算法确定人的深度信息(即人在三维空间内的坐标信息),并以此来确定人在三维空间内的坐标变化量(即上述的深度变化参数),从而可以以此来调整深度相机的拍摄角度。
例如,在目标对象为小孩时,将将深度相机安装在思维车上,思维车可以通过深度相机连续地获取小孩的图像,在小孩一边上坡一边转圈时,思维车也需要做出相应的调整,具体是以小孩为圆心绕圈,并始终保持和小孩之间的距离为一固定值,并保证镜头正对小孩的正面,以准备好随时接收小孩的手势指令。
需要说明的是,对图像采集设备的调整主要是根据目标对象分别在X、Y、Z轴上的坐标变化量对图像采集设备在X、Y、Z轴上的旋转量的进调整(也即进行pitch、yaw、roll调整),具体的,用于进行调整的位置变化参数至少包括:移动方向参数和移动速度参数,其中,根据位置变化参数,生成用于控制图像采集设备拍摄角度的第二控制指令可以包括:根据移动方向参数,生成用于控制图像采集设备切换拍摄角度的旋转方向指令;根据移动速度参数,生成用于控制图像采集设备切换拍摄角度的旋转速度指令。
如,在平衡车上的深度相机采集到人的多张目标图像之后,可以通过图像处理算法分别从各张图像中识别出人或者人的某个部位三维坐标,并根据连续两张图像的三维坐标确定人在三个轴上(即X、Y、Z轴)的偏移量,从而可以偏移量的值确定深度相机分别在对应的轴上的旋转方向,根据偏移量和两次图片之间的采集时间差确定人在对应的轴上的移动速度,并以此来对应调整深度相机在对应的轴上的移动速度(如旋转速度、平移速度等)。
再如,可以将深度相机安装在智能公交上,当采集到车内乘客的固定手势时即停车,负责车内某个区域的深度相机需要随动于该区域内的乘客,在乘客移动时,其也需要根据乘客的移动对应的调整其在三个轴上的相对位置,以使其始终处于合适拍摄位置,从而可以在乘客做上述手势时可以准确识别出。
需要说明的是,平衡车在对图像采集设备进行调整的过程中,可以随时接收并识别目标对象的手势指令,并执行目标对象的手势指令所对应的操作,另外,平衡车在执行指定的操作的过程中,也需要实时调整图像采集设备的采集角度,以接收目标对象新的手势指令;另外,在根据移动指令生成用于控制图像采集设备执行移动动作的第一控制指令之后,还需要对目标图像中的目标对象进行识别;当在目标图像中未识别到目标对象时,生成用于控制图像采集设备停止执行动作的第四控制指令,即实时监控目标对象,若目标对象不在监控范围内时,则停止图像采集设备的工作,以起到节能的作用。
下面结合图2以平衡车为例详述本申请的实施例,如图2所示,该方法包括:
步骤S201,检测目标对象,平衡车上的图像采集设备实时监测监控范围内的目标对象,对目标对象进行连续拍照或者摄像,得到连续的目标图像(即一组目标图像),平衡车一边根据目标图像,使用上述的调整方法调整其拍摄角度,同时根据目标图像识别目标对象是否发出手势指令,在检测到目标对象发出手势指令时执行下一步骤。
步骤S202,空间手势识别,为了对目标对象的手势进行更好的识别,用来完成人体检测和手势识别的图像采集设备始终要对准目标对象,即在空间手势的识别过程中,若目标对象发生了移动,图像采集装置也要相应地移动,在空间手势的识别时,可以将图像中手势的特征与自带数据库中的各种手势的特征进行对比,当而这的匹配度达到了一定的值(如80%)时,则确定数据库中对应的手势为目标对象想要表达的手势。
步骤S203,发送控制指令,图像采集设备在识别出目标对象的手势之后,从数据库中读取对应与该手势的控制指令,如目标对象向左滑动手臂,以指示平衡车向左移动,图像采集设备在识别出该手势之后,得知目标对象的动作指令为向左移动,此时就会从数据库中读取对应的移动指令(即控制指令),并发送给平衡车。
步骤S204,平衡车按照控制指令的指示运行,如向左、向右、向前、向后、绕圈等运动,需要说明的是,平衡车在根据手势做出相应运动的过程中,仍然要通过调整图像采集设备的角度,使平衡车在运动过程中仍然能实时监测新的手势指令。
步骤S205,等待新的手势指令,在等待的过程中,为了准确地识别移动中目标对象的手势,需要对图像采集设备进行实时地调整,以保证图像采集设备始终处于比较好的拍摄位置,在再次检测到目标对象发出手势指令时执行步骤S202。
通过上述实施例,可以通过图像采集设备实时监测目标对象,并识别出其空间手势,并根据手势向平衡车发送控制指令,控制平衡车做出相应的运动。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
本发明实施例还提供了一种设备控制装置。需要说明的是,本发明实施例的设备控制装置可以用于执行本发明实施例所提供的设备控制方法。
图3是根据本发明实施例的设备控制装置的示意图。如图3所示,该装置可以包括:获取单元10、识别单元20、第一生成单元30以及第二生成单元40。
获取单元10用于通过图像采集设备获取包含目标对象的一组目标图像,其中,一组目标图像中的图像数量至少为一张。
识别单元20用于根据一组目标图像对目标对象的动作进行识别,得到动作指令,其中,在动作指令中至少包括用于控制图像采集设备进行移动的移动指令。
第一生成单元30用于根据移动指令生成用于控制图像采集设备执行移动动作的第一控制指令。
第二生成单元40用于获取目标对象与图像采集设备之间的位置变化参数,根据位置变化参数生成用于控制图像采集设备拍摄角度的第二控制指令。
通过上述实施例,通过图像采集设备获取包含目标对象的一组目标图像;根据一组目标图像对目标对象的动作进行识别,得到动作指令,在动作指令中至少包括用于控制图像采集设备进行移动的移动指令;根据移动指令生成用于控制图像采集设备执行移动动作的第一控制指令;获取目标对象与图像采集设备之间的位置变化参数,根据位置变化参数生成用于控制图像采集设备拍摄角度的第二控制指令,通过对目标对象位置的识别,并根据目标对象的位置来调整图像采集设备的拍摄角度。从而解决了由于空间手势识别装置无法对目标对象进行跟踪,导致可识别区域小的技术问题,实现了对目标对象进行准确跟拍的技术效果。
可选地,为了准确地识别出人的手势,需要对图像采集设备进行实时地调整,以保证图像采集设备始终是对准人的,第二生成单元40可以包括:第一获取模块,用于获取目标对象的第一位置信息和图像采集设备的第二位置信息;第一确定模块,用于根据第一位置信息和第二位置信息,确定目标对象与图像采集设备之间的位置变化参数;生成模块,用于根据位置变化参数,生成用于控制图像采集设备拍摄角度的第二控制指令。
上述的位置信息可以是相对位置信息(如相对距离、相对夹角等),也可以是绝对位置信息,如目标对象所处平面或者三维空间的坐标等,下面以坐标为例详述本申请的实施例。
具体地,通过位置传感器、红外传感器等传感器实时采集目标对象和图像采集设备的坐标信息,以根据连续采集到的坐标信息进行计算以确定目标对象与图像采集设备之间的位置变化参数,从而根据位置变化参数调整采集设备的拍摄角度。
可选地,除了可以根据上述的位置传感器采集到的位置信息来控制图像采集设备的拍摄角度外,还可以通过图像处理方法来确定图像采集设备与目标对象的相对位置,并对应的调整图像采集设备的拍摄角,位置变化参数至少包括:平面位置变化参数,上述的第二生成单元40可以包括:第一识别模块,用于对第一次获取到的目标图像中的目标对象进行识别,确定目标对象在图像中的第一相对位置信息;第二识别模块,用于对第二次获取到的目标图像中的目标对象进行识别,确定目标对象在图像中的第二相对位置信息;第二确定模块,用于根据第一相对位置信息和第二相对位置信息,确定平面位置变化参数。
在一个可选的实施例中,图像采集设备为深度相机,位置变化参数还包括:深度变化参数,第二生成单元40还包括:第二获取模块,用于通过深度相机在第一次获取目标图像时,获取与目标对象对应的第一深度信息;第三获取模块,用于通过深度相机在第二次获取目标图像时,获取与目标对象对应的第二深度信息;第三确定模块,用于根据第一深度信息和第二深度信息,确定深度变化参数。
有时,由于目标对象的活动范围并不局限于某个平面,因此,仅仅识别目标对象在某个平面内的移动并不足以始终保持目标对象在合适的拍摄角度,所以可以采用本申请的上述方法对目标对象在三维空间内的空间位置变换进行监测,并对应的调整图像采集设备的位置。
通过上述实施例,可以通过图像采集设备实时监测目标对象,并识别出其空间手势,并根据手势向平衡车发送控制指令,控制平衡车做出相应的运动。
本实施例中所提供的各个模块与方法实施例对应步骤所提供的使用方法相同、应用场景也可以相同。当然,需要注意的是,上述模块涉及的方案可以不限于上述实施例中的内容和场景,且上述模块可以运行在计算机终端或移动终端,可以通过软件或硬件实现。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种设备控制方法,其特征在于,包括:
通过图像采集设备获取包含目标对象的一组目标图像,其中,所述一组目标图像中的图像数量至少为一张;
根据所述一组目标图像对所述目标对象的动作进行识别,得到动作指令,其中,在所述动作指令中至少包括用于控制所述图像采集设备进行移动的移动指令;
根据所述移动指令生成用于控制所述图像采集设备执行移动动作的第一控制指令;
获取所述目标对象与所述图像采集设备之间的位置变化参数,根据所述位置变化参数生成用于控制所述图像采集设备拍摄角度的第二控制指令;
其中,所述位置变化参数至少包括:平面位置变化参数,其中,获取所述目标对象与所述图像采集设备之间的位置变化参数包括:
对第一次获取到的所述目标图像中的所述目标对象进行识别,确定所述目标对象在所述图像中的第一相对位置信息;
对第二次获取到的所述目标图像中的所述目标对象进行识别,确定所述目标对象在所述图像中的第二相对位置信息;
根据所述第一相对位置信息和所述第二相对位置信息,确定所述平面位置变化参数。
2.根据权利要求1所述的方法,其特征在于,获取所述目标对象与所述图像采集设备之间的位置变化参数,根据所述位置变化参数生成用于控制所述图像采集设备拍摄角度的第二控制指令,包括:
获取所述目标对象的第一位置信息和所述图像采集设备的第二位置信息;
根据所述第一位置信息和所述第二位置信息,确定所述目标对象与图像采集设备之间的所述位置变化参数;
根据所述位置变化参数,生成用于控制所述图像采集设备拍摄角度的第二控制指令。
3.根据权利要求1所述的方法,其特征在于,所述图像采集设备为深度相机,所述位置变化参数还包括:深度变化参数,其中,获取所述目标对象与所述图像采集设备之间的位置变化参数包括:
通过所述深度相机在所述第一次获取所述目标图像时,获取与所述目标对象对应的第一深度信息;
通过所述深度相机在所述第二次获取所述目标图像时,获取与所述目标对象对应的第二深度信息;
根据所述第一深度信息和所述第二深度信息,确定所述深度变化参数。
4.根据权利要求1至3中任意一项所述的方法,其特征在于,所述位置变化参数至少包括:移动方向参数和移动速度参数,其中,根据所述位置变化参数生成用于控制所述图像采集设备拍摄角度的第二控制指令包括:
根据所述移动方向参数,生成用于控制所述图像采集设备切换所述拍摄角度的旋转方向指令;
根据所述移动速度参数,生成用于控制所述图像采集设备切换所述拍摄角度的旋转速度指令。
5.根据权利要求1至3中任意一项所述的方法,其特征在于,在根据所述移动指令生成用于控制所述图像采集设备执行移动动作的第一控制指令之后,所述方法还包括:
对所述目标图像中的所述目标对象进行识别;
当在所述目标图像中未识别到所述目标对象时,生成用于控制所述图像采集设备停止执行动作的第四控制指令。
6.一种设备控制装置,其特征在于,包括:
获取单元,用于通过图像采集设备获取包含目标对象的一组目标图像,其中,所述一组目标图像中的图像数量至少为一张;
识别单元,用于根据所述一组目标图像对所述目标对象的动作进行识别,得到动作指令,其中,在所述动作指令中至少包括用于控制所述图像采集设备进行移动的移动指令;
第一生成单元,用于根据所述移动指令生成用于控制所述图像采集设备执行移动动作的第一控制指令;
第二生成单元,用于获取所述目标对象与所述图像采集设备之间的位置变化参数,根据所述位置变化参数生成用于控制所述图像采集设备拍摄角度的第二控制指令;
其中,所述位置变化参数至少包括:平面位置变化参数,其中,所述第二生成单元包括:
第一识别模块,用于对第一次获取到的所述目标图像中的所述目标对象进行识别,确定所述目标对象在所述图像中的第一相对位置信息;
第二识别模块,用于对第二次获取到的所述目标图像中的所述目标对象进行识别,确定所述目标对象在所述图像中的第二相对位置信息;
第二确定模块,用于根据所述第一相对位置信息和所述第二相对位置信息,确定所述平面位置变化参数。
7.根据权利要求6所述的装置,其特征在于,所述第二生成单元包括:
第一获取模块,用于获取所述目标对象的第一位置信息和所述图像采集设备的第二位置信息;
第一确定模块,用于根据所述第一位置信息和所述第二位置信息,确定所述目标对象与图像采集设备之间的所述位置变化参数;
生成模块,用于根据所述位置变化参数,生成用于控制所述图像采集设备拍摄角度的第二控制指令。
8.根据权利要求6所述的装置,其特征在于,所述图像采集设备为深度相机,所述位置变化参数还包括:深度变化参数,其中,所述第二生成单元还包括:
第二获取模块,用于通过所述深度相机在所述第一次获取所述目标图像时,获取与所述目标对象对应的第一深度信息;
第三获取模块,用于通过所述深度相机在所述第二次获取所述目标图像时,获取与所述目标对象对应的第二深度信息;
第三确定模块,用于根据所述第一深度信息和所述第二深度信息,确定所述深度变化参数。
CN201610204742.5A 2016-04-01 2016-04-01 设备控制方法和装置 Active CN105892668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610204742.5A CN105892668B (zh) 2016-04-01 2016-04-01 设备控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610204742.5A CN105892668B (zh) 2016-04-01 2016-04-01 设备控制方法和装置

Publications (2)

Publication Number Publication Date
CN105892668A CN105892668A (zh) 2016-08-24
CN105892668B true CN105892668B (zh) 2019-04-02

Family

ID=57012667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610204742.5A Active CN105892668B (zh) 2016-04-01 2016-04-01 设备控制方法和装置

Country Status (1)

Country Link
CN (1) CN105892668B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339093B (zh) * 2016-08-31 2019-12-13 纳恩博(北京)科技有限公司 一种云台控制方法和装置
CN106774301B (zh) * 2016-10-25 2020-04-24 纳恩博(北京)科技有限公司 一种避障跟随方法和电子设备
CN108616702B (zh) * 2016-12-19 2021-02-12 纳恩博(北京)科技有限公司 图像处理方法和装置
WO2020133175A1 (en) * 2018-12-28 2020-07-02 Intel Corporation Tracking objects using sensor rotation
CN113645378B (zh) * 2021-06-21 2022-12-27 福建睿思特科技股份有限公司 一种基于边缘计算的安全管控便携式视频布控终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049007A (zh) * 2012-12-29 2013-04-17 安科智慧城市技术(中国)有限公司 一种基于操控员头部动作操控移动平台的系统和方法
CN104811615A (zh) * 2015-04-17 2015-07-29 刘耀 一种体感控制摄像系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5713959B2 (ja) * 2012-05-23 2015-05-07 株式会社東芝 電子機器、方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049007A (zh) * 2012-12-29 2013-04-17 安科智慧城市技术(中国)有限公司 一种基于操控员头部动作操控移动平台的系统和方法
CN104811615A (zh) * 2015-04-17 2015-07-29 刘耀 一种体感控制摄像系统及方法

Also Published As

Publication number Publication date
CN105892668A (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
CN105892668B (zh) 设备控制方法和装置
CN108476288B (zh) 拍摄控制方法及装置
US10636170B1 (en) Pose tracking system with physical tracking enhancement tags
CN111566612A (zh) 基于姿势和视线的视觉数据采集系统
CN103608844B (zh) 全自动动态关节连接的模型校准
EP1335322A2 (en) Method of determining body motion from captured image data
CN108733280A (zh) 智能设备的焦点跟随方法、装置、智能设备及存储介质
US9844881B2 (en) Robotic device including machine vision
CN106296598B (zh) 三维姿态处理方法、系统及拍摄终端
KR20100006324A (ko) 복수 객체 추적 방법과 장치 및 저장매체
JP2021527876A (ja) 拡張現実深層ジェスチャネットワーク
CN109101901A (zh) 人体动作识别及其神经网络生成方法、装置和电子设备
CN107895161B (zh) 基于视频数据的实时姿态识别方法及装置、计算设备
CN112119627A (zh) 基于云台的目标跟随方法、装置、云台和计算机存储介质
CN203630822U (zh) 虚拟影像与真实场景相结合的舞台交互集成系统
CN113228103A (zh) 目标跟踪方法、装置、无人机、系统及可读存储介质
Carraro et al. Real-time marker-less multi-person 3d pose estimation in rgb-depth camera networks
CN109531578B (zh) 仿人机械手臂体感控制方法及装置
CN110223219A (zh) 3d图像的生成方法及装置
EP4040268A1 (en) Object sharing method and apparatus
CN108491066A (zh) 一种手势交互方法和装置
CN110456903A (zh) 三维绘画方法、装置、存储介质、处理器及终端
CN113168532A (zh) 目标检测方法、装置、无人机及计算机可读存储介质
CN108527366B (zh) 基于景深距离的机器人跟随方法及装置
CN112183271A (zh) 一种图像处理的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant