CN106095087A - 体感交互系统以及方法 - Google Patents

体感交互系统以及方法 Download PDF

Info

Publication number
CN106095087A
CN106095087A CN201610394226.3A CN201610394226A CN106095087A CN 106095087 A CN106095087 A CN 106095087A CN 201610394226 A CN201610394226 A CN 201610394226A CN 106095087 A CN106095087 A CN 106095087A
Authority
CN
China
Prior art keywords
feeling interaction
body feeling
controlled plant
vector
function command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610394226.3A
Other languages
English (en)
Inventor
黄源浩
刘龙
肖振中
许星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN201610394226.3A priority Critical patent/CN106095087A/zh
Publication of CN106095087A publication Critical patent/CN106095087A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明公开了一种体感交互系统以及方法,所述体感交互系统包括体感交互装置以及至少一个受控设备,其中,所述体感交互装置与所述受控设备远程无线连接,所述体感交互装置用于采集人体图像数据,对所述人体图像数据识别得到相应的人体动作信息,根据所述人体动作信息确定功能指令,并将所述功能指令发送至所述受控设备;所述受控设备用于接收所述功能指令,执行与所述功能指令对应的功能操作。上述体感交互装置通过远程控制受控设备的方式能够大大降低环境对控制准确率的影响,而且,相较于现有技术,受控设备的设置位置也不再局限于其本身深度相机的感测范围,使体感交互技术对硬件设备的操控得到了更好的发展。

Description

体感交互系统以及方法
技术领域
本发明涉及智能终端技术领域,特别是涉及一种体感交互系统以及方法。
背景技术
体感交互技术作为新一代的人机交互技术,相比于键盘、鼠标以及触摸交互技术,更加自然和直观,例如体感游戏是通过自身的身体动作来操作游戏,相较于传统的通过键盘、鼠标以及有线手柄等的游戏,体感游戏不再是手指操作运动,身体的运动量和娱乐性都得到了很大的提高,因此,体感游戏得到了很好的发展。
上述列举的体感游戏一般是利用体感技术与计算机、电视等智能设备中的软件进行交互,但是体感交互技术还有一种比较重要的应用为利用体感交互技术对硬件设备进行操控,比如结合机器人、计算机、体感摄像头可以实现机器人的自动跟踪与壁障,同时可以实现近距离手势操控机器人等。
由于体感操控一般是针对可移动的硬件设备,如机器人或无人驾驶车辆等,都是通过在该受控设备上安装体感设备来实现体感控制,比如,在行走的机器人上连接安装一个深度相机,在不超过深度相机感测范围的区域内可以实现对机器人的体感控制。但是这种常规的方式收到了严重的区域性限制,检测范围有限,而且受环境例如光的影响较大,因此极大的限制了体感交互技术对硬件设备进行操控的发展。
发明内容
本发明主要解决的技术问题是提供一种体感交互系统以及方法,能够在减小外界环境影响的前提下,有效提高可移动的硬件设备的体感交互的实施应用范围。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种体感交互系统,
所述体感交互系统包括体感交互装置以及至少一个受控设备,其中,所述体感交互装置与所述受控设备远程无线连接,
所述体感交互装置用于采集人体图像数据,对所述人体图像数据识别得到相应的人体动作信息,根据所述人体动作信息确定功能指令,并将所述功能指令发送至所述受控设备;
所述受控设备用于接收所述功能指令,执行与所述功能指令对应的功能操作。
其中,所述人体动作信息包括人体骨架对应不同部位之间的夹角或所述夹角的变化范围。
其中,所述功能指令包括加速、减速、前进、后退、左转、右转中的至少一种;
所述体感交互装置具体用于:
计算所述人体骨架中的人体躯干与左手大臂之间的夹角并当0≤α≤30°时,确定为前进指令,否则确定为后退指令,其中,向量为人体躯干向量,向量为左手大臂向量;
计算所述左手大臂与左手小臂之间夹角并当β值相较于前一时刻变大时,确定为加速指令,否则确定为减速指令,其中,向量为左手小臂向量;
计算右手大臂向量与人体躯干法线向量之间的夹角并当0≤γ≤90°时,确定为左转指令,否则确定为右转指令,其中,向量为右臂肩部向量。
其中,所述受控设备还用于采集所述受控设备操作时的图像数据,并将所述图像数据传送至所述体感交互装置,
所述体感交互装置还用于显示所述图像数据。
其中,所述体感交互装置还用于分析所述图像数据得到所述受控设备的实际操作信息,并在判断所述实际操作信息与发送的对应功能指令不匹配时,发出所述受控设备出错的通知。
其中,所述体感交互装置执行所述根据所述人体动作信息确定功能指令,包括判断所述人体动作信息是否属于预设人体动作,若是,则获取与所述预设人体动作对应的功能指令。
其中,所述体感交互装置具体用于利用所述人体图像数据建立人体模型,并识别出所述人体模型对应的所述人体动作信息。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种体感交互方法,
所述体感交互方法包括:
体感交互装置采集人体图像数据;
对所述人体图像数据识别得到相应的人体动作信息;
根据所述人体动作信息确定功能指令;
将所述功能指令发送至至少一个与所述体感交互装置远程无线连接的受控设备,以使所述受控设备接收并执行所述操作指令。
其中,所述人体动作信息包括人体骨架对应不同部位之间的夹角或所述夹角的变化范围。
其中,所述功能指令包括加速、减速、前进、后退、左转、右转中的至少一种;
所述根据所述人体动作信息确定功能指令的步骤包括:
计算所述人体骨架中的人体躯干与左手大臂之间的夹角并当0≤α≤30°时,确定为前进指令,否则确定为后退指令,其中,向量为人体躯干向量,向量为左手大臂向量;
计算所述左手大臂与左手小臂之间夹角并当β值相较于前一时刻变大时,确定为加速指令,否则确定为减速指令,其中,向量为左手小臂向量;
计算右手大臂向量与人体躯干法线向量之间的夹角并当0≤γ≤90°时,确定为左转指令,否则确定为右转指令,其中,向量为右臂肩部向量。
本发明的有益效果是:区别于现有技术的情况,本实施方式的体感交互系统的体感交互装置与至少一个受控设备通过远程无线连接,体感交互装置采集人体图像数据,对该人体图像数据识别得到相应的人体动作信息,再根据人体动作信息确定功能指令后,将该功能指令发送至所述受控设备,受控设备用于接收所述功能指令,执行与所述功能指令对应的功能操作。上述体感交互装置通过远程控制受控设备的方式能够大大降低环境对控制准确率的影响,而且,相较于现有技术,受控设备的设置位置也不再局限于其本身深度相机的感测范围,使体感交互技术对硬件设备的操控得到了更好的发展。而且一个体感交互装置控制多个受控设备的实施方式能够进一步提高对受控设备远程控制的效率,降低成本。
附图说明
图1是本发明体感交互系统一实施方式的结构示意图;
图2是本发明人体模型一实施方式的结构示意图;
图3是体感交互系统另一实施方式的结构示意图;
图4是本发明体感交互系统再一实施方式的结构示意图;
图5是本发明体感交互系统又一实施方式的结构示意图;
图6是本发明体感交互方法一实施方式的流程示意图;
图7是本发明体感交互方法另一实施方式的流程示意图。
具体实施方式
参阅图1,图1是本发明体感交互系统一实施方式的结构示意图。如图1所示,本实施方式的体感交互系统包括体感交互装置101以及受控设备102,其中,体感交互装置101与受控设备102远程无线连接。
其中,该受控设备102包括行走机器人、无人驾驶车辆等远程操控设备中的至少一种。
为了更加清晰的描述该体感交互系统的工作过程,进一步地参阅图2,图2是本发明体感交互系统另一实施方式的结构示意图,是对图1体感交互系统的细化结构示意图。如图2所示,体感交互装置201包括相互电路连接的图像采集单元2011以及处理器2012。其中,该图像采集单元2011包括深度相机、RGB相机以及SOC控制芯片中的至少一种,该处理器2012为RAM处理器。
该体感交互装置201用于通过其图像采集单元2011采集人体图像数据,通过其处理器2012对所述人体图像数据识别得到相应的人体动作信息,根据所述人体动作信息确定功能指令,并将所述功能指令发送至所述受控设备。
其中,该人体图像数据为人体深度图像数据,在一般情况下,该图像信息为包括用户动作指令信息的深度图像信息。如果体感交互装置201的图像采集单元为SOC控制芯片,那么该人体深度图像数据的的三维重建算法、体感识别算法等应用程序通过DSP的方式集成在该SOC控制芯片中。
在具体的实施方式中,为了实现对远程受控设备202的远程体感操控,体感交互装置201通过其处理器2012先根据受控设备202的类型将与其对应的功能指令进行分类,如前进指令、后退指令、加速指令、减速指令、左转指令以及右转指令等,在此不做限定。
在其他实施方式中,体感交互装置201也可以设置受控设备通用性的功能指令,在此不做限定。
在完成对功能指令的分类后,体感交互装置201通过其控制器2012根据设定的功能指令预设人体动作,其中,该人体动作包括人体姿势,并将设定的人体动作与功能指令之间建立对应关系。
在体感交互装置201与受控设备建立远程无线连接后,通过其图像采集单元2011获取人体图像数据,并对获取到的人体图像数据进行识别,确定对应的人体动作信息。
在一个可选的实施方式,为了减小无线网络传输的无效工作量,提高体感交互成功率,体感交互装置201在采集到人体图像数据后,首先判断当前采集到的人体图像数据对应的人体动作信息是否在预先设定的人体动作范围内,即判断是否属于预设人体动作,如果属于预设人体动作,体感交互装置201再通过其处理器2012将该人体动作信息转换成功能指令。
具体地,体感交互装置201首先通过其处理器2012对采集到的人体图像数据进行处理,利用所述人体图像数据建立人体模型,再根据该人体模型进行人体动作信息的识别。其中,该人体动作信息包括人体骨架对应不同部位之间的夹角或所述夹角的变化范围,如人体骨架中的人体躯干与左手大臂之间的夹角,左手大臂与左手小臂之间的夹角以及右手大臂向量与人体躯干法线向量之间的夹角等人体模型数据等。
进一步地,体感交互装置201根据上述人体动作信息以及预先建立的人体动作信息与功能指令之间的的对应关系,确定当前采集到的人体图像数据对应的功能指令。
其中,该功能指令包括加速、减速、前进、后退、左转、右转中的至少一种。
在具体的实施方式中,如图3所示,图3为本发明人体模型一实施方式的结构示意图。结合图2和图3,体感交互装置201通过其处理器2012根据人体骨架中的人体躯干与左手大臂之间的夹角α确定是前进指令或者是后退指令。其中,人体骨架中的人体躯干与左手大臂之间的夹角并当0≤α≤30°时,确定为前进指令,否则确定为后退指令,向量为人体躯干向量,向量为左手大臂向量。
体感交互装置201通过其处理器2012根据左手大臂与左手小臂之间夹角β确定是加速指令还是后退指令。具体地,左手大臂与左手小臂之间夹角并当β值相较于前一时刻变大时,确定为加速指令,否则确定为减速指令,其中,向量为左手小臂向量,如图3所示。
体感交互装置201通其处理器2012根据人体躯干与右手大臂的相对位置确定是左转指令还是右转指令。具体地,通过右手大臂向量与人体躯干法线向量之间的夹角γ来确定,其中,并当0≤γ≤90°时,确定为左转指令,否则确定为右转指令,其中,向量为右臂肩部向量。如图3所示。
以上指令结合了夹角以及夹角的变化范围两种方式,仅需要通过双手就可以完整地控制受控终端的运行。
需要说明的是,上述对指令的确定和计算方法只是举例,而非限定,在其他实施方式中,也可以通过其他人体模型数据进行确定,本实施方式例举的人体动作信息也可以代表上述六种指令之外的其他功能指令,人体动作信息与功能指令之间的对应关系也可以互换,只要是与预先设定的对应关系相符合即可,在此不做限定。
体感交互装置201在确定采集到的人体图像数据对应的功能指令后,进一步地通过远程无线将该功能指令发送至受控设备202。
受控设备202接收到该功能指令后,执行与该功能指令对应的功能操作,如接收到左转指令,则执行左转操作,如接收到的是前进指令,则执行前进操作,如接收到的是加速指令,则加快当前操作的速度等,在此不做限定。
在另一个实施方式中,为了更清楚的了解当前受控设备所处的环境以及工作状况,提高远程操控的可执行性,受控设备还用于采集所述受控设备操作时的图像数据,并将所述图像数据传送至所述体感交互装置,所述体感交互装置还用于显示所述图像数据。
具体地,如图4所示,图4是本发明体感交互系统再一实施方式的结构示意图。该受控设备402包括摄像头4021,通过该摄像头4021采集当前操作时的图像数据,其中,该图像数据包括受控设备402周围环境特征以及该受控设备402的运行状况。受控设备402将该摄像头4021采集到的图像数据通过远程无线的方式发送至体感交互装置401。
该体感交互装置401除了包括图像采集单元4011以及处理器4012外,还包括显示单元4013。该体感交互装置401在接收到受控设备402发送的该受控设备402操作时的图像数据后,通过该显示单元4013进行显示,以供工作人员进行参考。其中,该显示单元包括液晶显示屏以及LED显示屏中的至少一种,在此不做限定。
在另一个实施方式中,体感交互装置401在接收到该受控设备402操作时的图像数据后,进一步地分析所述图像数据得到所述受控设备的实际操作信息,判断该实际操作信息是否与体感交互装置401发送的功能指令对应的操作是否相匹配,如果该实际操作信息与对应的功能指令不或功能指令对应的操作不匹配时,发出数控设备出错的通知,如通过发出报警的方式来实现,在此不做限定。
在另一个实施方式中,为了进一步提高对受控设备远程控制的效率,降低成本,如图5所示,本实施方式的体感交互装置501与多个受控设备502远程无线连接,实现一个体感交互装置501控制多个受控设备502的目的。例如可通过一个体感交互装置501同时控制多个机器人进行阅兵或者动作表演等。
区别于现有技术,本实施方式的体感交互系统的体感交互装置与至少一个受控设备通过远程无线连接,体感交互装置采集人体图像数据,对该人体图像数据识别得到相应的人体动作信息,再根据人体动作信息确定功能指令后,将该功能指令发送至所述受控设备,受控设备用于接收所述功能指令,执行与所述功能指令对应的功能操作。上述体感交互装置通过远程控制受控设备的方式能够大大降低环境对控制准确率的影响,而且,相较于现有技术,受控设备的设置位置也不再局限于其本身深度相机的感测范围,使体感交互技术对硬件设备的操控得到了更好的发展。而且一个体感交互装置控制多个受控设备的实施方式能够进一步提高对受控设备远程控制的效率,降低成本。
另外,受控设备采集其操作时的图像数据,并将该图像数据传送至所述体感交互装置,体感交互装置显示所述图像数据的实施方式,能够使远程的受控设备的周围环境状况以及当前的实际操作情形一目了然的出现在控制端,为工作人员对当前受控设备工作状况的监控和调整提供依据,也能够进一步的提高远程操控的可执行性和受控设备的工作效率。
参阅图6,图6是本发明体感交互方法一实施方式的流程示意图。本实施方式的体感交互方法包括如下步骤:
601:体感交互装置采集人体图像数据。
该体感交互装置包括相互电路连接的图像采集单元以及处理器。其中,该图像采集单元包括深度相机、RGB相机以及SOC控制芯片中的至少一种,该处理器为RAM处理器。
其中,该人体图像数据为人体深度图像数据,在一般情况下,该图像信息为包括用户动作指令信息的深度图像信息。
在具体的实施方式中,为了实现对远程受控设备的远程体感操控,体感交互装置通过其处理器先根据受控设备的类型将与其对应的功能指令进行分类,如前进指令、后退指令、加速指令、减速指令、左转指令以及右转指令等,在此不做限定。
在其他实施方式中,体感交互装置也可以设置受控设备通用性的功能指令,在此不做限定。
在完成对功能指令的分类后,体感交互装置通过其控制器根据设定的功能指令预设人体动作,其中,该人体动作包括人体姿势,并将设定的人体动作与功能指令之间建立对应关系。
体感交互装置在与受控设备建立远程无线连接后,通过其图像采集单元获取人体图像数据。
602:对所述人体图像数据识别得到相应的人体动作信息。
具体地,体感交互装置首先通过其处理器对采集到的人体图像数据进行处理,利用所述人体图像数据建立人体模型,再根据该人体模型进行人体动作信息的识别。其中,该人体动作信息包括人体骨架对应不同部位之间的夹角或所述夹角的变化范围,如人体骨架中的人体躯干与左手大臂之间的夹角,左手大臂与左手小臂之间的夹角以及右手大臂向量与人体躯干法线向量之间的夹角等人体模型数据等。
603:根据所述人体动作信息确定功能指令。
进一步地,体感交互装置根据上述人体动作信息以及预先建立的人体动作信息与功能指令之间的的对应关系,确定当前采集到的人体图像数据对应的功能指令。
在一个可选的实施方式,为了减小无线网络传输的无效工作量,提高体感交互成功率,体感交互装置在采集到人体图像数据后,首先判断当前采集到的人体图像数据对应的人体动作信息是否在预先设定的人体动作范围内,即判断是否属于预设人体动作,如果属于预设人体动作,体感交互装置再通过其处理器将该人体动作信息转换成功能指令。
其中,该功能指令包括加速、减速、前进、后退、左转、右转中的至少一种。
在具体的实施方式中,体感交互装置=通过其处理器=根据人体骨架中的人体躯干与左手大臂之间的夹角α确定是前进指令或者是后退指令。其中,人体骨架中的人体躯干与左手大臂之间的夹角并当0≤α≤30°时,确定为前进指令,否则确定为后退指令,向量为人体躯干向量,向量为左手大臂向量。β确定是加速指令还是后退指令。具体地,左手大臂与左手小臂之间夹角并当β值相较于前一时刻变大时,确定为加速指令,否则确定为减速指令,其中,向量为左手小臂向量。
体感交互装置通过其处理器根据左手大臂与左手小臂之间夹角,
体感交互装置通其处理器根据人体躯干与右手大臂的相对位置确定是左转指令还是右转指令。具体地,通过右手大臂向量与人体躯干法线向量之间的夹角γ来确定,其中,并当0≤γ≤90°时,确定为左转指令,否则确定为右转指令,其中,向量为右臂肩部向量。
需要说明的是,上述对指令的确定和计算方法只是举例,而非限定,在其他实施方式中,也可以通过其他人体模型数据进行确定,本实施方式例举的人体动作信息也可以代表上述六种指令之外的其他功能指令,人体动作信息与功能指令之间的对应关系也可以互换,只要是与预先设定的对应关系相符合即可,在此不做限定。
604:将所述功能指令发送至至少一个与所述体感交互装置远程无线连接的受控设备,以使所述受控设备接收并执行所述操作指令。
体感交互装置在确定采集到的人体图像数据对应的功能指令后,进一步地通过远程无线将该功能指令发送至受控设备。
受控设备接收到该功能指令后,执行与该功能指令对应的功能操作,如接收到左转指令,则执行左转操作,如接收到的是前进指令,则执行前进操作,如接收到的是加速指令,则加快当前操作的速度等,在此不做限定。
需要说明的是,其中,与该无线体感交互装置远程无线连接的受控设备的数量可以为1个可以为多个,当体感交互装置与多个受控设备远程无线连接,可实现一个体感交互装置控制多个受控设备的目的。例如可通过一个体感交互装置同时控制多个机器人进行阅兵或者动作表演等。
在另一个实施方式中,如图7所示,图7是本发明体感交互方法另一实施方式的流程示意图,为了更清楚的了解当前受控设备所处的环境以及工作状况,提高远程操控的可执行性,在步骤704将所述功能指令发送至至少一个与所述体感交互装置远程无线连接的受控设备,以使所述受控设备接收并执行所述操作指令之后,还包括如下步骤:
705:接收并显示受控设备发送的所述受控设备操作时的图像数据。
具体地,受控设备可通过设置摄像头,通过该摄像头采集当前操作时的图像数据,其中,该图像数据包括受控设备周围环境特征以及该受控设备的运行状况。并将采集到的图像数据通过远程无线的方式发送至体感交互装置。
对应地,体感交互装置在接收到受控设备发送的该受控设备操作时的图像数据后,可通过显示屏进行显示,以供工作人员进行参考。其中,该显示单元包括液晶显示屏以及LED显示屏中的至少一种,在此不做限定。
其中,步骤701~704与步骤601~604相同,具体请参阅图6及其相关文字的描述,在此不再赘述。
在另一个实施方式中,体感交互装置在接收到该受控设备4操作时的图像数据后,进一步地分析所述图像数据得到所述受控设备的实际操作信息,判断该实际操作信息是否与体感交互装置发送的功能指令对应的操作是否相匹配,如果该实际操作信息与对应的功能指令不或功能指令对应的操作不匹配时,发出数控设备出错的通知,如通过发出报警的方式来实现,在此不做限定。
区别于现有技术,本实施方式的体感交互装置体感交互装置采集人体图像数据,对该人体图像数据识别得到相应的人体动作信息,再根据人体动作信息确定功能指令后,将该功能指令发送至至少一个与通过远程无线连接的受控设备,以使该受控设备执行与所述功能指令对应的功能操作。上述体感交互装置通过远程控制受控设备的方式能够大大降低环境对控制准确率的影响,而且,相较于现有技术,受控设备的设置位置也不再局限于其本身深度相机的感测范围,使体感交互技术对硬件设备的操控得到了更好的发展。而且一个体感交互装置控制多个受控设备的实施方式能够进一步提高对受控设备远程控制的效率,降低成本。
另外,受控设备采集其操作时的图像数据,并将该图像数据传送至所述体感交互装置,体感交互装置显示所述图像数据的实施方式,能够使远程的受控设备的周围环境状况以及当前的实际操作情形一目了然的出现在控制端,为工作人员对当前受控设备工作状况的监控和调整提供依据,也能够进一步的提高远程操控的可执行性和受控设备的工作效率。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种体感交互系统,其特征在于,所述体感交互系统包括体感交互装置以及至少一个受控设备,其中,所述体感交互装置与所述受控设备远程无线连接,
所述体感交互装置用于采集人体图像数据,对所述人体图像数据识别得到相应的人体动作信息,根据所述人体动作信息确定功能指令,并将所述功能指令发送至所述受控设备;
所述受控设备用于接收所述功能指令,执行与所述功能指令对应的功能操作。
2.根据权利要求1所述体感交互系统,其特征在于,所述人体动作信息包括人体骨架对应不同部位之间的夹角或所述夹角的变化范围。
3.根据权利要求2所述体感交互系统,其特征在于,所述功能指令包括加速、减速、前进、后退、左转、右转中的至少一种;
所述体感交互装置具体用于:
计算所述人体骨架中的人体躯干与左手大臂之间的夹角并当0≤α≤30°时,确定为前进指令,否则确定为后退指令,其中,向量为人体躯干向量,向量为左手大臂向量;
计算所述左手大臂与左手小臂之间夹角并当β值相较于前一时刻变大时,确定为加速指令,否则确定为减速指令,其中,向量为左手小臂向量;
计算右手大臂向量与人体躯干法线向量之间的夹角并当0≤γ≤90°时,确定为左转指令,否则确定为右转指令,其中,向量为右臂肩部向量。
4.根据权利要求1所述的体感交互系统,其特征在于,所述受控设备还用于采集所述受控设备操作时的图像数据,并将所述图像数据传送至所述体感交互装置,
所述体感交互装置还用于显示所述图像数据。
5.根据权利要求4所述的体感交互系统,其特征在于,所述体感交互装置还用于分析所述图像数据得到所述受控设备的实际操作信息,并在判断所述实际操作信息与发送的对应功能指令不匹配时,发出所述受控设备出错的通知。
6.根据权利要求1所述的体感交互系统,其特征在于,所述体感交互装置执行所述根据所述人体动作信息确定功能指令,包括判断所述人体动作信息是否属于预设人体动作,若是,则获取与所述预设人体动作对应的功能指令。
7.根据权利要求1所述的体感交互系统,其特征在于,所述体感交互装置具体用于利用所述人体图像数据建立人体模型,并识别出所述人体模型对应的所述人体动作信息。
8.一种体感交互方法,其特征在于,所述体感交互方法包括:
体感交互装置采集人体图像数据;
对所述人体图像数据识别得到相应的人体动作信息;
根据所述人体动作信息确定功能指令;
将所述功能指令发送至至少一个与所述体感交互装置远程无线连接的受控设备,以使所述受控设备接收并执行所述操作指令。
9.根据权利要求8所述的体感交互方法,其特征在于,所述人体动作信息包括人体骨架对应不同部位之间的夹角或所述夹角的变化范围。
10.根据权利要求9所述的体感交互方法,其特征在于,所述功能指令包括加速、减速、前进、后退、左转、右转中的至少一种;
所述根据所述人体动作信息确定功能指令的步骤包括:
计算所述人体骨架中的人体躯干与左手大臂之间的夹角并当0≤α≤30°时,确定为前进指令,否则确定为后退指令,其中,向量为人体躯干向量,向量为左手大臂向量;
计算所述左手大臂与左手小臂之间夹角并当β值相较于前一时刻变大时,确定为加速指令,否则确定为减速指令,其中,向量为左手小臂向量;
计算右手大臂向量与人体躯干法线向量之间的夹角并当0≤γ≤90°时,确定为左转指令,否则确定为右转指令,其中,向量为右臂肩部向量。
CN201610394226.3A 2016-06-02 2016-06-02 体感交互系统以及方法 Pending CN106095087A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610394226.3A CN106095087A (zh) 2016-06-02 2016-06-02 体感交互系统以及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610394226.3A CN106095087A (zh) 2016-06-02 2016-06-02 体感交互系统以及方法

Publications (1)

Publication Number Publication Date
CN106095087A true CN106095087A (zh) 2016-11-09

Family

ID=57447954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610394226.3A Pending CN106095087A (zh) 2016-06-02 2016-06-02 体感交互系统以及方法

Country Status (1)

Country Link
CN (1) CN106095087A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065599A (zh) * 2017-06-12 2017-08-18 山东师范大学 基于体感交互的轮式机器人运动仿真系统与方法
CN107272724A (zh) * 2017-08-04 2017-10-20 南京华捷艾米软件科技有限公司 一种体感飞行装置及其控制方法
CN109126116A (zh) * 2018-06-01 2019-01-04 成都通甲优博科技有限责任公司 一种体感互动方法及其系统
CN109375777A (zh) * 2018-10-30 2019-02-22 张家口浩扬科技有限公司 一种提醒方法和系统
CN111700756A (zh) * 2020-05-28 2020-09-25 南方科技大学 一种站立辅助系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542867A (zh) * 2010-12-21 2012-07-04 微软公司 通过虚拟骨架的驾驶模拟器控制
CN102693413A (zh) * 2011-02-18 2012-09-26 微软公司 运动识别
CN103118227A (zh) * 2012-11-16 2013-05-22 佳都新太科技股份有限公司 一种基于kinect的摄像机PTZ控制方法、装置和系统
CN103386683A (zh) * 2013-07-31 2013-11-13 哈尔滨工程大学 一种基于Kinect的体感控制机械臂方法
CN103399637A (zh) * 2013-07-31 2013-11-20 西北师范大学 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
CN103558927A (zh) * 2013-11-21 2014-02-05 广州视声电子实业有限公司 一种3d手势控制方法和装置
CN103970264A (zh) * 2013-01-29 2014-08-06 纬创资通股份有限公司 手势辨识与控制方法及其装置
CN104460972A (zh) * 2013-11-25 2015-03-25 安徽寰智信息科技股份有限公司 一种基于Kinect的人机交互系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102542867A (zh) * 2010-12-21 2012-07-04 微软公司 通过虚拟骨架的驾驶模拟器控制
CN102693413A (zh) * 2011-02-18 2012-09-26 微软公司 运动识别
CN103118227A (zh) * 2012-11-16 2013-05-22 佳都新太科技股份有限公司 一种基于kinect的摄像机PTZ控制方法、装置和系统
CN103970264A (zh) * 2013-01-29 2014-08-06 纬创资通股份有限公司 手势辨识与控制方法及其装置
CN103386683A (zh) * 2013-07-31 2013-11-13 哈尔滨工程大学 一种基于Kinect的体感控制机械臂方法
CN103399637A (zh) * 2013-07-31 2013-11-20 西北师范大学 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
CN103558927A (zh) * 2013-11-21 2014-02-05 广州视声电子实业有限公司 一种3d手势控制方法和装置
CN104460972A (zh) * 2013-11-25 2015-03-25 安徽寰智信息科技股份有限公司 一种基于Kinect的人机交互系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065599A (zh) * 2017-06-12 2017-08-18 山东师范大学 基于体感交互的轮式机器人运动仿真系统与方法
CN107272724A (zh) * 2017-08-04 2017-10-20 南京华捷艾米软件科技有限公司 一种体感飞行装置及其控制方法
CN109126116A (zh) * 2018-06-01 2019-01-04 成都通甲优博科技有限责任公司 一种体感互动方法及其系统
CN109375777A (zh) * 2018-10-30 2019-02-22 张家口浩扬科技有限公司 一种提醒方法和系统
CN109375777B (zh) * 2018-10-30 2021-12-14 青岛民航凯亚系统集成有限公司 一种提醒方法和系统
CN111700756A (zh) * 2020-05-28 2020-09-25 南方科技大学 一种站立辅助系统

Similar Documents

Publication Publication Date Title
CN106095087A (zh) 体感交互系统以及方法
CN103399637B (zh) 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
CN101344816B (zh) 基于视线跟踪和手势识别的人机交互方法及装置
CN104504390B (zh) 一种基于眼动数据的网上用户状态识别方法和装置
CN103605466A (zh) 一种基于面部识别操控终端的方法
CN107139179A (zh) 一种智能服务机器人及工作方法
CN103116279B (zh) 脑控机器人系统的模糊离散事件共享控制方法
CN105204351B (zh) 空调机组的控制方法及装置
CN104428732A (zh) 与近眼显示器的多模交互
CN106681354B (zh) 无人机的飞行控制方法和装置
CN102402289B (zh) 一种基于机器视觉的手势鼠标识别方法
CN104808788A (zh) 一种非接触式手势操控用户界面的方法
CN101373380A (zh) 一种仿人机器人控制系统及机器人操纵方法
CN201667032U (zh) 基于arm和双dsp的智能移动机器人控制装置
CN104820418A (zh) 一种针对机械臂的嵌入式视觉系统及其使用方法
CN106327583A (zh) 一种实现全景摄像的虚拟现实设备及其实现方法
CN107030692A (zh) 一种基于感知增强的机械手遥操作方法及系统
CN102799273B (zh) 交互控制系统及其交互控制方法
CN109976338A (zh) 一种多模态四足机器人人机交互系统及方法
CN106166048A (zh) 一种基于arm7微处理器技术的智能清洁机器人
CN108839018A (zh) 一种机器人控制操作方法及装置
CN104932691A (zh) 带有触觉感知反馈的手势实时交互系统
CN106095083A (zh) 体感指令的确定方法以及体感交互装置
CN106512391A (zh) 一种双手手势识别方法及基于其的模拟驾驶系统、方法
CN109298710A (zh) 基于人机交互的两轮自平衡车主动跟随复合控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161109