CN106095082A - 体感交互方法、系统以及装置 - Google Patents

体感交互方法、系统以及装置 Download PDF

Info

Publication number
CN106095082A
CN106095082A CN201610388234.7A CN201610388234A CN106095082A CN 106095082 A CN106095082 A CN 106095082A CN 201610388234 A CN201610388234 A CN 201610388234A CN 106095082 A CN106095082 A CN 106095082A
Authority
CN
China
Prior art keywords
body feeling
feeling interaction
display device
action
action command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610388234.7A
Other languages
English (en)
Inventor
黄源浩
刘龙
肖振中
许星
许崇言
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN201610388234.7A priority Critical patent/CN106095082A/zh
Publication of CN106095082A publication Critical patent/CN106095082A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种体感交互方法、系统以及装置,所述体感交互方法包括:体感交互装置获取图像信息;对所述图像信息进行姿势或动作识别;获取与识别结果对应的体感交互动作指令;将所述体感动作交互指令发送至显示设备,以使所述显示设备执行所述体感交互动作指令。通过上述方式,本发明降低了完成体感交互操作的设备的要求,相较于现有技术需要特殊深度相机相匹配的方式,大大降低了研发人员的工作量和工作难度,降低了体感交互设备的成本,也促进了体感交互技术的发展。

Description

体感交互方法、系统以及装置
技术领域
本发明涉及智能终端技术领域,特别是涉及一种体感交互方法、系统以及装置。
背景技术
体感游戏是通过自身的身体动作来操作游戏,相较于传统的通过键盘、鼠标以及有线手柄等的游戏,体感游戏不再是手指操作运动,身体的运动量和娱乐性都得到了很大的提高,因此,体感游戏得到了很好的发展。
现有的体感游戏一般都是采用深度相机与处理设备如智能电视或计算机等智能终端设备相结合的方式来实现,即通过深度相机获取到的目标深度图像,通过有线或无线的方式传输到处理设备,二者相互配合来实现对体感动作的识别。
然而,在智能设备种类越来越丰富的同时,同一种类不同型号的智能终端的型号也在不断的更新完善,由于不同种类以及不同型号的智能设备所能匹配的深度相机并不相同,即均需要进行特制的深度相机与其匹配才能正常使用。这种匹配方式的限制不仅加大了研发人员的工作量和工作难度,也阻碍了体感游戏的发展。
发明内容
本发明主要解决的技术问题是提供一种体感交互方法、装置以及系统,能够有效解决不同型号显示设备与深度相机不匹配的问题。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种体感交互方法,所述体感交互方法包括:
体感交互装置获取图像信息;
对所述图像信息进行姿势或动作识别;
获取与识别结果对应的体感交互动作指令;
将所述体感动作交互指令发送至显示设备,以使所述显示设备执行所述体感交互动作指令。
其中,所述将所述体感动作交互指令发送至显示设备,以使所述显示设备执行所述体感交互动作指令的步骤之前还包括如下步骤:
所述体感交互装置判断所述显示设备能否识别所述体感交互动作指令;
如果所述显示设备不能识别所述体感交互动作指令,则将所述体感交互动作指令传输至服务器进行处理;
接收所述服务器返回的经处理的体感交互动作指令;
所述将所述体感动作交互指令发送至显示设备,以使所述显示设备执行所述体感交互动作指令的步骤包括:
将所述经处理的体感交互动作指令发送至所述显示设备。
其中,所述体感交互装置包括图像采集单元和处理器;
其中,所述获取图像信息以及所述对所述图像信息进行姿势或动作识别的步骤由所述图像采集单元执行;
所述获取与识别结果对应的体感交互动作指令的步骤由所述处理器执行。
其中,所述体感交互装置包括图像采集单元和处理器;
其中,所述获取深度图像信息由所述图像采集单元执行;
所述对所述深度图像信息进行姿势或动作识别以及所述获取与识别结果对应的体感交互动作指令的步骤由所述处理器执行。
其中,所述获取与识别结果对应的体感交互动作指令的步骤具体包括:
根据所述体感交互装置存储的转换参数将所述识别结果转换成与执行所述深度图像信息的终端对应的体感交互动作指令。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种体感交互系统,所述体感交互系统包括体感交互装置,以及与所述体感交互装置有线或无线连接的显示设备,
所述体感交互装置用于用于获取图像信息,对所述图像信息进行姿势或动作识别;获取与识别结果对应的体感交互动作指令,并将所述体感交互动作发送至显示设备;
所述显示设备用于接收体感交互动作指令,并所述根据所述体感交互动作指令执行对应的体感交互动作。
其中,所述体感交互系统还包括与所述体感交互装置无线连接的服务器,
所述服务器用于在所述体感交互装置确定所述显示设备不能识别所述体感交互动作指令时,对所述体感交互动作指令进行处理,并将处理后的体感交互动作指令返回给所述体感交互装置。
其中,所述体感交互装置包括图像采集单元和处理器;
所述图像采集单元用于获取图像信息以及所述对所述图像信息进行姿势或动作识别;
所述处理器用于获取与识别结果对应的体感交互动作指令。
其中,所述体感交互装置包括图像采集单元和处理器;
所述图像采集单元用于获取深度图像信息;
所述处理器用于对所述深度图像信息进行姿势或动作识别以及所述获取与识别结果对应的体感交互动作指令。
为了解决上述技术问题,本发明采用的再一个技术方案是:提供一种体感交互装置,
所述体感交互装置包括相互电路连接的图像采集单元以及处理器,
所述图像采集单元用于获取图像信息;
所述图像采集装置或所述处理器用于对所述图像信息进行姿势或动作识别;
所述处理器还用于获取与识别结果对应的体感交互动作指令,并将所述体感交互动作发送至显示设备,以使所述显示设备执行所述体感交互动作指令。
本发明的有益效果是:区别于现有技术的情况,本实施方式的体感交互装置获取到图像信号后,先对该图像信息进行姿势或动作识别,再获取与识别结果对应的体感交互动作指令,并将该动作交互指令发送至显示设备,以使该显示设备执行该体感交互动作指令。上述通过将对图像信号采集、姿势或动作识别以及对识别结果的转换的功能都集成在独立存在的体感交互装置的方式,体感交互装置本身具有通用性,而显示设备仅仅起到显示的作用,不仅能够对完成体感交互操作的设备的要求更低,相较于现有技术需要特殊深度相机相匹配的方式,大大降低了研发人员的工作量和工作难度,降低了体感交互设备的成本,也促进了体感交互技术的发展。
附图说明
图1是本发明体感交互方法一实施方式的流程示意图;
图2是本发明体感交互方法另一实施方式的流程示意图;
图3是本发明体感交互系统一实施方式的结构示意图;
图4是本发明体感交互系统另一实施方式的结构示意图;
图5是本发明体感交互系统再一实施方式的结构示意图;
图6是本发明体感交互装置一实施方式的结构示意图;
图7是本发明体感交互装置另一实施方式的结构示意图。
具体实施方式
参阅图1,图1是本发明体感交互方法一实施方式的流程示意图。如图1所示,本实施方式的体感交互方法包括如下步骤:
101:体感交互装置获取图像信息。
为了完成体感交互游戏等体感交互操作,体感交互装置首先获取与体感交互操作对应的图像信息,其中,在一般情况下,该图像信息为包括用户动作指令信息的深度图像信息。该深度图像信息包括深度相片以及视频中的至少一种。
在一个具体的实施方式中,该体感交互装置包括图像采集单元以及处理器,该图像采集单元包括红外投影模组、RGB相机、红外相机,也可以包括用于深度计算及姿势动作识别的算法芯片;所述处理器为ARM处理器。该图像采集单元与处理器集成在同一电路模块中,在此不做限定。
在另一个实施方式中,该体感交互装置还包括与该处理器电路连接的存储单元以及接口单元,该存储单元用于存储体感交互装置运行所需要的数据,比如计算运行数据、深度相机专用数据、系统数据等。接口电路用于与所述显示设备连接,以将所述体感交互动作指令发送至所述显示设备。所述存储单元包括DDR存储器、EMMC存储器以及SD卡中的至少一个;所述接口电路包括蓝牙电路、WiFi电路、高清晰度多媒体接口HDMI、USB接口、以太网接口中的至少一个。
其中,获取图像信息的步骤由该图像采集单元来完成。
102:对所述图像信息进行姿势或动作识别。
在获取到图像信息后,为了将该图像信息转换为显示设备可识别的体感交互动作指令,体感交互装置首先对该图像信息进行有效信息的鉴别,包括对有效姿势或动作进行识别,如用户左右摆动左右胳膊或肩膀到角度等,在此不做限定。
在一个可选的实施方式中,对所述图像信息进行姿势或动作识别的步骤由体感交互装置的图像采集单元来实施。
在另一个可选的实施方式中,对所述图像信息进行姿势或动作识别的步骤也由体感交互装置的处理器来实现。在本实施方式中,体感交互装置的集成度明显高于上一个实施方式。
103:获取与识别结果对应的体感交互动作指令。
由于最终执行显示该图像信息的显示设备的种类可能会很丰富,差异性也很大,为了保证该图像信息能够被当前选择的显示设备相匹配,体感交互装置首先获取该显示设备的类型与型号,然后根据识别结果获取与该显示设备型号相匹配的体感交互动作指令,即将识别结果转换成该显示设备能够直接执行的体感交互动作指令。
具体地,体感交互装置根据其存储的转换参数将所述识别结果转换成与执行所述图像信息的显示设备对应的体感交互动作指令。
其中,该转化参数包括参考图像数据以及体感交互装置内部参数数据等。
其中,该参考图像数据以及体感交互装置内部参数数据均存储在该体感交互装置的存储单元中,在此不在限定。
其中,该获取与识别结果对应的体感交互动作指令的步骤由体感交互装置的处理器来实现。
104:将所述体感动作交互指令发送至显示设备,以使所述显示设备执行所述体感交互动作指令。
为了实现体感交互操作,体感交互装置在将图像信息转换成体感交互动作指令后,进一步地将该体感交互动作指令发送至显示设备。
具体地,体感交互装置通过其接口单元将该体感交互动作指令发送至显示设备。即体感交互装置可通过有线或无线的方式将该指令传输至显示设备。
显示设备接收到该体感交互动作指令后,执行该体感交互动作指令对应的操作,如实现拐弯、接球等操作,在此不做限定。
其中,所述显示设备包括显示器、电视、平板电脑、PC机、智能手机等显示设备中的至少一种。
在上述任一实施方式中,完成体感交互操作的所有控制程序或资源都预先存储在体感交互装置中,在实现体感交互时,只需直接获取图像信息即可。
但是在一些特殊的情况下,如体感交互装置存储的应用软件需要更新,或或当前版本下的控制资源不能将图像信息转换成显示设备可识别的体感交互动作指令,为了实现体感交互操作的完成,体感交互装置需要进一步的通过服务器来更新。
进一步地如图2所示,图2是本发明体感交互方法另一实施方式的流程示意图。
本实施方式的体感交互方法包括如下步骤:
201:体感交互装置获取图像信息。
202:对所述图像信息进行姿势或动作识别。
203:获取与识别结果对应的体感交互动作指令。
由于步骤201~203与图1中的步骤101~103相同,具体请参阅图1以及相关文字描述,在此不再赘述。
本实施方式的体感交互方法还包括如下步骤:
204:所述体感交互装置判断所述显示设备能否识别所述体感交互动作指令。
体感交互装置在获取到该体感交互动作指令后,为了保证体感操作的可实施性,提高体感交互的执行率,体感交互装置首先判断该显示设备是否能够识别该体感交互操作。即该体感交互装置确定当前产生的体感交互指令对于即将执行的体感交互装置而言,是否为有效的指令。
在一个具体的实施方式中,体感交互装置可通过将当前的体感交互动作指令与该显示设备所能识别的体感交互动作指令进行比对,确定二者在格式以及内容上是否相匹配。如果二者在格式和内容上都相匹配,则直接执行将该体感交互动作指令发送至显示设备的步骤。
205:如果所述显示设备不能识别所述体感交互动作指令,则将所述体感交互动作指令传输至服务器进行处理。
如果当前的体感交互动作指令与该显示设备所能识别的体感交互动作指令在格式或内容上不相匹配时,即显示设备不能识别所述体感交互动作指令时,体感交互装置将当前的体感交互动作指令进行转换。
具体地,体感交互装置将当前的体感交互动作指令发送至于其通过无线网络连接的的服务器进行转换。
206:接收所述服务器返回的经处理的体感交互动作指令。
在服务器将当前显示设备不能识别的体感交互动作指令按照该显示设备的型号以及类型转换成该显示设备能够识别的体感交互动作指令后,将该处理后的体感交互动作指令重新返回至该体感交互装置。
对应的,体感交互装置接收该经处理的体感交互动作指令。
在另一个实施方式中,体感交互装置也可以向上述服务器发送更新当前所存储的该显示设备的参考数据或体感交互动作指令的请求,并重新对当前采集到的图像信息进行转换成显示设备能够识别的体感交互动作指令。
在另一个实施方式中,体感交互装置向服务器发送重新下载与该显示设备相匹配的参考数据或体感交互动作指令的请求,并重新对当前采集到的图像信息进行转换成显示设备能够识别的体感交互动作指令。
在另一个实施方式中,当体感交互装置与多个显示设备连接时,如体感交互交互装置与多个显示设备联网操作,体感交互装置可将该体感交互指令发送至服务器,通过服务器来实现多个显示设备之间的同时操作。
207:将所述经处理的体感交互动作指令发送至所述显示设备,以使所述显示设备执行所述体感交互动作指令。
显示设备接收到该体感交互动作指令后,执行该体感交互动作指令对应的操作。
区别于现有技术,本实施方式的体感交互装置获取到图像信号后,先对该图像信息进行姿势或动作识别,再获取与识别结果对应的体感交互动作指令,并将该动作交互指令发送至显示设备,以使该显示设备执行该体感交互动作指令。上述通过将对图像信号采集、姿势或动作识别以及对识别结果的转换的功能都集成在独立存在的体感交互装置的方式,体感交互装置本身具有通用性,而显示设备仅仅起到显示的作用,不仅能够对完成体感交互操作的设备的要求更低,相较于现有技术需要特殊深度相机相匹配的方式,大大降低了研发人员的工作量和工作难度,降低了体感交互设备的成本,也促进了体感交互技术的发展。
另外,本实施方式的体感交互装置在显示设备不能识别所述体感交互动作指令,则将所述体感交互动作指令传输至服务器进行处理,再将处理后的体感交互动作指令发送至显示设备,能够有效提高体感交互的执行率,保证体感操作的可实施性。同时由于体感交互装置可以直接与服务器连接进行软件升级,系统更新,不仅能够使体感交互装置有限的内存资源得到充分利用,也能够为用户节省更换体感交互装置的成本,提高用户体验。另外,体感交互装置还可以通过服务器实现多个显示设备的同时操控,进一步提高用户体验以及降低操作成本。
参阅图3,图3是本发明体感交互系统一实体感施方式的结构示意图。如图3所示,本实施方式的体感交互系统包括体感交互装置301以及显示设备302,其中,体感交互装置301与显示设备302可通过无线连接,也可以通过有线连接。
其中,该显示设备302包括显示器、电视、平板电脑、PC机、智能手机等显示设备中的至少一种。
该体感交互装置301用于获取图像信息,对所述图像信息进行姿势或动作识别;获取与识别结果对应的体感交互动作指令,并将所述体感交互动作发送至显示设备302。
显示设备302用于接收体感交互动作指令,并所述根据所述体感交互动作指令执行对应的体感交互动作。
为了清楚详细的描述上述体感交互系统的工作过程,进一步地参阅图4,图4是本发明体感交互系统另一实施方式的结果示意图,是图3体感交互系统的一具体实施方式的结构示意图。
本实施方式的体感交互装置401包括图像采集单元4011以及处理器4012,其中,图像采集单元4011与处理器4012电路连接。该图像采集单元4011包括红外投影模组、RGB相机、红外相机。处理器4012为ARM处理器。在一个优选的实施方式中,为了提高体感交互装置401的集成度,该图像采集单元4011与处理器4012可集成在同一电路模块中,在此不做限定。
该体感交互装置401还包括与该处理器4012电路连接的存储单元4013以及接口单元4014,该存储单元4013用于存储体感交互装置401运行所述产生的数据。接口电路4014用于与所述显示设备402连接,以将所述体感交互动作指令发送至所述显示设备402。所述存储单元4013包括DDR存储器、EMMC存储器以及SD卡中的至少一个;所述接口电路包括蓝牙电路、WiFi电路、高清晰度多媒体接口HDMI、AVOUT接口、USB接口、以太网接口中的至少一个。
在一个具体的实施方式中,如图4所示,体感交互装置401通过其图像采集单元4011获取图像信息。其中,在一般情况下,该图像信息为包括用户动作指令信息的深度图像信息。该深度图像信息包括深度相片以及视频中的至少一种。
图像采集单元4011在获取到图像信息后,为了将该图像信息转换为显示设备可识别的体感交互动作指令,图像采集单元4011进一步对该图像信息进行有效信息的鉴别,包括对有效姿势或动作进行识别,如用户左右摆动左右胳膊或肩膀到角度等,在此不做限定。
在另一个实施方式中,体感交互装置401通过其处理器4012对所述图像信息进行姿势或动作识别。通过服务器4012对所述图像信息进行姿势或动作识别的方式,体感交互装置401的集成度明显高于通过图像采集单元4011对所述图像信息进行姿势或动作识别的方式。
体感交互装置401的处理器4012在体感交互装置401对所述图像信息进行姿势或动作识别后,进一步用于获取与识别结果对应的体感交互动作指令。
为了保证该图像信息能够被当前选择的显示设备402相匹配,处理器4012首先获取该显示设备402的类型与型号,然后根据识别结果获取与该显示设备402型号相匹配的体感交互动作指令,即将识别结果转换成该显示设备402能够直接执行的体感交互动作指令。
具体地,处理器4012根据其存储的转换参数将所述识别结果转换成与执行所述图像信息的显示设备402对应的体感交互动作指令。
其中,该转化参数包括参考图像数据以及体感交互装置内部参数数据等。
其中,该参考图像数据以及体感交互装置内部参数数据均存储在该体感交互装置401的存储单元4013中,在此不在限定。
体感交互装置401的接口单元4014用于将将所述体感动作交互指令发送至显示设备,以使所述显示设备执行所述体感交互动作指令。
显示设备402接收到该体感交互动作指令后,执行该体感交互动作指令对应的操作,如实现拐弯、接球等操作,在此不做限定。
在上述任一实施方式中,完成体感交互操作的所有控制程序或资源都预先存储在体感交互装置401的存储单元4013中,在实现体感交互时,只需直接获取图像信息即可。
但是在一些特殊的情况下,如体感交互装置401存储的应用软件需要更新,或或当前版本下的控制资源不能将图像信息转换成显示设备402可识别的体感交互动作指令,为了实现体感交互操作的完成,体感交互装置401需要进一步的通过服务器来更新。
进一步地参阅图5,图5是本发明体感交互系统再一实施方式的结构示意图。
本实施方式的体感交互系统除了包括体感交互装置501以及与其连接的显示设备502,还包括与该体感交互装置501连接的服务器503。
本实施方式的体感交互系统与上一个实施方式的体感交互系统的区别在于,本实施方式的体感交互装置501在获取图像信息,对所述图像信息进行姿势或动作识别,获取与识别结果对应的体感交互动作指令后,还用于判断所述显示设备502能否识别所述体感交互动作指令。
具体地,体感交互装置501在获取到该体感交互动作指令后,为了保证体感操作的可实施性,提高体感交互的执行率,体感交互装置501首先判断该显示设备502是否能够识别该体感交互操作。即该体感交互装置确定当前产生的体感交互指令对于即将执行的体感交互装置而言,是否为有效的指令。
在一个具体的实施方式中,体感交互装置501可通过将当前的体感交互动作指令与该显示设备502所能识别的体感交互动作指令进行比对,确定二者在格式以及内容上是否相匹配。如果二者在格式和内容上都相匹配,则直接将该体感交互动作指令发送至显示设备502。
体感交互装置501还用于在显示设备502不能识别所述体感交互动作指令,将所述体感交互动作指令传输至服务器503进行处理。
在服务器503将当前显示设备502不能识别的体感交互动作指令按照该显示设备502的型号以及类型转换成该显示设备502能够识别的体感交互动作指令后,将该处理后的体感交互动作指令重新返回至该体感交互装置501。
对应的,体感交互装置501接收该经处理的体感交互动作指令。
在另一个实施方式中,体感交互装置501也可以向上述服务器503发送更新当前所存储的该显示设备502的参考数据或体感交互动作指令的请求,并重新对当前采集到的图像信息进行转换成显示设备502能够识别的体感交互动作指令。
在另一个实施方式中,体感交互装置501向服务器503发送重新下载与该显示设备502相匹配的参考数据或体感交互动作指令的请求,并重新对当前采集到的图像信息进行转换成显示设备502能够识别的体感交互动作指令。
在另一个实施方式中,当体感交互装置与多个显示设备连接时,如体感交互交互装置与多个显示设备联网操作,体感交互装置可将该体感交互指令发送至服务器,通过服务器来实现多个显示设备之间的同时操作。
体感交互装置501还用于将所述经处理的体感交互动作指令发送至所述显示设备。
显示设备503用于接收到该体感交互动作指令后,执行该体感交互动作指令对应的操作。
区别于现有技术,本实施方式的体感交互系统包括体感交互装置以及显示设备,体感交互装置获取到图像信号后,先对该图像信息进行姿势或动作识别,再获取与识别结果对应的体感交互动作指令,并将该动作交互指令发送至显示设备,显示设备执行该体感交互动作指令。上述通过将对图像信号采集、姿势或动作识别以及对识别结果的转换的功能都集成在独立存在的体感交互装置上,不仅使体感交互装置本身具有通用性,而且显示设备仅仅起到显示的作用,能够对完成体感交互操作的设备的要求更低,相较于现有技术需要特殊深度相机相匹配的方式,大大降低了研发人员的工作量和工作难度,降低了体感交互设备的成本,也促进了体感交互技术的发展。
另外,本实施方式的体感交互装置在显示设备不能识别所述体感交互动作指令,则将所述体感交互动作指令传输至服务器进行处理,再将处理后的体感交互动作指令发送至显示设备,能够有效提高体感交互的执行率,保证体感操作的可实施性。同时由于体感交互装置可以直接与服务器连接进行软件升级,系统更新,不仅能够使体感交互装置有限的内存资源得到充分利用,也能够为用户节省更换体感交互装置的成本,提高用户体验。另外,体感交互装置还可以通过服务器实现多个显示设备的同时操控,进一步提高用户体验以及降低操作成本。
参阅图6,图6是本发明体感交互装置一实施方式的结构示意图。本实施方式的体感交互装置包括相互电路连接的图像采集单元601以及处理器602。该图像采集单元601包括红外投影模组、RGB相机、红外相机,也可以包括用于深度计算及姿势动作识别的算法芯片。处理器602为ARM处理器。在一个优选的实施方式中,为了提高体感交互装置的集成度,该图像采集单元601与处理器602可集成在同一电路模块中,在此不做限定。
图像采集单元601用于获取图像信息。其中,在一般情况下,该图像信息为包括用户动作指令信息的深度图像信息。该深度图像信息包括深度相片以及视频中的至少一种。
图像采集单元601在获取到图像信息后,为了将该图像信息转换为显示设备可识别的体感交互动作指令,图像采集单元601进一步对该图像信息进行有效信息的鉴别,包括对有效姿势或动作进行识别,如用户左右摆动左右胳膊或肩膀到角度等,在此不做限定。
在另一个实施方式中,也可通过处理器602对所述图像信息进行姿势或动作识别。通过处理器602对所述图像信息进行姿势或动作识别的方式,体感交互装置的集成度明显高于通过图像采集单元601对所述图像信息进行姿势或动作识别的方式。
处理器602在体感交互装置对所述图像信息进行姿势或动作识别后,进一步用于获取与识别结果对应的体感交互动作指令。
具体地,处理器602根据其存储的转换参数将所述识别结果转换成与执行所述图像信息的显示设备对应的体感交互动作指令。并将所述体感动作交互指令发送至显示设备,以使所述显示设备执行所述体感交互动作指令。
其中,该转化参数包括参考图像数据以及体感交互装置内部参数数据等。
在其他实施方式中,为了保证体感操作的可实施性,提高体感交互的执行率,处理器602还用于判断该显示设备能否识别所述体感交互动作指令。具体地,处理器602可通过将当前的体感交互动作指令与该显示设备所能识别的体感交互动作指令进行比对,确定二者在格式以及内容上是否相匹配。如果二者在格式和内容上都相匹配,则直接将该体感交互动作指令发送至显示设备。如果显示设备不能识别所述体感交互动作指令,将所述体感交互动作指令传输至服务器进行处理。并将处理后的体感交互动作指令发送至显示设备。
在另一个方式中,如图7所示,体感交互装置除了包括体感交互装置701以及处理器702,还包括与处理器702电路连接的存储单元703以及接口单元704,该存储单元703用于存储体感交互装置运行所述产生的数据。接口电路704用于与外界设备如显示设备或/和服务器连接,以将所述体感交互动作指令发送至所述显示设备。所述存储单元703包括DDR存储器、EMMC存储器以及SD卡中的至少一个;所述接口电路包括蓝牙电路、WiFi电路、高清晰度多媒体接口HDMI、AVOUT接口、USB接口、以太网接口中的至少一个。
区别于现有技术,本实施方式的体感交互装置包括图像采集单元以及处理器,图像采集单元获取到图像信号后,图像采集单元或处理器先对该图像信息进行姿势或动作识别,处理器再获取与识别结果对应的体感交互动作指令,并将该动作交互指令发送至显示设备,以通过显示设备执行该体感交互动作指令。上述通过将对图像信号将完成采集、姿势或动作识别以及对识别结果的转换的功能的图像采集单元以及处理器都集成在独立存在的体感交互装置上,不仅使体感交互装置本身具有通用性,而且显示设备仅仅起到显示的作用,能够对完成体感交互操作的设备的要求更低,相较于现有技术需要特殊深度相机相匹配的方式,大大降低了研发人员的工作量和工作难度,降低了体感交互设备的成本,也促进了体感交互技术的发展。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种体感交互方法,其特征在于,所述体感交互方法包括:
体感交互装置获取图像信息;
对所述图像信息进行姿势或动作识别;
获取与识别结果对应的体感交互动作指令;
将所述体感动作交互指令发送至显示设备,以使所述显示设备执行所述体感交互动作指令。
2.根据权利要求1所述的体感交互方法,其特征在于,所述将所述体感动作交互指令发送至显示设备,以使所述显示设备执行所述体感交互动作指令的步骤之前还包括如下步骤:
所述体感交互装置判断所述显示设备能否识别所述体感交互动作指令;
如果所述显示设备不能识别所述体感交互动作指令,则将所述体感交互动作指令传输至服务器进行处理;
接收所述服务器返回的经处理的体感交互动作指令;
所述将所述体感动作交互指令发送至显示设备,以使所述显示设备执行所述体感交互动作指令的步骤包括:
将所述经处理的体感交互动作指令发送至所述显示设备。
3.根据权利要求1所述的体感交互方法,其特征在于,所述体感交互装置包括图像采集单元和处理器;
其中,所述获取图像信息以及所述对所述图像信息进行姿势或动作识别的步骤由所述图像采集单元执行;
所述获取与识别结果对应的体感交互动作指令的步骤由所述处理器执行。
4.根据权利要求1所述的体感交互方法,其特征在于,所述体感交互装置包括图像采集单元和处理器;
其中,所述获取深度图像信息由所述图像采集单元执行;
所述对所述深度图像信息进行姿势或动作识别以及所述获取与识别结果对应的体感交互动作指令的步骤由所述处理器执行。
5.根据权利要求1所述的体感交互方法,其特征在于,所述获取与识别结果对应的体感交互动作指令的步骤具体包括:
根据所述体感交互装置存储的转换参数将所述识别结果转换成与执行所述图像信息的显示设备对应的体感交互动作指令。
6.一种体感交互系统,其特征在于,所述体感交互系统包括体感交互装置,以及与所述体感交互装置有线或无线连接的显示设备,
所述体感交互装置用于获取图像信息,对所述图像信息进行姿势或动作识别;获取与识别结果对应的体感交互动作指令,并将所述体感交互动作发送至显示设备;
所述显示设备用于接收体感交互动作指令,并所述根据所述体感交互动作指令执行对应的体感交互动作。
7.根据权利要求6所述的体感交互系统,其特征在于,所述体感交互系统还包括与所述体感交互装置无线连接的服务器,
所述服务器用于在所述体感交互装置确定所述显示设备不能识别所述体感交互动作指令时,对所述体感交互动作指令进行处理,并将处理后的体感交互动作指令返回给所述体感交互装置。
8.根据权利要求6所述的体感交互系统,其特征在于,所述体感交互装置包括图像采集单元和处理器;
所述图像采集单元用于获取图像信息以及所述对所述图像信息进行姿势或动作识别;
所述处理器用于获取与识别结果对应的体感交互动作指令。
9.根据权利要求6所述的体感交互系统,其特征在于,所述体感交互装置包括图像采集单元和处理器;
所述图像采集单元用于获取深度图像信息;
所述处理器用于对所述深度图像信息进行姿势或动作识别以及所述获取与识别结果对应的体感交互动作指令。
10.一种体感交互装置,其特征在于,所述体感交互装置包括相互电路连接的图像采集单元以及处理器,
所述图像采集单元用于获取图像信息;
所述图像采集装置或所述处理器用于对所述图像信息进行姿势或动作识别;
所述处理器还用于获取与识别结果对应的体感交互动作指令,并将所述体感交互动作发送至显示设备,以使所述显示设备执行所述体感交互动作指令。
CN201610388234.7A 2016-06-02 2016-06-02 体感交互方法、系统以及装置 Pending CN106095082A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610388234.7A CN106095082A (zh) 2016-06-02 2016-06-02 体感交互方法、系统以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610388234.7A CN106095082A (zh) 2016-06-02 2016-06-02 体感交互方法、系统以及装置

Publications (1)

Publication Number Publication Date
CN106095082A true CN106095082A (zh) 2016-11-09

Family

ID=57448027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610388234.7A Pending CN106095082A (zh) 2016-06-02 2016-06-02 体感交互方法、系统以及装置

Country Status (1)

Country Link
CN (1) CN106095082A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106582005A (zh) * 2016-11-14 2017-04-26 深圳市豆娱科技有限公司 一种虚拟游戏中数据同步交互方法及装置
CN107065599A (zh) * 2017-06-12 2017-08-18 山东师范大学 基于体感交互的轮式机器人运动仿真系统与方法
CN109413152A (zh) * 2018-09-25 2019-03-01 上海瑾盛通信科技有限公司 图像处理方法、装置、存储介质及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101202766A (zh) * 2006-12-11 2008-06-18 三星电子株式会社 用于便携式终端的远程控制系统和方法
CN101500151A (zh) * 2009-02-03 2009-08-05 长峰科技工业集团公司 一种视频监控方法和监控系统、及视频通信控制器
CN102542867A (zh) * 2010-12-21 2012-07-04 微软公司 通过虚拟骨架的驾驶模拟器控制
CN102693413A (zh) * 2011-02-18 2012-09-26 微软公司 运动识别
CN103118227A (zh) * 2012-11-16 2013-05-22 佳都新太科技股份有限公司 一种基于kinect的摄像机PTZ控制方法、装置和系统
CN103386683A (zh) * 2013-07-31 2013-11-13 哈尔滨工程大学 一种基于Kinect的体感控制机械臂方法
CN103558927A (zh) * 2013-11-21 2014-02-05 广州视声电子实业有限公司 一种3d手势控制方法和装置
CN103970264A (zh) * 2013-01-29 2014-08-06 纬创资通股份有限公司 手势辨识与控制方法及其装置
CN104460972A (zh) * 2013-11-25 2015-03-25 安徽寰智信息科技股份有限公司 一种基于Kinect的人机交互系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101202766A (zh) * 2006-12-11 2008-06-18 三星电子株式会社 用于便携式终端的远程控制系统和方法
CN101500151A (zh) * 2009-02-03 2009-08-05 长峰科技工业集团公司 一种视频监控方法和监控系统、及视频通信控制器
CN102542867A (zh) * 2010-12-21 2012-07-04 微软公司 通过虚拟骨架的驾驶模拟器控制
CN102693413A (zh) * 2011-02-18 2012-09-26 微软公司 运动识别
CN103118227A (zh) * 2012-11-16 2013-05-22 佳都新太科技股份有限公司 一种基于kinect的摄像机PTZ控制方法、装置和系统
CN103970264A (zh) * 2013-01-29 2014-08-06 纬创资通股份有限公司 手势辨识与控制方法及其装置
CN103386683A (zh) * 2013-07-31 2013-11-13 哈尔滨工程大学 一种基于Kinect的体感控制机械臂方法
CN103558927A (zh) * 2013-11-21 2014-02-05 广州视声电子实业有限公司 一种3d手势控制方法和装置
CN104460972A (zh) * 2013-11-25 2015-03-25 安徽寰智信息科技股份有限公司 一种基于Kinect的人机交互系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106582005A (zh) * 2016-11-14 2017-04-26 深圳市豆娱科技有限公司 一种虚拟游戏中数据同步交互方法及装置
CN107065599A (zh) * 2017-06-12 2017-08-18 山东师范大学 基于体感交互的轮式机器人运动仿真系统与方法
CN107065599B (zh) * 2017-06-12 2021-05-07 山东师范大学 基于体感交互的轮式机器人运动仿真系统与方法
CN109413152A (zh) * 2018-09-25 2019-03-01 上海瑾盛通信科技有限公司 图像处理方法、装置、存储介质及电子设备
WO2020062998A1 (zh) * 2018-09-25 2020-04-02 上海瑾盛通信科技有限公司 图像处理方法、存储介质及电子设备
CN109413152B (zh) * 2018-09-25 2021-02-26 上海瑾盛通信科技有限公司 图像处理方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN108255304B (zh) 基于增强现实的视频数据处理方法、装置和存储介质
CN104394045B (zh) 针对智能设备的场景模式推荐方法和装置
CN105260093B (zh) 一种智能设置屏幕旋转的方法、装置及移动终端
CN106201173B (zh) 一种基于投影的用户交互图标的交互控制方法及系统
CN105204351B (zh) 空调机组的控制方法及装置
CN102915117B (zh) Android系统即插即用体感手柄的实现方法
CN106095082A (zh) 体感交互方法、系统以及装置
CN103677266B (zh) 一种电子设备及其显示控制方法和系统
CN107071551A (zh) 应用于智能电视系统中的多屏互动屏幕响应方法
CN109147056A (zh) 一种电器控制方法、装置、存储介质及移动终端
CN106408915A (zh) 利用雷达波的手势遥控系统及其工作方法
CN107943282A (zh) 一种基于增强现实和可穿戴设备的人机交互系统及方法
CN104378674B (zh) 建立智能手持装置和智能电视之间的通信连接的方法和系统
WO2022127522A1 (zh) 显示设备的控制方法、系统及计算机可读存储介质
CN102647500A (zh) 基于左右手使用习惯调整手机显示界面的系统及方法
CN108600057A (zh) 一种基于WiFi感知控制家用电器的方法及系统
CN102932791A (zh) 智能手机与电脑之间通过wifi无线网络协同处理信息的方法
CN109413152A (zh) 图像处理方法、装置、存储介质及电子设备
CN104506909A (zh) 一种捕屏遥控方法及装置
WO2023227045A1 (zh) 显示对象的确定方法、装置、电子设备及存储介质
Liu Design of human-computer interaction system based on virtual reality and its application in the dissemination of study lodge culture
CN109858380A (zh) 可扩展手势识别方法、装置、系统、手势识别终端和介质
CN206063761U (zh) 游戏操控界面的获取装置
CN106376000B (zh) 集成描述文件的智能设备操控方法
CN114299615A (zh) 基于关键点的多特征融合的动作识别方法、装置、介质及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161109

RJ01 Rejection of invention patent application after publication