CN106774898A - 利用深度学习的新体感技术的方法和装置 - Google Patents

利用深度学习的新体感技术的方法和装置 Download PDF

Info

Publication number
CN106774898A
CN106774898A CN201611175876.5A CN201611175876A CN106774898A CN 106774898 A CN106774898 A CN 106774898A CN 201611175876 A CN201611175876 A CN 201611175876A CN 106774898 A CN106774898 A CN 106774898A
Authority
CN
China
Prior art keywords
main frame
deep learning
display device
human body
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611175876.5A
Other languages
English (en)
Inventor
朱金彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN106774898A publication Critical patent/CN106774898A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Abstract

本发明公开一种利用深度学习的新体感技术的方法，包括：利用一人佩戴多个传感器3来定位此人重复做各种动作的十指和身体各个部位的位置，和显示设备5显示的内容进行互动，摄像头4通过获取人体图像信息传输给主机1，主机1根据人体图像信息和显示设备4显示的内容实时比对，利用深度学习软件进行学习，以达到主机1只通过摄像头4传输的人体图像信息就可以准确识别任何人做出的任何动作来和显示设备5显示的内容进行互动。本发明还公开了一种利用深度学习的新体感技术的装置，所述装置包括：1为主机，2为扬声器，3为传感器，4为摄像头，5为显示设备，6为麦克。

Description

利用深度学习的新体感技术的方法和装置
技术领域
本发明涉及人工智能技术、电子信息技术和计算机技术领域，尤其涉及一种利用探度学习的新体感技术的方法和装置。
技术背景
随着电子技术的发展，以前只能用手柄、键盘控制游戏或虚拟世界的人物角色的虚拟身体，现在可以通过体感技术来控制了，如有些体感游戏、VR、AR的应用里通过摄像头获取用户人体图像信息来控制虚拟世界的虚拟身体。
目前体感游戏技术只能识别有限手指的一些简单动作，对于十个手指和身体各个部位的各种动作识别还不够精确。
发明内容
有鉴于此，本发明提出一种利用深度学习的新体感技术的方法和装置，以解决上述问题。
为达到上述目的，本发明的实施例的技术方案是这样实现的：
一种利用深度学习的新体感技术的方法，其特征在于，利用一人佩戴多个传感器3来定位此人重复做各种动作的十指和身体各个部位的位置，和显示设备5显示的内容进行互动，摄像头4通过获取人体图像信息传输给主机1，主机1根据人体图像信息和显示设备4显示的内容实时比对，利用深度学习软件进行学习，以此类推利用其他不同体型的人或穿不同衣服来重复上述实验，让主机进行学习，以达到主机1只通过摄像头4传输的人体图像信息就可以准确识别任何人做出的任何动作来和显示设备5显示的内容进行互动，包括：
a1、利用一人佩戴多个传感器3来定位此人重复做各种动作的十指和身体各个部位的位置和显示设备5显示的内容进行互动，通过多个摄像头4获取不同角度的人体图像信息传输给主机1，主机1根据不同角度的人体图像信息和显示设备5显示的内容实时比对，利用深度学习软件进行学习，以此类推利用其他不同体型的人或穿不同衣服来重复上述实验，让主机1进行学习，以达到主机1只通过摄像头4传输的人体图像信息就可以准确识别任何人做出的任何动作来和显示设备5显示的内容进行互动。
a2、利用一人佩戴多个传感器3来定位此人重复做各种动作的十指和身体各个部位的位置和显示设备5显示的内容进行互动，通过一个摄像头4获取人体图像信息传输给主机1，主机1根据人体图像信息和显示设备5显示的内容实时比对，利用深度学习软件进行学习，以此类推利用其他不同体型的人或穿不同衣服来重复上述实验，让主机1进行学习，以达到主机1只通过摄像头4传输的人体图像信息就可以准确识别任何人做出的任何动作来和显示设备5显示的内容进行互动。
a3、利用一人佩戴多个传感器3来定位此人重复做各种动作的十指和身体各个部位的位置和显示设备5显示的内容进行互动，通过眼镜或头盔上的摄像头4获取人体图像信息传输给主机1，主机1根据人体图像信息和显示设备5显示的内容实时比对，利用深度学习软件进行学习，以此类推利用其他不同体型的人或穿不同衣服来重复上述实验，让主机1进行学习，以达到主机1只通过摄像头4传输的人体图像信息就可以准确识别任何人做出的任何动作来和显示设备5显示的内容进行互动。
a4、利用一人佩戴多个传感器3来定位此人重复做各种动作的十指和身体各个部位的位置和显示设备5显示的内容进行互动，通过摄像头4获取人体图像信息传输给主机1，主机1对人体图像的中间线建立人形线，如根据十指的每根手指的中间线，形成十条线段代表十根手指，以此类推人体其他部位的取线，以此避免不同体型或穿不同衣服对主机识别动作造成的影响，主机1利用人体图像信息形成的人形线和显示设备5显示的内容实时比对，利用深度学习软件进行学习，以此类推利用其他不同体型的人或穿不同衣服来重复上述实验，让主机1进行学习，以达到主机1只通过摄像头传输的人体图像信息形成的人形线就可以准确识别任何人做出的任何动作来和显示设备5显示的内容进行互动。
a5、将经过训练后的深度学习软件复制到体感游戏机主机1上，通过摄像头4获取用户人体图像信息传输给主机1，主机1根据训练后的深度学习软件准确识别用户的身体动作和显示设备5显示的内容进行互动。
a6、将经过训练后的深度学习软件复制到VR、VR眼镜或头盔的主机1上，通过摄像头4获取用户人体图像信息传输给主机1，主机1根据训练后的深度学习软件准确识别用户的身体动作和显示设备5显示的内容进行互动。
a7、将经过训练后的深度学习软件复制到VR、VR眼镜或头盔的主机1上，通过眼镜或头盔上的摄像头4获取用户人体图像信息传输给主机1，主机1根据训练后的深度学习软件准确识别用户人体动作控制显示设备5显示的虚拟世界里用户的虚拟身体。
a8、将经过训练后的深度学习软件到VR、VR眼镜或头盔的主机1上，通过眼镜或头盔上的摄像头4获取用户手指的图像信息传输给主机1，主机1根据训练后的深度学习软件准确识别手指动作控制显示设备5显示的虚拟世界用户的虚拟身体手指，操作虚拟世界里的电脑和手机。
a9、将经过训练后的深度学习软件复制到VR、VR眼镜或头盔的主机1上，通过摄像头4获取用户人体图像信息传输给主机1，主机1根据训练后的深度学习软件准确识别用户人体动作控制显示设备5显示的虚拟世界里根据用户身体三维人体扫描生成的虚拟身体，利用网络和VR或AR技术和异地用户身体三维人体扫描生成的虚拟身体出现在同一个虚拟世界进行交流和互动。
本发明实施例还公开了一种利用深度学习的新体感技术装置，其特征在于，训练阶段，利用一人佩戴多个传感器3来定位此人重复做各种动作的十指和身体各个部位的位置，和显示设备5显示的内容进行互动，摄像头4通过获取人体图像信息传输给主机1，主机1根据人体图像信息和显示设备4显示的内容实时比对，利用深度学习软件进行学习；应用阶段，利用摄像头4来获取用户人体图像信息，将此人体图像信息传输给主机1，主机1根据训练后的深度学习软件准确识别用户人体动作控制显示设备5显示的虚拟世界里用户的虚拟身体，即厂家训练阶段实验人员需要佩戴传感器，应用阶段用户不需要购买和佩戴传感器。
所述装置具有体感游戏、VR、AR等功能。
附图说明
下面结合附图对本发明做进一步详细的说明。
图1为本发明的结构示意图；
图中：1为主机，2为扬声器，3为传感器，4为摄像头，5为显示设备，6为麦克。
具体实施方案
如图1所示，所述装置包括：1为主机，2为扬声器，3为传感器，4为摄像头，5为显示设备，6为麦克。
一种利用深度学习的新体感技术的方法，其特征在于，利用一人佩戴多个传感器3来定位此人重复做各种动作的十指和身体各个部位的位置，和显示设备5显示的内容进行互动，摄像头4通过获取人体图像信息传输给主机1，主机1根据人体图像信息和显示设备4显示的内容实时比对，利用深度学习软件进行学习，以此类推利用其他不同体型的人或穿不同衣服来重复上述实验，让主机进行学习，以达到主机1只通过摄像头4传输的人体图像信息就可以准确识别任何人做出的任何动作来和显示设备5显示的内容进行互动，包括：
a1、利用一人佩戴多个传感器3来定位此人重复做各种动作的十指和身体各个部位的位置和显示设备5显示的内容进行互动，通过多个摄像头4获取不同角度的人体图像信息传输给主机1，主机1根据不同角度的人体图像信息和显示设备5显示的内容实时比对，利用深度学习软件进行学习，以此类推利用其他不同体型的人或穿不同衣服来重复上述实验，让主机1进行学习，以达到主机1只通过摄像头4传输的人体图像信息就可以准确识别任何人做出的任何动作来和显示设备5显示的内容进行互动。
a2、利用一人佩戴多个传感器3来定位此人重复做各种动作的十指和身体各个部位的位置和显示设备5显示的内容进行互动，通过一个摄像头4获取人体图像信息传输给主机1，主机1根据人体图像信息和显示设备5显示的内容实时比对，利用深度学习软件进行学习，以此类推利用其他不同体型的人或穿不同衣服来重复上述实验，让主机1进行学习，以达到主机1只通过摄像头4传输的人体图像信息就可以准确识别任何人做出的任何动作来和显示设备5显示的内容进行互动。
a3、利用一人佩戴多个传感器3来定位此人重复做各种动作的十指和身体各个部位的位置和显示设备5显示的内容进行互动，通过眼镜或头盔上的摄像头4获取人体图像信息传输给主机1，主机1根据人体图像信息和显示设备5显示的内容实时比对，利用深度学习软件进行学习，以此类推利用其他不同体型的人或穿不同衣服来重复上述实验，让主机1进行学习，以达到主机1只通过摄像头4传输的人体图像信息就可以准确识别任何人做出的任何动作来和显示设备5显示的内容进行互动。
a4、利用一人佩戴多个传感器3来定位此人重复做各种动作的十指和身体各个部位的位置和显示设备5显示的内容进行互动，通过摄像头4获取人体图像信息传输给主机1，主机1对人体图像的中间线建立人形线，如根据十指的每根手指的中间线，形成十条线段代表十根手指，以此类推人体其他部位的取线，以此避免不同体型或穿不同衣服对主机识别动作造成的影响，主机1利用人体图像信息形成的人形线和显示设备5显示的内容实时比对，利用深度学习软件进行学习，以此类推利用其他不同体型的人或穿不同衣服来重复上述实验，让主机1进行学习，以达到主机1只通过摄像头传输的人体图像信息形成的人形线就可以准确识别任何人做出的任何动作来和显示设备5显示的内容进行互动。
a5、将经过训练后的深度学习软件复制到体感游戏机主机1上，通过摄像头4获取用户人体图像信息传输给主机1，主机1根据训练后的深度学习软件准确识别用户的身体动作和显示设备5显示的内容进行互动。
a6、将经过训练后的深度学习软件复制到VR、VR眼镜或头盔的主机1上，通过摄像头4获取用户人体图像信息传输给主机，主机1根据训练后的深度学习软件准确识别用户的身体动作和显示设备5显示的内容进行互动。
a7、将经过训练后的深度学习软件复制到VR、VR眼镜或头盔的主机1上，通过眼镜或头盔上的摄像头4获取用户人体图像信息传输给主机1，主机1根据训练后的深度学习软件准确识别用户人体动作控制显示设备5显示的虚拟世界里用户的虚拟身体。
a8、将经过训练后的深度学习软件到VR、VR眼镜或头盔的主机1上，通过眼镜或头盔上的摄像头4获取用户手指的图像信息传输给主机1，主机1根据训练后的深度学习软件准确识别手指动作控制显示设备5显示的虚拟世界用户的虚拟身体手指，操作虚拟世界里的电脑和手机。
a9、将经过训练后的深度学习软件复制到VR、VR眼镜或头盔的主机1上，通过摄像头4获取用户人体图像信息传输给主机1，主机1根据训练后的深度学习软件准确识别用户人体动作控制显示设备5显示的虚拟世界里根据用户身体三维人体扫描生成的虚拟身体，利用网络和VR或AR技术和异地用户身体三维人体扫描生成的虚拟身体出现在同一个虚拟世界进行交流和互动。

Claims (8)

1.一种利用深度学习的新体感技术的方法，其特征在于，利用一人佩戴多个传感器3来定位此人重复做各种动作的十指和身体各个部位的位置，和显示设备5显示的内容进行互动，摄像头4通过获取人体图像信息传输给主机1，主机1根据人体图像信息和显示设备4显示的内容实时比对，利用深度学习软件进行学习，以此类推利用其他不同体型的人或穿不同衣服来重复上述实验，让主机进行学习，以达到主机1只通过摄像头4传输的人体图像信息就可以准确识别任何人做出的任何动作来和显示设备5显示的内容进行互动。
2.根据权利要求1所述的利用深度学习的新体感技术的方法，其特征在于，利用一人佩戴多个传感器3来定位此人重复做各种动作的十指和身体各个部位的位置和显示设备5显示的内容进行互动，通过眼镜或头盔上的摄像头4获取人体图像信息传输给主机1，主机1根据人体图像信息和显示设备5显示的内容实时比对，利用深度学习软件进行学习，以此类推利用其他不同体型的人或穿不同衣服来重复上述实验，让主机1进行学习，以达到主机1只通过摄像头4传输的人体图像信息就可以准确识别任何人做出的任何动作来和显示设备5显示的内容进行互动。
3.根据权利要求1所述的利用深度学习的新体感技术的方法，其特征在于，利用一人佩戴多个传感器3来定位此人重复做各种动作的十指和身体各个部位的位置和显示设备5显示的内容进行互动，通过摄像头4获取人体图像信息传输给主机1，主机1对人体图像的中间线建立人形线，如根据十指的每根手指的中间线，形成十条线段代表十根手指，以此类推人体其他部位的取线，以此避免不同体型或穿不同衣服对主机识别动作造成的影响，主机1利用人体图像信息形成的人形线和显示设备5显示的内容实时比对，利用深度学习软件进行学习，以此类推利用其他不同体型的人或穿不同衣服来重复上述实验，让主机1进行学习，以达到主机1只通过摄像头传输的人体图像信息形成的人形线就可以准确识别任何人做出的任何动作来和显示设备5显示的内容进行互动。
4.根据权利要求1所述的利用深度学习的新体感技术的方法，其特征在于，将经过训练后的深度学习软件复制到体感游戏机主机1上，通过摄像头4获取用户人体图像信息传输给主机1，主机1根据训练后的深度学习软件准确识别用户的身体动作和显示设备5显示的内容进行互动。
5.根据权利要求1所述的利用深度学习的新体感技术的方法，其特征在于，将经过训练后的深度学习软件复制到VR、VR眼镜或头盔的主机1上，通过摄像头4获取用户人体图像信息传输给主机1，主机1根据训练后的深度学习软件准确识别用户的身体动作和显示设备5显示的内容进行互动。
6.根据权利要求1所述的利用深度学习的新体感技术的方法，其特征在于，将经过训练后的深度学习软件到VR、VR眼镜或头盔的主机1上，通过眼镜或头盔上的摄像头4获取用户手指的图像信息传输给主机1，主机1根据训练后的深度学习软件准确识别手指动作控制显示设备5显示的虚拟世界用户的虚拟身体手指，操作虚拟世界里的电脑和手机。
7.根据权利要求1所述的利用深度学习的新体感技术的方法，其特征在于，将经过训练后的深度学习软件复制到VR、VR眼镜或头盔的主机1上，通过摄像头4获取用户人体图像信息传输给主机1，主机1根据训练后的深度学习软件准确识别用户人体动作控制显示设备5显示的虚拟世界里根据用户身体三维人体扫描生成的虚拟身体，利用网络和VR或AR技术和异地用户身体三维人体扫描生成的虚拟身体出现在同一个虚拟世界进行交流和互动。
8.一种利用深度学习的新体感技术装置，其特征在于，所述装置包括：1为主机，2为扬声器，3为传感器，4为摄像头，5为显示设备，6为麦克；训练深度学习软件阶段利用一人佩戴多个传感器3来定位此人重复做各种动作的十指和身体各个部位的位置，和显示设备5显示的内容进行互动，摄像头4通过获取人体图像信息传输给主机1，主机1根据人体图像信息和显示设备4显示的内容实时比对，利用深度学习软件进行学习，以此类推利用其他不同体型的人或穿不同衣服来重复上述实验，让主机进行学习；应用阶段用户不需要传感器3，只通过摄像头4获取用户人体图像信息传输给主机1，主机1根据训练后的深度学习软件准确识别用户的身体动作和显示设备5显示的内容进行互动。
CN201611175876.5A 2016-10-18 2016-12-11 利用深度学习的新体感技术的方法和装置 Pending CN106774898A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610922356X 2016-10-18
CN201610922356 2016-10-18

Publications (1)

Publication Number Publication Date
CN106774898A true CN106774898A (zh) 2017-05-31

Family

ID=58891296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611175876.5A Pending CN106774898A (zh) 2016-10-18 2016-12-11 利用深度学习的新体感技术的方法和装置

Country Status (1)

Country Link
CN (1) CN106774898A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860213A (zh) * 2020-06-29 2020-10-30 广州幻境科技有限公司 增强现实系统及其控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662472A (zh) * 2012-04-10 2012-09-12 苏州中科启慧软件技术有限公司 基于肢体动作的学习方法及其云服务系统
CN102736726A (zh) * 2011-04-11 2012-10-17 曾亚东 键盘和鼠标的隐形技术
CN105095923A (zh) * 2014-05-21 2015-11-25 华为技术有限公司 一种图像处理方法及装置
CN105320262A (zh) * 2014-06-08 2016-02-10 朱金彪 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102736726A (zh) * 2011-04-11 2012-10-17 曾亚东 键盘和鼠标的隐形技术
CN102662472A (zh) * 2012-04-10 2012-09-12 苏州中科启慧软件技术有限公司 基于肢体动作的学习方法及其云服务系统
CN105095923A (zh) * 2014-05-21 2015-11-25 华为技术有限公司 一种图像处理方法及装置
CN105320262A (zh) * 2014-06-08 2016-02-10 朱金彪 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860213A (zh) * 2020-06-29 2020-10-30 广州幻境科技有限公司 增强现实系统及其控制方法

Similar Documents

Publication Publication Date Title
US11308672B2 (en) Telepresence of users in interactive virtual spaces
US11074748B2 (en) Matching meshes for virtual avatars
CN111460875B (zh) 图像处理方法及装置、图像设备及存储介质
US11669726B2 (en) Methods and systems for interpolation of disparate inputs
CN112437950A (zh) 用于对虚拟头像制作动画的骨架系统
CN103197757A (zh) 一种沉浸式虚拟现实系统及其实现方法
JP2022549853A (ja) 共有空間内の個々の視認
US11733769B2 (en) Presenting avatars in three-dimensional environments
KR20150103723A (ko) 가상 또는 증강매개된 비전을 위한 엑스트라미시브 공간 이미징 디지털 아이 글래스
US11836840B2 (en) Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters
Klein et al. A markeless augmented reality tracking for enhancing the user interaction during virtual rehabilitation
CN107632702B (zh) 一种采用光感应数据手套的全息投影系统及其工作方法
CN106774898A (zh) 利用深度学习的新体感技术的方法和装置
CN105224910B (zh) 一种训练共同注意力的系统及方法
Sutopo et al. Synchronization of dance motion data acquisition using motion capture
Šperka Past and future of Human—Computer Interaction
Alabbasi et al. Virtual Sports Training System Using Kinect V2 Sensor
Schäfer Improving Essential Interactions for Immersive Virtual Environments with Novel Hand Gesture Authoring Tools
Wu et al. Improve the immersion of equipped with virtual maintenance training system to more close to the equipment maintenance training environment
WO2021252343A1 (en) Avatar puppeting in virtual or augmented reality
CN116868152A (zh) 用于在三维环境中呈现化身的界面
Laurenzo Facing Interaction
Feldt et al. Interaction in motion: Augmented Telepresence as a Tool for Immersive Dance Experience
del Prado et al. The Augmented Soma Suit: Wearables for Enhanced Somatic Experiences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170531