CN106909217A - 一种增强现实的全息投影交互方法、装置及系统 - Google Patents
一种增强现实的全息投影交互方法、装置及系统 Download PDFInfo
- Publication number
- CN106909217A CN106909217A CN201710031947.2A CN201710031947A CN106909217A CN 106909217 A CN106909217 A CN 106909217A CN 201710031947 A CN201710031947 A CN 201710031947A CN 106909217 A CN106909217 A CN 106909217A
- Authority
- CN
- China
- Prior art keywords
- operational order
- imaging picture
- picture
- imaging
- adjusted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Holo Graphy (AREA)
Abstract
本发明涉及增强现实技术领域，特别是涉及一种增强现实的全息投影交互方法、装置及系统。该方法包括：向全息投影盒的成像膜投射成像画面；获取对成像画面进行调整的操作指令；该操作指令用于指示在成像画面上增加元素以及对成像画面上的元素进行控制；根据操作指令对成像画面进行调整并投射出调整后的成像画面。该技术方案使用户能够与观看到的成像画面进行互动，增强了用户在观看全息成像画面时的乐趣。
Description
技术领域
本发明涉及增强现实技术领域，特别是涉及一种增强现实的全息投影交互方法、装置及系统。
背景技术
全息投影是利用干涉和衍射原理记录并再现物体真实的三维图像，简单来说即是一种无需佩戴3D眼镜，就可以产生立体效果的一种技术。该技术的实现一般都是投影设备将不同角度投影至全息投影膜上，让用户看不到不属于用户自身角度的其他图像，从而实现全息立体影像。
目前，利用智能终端结合全息投影设备或装置呈现全息投影影像的产品较多，但是，观众一般都是直接观看呈现的全息投影影像，很少与该影像进行互动。
发明内容
本发明实施例主要解决的技术问题是提供一种增强现实的全息投影交互方法、装置及系统，用以解决相关技术中缺少与全息投影影像进行互动的问题。
为解决上述技术问题，本发明实施例提供以下技术方案：
在第一方面，本发明实施例提供一种增强现实的全息投影交互方法，包括：向全息投影盒的成像膜投射成像画面；获取对所述成像画面进行调整的操作指令；所述操作指令用于指示在所述成像画面上增加元素以及对所述成像画面上的元素进行控制；根据所述操作指令对所述成像画面进行调整并投射出调整后的成像画面。
可选地，所述方法还包括：对所述调整后的成像画面进行录制，并且分享录制的所述成像画面。
可选地，所述获取对所述成像画面进行调整的操作指令具体包括：所述成像画面进行调整的操作指令是通过语音采集及语音识别得到的。
可选地，所述操作指令为元素增加操作指令，并且所述元素增加操作指令用于指示在所述成像画面上增加元素，并且，
所述根据所述操作指令对所述成像画面进行调整并投射出调整后的成像画面包括：
基于语音采集及语音识别的结果，分析所述操作指令，以获取增加的元素；
在所述成像画面投射出获取到的所述增加的元素。
可选地，所述操作指令为元素删除操作指令，所述元素删除操作指令用于指示对所述成像画面上的元素进行控制，
所述根据所述操作指令对所述成像画面进行调整并投射出调整后的成像画面包括：
基于语音采集及语音识别的结果，选中所述结果对应的元素；
删除所述元素，并同时投射删除所述元素后的成像画面。
可选地，所述操作指令为元素跳舞操作指令，所述元素跳舞操作指令用于指示对所述成像画面上的元素进行控制，
所述根据所述操作指令对所述成像画面进行调整并投射出调整后的成像画面包括：
基于语音采集及语音识别的结果，选中所述结果对应的元素，并且对选中的所述元素进行渲染；
控制渲染后的所述元素根据预设的轨迹移动，并同时投射根据所述预设的轨迹进行移动的所述元素。
可选地，所述操作指令为元素发声操作指令，所述元素发声操作指令用于指示对所述成像画面上的元素进行控制，
所述根据所述操作指令对所述成像画面进行调整并投射出调整后的成像画面包括：
基于语音采集及语音识别的结果，选中所述结果对应的元素，并且对选中的所述元素进行渲染；
控制渲染后的所述元素根据预设的声音发声，并同时投射根据所述预设的声音进行发声的所述元素。
可选地，所述方法还包括：控制渲染后的所述元素根据采集的语音进行发声，并同时投射根据所述采集的语音进行发声的所述元素。
在第二方面，本发明实施例提供一种增强现实的全息投影交互装置，包括：
投射模块，用于向全息投影盒的成像膜投射成像画面；
获取模块，用于获取对所述成像画面进行调整的操作指令；所述操作指令用于指示在所述成像画面上增加元素以及对所述成像画面上的元素进行控制；
调整模块，用于根据所述操作指令对所述成像画面进行调整并投射出调整后的成像画面。
可选地，所述装置还包括：
分享模块，用于对所述调整后的成像画面进行录制，并且分享录制的所述成像画面。
可选地，所述获取模块具体用于：所述成像画面进行调整的操作指令是通过语音采集及语音识别得到的。
可选地，所述操作指令为元素增加操作指令，并且所述元素增加操作指令用于指示在所述成像画面上增加元素，
所述调整模块包括：
增加单元，用于基于语音采集及语音识别的结果，分析所述操作指令，以获取增加的元素；
第一投射单元，用于在所述成像画面投射出获取到的所述增加的元素。
可选地，所述操作指令为元素删除操作指令，所述元素删除操作指令用于指示对所述成像画面上的元素进行控制，
所述调整模块包括：
第一选中单元，用于基于语音采集及语音识别的结果，选中所述结果对应的元素；
第二投射单元，用于删除所述元素，并同时投射删除所述元素后的成像画面。
可选地，所述操作指令为元素跳舞操作指令，所述元素跳舞操作指令用于指示对所述成像画面上的元素进行控制，
所述调整模块包括：
第二选中单元，用于基于语音采集及语音识别的结果，选中所述结果对应的元素，并且对选中的所述元素进行渲染；
第三投射单元，用于控制渲染后的所述元素根据预设的轨迹移动，并同时投射根据所述预设的轨迹进行移动的所述元素。
可选地，所述操作指令为元素发声操作指令，所述元素发声操作指令用于指示对所述成像画面上的元素进行控制，
所述调整模块包括：
第三选中单元，用于基于语音采集及语音识别的结果，选中所述结果对应的元素，并且对选中的所述元素进行渲染；
第四投射单元，用于控制渲染后的所述元素根据预设的声音发声，并同时投射根据所述预设的声音进行发声的所述元素。
可选地，所述调整模块还包括：
第五投射单元，用于控制渲染后的所述元素根据采集的语音进行发声，并同时投射根据所述采集的语音进行发声的所述元素。
在第三方面，本发明实施例提供一种增强现实的全息投影交互系统，包括：全息投影盒和智能终端，所述全息投影盒包括盒体、设置于盒体内的成像膜，所述全息投影盒的一侧设置用于观看成像画面的敞开口；
所述智能终端设置在所述全息投影盒的盒体上，用于向所述成像膜投射出成像画面；所述智能终端还用于采集操作指令，并且根据所述操作指令在所述成像画面上增加元素以及对所述成像画面上的元素进行控制。
可选地，所述智能终端包括至少一个音频采集装置，其中，所述操作指令是通过所述音频采集装置采集到的。
在本发明实施例中，在向全息投影盒的成像膜投射出成像画面后，通过获取对该成像画面进行调整的操作指令，来调整该成像画面，具体是调整该成像画面中的元素，并同时展示调整后的成像画面。区别于现有技术的情况，用户能够与观看到的成像画面进行互动，增强了用户在观看全息成像画面时的乐趣。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例提供的一种增强现实的全息投影交互系统的结构示意图；
图2是本发明实施例提供的一种增强现实的全息投影交互方法的流程示意图；
图3是本发明实施例提供的一种根据操作指令对成像画面进行调整并投射出调整后的成像画面的方法的流程示意图；
图4是本发明实施例提供的另一种根据操作指令对成像画面进行调整并投射出调整后的成像画面的方法的流程示意图；
图5是本发明实施例提供的又一种根据操作指令对成像画面进行调整并投射出调整后的成像画面的方法的流程示意图；
图6是本发明实施例提供的再一种根据操作指令对成像画面进行调整并投射出调整后的成像画面的方法的流程示意图；
图7是本发明另一实施例提供的一种增强现实的全息投影交互方法的流程示意图；
图8是本发明实施例提供的一种增强现实的全息投影交互装置的结构示意图；
图9是本发明另一实施例提供的一种增强现实的全息投影交互装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
请参照图1，图1是本发明实施例提供的一种增强现实的全息投影交互系统的结构示意图。如图1所示，系统200包括：全息投影盒210和智能终端220。
该全息投影盒210包括盒体、设于盒体内的成像膜。其中，该盒体的一侧面设置用于观看成像画面的敞开口，当以该敞开口面为正视图时，该盒体的俯视图的一面用于放置智能终端220，并且，放置智能终端220的侧面还设有开口，以使该智能终端220通过该开口为成像膜提供光源。
进一步地，放置该智能终端的一面设有凹槽，该智能终端220屏幕面积与凹槽的底面面积吻合，使得该智能终端220刚好能够完整的放入凹槽中，并且，该凹槽底面还设有开口，该智能终端220通过该开口为成像膜提供光源。
进一步地，该盒体内还设置有背景板，从敞开口的一侧能够观看到背景板的全景，当智能终端220向成像膜投射出图像或视频时，结合该背景板的画面，能够为用户提供一个更加立体的画面。该背景板可以是电子背景板，也可以是卡片式的背景板，还可以是书形状的背景板，在相关技术中均有介绍，在此不做限定。
该智能终端220包括智能手机、平板电脑等，智能终端220用于向全息投影盒210内的成像膜投射出成像画面，该成像画面包括图像、视频。该智能终端220还用于采集操作指令，该操作指令是观看该成像画面的观众所发出的用于调整成像画面中元素的指令，该操作指令用于指示在该成像画面上增加元素以及对成像画面上的元素进行控制，例如，在成像画面上增加一只小兔子，改变小兔子的颜色、大小，或者让小兔子跳舞、说话等，从而能够实现观众与成像画面之间的互动。其中，该元素指的是用于组成成像画面的元素，所有的元素组成一副成像画面。
在一些实施例中，智能终端220包括至少一个音频采集装置，该智能终端220通过音频采集装置来采集操作指令，从而通过声音采集与声音识别实现让用户通过声音来与成像画面中的元素进行互动。该声音可以是用户自己发出的声音，也可以是其他乐器发出的声音，例如，儿童玩具电子琴等。
通过本实施例提供的全息投影交互系统，能够实现观众与投射出的成像画面中的元素的互动，增强了观众在观看全息画面时的乐趣，提升了用户体验。
请参照图2，图2是本发明实施例提供的一种增强现实的全息投影交互方法的流程示意图，该方法应用于上述全息投影交互系统的智能终端中，如图2所示，该方法包括：
步骤101、向全息投影盒的成像膜投射成像画面。
该全息投影盒即上述全息投影交互系统中的全息投影盒，由执行本方法的智能终端向成像膜进行投射，从而生成成像画面，投射之前，该智能终端中已经预存储了全息视频资源。
全息视频资源投射到成像膜上后，为观众展现出一个立体的三维图像画面。在本实施例中，观众可以与该立体的三维图像画面中的元素进行交互。
步骤102、获取对成像画面进行调整的操作指令；该操作指令用于指示在成像画面上增加元素以及对成像画面上的元素进行控制。
在本实施例中，执行本方法的智能终端通过获取外部观众的操作指令来对成像画面进行调整。其中，该智能终端可以通过内设的音频采集装置通过语音采集及语音识别获取对成像画面进行调整的操作指令，该操作指令是声音指令，基于声音识别等技术识别出该声音指令，并将该声音指令与预存指令进行匹配，在匹配一致的情况下，响应观众发出的该声音指令，改变投射出的成像画面。其中，该声音指令包括：观众发出的语音指令，观众通过一些乐器发出的声音(比如电子琴等)，观众执行某一动作发出的声音(比如拍掌等)等等。
此外，该智能终端还可以通过内设的图像采集装置采集观众发出的图像指令，该图像指令可以是观众手势或预制的卡牌等，基于图像分析及图像识别等技术，识别出观众发出的图像指令，根据识别出的图像指令改变将要投射的全息视频资源，从而改变投射的成像画面。
进一步地，还可以结合音频采集装置和图像采集装置来采集观众发出的指令，根据获取到的指令执行相应的操作，以调整成像画面，实现观众与成像画面的互动。
步骤103、根据操作指令对成像画面进行调整并投射出调整后的成像画面。
获取到观众发出的操作指令后，执行本方法的智能终端根据操作指令的识别结果对成像画面进行调整，具体是对操作指令对应的元素且该元素所对应的全息视频资源进行调整，调整全息视频资源中的元素后，及时向成像膜投影调整后的全息视频资源，从而及时的给观众呈现出一个根据观众意愿改变后的成像画面。
本发明实施例提供了一种全息投影交互方法，在向全息投影盒的成像膜投射出成像画面后，通过获取对该成像画面进行调整的操作指令，来调整该成像画面，具体是调整该成像画面中的元素，并同时展示调整后的成像画面。该技术方案使观众能够与观看到的成像画面进行互动，增强了观众在观看全息成像画面时的乐趣。
在一些实施例中，操作指令为元素增加操作指令，并且该元素增加操作指令用于指示在成像画面上增加元素，则，如图3所示，根据该操作指令对该成像画面进行调整并投射出调整后的成像画面包括：
步骤10311、基于语音采集及语音识别的结果，分析操作指令，以获取增加的元素；
步骤10312、在成像画面投射出获取到的该增加的元素。
在本实施例中，观众对观看到的成像画面发出增加元素的操作指令，观众可以通过语音来发出该指令，也可以借助其他工具(比如乐器等)来发出指令。智能终端通过分析接收到的声音，识别出该声音指令对应的元素，并增加该元素于成像画面中。
当观众通过语音来发出该元素增加操作指令时，例如，观众说“增加一颗星星”，基于自然语言处理及语音识别等技术，提取该声音的基本特征，通过特征匹配，找到预设的指令，从而执行该指令，以实现在成像画面中增加一颗星星。
当观众借助其他工具来发出该元素操作指令时，例如，观众通过弹奏电子琴来增加元素，可以预先根据琴声的音调，预先为每个音调设置不同的操作指令，比如，C调对应的操作指令是“增加一只兔子”，D调对应的操作指令是“增加一颗星星”，F调对应的操作指令是“增加一朵花”等等，可以根据成像画面的内容所要表达的主题，预先设置多个与该主题匹配的元素，并为每个元素设置对应的音调，从而当智能终端接收到观众弹奏出某一音调时，就能在成像画面上增加该音调对应的元素。
通过声音来增加元素，特别是通过儿童常常玩耍的电子琴等乐器来控制成像画面中元素的增加，不仅增加了观众互动的乐趣，而且能够给儿童营造出一种伴音动画的场面，可用于儿童的益智和早教。
在一些实施例中，操作指令为元素删除操作指令，元素删除操作指令用于指示对成像画面上的元素进行控制，则，如图4所示，根据操作指令对成像画面进行调整并投射出调整后的成像画面包括：
步骤10321、基于语音采集及语音识别的结果，选中该结果对应的元素；
步骤10322、删除元素，并同时投射删除该元素后的成像画面。
在本实施例中，当成像画面中投射出至少一个元素时，观众可以对观看到的某一个元素或某几个元素进行删除操作，观众可以通过发出的语音控制智能终端执行元素删除操作指令，也可以通过其他工具(比如乐器等)控制智能终端执行元素操作指令。
在删除元素之前，需要先选中元素，智能终端通过识别人发出的语音，来选中元素。在一些实施例中，智能终端可以通过图像采集设备识别出观众指出元素时手指的位置，来选中该元素。
通过声音控制成像画面中元素的删除，同样能够增加观众的互动乐趣。
在一些实施例中，操作指令为元素跳舞操作指令，元素跳舞操作指令用于指示对成像画面上的元素进行控制，则，如图5所示，根据操作指令对成像画面进行调整并投射出调整后的成像画面包括：
步骤10331、基于语音采集及语音识别的结果，选中结果对应的元素，并且对选中的元素进行渲染；
步骤10332、控制渲染后的元素根据预设的轨迹移动，并同时投射根据预设的轨迹进行移动的元素。
在本实施例中，分析观众发出的语音，得出语音识别的结果，选中该语音识别结果所对应的元素，并同时对该元素进行渲染，例如，在选中的小兔子周围增加光圈，或者让选中的小兔子进行呼吸闪动，或者让选中的小兔子的颜色变得更亮等。通过这种渲染，以突出选中的元素。
选中某一元素或某几个元素之后，根据元素跳舞操作指令，让选中的元素根据预设的轨迹进行移动，从而实现元素在成像画面上的跳舞画面。其中，该元素跳舞操作指令，为观众发出的语音指令或者观众借助其他物体发出的声音指令等。需要说明的是，语音指令或声音指令对应的元素跳舞操作指令都是预先设置好的操作指令，只要语音指令或声音指令所识别出的结果与预存的元素跳舞操作指令匹配，即根据匹配结果执行对应的跳舞命令。其中，该声音指令可以是一首歌、一个音符或者拍掌声等。相应地，当需要跳舞的元素停止跳舞时，也可以通过语音指令或声音指令控制其停止跳舞。
其中，根据预设的轨迹控制元素的移动，具体地，可以通过特定算法，预先计算好该元素的移动轨迹，从而根据计算好的移动轨迹进行移动，当有多个元素同时被命令跳舞时，可以整体上规划每个元素的移动轨迹，避免元素移动时发生碰撞等，控制全息元素的移动在相关技术中均有介绍，在此不做限定。
通过声音控制成像画面中的元素跳舞，能够增强互动过程中的乐趣，提升用户体验感。
在一些实施例中，操作指令为元素发声操作指令，元素发声操作指令用于指示对成像画面上的元素进行控制，则，如图6所示，根据操作指令对成像画面进行调整并投射出调整后的成像画面包括：
步骤10341、基于语音采集及语音识别的结果，选中结果对应的元素，并且对选中的元素进行渲染；
步骤10342、控制渲染后的元素根据预设的声音发声，并同时投射根据预设的声音进行发声的元素。
在本实施例中，观众可以选中某一元素或某几个元素，接收到元素发声操作指令后，识别该元素发声操作指令，根据识别出的结果发出该指令对应的声音，例如，观众通过弹奏电子琴，连续弹奏出C调和D调，表示选中的元素需要发出狗叫的声音；连续弹奏三个D调，表示选中的元素唱预设的歌曲；连续弹奏C调、D调及E调，表示所有的元素一起唱预设的歌曲，等。识别出的元素发声操作指令的结果对应不同的发声方式，每一方式均可以预先设置好，此外，根据元素将要发出的声音，还可以为元素设置相应的口型动作，从而在成像画面上，元素发出声音时，为观众呈现出更加逼真的发声场面。
选中并渲染后的元素，除了可以根据声音的控制发出预设的声音之外，还可以根据人发出的语音，模仿人说的话，并同时投射出该模仿人说话的元素。例如，选中一只小猫后，观众说“你好”，选中的小猫可以结合猫的声音发出“你好”，以模仿人说话，在这个过程中，可以对选中的元素将要发出的声音进行变声等处理，以增强声音互动过程中的乐趣。
通过声音控制成像画面中的元素发声，能够增强互动过程中的乐趣，提升用户体验感。
请参照图7，图7是本发明另一实施例提供的一种增强现实的全息投影交互方法的流程示意图，该方法与图2的主要区别在于，该方法还包括：
步骤104、对调整后的成像画面进行录制，并且分享录制的成像画面。
在本实施例中，观众不仅可以根据发出的指令对观看到的全息画面中的元素进行控制，而且还可以对改变的全息画面进行视频录制，录制好的全息视频可分享至朋友圈等，由此，不仅可以增强观众的观看乐趣，而且可以调动观众发挥出创作才能的积极性。
其中，由执行本方法的智能终端对调整后的成像画面进行录制，即在对成像画面中的元素开始进行调整时，启动视频录制功能，一边调整一边进行全息视频录制。其中，启动视频录制功能的时机可以是在智能终端系统接收到预设指令后自动开始录制，也可以是智能终端接收到观众输入的录制指令后开始进行录制。录制完成全息视频后，观众可以根据自己的意愿将录制的全息视频进行分享。
请参考图8，图8是本发明实施例提供的一种增强现实的全息投影交互装置的结构示意图。如图8所示，该装置30包括：投射模块31、获取模块32以及调整模块33。
其中，投射模块31，用于向全息投影盒的成像膜投射成像画面；获取模块32，用于获取对成像画面进行调整的操作指令；该操作指令用于指示在成像画面上增加元素以及对成像画面上的元素进行控制；调整模块33，用于根据操作指令对成像画面进行调整并投射出调整后的成像画面。
值得说明的是，上述装置内的模块之间的信息交互、执行过程等内容，由于与本发明的方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本发明实施例提供了一种全息投影交互装置，在向全息投影盒的成像膜投射出成像画面后，通过获取对该成像画面进行调整的操作指令，来调整该成像画面，具体是调整该成像画面中的元素，并同时展示调整后的成像画面。该技术方案使观众能够与观看到的成像画面进行互动，增加了观众在观看全息成像画面时的乐趣。
请参考图9，图9是本发明另一实施例提供的一种增强现实的全息投影交互装置的结构示意图。如图9所示，该装置40包括：投射模块41、获取模块42、调整模块43以及分享模块44。
其中，投射模块41，用于向全息投影盒的成像膜投射成像画面；获取模块42，用于获取对成像画面进行调整的操作指令；操作指令用于指示在成像画面上增加元素以及对成像画面上的元素进行控制；调整模块43，用于根据操作指令对成像画面进行调整并投射出调整后的成像画面；分享模块44，用于对调整后的成像画面进行录制，并且分享录制的成像画面。
其中，获取模块42具体用于：成像画面进行调整的操作指令是通过语音采集及语音识别得到的。
其中，当操作指令为元素增加操作指令，并且元素增加操作指令用于指示在成像画面上增加元素，调整模块43包括：增加单元431和第一投射单元432。增加单元431，用于基于语音采集及语音识别的结果，分析操作指令，以获取增加的元素；第一投射单元432，用于在成像画面投射出获取到的增加的元素。
其中，当操作指令为元素删除操作指令，元素删除操作指令用于指示对成像画面上的元素进行控制，调整模块43包括：第一选中单元433和第二投射单元434。第一选中单元433，用于基于语音采集及语音识别的结果，选中结果对应的元素；第二投射单元434，用于删除元素，并同时投射删除该元素后的成像画面。
其中，当操作指令为元素跳舞操作指令，元素跳舞操作指令用于指示对成像画面上的元素进行控制，调整模块43包括：第二选中单元435和第三投射单元436。第二选中单元435，用于基于语音采集及语音识别的结果，选中该结果对应的元素，并且对选中的元素进行渲染；第三投射单元436，用于控制渲染后的元素根据预设的轨迹移动，并同时投射根据预设的轨迹进行移动的元素。
其中，当操作指令为元素发声操作指令，元素发声操作指令用于指示对成像画面上的元素进行控制，调整模块43包括：第三选中单元437、第四投射单元438以及第五投射单元439。第三选中单元437，用于基于语音采集及语音识别的结果，选中该结果对应的元素，并且对选中的元素进行渲染；第四投射单元438，用于控制渲染后的元素根据预设的声音发声，并同时投射根据预设的声音进行发声的元素；第五投射单元439，用于控制渲染后的元素根据采集的语音进行发声，并同时投射根据采集的语音进行发声的元素。
值得说明的是，上述装置内的模块、单元之间的信息交互、执行过程等内容，由于与本发明的方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本发明实施例提供了一种增强现实的全息投影交互装置，在向全息投影盒的成像膜投射出成像画面后，通过获取对该成像画面进行调整的操作指令，来调整该成像画面，所进行的调整包括，在成像画面中增加或删除元素，控制成像画面中的元素跳舞以及发出声音等。此外在对成像画面中的元素进行调整时还可以进行视频录制，并分析录制的全息视频。该技术方案，提升了观众在观看全息成像画面时与成像画面的互动乐趣，并且通过视频录制和分享机制能够调动观众的积极性，有利于儿童智力的发展。
通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (18)
1.一种增强现实的全息投影交互方法，其特征在于，包括：
向全息投影盒的成像膜投射成像画面；
获取对所述成像画面进行调整的操作指令；所述操作指令用于指示在所述成像画面上增加元素以及对所述成像画面上的元素进行控制；
根据所述操作指令对所述成像画面进行调整并投射出调整后的成像画面。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述调整后的成像画面进行录制，并且分享录制的所述成像画面。
3.根据权利要求1或2所述的方法，其特征在于，所述获取对所述成像画面进行调整的操作指令具体包括：所述成像画面进行调整的操作指令是通过语音采集及语音识别得到的。
4.根据权利要求3所述的方法，其特征在于，所述操作指令为元素增加操作指令，并且所述元素增加操作指令用于指示在所述成像画面上增加元素，并且，
所述根据所述操作指令对所述成像画面进行调整并投射出调整后的成像画面包括：
基于语音采集及语音识别的结果，分析所述操作指令，以获取增加的元素；
在所述成像画面投射出获取到的所述增加的元素。
5.根据权利要求3所述的方法，其特征在于，所述操作指令为元素删除操作指令，所述元素删除操作指令用于指示对所述成像画面上的元素进行控制，
所述根据所述操作指令对所述成像画面进行调整并投射出调整后的成像画面包括：
基于语音采集及语音识别的结果，选中所述结果对应的元素；
删除所述元素，并同时投射删除所述元素后的成像画面。
6.根据权利要求3所述的方法，其特征在于，所述操作指令为元素跳舞操作指令，所述元素跳舞操作指令用于指示对所述成像画面上的元素进行控制，
所述根据所述操作指令对所述成像画面进行调整并投射出调整后的成像画面包括：
基于语音采集及语音识别的结果，选中所述结果对应的元素，并且对选中的所述元素进行渲染；
控制渲染后的所述元素根据预设的轨迹移动，并同时投射根据所述预设的轨迹进行移动的所述元素。
7.根据权利要求3所述的方法，其特征在于，所述操作指令为元素发声操作指令，所述元素发声操作指令用于指示对所述成像画面上的元素进行控制，
所述根据所述操作指令对所述成像画面进行调整并投射出调整后的成像画面包括：
基于语音采集及语音识别的结果，选中所述结果对应的元素，并且对选中的所述元素进行渲染；
控制渲染后的所述元素根据预设的声音发声，并同时投射根据所述预设的声音进行发声的所述元素。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
控制渲染后的所述元素根据采集的语音进行发声，并同时投射根据所述采集的语音进行发声的所述元素。
9.一种增强现实的全息投影交互装置，其特征在于，包括：
投射模块，用于向全息投影盒的成像膜投射成像画面；
获取模块，用于获取对所述成像画面进行调整的操作指令；所述操作指令用于指示在所述成像画面上增加元素以及对所述成像画面上的元素进行控制；
调整模块，用于根据所述操作指令对所述成像画面进行调整并投射出调整后的成像画面。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
分享模块，用于对所述调整后的成像画面进行录制，并且分享录制的所述成像画面。
11.根据权利要求9或10所述的装置，其特征在于，所述获取模块具体用于：所述成像画面进行调整的操作指令是通过语音采集及语音识别得到的。
12.根据权利要求11所述的装置，其特征在于，所述操作指令为元素增加操作指令，并且所述元素增加操作指令用于指示在所述成像画面上增加元素，
所述调整模块包括：
增加单元，用于基于语音采集及语音识别的结果，分析所述操作指令，以获取增加的元素；
第一投射单元，用于在所述成像画面投射出获取到的所述增加的元素。
13.根据权利要求11所述的装置，其特征在于，所述操作指令为元素删除操作指令，所述元素删除操作指令用于指示对所述成像画面上的元素进行控制，
所述调整模块包括：
第一选中单元，用于基于语音采集及语音识别的结果，选中所述结果对应的元素；
第二投射单元，用于删除所述元素，并同时投射删除所述元素后的成像画面。
14.根据权利要求11所述的装置，其特征在于，所述操作指令为元素跳舞操作指令，所述元素跳舞操作指令用于指示对所述成像画面上的元素进行控制，
所述调整模块包括：
第二选中单元，用于基于语音采集及语音识别的结果，选中所述结果对应的元素，并且对选中的所述元素进行渲染；
第三投射单元，用于控制渲染后的所述元素根据预设的轨迹移动，并同时投射根据所述预设的轨迹进行移动的所述元素。
15.根据权利要求11所述的装置，其特征在于，所述操作指令为元素发声操作指令，所述元素发声操作指令用于指示对所述成像画面上的元素进行控制，
所述调整模块包括：
第三选中单元，用于基于语音采集及语音识别的结果，选中所述结果对应的元素，并且对选中的所述元素进行渲染；
第四投射单元，用于控制渲染后的所述元素根据预设的声音发声，并同时投射根据所述预设的声音进行发声的所述元素。
16.根据权利要求15所述的装置，其特征在于，所述调整模块还包括：
第五投射单元，用于控制渲染后的所述元素根据采集的语音进行发声，并同时投射根据所述采集的语音进行发声的所述元素。
17.一种增强现实的全息投影交互系统，其特征在于，包括：全息投影盒和智能终端，所述全息投影盒包括盒体、设置于盒体内的成像膜，所述全息投影盒的一侧设置用于观看成像画面的敞开口；
所述智能终端设置在所述全息投影盒的盒体上，用于向所述成像膜投射出成像画面；所述智能终端还用于采集操作指令，并且根据所述操作指令在所述成像画面上增加元素以及对所述成像画面上的元素进行控制。
18.根据权利要求17所述的系统，其特征在于，所述智能终端包括至少一个音频采集装置，其中，所述操作指令是通过所述音频采集装置采集到的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710031947.2A CN106909217A (zh) | 2017-01-17 | 2017-01-17 | 一种增强现实的全息投影交互方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710031947.2A CN106909217A (zh) | 2017-01-17 | 2017-01-17 | 一种增强现实的全息投影交互方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106909217A true CN106909217A (zh) | 2017-06-30 |
Family
ID=59206696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710031947.2A Pending CN106909217A (zh) | 2017-01-17 | 2017-01-17 | 一种增强现实的全息投影交互方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106909217A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107832036A (zh) * | 2017-11-22 | 2018-03-23 | 北京小米移动软件有限公司 | 语音控制方法、装置及计算机可读存储介质 |
| CN108304155A (zh) * | 2018-01-26 | 2018-07-20 | 广州源创网络科技有限公司 | 一种人机交互控制方法 |
| CN109731324A (zh) * | 2018-12-29 | 2019-05-10 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的游戏系统 |
| CN110554593A (zh) * | 2018-05-31 | 2019-12-10 | 京东方科技集团股份有限公司 | 全息光学元件及其制作方法、像重建方法、增强现实眼镜 |
| CN111402430A (zh) * | 2020-03-13 | 2020-07-10 | 杭州趣维科技有限公司 | 一种全息3d交互视频编辑方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106200831A (zh) * | 2016-08-31 | 2016-12-07 | 广州数娱信息科技有限公司 | 一种ar、全息智能装置 |
| CN106227338A (zh) * | 2016-07-19 | 2016-12-14 | 深圳市中数创意文化传媒技术有限公司 | 全息投影盒的非接触交互方法 |
-
2017
- 2017-01-17 CN CN201710031947.2A patent/CN106909217A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106227338A (zh) * | 2016-07-19 | 2016-12-14 | 深圳市中数创意文化传媒技术有限公司 | 全息投影盒的非接触交互方法 |
| CN106200831A (zh) * | 2016-08-31 | 2016-12-07 | 广州数娱信息科技有限公司 | 一种ar、全息智能装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107832036A (zh) * | 2017-11-22 | 2018-03-23 | 北京小米移动软件有限公司 | 语音控制方法、装置及计算机可读存储介质 |
| CN108304155A (zh) * | 2018-01-26 | 2018-07-20 | 广州源创网络科技有限公司 | 一种人机交互控制方法 |
| CN110554593A (zh) * | 2018-05-31 | 2019-12-10 | 京东方科技集团股份有限公司 | 全息光学元件及其制作方法、像重建方法、增强现实眼镜 |
| CN110554593B (zh) * | 2018-05-31 | 2021-01-26 | 京东方科技集团股份有限公司 | 全息光学元件及其制作方法、像重建方法、增强现实眼镜 |
| CN109731324A (zh) * | 2018-12-29 | 2019-05-10 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的游戏系统 |
| CN111402430A (zh) * | 2020-03-13 | 2020-07-10 | 杭州趣维科技有限公司 | 一种全息3d交互视频编辑方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106909217A (zh) | 一种增强现实的全息投影交互方法、装置及系统 | |
| KR101304111B1 (ko) | 댄싱 가라오케 시스템 | |
| US20100201693A1 (en) | System and method for audience participation event with digital avatars | |
| KR102028139B1 (ko) | 증강현실 기반의 영상 표시방법 | |
| KR102186607B1 (ko) | 증강현실을 통한 발레 공연 시스템 및 방법 | |
| CN207460313U (zh) | 混合现实演播室系统 | |
| JP2003533235A (ja) | 仮想演出装置及び方法 | |
| JPH02502788A (ja) | 対話形ビデオシステムにおける改良 | |
| US20210194942A1 (en) | System, platform, device, and method for spatial audio production and virtual reality environment | |
| US20240203058A1 (en) | System and method for performance in a virtual reality environment | |
| CN115631287A (zh) | 一种虚拟舞台人物数字化展现系统 | |
| Michaud | Locating liveness in holographic performances: Technological anxiety and participatory fandom at Vocaloid concerts | |
| Li | Musical instrument performance in augmented virtuality | |
| CN113259778A (zh) | 将虚拟人物用于视频自动生产的方法、系统和存储介质 | |
| CN110213560A (zh) | 一种沉浸式视频播放方法和系统 | |
| CN110647780A (zh) | 一种数据处理方法、系统 | |
| GB2592473A (en) | System, platform, device and method for spatial audio production and virtual rality environment | |
| Helle et al. | Miracle Handbook: Guidelines for Mixed Reality Applications for culture and learning experiences | |
| CN116225234A (zh) | 交互方法和云服务器 | |
| Utterson | Technology and culture, the film reader | |
| US10596452B2 (en) | Toy interactive method and device | |
| GB2535143A (en) | System and method for manipulating audio data in view of corresponding visual data | |
| CN110992450B (zh) | 基于OpenGL的音乐喷泉模拟系统 | |
| Bluff | Interactive art, immersive technology and live performance | |
| Ong | Artificial intelligence in digital visual effects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170630 |
|
| RJ01 | Rejection of invention patent application after publication |