CN104777911B - 一种基于全息技术的智能交互方法 - Google Patents

Abstract

本发明公开了一种基于全息技术的智能交互方法，该方法基于全息投影系统，全息投影系统包括全息投影设备、语音信息采集子系统以及体感信息采集子系统；具体包括：将视频源和3D模型转换为多进程可交互全息影像源；系统绑定命令；全息投影；捕捉用户语音体感命令；数据分析处理；智能交互功能的实现等步骤。本发明解决了全息投影源的可交互性，以及传统视频转换存在的时间延迟问题，提高了智能系统在语音识别和体感交互方面的识别率，降低了系统使用内存，提高了运行速度。

Description

一种基于全息技术的智能交互方法

技术领域

本发明涉及人机交互技术领域，特别是一种全息投影交互方法。

背景技术

全息投影技术可以模拟智慧生命体，以虚拟的方式进行展现，利用其智能性实现与使用者之间的交互，例如：完成导航精灵、解说精灵、甚至教学上作为远程老师投影授课、视频电话通过全息投影实现面对面的效果等。近年来，全息投影技术在我国的各方面各领域呈现出快速增长的态势，如：舞台、珠宝店、展览馆、政府机关、传媒机构等。但目前基于全息投影技术的设备都存在以下不足：1)目前市场上存在的全息投影设备，或是利用触摸屏的方式进行交互，或是利用简单的手势识别体感技术进行交互，用户与全息投影设备之间的交互方式单一，客户体验效果差；2)一般使用投影源视频进行投影，更换投影源不方便。一般拥有全息投影技术的投影柜也只是利用程序控制外部调用不同的投影视频，即关掉现在播放的视频，打开下一个要播放视频，这种调用视频的方式，不仅存在视频转换时间的延迟，而且视频本身不具备参数接收功能，无法对语音识别和体感交互以及智能化系统的参数进行识别。3)缺少智能性，一般仅作为展示、舞台表演等使用，浪费了全息投影成像技术作为次世代显示方式代替传统屏幕的优势。4)传统的全息投影技术不具备语音、体感的智能化融合，且容易受环境干扰，融合识别率低下。

发明内容

本发明需要解决的技术问题是传统全息投影视频源无法满足次世代交互手段的需求、全息投影功能的不足、融合识别率低并受环境干扰大的不足，以提供一种能够提高全息投影功能和智能交互融合识别率并降低环境干扰的全息投影交互方法。

为解决上述技术问题，本发明所采取的技术方案如下。

一种基于全息技术的智能交互方法，该方法基于全息投影系统，全息投影系统包括全息投影设备、语音信息采集子系统以及体感信息采集子系统；该方法具体包括以下步骤：

A.将视频源和3D模型转换为多进程可交互全息影像源；

B.系统绑定命令；

C.全息投影；

D.捕捉用户语音体感命令；

E.数据分析处理；

F.智能交互功能的实现；

G.判断是否结束投影，若不结束，则重复步骤D～F；

H.结束投影。

上述一种基于全息技术的智能交互方法，步骤E的具体操作方法为：通过PMA算法分析收集到的语音命令和体感命令的可信度，若为可信命令，则继续分析该命令所对应的功能参数PMA，并实时反馈给多进程可交互全息影像源；若为不可信命令，则删除。

上述一种基于全息技术的智能交互方法，功能参数PMA的获得方法为：

E1.实时的收集语音识别参数A、体感交互参数B以及全息投影系统的智能转换延迟参数C，

E2.初步处理语音识别参数A、体感交互参数B以及智能转换延迟参数C；

E3.再加工处理语音识别参数A、体感交互参数B以及智能转换延迟参数C；

E4.按照比例进行传递和描述；

E5.获得功能参数PMA：PMA＝axA+byB+zC

其中，x为语音识别系数，y为体感交互系数，z为全息投影系统智能转换延迟系数，a为环境的嘈杂度，b为相应距离内的人数。

上述一种基于全息技术的智能交互方法，步骤F的具体操作方法为：多进程投影源接受到功能参数PMA后，在投影源内部对参数进行解释，实现相应的全息投影。

由于采用了以上技术方案，本发明所取得技术进步如下。

本发明实现了用户与全息投影系统之间的动态命令及智能交流，使用者可以同时依靠语音识别和体感动作来控制全息投影影像，并且投影影像具有智能性，可以识别使用者的声音和动作，与使用者完成交流功能；视频切换采用多进程可交互全息影像源的方法，并融入PMA算法，将语音识别、体感交互、多功能智能系统参数化，由PMA多进程可交互全息影像源接受该参数，并在投影源内部对参数进行解释，解决了传统视频转换存在的时间延迟问题，提高了智能系统在语音识别和体感交互方面的识别率，降低了系统使用内存，提高了运行速度。本发明的应用，可使全息投影设备不再使用高价触摸屏，节约了产品成本。

附图说明

图1为本发明的流程图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供的基于全息技术的智能交互方法，采用语音识别与体感操作的交互方案，将传统的视频投影源程序化，将逼真的3D模型全息化，将接受处理系统参数的过程在投影源的内部进行，实现视频多进程传参功能，实现投影源即程序的设定，让投影源可以从投影源内部接受处理和传递各系统的参数，完成多功能融合的参数传递和智能化的实时交互，提高识别效率。

本发明基于全息技术的智能交互方法，基于全息投影系统，全息投影系统包括全息投影设备、语音信息采集子系统以及体感信息采集子系统；该方法的流程图如图1所示，具体步骤如下。

A.将视频源和3D模型转换为多进程可交互全息影像源。

利用as3.0语言将全息投影源视频程序化功能化，利用unit3D、CryENGINE3等主流虚拟现实引擎，将各种逼真的3D模型制作成全息投影的方式的程序，通过以上两种方法制作出多进程可交互全息影像源，并制定需接受的相应功能参数，实现交互功能。相应功能参数是指对应体感操作的体感交互参数、对应语音命令的语音识别参数以及系统各功能之间转换的参数。

多进程可交互全息影像源即利用程序代替视频方式的投影源，可以多进程的实时接受用户通过传感器传递过来的信息，播放相应动画或运行相应程序，实现实时交互功能。

将视频源转换成多进程可交互全息影像源的具体方法为：利用as3.0将视频程序化，利用flash等as3.0编辑器为视频帧添加脚本，使视频可以实时接受外界参数，并且可以通过解析相应参数实现相应as3.0代码功能，从而实现实时交互功能。

将3D模型转换成多进程可交互全息影像源的具体方法为：利用unity3D，CryENGINE 3等主流虚拟现实引擎，将各种逼真的3D模型制作成全息投影方式的程序，直接达到逼真投影效果。同时可以在unity3D，CryENGINE 3等虚拟现实引擎内部对模型编辑程序以及添加动画，实现实时导入外界模型，并可凭用户喜好更换模型，可以实时接受传感器传递过来的参数，并且做出相应反应。

系统绑定命令：将功能参数在语音识别和体感交互系统中与语音体感识别命令进行绑定。

语音识别是对基于生理学和行为特征的说话者嗓音和语言学模式的运用。人的声音(语音)经麦克风传入电脑的识别软件，软件自动提取人声(字、词的发音)的特征参数，并与电脑里预存并建立的每个字或单词的语音特征参数模型进行匹配，将匹配最接近语音特征的模板作为识别结果。本发明利用语音识别作为全息投影的交互方式增加了交互性和智能性，为全息投影技术的其他领域应用提供了可能。

体感技术作为前沿科技之一，是一项无需借助任何控制设备，可以直接使用肢体动作与数字设备和环境进行互动，并可随心所欲地操控数字设备的智能技术。本发明利用体感技术控制全息投影增加了交互性和智能性，为全息投影提供了次世代解决方法。

语音体感识别命令是由用户为系统动态添加的交互命令。该命令可以是语音命令，也可以是身体姿势，然后由设备(麦克对应语音命令、体感仪器对应身体姿势)接受该命令，进行识别，将命令参数利用pma算法进行分析，得到发生事件的可靠率，可靠率高于标准值，则判定为有效命令，传递给多进程可交互全息影像源，由多进程可交互全息影像源对最终参数进行解释，实现相应功能，完成用户与全息投影设备之间的动态智能交流。

当然也可先由用户动态设置语音体感识别命令，再设置多进程参数，然后进行语音体感识别命令与多进程参数的绑定。

B.全息投影：利用全息投影设备将多进程投影源需要显示的内容投影出来。

D.捕捉用户语音体感命令：用户使用语音命令和体感命令(肢体动作)，系统通过传感器捕捉用户语音命令和体感命令，并传递给电脑。

E.数据分析处理：电脑收集到语音命令和体感命令后，先由系统通过PMA算法进行可信度分析，确定为可信命令，则继续分析其命令所对应的功能参数；若为不可信命令，则由系统删除该命令，并继续等待下一条识别命令。若分析处理得到功能参数，则实时反馈给多进程可交互全息影像源。

为了提高语音体感交互的识别率，需考虑环境对其的影响，比如在一些情况下语音的可靠度高于体感、或者体感的可靠度高于语音，还有识别功能存在延迟性等，因此合理的利用环境因素会提高命令的可信度。

多进程可交互全息影像源的PMA算法，实时的收集语音信息采集子系统传递的语音识别参数A、体感信息采集子系统传递的体感交互参数B以及全息投影系统的智能转换延迟参数C，经过初步处理后，对收集到的参数进行再加工处理，按照一定比例进行传递和描述，输入三个参数得到最终的功能参数PMA。

PMA＝axA+byB+zC 式一

x、y、z是相应系数，该系数分别为语音识别、体感交互和全息投影系统智能转换延迟系数，以上系数受使用者的语音和肢体的标准特征以及使用者目前正在使用的全息投影系统的功能而确定；a、b为环境影响因子，a为环境的嘈杂度，周边环境的声音，b为环境相应距离内的人数。

PMA算法的具体处理过程为：

首先，实时的收集语音信息采集子系统传递的语音识别参数A、体感信息采集子系统传递的体感交互参数B以及全息投影系统的智能转换延迟参数C。

其次，初步处理：根据全息投影系统的使用环境进行赋初值，通过语音识别参数A、体感交互参数B以及智能转换延迟参数C的初值描述全息投影系统当前使用环境的各方面影响。

然后，再加工处理：对语音识别参数A、体感交互参数B以及智能转换延迟参数C的大小进行初步比较，确定哪个影响因子是首要影响因子，哪个影响因子是次要影响因子，使系统了解到当前环境中的首要矛盾以及可靠信息。

再次，按照一定比例进行传递和描述：通过将可靠信息的参数适度扩大，以提升可靠参数对于系统功能的影响，将首要矛盾即不稳定因子的参数缩小相应倍数，以缩小环境对识别结果的影响，获得处理后的三个参数。

最后，将处理后的三个参数带入式一，即可得到最终的功能参数PMA。

F.智能交互功能的实现：多进程投影源接收系统实时反馈的信息，并根据接受的功能参数PMA在投影源内部对参数进行解释，由于投影源内部具有大量的判断选择代码，这些代码可以动态添加，实现对参数的简单智能化处理，当出现相应参数的时候，判断选择代码就会运行，从而实现代码所代表的功能，也即实现相应的全息投影。

G.判断是否结束投影，若不结束，则重复步骤D～F。

H.结束投影。

经测试论证，采用本发明所述的方法与采用传统方法进行全息投影，测试到的各项指标如下表所示。

可见，本发明相对传统全息投影技术，减少了延迟，提高了智能系统在语音识别和体感交互的识别率，同时还降低了系统使用内存，提高了运行速度，满足了智能交互要求，方便了用户使用。本发明的应用，可将全息投影技术应用在智能精灵交流(与系统进行正常语言动作交流)、全息音乐播放舞台、全息文本阅读器等领域，还可应用于全息展示柜(3D教育学习、文物商业产品全息展示)、企业作品展示、概念产品全息现实展示以及次世代操作系统(摆脱传统显示屏方式，利用全息投影技术作为播放源，实现类科幻影片中的交互方式，运行各种程序及功能)等。

本发明中涉及的未说明部分与现有技术采用相同，或者采用现有技术即可加以实现。以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的原则和精神之内所作的任何修改、等同替换和改进等，均就包含在本发明的保护范围之内。

Claims (2)

1.一种基于全息技术的智能交互方法，其特征在于，该方法基于全息投影系统，全息投影系统包括全息投影设备、语音信息采集子系统以及体感信息采集子系统；该方法具体包括以下步骤：

A.将视频源和3D模型转换为多进程可交互全息影像源；

B.系统绑定命令；

C.全息投影；

D.捕捉用户语音体感命令；

E.数据分析处理；通过PMA算法分析收集到的语音命令和体感命令的可信度，若为可信命令，则继续分析该命令所对应的功能参数PMA，并实时反馈给多进程可交互全息影像源；若为不可信命令，则删除；所述功能参数PMA的获得方法为：

E1.实时的收集语音识别参数A、体感交互参数B以及全息投影系统的智能转换延迟参数C，

E2.初步处理语音识别参数A、体感交互参数B以及智能转换延迟参数C；

E3.再加工处理语音识别参数A、体感交互参数B以及智能转换延迟参数C；

E4. 按照比例进行传递和描述；

E5.获得功能参数PMA：PMA=axA+byB+zC

其中，x为语音识别系数，y为体感交互系数，z为全息投影系统智能转换延迟系数，a为环境的嘈杂度，b为相应距离内的人数；

F.智能交互功能的实现；

G.判断是否结束投影，若不结束，则重复步骤D~F；

H.结束投影。

2.根据权利要求1所述的一种基于全息技术的智能交互方法，其特征在于，步骤F的具体操作方法为：多进程投影源接受到功能参数PMA后，在投影源内部对参数进行解释，实现相应的全息投影。