CN117891351A - 一种元宇宙跨屏虚实交互方法及系统 - Google Patents

Abstract

本发明公开了一种元宇宙跨屏虚实交互方法及系统，包括交互信息获取单元和信息识别分析单元，本发明涉及虚拟交互技术领域，解决了交互过程中存在识别误差，进一步的不能导致用户顺利交互，造成用户交互体验感下降的技术问题，本发明通过通过对交互内容进行获取，并将交互内容进行手动输入和语音录入的分类，针对不同的交互内容进行不同的分析，且通过对交互内容进行识别来判断识别结果是否正确，进一步的根据识别结果来进行交互处理，且在交互的过程中通过对不同用户来进行分类，通过使用模型来对用户交互行为进行分析，减小识别过程中的误差，提高整体的准确性，从而来提高用户的体验感。

Description

一种元宇宙跨屏虚实交互方法及系统

技术领域

本发明涉及虚拟交互技术领域，具体为一种元宇宙跨屏虚实交互方法及系统。

背景技术

元宇宙，是人类运用数字技术构建的，由现实世界映射或超越现实世界，可与现实世界交互的虚拟世界，具备新型社会体系的数字生活空间。

根据申请号为CN202310049867.5的专利显示，该专利包括：控制面板，是系统的主控端，用于发出执行命令；采集模块，用于实时采集系统周边音频、视频数据；AI构建模块，用于构建虚拟人工模型配置于控制面板；分析模块，用于接收采集模块实时采集IDE系统周边音频、视频数据，对音频、视频数据中存在的语音文字进行提取。

上述专利使用户以便捷低成本的体验元宇宙，并通过系统端用户的手动编辑通内容制作可使系统成为拟真体验任何事物的物理空间。但是部分现有的虚拟交互系统在使用的时候，由于交互过程中存在识别误差，进一步的不能导致用户顺利交互，造成用户交互体验感下降。

发明内容

针对现有技术的不足，本发明提供了一种元宇宙跨屏虚实交互方法及系统，解决了交互过程中存在识别误差，进一步的不能导致用户顺利交互，造成用户交互体验感下降的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种元宇宙跨屏虚实交互系统，包括：

交互信息获取单元、信息识别分析单元、信息交互分析单元、数据存储单元、二次分析单元和交互输出单元。

交互信息获取单元，用于获取到交互用户与屏幕的交互信息，其中交互信息包括：手动输入信息和语音交互信息，同时将获取到的交互信息传输到信息识别分析单元。

信息识别分析单元，用于获取到传输的交互信息，同时对交互信息进行判断，并针对不同形式的交互信息进行分析。

当获取到的交互信息类型为手动输入信息时，具体的分析方式如下：

获取到手动输入信息并对其进行识别分析，得到识别结果，并将识别结果展示给交互用户，同时根据交互用户的反馈信息来对识别进行正确性判断，并生成正确信号或错误信号，接着分别对正确信号和错误信号进行分析。

对正确信号进行分析的具体方式为：

系统获取到正确信号对应的识别结果，同时会将识别结果与存储库中对应的显示结果进行匹配，在匹配的过程中会出现两种情况，一种是存在匹配的情况，另一种是不存在匹配的情况；

针对存在匹配的情况，系统会将存储库中与识别结果对应的展示内容进行整合，并生成对应的展示信息，同时将展示信息传输到交互输出单元。具体的，系统会自动的来根据识别结果在存储库中进行相似度匹配，从而来筛选得到对应的展示内容。

针对不存在匹配的情况，系统会生成不存在匹配信号，同时将其传输到二次分析单元。

对错误信号进行分析的具体方式为：

系统接收到生成的错误信号，并将对应的识别结果显示给交互用户，接着系统会提示交互用户是否需要对手动输入信息进行修改，如果需要则重新获取手动输入信息，如果不需要则直接生成错误信号，同时将错误信号传输到交互输出单元，如果需要则生成重新输入信号。具体的针对重新获取到的手动输入信息则再次进行识别分析，具体的识别操作步骤与上述分析相同。

二次分析单元，用于获取到传输的不存在匹配信号同时对其进行分析，通过对识别结果进行拆分处理，从而进行后续的二次识别分析，具体的二次识别分析方式如下：

获取到识别结果，同时获取到交互用户，并对交互用户进行识别分析，接着系统会根据是否存在交互记录来对交互用户进行记录用户和新用户的分类，且针对二者进行不同方式的识别结果拆分。

针对记录用户，系统会获取到对应的交互记录，并根据智能分析模型生成记录用户的拆分规律，同时根据拆分规律来对识别记过进行拆分得到拆分结果，接着将拆分结果与存储库进行匹配查询，最终将查询匹配结果进行展示，并生成展示信息，同时将展示信息传输到交互输出单元。具体的，将存储库与拆分结果进行匹配的时候，匹配的方式还是通过进行相似度匹配，且同理生成存在匹配信号和不存在匹配信号，且此处默认生成存在匹配信号，然后再将匹配结果进行展示。

针对新用户，系统获取到对应的识别结果，并根据常用词语组合形式来对识别结果进行拆分得到拆分结果，最后在将拆分结果与存储库进行匹配得到展示信息，并将展示信息传输到交互输出单元。

信息识别分析单元，用于获取到传输的语音交互信息并对其进行识别得到识别文本信息，接着对识别文本信息进行正确性判断，并生成对应的正确信号或错误信号，同时对生成的信号进行分析，且对生成信号的具体分析方式为：

系统根据获取到的语音交互信息来对语音进行识别分析，具体的识别分析方式通过对语音和文本的互相转换来得到识别文本信息，并最终得到识别文本信息，接着对识别文本信息的正确性进行判断，具体的判断方式为将识别文本信息显示给交互用户，通过交互用户来进行判断，同时生成正确信号和错误信号，接着将生成的正确信号和错误信号传输到信息交互分析单元。

信息交互分析单元，用于获取到传输的正确信号和错误信号，同时将错误信号传输到二次分析单元，接着对正确信号进行分析，获取到正确信号对应的识别文本信息，并将其与存储库进行匹配，同时生成存在匹配信号和不存在匹配信号，针对生成的存在匹配信号则将对应的匹配结果进行整合，得到展示信息，接着将展示信息传输到交互输出单元，针对生成的不存在匹配信号则传输到二次分析单元。

二次分析单元，用于获取到传输的错误信号和不存在匹配信号并分别对二者进行分析。

对错误信号的分析为：获取到识别文本信息并显示给交互用户，根据交互用户的反馈内容来进行后续的操作，且交互用户的反馈内容包括：重新录入信息和对识别文本信息进行手动修改，当获取到的反馈内容为重新录入信息时，系统会自动对重新录入信息进行语音降噪处理，且具体的方式为通过训练模型来进行处理，最终再经过识别得到二次识别文本信息，再将二次识别文本信息与存储库进行匹配，从而生成对应的存在匹配信号或不存在匹配信号，针对生成的存在匹配信号将对应的匹配结果进行整合并生成展示信息，同时将展示信息传输到交互输出单元，针对生成的不存在匹配信息，则对其进行拆分处理，并对其进行识别，最终将生成的展示信息传输到交互输出单元，此处同理会生成不存在匹配信号，在此不做过多的赘述。

对正确信号的分析为：系统会将正确信号对应的识别文本信息与存储库进行匹配，并生成存在匹配信号和不存在匹配信号，同理错误信号中对二者的分析方式，经过系统的处理最终生成展示信息和不存在匹配信号，并将二者传输到交互输出单元。

交互输出单元，用于获取到传输的展示信息和不存在匹配信号，并将其通过显示设备显示给对应的交互用户。

有益效果

本发明提供了一种元宇宙跨屏虚实交互方法及系统。与现有技术相比具备以下有益效果：

本发明通过对交互内容进行获取，并将交互内容进行手动输入和语音录入的分类，针对不同的交互内容进行不同的分析，且通过对交互内容进行识别来判断识别结果是否正确，进一步的根据识别结果来进行交互处理，且在交互的过程中通过对不同用户来进行分类，通过使用模型来对用户交互行为进行分析，减小识别过程中的误差，提高整体的准确性，从而来提高用户的体验感。

附图说明

图1为本发明系统原理图；

图2为本发明方法图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本申请提供了一种元宇宙跨屏虚实交互系统，包括：交互信息获取单元、信息识别分析单元、信息交互分析单元、数据存储单元、二次分析单元和交互输出单元。

实施例一

交互信息获取单元，用于获取到交互用户与屏幕的交互信息，其中交互信息包括：手动输入信息和语音交互信息，同时将获取到的交互信息传输到信息识别分析单元。

信息识别分析单元，用于获取到传输的交互信息，同时对交互信息进行判断，并针对不同形式的交互信息进行分析。

当获取到的交互信息类型为手动输入信息时，具体的分析方式如下：

获取到手动输入信息并对其进行识别分析，得到识别结果，并将识别结果展示给交互用户，同时根据交互用户的反馈信息来对识别进行正确性判断，并生成正确信号或错误信号，接着分别对正确信号和错误信号进行分析。

具体的，系统在接收到交互用户输入的文本信息的时候，会将文本信息通过显示屏显示给对应的交互用户，然后通过交互用户来对输入的文本信息进行确认，交互用户输入的文本信息可能会存在错误的情况，根据用户的反馈来生成对应的信号。

对正确信号进行分析的具体方式为：

系统获取到正确信号对应的识别结果，同时会将识别结果与存储库中对应的显示结果进行匹配，在匹配的过程中会出现两种情况，一种是存在匹配的情况，另一种是不存在匹配的情况；

针对存在匹配的情况，系统会将存储库中与识别结果对应的展示内容进行整合，并生成对应的展示信息，同时将展示信息传输到交互输出单元。具体的，系统会自动的来根据识别结果在存储库中进行相似度匹配，从而来筛选得到对应的展示内容。

针对不存在匹配的情况，系统会生成不存在匹配信号，同时将其传输到二次分析单元。

对错误信号进行分析的具体方式为：

系统接收到生成的错误信号，并将对应的识别结果显示给交互用户，接着系统会提示交互用户是否需要对手动输入信息进行修改，如果需要则重新获取手动输入信息，如果不需要则直接生成错误信号，同时将错误信号传输到交互输出单元，如果需要则生成重新输入信号。具体的针对重新获取到的手动输入信息则再次进行识别分析，具体的识别操作步骤与上述分析相同。

二次分析单元，用于获取到传输的不存在匹配信号同时对其进行分析，通过对识别结果进行拆分处理，从而进行后续的二次识别分析，具体的二次识别分析方式如下：

获取到识别结果，同时获取到交互用户，并对交互用户进行识别分析，接着系统会根据是否存在交互记录来对交互用户进行记录用户和新用户的分类，且针对二者进行不同方式的识别结果拆分。

针对记录用户，系统会获取到对应的交互记录，并根据智能分析模型生成记录用户的拆分规律，同时根据拆分规律来对识别记过进行拆分得到拆分结果，接着将拆分结果与存储库进行匹配查询，最终将查询匹配结果进行展示，并生成展示信息，同时将展示信息传输到交互输出单元。具体的，将存储库与拆分结果进行匹配的时候，匹配的方式还是通过进行相似度匹配，且同理生成存在匹配信号和不存在匹配信号，且此处默认生成存在匹配信号，然后再将匹配结果进行展示。

针对新用户，系统获取到对应的识别结果，并根据常用词语组合形式来对识别结果进行拆分得到拆分结果，最后在将拆分结果与存储库进行匹配得到展示信息，并将展示信息传输到交互输出单元。

结合实际分析，常用词语组合拆分表示为，比如“手机断网怎么回事”，针对上述的识别结果，常用词语拆分得到的结果则表示“手机”、“断网”和“怎么回事”，针对拆分得到的词语来作为关键词，再根据关键词来与存储库进行匹配分析。

交互输出单元，用于获取到传输的展示信息和错误信号，并将其通过显示设备显示给对应的交互用户。

实施例二

作为本发明的实施例二，与实施例一的区别之处在于，交互信息获取单元将获取到的语音交互信息传输到信息识别分析单元，并对其分析。

信息识别分析单元，用于获取到传输的语音交互信息并对其进行识别得到识别文本信息，接着对识别文本信息进行正确性判断，并生成对应的正确信号或错误信号，同时对生成的信号进行分析，且对生成信号的具体分析方式为：

系统根据获取到的语音交互信息来对语音进行识别分析，具体的识别分析方式通过对语音和文本的互相转换来得到识别文本信息，并最终得到识别文本信息，接着对识别文本信息的正确性进行判断，具体的判断方式为将识别文本信息显示给交互用户，通过交互用户来进行判断，同时生成正确信号和错误信号，接着将生成的正确信号和错误信号传输到信息交互分析单元。

信息交互分析单元，用于获取到传输的正确信号和错误信号，同时将错误信号传输到二次分析单元，接着对正确信号进行分析，获取到正确信号对应的识别文本信息，并将其与存储库进行匹配，同时生成存在匹配信号和不存在匹配信号，针对生成的存在匹配信号则将对应的匹配结果进行整合，得到展示信息，接着将展示信息传输到交互输出单元，针对生成的不存在匹配信号则传输到二次分析单元。

二次分析单元，用于获取到传输的错误信号和不存在匹配信号并分别对二者进行分析。

对错误信号的分析为：获取到识别文本信息并显示给交互用户，根据交互用户的反馈内容来进行后续的操作，且交互用户的反馈内容包括：重新录入信息和对识别文本信息进行手动修改，当获取到的反馈内容为重新录入信息时，系统会自动对重新录入信息进行语音降噪处理，且具体的方式为通过训练模型来进行处理，最终再经过识别得到二次识别文本信息，再将二次识别文本信息与存储库进行匹配，从而生成对应的存在匹配信号或不存在匹配信号，针对生成的存在匹配信号将对应的匹配结果进行整合并生成展示信息，同时将展示信息传输到交互输出单元，针对生成的不存在匹配信息，则对其进行拆分处理，并对其进行识别，最终将生成的展示信息传输到交互输出单元，此处同理会生成不存在匹配信号，在此不做过多的赘述。

对正确信号的分析为：系统会将正确信号对应的识别文本信息与存储库进行匹配，并生成存在匹配信号和不存在匹配信号，同理错误信号中对二者的分析方式，经过系统的处理最终生成展示信息和不存在匹配信号，并将二者传输到交互输出单元。

交互输出单元，用于获取到传输的展示信息和不存在匹配信号，并将其通过显示设备显示给对应的交互用户。

实施例三，作为本发明的实施例三，重点在于将实施例一和实施例二的实施过程结合实施。

请参阅图2，一种元宇宙跨屏虚实交互方法，该方法具体包括以下步骤：

步骤一：获取到交互用户的交互信息，并将交互信息分类为手动输入信息和语音交互信息；

步骤二：针对手动输入信息进行识别得到识别结果，同时结合交互用户的反馈信息得到正确信号或错误信号；

步骤三：对正确信号和错误信号分别进行分析，通过与存储库进行匹配生成展现信息、错误信号和不存在匹配信号；

步骤四：对不存在匹配信号进行拆分识别将得到的拆分结果与存储库进行匹配得到展示信息；

步骤五：针对语音输入信息进行识别得到识别文本信息，并根据交互用户的反馈信息进行不同方式的识别，最终得到展示信息和不存在匹配信号。

同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (9)

1.一种元宇宙跨屏虚实交互系统，其特征在于，包括：

交互信息获取单元，用于获取到交互用户的手动输入信息或语音交互信息，并将二者传输到信息识别分析单元；

信息识别分析单元，用于获取到传输的手动输入信息和语音交互信息，对手动输入信息进行识别得到识别结果，对语音交互信息进行识别得到识别文本信息，同时根据交互用户反馈信息对二者进行正确性判断，得到判断结果，接着将判断结果与存储库进行匹配得到展示信息、不存在匹配信号和错误信号，并将不存在匹配信号传输到二次分析单元；

二次分析单元，用于获取到传输的不存在匹配信号并对识别结果或识别文本信息进行拆分处理，再与存储库进行匹配得到展示信息和错误信号。

2.根据权利要求1所述的一种元宇宙跨屏虚实交互系统，其特征在于，所述信息识别分析单元对手动输入信息和语音交互信息的识别方式为：

获取到手动输入信息并进行识别得到识别结果，获取到语音交互信息并进行识别得到识别文本信息，并根据反馈信息对识别结果和识别文本信息进行正确性判断生成正确信号或错误信号。

3.根据权利要求1所述的一种元宇宙跨屏虚实交互系统，其特征在于，所述信息识别分析单元对正确信号对应的识别结果进行分析的具体方式为：

获取到识别结果并与存储库进行匹配生成存在匹配信号或不存在匹配信号，针对存在匹配信号，存储库会将与识别结果对应的展示内容进行整合生成展示信息，同时将展示信息传输到交互输出单元；

针对不匹配信号会直接传输到二次分析单元。

4.根据权利要求1所述的一种元宇宙跨屏虚实交互系统，其特征在于，所述信息识别分析单元对错误信号对应的识别结果进行分析的具体方式如下：

将错误信号显示给交互用户同时获取到交互用户的反馈需求，且反馈需求包括：重新录入或手动修改，根据反馈需求生成错误信号或重新输入信号。

5.根据权利要求1所述的一种元宇宙跨屏虚实交互系统，其特征在于，所述信息识别分析单元正确信号对应的识别文本信息进行分析的具体方式为：

获取到正确信号对应的识别文本信息，并将其与存储库进行匹配，同时生成存在匹配信号和不存在匹配信号，并将不存在匹配信号传输到二次分析单元，针对存在匹配信号则将与存储库匹配得到的结果进行整合得到展现信息，并将展示信息传输到交互输出单元。

6.根据权利要求1所述的一种元宇宙跨屏虚实交互系统，其特征在于，所述二次分析单元对识别结果对应的不存在匹配信号进行拆分识别的具体方式为：

A1：获取到识别结果，同时获取到交互用户并根据历史交互记录将交互用户进行记录用户和新用户的分类，针对新用户根据常用词语组合方式来对识别结果进行拆分得到拆分结果，并与存储库进行匹配得到展示信息；

A2：针对记录用户，根据智能分析模型生成记录用户的拆分规律，并根据拆分规律来对识别结果进行拆分得到拆分结果，接着将拆分结果与存储库进行匹配得到展示信息。

7.根据权利要求1所述的一种元宇宙跨屏虚实交互系统，其特征在于，所述二次分析单元对识别文本信息对应的错误信号进行分析的具体方式为：

获取到识别文本信息和交互用户的反馈内容，当交互用户的反馈内容为重新录入时，获取到重新录入信息并通过训练模型对重新录入信息进行识别得到二次识别信息，接着将二次识别信息与存储库进行匹配生成展示信息或不存在匹配信号。

8.根据权利要求1所述的一种元宇宙跨屏虚实交互系统，其特征在于，所述二次分析单元对识别文本信息对应的正确信号进行分析的具体方式为：

将正确信号对应的识别文本信息与存储库进行匹配，并生成存在展示信息和不存在匹配信号，同时将二者传输到交互输出单元。

9.执行根据权利要求1-8任一项所述的一种元宇宙跨屏虚实交互系统的交互方法，其特征在于，该方法具体包括以下步骤：

步骤一：获取到交互用户的交互信息，并将交互信息分类为手动输入信息和语音交互信息；

步骤二：针对手动输入信息进行识别得到识别结果，同时结合交互用户的反馈信息得到正确信号或错误信号；

步骤三：对正确信号和错误信号分别进行分析，通过与存储库进行匹配生成展现信息、错误信号和不存在匹配信号；

步骤四：对不存在匹配信号进行拆分识别将得到的拆分结果与存储库进行匹配得到展示信息；

步骤五：针对语音输入信息进行识别得到识别文本信息，并根据交互用户的反馈信息进行不同方式的识别，最终得到展示信息和不存在匹配信号。