CN113552949A - 多功能的沉浸式影音交互方法、装置和系统 - Google Patents
多功能的沉浸式影音交互方法、装置和系统 Download PDFInfo
- Publication number
- CN113552949A CN113552949A CN202110875672.7A CN202110875672A CN113552949A CN 113552949 A CN113552949 A CN 113552949A CN 202110875672 A CN202110875672 A CN 202110875672A CN 113552949 A CN113552949 A CN 113552949A
- Authority
- CN
- China
- Prior art keywords
- interaction
- gesture
- information
- audio
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 23
- 239000003999 initiator Substances 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000001815 facial effect Effects 0.000 claims abstract description 12
- 230000002452 interceptive effect Effects 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000007654 immersion Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种多功能的沉浸式影音交互方法、装置和系统，影音交互技术领域，其包括建立基于面部信息和手势信息的初始数据识别库；获取当前环境的信息数据，生成初始接收信息；其中，初始接收信息包括面部和手势信息；结合初始数据识别库识别处理初始接收信息，并建立手势发起人、面部信息和手势信息之间的一一对应关系；以及，当手势为某一预设的交互触发手势，则输出移动交互、音频交互和图像交互指令至交互模组。本申请具有提高影音系统的交互性能，改善用户的沉浸体验的效果。
Description
技术领域
本申请涉及影音交互技术领域，尤其是涉及一种多功能的沉浸式影音交互方法、装置和系统。
背景技术
现有影音系统，一般采用人力为主、机器为辅的模式，其由人的主观感受支配机器的影音系统；另外，还有一部分影音系统，其具备简单交互功能，但依赖于人工采集、识别和控制信息，导致使用操作繁琐、工作效率低，造成部分影音运行系统的资源浪费。
现有影音系统是采用半自动化，机器对人工配合要求高，中大型复杂环境适应能力偏弱，易发生无法同步等现象，且这种半自动式运行模式降低场景中人的体验感，因此本申请提出一种新的技术方案。
发明内容
为了提高影音系统的交互性能，改善用户的沉浸体验，本申请提供一种多功能的沉浸式影音交互方法、装置和系统。
第一方面，本申请提供一种多功能的沉浸式影音交互方法，采用如下的技术方案：
一种多功能的沉浸式影音交互方法，包括：
建立基于面部信息和手势信息的初始数据识别库；
获取当前环境的信息数据，生成初始接收信息；其中，初始接收信息包括面部和手势信息；
结合初始数据识别库识别处理初始接收信息，并建立手势发起人、面部信息和手势信息之间的一一对应关系；以及，
当手势为某一预设的交互触发手势，则输出移动交互、音频交互和图像交互指令至交互模组；
其中，所述交互模组包括交互机器人以及与之连接的主场音频和图像系统。
可选的，所述交互机器人至少包括处理单元以及与之连接的通信单元、行走系统、音频采集/播放系统和图像采集/播放系统；
所述移动交互指令包括：靠近手势发起人指导间距为L1；
所述音频交互和图像交互指令包括：展示交互机器人当前采集的音频和图像作为主场音频和图像。
可选的，所述通信单元为无线通信且包括4G/5G/WIFI通信的一种或多种。
第二方面，本申请提供一种多功能的沉浸式影音交互系统，采用如下的技术方案：
一种多功能的沉浸式影音交互系统，包括：
采集单元，其被配置为：用于配合建立基于面部信息和手势信息的初始数据识别库；用于获取当前环境的信息数据，生成初始接收信息；
评价单元，其包括分析单元、确定单元、控制单元和展示单元，且被配置为：用于结合初始数据识别库识别处理初始接收信息，并建立手势发起人、面部信息和手势信息之间的一一对应关系；用于当手势为某一预设的交互触发手势，则输出移动交互、音频交互和图像交互指令至交互模组；
反馈单元，其被配置为：用于连接采集单元和评价单元，基于某一次货多次两单元的运行，将运行过程数据收集、分析，并储存于数据库。
第三方面，本申请提供一种多功能的沉浸式影音交互装置，采用如下的技术方案：
一种多功能的沉浸式影音交互装置，包括处理器和存储器，所述存储器中存储有可被处理器加载并执行实现如上述方法的计算机程序。
综上所述，本申请包括以下至少一种有益技术效果：可利用机器人具备低速无人驾驶功的平台，实现半自动化加载到机器人平台，具有防疫、服务、采集信息、5G数据传输等功能；可基于视觉识别与语音交互实现系统智能化，通过场景的声场与视觉神经网络实现高效识别，提升用户体验实现影音交互系统沉浸式体验。
附图说明
图1是本申请的全周期示意图；
图2是本申请的运行模式示意图；
图3是本申请的系统结构框图。
具体实施方式
以下结合附图1-3对本申请作进一步详细说明。
实施例1
本申请实施例公开一种多功能的沉浸式影音交互方法。
参照图1和图2，多功能的沉浸式影音交互方法包括：
建立基于面部信息和手势信息的初始数据识别库；
获取当前环境的信息数据，生成初始接收信息；其中，初始接收信息包括面部和手势信息；
结合初始数据识别库识别处理初始接收信息，并建立手势发起人、面部信息和手势信息之间的一一对应关系；以及，
当手势为某一预设的交互触发手势，则输出移动交互、音频交互和图像交互指令至交互模组。
上述交互模组包括交互机器人以及与之连接的主场音频和图像系统。
交互机器人至少包括处理单元以及与之连接的通信单元、行走系统、音频采集/播放系统和图像采集/播放系统；其中，行走系统，保证机器人可以执行移动交互指令；音频采集系统和图像采集系统，则可用于获取当前环境的信息数据；为保证信息交互的时效和无延迟交互，交互机器人的通信模块优选的4G/5G/WIFI等高速通信模块的一种或多种。
对应的，移动交互指令包括：靠近手势发起人，具体靠近直至间距为L1,L1为工作人员预设的参数。
音频交互和图像交互指令包括：展示交互机器人当前采集的音频和图像作为主场音频和图像。
以一个学术会议为例：
在会议前，参会者需通过手机等终端上传照片，用于后期视觉识别。
在会议期间，某一参会者可以举手示意(相当于预设的交互触发手势)。当机器人识别参会者的手势特征，配合面部信息，机器人本体将自动移动到参会者的面前，将摄像头(图像采集)面向参会者；此时，布置于会场中的音响和屏幕系统，即上述主场音频和图像系统，显示切换到举手人；另外，当机器人识别有新出现举手人时，再次重复上述内容，自动切换场景。
根据上述内容，本方法可利用机器人具备低速无人驾驶功的平台，实现半自动化加载到机器人平台，具有防疫、服务、采集信息、5G数据传输等功能；可基于视觉识别与语音交互实现系统智能化，通过场景的声场与视觉神经网络实现高效识别，提升用户体验实现影音交互系统沉浸式体验。
实施例2
本申请实施例还公开一种多功能的沉浸式影音交互系统。
参照图3，多功能的沉浸式影音交互系统包括：
采集单元，其被配置为：用于配合建立基于面部信息和手势信息的初始数据识别库；用于获取当前环境的信息数据，生成初始接收信息；
评价单元，其包括分析单元、确定单元、控制单元和展示单元，且被配置为：用于结合初始数据识别库识别处理初始接收信息，并建立手势发起人、面部信息和手势信息之间的一一对应关系；用于当手势为某一预设的交互触发手势，则输出移动交互、音频交互和图像交互指令至交互模组；
反馈单元，其被配置为：用于连接采集单元和评价单元，基于某一次货多次两单元的运行，将运行过程数据收集、分析，并储存于数据库。
实施例3
本申请实施例还公开一种多功能的沉浸式影音交互装置。
多功能的沉浸式影音交互装置，其包括处理器和存储器，其中，存储器中存储有可被处理器加载并执行实现如上述的方法的计算机程序。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。
Claims (5)
1.一种多功能的沉浸式影音交互方法，其特征在于，包括：
建立基于面部信息和手势信息的初始数据识别库；
获取当前环境的信息数据，生成初始接收信息；其中，初始接收信息包括面部和手势信息；
结合初始数据识别库识别处理初始接收信息，并建立手势发起人、面部信息和手势信息之间的一一对应关系；以及，
当手势为某一预设的交互触发手势，则输出移动交互、音频交互和图像交互指令至交互模组；
其中，所述交互模组包括交互机器人以及与之连接的主场音频和图像系统。
2.根据权利要求1所述的多功能的沉浸式影音交互方法，其特征在于：所述交互机器人至少包括处理单元以及与之连接的通信单元、行走系统、音频采集/播放系统和图像采集/播放系统；
所述移动交互指令包括：靠近手势发起人指导间距为L1；
所述音频交互和图像交互指令包括：展示交互机器人当前采集的音频和图像作为主场音频和图像。
3.根据权利要求2所述的多功能的沉浸式影音交互方法，其特征在于：所述通信单元为无线通信且包括4G/5G/WIFI通信的一种或多种。
4.一种多功能的沉浸式影音交互系统，其特征在于：
采集单元，其被配置为：用于配合建立基于面部信息和手势信息的初始数据识别库；用于获取当前环境的信息数据，生成初始接收信息；
评价单元，其包括分析单元、确定单元、控制单元和展示单元，且被配置为：用于结合初始数据识别库识别处理初始接收信息，并建立手势发起人、面部信息和手势信息之间的一一对应关系；用于当手势为某一预设的交互触发手势，则输出移动交互、音频交互和图像交互指令至交互模组；
反馈单元，其被配置为：用于连接采集单元和评价单元，基于某一次货多次两单元的运行，将运行过程数据收集、分析，并储存于数据库。
5.一种多功能的沉浸式影音交互装置，其特征在于：包括处理器和存储器，所述存储器中存储有可被处理器加载并执行实现如权利要求1-3任一所述的方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110875672.7A CN113552949A (zh) | 2021-07-30 | 2021-07-30 | 多功能的沉浸式影音交互方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110875672.7A CN113552949A (zh) | 2021-07-30 | 2021-07-30 | 多功能的沉浸式影音交互方法、装置和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113552949A true CN113552949A (zh) | 2021-10-26 |
Family
ID=78133444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110875672.7A Pending CN113552949A (zh) | 2021-07-30 | 2021-07-30 | 多功能的沉浸式影音交互方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113552949A (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160054805A1 (en) * | 2013-03-29 | 2016-02-25 | Lg Electronics Inc. | Mobile input device and command input method using the same |
| CN105389099A (zh) * | 2014-08-29 | 2016-03-09 | 三星电子株式会社 | 用于语音记录和回放的方法和设备 |
| CN106648079A (zh) * | 2016-12-05 | 2017-05-10 | 华南理工大学 | 一种基于人脸识别与手势交互的电视娱乐系统 |
| US20180154514A1 (en) * | 2005-09-30 | 2018-06-07 | Irobot Corporation | Companion robot for personal interaction |
| CN108536302A (zh) * | 2018-04-17 | 2018-09-14 | 中国矿业大学 | 一种基于人体手势和语音的教学方法及系统 |
| CN109194916A (zh) * | 2018-09-17 | 2019-01-11 | 东莞市丰展电子科技有限公司 | 一种具有图像处理模块的可移动拍摄系统 |
| CN110121048A (zh) * | 2018-02-05 | 2019-08-13 | 青岛海尔多媒体有限公司 | 一种会议一体机的控制方法及控制系统和会议一体机 |
| CN110434853A (zh) * | 2019-08-05 | 2019-11-12 | 北京云迹科技有限公司 | 一种机器人控制方法、装置及存储介质 |
| CN110609619A (zh) * | 2019-08-27 | 2019-12-24 | 格局商学教育科技（深圳）有限公司 | 基于全景沉浸式教学的多屏直播互动系统 |
| CN110611788A (zh) * | 2019-09-26 | 2019-12-24 | 上海赛连信息科技有限公司 | 手势控制视频会议终端的方法和装置 |
| KR20200059112A (ko) * | 2018-11-19 | 2020-05-28 | 한성대학교 산학협력단 | 로봇 상호작용 시스템 및 그를 위한 프로그램 |
| CN212096376U (zh) * | 2020-04-27 | 2020-12-08 | 北京乐动世纪科技有限公司 | 一种多功能智能机器人 |
| WO2021111176A1 (en) * | 2019-12-05 | 2021-06-10 | CHOOBIN, Barry | Educational robot |
-
2021
- 2021-07-30 CN CN202110875672.7A patent/CN113552949A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180154514A1 (en) * | 2005-09-30 | 2018-06-07 | Irobot Corporation | Companion robot for personal interaction |
| US20160054805A1 (en) * | 2013-03-29 | 2016-02-25 | Lg Electronics Inc. | Mobile input device and command input method using the same |
| CN105389099A (zh) * | 2014-08-29 | 2016-03-09 | 三星电子株式会社 | 用于语音记录和回放的方法和设备 |
| CN106648079A (zh) * | 2016-12-05 | 2017-05-10 | 华南理工大学 | 一种基于人脸识别与手势交互的电视娱乐系统 |
| CN110121048A (zh) * | 2018-02-05 | 2019-08-13 | 青岛海尔多媒体有限公司 | 一种会议一体机的控制方法及控制系统和会议一体机 |
| CN108536302A (zh) * | 2018-04-17 | 2018-09-14 | 中国矿业大学 | 一种基于人体手势和语音的教学方法及系统 |
| CN109194916A (zh) * | 2018-09-17 | 2019-01-11 | 东莞市丰展电子科技有限公司 | 一种具有图像处理模块的可移动拍摄系统 |
| KR20200059112A (ko) * | 2018-11-19 | 2020-05-28 | 한성대학교 산학협력단 | 로봇 상호작용 시스템 및 그를 위한 프로그램 |
| CN110434853A (zh) * | 2019-08-05 | 2019-11-12 | 北京云迹科技有限公司 | 一种机器人控制方法、装置及存储介质 |
| CN110609619A (zh) * | 2019-08-27 | 2019-12-24 | 格局商学教育科技（深圳）有限公司 | 基于全景沉浸式教学的多屏直播互动系统 |
| CN110611788A (zh) * | 2019-09-26 | 2019-12-24 | 上海赛连信息科技有限公司 | 手势控制视频会议终端的方法和装置 |
| WO2021111176A1 (en) * | 2019-12-05 | 2021-06-10 | CHOOBIN, Barry | Educational robot |
| CN212096376U (zh) * | 2020-04-27 | 2020-12-08 | 北京乐动世纪科技有限公司 | 一种多功能智能机器人 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111556278B (zh) | 一种视频处理的方法、视频展示的方法、装置及存储介质 | |
| EP3628381A1 (en) | Game picture display method and apparatus, storage medium and electronic device | |
| CN108525305B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN105554430B (zh) | 一种视频通话方法、系统及装置 | |
| CN104780339A (zh) | 一种即时视频中的表情特效动画加载方法和电子设备 | |
| CN105022470A (zh) | 一种基于唇读的终端操作方法及装置 | |
| CN112199016B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN110401810B (zh) | 虚拟画面的处理方法、装置、系统、电子设备及存储介质 | |
| CN110689479B (zh) | 一种人脸上妆方法、装置、设备及介质 | |
| CN109413152B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN210090827U (zh) | 一种轻便化的ar眼镜实现系统 | |
| US20150244984A1 (en) | Information processing method and device | |
| CN116528046A (zh) | 目标用户追焦拍摄方法、电子设备及存储介质 | |
| CN110310657A (zh) | 一种音频数据处理方法及装置 | |
| CN111670431B (zh) | 信息处理装置、信息处理方法以及程序 | |
| CN112527115A (zh) | 用户形象生成方法、相关装置及计算机程序产品 | |
| CN111522524B (zh) | 一种基于会议机器人的演示文稿控制方法、装置、存储介质及终端 | |
| CN111627115A (zh) | 互动合影方法及装置、互动装置以及计算机存储介质 | |
| CN105979154A (zh) | 一种增强现实ar的拍摄方法、装置及智能终端 | |
| CN109542218B (zh) | 一种移动终端、人机交互系统及方法 | |
| CN107070784A (zh) | 一种基于WebGL和VR技术的3D即时通讯系统 | |
| CN113552949A (zh) | 多功能的沉浸式影音交互方法、装置和系统 | |
| CN111985252A (zh) | 对话翻译方法及装置、存储介质和电子设备 | |
| CN109218612B (zh) | 一种追踪拍摄系统及拍摄方法 | |
| CN116033282A (zh) | 拍摄处理方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |