CN108829254A - 一种麦克风与用户终端互动的实现方法、系统及相关设备 - Google Patents
一种麦克风与用户终端互动的实现方法、系统及相关设备 Download PDFInfo
- Publication number
- CN108829254A CN108829254A CN201810644683.2A CN201810644683A CN108829254A CN 108829254 A CN108829254 A CN 108829254A CN 201810644683 A CN201810644683 A CN 201810644683A CN 108829254 A CN108829254 A CN 108829254A
- Authority
- CN
- China
- Prior art keywords
- microphone
- user terminal
- information
- exercise data
- target audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例公开了一种麦克风与用户终端互动的实现方法、系统及相关设备,该方法包括:在麦克风与用户终端处于连接状态下,麦克风采集目标音频信息以及同时检测麦克风产生的运动数据;向用户终端发送目标音频信息和运动数据,用户终端以该目标音频信息和运动数据为依据,控制用户终端当前播放的体感交互虚拟场景中的虚拟角色以及体感交互虚拟场景的动画效果。实施本发明实施例,能够在结合麦克风体验用户终端以体感交互虚拟场景播放的音视频时,加强体感交互性和趣味性,提高用户使用体验感和粘稠度。
Description
技术领域
本发明涉及终端设备技术领域,具体涉及一种麦克风与用户终端互动的实现方法、系统及相关设备。
背景技术
市面上常见的麦克风可以实现的功能包括:实时扩音;或者实时扩音以及播放内置的配音;或者与带有屏幕的用户终端连接,通过用户终端屏幕播放音视频文件实现用户即兴唱歌或者语音学习等。但是随着体感交互概念的推广和深入人心,更多用户群体越发注重互动多样化和趣味性、强调身在其中的体感,目前这种只能通过麦克风输入声音进行交互的方式已经无法满足用户的这种需求。
发明内容
本发明实施例公开了一种麦克风与用户终端互动的实现方法、系统及相关设备,用于在用户感受音视频过程中增强用户的体感交互。
本发明第一方面公开了一种麦克风与用户终端互动的实现方法,可包括:
在麦克风与用户终端处于连接状态下,所述麦克风采集目标音频信息以及同时检测所述麦克风产生的运动数据;
所述麦克风向所述用户终端发送所述目标音频信息和所述运动数据。
作为一种可选的实施方式,在本发明第一方面中,所述麦克风检测所述麦克风产生的运动数据,包括:
所述麦克风通过内置于所述麦克风的陀螺仪检测所述麦克风产生的运动数据,所述运动数据至少包括重力加速度、位移夹角和运动方向角。
作为一种可选的实施方式,在本发明第一方面中,所述麦克风采集目标音频信息,包括:
所述麦克风采集外部声音;
所述麦克风将所述外部声音与所述麦克风同步播放的音效音频进行混音处理,以获得所述目标音频信息。
本发明第二方面公开了一种麦克风与用户终端互动的实现方法,可包括:
在用户终端与麦克风处于连接状态下,所述用户终端接收所述麦克风发送的目标音频信息以及所述麦克风产生的运动数据;
所述用户终端以所述目标音频信息和所述运动数据为依据,控制所述用户终端当前播放的体感交互虚拟场景中的虚拟角色以及所述体感交互虚拟场景的动画效果。
作为一种可选的实施方式,在本发明第二方面中,所述用户终端以所述目标音频信息和所述运动数据为依据,控制所述用户终端当前播放的体感交互虚拟场景中的虚拟角色以及所述体感交互虚拟场景的动画效果,包括:
所述用户终端检测音视频数据库中是否存在与所述目标音频信息相匹配的标准音视频信息,以及在确定所述音视频数据库中存在与所述目标音频信息相匹配的标准音视频信息之后,对比所述目标音频信息与所述标准音视频信息的匹配度;查找与所述匹配度相对应的所述体感交互虚拟场景的目标动画效果,并控制所述体感交互虚拟场景以所述目标动画效果进行播放;以及
所述用户终端识别所述运动数据对应的动作指令,控制所述体感交互虚拟场景中的虚拟角色执行所述动作指令。
本发明第三方面公开了一种麦克风,可包括:
信息获取单元,用于在麦克风与用户终端处于连接状态下,采集目标音频信息以及同时检测所述麦克风产生的运动数据;
通信单元,用于向所述用户终端发送所述目标音频信息和所述运动数据。
作为一种可选的实施方式,在本发明第三方面中,所述信息获取单元用于检测所述麦克风产生的运动数据的方式具体为:
所述信息获取单元,用于通过内置于所述麦克风的陀螺仪检测所述麦克风产生的运动数据,所述运动数据至少包括重力加速度、位移夹角和运动方向角。
作为一种可选的实施方式,在本发明第三方面中,所述信息获取单元用于采集目标音频信息的方式具体为:
所述信息获取单元,用于采集外部声音,以及将所述外部声音与所述麦克风同步播放的音效音频进行混音处理,以获得所述目标音频信息。
本发明第四方面公开了一种用户终端,可包括:
通信单元,用于在用户终端与麦克风处于连接状态下,接收所述麦克风发送的目标音频信息以及所述麦克风产生的运动数据;
控制单元,用于以所述目标音频信息和所述运动数据为依据,控制所述用户终端当前播放的体感交互虚拟场景中的虚拟角色以及所述体感交互虚拟场景的动画效果。
作为一种可选的实施方式,在本发明第四方面中,所述控制单元包括:
第一处理子单元,用于检测音视频数据库中是否存在与所述目标音频信息相匹配的标准音视频信息,以及在确定所述音视频数据库中存在与所述目标音频信息相匹配的标准音视频信息之后,对比所述目标音频信息与所述标准音视频信息的匹配度;查找与所述匹配度相对应的所述体感交互虚拟场景的目标动画效果,并控制所述体感交互虚拟场景以所述目标动画效果进行播放;以及
第二处理子单元,用于识别所述运动数据对应的动作指令,控制所述体感交互虚拟场景中的虚拟角色执行所述动作指令。
本发明第五方面公开了一种麦克风与用户终端互动的实现系统,可包括:
如本发明第三方面所提供的麦克风,以及如本发明第四方面所提供的用户终端。
本发明第六方面公开一种用户终端,可包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明第二方面公开的麦克风与用户终端互动的实现方法。
本发明第七方面公开一种计算机可读存储介质,其存储计算机程序,所述计算机程序使得计算机执行本发明第二方面公开的麦克风与用户终端互动的实现方法。
与现有技术相比,本发明实施例具有以下有益效果:
在本发明实施例中,在麦克风与用户终端处于连接状态下,麦克风采集目标音频信息以及同时检测麦克风产生的运动数据,然后将目标音频信息和运动数据发送给用户终端,用户终端根据目标音频信息和运动数据,控制用户终端当前播放的体感交互虚拟场景中的虚拟角色和体感交互虚拟场景的动画效果;可以看出,实施本发明实施例,能够实时识别用户音频信息和根据用户的运动数据,控制体感交互虚拟场景的虚拟角色和动画效果,使得用户在结合麦克风体验用户终端以体感交互虚拟场景播放的音视频时,加强体感交互性和趣味性,提高用户使用体验感和粘稠度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的麦克风与用户终端互动的实现方法的信令示意图;
图2为本发明实施例公开的麦克风与用户终端互动的实现方法的信令示意图;
图3为本发明实施例公开的麦克风的结构示意图;
图4为本发明实施例公开的用户终端的结构示意图;
图5为本发明另一些实施例公开的用户终端的结构示意图;
图6为本发明实施例公开的麦克风与用户终端互动的实现系统的结构示意图;
图7为本发明实施例公开的另一用户终端的结构示意图;
图8为本发明实施例公开的另一麦克风的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种麦克风与用户终端互动的实现方法,用于用户在体验音视频过程中,加强体感交互性和趣味性,提高用户使用体验感和粘稠度。本发明实施例还相应地公开了一种麦克风与用户终端互动的实现系统、一种麦克风及一种用户终端。
其中,本发明实施例公开的用户终端包括但不仅限于智能手机、平板电脑、家教机以及智能电视机等。进一步地,用户终端可以配置有配对的麦克风,在麦克风中设置有运动传感器,如加速度传感器、陀螺仪、角加速度计等,可以通过运动传感器检测麦克风产生的运动数据。另外,用户终端可以设置有无线通信模块,如wifi模块、蓝牙模块等,麦克风可以同样设置有无线通信模块,用户终端与麦克风可以实现无线网络连接。进一步地,用户终端上还可以设置有声道孔,该声道孔可以用于外接麦克风,实现用户终端与麦克风之间的数据线连接。
基于上述所介绍的用户终端和麦克风,下面将从用户终端和麦克风的角度出发,通过具体实施例,对本发明技术方案进行详细说明。
实施例一
请参阅图1,图1为本发明实施例公开的麦克风与用户终端互动的实现方法的信令示意图;如图1所示,一种麦克风与用户终端互动的实现方法可包括:
101、在麦克风与用户终端处于连接状态下,麦克风采集目标音频信息以及同时检测其产生的运动数据。
其中,麦克风与用户终端可以无线连接,在连接状态下,麦克风实时采集目标音频信息和检测其运动数据反馈给用户终端。
其中,麦克风采集外部声音;将外部声音与麦克风同步播放的音效音频进行混音处理,以获得该目标音频信息。
作为一种可选的实施方式,麦克风利用咪头获取脉冲编码调制(Pulse CodeModulation,PCM)音频数据,将该PCM音频数据进行压缩得到目标音频信息。
进一步地,麦克风利用咪头获取PCM音频数据,将该PCM音频数据进行压缩得到目标音频信息具体包括:麦克风利用咪头采集外部声音,与麦克风同步播放的音效音频进行混音处理,得到待处理信号,将待处理信号转换成模拟电信号,模拟电信号进行采样、量化、编码转换成PCM音频数据,将PCM音频数据进行压缩得到目标音频信息。
102、麦克风向用户终端发送目标音频信息和运动数据。
作为一种可选的实施方式,用户终端基于无线通信模块,设置通信接口,该通信接口基于蓝牙串行端口规范(Serial Port Profile,SPP)协议实现数据传输。同样,麦克风基于无线通信模块,设置通信接口,该通信接口基于SPP协议实现数据传输。用户终端通过自身的通信接口与麦克风自身的通信接口通信连接得到通信通道,基于该通信通道,可以实现麦克风到用户终端的数据传输,也可以实现用户终端的数据传输,且基于该通信通道,能够提高用户终端与麦克风之间数据传输的速度,而且能够降低数据丢失的概率。
基于上述介绍,麦克风向用户终端发送目标音频信息和运动数据具体包括:麦克风通过通信通道向用户终端发送目标音频信息和运动数据。
103、用户终端接收麦克风发送的目标音频信息以及运动数据。
用户终端通过通信通道接收用户终端发送的目标音频信息和运动数据。
在一些可实施的方式中,用户终端分析该目标音频信息获得音量信息;判断该音量信息是否低于音量阈值,如果是,用户终端向麦克风发送音量调整命令,该音量调整命令携带有目标音量值;麦克风将当前音量调整至该目标音量值。
在另一些可实施的方式中,用户终端分析该目标音频信息获得音频信息,该音频信息至少包括音高值、音质值和音效值;用户终端根据该音频信息确定目标音频信息,该目标音频信息包括音高值、音质值和音效值;用户终端向麦克风发送调整命令,该调整命令携带有该目标音频信息;麦克风以该目标音频信息播放音效音频。
104、用户终端以目标音频信息和运动数据为依据,控制用户终端当前播放的体感交互虚拟场景中的虚拟角色以及体感交互虚拟场景的动画效果。
可以理解的是,体感交互虚拟场景可以是虚拟演唱/对唱场景、诗歌演讲/比赛虚拟场景、阅读朗诵虚拟场景等等,本发明实施例不做具体限定。在体验体感交互虚拟场景时可以通过音频信息的输入以及运动数据的输入,来实现用户与体感交互虚拟场景的交互,提高趣味性,从而提高粘稠度。
可以看出,实施上述实施例,在麦克风与用户终端处于连接状态下,麦克风采集目标音频信息以及同时检测麦克风产生的运动数据,然后将目标音频信息和运动数据发送给用户终端,用户终端根据目标音频信息和运动数据,控制用户终端当前播放的体感交互虚拟场景中的虚拟角色和体感交互虚拟场景的动画效果,能够实时识别用户音频信息和根据用户的运动数据,控制体感交互虚拟场景的虚拟角色和动画效果,使得用户在结合麦克风体验用户终端以体感交互虚拟场景播放的音视频时,加强体感交互性和趣味性,提高用户使用体验感和粘稠度。
实施例二
请参阅图2,图2为本发明实施例公开的麦克风与用户终端互动的实现方法的信令示意图;如图2所示,一种麦克风与用户终端互动的实现方法可包括:
201、麦克风向用户终端发送连接请求。
202、麦克风接收用户终端反馈的连接响应,与用户终端建立连接。
在麦克风与用户终端处于连接状态下,麦克风通过内置的陀螺仪检测运动数据,该运动数据至少包括运动方向角、位移夹角和重力加速度。
执行完步骤202之后,同时转向步骤203及步骤206。
203、麦克风将运动数据发送给与其无线连接的用户终端。
204、用户终端接收运动数据,将运动数据转换成动作指令。
可以理解,在用户终端中内置有相关算法,在接收到运动数据后,利用算法对运动数据进行运算,得到用于指示体感交互虚拟场景虚拟角色的运动数据,然后根据运动数据进一步生成虚拟角色的动作指令。
其中,动作指令用于指示用户终端控制体感交互虚拟场景中的虚拟角色执行某一动作或者某一序列动作,该序列动作可以由若干动作组成。例如,该动作包括但不仅限于向上跳起、向下蹲下、左右移动、原地旋转、移动旋转等,序列动作包括但不仅限于由向上跳起、向下蹲下、左右移动、原地旋转、移动旋转等中的至少两种动作组成。或者,该动作使用某一乐器伴奏(如打架子鼓、吹笛子和拉手风琴等)。
作为一种可选的实施方式,动作指令还可以用于指示用户终端以该动作指令所指示的动画效果播放该体感交互虚拟场景。该动作指令所指示的动画效果包括但不仅限于舞台灯光跑马灯效果、舞台灯交叉闪烁动画效果、舞台喷射火焰动画效果等。
作为一种可选的的实施方式,用户终端接收运动数据,将运动数据转换成动作指令之前还包括:与用户终端预先连接的可穿戴设备检测其是否发生甩动,如果是,获取甩动数据,将该甩动数据发送给用户终端。
用户终端接收运动数据,将运动数据转换成动作指令具体包括:用户终端根据该甩动数据识别该可穿戴设备的甩动方向,以及根据麦克风的运动数据识别麦克风的位移方向;用户终端判断该甩动方向与该位移方向是否一致;如果一致,进一步地识别该甩动方向的持续时长与该位移方向的改变时长是否一致;如果一致,将运动数据转换成动作指令。通过该实施方式,能够准确判断出用户的误操作,减少误操作。
进一步地,与用户终端预先连接的可穿戴设备检测其是否发生甩动具体包括:可穿戴设备可以预先保存基准传感器的生产线测试电容值和状态判断传感器的生产线测试电容值,例如,可以将基准传感器的生产线测试电容值和状态判断传感器的生产线测试电容值预先保存在可穿戴设备中的存储器中。在可穿戴设备开机时,检测基准传感器和状态判断传感器的电容值;以及,根据检测到的基准传感器电容值和预先保存的基准传感器的生产线测试电容值,确定环境对电容式传感器的电容值的影响参数;其中,环境对电容式传感器的电容值的影响参数包括:温度对电容式传感器的电容值的影响因子和湿度对电容式传感器的电容值的影响因子。进一步地,可穿戴设备可以根据环境对电容式传感器的电容值的影响参数、检测到的状态判断传感器电容值和预先保存的状态判断传感器的生产线测试电容值,判定可穿戴设备的佩戴状态。其中,判定可穿戴设备的佩戴状态具体为:根据环境对电容式传感器的电容值的影响参数和存储器中保存的状态判断传感器的生产线测试电容值,计算出状态判断传感器的电容值,然后判断检测到的状态判断传感器的电容值是否大于所计算出的对应电容值与预设门限值的和,如果是,则判定可穿戴设备为佩戴状态,否则判定可穿戴设备为未佩戴状态。其中,这种实施方式由于通过设置基准传感器来检测环境的变化,再在基准传感器的检测基础上应用状态判断传感器进行可穿戴设备佩戴状态的判定,可以提供可穿戴设备佩戴状态的准确性。
205、用户终端控制当前播放的体感交互虚拟场景中的虚拟角色执行该动作指令。
作为一种可选的实施方式,用户终端控制当前播放的体感交互虚拟场景中的虚拟角色执行该动作指令可以包括:用户终端控制当前播放的体感交互虚拟场景中的虚拟角色执行该动作指令所指示的某一动作或者某一序列动作。
206、麦克风实时采集目标音频信息,并发送给用户终端。
207、用户终端检测音视频数据库是否存储有与该目标音频信息相匹配的标准音视频信息,如果有,转向步骤208;如果没有,结束该流程。
用户终端提取目标音频信息的声音特征,根据该声音特征识别目标音频信息所采用的语种,在识别出该目标音频信息所采用的目标语种之后,从音视频数据库中查找是否存在与采用该目标语种录制的标准音视频信息与该目标音频信息相匹配,如果存在,转向步骤208,如果不存在,结束该流程。其中,语种包括普通话、英语、粤语、法语等。
进一步地,用户终端提取目标音频信息的声音特征,用户终端检测音视频数据库的若干声音模型中是否存在与该声音特征匹配的目标声音模型;其中,声音模型至少包括普通话声音模型、粤语声音模型和英语声音模型;如果没有检测到,用户终端则提示信息不匹配;如果检测到,用户终端根据目标声音模型将目标音频信息转化为文本内容信息;判断是否存在与该文本内容信息相匹配的该目标声音模型对应的标准音视频信息,如果存在,转向步骤208,如果不存在,结束该流程。通过实施上述实施方式,用户终端能够识别麦克风所采集的多种不同语言的目标音频信息,实现了不同语言下的体感交互,满足了不同语言的用户群体的需求,提高用户体验。
208、用户终端识别该目标音频信息与标准音视频信息的匹配度。
209、用户终端查找与该匹配度相对应的体感交互虚拟场景的目标动画效果。
可以理解的是,动画效果包括若干种类型的动画效果,包括但不仅限于虚拟角色的舞蹈动作类型的动画效果、舞台动画类型的动画效果和伴奏动画类型的动画效果等,而且每一种类型的动画效果中又分成若干个不同的动画效果,例如,舞蹈动作类型的动画效果可以分成第一舞蹈动画效果、第二舞蹈动画效果和第三舞蹈动画效果等,举例来说,第一舞蹈动画效果为劲舞动画效果、第二舞蹈动画效果为街舞动画效果、第三舞蹈动画效果为民族舞动画效果等,目标动画效果可以是上述任意一种类型的动画效果中的任意一种动画效果。在本发明实施例中,针对每一种体感交互虚拟场景,可以划分若干个匹配度,每一个匹配度对应某一种类型的动画效果中的一种动画效果。
基于上述介绍,用户终端查找与该匹配度相对应的体感交互虚拟场景的目标动画效果具体包括:用户终端从与该体感交互虚拟场景相匹配的类型的动画效果中查找与该匹配度相对应的目标动画效果。
进一步地,在本发明实施例中还可以根据匹配度对目标音频信息的准确度进行评分,然后根据评分的高低来确定动画效果的动感质量。其中,匹配度越高,评分越高,匹配度越低,评分越低,而评分越高,动画效果的动感质量越好,评分越低,动画效果的动感质量越差。通过实施该方式,能够激励用户更多地进行人机交互。
210、用户终端控制当前播放的体感交互虚拟场景以该目标动画效果进行播放。
实施本发明实施例,能够实时识别用户音频信息和根据用户的运动数据,控制体感交互虚拟场景的虚拟角色和动画效果,使得用户在结合麦克风体验用户终端以体感交互虚拟场景播放的音视频时,加强体感交互性和趣味性,提高用户使用体验感和粘稠度。
实施例三
请参阅图3,图3为本发明实施例公开的麦克风的结构示意图;如图3所示,一种麦克风包括:
信息获取单元310,用于在麦克风与用户终端处于连接状态下,采集目标音频信息以及同时检测该麦克风产生的运动数据;
通信单元320,用于向用户终端发送该目标音频信息和运动数据。
可以看出,实施上述实施例,在麦克风与用户终端处于连接状态下,麦克风采集目标音频信息以及同时检测麦克风产生的运动数据,然后将目标音频信息和运动数据发送给用户终端,用户终端根据目标音频信息和运动数据,控制用户终端当前播放的体感交互虚拟场景中的虚拟角色和体感交互虚拟场景的动画效果;可以看出,实施本发明实施例,能够实时识别用户音频信息和根据用户的运动数据,控制体感交互虚拟场景的虚拟角色和动画效果,使得用户在结合麦克风体验用户终端以体感交互虚拟场景播放的音视频时,加强体感交互性和趣味性,提高用户使用体验感和粘稠度。
作为一种可选的实施方式,上述信息获取单元310用于检测麦克风产生的运动数据的方式具体为:
上述信息获取单元310,用于通过内置于麦克风的陀螺仪检测该麦克风产生的运动数据,该运动数据至少包括重力加速度、位移夹角和运动方向角。
作为一种可选的实施方式,上述信息获取单元310用于采集目标音频信息的方式具体为:
上述信息获取单元310,用于采集外部声音,以及将外部声音与麦克风同步播放的音效音频进行混音处理,以获得目标音频信息。
其中,在另一些可选的实施方式中,信息获取单元310利用麦克风咪头获取PCM音频数据,将该PCM音频数据进行压缩得到目标音频信息。更进一步地,信息获取单元310利用麦克风咪头采集外部声音,与麦克风同步播放的音效音频进行混音处理,得到待处理信号,将待处理信号转换成模拟电信号,模拟电信号进行采样、量化、编码转换成PCM音频数据,将PCM音频数据进行压缩得到目标音频信息。
在另一些可选的实施方式中,通信单元320通过通信通道向用户终端发送目标音频信息和运动数据。其中,用户终端基于无线通信模块,设置通信接口,该通信接口基于SPP协议实现数据传输。同样,麦克风基于无线通信模块,设置通信接口,该通信接口基于SPP协议实现数据传输。用户终端通过自身的通信接口与麦克风自身的通信接口通信连接得到通信通道,基于该通信通道,可以实现麦克风到用户终端的数据传输,也可以实现用户终端的数据传输,且基于该通信通道,能够提高用户终端与麦克风之间数据传输的速度,而且能够降低数据丢失的概率。
实施例四
请参阅图4,图4为本发明实施例公开的用户终端的结构示意图;如图4所示,一种用户终端包括:
通信单元410,用于在用户终端与麦克风处于连接状态下,接收该麦克风发送的目标音频信息以及麦克风产生的运动数据;
控制单元420,用于以目标音频信息和运动数据为依据,控制用户终端当前播放的体感交互虚拟场景中的虚拟角色以及体感交互虚拟场景的动画效果。
在一些可选的实施方式中,在通信单元410接收到目标音频信息以及麦克风产生的运动数据之后,控制单元420还用于,分析该目标音频信息获得音量信息;判断该音量信息是否低于音量阈值,如果是,通信单元410向麦克风发送音量调整命令,该音量调整命令携带有目标音量值,以使该麦克风将当前音量调整至该目标音量值。
在另一些可选的实施方式中,在通信单元410接收到目标音频信息以及麦克风产生的运动数据之后,控制单元420还用于,分析该目标音频信息获得音频信息,该音频信息至少包括音高值、音质值和音效值;用户终端根据该音频信息确定目标音频信息,该目标音频信息包括音高值、音质值和音效值;向麦克风发送调整命令,该调整命令携带有该目标音频信息,以使麦克风以该目标音频信息播放音效音频。
进一步请参阅图5,图5为本发明另一些实施例公开的用户终端的结构示意图,图5是在图4所示的用户终端的基础上进行优化得到的,在图5所示的用户终端中,上述控制单元420包括:
第一处理子单元510,用于检测音视频数据库中是否存在与目标音频信息相匹配的标准音视频信息,以及在确定音视频数据库中存在与目标音频信息相匹配的标准音视频信息之后,对比目标音频信息与标准音视频信息的匹配度;查找与匹配度相对应的体感交互虚拟场景的目标动画效果,并控制体感交互虚拟场景以所述目标动画效果进行播放。
在一些可选的实施方式中,第一处理子单元510可以用于提取目标音频信息的声音特征,根据该声音特征识别目标音频信息所采用的语种,在识别出该目标音频信息所采用的目标语种之后,从音视频数据库中查找是否存在与采用该目标语种录制的标准音视频信息与该目标音频信息相匹配,如果存在,对比目标音频信息与标准音视频信息的匹配度。其中,语种包括普通话、英语、粤语、法语等。
进一步地,第一处理子单元510提取目标音频信息的声音特征,检测音视频数据库的若干声音模型中是否存在与该声音特征匹配的目标声音模型;其中,声音模型至少包括普通话声音模型、粤语声音模型和英语声音模型;如果没有检测到,则提示信息不匹配;如果检测到,根据目标声音模型将目标音频信息转化为文本内容信息;判断是否存在与该文本内容信息相匹配的该目标声音模型对应的标准音视频信息,如果存在,对比目标音频信息与标准音视频信息的匹配度,如果不存在,结束该流程。通过实施上述实施方式,能够识别麦克风所采集的多种不同语言的目标音频信息,实现了不同语言下的体感交互,满足了不同语言的用户群体的需求,提高用户体验。
在一些可选的实施方式中,第一处理子单元510用于查找与该匹配度相对应的体感交互虚拟场景的目标动画效果具体包括:第一处理子单元510从与该体感交互虚拟场景相匹配的类型的动画效果中查找与该匹配度相对应的目标动画效果。
进一步地,第一处理子单元510还可以根据匹配度对目标音频信息的准确度进行评分,然后根据评分的高低来确定动画效果的动感质量。其中,匹配度越高,评分越高,匹配度越低,评分越低,而评分越高,动画效果的动感质量越好,评分越低,动画效果的动感质量越差。通过实施该方式,能够激励用户更多地进行人机交互。
以及,第二处理子单元520,用于识别运动数据对应的动作指令,控制该体感交互虚拟场景中的虚拟角色执行动作指令。
在一些可选的实施方式中,第二处理子单元520根据通信单元410接收到的可穿戴设备发送的甩动数据,根据该甩动数据识别该可穿戴设备的甩动方向,以及根据麦克风的运动数据识别麦克风的位移方向;判断该甩动方向与该位移方向是否一致;如果一致,进一步地识别该甩动方向的持续时长与该位移方向的改变时长是否一致;如果一致,将运动数据转换成动作指令。
进一步地,与用户终端预先连接的可穿戴设备检测其是否发生甩动具体包括:可穿戴设备可以预先保存基准传感器的生产线测试电容值和状态判断传感器的生产线测试电容值,例如,可以将基准传感器的生产线测试电容值和状态判断传感器的生产线测试电容值预先保存在可穿戴设备中的存储器中。在可穿戴设备开机时,检测基准传感器和状态判断传感器的电容值;以及,根据检测到的基准传感器电容值和预先保存的基准传感器的生产线测试电容值,确定环境对电容式传感器的电容值的影响参数;其中,环境对电容式传感器的电容值的影响参数包括:温度对电容式传感器的电容值的影响因子和湿度对电容式传感器的电容值的影响因子。进一步地,可穿戴设备可以根据环境对电容式传感器的电容值的影响参数、检测到的状态判断传感器电容值和预先保存的状态判断传感器的生产线测试电容值,判定可穿戴设备的佩戴状态。其中,判定可穿戴设备的佩戴状态具体为:根据环境对电容式传感器的电容值的影响参数和存储器中保存的状态判断传感器的生产线测试电容值,计算出状态判断传感器的电容值,然后判断检测到的状态判断传感器的电容值是否大于所计算出的对应电容值与预设门限值的和,如果是,则判定可穿戴设备为佩戴状态,否则判定可穿戴设备为未佩戴状态。其中,这种实施方式由于通过设置基准传感器来检测环境的变化,再在基准传感器的检测基础上应用状态判断传感器进行可穿戴设备佩戴状态的判定,可以提供可穿戴设备佩戴状态的准确性。
实施例五
请参阅图6,图6为本发明实施例公开的麦克风与用户终端互动的实现系统的结构示意图;如图6所示,一种麦克风与用户终端互动的实现系统可包括:
麦克风和用户终端,其中,有关于麦克风的详细说明可以参阅上述实施例的介绍,以及有关于用户终端的详细说明可以参阅上述实施例的介绍,在此不再赘述。
实施例六
请参阅图7,图7为本发明实施例公开的另一用户终端的结构示意图;图7所示的用户终端可包括:至少一个处理器710,例如CPU,通信总线730用于实现这些组件之间的通信连接。存储器720可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器720可选的还可以是至少一个位于远离前述处理器710的存储装置。其中,处理器710可以结合图4至图5所描述的用户终端,存储器710中存储一组程序代码,且处理器710调用存储器720中存储的程序代码,用于执行以下操作:
在麦克风与用户终端处于连接状态下,采集目标音频信息以及同时检测所述麦克风产生的运动数据;向所述用户终端发送所述目标音频信息和所述运动数据。
可选地,上述处理器710还可以用于执行以下步骤:
通过内置于所述麦克风的陀螺仪检测所述麦克风产生的运动数据,所述运动数据至少包括重力加速度、位移夹角和运动方向角。
可选地,上述处理器710还可以用于执行以下步骤:
采集外部声音;以及,将所述外部声音与所述麦克风同步播放的音效音频进行混音处理,以获得所述目标音频信息。
实施例七
请参阅图8,图8为本发明实施例公开的另一麦克风的结构示意图;图8所示的麦克风可包括:至少一个处理器810,例如CPU,通信总线830用于实现这些组件之间的通信连接。存储器820可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器820可选的还可以是至少一个位于远离前述处理器810的存储装置。其中,处理器810可以结合图3所描述的麦克风,存储器810中存储一组程序代码,且处理器810调用存储器820中存储的程序代码,用于执行以下操作:
在用户终端与麦克风处于连接状态下,接收所述麦克风发送的目标音频信息以及所述麦克风产生的运动数据;以所述目标音频信息和所述运动数据为依据,控制所述用户终端当前播放的体感交互虚拟场景中的虚拟角色以及所述体感交互虚拟场景的动画效果。
可选地,上述处理器810还可以用于执行以下步骤:
检测音视频数据库中是否存在与所述目标音频信息相匹配的标准音视频信息,以及在确定所述音视频数据库中存在与所述目标音频信息相匹配的标准音视频信息之后,对比所述目标音频信息与所述标准音视频信息的匹配度;查找与所述匹配度相对应的所述体感交互虚拟场景的目标动画效果,并控制所述体感交互虚拟场景以所述目标动画效果进行播放;以及,识别所述运动数据对应的动作指令,控制所述体感交互虚拟场景中的虚拟角色执行所述动作指令。
本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行图1~图2任意一种麦克风与用户终端互动的实现方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
以上对本发明实施例公开的一种麦克风与用户终端互动的实现方法、系统及相关设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (11)
1.一种麦克风与用户终端互动的实现方法,其特征在于,包括:
在麦克风与用户终端处于连接状态下,所述麦克风采集目标音频信息以及同时检测所述麦克风产生的运动数据;
所述麦克风向所述用户终端发送所述目标音频信息和所述运动数据。
2.根据权利要求1所述的方法,其特征在于,所述麦克风检测所述麦克风产生的运动数据,包括:
所述麦克风通过内置于所述麦克风的陀螺仪检测所述麦克风产生的运动数据,所述运动数据至少包括重力加速度、位移夹角和运动方向角。
3.根据权利要求1或2所述的方法,其特征在于,所述麦克风采集目标音频信息,包括:
所述麦克风采集外部声音;
所述麦克风将所述外部声音与所述麦克风同步播放的音效音频进行混音处理,以获得所述目标音频信息。
4.一种麦克风与用户终端互动的实现方法,其特征在于,包括:
在用户终端与麦克风处于连接状态下,所述用户终端接收所述麦克风发送的目标音频信息以及所述麦克风产生的运动数据;
所述用户终端以所述目标音频信息和所述运动数据为依据,控制所述用户终端当前播放的体感交互虚拟场景中的虚拟角色以及所述体感交互虚拟场景的动画效果。
5.根据权利要求4所述的方法,其特征在于,所述用户终端以所述目标音频信息和所述运动数据为依据,控制所述用户终端当前播放的体感交互虚拟场景中的虚拟角色以及所述体感交互虚拟场景的动画效果,包括:
所述用户终端检测音视频数据库中是否存在与所述目标音频信息相匹配的标准音视频信息,以及在确定所述音视频数据库中存在与所述目标音频信息相匹配的标准音视频信息之后,对比所述目标音频信息与所述标准音视频信息的匹配度;查找与所述匹配度相对应的所述体感交互虚拟场景的目标动画效果,并控制所述体感交互虚拟场景以所述目标动画效果进行播放;以及所述用户终端识别所述运动数据对应的动作指令,控制所述体感交互虚拟场景中的虚拟角色执行所述动作指令。
6.一种麦克风,其特征在于,包括:
信息获取单元,用于在麦克风与用户终端处于连接状态下,采集目标音频信息以及同时检测所述麦克风产生的运动数据;
通信单元,用于向所述用户终端发送所述目标音频信息和所述运动数据。
7.根据权利要求6所述的麦克风,其特征在于,所述信息获取单元用于检测所述麦克风产生的运动数据的方式具体为:
所述信息获取单元,用于通过内置于所述麦克风的陀螺仪检测所述麦克风产生的运动数据,所述运动数据至少包括重力加速度、位移夹角和运动方向角。
8.根据权利要求6或7所述的麦克风,其特征在于,所述信息获取单元用于采集目标音频信息的方式具体为:
所述信息获取单元,用于采集外部声音,以及将所述外部声音与所述麦克风同步播放的音效音频进行混音处理,以获得所述目标音频信息。
9.一种用户终端,其特征在于,包括:
通信单元,用于在用户终端与麦克风处于连接状态下,接收所述麦克风发送的目标音频信息以及所述麦克风产生的运动数据;
控制单元,用于以所述目标音频信息和所述运动数据为依据,控制所述用户终端当前播放的体感交互虚拟场景中的虚拟角色以及所述体感交互虚拟场景的动画效果。
10.根据权利要求9所述的用户终端,其特征在于,所述控制单元包括:
第一处理子单元,用于检测音视频数据库中是否存在与所述目标音频信息相匹配的标准音视频信息,以及在确定所述音视频数据库中存在与所述目标音频信息相匹配的标准音视频信息之后,对比所述目标音频信息与所述标准音视频信息的匹配度;查找与所述匹配度相对应的所述体感交互虚拟场景的目标动画效果,并控制所述体感交互虚拟场景以所述目标动画效果进行播放;以及
第二处理子单元,用于识别所述运动数据对应的动作指令,控制所述体感交互虚拟场景中的虚拟角色执行所述动作指令。
11.一种麦克风与用户终端互动的实现系统,其特征在于,包括:
如权利要求6至8任一项所述的麦克风,以及如权利要求9至10任一项所述的用户终端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810644683.2A CN108829254A (zh) | 2018-06-21 | 2018-06-21 | 一种麦克风与用户终端互动的实现方法、系统及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810644683.2A CN108829254A (zh) | 2018-06-21 | 2018-06-21 | 一种麦克风与用户终端互动的实现方法、系统及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108829254A true CN108829254A (zh) | 2018-11-16 |
Family
ID=64143132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810644683.2A Pending CN108829254A (zh) | 2018-06-21 | 2018-06-21 | 一种麦克风与用户终端互动的实现方法、系统及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108829254A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110972053A (zh) * | 2019-11-25 | 2020-04-07 | 腾讯音乐娱乐科技(深圳)有限公司 | 构造听音场景的方法和相关装置 |
WO2020237848A1 (zh) * | 2019-05-29 | 2020-12-03 | 深圳壹秘科技有限公司 | 展示分离角色的系统、方法和录音设备 |
CN113539218A (zh) * | 2020-04-16 | 2021-10-22 | 福建凯米网络科技有限公司 | 一种虚拟形象实时互动的方法及终端 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105376385A (zh) * | 2015-10-23 | 2016-03-02 | 广东欧珀移动通信有限公司 | 一种音量调整方法及用户终端 |
CN106980382A (zh) * | 2017-03-31 | 2017-07-25 | 维沃移动通信有限公司 | 一种vr设备播放控制的方法、移动终端和vr设备 |
CN107371075A (zh) * | 2017-08-07 | 2017-11-21 | 北京小米移动软件有限公司 | 麦克风 |
CN107423022A (zh) * | 2017-08-04 | 2017-12-01 | 成都市极米科技有限公司 | 音频播放方法及装置 |
CN107422862A (zh) * | 2017-08-03 | 2017-12-01 | 嗨皮乐镜(北京)科技有限公司 | 一种虚拟现实场景中虚拟影像交互的方法 |
CN107978308A (zh) * | 2017-11-28 | 2018-05-01 | 广东小天才科技有限公司 | 一种k歌评分方法、装置、设备及存储介质 |
CN207340106U (zh) * | 2017-07-31 | 2018-05-08 | 深圳市大疆灵眸科技有限公司 | 麦克风组件、云台和云台系统 |
-
2018
- 2018-06-21 CN CN201810644683.2A patent/CN108829254A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105376385A (zh) * | 2015-10-23 | 2016-03-02 | 广东欧珀移动通信有限公司 | 一种音量调整方法及用户终端 |
CN106980382A (zh) * | 2017-03-31 | 2017-07-25 | 维沃移动通信有限公司 | 一种vr设备播放控制的方法、移动终端和vr设备 |
CN207340106U (zh) * | 2017-07-31 | 2018-05-08 | 深圳市大疆灵眸科技有限公司 | 麦克风组件、云台和云台系统 |
CN107422862A (zh) * | 2017-08-03 | 2017-12-01 | 嗨皮乐镜(北京)科技有限公司 | 一种虚拟现实场景中虚拟影像交互的方法 |
CN107423022A (zh) * | 2017-08-04 | 2017-12-01 | 成都市极米科技有限公司 | 音频播放方法及装置 |
CN107371075A (zh) * | 2017-08-07 | 2017-11-21 | 北京小米移动软件有限公司 | 麦克风 |
CN107978308A (zh) * | 2017-11-28 | 2018-05-01 | 广东小天才科技有限公司 | 一种k歌评分方法、装置、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
杨铁军: "《产业专利分析报告-智能识别》", 30 June 2015 * |
林筑英: "《多媒体技术》", 30 November 2001 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020237848A1 (zh) * | 2019-05-29 | 2020-12-03 | 深圳壹秘科技有限公司 | 展示分离角色的系统、方法和录音设备 |
CN110972053A (zh) * | 2019-11-25 | 2020-04-07 | 腾讯音乐娱乐科技(深圳)有限公司 | 构造听音场景的方法和相关装置 |
CN113539218A (zh) * | 2020-04-16 | 2021-10-22 | 福建凯米网络科技有限公司 | 一种虚拟形象实时互动的方法及终端 |
CN113539218B (zh) * | 2020-04-16 | 2023-11-17 | 福建凯米网络科技有限公司 | 一种虚拟形象实时互动的方法及终端 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10376785B2 (en) | Audio, video, simulation, and user interface paradigms | |
CN108829254A (zh) | 一种麦克风与用户终端互动的实现方法、系统及相关设备 | |
CN107396137A (zh) | 在线互动的方法、装置及系统 | |
US20070048697A1 (en) | Interactive language learning techniques | |
CN112560605B (zh) | 交互方法、装置、终端、服务器和存储介质 | |
CN112040263A (zh) | 视频处理方法、视频播放方法、装置、存储介质和设备 | |
EP2450877A1 (en) | System and method of speech evaluation | |
JP2009070400A (ja) | リアルタイムのコンテンツのストリームと対話するための装置 | |
WO2014169700A1 (zh) | 一种电子乐器、音乐演奏方法 | |
CN103611294B (zh) | 一种棋牌类游戏语音控制装置及其控制方法 | |
US20200402490A1 (en) | Audio performance with far field microphone | |
CN108345442B (zh) | 一种操作识别方法及移动终端 | |
CN111741370A (zh) | 一种多媒体互动的方法、相关装置、设备及存储介质 | |
CN109961800A (zh) | 一种乐谱翻页处理方法及装置 | |
WO2018203453A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN110808019A (zh) | 一种歌曲生成方法及电子设备 | |
KR102498172B1 (ko) | 단말기의 음성인식 기능과 tts 기능을 이용한 상호 음성전달에 의한 대화형 외국어 학습방법 | |
CN104822095A (zh) | 复合节拍特效系统及复合节拍特效处理方法 | |
CN104822085A (zh) | 互动节拍特效系统及互动节拍特效处理方法 | |
CN208507176U (zh) | 一种影音交互系统 | |
CN103744511A (zh) | 一种交互式皮影表演系统及操作控制方法 | |
CN110796919A (zh) | 一种高集成化的音乐教学演示系统 | |
CN109151515B (zh) | 表演场景下的互动系统和方法 | |
KR100716058B1 (ko) | 위치감지 센서가 내장된 마이크를 이용한 대화형 학습기 | |
TW201619757A (zh) | 複合節拍特效系統及複合節拍特效處理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181116 |
|
RJ01 | Rejection of invention patent application after publication |