CN116958331B - 一种音画同步的调整方法、装置和电子设备 - Google Patents
一种音画同步的调整方法、装置和电子设备 Download PDFInfo
- Publication number
- CN116958331B CN116958331B CN202311211973.5A CN202311211973A CN116958331B CN 116958331 B CN116958331 B CN 116958331B CN 202311211973 A CN202311211973 A CN 202311211973A CN 116958331 B CN116958331 B CN 116958331B
- Authority
- CN
- China
- Prior art keywords
- audio
- animation
- playing
- queue
- standby
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012544 monitoring process Methods 0.000 claims abstract description 17
- 238000009877 rendering Methods 0.000 claims abstract description 12
- 230000007704 transition Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/205—3D [Three Dimensional] animation driven by audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/02—Non-photorealistic rendering
Abstract
本发明实施例提供了一种音画同步的调整方法、装置和电子设备,通过渲染引擎加载基础模型、动画姿态控制模型和音频队列,以及设置音频和动画匹配规则;音频和动画匹配规则是判断音频队列中音频播放状态,并根据判断结果匹配对应的动画进行播放的规则;从动画姿态控制模型中获取待机动画,将待机动画作用于基础模型上,并设置待机动画的播放状态;监听音频队列是否为空队;如果否,则对音频队列中新的待播放音频依次进行播放,并根据音频和动画匹配规则配置对应的音频动画作用于基础模型上;确保音频播放状态与动画类别能够高度同步,进而保证音画同步;以及避免了由于动画类别切换时差与音频播放延迟时差不一致而造成的音画不同步问题。
Description
技术领域
本发明涉及多媒体数据处理技术领域,尤其是涉及一种音画同步的调整方法、装置和电子设备。
背景技术
在电影和现代艺术中,动画艺术中的视听语言是画面与声音相辅而行的综合艺术,正是有了声音的加入,为动画艺术中的虚拟角色赋予了生命力,给动画空间注入活力,帮助观众跨越虚拟与现实的边界,使用户相信动画所建构的虚拟空间存在着真实性与合理性。
音画同步表现为声音与画面紧密结合,音频强调了画面提供的视觉内容,起着解释画面或烘托、渲染画面的作用。但是,音频、视频在合成过程中由于各种原因常常造成合成后的视频音画不同步,从而降低用户体验感。
在将多个不同动画视频与多段不同音频匹配合成视频的场景下,由于音频播放速率由采样率确定,视频动画播放速率由帧率确定,若二者之间没有同步机制,那么每段动画视频播放时间与其对应音频播放时间不能保证时间上的精准同步,即使最初音画基本同步,随着时间的推移也会渐渐出现音画不同步的现象。
发明内容
有鉴于此,本发明的目的在于提供一种音画同步的调整方法、装置和电子设备,以解决在多段音频与多个不同类别动画的同步过程中,因音频采样率与视频帧率之间缺少同步锁定机制而造成音画不同步的问题。
第一方面,本发明实施例提供了一种音画同步的调整方法,所述方法包括:
通过渲染引擎加载基础模型、动画姿态控制模型和音频队列,以及设置音频和动画匹配规则;所述音频和动画匹配规则是判断所述音频队列中音频播放状态,并根据判断结果匹配对应的动画进行播放的规则;
从所述动画姿态控制模型中获取待机动画,将所述待机动画作用于所述基础模型上,并设置所述待机动画的播放状态;
监听所述音频队列是否为空队;
如果否,则对所述音频队列中新的待播放音频依次进行播放,并根据所述音频和动画匹配规则配置对应的音频动画作用于所述基础模型上。
第二方面,本发明实施例提供了一种音画同步的调整装置,装置包括用于执行如上所述的一种音画同步的调整方法的各个模块,所述模块包括加载模块、获取模块、监听模块和配置模块;
加载模块,通过渲染引擎加载基础模型、动画姿态控制模型和音频队列,以及设置音频和动画匹配规则;所述音频和动画匹配规则是判断所述音频队列中音频播放状态,并根据判断结果匹配对应的动画进行播放的规则;
获取模块,用于从所述动画姿态控制模型中获取待机动画,将所述待机动画作用于所述基础模型上,并设置所述待机动画的播放状态;
监听模块,用于监听所述音频队列是否为空队;
配置模块,用于在所述音频队列不为所述空队的情况下,对所述音频队列中新的待播放音频依次进行播放,并根据所述音频和动画匹配规则配置对应的音频动画作用于所述基础模型上。
第三方面,本发明实施例提供了电子设备,包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的方法。
第四方面,本发明实施例提供了具有处理器可执行的非易失的程序代码的计算机可读介质,所述程序代码使所述处理器执行如上所述的方法。
本发明实施例提供了一种音画同步的调整方法、装置和电子设备,通过渲染引擎加载基础模型、动画姿态控制模型和音频队列,以及设置音频和动画匹配规则;音频和动画匹配规则是判断音频队列中音频播放状态,并根据判断结果匹配对应的动画进行播放的规则;从动画姿态控制模型中获取待机动画,将待机动画作用于基础模型上,并设置待机动画的播放状态;监听音频队列是否为空队;如果否,则对音频队列中新的待播放音频依次进行播放,并根据音频和动画匹配规则配置对应的音频动画作用于基础模型上。针对将多个不同动画视频与多段不同音频匹配合成输出播放的场景下,通过本申请的方法能够确保音频播放状态与动画类别能够高度同步,进而保证音画同步;同时设置动画类别切换时差与音频播放延迟时差为同一预设时间阈值,避免由于音频播放状态改变使得对应动画类别进行切换时,由于上述两个时间不一致而造成的音画不同步问题。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种音画同步的调整方法流程图;
图2为本发明实施例二提供的一种音画同步的调整装置示意图。
图标:
1-加载模块;2-获取模块;3-监听模块;4-配置模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请中,在多段音频与多个不同类别动画的同步过程中,利用事件监听程序的监测音频播放状态,并根据音频和动画匹配规则选择对应的音频动画作用于基础模型上。例如,开始播放音频时匹配播放音频动画组中某一动画,直至音频播放完毕切换至待机动画组中某一动画,确保音频播放状态与动画类别能够高度同步,进而保证音画同步。
其次,本申请中在多个不同动画切换类别组进行切换时为了提高动画流畅度,在相邻的不同动画类型切换时段中插入过渡动画,通过同步时间指令将将动画类别切换时差与音频播放延迟时差同步为预设时间阈值,使得音频开始播报时刻与过渡动画(相邻动画切换类别组进行切换动作过渡的动画)播放完毕对应时刻高度重合,即开始播放下一段音频的时刻就是下一动画类别播放的时刻;从而避免了由于动画类别切换时差与音频播放延迟时差不一致而造成的音画不同步问题。
为便于对本实施例进行理解,下面对本发明实施例进行详细介绍。
实施例一:
图1为本发明实施例一提供的一种音画同步的调整方法流程图。
参照图1,该方法包括以下步骤:
步骤S101,通过渲染引擎加载基础模型、动画姿态控制模型和音频队列,以及设置音频和动画匹配规则;音频和动画匹配规则是判断音频队列中音频播放状态,并根据判断结果匹配对应的动画进行播放的规则;
这里,通过three.js渲染引擎加载基础模型,其中,基础模型包括虚拟偶像、卡通人物或随机动画等,同时也载入用于控制基础模型形成不同姿态的动画姿态控制模型和音频队列。
步骤S102,从动画姿态控制模型中获取待机动画,将待机动画作用于基础模型上,并设置待机动画的播放状态;
这里,设置待机动画的播放状态为永久重复播放,在服务器没有业务进行处理时,则会重复播放待机动画,即待机状态下播放待机动画。
步骤S103,监听音频队列是否为空队;
步骤S104,如果否,则对音频队列中新的待播放音频依次进行播放,并根据音频和动画匹配规则配置选择对应的音频动画作用于基础模型上。
这里,在音频队列中存在新的待播放音频时,则对其依次进行播放,并基于音频和动画匹配规则选择音频动画进行播放,直至音频队列为空,则基于音频和动画匹配规则选择待机动画进行播放。
进一步的,在步骤S101之前,该方法还包括以下步骤:
步骤S201,将动画姿态控制模型按照音频播放状态的类别进行分类,得到动画切换类别组;其中,动画切换类别组至少包括待机动画组和音频动画组;待机动画组中至少包含一个待机动画,音频动画组中至少包含一个音频动画;
步骤S202,将每个待机动画或音频动画中对应的不同类别按照顺序进行编号,得到标记后的动画姿态控制模型。
具体地,动画切换类别组至少包括待机动画组和音频动画组;待机动画组包括待机动画1、待机动画2、……待机动画n,音频动画组包括音频动画1、音频动画2、……音频动画n;针对不同类别进行编号,且每个待机动画或每个音频动画包括多个不同的帧,且每帧用不同的符号对其进行随机编号。上述编号可以用作数字、字母等进行表示,能够对不同动画切换类别组中某一动画以及某一动画的每帧进行区分。例如:某一待机动画编号为A-1,某一音频动画编号为B-4等,某一待机动画的某一帧编号对应为A-4-Ⅱ等等。通过设置音频和动画匹配规则以达到在不同音频播放状态下匹配对应的动画进行播放的效果。
进一步的,针对待机动画和音频动画各自只有一个的场景,音频和动画匹配规则通过以下步骤进行设置:
步骤301,判断音频队列是否为空队;
步骤S302,若为空队,则配置待机动画;
步骤S303,若不为空队,则对应音频队列中音频处于正在播放状态,对应匹配音频动画;直至音频队列中所有音频处于播放完毕状态,则对应配置待机动画。
在另一示例性实施例中,针对待机动画组和音频动画组,音频和动画匹配规则通过以下步骤进行设置:
步骤S305,确定当前音频的播放状态;播放状态为正在播放状态或播放完毕状态;
步骤S306,根据正在播放状态或播放完毕状态确定与之对应的动画切换类别组,并对动画切换类别组中的每个动画分别设置初始化数值相同的权重标签;
步骤S307,基于每个动画对应的不同编号和最大数值对应的权重标签,利用随机算法或索引扫描算法从动画切换类别组中随机选择动画匹配当前音频的播放状态进行播放,并降低当前播放动画对应的权重标签的数值,得到当前播放动画对应的更改数值后的权重标签。
具体地,判断当前音频的播放状态;根据当前音频的播放状态匹配对应的动画切换类别组,并设置权重标签的数值为同一数值;例如当前音频处于播放状态则确定匹配音频动画组,对音频动画组中每个音频动画分别设置数值均为0.5的权重标签。基于最大数值对应权重标签的所有音频动画利用随机算法或索引扫描算法等随机匹配并播放,然后降低当前播放的音频动画对应权重标签的数值,得到每个音频动画对应的更改后的权重标签。再基于更改后的权重标签对应所有音频动画,利用随机算法或索引扫描算法从最大数值对应权重标签的音频动画中随机匹配并播放,循环此基于权重选取对应动画进行播放的规则设置音频和动画匹配规则。
根据用户的需求以及音频在不同播放状态下对应基础模型所需要的姿态(例如音频未播放或者暂停播放时基础模型不需要说话,则其嘴部是需要暂停动作的),先将动画进行初次分类以匹配音频在不同播放状态下进行动画播放类别的切换,即根据音频播放状态快速定位对应的动画切换类别组。例如:基于每一段音频播报,在基础模型开始说话(开始播放音频)时播放音频动画组中某一动画,直至基础模型说话完毕(音频播放完毕)时切换至待机动画组中某一动画,为解决音画同步的问题提供基础保障。
其中,分别对不同动画切换类别组中每个动画进行二次标记,基于二次标记在同一音频播放状态下,利用随机算法、索引扫描算法等在同一动画播放类别组中对动画进行匹配,减小已播放过的动画的匹配权重,以降低短时间内重复播放相同动画的概率,提升同一音频播放状态下播放动画的丰富度,在保证用户个性化需求的同时,还能增加动画姿态变化的多样性,增加画面趣味性,使虚拟数字人更加生动形象。
进一步的,步骤S103包括:
如果是,则将音频动画切换为待机动画,并持续播放待机动画中当前动画。
具体地,利用事件监听程序对音频队列进行监测,如果音频队列为空队,则说明一直没有新的音频进入音频队列中,则一直执行步骤S102的操作,即将待机动画作用于基础模型上,并设置待机动画的播放状态为无限重复循环。
进一步的,该方法还包括以下步骤:
步骤S401,在相邻的不同动画类型切换时段中插入过渡动画,并将动画类别切换时差与音频播放延迟时差同步为预设时间阈值;
其中,动画类别切换时差为相邻动画切换类别组之间进行切换时引入过渡帧对应的过渡时间段,音频播放延迟时差为下一段音频延迟播放时长。
具体地,如果有新的待播放音频进入音频队列中,则根据音频和动画匹配规则配置选择对应的音频动画作用于基础模型上。但是在实际应用场景中,若相邻不同类别动画之间动作差异较大,在进行动画切换时由于动画动作不连贯,造成动画卡顿的错觉。
为了解决上述问题,本申请中在音频播放状态发生改变时,其对应相邻的不同动画类型进行切换,在音频动画与待机动画之间插入过渡动画,并将动画类别切换时差与音频播放延迟时差同步为预设时间阈值;其中,预设时间阈值的设置使得音频开始播报时刻与过渡帧(相邻动画切换类别组进行切换插入的过渡帧)播放完毕时刻高度重合。例如:数字人开始播放音频的时刻,对应数字人由待机动画过渡到音频动画的时刻,避免了由于动画类别切换时差与音频播放延迟时差不一致而造成的音画不同步问题。其次,本申请中通过淡入淡出效果函数在过渡时间段内对相邻两个动画切换类别组的动画进行拟合,实现相邻动画对应的不同姿态的过渡,使得基础模型动作更加流畅,避免相邻切换动画之间由于动作差异较大而直接切换造成的生硬感。
本实施例中的淡入淡出效果的函数为three.js提供的crossFadeTo,在其他实施例中可以用其他函数替代,只要能够达到相同的效果即可。
其次,本申请是基于音频的播放状态对动画类型的切换进行驱动,也保证了音频播放与动画播放同步进行。
通过动画切换的时差与音频延迟时间同步设置,以及音频的播放状态对动画类别组进行切换,解决音画不同步的问题。
进一步的,预设时间阈值通过以下方法获取:
步骤S501,当音频动画和待机动画之间进行动画类型切换时,音频动画与待机动画之间插入过渡动画;
步骤S502,获取下一动画对应的第一播放时长和总帧数;下一动画为排在过渡动画之后的音频动画或待机动画;
步骤S503,根据第一播放时长和总帧数,计算单位时间内绘制帧数;
步骤S504,获取过渡动画的总帧数;
步骤S505,根据过渡动画的总帧数和单位时间内绘制帧数的比值,得到预设时间阈值。
具体地,将下一动画与过渡动画对应的单位时间内绘制帧数设置为同一数值,可以使得过渡动画的播放速率与下一动画播放速率相匹配,再加上three.js提供的crossFadeTo的淡入淡出效果使得相邻动画之间的切换衔接更加流畅,解决动画卡顿和丢帧的视觉问题。
进一步的,该方法还包括以下步骤:
步骤S601,监听当前音频是否播放完毕;
步骤S602,如果是,则继续监听音频队列是否为空队;
步骤S603,如果否,则继续对音频队列中新的待播放音频依次进行播放。
具体地,利用事件监听程序分别对当前音频的播放状态进行监测,当事件监听程序监测到当前音频播放完毕时,返回步骤S103执行;若音频队列中不为空,即有新的待播放音频,对音频队列中新的待播放音频依次进行播放,并根据音频和动画匹配规则配置对应的音频动画作用于基础模型上,直至当前音频被播放完毕,且音频队列为空时,返回步骤S102执行,将当前的音频动画切换为待机动画。
实施例二:
图2为本发明实施例二提供的一种音画同步的调整装置示意图。
参照图2,该装置包括用于执行如上所述的一种音画同步的调整方法的各个模块,模块包括加载模块、获取模块、监听模块和配置模块;
加载模块1,通过渲染引擎加载基础模型、动画姿态控制模型和音频队列,以及设置音频和动画匹配规则;音频和动画匹配规则是判断音频队列中音频播放状态,并根据判断结果匹配对应的动画进行播放的规则;
获取模块2,用于从动画姿态控制模型中获取待机动画,将待机动画作用于基础模型上,并设置待机动画的播放状态;
监听模块3,用于监听音频队列是否为空队;
配置模块4,用于在音频队列不为空队的情况下,对音频队列中新的待播放音频依次进行播放,并根据音频和动画匹配规则配置对应的音频动画作用于基础模型上。
本发明实施例还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例提供的一种音画同步的调整方法的步骤。
本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质,计算机可读介质上存储有计算机程序,计算机程序被处理器运行时执行上述实施例的一种音画同步的调整方法的步骤。
本发明实施例所提供的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种音画同步的调整方法,其特征在于,所述方法包括:
通过渲染引擎加载基础模型、动画姿态控制模型和音频队列,以及设置音频和动画匹配规则;所述音频和动画匹配规则是判断所述音频队列中音频播放状态,并根据判断结果匹配对应的动画进行播放的规则;
从所述动画姿态控制模型中获取待机动画,将所述待机动画作用于所述基础模型上,并设置所述待机动画的播放状态;
监听所述音频队列是否为空队;
如果否,则对所述音频队列中新的待播放音频依次进行播放,并根据所述音频和动画匹配规则配置对应的音频动画作用于所述基础模型上;
在通过渲染引擎加载基础模型、动画姿态控制模型和音频队列之后,所述方法还包括:
将所述动画姿态控制模型按照音频播放状态的类别进行分类,得到动画切换类别组;其中,所述动画切换类别组至少包括待机动画组和音频动画组;所述待机动画组中至少包含一个待机动画,所述音频动画组中至少包含一个音频动画;
将每个所述待机动画或所述音频动画中对应的不同类别按照顺序进行编号,得到标记后的动画姿态控制模型;
所述音频和动画匹配规则通过以下方式进行设置:
确定当前音频的播放状态;所述播放状态为正在播放状态或播放完毕状态;
根据所述正在播放状态或所述播放完毕状态确定与之对应的所述动画切换类别组,并对所述动画切换类别组中的每个动画分别设置初始化数值相同的权重标签;
基于每个所述动画对应的不同所述编号和最大数值对应的所述权重标签,利用随机算法或索引扫描算法从所述动画切换类别组中随机选择所述动画匹配所述当前音频的播放状态进行播放,并降低当前播放动画对应的所述权重标签的数值,得到所述当前播放动画对应的更改数值后的所述权重标签。
2.根据权利要求1所述的一种音画同步的调整方法,其特征在于,所述音频和动画匹配规则通过以下方式进行设置包括:
判断所述音频队列是否为所述空队,若为所述空队配置所述待机动画;若不为所述空队,则对应所述音频队列中音频处于正在播放状态匹配所述音频动画;直至所述音频队列中所有音频处于播放完毕状态,则对应配置所述待机动画。
3.根据权利要求1所述的一种音画同步的调整方法,其特征在于,所述方法还包括:
在相邻的不同动画类型切换时段中插入过渡动画,并将动画类别切换时差与音频播放延迟时差同步为预设时间阈值;
其中,所述动画类别切换时差为相邻动画切换类别组之间进行切换时引入过渡帧对应的过渡时间段,所述音频播放延迟时差为下一段音频延迟播放时长。
4.根据权利要求3所述的一种音画同步的调整方法,其特征在于,所述预设时间阈值通过以下方法获取:
当所述音频动画和所述待机动画之间进行动画类型切换时,所述音频动画与所述待机动画之间插入所述过渡动画;
获取下一动画对应的第一播放时长和总帧数;所述下一动画为排在所述过渡动画之后的所述音频动画或所述待机动画;
根据所述第一播放时长和所述总帧数,计算单位时间内绘制帧数;
获取所述过渡动画的总帧数;
根据所述过渡动画的总帧数和所述单位时间内绘制帧数的比值,得到所述预设时间阈值。
5.根据权利要求1所述的一种音画同步的调整方法,其特征在于,所述方法还包括:
监听当前音频是否播放完毕;
如果是,则继续监听所述音频队列是否为空队;
如果否,则继续对所述音频队列中所述新的待播放音频依次进行播放。
6.一种音画同步的调整装置,其特征在于,所述装置包括用于执行权利要求1至5任一项所述的一种音画同步的调整方法的各个模块,所述模块包括加载模块、获取模块、监听模块和配置模块;
所述加载模块,用于通过渲染引擎加载基础模型、动画姿态控制模型和音频队列,以及设置音频和动画匹配规则;所述音频和动画匹配规则是判断所述音频队列中音频播放状态,并根据判断结果匹配对应的动画进行播放的规则;
所述获取模块,用于从所述动画姿态控制模型中获取待机动画,将所述待机动画作用于所述基础模型上,并设置所述待机动画的播放状态;
所述监听模块,用于监听所述音频队列是否为空队;
所述配置模块,用于在所述音频队列不为所述空队的情况下,对所述音频队列中新的待播放音频依次进行播放,并根据所述音频和动画匹配规则配置对应的音频动画作用于所述基础模型上;
在通过渲染引擎加载基础模型、动画姿态控制模型和音频队列之后,所述装置还包括:
将所述动画姿态控制模型按照音频播放状态的类别进行分类,得到动画切换类别组;其中,所述动画切换类别组至少包括待机动画组和音频动画组;所述待机动画组中至少包含一个待机动画,所述音频动画组中至少包含一个音频动画;
将每个所述待机动画或所述音频动画中对应的不同类别按照顺序进行编号,得到标记后的动画姿态控制模型;
所述音频和动画匹配规则通过以下方式进行设置:
确定当前音频的播放状态;所述播放状态为正在播放状态或播放完毕状态;
根据所述正在播放状态或所述播放完毕状态确定与之对应的所述动画切换类别组,并对所述动画切换类别组中的每个动画分别设置初始化数值相同的权重标签;
基于每个所述动画对应的不同所述编号和最大数值对应的所述权重标签,利用随机算法或索引扫描算法从所述动画切换类别组中随机选择所述动画匹配所述当前音频的播放状态进行播放,并降低当前播放动画对应的所述权重标签的数值,得到所述当前播放动画对应的更改数值后的所述权重标签。
7.一种电子设备,包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至5任一项所述的一种音画同步的调整方法。
8.一种具有处理器可执行的非易失的程序代码的计算机可读介质,其特征在于,所述程序代码使所述处理器执行所述权利要求1至5任一项所述的一种音画同步的调整方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311211973.5A CN116958331B (zh) | 2023-09-20 | 2023-09-20 | 一种音画同步的调整方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311211973.5A CN116958331B (zh) | 2023-09-20 | 2023-09-20 | 一种音画同步的调整方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116958331A CN116958331A (zh) | 2023-10-27 |
CN116958331B true CN116958331B (zh) | 2024-01-19 |
Family
ID=88455001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311211973.5A Active CN116958331B (zh) | 2023-09-20 | 2023-09-20 | 一种音画同步的调整方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116958331B (zh) |
Citations (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5913062A (en) * | 1993-11-24 | 1999-06-15 | Intel Corporation | Conference system having an audio manager using local and remote audio stream state machines for providing audio control functions during a conference session |
CN104853239A (zh) * | 2015-04-27 | 2015-08-19 | 浙江生辉照明有限公司 | 音视频同步播放控制方法和系统 |
CN104902316A (zh) * | 2015-05-14 | 2015-09-09 | 广东欧珀移动通信有限公司 | 同步播放时间的方法、装置、智能音箱及移动终端 |
CN107801080A (zh) * | 2017-11-10 | 2018-03-13 | 普联技术有限公司 | 一种音视频同步方法、装置及设备 |
CN108921923A (zh) * | 2018-05-04 | 2018-11-30 | 北京物灵智能科技有限公司 | 一种基于音乐播放动画的方法、装置及存储设备 |
CN109377539A (zh) * | 2018-11-06 | 2019-02-22 | 北京百度网讯科技有限公司 | 用于生成动画的方法和装置 |
JP6487083B1 (ja) * | 2018-03-07 | 2019-03-20 | 株式会社スクウェア・エニックス | ウェイトマップの局所性を考慮したスキニング分解高速化方法及び同スキニング分解高速化プログラム |
CN109508405A (zh) * | 2018-12-24 | 2019-03-22 | 北京爱奇艺科技有限公司 | 一种推荐视频的确定方法、装置、电子设备及存储介质 |
CN109753585A (zh) * | 2018-12-24 | 2019-05-14 | 北京爱奇艺科技有限公司 | 一种推荐视频的确定方法、装置、电子设备及存储介质 |
CN110267064A (zh) * | 2019-06-12 | 2019-09-20 | 百度在线网络技术(北京)有限公司 | 音频播放状态处理方法、装置、设备及存储介质 |
CN111988647A (zh) * | 2020-08-27 | 2020-11-24 | 广州视源电子科技股份有限公司 | 音画同步调整方法、装置、设备以及介质 |
CN112104908A (zh) * | 2019-06-18 | 2020-12-18 | 上海哔哩哔哩科技有限公司 | 音视频文件播放方法、装置、计算机设备及可读存储介质 |
CN112543342A (zh) * | 2020-11-26 | 2021-03-23 | 腾讯科技(深圳)有限公司 | 虚拟视频直播处理方法及装置、存储介质、电子设备 |
CN112995730A (zh) * | 2021-03-30 | 2021-06-18 | 闻泰通讯股份有限公司 | 音画同步调整方法、装置、电子设备及介质 |
CN113034384A (zh) * | 2021-02-26 | 2021-06-25 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备以及存储介质 |
CN113052946A (zh) * | 2019-12-27 | 2021-06-29 | 佛山市云米电器科技有限公司 | 动画显示方法、破壁机及计算机可读存储介质 |
CN113347503A (zh) * | 2021-06-15 | 2021-09-03 | 广州酷狗计算机科技有限公司 | 音视频播放方法、装置、计算机设备及存储介质 |
CN113781611A (zh) * | 2021-08-25 | 2021-12-10 | 北京壳木软件有限责任公司 | 一种动画制作方法、装置、电子设备及存储介质 |
CN113961331A (zh) * | 2021-11-05 | 2022-01-21 | 深圳市思迪信息技术股份有限公司 | 视频渲染的任务调度方法及装置 |
CN114302192A (zh) * | 2021-12-15 | 2022-04-08 | 广州小鹏汽车科技有限公司 | 一种音画同步方法、装置、车辆及存储介质 |
CN114338965A (zh) * | 2020-09-30 | 2022-04-12 | 荣耀终端有限公司 | 音频处理的方法及电子设备 |
CN114615381A (zh) * | 2022-03-08 | 2022-06-10 | 维沃移动通信有限公司 | 音频数据处理方法、装置、电子设备、服务器和存储介质 |
CN114630170A (zh) * | 2022-03-24 | 2022-06-14 | 北京字节跳动网络技术有限公司 | 一种音视频同步方法、装置、电子设备及存储介质 |
CN115471489A (zh) * | 2022-09-30 | 2022-12-13 | 北京智谱华章科技有限公司 | 数字人渲染视频的检测方法和系统 |
CN115762581A (zh) * | 2022-11-09 | 2023-03-07 | 福建星网视易信息系统有限公司 | 一种歌曲串接过渡方法、终端及存储介质 |
CN115984429A (zh) * | 2022-12-05 | 2023-04-18 | 北京航空航天大学 | 一种基于文本驱动的真实感虚拟人生成方法及装置 |
CN116527977A (zh) * | 2023-04-26 | 2023-08-01 | 深圳创维-Rgb电子有限公司 | 一种音画同步方法、装置、电子设备及可读存储介质 |
CN116527980A (zh) * | 2023-05-23 | 2023-08-01 | 北京字跳网络技术有限公司 | 动画播放方法、装置、介质以及电子设备 |
CN116708892A (zh) * | 2023-07-04 | 2023-09-05 | 抖音视界有限公司 | 一种音画同步检测方法、装置、设备和存储介质 |
CN116721191A (zh) * | 2023-08-09 | 2023-09-08 | 腾讯科技(深圳)有限公司 | 口型动画处理方法、装置及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150293995A1 (en) * | 2014-04-14 | 2015-10-15 | David Mo Chen | Systems and Methods for Performing Multi-Modal Video Search |
-
2023
- 2023-09-20 CN CN202311211973.5A patent/CN116958331B/zh active Active
Patent Citations (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5913062A (en) * | 1993-11-24 | 1999-06-15 | Intel Corporation | Conference system having an audio manager using local and remote audio stream state machines for providing audio control functions during a conference session |
CN104853239A (zh) * | 2015-04-27 | 2015-08-19 | 浙江生辉照明有限公司 | 音视频同步播放控制方法和系统 |
CN104902316A (zh) * | 2015-05-14 | 2015-09-09 | 广东欧珀移动通信有限公司 | 同步播放时间的方法、装置、智能音箱及移动终端 |
CN107801080A (zh) * | 2017-11-10 | 2018-03-13 | 普联技术有限公司 | 一种音视频同步方法、装置及设备 |
JP6487083B1 (ja) * | 2018-03-07 | 2019-03-20 | 株式会社スクウェア・エニックス | ウェイトマップの局所性を考慮したスキニング分解高速化方法及び同スキニング分解高速化プログラム |
CN108921923A (zh) * | 2018-05-04 | 2018-11-30 | 北京物灵智能科技有限公司 | 一种基于音乐播放动画的方法、装置及存储设备 |
CN109377539A (zh) * | 2018-11-06 | 2019-02-22 | 北京百度网讯科技有限公司 | 用于生成动画的方法和装置 |
CN109508405A (zh) * | 2018-12-24 | 2019-03-22 | 北京爱奇艺科技有限公司 | 一种推荐视频的确定方法、装置、电子设备及存储介质 |
CN109753585A (zh) * | 2018-12-24 | 2019-05-14 | 北京爱奇艺科技有限公司 | 一种推荐视频的确定方法、装置、电子设备及存储介质 |
CN110267064A (zh) * | 2019-06-12 | 2019-09-20 | 百度在线网络技术(北京)有限公司 | 音频播放状态处理方法、装置、设备及存储介质 |
CN112104908A (zh) * | 2019-06-18 | 2020-12-18 | 上海哔哩哔哩科技有限公司 | 音视频文件播放方法、装置、计算机设备及可读存储介质 |
CN113052946A (zh) * | 2019-12-27 | 2021-06-29 | 佛山市云米电器科技有限公司 | 动画显示方法、破壁机及计算机可读存储介质 |
CN111988647A (zh) * | 2020-08-27 | 2020-11-24 | 广州视源电子科技股份有限公司 | 音画同步调整方法、装置、设备以及介质 |
CN114338965A (zh) * | 2020-09-30 | 2022-04-12 | 荣耀终端有限公司 | 音频处理的方法及电子设备 |
CN112543342A (zh) * | 2020-11-26 | 2021-03-23 | 腾讯科技(深圳)有限公司 | 虚拟视频直播处理方法及装置、存储介质、电子设备 |
CN113034384A (zh) * | 2021-02-26 | 2021-06-25 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备以及存储介质 |
CN112995730A (zh) * | 2021-03-30 | 2021-06-18 | 闻泰通讯股份有限公司 | 音画同步调整方法、装置、电子设备及介质 |
CN113347503A (zh) * | 2021-06-15 | 2021-09-03 | 广州酷狗计算机科技有限公司 | 音视频播放方法、装置、计算机设备及存储介质 |
CN113781611A (zh) * | 2021-08-25 | 2021-12-10 | 北京壳木软件有限责任公司 | 一种动画制作方法、装置、电子设备及存储介质 |
CN113961331A (zh) * | 2021-11-05 | 2022-01-21 | 深圳市思迪信息技术股份有限公司 | 视频渲染的任务调度方法及装置 |
CN114302192A (zh) * | 2021-12-15 | 2022-04-08 | 广州小鹏汽车科技有限公司 | 一种音画同步方法、装置、车辆及存储介质 |
CN114615381A (zh) * | 2022-03-08 | 2022-06-10 | 维沃移动通信有限公司 | 音频数据处理方法、装置、电子设备、服务器和存储介质 |
CN114630170A (zh) * | 2022-03-24 | 2022-06-14 | 北京字节跳动网络技术有限公司 | 一种音视频同步方法、装置、电子设备及存储介质 |
CN115471489A (zh) * | 2022-09-30 | 2022-12-13 | 北京智谱华章科技有限公司 | 数字人渲染视频的检测方法和系统 |
CN115762581A (zh) * | 2022-11-09 | 2023-03-07 | 福建星网视易信息系统有限公司 | 一种歌曲串接过渡方法、终端及存储介质 |
CN115984429A (zh) * | 2022-12-05 | 2023-04-18 | 北京航空航天大学 | 一种基于文本驱动的真实感虚拟人生成方法及装置 |
CN116527977A (zh) * | 2023-04-26 | 2023-08-01 | 深圳创维-Rgb电子有限公司 | 一种音画同步方法、装置、电子设备及可读存储介质 |
CN116527980A (zh) * | 2023-05-23 | 2023-08-01 | 北京字跳网络技术有限公司 | 动画播放方法、装置、介质以及电子设备 |
CN116708892A (zh) * | 2023-07-04 | 2023-09-05 | 抖音视界有限公司 | 一种音画同步检测方法、装置、设备和存储介质 |
CN116721191A (zh) * | 2023-08-09 | 2023-09-08 | 腾讯科技(深圳)有限公司 | 口型动画处理方法、装置及存储介质 |
Non-Patent Citations (1)
Title |
---|
基于关键帧和指示符运动模型的教学视频压缩算法;孟春宁;《激光与光电子学进展》;第55卷(第10期);124-135 * |
Also Published As
Publication number | Publication date |
---|---|
CN116958331A (zh) | 2023-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8683341B2 (en) | Multimedia presentation editor for a small-display communication terminal or computing device | |
US11277667B2 (en) | Methods, systems, and media for facilitating interaction between viewers of a stream of content | |
US11528243B2 (en) | Methods, systems, and media for generating a notification in connection with a video content hem | |
CN106331877A (zh) | 弹幕播放方法及装置 | |
CN108574874B (zh) | 一种视频播放速度调整方法及装置 | |
US10319411B2 (en) | Device and method for playing an interactive audiovisual movie | |
CN108924582A (zh) | 视频录制方法、计算机可读存储介质及录播系统 | |
US20220188357A1 (en) | Video generating method and device | |
CN105812933B (zh) | 电视的启动方法及装置 | |
CN109753145B (zh) | 一种过渡动画的展示方法和相关装置 | |
WO2018098340A1 (en) | Intelligent graphical feature generation for user content | |
CN101155279A (zh) | 显示设备及其广播信号显示方法 | |
CN116958331B (zh) | 一种音画同步的调整方法、装置和电子设备 | |
US10984836B2 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
CN111736942A (zh) | Vr系统中多应用场景显示方法、装置及vr设备 | |
CN108876866B (zh) | 一种媒体数据处理方法、装置及存储介质 | |
CN116049453A (zh) | 图片集播放方法及其装置、设备、介质 | |
CN112148113A (zh) | 眼部运动多媒体信息播放的方法、装置及显示终端 | |
CN105872667A (zh) | 一种智能终端播放广告的方法和一种智能终端 | |
KR20230120668A (ko) | 영상통화 방법 및 장치 | |
CN113891136A (zh) | 一种视频播放方法、装置、电子设备和存储介质 | |
CN113891144A (zh) | 视频展示方法及装置 | |
CN112256167A (zh) | 多媒体资源切换方法、装置、电子设备及存储介质 | |
CN112650421A (zh) | 页面切换显示方法、装置及存储介质 | |
CN115277650B (zh) | 投屏显示控制方法、电子设备及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |