CN103915106B - 片头生成方法及生成系统 - Google Patents

Abstract

本发明提供了一种片头的生成方法，包括步骤:S101，拾取当前声音信号，并对当前声音信号特征提取，建立当前声音模型；S102，判断当前声音模型是否为新声音模型，若是，则加入至声音模型库，并提取并保存当前帧画面，将当前声音的音量设定为初始音量，返回步骤S101；S103，若当前声音模型不是新声音模型，判定当前声音音量与初始音量之间的差值的绝对值是否大于预定阈值，若是，则提取并保存当前帧画面，将当前声音的音量设定为初始音量，返回步骤S101；以及S104，将提取并保存的帧画面生成片头。本发明还对应提供一种片头的生成系统。本发明能够解决现有终端不给所拍摄的视频加片头或者加片头的方式不够完善的问题。

Description

片头生成方法及生成系统

技术领域

本发明涉及电子技术领域，尤其涉及一种片头生成方法及视频片头生成系统。

背景技术

传统的片头生成方式主要是在视频拍摄完成后，人工从视频中抽取能反映主要内容的帧画面。这种方式工作量大，不够智能。

尤其是随着LTE（Long Term Evolution，长期演进)网络的普及，LTE网络会带来足够的网速，使得手机视频的拍摄和上传成为了潮流。现有手机上传的视频都是最原始的视频数据，手机不会对视频做任何处理工作，如剪辑、加片头等等，因为这些工作费时间，而且还需要利用电脑上专业的视频编辑软件才能完成。而所拍摄的视频长度一般都会有几十秒或几分钟或更长的时间，对于观看者而言，观看视频是比较费时间的，看完后也许会觉得后悔花时间来看整个视频，认为很不值得观看。

所以有必要提供一种智能的片头生成方案，让终端在拍摄时自动生成片头，能很好地反应整个视频的关键内容，给观看者一个提示，起到摘要作用。

发明内容

针对上述的缺陷，本发明提供一种片头的生成方法及系统，解决现有技术不给所拍摄的视频加片头或者加片头的方式不够完善的问题。

为了实现上述目的，本发明提供片头的生成方法及系统。

一种片头的生成方法，包括步骤:

S101，拾取当前声音信号，并对当前声音信号特征提取，建立当前声音模型;

S102，判断当前声音模型是否为新声音模型，若是，则加入至声音模型库，并提取并保存当前帧画面，将当前声音的音量设定为初始音量，返回步骤S101；

S103，若当前声音模型不是新声音模型，判定当前声音音量与初始音量之间的差值的绝对值是否大于预定阈值，若是，则提取并保存当前帧画面，将当前声音的音量设定为初始音量，返回步骤S101；以及

S104，将提取并保存的帧画面生成片头。

其中，当前声音为视频的第一个声音时，建立当前声音模型并将声音模型加入至声音模型库，自动提取该当前声音模型对应的帧画面并保存。

其中，判断当前声音模型是否为新声音模型包括步骤：

拾取的第一个声音，作为声源1；

对第一个声音进行特征提取，并建立声音模型，将声音模型加入至声音模型库；

继续拾取当前声音，并对拾取的当前声音进行特征提取，建立当前声音模型；以及将当前声音模型与声音模型库内的声音模型进行比较，判断当前声音模型是否存在于声音模型库内，若否则将当前声音模型加入声音模型库内，并将当前声音作为声源i，其中，i大于或者等于2，并加入至声音模型库。

其中，判断当前声音模型是否为新声音模型包括步骤：

拾取的第一个声音，作为声源1；

对第一个声音进行特征提取，并建立声音模型，将声音模型加入至声音模型库；

继续拾取当前声音，并对拾取的当前声音进行特征提取，建立当前声音模型；

将当前声音模型与声音模型库内的声音模型进行比较，判断当前声音模型是否存在于声音模型库内；以及

采用声音信号分离技术将当前声音信号分为若干单独的声音信号，判断单独的声音是否为新声音，若是将单独的声音模型加入至声音模型库，并将单独的声音分别作为声源i，其中，i大于或者等于2，并加入至声音模型库。

其中，采用盲源分离方法将当前声音信号将当前声音信号分为若干单独的声音信号。

一种片头的生成方法，包括步骤：

拾取当前声音信号，并对当前声音信号特征提取，建立当前声音模型；

判断当前声音模型是否为新声音模型，如是，则加入至声音模型库，并提取并保存当前帧画面；以及

将提取并保存的帧画面生成片头。

一种片头的生成系统，包括：

声音拾取模块，用于拾取当前声音；

声音识别模块，用于对当前声音信号特征提取，建立当前声音模型，并判定当前声音模型是否为新声音模型；

帧提取模型，用于在判定声音模型为新声音模型时，提取并保存帧画面；以及

生成模块，用于将提取的帧画面生成片头。

其中，所述片头的生成系统还包括音量比较模块，用于判定当前声音音量与初始音量之间的差值的绝对值是否大于预定阈值，并在判定当前声音音量与初始音量之间的差值的绝对值大于预定阈值，将当前声音音量设定为初始音量。

其中，所述声音识别模块包括特征提取单元、建模单元及判定单元，所述特征提取单元用于对当前声音进行特征提取，所述建模单元用于根据特征提取单元提取的特征建立当前声音模型，所述判定单元用于判定当前声音模型是否存在于声音模型库。

其中，所述声音识别模块还包括信号分离单元，用于将混合的当前声音信号分离为单独的声音信号。

本技术方案提供的片头的生成方法，通过对拍摄过程中是否有新声音的出现及声音音量的变化来提取帧画面生成片头，所提取的帧画面能够反应视频中场景的变化以及事态的发展。生成的片头能够反应视频中的场景变化或者人物及事物的出现，使观影者了解视频的内容。

附图说明

图1为本技术方案第一实施方式提供的片头的生成方法的流程图；

图2为本技术方案第一实施方式提供的片头的生成方法的具体流程图；

图3为本技术方案第一实施方式提供在简单声音环境判断是否为新声音的方法的具体流程图；

图4为本技术方案第一实施方式提供在复杂声音环境判断是否为新声音的方法的具体流程图；；

图5为本技术方案第二实施方式提供的片头的生成方法的流程图；

图6是本技术方案提供的片头的生成系统的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

相对专业的影视作品拍摄，手机等移动终端的视频拍摄有一定的特殊性，其中最重要的就是手机拍摄一般只涉及一个镜头，不存在多个镜头进行组合的情况，而且场景变化也显得相对单调，常常整个镜头都集中在一个场景中，或者局限于拍摄人四周的环境。在这种情况下，拍摄的人物环境及自然环境就显得较为简单，所产生的声音也简单，一般就是几个人的声音，或者一群人的声音，或者一些来自自然界或环境的声音。另外，由于这样的拍摄没有剧情的限制，拍摄人对拍摄什么都是很随机的，常常会随着对其周围事物的兴趣感的变化随时改变手机镜头的方向，例如在拍摄舞台上演员跳舞时，开始是一些伴奏音乐，突然主角儿开始唱歌了，那么拍摄人的镜头可能会对准歌手，或采用镜头放大的方式使得镜头聚焦到歌手身上。这样一种变化完全是随机的，是随着镜头前声音的变化而确定的，所以说移动终端拍摄的特殊性决定了可以利用声音的变化来确定视频中哪些画面是与内容息息相关的关键画面帧。

本技术方案就是基于对视频中的声音与画面之间的关系，根据视频拍摄过程中对声音的识别而提取视频中的关键帧，从而生成视频片头的方法。

请参阅图1及图2，本技术方案第一实施方式也提供一种片头的生成方法，包括步骤:

S101，拾取当前声音信号，并对当前声音信号特征提取，建立当前声音模型

从视频拍摄开始，拍摄终端的声音拾取装置如麦克风等能够拾取声音信号。所述声音信号可以是被拍摄的人或者物发出的声音，也可以是周围环境的声音。所述声音信号特征包括统计特征及频谱特征等，所述声音模型根据所述声音信号特征进行建立。

S102，判断当前声音模型是否为新声音模型，若是，则加入至声音模型库，并提取并保存当前帧画面，将当前声音的音量设定为初始音量，并返回S101。

若否，则进行S103。

本步骤具体为判断当前声音模型是否存在于声音模型库内，即将当前声音模型与声音模型库内的声音模型进行比较，若当前声音模型与声音模型库内的某一声音模型相同，则表明该声音之前已经出现过，不是新声音模型。若当前声音模型与声音模型库内的任一声音模型均不相同，则表明该声音之前没有出现过，是新声音模型。当判断为新声音模型时，则自动提取该当前声音模型对应的当前帧并保存，将当前声音的音量设定为初始音量，并返回S101。

当前声音为视频的第一个声音时，声音模型库内还未添加有声音模型，因此，第一个声音模型为新声音模型。因此，建立声音模型之后，还将声音模型加入至声音模型库，自动提取该当前声音模型对应的当前帧并保存，并将第一个声音的音量设定为初始音量。

当前声音为视频的第一个声音时，声音模型库内还添加有声音模型，因此，第一个声音模型为新声音模型。因此，建立声音模型之后，还将声音模型加入至声音模型库，自动提取该当前声音模型对应的当前帧并保存。

本步骤可以分为简单声音环境和复杂声音环境两种情况进行判断。在摄影时，摄影者可以根据实际摄影场景的需要选择简单声音环境模式或者复杂声音环境模式。

简单声音环境为在这一场景下同时发出的声音不多，每次只有一个声音产生。在此种情况下，判断当前声音模型是否为新声音模型具体流程如图3所示:

第一步，拾取的第一个声音，作为声源1。

所述第一个声音可以是人或物发出的声音。所述第一声音为单独的声音。

第二步，对第一个声音进行特征提取，并建立声音模型，将声音模型加入至声音模型库。

第三步，拾取当前声音，并对拾取的当前声音进行特征提取，建立当前声音模型。

第四步，将当前声音模型与声音模型库内的声音模型进行比较，判断当前声音模型是否存在于声音模型库内。

若当前声音模型没有存在于声音模型库，则将当前声音模型加入声音模型库内，并将当前声音作为声源i，i=2，3，……，并加入至声音模型库，继续拾取声音。若当前声音存在于声音模型库，则继续拾取声音。

复杂声音环境为在一个场景下存在多个声音同时发生的情况，此时拾取的声音是这多个声音的混合，需要采用声音信号分离的方法先将各种声音信号分开，例如各种盲源分离方法等，然后再进行识别。在此种情况下，判断当前声音模型是否为新声音模型具体流程如图4所示:

第一步，拾取的第一个声音，作为声源1。

所述第一个声音可以是人或物发出的声音。可以是单独的声音，也可能为复杂的声音。

第二步，对第一个声音进行特征提取，并建立声音模型，将声音模型加入至声音模型库。

第三步，拾取当前声音，并对拾取的当前声音进行特征提取，建立当前声音模型。

第四步，将当前声音模型与声音模型库内的声音模型进行比较，判断当前声音模型是否存在于声音模型库内。

若当前声音存在于声音模型库，则继续拾取声音。若当前声音模型没有存在于声音模型库，则进行第五步。

第五步，采用声音信号分离技术将当前声音信号分为若干单独的声音信号，判断单独的声音是否为新声音，若是将单独的声音模型加入至声音模型库，并将单独的声音分别作为声源i，i=2，3，……，并加入至声音模型库，继续拾取声音。

本步骤中，将当前声音信号分为若干单独的声音信号可以采用盲源分离方法等技术实现。

S103，若当前声音模型不是新声音模型，判定当前声音音量与初始音量之间的差值的绝对值是否大于预定阈值，若是，则提取并保存当前帧画面，将当前声音的音量设定为初始音量，并返回S101。

当前声音音量与初始音量之间的差值的绝对值是否大于预定阈值，提取并保存当前帧画面，将当前声音的音量设定为初始音量，然后，循环进行S201至S203。若当前声音音量与初始音量之间的差值的绝对值是否不大于预定阈值，则直接循环进行S101至S103。

所述预定阈值可以根据实际拍摄的视频的声音音量的大小进行确定。例如根据拍摄场景进行选择，对于相对比较安静的拍摄场景，可以选择阈值为5dB或更低，因为在这样一个场景中声音变化相对是比较小的；而对于比较吵杂的拍摄场景，就可以选择阈值为10dB或更高，因为在这种场合下声音音量的起伏本来就比较大，如餐厅，车站等。

S104，将提取并保存的帧画面生成片头。

将抽取的帧画面按照拍摄时间由先到后的顺序，以预设时间间隔连接生成片头。由于片头中各帧画面之间可能是断续的，所以需要预设一个帧与帧之间转换的时间间隔，优选的，所述预设时间间隔为0.5秒，即每0.5秒播放片头中的一个画面帧。

还可以包括以下步骤：对生成的片头设置标示，将标示显示在片头的视频画面上。在整个视频拍摄完毕以后，可以将片头加到所拍摄的整个视频前面，同时给出片头的标示，以提示观看者。

在拍摄视频的过程中，场景中本来存在的事物从无活动到活动，也可能开始发声，也即从非主角变为场景中的主角，声音可能就成为了这个转变的一个标志性的特征；从一个场景变到另一个场景，可能也会出现新的声音，新的声音可作为一个场景转换的标志同一场景中，新的人物或事物的出现，产生了新的声音，那么这个人物或事物的出现就会改变这个场景的画面。场景中事态的发展，可能导致声音的变化，事态趋于平静，可能声音音量会下降，事态往高潮或矛盾方向发展，音量可能会提升。

本技术方案提供的片头的生成方法，通过对拍摄过程中是否有新声音的出现及声音音量的变化来提取帧画面生成片头，所提取的帧画面能够反应视频中场景的变化以及事态的发展。生成的片头能够反应视频中的场景变化或者人物及事物的出现，使观影者了解视频的内容。

请参阅图5，本技术方案第二实施方式提供一种视频片头的生成方法，所述方法包括步骤：

S201，拾取当前声音信号，并对当前声音信号特征提取，建立当前声音模型。

从视频拍摄开始，拍摄终端的声音拾取装置如麦克风等能够拾取声音信号。所述声音信号可以是被拍摄的人或者物发出的声音，也可以是周围环境的声音。

S202，判断当前声音模型是否为新声音模型，如是，则加入至声音模型库，并提取并保存当前帧画面。

本步骤可以分为简单声音环境和复杂声音环境两种情况进行判断。具体的判断方法与第一实施方式中步骤S102中提供的判断方法相同，此处不再赘述。

S203，将提取并保存的帧画面生成片头。

将抽取的帧画面按照拍摄时间由先到后的顺序，以预设时间间隔连接生成片头。由于片头中各帧画面之间可能是断续的，所以需要预设一个帧与帧之间转换的时间间隔，优选的，所述预设时间间隔为0.5秒，即每0.5秒播放片头中的一个画面帧。

还可以包括以下步骤：对生成的片头设置标示，将标示显示在片头的视频画面上。在整个视频拍摄完毕以后，可以将片头加到所拍摄的整个视频前面，同时给出片头的标示，以提示观看者。

在拍摄视频的过程中，场景中本来存在的事物从无活动到活动，也可能开始发声，也即从非主角变为场景中的主角，声音可能就成为了这个转变的一个标志性的特征；从一个场景变到另一个场景，可能也会出现新的声音，新的声音可作为一个场景转换的标志同一场景中，新的人物或事物的出现，产生了新的声音，那么这个人物或事物的出现就会改变这个场景的画面。因此，本技术方案提供的片头的生成方法，通过对拍摄过程中是否有新声音的出现来提取帧画面生成片头，所提取的帧画面能够反应视频中场景的变化。生成的片头能够反应视频中的场景变化或者人物及事物的出现，使观影者了解视频的内容。

请参阅图6，本技术方案第三实施方式提供一种片头的生成系统100，所述片头的生成系统包括声音拾取模块110、声音识别模块120、音量比较模块130、帧提取模块140及生成模块150。

所述声音拾取模块110用于拾取当前声音。所述声音识别模块可以为麦克风等。

所述声音识别模块120用于对当前声音信号特征提取，建立当前声音模型，并判定当前声音模型是否为新声音模型。

所述声音识别模块120可以具体包括特征提取单元121、建模单元122及判定单元123。所述特征提取单元121用于对当前声音进行特征提取。所述建模单元122用于根据特征提取单元121提取的特征建立当前声音模型。所述判定单元123用于判定当前声音模型是否存在于声音模型库。

所述声音识别模块120还可以进一步包括信号分离单元124，所述信号分离单元124用于将混合的当前声音信号分离为单独的声音信号。

音量比较模块130用于判定当前声音音量与初始音量之间的差值的绝对值是否大于预定阈值，并在判定当前声音音量与初始音量之间的差值的绝对值大于预定阈值，将当前声音音量设定为初始音量。

帧提取模型140用于在判定声音模型为新声音模型及当前声音与初始声音的音量之差大于预定阈值时，提取并保存帧画面。

生成模块150用于将提取的帧画面生成片头。

本实施方式提供的片头的生成系统100还可以进一步包括设置模块160和显示模块170。所述设置模块160用于对生成的片头设置标示。所述显示模块170用于将设置模块160设置的标示显示在片头的视频画面上。

可以理解的是，当片头的生成系统100仅用于生成包括新声音出现的帧画面组成的片头是，本技术方案提供的片头的生成系统100也可以不包括音量比较模块130。

在拍摄视频的过程中，场景中本来存在的事物从无活动到活动，也可能开始发声，也即从非主角变为场景中的主角，声音可能就成为了这个转变的一个标志性的特征；从一个场景变到另一个场景，可能也会出现新的声音，新的声音可作为一个场景转换的标志同一场景中，新的人物或事物的出现，产生了新的声音，那么这个人物或事物的出现就会改变这个场景的画面。场景中事态的发展，可能导致声音的变化，事态趋于平静，可能声音音量会下降，事态往高潮或矛盾方向发展，音量可能会提升。本技术方案提供的片头的生成系统，通过对拍摄过程中是否有新声音的出现及声音的变化来提取帧画面生成片头，所提取的帧画面能够反应视频中场景的变化以及事态的发展。生成的片头能够反应视频中的场景变化或者人物及事物的出现，使观影者了解视频的内容。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (9)

1.一种片头的生成方法，包括步骤:

S101，拾取当前声音信号，并对当前声音信号特征提取，建立当前声音模型；

S102，判断当前声音模型是否为新声音模型，若是，则加入至声音模型库，并提取并保存当前帧画面，将当前声音的音量设定为初始音量，返回步骤S101；

S103，若当前声音模型不是新声音模型，判定当前声音音量与初始音量之间的差值的绝对值是否大于预定阈值，若是，则提取并保存当前帧画面，将当前声音的音量设定为初始音量，返回步骤S101；以及

S104，将提取并保存的帧画面生成片头。

2.如权利要求1所述的片头的生成方法，其特征在于，当前声音为视频的第一个声音时，建立当前声音模型并将声音模型加入至声音模型库，自动提取该当前声音模型对应的帧画面并保存。

3.如权利要求1所述的片头的生成方法，其特征在于，判断当前声音模型是否为新声音模型包括步骤：

拾取的第一个声音，作为声源1；

对第一个声音进行特征提取，并建立声音模型，将声音模型加入至声音模型库；

继续拾取当前声音，并对拾取的当前声音进行特征提取，建立当前声音模型；以及

将当前声音模型与声音模型库内的声音模型进行比较，判断当前声音模型是否存在于声音模型库内，若否则将当前声音模型加入声音模型库内，并将当前声音作为声源i，其中，i大于或者等于2，并加入至声音模型库。

4.如权利要求1所述的片头的生成方法，其特征在于，判断当前声音模型是否为新声音模型包括步骤：

拾取的第一个声音，作为声源1；

对第一个声音进行特征提取，并建立声音模型，将声音模型加入至声音模型库；

继续拾取当前声音，并对拾取的当前声音进行特征提取，建立当前声音模型；将当前声音模型与声音模型库内的声音模型进行比较，判断当前声音模型是否存在于声音模型库内；以及

若当前声音模型未存在于声音模型库内，采用声音信号分离技术将当前声音信号分为若干单独的声音信号，判断单独的声音是否为新声音，若是将单独的声音模型加入至声音模型库，并将单独的声音分别作为声源i，其中，i大于或者等于2，并加入至声音模型库。

5.如权利要求4所述的片头的生成方法，其特征在于，采用盲源分离方法将当前声音信号将当前声音信号分为若干单独的声音信号。

6.一种片头的生成方法，包括步骤：

拾取当前声音信号，并对当前声音信号特征提取，建立当前声音模型；

判断当前声音模型是否为新声音模型，如是，则加入至声音模型库，并提取并保存当前帧画面；以及

将提取并保存的帧画面生成片头。

7.一种片头的生成系统，包括：

声音拾取模块，用于拾取当前声音；

声音识别模块，用于对当前声音信号特征提取，建立当前声音模型，并判定当前声音模型是否为新声音模型；

帧提取模块，用于在判定声音模型为新声音模型时，提取并保存帧画面；以及

生成模块，用于将提取的帧画面生成片头；其中，

所述声音识别模块包括特征提取单元、建模单元及判定单元，所述特征提取单元用于对当前声音进行特征提取，所述建模单元用于根据特征提取单元提取的特征建立当前声音模型，所述判定单元用于判定当前声音模型是否存在于声音模型库。

8.如权利要求7所述的片头的生成系统，其特征在于，所述片头的生成系统还包括音量比较模块，用于判定当前声音音量与初始音量之间的差值的绝对值是否大于预定阈值，并在判定当前声音音量与初始音量之间的差值的绝对值大于预定阈值，将当前声音音量设定为初始音量。

9.如权利要求7所述的片头的生成系统，其特征在于，所述声音识别模块还包括信号分离单元，用于将混合的当前声音信号分离为单独的声音信号。