CN112261321B - 字幕处理方法、装置及电子设备 - Google Patents
字幕处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112261321B CN112261321B CN202011159807.1A CN202011159807A CN112261321B CN 112261321 B CN112261321 B CN 112261321B CN 202011159807 A CN202011159807 A CN 202011159807A CN 112261321 B CN112261321 B CN 112261321B
- Authority
- CN
- China
- Prior art keywords
- voice
- segment
- noise
- subtitle
- fragment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 239000012634 fragment Substances 0.000 claims abstract description 86
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 22
- 238000012216 screening Methods 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 36
- 230000004044 response Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000032041 Hearing impaired Diseases 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/278—Subtitling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Circuits (AREA)
Abstract
本申请公开了字幕处理方法、装置及电子设备，属于通信技术领域，所述方法包括：按照预设方式生成视频语音中的各噪音片段对应的第一字幕；在编辑区域中显示每段所述第一字幕和预设控件；在接收到对目标预设控件的第一输入的情况下，响应于所述第一输入对所述目标预设控件对应的所述第一字幕进行处理。本申请公开的字幕处理方法，可自动筛选出噪音片段对应的字幕，无需用户手动筛选，耗时短且可节省大量的人力资源。
Description
技术领域
本发明实施例涉及通信技术领域，尤其涉及一种字幕处理方法、装置及电子设备。
背景技术
随着短视频的流行，用电子设备直接制作短视频的博主越来越多。为了追求更加优质的制作效果以及帮助听力障碍的人士了解短视频内容，通常在短视频中添加字幕。
目前在为短视频添加字幕时，通过长语音识别方式将视频语音转换成字幕。但由于短视频录制时可能录入有噪声或与短视频内容不相关的其他声音，字幕转换后会将噪声或者其他声音也转入到字幕中，比如：街头小贩叫卖的广告语，影响字幕转换的准确性。为提升字幕转换的精准性，目前主要是通过人工核查筛选噪声或其他声音转换的字幕，该种方式不仅耗费大量的人力资源且耗时长。
发明内容
本申请实施例的目的是提供一种字幕处理方法，能够解决现有的字幕处理方法耗费大量人力资源且耗时长的问题。
为了解决上述技术问题，本发明是这样实现的：
第一方面，本申请实施例提供了一种字幕处理方法，按照预设方式生成视频语音中的各噪音片段对应的第一字幕；在编辑区域中显示每段所述第一字幕和预设控件；在接收到对目标预设控件的第一输入的情况下，响应于所述第一输入对所述目标预设控件对应的所述第一字幕进行处理；其中，预设方式包括以下至少之一：依据预设参数确定语音片段是否为噪音片段，并将噪音片段转换为第一字幕；依据预先训练的多模态模型，生成视频语音中的各段噪音片段对应的第一字幕；对所述第一字幕的处理包括以下至少之一：删除、恢复以及编辑。
第二方面，本申请实施例提供了一种字幕处理装置，其中，所述装置包括：生成模块，用于按照预设方式生成视频语音中的各噪音片段对应的第一字幕；显示模块，用于在编辑区域中显示每段所述第一字幕和预设控件；处理模块，用于在接收到对目标预设控件的第一输入的情况下，响应于所述第一输入对所述目标预设控件对应的所述第一字幕进行处理；其中，预设方式包括以下至少之一：依据预设参数确定语音片段是否为噪音片段，并将噪音片段转换为第一字幕；依据预先训练的多模态模型，生成视频语音中的各段噪音片段对应的第一字幕；对所述第一字幕的处理包括以下至少之一：删除、恢复以及编辑。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
本申请实施例中，通过按照预设方式生成视频语音中的各噪音片段对应的第一字幕；在编辑区域中显示每段第一字幕和预设控件；在接收到对目标预设控件的第一输入的情况下，响应于第一输入对目标预设控件对应的第一字幕进行处理，可自动筛选出噪音片段对应的字幕，无需用户手动筛选，耗时短且可节省大量的人力资源。不仅如此，用户还可以灵活地对系统筛选出的各噪音片段对应的第一字幕进行处理，既可提升字幕筛选的准确性，又可满足用户的个性化需求。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是表示本申请实施例的一种字幕处理方法的步骤流程图；
图2是表示本申请实施例的字幕编辑界面示意图；
图3是表示本申请实施例的一种字幕处理装置的结构框图；
图4是表示本申请实施例的一种电子设备的结构框图；
图5是表示本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的字幕处理方法进行详细地说明。
参照图1，示出了本申请实施例的一种字幕处理方法的步骤流程图。
本申请实施例的字幕处理方法包括以下步骤：
步骤101：按照预设方式生成视频语音中的各噪音片段对应的第一字幕。
其中，预设方式包括以下至少之一：依据预设参数确定语音片段是否为噪音片段，并将噪音片段转换为第一字幕；依据预先训练的多模态模型，生成视频语音中的各段噪音片段对应的第一字幕。在具体实现过程中，可采用上述至少一种预设方式生成各噪音片段对应的第一字幕。
本申请实施例中的所示的噪音片段为与视频主体内容不相关的语音片段，例如：视频拍摄地的噪音、视频的背景音乐或者旁人发出的声音等。
步骤102：在编辑区域中显示每段第一字幕和预设控件。
每段第一字幕可分别对应一组预设控件，也可以全部第一字幕对应一组预设控件，一组预设控件包括至少一个预设控件。
预设控件可以为虚拟按键，一组预设控件中的不同预设控件的作用不同，通过对不同作用的预设控件执行输入操作，可触发系统对被执行输入操作的预设控件对应的第一字幕进行相应处理。
步骤103：在接收到对目标预设控件的第一输入的情况下，响应于第一输入对目标预设控件对应的第一字幕进行处理。
对第一字幕的处理包括以下至少之一：删除、恢复以及编辑。
如图2中所示的字幕编辑界面所示，在确定第一字幕后在编辑区域中将第一字幕置灰显示，并提示用户已删除字幕置灰位置，同时显示有“编辑”这一预设控件，用户可对“编辑”控件执行第一输入，对当前显示的字幕进行编辑，如恢复部分置灰的第一字幕，或者调整置灰部分的第一字幕的内容等。
本申请实施例提供的字幕处理方法，通过按照预设方式生成视频语音中的各噪音片段对应的第一字幕；在编辑区域中显示每段第一字幕和预设控件；在接收到对目标预设控件的第一输入的情况下，响应于第一输入对目标预设控件对应的第一字幕进行处理，可自动筛选出噪音片段对应的字幕，无需用户手动筛选，耗时短且可节省大量的人力资源。不仅如此，用户还可以灵活地对系统筛选出的各噪音片段对应的第一字幕进行处理，既可提升字幕筛选的准确性，又可满足用户的个性化需求。
在一种可选地实施例中，按照预设方式生成视频语音中的各噪音片段对应的第一字幕的步骤，包括以下子步骤：
子步骤一：将视频语音划分为多个语音片段；
子步骤二：分别确定各语音片段所属的类别；
确定各语音片段所属的类别的时，可基于各语音片段的特征向量的相似度对各语音片段进行聚类，从而将所划分的多个语音片段划分至至少两个类别下。
子步骤三：将第一类别中包含的各语音片段确定为待筛选语音片段。
其中，第一类别中包含的语音片段数量小于预设数量。在具体实现过程中，预设数量可由本领域技术人员根据实际需求进行设置，本申请实施例中对此不做具体限制。例如：预设数量设置3、4或者5等。
由于非主体发言人对应的语音片段在视频语音中是少量的，所以挑出的声源类别里数量较少的语音片段，大概率会是噪音片段。
子步骤四：针对各待筛选语音片段，依据预设参数确定待筛选语音片段是否为噪音片段；
预设参数包括以下至少之一：语音片段的声音归属者信息、语音片段匹配的视频图像帧中人物信息以及语音片段与上下文的语义连贯度等。
子步骤五：分别将各噪音片段转换为第一字幕。
该种可选地生成第一字幕的方式，依据预设的多维度参数筛选噪音片段的方式，筛选结果准确。
在一种可选地实施例中，针对各待筛选语音片段，依据预设参数确定待筛选语音片段是否为噪声片段的步骤，包括以下子步骤：
子步骤一：针对各待筛选语音片段，确定待筛选语音片段的声音归属者的第一人物信息；
第一人物信息可以包括：人物性别和人物类型中的至少之一，人物性别包括：男性和女性，人物类型可以包括但不限于：老人、小孩以及青壮年等。
针对一个待筛选语音片段，确定声音归属者的第一人物信息时，可将该待筛选语音片段输入预先训练好的人物信息预测模型中，该人物信息预测模型的输出结果即为声音归属者的第一人物信息。
子步骤二：确定待筛选语音片段对应的视频图像帧中人物的第二人物信息；
第二人物信息可以包括：人物性别和人物类型。
在待筛选语音片段对应的视频图像帧中不包含人物的情况下，直接将待筛选语音片段确定为噪音片段。
在待筛选语音片段对应的视频图像帧中包含人物的情况下，使用图像预训练模型判断视频图像帧中人物的性别和类型。
图像预训练模型使用的样本图像可以为网上开源的数据图库中的图像，也可为研发人员自行构建的数据图库中的图像。预测视频图像帧中人物的性别和类型时，只需要视频图像帧输入图像预训练模型中即可判定视频图像帧中人物的性别和类型。
子步骤三：第一人物信息与第二人物信息不匹配的情况下，确定待筛选语音片段为噪音片段；
第一人物信息与第二人物信息相同的情况下，确定二者匹配；反之，第一人物信息与第二人物信息不相同的情况下，确定二者不匹配。
子步骤四：在第一人物信息与第二人物信息匹配的情况下，确定待筛选语音片段与上下文的语义是否连贯；
在确定待筛选语音片段与上下文的语义是否连贯时，可依据二分类语义连贯模型进行判断。
语义连贯模型可以使用人工标注和人工伪造两种数据训练生成，前者生成成本高，在实际实现过程中，可以先用人工伪造数据来训练模型，待模型服务使用后，运营收集到判定结果错误事件后，再用人工标注数据来修正该模型。
其中，人工伪造数据即语义不连贯的伪造原则，主要处理方式为：打乱待训练的语音字幕文件，当给A字幕文件插入不连贯字幕时选取B-N文件的随机的数据。每个字幕文件控制在3-5条噪音数据插入。这里的不连贯特质上下文讲的不是一个话题。例如：本来在做口红直播，电视里突然响起还珠格格的台词，该台词与口红无关在上下文中就是语义不连贯。
子步骤五：在待筛选语音片段与上下文的语义不连贯的情况下，确定待筛选语音片段为噪音片段。
该种可选地确定待筛选语音片段是否为噪音片段的方式，准确度高且易于操作。
在一种可选地实施例中，分别确定各语音片段所属的类别的方式如下：
分别提取各语音片段的语音特征向量；
将语音特征向量相似度大于预设相似度的各语音片段，划分至同一类别。
在实际实现过程中，可将视频语音中的第一个语音片段进行语音特征向量提取得到第一语音特征向量，将第二个语音片段进行语音特征向量提取得到第二语音特征向量，将第一语音特征向量和第二语言特征向量进行余弦相似度计算，如果二者相似度大于预设相似度，则将第二个语音片段归属至第一个语音片段所属的类别下，如果二者相似度小于或等于预设相似度，则将第二个语音片段划分至与第一个语音片段不同的类别下。然后，对于第三个语音片段进行语音特征向量提取得到第三语音特征向量，将第三语音特征向量与第一语音特征向量进行余弦相似度计算，如果第三语音特征向量和第一语音特征向量余弦相似度大于预设相似度，则将第三语音片段划分至第一语音片段所属的类别下；如果第三语音特征向量和第一语音特征向量余弦相似度小于或等于预设相似度，则将第三语音特征向量与第二语音特征向量进行余弦相似度计算，如果第三语音特征向量和第二语音特征向量余弦相似度大于预设相似度，则将第三语音片段划分至第二语音片段所属的类别下；如果第三语音特征向量和第一语音特征向量余弦相似度小于或等于预设相似度，则将第三个语音片段划分至一个新的类别下。循环上述流程，对视频语音中的各语音片段进行处理，可将各语音片段划分至相应类别下。
该种可选地确定各语音片段所属的类别的方式，类别划分结果准确度高且易于实现。
在一种可选地实施例中，按照预设方式生成视频语音中的各噪音片段对应的第一字幕的方式如下：
首先，将视频语音转换成字幕文本；
其次，将字幕文本和视频图像对应输入预先训练的多模态模型中，筛选得到各噪音片段对应的第一字幕。
多模态模型训练时，需要将待训练的视频数据处理成音频，将视频抽帧图像和该视频抽帧图像所对应的字幕数据交由人工标注。多模态模型在学习时将音频、字幕和图像数据转成向量，然后拼接成一个多模态向量供神经网络模型学习预测。在预测时也需要先将视频数据处理成音频转换成字幕文本，将各帧视频图像和字幕一一对应输入至预先训练好的多模态模型中，
该种可选地依据预先训练的多模态模型，筛选得到各噪音片段对应的第一字幕的方式，处理效率高、筛选结果准确。
需要说明的是，本申请实施例提供的字幕处理方法，执行主体可以为字幕处理装置，或者该字幕处理装置中的用于执行字幕处理方法的控制模块。本申请实施例中后续以字幕处理模块执行字幕处理方法为例，说明本申请实施例提供的字幕处理装置。
图3为实现本申请实施例的一种字幕处理装置的结构框图。
本申请实施例的字幕处理装置300包括：
生成模块301，用于按照预设方式生成视频语音中的各噪音片段对应的第一字幕；
显示模块302，用于在编辑区域中显示每段所述第一字幕和预设控件；
处理模块303，用于在接收到对目标预设控件的第一输入的情况下，响应于所述第一输入对所述目标预设控件对应的所述第一字幕进行处理；
其中，预设方式包括以下至少之一：依据预设参数确定语音片段是否为噪音片段，并将噪音片段转换为第一字幕；依据预先训练的多模态模型，生成视频语音中的各段噪音片段对应的第一字幕；
对所述第一字幕的处理包括以下至少之一：删除、恢复以及修改。
可选的，所述生成模块包括：
第一子模块，用于将视频语音划分为多个语音片段；
第二子模块，用于分别确定各所述语音片段所属的类别；
第三子模块，用于将第一类别中包含的各语音片段确定为待筛选语音片段，其中，所述第一类别中包含的语音片段数量小于预设数量；
第四子模块，用于针对各所述待筛选语音片段，依据预设参数确定所述待筛选语音片段是否为噪音片段；
第五子模块，用于分别将各所述噪音片段转换为第一字幕。
可选的，所述第四子模块包括：
第一单元，用于针对各所述待筛选语音片段，确定所述待筛选语音片段的声音归属者的第一人物信息；
第二单元，用于确定所述待筛选语音片段对应的视频图像帧中人物的第二人物信息；
第三单元，用户所述第一人物信息与所述第二人物信息不匹配的情况下，确定所述待筛选语音片段为噪音片段；
第四单元，用于在所述第一人物信息与所述第二人物信息匹配的情况下，确定所述待筛选语音片段与上下文的语义是否连贯；
第五单元，用于在所述待筛选语音片段与上下文的语义不连贯的情况下，确定所述待筛选语音片段为噪音片段。
可选的，所述分第二子模块包括：
第六单元，用于分别提取各所述语音片段的语音特征向量；
第七单元，用于将语音特征向量相似度大于预设相似度的各所述语音片段，划分至同一类别。
可选的，所述生成模块包括：
第六子模块，用于将所述视频语音转换成字幕文本；
第七子模块，用于将所述字幕文本和视频图像输入预先训练的多模态模型中，筛选得到各噪音片段对应的第一字幕。
本申请实施例提供的字幕处理装置，通过按照预设方式生成视频语音中的各噪音片段对应的第一字幕；在编辑区域中显示每段第一字幕和预设控件；在接收到对目标预设控件的第一输入的情况下，响应于第一输入对目标预设控件对应的第一字幕进行处理，可自动筛选出噪音片段对应的字幕，无需用户手动筛选，耗时短且可节省大量的人力资源。不仅如此，用户还可以灵活地对系统筛选出的各噪音片段对应的第一字幕进行处理，既可提升字幕筛选的准确性，又可满足用户的个性化需求。
本申请实施例中的字幕处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的字幕处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的字幕处理装置能够实现图1至图2的方法实施例中实现的各个过程，为避免重复，这里不再赘述。
可选地，如图4所示，本申请实施例还提供一种电子设备400，包括处理器401，存储器402，存储在存储器402上并可在所述处理器401上运行的程序或指令，该程序或指令被处理器401执行时实现上述字幕处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图5为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、以及处理器510等部件，电子设备500包含折叠屏。
本领域技术人员可以理解，电子设备500还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器510逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器510，用于按照预设方式生成视频语音中的各噪音片段对应的第一字幕；
显示单元506，用于在编辑区域中显示每段所述第一字幕和预设控件；
处理器510，还用于在接收到对目标预设控件的第一输入的情况下，响应于所述第一输入对所述目标预设控件对应的所述第一字幕进行处理；
其中，预设方式包括以下至少之一：依据预设参数确定语音片段是否为噪音片段，并将噪音片段转换为第一字幕；依据预先训练的多模态模型，生成视频语音中的各段噪音片段对应的第一字幕；
对所述第一字幕的处理包括以下至少之一：删除、恢复以及修改
本申请实施例中，电子设备通过按照预设方式生成视频语音中的各噪音片段对应的第一字幕；在编辑区域中显示每段第一字幕和预设控件；在接收到对目标预设控件的第一输入的情况下，响应于第一输入对目标预设控件对应的第一字幕进行处理，可自动筛选出噪音片段对应的字幕，无需用户手动筛选，耗时短且可节省大量的人力资源。不仅如此，用户还可以灵活地对系统筛选出的各噪音片段对应的第一字幕进行处理，既可提升字幕筛选的准确性，又可满足用户的个性化需求。
可选的，处理器510按照预设方式生成视频语音中的各噪音片段对应的第一字幕时，具体用于：将视频语音划分为多个语音片段；分别确定各所述语音片段所属的类别；将第一类别中包含的各语音片段确定为待筛选语音片段，其中，所述第一类别中包含的语音片段数量小于预设数量；针对各所述待筛选语音片段，依据预设参数确定所述待筛选语音片段是否为噪音片段；分别将各所述噪音片段转换为第一字幕。
可选的，处理器510针对各所述待筛选语音片段，依据预设参数确定所述待筛选语音片段是否为噪声片段时，具体用于：针对各所述待筛选语音片段，确定所述待筛选语音片段的声音归属者的第一人物信息；确定所述待筛选语音片段对应的视频图像帧中人物的第二人物信息；所述第一人物信息与所述第二人物信息不匹配的情况下，确定所述待筛选语音片段为噪音片段；在所述第一人物信息与所述第二人物信息匹配的情况下，确定所述待筛选语音片段与上下文的语义是否连贯；在所述待筛选语音片段与上下文的语义不连贯的情况下，确定所述待筛选语音片段为噪音片段。
可选的，处理器510分别确定各所述语音片段所属的类别时，具体用于：分别提取各所述语音片段的语音特征向量；将语音特征向量相似度大于预设相似度的各所述语音片段，划分至同一类别。
可选的，处理器510所述按照预设方式生成视频语音中的各噪音片段对应的第一字幕时，具体用于：将所述视频语音转换成字幕文本；将所述字幕文本和视频图像输入预先训练的多模态模型中，筛选得到各噪音片段对应的第一字幕。
应理解的是，本申请实施例中，输入单元504可以包括图形处理器(GraphicsProcessing Unit，GPU)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元506可包括显示面板5061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5061。用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板、5071，也称为触摸屏。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器509可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器510可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器510中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述字幕处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述字幕处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (11)
1.一种字幕处理方法，其特征在于，所述方法包括：
按照预设方式生成视频语音中的各噪音片段对应的第一字幕；
显示每段所述第一字幕和预设控件；
在接收到对目标预设控件的第一输入的情况下，响应于所述第一输入对所述目标预设控件对应的所述第一字幕进行处理；
其中，预设方式包括以下至少之一：依据预设参数确定语音片段是否为噪音片段，并将噪音片段转换为第一字幕；依据预先训练的多模态模型，生成视频语音中的各段噪音片段对应的第一字幕，预设参数包括以下至少之一：语音片段的声音归属者信息、语音片段匹配的视频图像帧中人物信息以及语音片段与上下文的语义连贯度；
对所述第一字幕的处理包括以下至少之一：删除、恢复以及编辑。
2.根据权利要求1所述的方法，其特征在于，所述按照预设方式生成视频语音中的各噪音片段对应的第一字幕的步骤，包括：
将视频语音划分为多个语音片段；
分别确定各所述语音片段所属的类别；
将第一类别中包含的各语音片段确定为待筛选语音片段，其中，所述第一类别中包含的语音片段数量小于预设数量；
针对各所述待筛选语音片段，依据预设参数确定所述待筛选语音片段是否为噪音片段；
分别将各所述噪音片段转换为第一字幕。
3.根据权利要求2所述的方法，其特征在于，针对各所述待筛选语音片段，依据预设参数确定所述待筛选语音片段是否为噪声片段的步骤，包括：
针对各所述待筛选语音片段，确定所述待筛选语音片段的声音归属者的第一人物信息；
确定所述待筛选语音片段对应的视频图像帧中人物的第二人物信息；
所述第一人物信息与所述第二人物信息不匹配的情况下，确定所述待筛选语音片段为噪音片段，其中，第一人物信息和第二人物信息包括：人物性别和人物类型；
在所述第一人物信息与所述第二人物信息匹配的情况下，确定所述待筛选语音片段与上下文的语义是否连贯；
在所述待筛选语音片段与上下文的语义不连贯的情况下，确定所述待筛选语音片段为噪音片段。
4.根据权利要求2所述的方法，其特征在于，所述分别确定各所述语音片段所属的类别的步骤，包括：
分别提取各所述语音片段的语音特征向量；
将语音特征向量相似度大于预设相似度的各所述语音片段，划分至同一类别。
5.根据权利要求1所述的方法，其特征在于，所述按照预设方式生成视频语音中的各噪音片段对应的第一字幕的步骤，包括：
将所述视频语音转换成字幕文本；
将所述字幕文本和视频图像输入预先训练的多模态模型中，筛选得到各段噪音片段对应的第一字幕。
6.一种字幕处理装置，其特征在于，所述装置包括：
生成模块，用于按照预设方式生成视频语音中的各噪音片段对应的第一字幕；
显示模块，用于显示每段所述第一字幕和预设控件；
处理模块，用于在接收到对目标预设控件的第一输入的情况下，响应于所述第一输入对所述目标预设控件对应的所述第一字幕进行处理；
其中，预设方式包括以下至少之一：依据预设参数确定语音片段是否为噪音片段，并将噪音片段转换为第一字幕；依据预先训练的多模态模型，生成视频语音中的各噪音片段对应的第一字幕，预设参数包括以下至少之一：语音片段的声音归属者信息、语音片段匹配的视频图像帧中人物信息以及语音片段与上下文的语义连贯度；
对所述第一字幕的处理包括以下至少之一：删除、恢复以及编辑。
7.根据权利要求6所述的装置，其特征在于，所述生成模块包括：
第一子模块，用于将视频语音划分为多个语音片段；
第二子模块，用于分别确定各所述语音片段所属的类别；
第三子模块，用于将第一类别中包含的各语音片段确定为待筛选语音片段，其中，所述第一类别中包含的语音片段数量小于预设数量；
第四子模块，用于针对各所述待筛选语音片段，依据预设参数确定所述待筛选语音片段是否为噪音片段；
第五子模块，用于分别将各所述噪音片段转换为第一字幕。
8.根据权利要求7所述的装置，其特征在于，所述第四子模块包括：
第一单元，用于针对各所述待筛选语音片段，确定所述待筛选语音片段的声音归属者的第一人物信息；
第二单元，用于确定所述待筛选语音片段对应的视频图像帧中人物的第二人物信息；
第三单元，用户所述第一人物信息与所述第二人物信息不匹配的情况下，确定所述待筛选语音片段为噪音片段，其中，第一人物信息和第二人物信息包括：人物性别和人物类型；
第四单元，用于在所述第一人物信息与所述第二人物信息匹配的情况下，确定所述待筛选语音片段与上下文的语义是否连贯；
第五单元，用于在所述待筛选语音片段与上下文的语义不连贯的情况下，确定所述待筛选语音片段为噪音片段。
9.根据权利要求7所述的装置，其特征在于，所述第二子模块包括：
第六单元，用于分别提取各所述语音片段的语音特征向量；
第七单元，用于将语音特征向量相似度大于预设相似度的各所述语音片段，划分至同一类别。
10.根据权利要求6所述的装置，其特征在于，所述生成模块包括：
第六子模块，用于将所述视频语音转换成字幕文本；
第七子模块，用于将所述字幕文本和视频图像输入预先训练的多模态模型中，筛选得到各噪音片段对应的第一字幕。
11.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至5中任一项所述的字幕处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011159807.1A CN112261321B (zh) | 2020-10-26 | 2020-10-26 | 字幕处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011159807.1A CN112261321B (zh) | 2020-10-26 | 2020-10-26 | 字幕处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112261321A CN112261321A (zh) | 2021-01-22 |
| CN112261321B true CN112261321B (zh) | 2023-02-28 |
Family
ID=74263001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011159807.1A Active CN112261321B (zh) | 2020-10-26 | 2020-10-26 | 字幕处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112261321B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114095754B (zh) * | 2021-11-17 | 2024-04-19 | 维沃移动通信有限公司 | 视频处理方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103856689A (zh) * | 2013-10-31 | 2014-06-11 | 北京中科模识科技有限公司 | 面向新闻视频的人物对话字幕提取方法 |
| CN103873919A (zh) * | 2012-12-17 | 2014-06-18 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN105245917A (zh) * | 2015-09-28 | 2016-01-13 | 徐信 | 一种多媒体语音字幕生成的系统和方法 |
| CN109410920A (zh) * | 2018-10-15 | 2019-03-01 | 百度在线网络技术（北京）有限公司 | 用于获取信息的方法及装置 |
-
2020
- 2020-10-26 CN CN202011159807.1A patent/CN112261321B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103873919A (zh) * | 2012-12-17 | 2014-06-18 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN103856689A (zh) * | 2013-10-31 | 2014-06-11 | 北京中科模识科技有限公司 | 面向新闻视频的人物对话字幕提取方法 |
| CN105245917A (zh) * | 2015-09-28 | 2016-01-13 | 徐信 | 一种多媒体语音字幕生成的系统和方法 |
| CN109410920A (zh) * | 2018-10-15 | 2019-03-01 | 百度在线网络技术（北京）有限公司 | 用于获取信息的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112261321A (zh) | 2021-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110446063B (zh) | 视频封面的生成方法、装置及电子设备 | |
| CN110444198B (zh) | 检索方法、装置、计算机设备和存储介质 | |
| CN110519636B (zh) | 语音信息播放方法、装置、计算机设备及存储介质 | |
| US9208227B2 (en) | Electronic apparatus, reproduction control system, reproduction control method, and program therefor | |
| CN111241340B (zh) | 视频标签确定方法、装置、终端及存储介质 | |
| KR101617649B1 (ko) | 영상의 관심 구간 추천 시스템 및 방법 | |
| KR102550305B1 (ko) | 머신 러닝 기반의 영상 자동 편집 방법 및 시스템 | |
| CN111491123A (zh) | 视频背景处理方法、装置及电子设备 | |
| CN115798459B (zh) | 音频处理方法、装置、存储介质及电子设备 | |
| CN108197105B (zh) | 自然语言处理方法、装置、存储介质及电子设备 | |
| CN112261321B (zh) | 字幕处理方法、装置及电子设备 | |
| CN108052506B (zh) | 自然语言处理方法、装置、存储介质及电子设备 | |
| CN113593614A (zh) | 图像处理方法及装置 | |
| CN117689752A (zh) | 文学作品插图生成方法、装置、设备及存储介质 | |
| CN112417095A (zh) | 语音消息处理方法和装置 | |
| CN113468351A (zh) | 一种智能设备及图像处理方法 | |
| CN116912478A (zh) | 目标检测模型构建、图像分类方法、电子设备 | |
| CN116187341A (zh) | 语义识别方法及其装置 | |
| CN112653919B (zh) | 字幕添加方法及装置 | |
| CN115309487A (zh) | 显示方法、装置、电子设备和可读存储介质 | |
| CN115035891A (zh) | 语音识别方法、装置、电子设备和时序融合语言模型 | |
| CN114996515A (zh) | 视频特征提取模型的训练方法、文本生成方法及装置 | |
| CN113704544A (zh) | 一种视频分类方法、装置、电子设备和存储介质 | |
| CN114125149A (zh) | 视频播放方法、装置、系统、电子设备及存储介质 | |
| CN113056784A (zh) | 语音信息的处理方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |