CN113096643A - 视频的处理方法和装置 - Google Patents
视频的处理方法和装置 Download PDFInfo
- Publication number
- CN113096643A CN113096643A CN202110321629.6A CN202110321629A CN113096643A CN 113096643 A CN113096643 A CN 113096643A CN 202110321629 A CN202110321629 A CN 202110321629A CN 113096643 A CN113096643 A CN 113096643A
- Authority
- CN
- China
- Prior art keywords
- video
- audio
- segmentation
- result
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 117
- 238000013518 transcription Methods 0.000 claims abstract description 38
- 230000035897 transcription Effects 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开提供了视频的处理方法和装置,涉及图像技术领域,进一步涉及视频分析和数据标注技术领域。具体实施方式包括获取视频中的音频,确定用于切分音频的切分位置;响应于对音频获取到切分操作指示的切分指令,按照切分位置,对音频执行切分指令,并对视频执行切分指令的相同指令,得到音频的音频切分结果和视频的视频切分结果;确定音频切分结果的语音识别结果,将语音识别结果作为视频的转写结果,由视频切分结果和转写结果生成视频的标注文件。本公开可以避免视频内容复杂,难以准确确定视频的切分位置的问题,通过音频准确地确定切分位置,从而实现对音频和视频更加准确和恰当的切分,进而提高了转写的准确度。
Description
技术领域
本公开涉及计算机技术领域,具体涉及包括图像技术领域,进一步涉及视频分析和数据标注技术领域,尤其涉及视频的处理方法和装置。
背景技术
转写(trans literation)通常在表达系统之间进行,也即,转写是将一个表达系统的字符按照一个字符对照表,忠实地对号入座地转换成另一个表达系统的字符的过程。比如将视频或语音转写为文字。
在相关技术中,尚不能达到良好的转写效果。比如,当视频中的语速较快的情况下,转写的效果往往较差。
发明内容
提供了一种视频的处理方法、装置、电子设备以及存储介质。
根据第一方面,提供了一种视频的处理方法,包括:获取视频中的音频,确定用于切分所述音频的切分位置;响应于对所述音频获取到切分操作指示的切分指令,按照所述切分位置,对所述音频执行所述切分指令,并对所述视频执行所述切分指令的相同指令,得到所述音频的音频切分结果和所述视频的视频切分结果;确定音频切分结果的语音识别结果,将语音识别结果作为视频的转写结果,由视频切分结果和转写结果生成视频的标注文件。
根据第二方面,提供了一种视频的处理装置,包括:获取单元,被配置成获取视频中的音频,确定用于切分所述音频的切分位置;切分单元,被配置成响应于对音频获取到切分操作指示的切分指令,按照切分位置,对音频执行切分指令,并对视频执行切分指令的相同指令,得到音频的音频切分结果和视频的视频切分结果;转写单元,被配置成确定音频切分结果的语音识别结果,将语音识别结果作为视频的转写结果,由视频切分结果和转写结果生成视频的标注文件。
根据第三方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行视频的处理方法中任一实施例的方法。
根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行根据视频的处理方法中任一实施例的方法。
根据第五方面,提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现根据视频的处理方法中任一实施例的方法。
根据本公开的方案,可以避免视频内容复杂,难以准确确定视频的切分位置的问题,通过音频准确地确定切分位置,从而实现对音频和视频更加准确和恰当的切分,进而提高了转写的准确度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
图1是本公开一些实施例可以应用于其中的示例性系统架构图;
图2是根据本公开的视频的处理方法的一个实施例的流程图;
图3是根据本公开的视频的处理方法的一个应用场景的示意图;
图4是根据本公开的视频的处理方法的又一个实施例的流程图;
图5是根据本公开的视频的处理装置的一个实施例的结构示意图;
图6是用来实现本公开实施例的视频的处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的视频的处理方法或视频的处理装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如视频类应用、直播应用、即时通信工具、邮箱客户端、社交平台软件等。
这里的终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对视频等数据进行分析等处理,并将处理结果(例如视频切分结果和转写结果)反馈给终端设备。
需要说明的是,本公开实施例所提供的视频的处理方法可以由服务器105或者终端设备101、102、103执行,相应地,视频的处理装置可以设置于服务器105或者终端设备101、102、103中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本公开的视频的处理方法的一个实施例的流程200。该视频的处理方法,包括以下步骤:
步骤201,获取视频中的音频,确定用于切分音频的切分位置。
在本实施例中,视频的处理方法运行于其上的执行主体(例如图1所示的服务器或终端设备)可以获取视频中的音频,对上述音频确定切分位置。具体地,上述执行主体可以禁止对于该视频的操作的接收,并且,上述执行主体可以设置对于视频执行上述音频所接收操作指示的指令的相同指令。
在实践中,上述执行主体可以采用各种方式获取视频中的音频,举例来说,上述执行主体可以从本地或者其它电子设备直接获取上述视频中的音频。或者,上述执行主体也可以从视频中提取得到上述音频。
上述执行主体可以禁用对于视频的操作的接收。并且,上述执行主体在禁用后,可以设置对视频执行对于音频的指令的相同指令,也即,如果音频接收的操作指示一个指令,不仅可以对音频执行该指令,还可以对视频也执行这个指令,也即对于视频执行与这个指令相同的指令。这样,对视频和音频的操作就可以保持同步。
举例来说,操作可以是播放操作、暂停操作、拖动操作。用户对音频文件执行了播放操作,那么,上述执行主体会对音频文件执行播放操作对应的播放指令,并且,还会对视频文件执行播放指令。
在实践中,上述执行主体可以采用各种方式确定音频的切分位置。比如,上述执行主体可以输出音频,从而让进行切分操作的切分人员能够听到音频。这样,切分人员就可以根据音频内容(比如切分开噪声段和人声段)进行切分。此外上述执行主体还可以输出视频,这样,切分人员可以根据音频和视频,更全面地进行切分。再比如,上述执行主体可以将音频输入预先训练的模型,通过该模型输出音频的切分位置。该模型可以用于预测音频的切分位置。
具体地,这里的切换位置可以指播放时间,还可以指第几帧。
步骤202,响应于对音频获取到切分操作指示的切分指令,按照切分位置,对音频执行切分指令,并对视频执行切分指令的相同指令,得到音频的音频切分结果和视频的视频切分结果。
在本实施例中,上述执行主体在获取到对音频的、(比如接收到或生成)用户(比如标注员)的切分操作指示的切分指令的情况下,可以按照切分位置对音频和视频均执行切分指令。也即,对音频执行切分指令,并对视频执行切分指令的相同指令。这样,上述执行主体可以分别得到音频的音频切分结果和视频的视频切分结果。
步骤203,确定音频切分结果的语音识别结果,将语音识别结果作为视频的转写结果,由视频切分结果和转写结果生成视频的标注文件。
在本实施例中,上述执行主体可以确定音频切分结果的语音识别结果,将该语音识别结果作为视频的转写结果。具体地,这里的确定语音识别结果可以是在本设备对音频切分结果进行语音识别并得到结果,或者获取其它电子设备对音频切分结果进行语音识别的结果。之后,上述执行主体可以由视频切分结果和上述转写结果,生成视频的标注文件。
具体地,上述执行主体可以采用各种方式生成标注文件。比如,直接将视频切分结果和转写结果作为标注文件,此外,还可以向标注文件加入其它标注内容,比如一个视频切分结果对应的视频角色的名称。
在实践中,上述执行主体可以对于每个音频切分结果进行语音识别,并将该语音识别的结果作为视频的其中一个转写结果,并由该转写结果和与之对应的视频切分结果生成一个标注文件。
本公开的上述实施例提供的方法可以避免视频内容复杂,难以准确确定视频的切分位置的问题,通过音频准确地确定切分位置,从而实现对音频和视频更加准确和恰当的切分,进而提高了转写的准确度。
在实践中,得到的标注文件可以用于生成训练深度神经网络的样本。
继续参见图3,图3是根据本实施例的视频的处理方法的应用场景的一个示意图。在图3的应用场景中,执行主体301获取视频中的音频302,确定用于切分音频302的切分位置303,即第1秒和第12秒。执行主体301响应于对音频302获取到切分操作指示的切分指令,按照切分位置303,对音频302执行切分指令,并对视频执行切分指令的相同指令,得到音频的音频切分结果304和视频的视频切分结果305。执行主体301确定音频切分结果304的语音识别结果,将语音识别结果作为视频的转写结果,由视频切分结果和转写结果生成视频的标注文件306。
在本公开中任一实施例的可选的实现方式中,切分位置的生成步骤,可以包括:基于包括音频波形的位置确定信息,确定切分位置。
在这些可选的实现方式中,切分位置可以是基于音频的波形确定的。也即音频波形为切分位置的位置确定信息。该切分位置可以是各种执行主体生成的,比如上述各种执行主体可以在本设备自行基于音频的波形起伏,生成切分位置,还可以接收标注员确定并输入的切分位置,此外,还可以接收在其它电子设备生成的切分位置。
在实践中,上述执行主体可以采用各种方式,基于音频的波形起伏,确定切分位置。举例来说,上述各种执行主体可以将波形变化率最大的各个位置,作为切分位置。再比如,还可以将音频的波形输出,以使标注员判断出切分位置,并将该切分位置输入上述各种执行主体。
这些实现方式可以利用波形,更加准确地确定音频的切分位置。
可选地,上述位置确定信息还可以包括以下的至少一项:切分结果的最大时长限制信息、视频角色信息、声音属性信息。
具体地,上述各种执行主体不仅可以基于音频波形判断音频的切分位置,还可以基于切分结果的最大时长限制信息、视频角色信息、声音属性信息中的至少一项,来确定音频的切分位置。
切分结果的最大时长限制信息可以指示3s,也即,切分得到的音频切分结果(也即音频段)的时长和视频切分结果(也即视频段)的时长,均不能超过3s。视频角色信息指示视频中呈现的角色,一旦不再呈现比如视频中切换为仅呈现景物,或呈现的角色改变(角色增多、角色减少或变成呈现其它角色),则上述的切换和改变时刻就可以作为切分位置。此外,通过声音属性信息可以判断是否为人声,上述各种执行主体还可以将噪音(或背景音)和人声的切换处,作为切换位置。
这些可选的实现方式可以通过各种位置确定信息,从各个方面确定出更加准确的切分位置。
进一步参考图4,其示出了视频的处理方法的又一个实施例的流程400。该流程400,包括以下步骤:
步骤401,对视频进行音频提取,将提取结果作为音频。
在本实施例中,视频的处理方法运行于其上的执行主体(例如图1所示的服务器或终端设备)可以对视频进行音频提取,提取的结果为所获取的音频。
步骤402,确定用于切分音频的切分位置。
在本实施例中,上述执行主体可以对于上述音频确定切分位置。在实践中,上述执行主体可以采用各种方式确定音频的切分位置。比如,上述执行主体可以输出音频,从而让进行切分操作的切分人员能够听到音频。这样,切分人员就可以根据音频内容(比如切分开噪声段和人声段)进行切分。此外上述执行主体还可以输出视频,这样,切分人员可以根据音频和视频,更全面地进行切分。再比如,上述执行主体可以将音频输入预先训练的模型,通过该模型输出音频的切分位置。该模型可以用于预测音频的切分位置。
步骤403,响应于对音频获取到切分操作指示的切分指令,按照切分位置,对音频执行切分指令,并对视频执行切分指令的相同指令,得到音频的音频切分结果和视频的视频切分结果。
在本实施例中,上述执行主体在获取到(比如接收到或生成)切分操作指示的切分指令的情况下,可以按照切分位置对音频和视频均执行切分指令。也即,对于音频执行切分指令,并对视频执行切分指令的相同指令。这样,上述执行主体可以分别得到音频的音频切分结果和视频的视频切分结果。
步骤404,确定音频切分结果的语音识别结果,将语音识别结果作为视频的转写结果,输出视频切分结果和转写结果。
在本实施例中,上述执行主体可以确定音频切分结果的语音识别结果,将语音识别结果作为视频的转写结果。之后,上述执行主体可以输出视频切分结果和上述转写结果。这里的输出可以是显示或向其它电子设备输出。
本实施例可以通过音频提取,在本设备完成更多的转写步骤。
在上述任一实施例的一些可选的实现方式中,在对视频执行切分指令的相同指令之前,上述方法还可以包括:降低视频的清晰度,得到降低后视频;对降低后视频进行静音处理,利用静音处理的结果更新视频。
在这些实现方式中,上述执行主体可以降低视频的清晰度,降低视频清晰度的结果是降低后视频。并且,上述执行主体还可以对降低后视频进行静音处理,以更新视频,更新的结果即是静音处理的结果。
在实践中,上述执行主体可以采用各种方式降低视频的清晰度。举例来说,可以获取初始清晰度与降低幅度的映射关系,并在映射关系中查找该视频的初始清晰度对应的清晰度降低幅度。此外,还可以对初始视频的清晰度降低预设幅度。
这些实现方式可以通过降低视频的清晰度,降低对利用视频角色确定切分位置的设备的性能要求。此外,通过静音,可以避免获取的音频与视频中原有音频的重叠。
进一步参考图5,作为对上述各图所示方法的实现,本公开提供了一种视频的处理装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,除下面所记载的特征外,该装置实施例还可以包括与图2所示的方法实施例相同或相应的特征或效果。该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的视频的处理装置500包括:获取单元501、切分单元502和转写单元503。其中,获取单元501,被配置成获取视频中的音频,确定用于切分所述音频的切分位置;切分单元502,被配置成响应于对所述音频获取到切分操作指示的切分指令,按照所述切分位置,对所述音频执行所述切分指令,并对所述视频执行所述切分指令的相同指令,得到所述音频的音频切分结果和所述视频的视频切分结果;转写单元503,被配置成确定所述音频切分结果的语音识别结果,将所述语音识别结果作为所述视频的转写结果,由所述视频切分结果和所述转写结果生成所述视频的标注文件。
在本实施例中,视频的处理装置500的获取单元501、切分单元502和转写单元503的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202、步骤203的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,切分位置的生成步骤包括:基于包括音频波形的位置确定信息,确定音频的切分位置。
在本实施例的一些可选的实现方式中,位置确定信息还包括以下的至少一项:切分结果的最大时长限制信息、视频角色信息、声音属性信息。
在本实施例的一些可选的实现方式中,装置还包括:降低单元,被配置成在对视频执行切分指令的相同指令之前,降低视频的清晰度,得到降低后视频;更新单元,被配置成对降低后视频进行静音处理,利用静音处理的结果更新视频。
在本实施例的一些可选的实现方式中,获取视频中的音频,包括:对视频进行音频提取,将提取结果作为音频。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图6所示,是根据本公开实施例的视频的处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,该电子设备包括:一个或多个处理器601、存储器602,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本公开所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本公开所提供的视频的处理方法。本公开的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本公开所提供的视频的处理方法。
存储器602作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本公开实施例中的视频的处理方法对应的程序指令/模块(例如,附图5所示的获取单元501、切分单元502和转写单元503)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的视频的处理方法。
存储器602可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据视频的处理电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至视频的处理电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
视频的处理方法的电子设备还可以包括:输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息,以及产生与视频的处理电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元501、切分单元502和转写单元503。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,确定单元还可以被描述为“确定用于切分音频的切分位置的单元”。
作为另一方面,本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:获取视频中的音频,确定用于切分所述音频的切分位置;响应于对所述音频获取到切分操作指示的切分指令,按照所述切分位置,对所述音频执行所述切分指令,并对所述视频执行所述切分指令的相同指令,得到所述音频的音频切分结果和所述视频的视频切分结果;确定所述音频切分结果的语音识别结果,将所述语音识别结果作为所述视频的转写结果,由所述视频切分结果和所述转写结果生成所述视频的标注文件。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (13)
1.一种视频的处理方法,所述方法包括:
获取视频中的音频,确定用于切分所述音频的切分位置;
响应于对所述音频获取到切分操作指示的切分指令,按照所述切分位置,对所述音频执行所述切分指令,并对所述视频执行所述切分指令的相同指令,得到所述音频的音频切分结果和所述视频的视频切分结果;
确定所述音频切分结果的语音识别结果,将所述语音识别结果作为所述视频的转写结果,由所述视频切分结果和所述转写结果生成所述视频的标注文件。
2.根据权利要求1所述的方法,其中,所述切分位置的生成步骤包括:
基于包括音频波形的位置确定信息,确定所述音频的切分位置。
3.根据权利要求2所述的方法,其中,所述位置确定信息还包括以下的至少一项:
切分结果的最大时长限制信息、视频角色信息、声音属性信息。
4.根据权利要求1-3之一所述的方法,其中,在所述对所述视频执行所述切分指令的相同指令之前,所述方法还包括:
降低所述视频的清晰度,得到降低后视频;
对所述降低后视频进行静音处理,利用静音处理的结果更新所述视频。
5.根据权利要求1-3之一所述的方法,其中,所述获取视频中的音频,包括:
对所述视频进行音频提取,将提取结果作为所述音频。
6.一种视频的处理装置,所述装置包括:
获取单元,被配置成获取视频中的音频,确定用于切分所述音频的切分位置;
切分单元,被配置成响应于对所述音频获取到切分操作指示的切分指令,按照所述切分位置,对所述音频执行所述切分指令,并对所述视频执行所述切分指令的相同指令,得到所述音频的音频切分结果和所述视频的视频切分结果;
转写单元,被配置成确定所述音频切分结果的语音识别结果,将所述语音识别结果作为所述视频的转写结果,由所述视频切分结果和所述转写结果生成所述视频的标注文件。
7.根据权利要求6所述的装置,其中,所述切分位置的生成步骤包括:
基于包括音频波形的位置确定信息,确定所述音频的切分位置。
8.根据权利要求7所述的装置,其中,所述位置确定信息还包括以下的至少一项:
切分结果的最大时长限制信息、视频角色信息、声音属性信息。
9.根据权利要求6-8之一所述的装置,其中,所述装置还包括:
降低单元,被配置成在所述对所述视频执行所述切分指令的相同指令之前,降低所述视频的清晰度,得到降低后视频;
更新单元,被配置成对所述降低后视频进行静音处理,利用静音处理的结果更新所述视频。
10.根据权利要求6-8之一所述的装置,其中,所述获取视频中的音频,包括:
对所述视频进行音频提取,将提取结果作为所述音频。
11.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-5中任一项所述的方法。
13.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-5中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110321629.6A CN113096643A (zh) | 2021-03-25 | 2021-03-25 | 视频的处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110321629.6A CN113096643A (zh) | 2021-03-25 | 2021-03-25 | 视频的处理方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113096643A true CN113096643A (zh) | 2021-07-09 |
Family
ID=76669706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110321629.6A Pending CN113096643A (zh) | 2021-03-25 | 2021-03-25 | 视频的处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113096643A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115866175A (zh) * | 2022-05-24 | 2023-03-28 | 北京中关村科金技术有限公司 | 一种音视频文件的切片方法、装置及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103905742A (zh) * | 2014-04-10 | 2014-07-02 | 北京数码视讯科技股份有限公司 | 视频文件的切分方法及装置 |
CN105161094A (zh) * | 2015-06-26 | 2015-12-16 | 徐信 | 一种语音音频切分手动调整切分点的系统及方法 |
CN105704538A (zh) * | 2016-03-17 | 2016-06-22 | 广东小天才科技有限公司 | 一种音视频字幕生成方法及系统 |
US20180041783A1 (en) * | 2016-08-05 | 2018-02-08 | Alibaba Group Holding Limited | Data processing method and live broadcasting method and device |
CN110677711A (zh) * | 2019-10-17 | 2020-01-10 | 北京字节跳动网络技术有限公司 | 视频配乐方法、装置、电子设备及计算机可读介质 |
CN111050201A (zh) * | 2019-12-10 | 2020-04-21 | Oppo广东移动通信有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN111601162A (zh) * | 2020-06-08 | 2020-08-28 | 北京世纪好未来教育科技有限公司 | 视频切分方法、装置和计算机存储介质 |
CN111629267A (zh) * | 2020-04-30 | 2020-09-04 | 腾讯科技(深圳)有限公司 | 音频标注方法、装置、设备及计算机可读存储介质 |
CN111901615A (zh) * | 2020-06-28 | 2020-11-06 | 北京百度网讯科技有限公司 | 直播视频的播放方法和装置 |
CN112487238A (zh) * | 2020-10-27 | 2021-03-12 | 百果园技术(新加坡)有限公司 | 一种音频处理方法、装置、终端及介质 |
-
2021
- 2021-03-25 CN CN202110321629.6A patent/CN113096643A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103905742A (zh) * | 2014-04-10 | 2014-07-02 | 北京数码视讯科技股份有限公司 | 视频文件的切分方法及装置 |
CN105161094A (zh) * | 2015-06-26 | 2015-12-16 | 徐信 | 一种语音音频切分手动调整切分点的系统及方法 |
CN105704538A (zh) * | 2016-03-17 | 2016-06-22 | 广东小天才科技有限公司 | 一种音视频字幕生成方法及系统 |
US20180041783A1 (en) * | 2016-08-05 | 2018-02-08 | Alibaba Group Holding Limited | Data processing method and live broadcasting method and device |
CN110677711A (zh) * | 2019-10-17 | 2020-01-10 | 北京字节跳动网络技术有限公司 | 视频配乐方法、装置、电子设备及计算机可读介质 |
CN111050201A (zh) * | 2019-12-10 | 2020-04-21 | Oppo广东移动通信有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN111629267A (zh) * | 2020-04-30 | 2020-09-04 | 腾讯科技(深圳)有限公司 | 音频标注方法、装置、设备及计算机可读存储介质 |
CN111601162A (zh) * | 2020-06-08 | 2020-08-28 | 北京世纪好未来教育科技有限公司 | 视频切分方法、装置和计算机存储介质 |
CN111901615A (zh) * | 2020-06-28 | 2020-11-06 | 北京百度网讯科技有限公司 | 直播视频的播放方法和装置 |
CN112487238A (zh) * | 2020-10-27 | 2021-03-12 | 百果园技术(新加坡)有限公司 | 一种音频处理方法、装置、终端及介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115866175A (zh) * | 2022-05-24 | 2023-03-28 | 北京中关村科金技术有限公司 | 一种音视频文件的切片方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210200947A1 (en) | Event argument extraction method and apparatus and electronic device | |
US11423907B2 (en) | Virtual object image display method and apparatus, electronic device and storage medium | |
CN111708922A (zh) | 用于表示异构图节点的模型生成方法及装置 | |
CN112365880A (zh) | 语音合成方法、装置、电子设备及存储介质 | |
CN114787814A (zh) | 指代解析 | |
CN111225236B (zh) | 生成视频封面的方法、装置、电子设备以及计算机可读存储介质 | |
CN113407850B (zh) | 一种虚拟形象的确定和获取方法、装置以及电子设备 | |
CN111524123B (zh) | 用于处理图像的方法和装置 | |
CN112988100A (zh) | 视频的播放方法和装置 | |
US9633090B2 (en) | Dynamic visualization of big data | |
CN112669855A (zh) | 语音处理方法和装置 | |
US20220019803A1 (en) | Method and apparatus for analyzing video scenario | |
US20220108624A1 (en) | Reader assistance method and system for comprehension checks | |
CN113096643A (zh) | 视频的处理方法和装置 | |
CN113128436A (zh) | 关键点的检测方法和装置 | |
CN112561059A (zh) | 用于模型蒸馏的方法和装置 | |
CN112328088A (zh) | 图像的呈现方法和装置 | |
CN112382292A (zh) | 基于语音的控制方法和装置 | |
CN111523292A (zh) | 用于获取图像信息的方法和装置 | |
CN111638787A (zh) | 用于展示信息的方法和装置 | |
CN111599341A (zh) | 用于生成语音的方法和装置 | |
US20210382918A1 (en) | Method and apparatus for labeling data | |
CN113542802B (zh) | 视频的转场方法和装置 | |
CN112114886B (zh) | 误唤醒音频的获取方法和装置 | |
CN112988099A (zh) | 视频的显示方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210709 |
|
RJ01 | Rejection of invention patent application after publication |