CN113709584A - 视频划分方法、装置、服务器、终端及存储介质 - Google Patents
视频划分方法、装置、服务器、终端及存储介质 Download PDFInfo
- Publication number
- CN113709584A CN113709584A CN202110246631.1A CN202110246631A CN113709584A CN 113709584 A CN113709584 A CN 113709584A CN 202110246631 A CN202110246631 A CN 202110246631A CN 113709584 A CN113709584 A CN 113709584A
- Authority
- CN
- China
- Prior art keywords
- video
- original
- segment
- original video
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000003860 storage Methods 0.000 title claims abstract description 30
- 238000000638 solvent extraction Methods 0.000 claims abstract description 40
- 230000004044 response Effects 0.000 claims abstract description 37
- 238000012795 verification Methods 0.000 claims description 60
- 238000004590 computer program Methods 0.000 claims description 32
- 230000015654 memory Effects 0.000 claims description 22
- 238000005192 partition Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 16
- 238000013473 artificial intelligence Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000012217 deletion Methods 0.000 description 7
- 230000037430 deletion Effects 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000006116 polymerization reaction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了一种视频划分方法、装置、服务器、终端及存储介质,属于计算机技术领域。该方法包括:将原始视频划分为连续的多个原始视频段;基于每个原始视频段中的每个视频帧的背景区域,获取每个原始视频段的背景特征;响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将至少两个原始视频段确定为属于同一个视频情节的视频段;创建原始视频对应的视频划分记录。相邻的至少两个视频段的背景特征之间的相似度大于第二阈值,说明该至少两个视频段中的环境相似或相同,可以认为该至少两个视频段的视频情节相同,因此将该至少两个视频段确定为属于同一视频情节的视频段,能够覆盖任一类型的视频情节,提高视频划分的效果。
Description
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种视频划分方法、装置、服务器、终端及存储介质。
背景技术
随着多媒体技术的不断发展,播放视频已成为用户休闲状态下常用的一种娱乐形式,受到广大用户的青睐。为了便于用户在观看视频时跳转到自己感兴趣的视频情节,可以先将视频划分为多个视频段,以使每个视频段包含一个视频情节。
相关技术中,对原始视频中的多个视频段进行动作识别,得到每个视频段中包含的动作,将包含同一个动作且相邻的视频段确定为属于同一个视频情节的视频段。但是,由于能够识别到的动作有限,因此上述技术具有较大的局限性,导致视频划分的效果不佳。
发明内容
本申请实施例提供了一种视频划分方法、装置、服务器、终端及存储介质,能够提高视频划分的效果。所述技术方案如下:
一方面,提供了一种视频划分方法,所述方法包括:
将原始视频划分为连续的多个原始视频段,每个原始视频段中的相邻视频帧之间的相似度大于第一阈值;
基于每个原始视频段中的每个视频帧的背景区域,获取所述每个原始视频段的背景特征;
响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将所述至少两个原始视频段确定为属于同一个视频情节的视频段;
创建所述原始视频对应的视频划分记录,所述视频划分记录中包括所述每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系。
可选地,所述对所述原始视频段中的每个视频帧的背景区域进行特征提取,得到所述每个视频帧的背景特征,包括:
对于所述每个视频帧,对所述视频帧进行图像分割,得到所述视频帧对应的背景图像,所述背景图像中包括所述视频帧的背景区域,不包括所述视频帧的前景区域;
对所述背景图像进行特征提取,得到所述视频帧的背景特征。
可选地,所述基于所述原始视频段中的多个视频帧的背景特征,确定所述原始视频段的背景特征,包括:
基于所述原始视频段中的多个视频帧的背景特征,对所述多个视频帧进行聚类,得到多个视频帧集合,每个视频帧集合中包括至少一个视频帧;
在所述多个视频帧集合中选取参考视频帧集合,所述参考视频帧集合是指包括的视频帧的个数最多的视频帧集合;
将所述参考视频帧集合中的多个视频帧的背景特征的均值,确定为所述原始视频段的背景特征。
可选地,所述响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将所述至少两个原始视频段确定为属于同一个视频情节的原始视频段之后,所述方法还包括:
将属于同一个视频情节的多个原始视频段进行合并。
另一方面,提供了一种视频划分方法,所述方法包括:
接收服务器发送的校验请求,所述校验请求携带所述服务器创建的视频划分记录,所述视频划分记录中包括原始视频中的每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系;
基于所述校验请求显示用于指示所述关联关系的视频划分信息;
响应于对所述视频划分信息的编辑操作,更新所述视频划分记录中的所述关联关系;
向所述服务器发送更新后的视频划分记录。
可选地,所述响应于对所述视频划分信息的编辑操作,更新所述视频划分记录中的所述关联关系,包括:
响应于对第一指示标记和第二指示标记的合并操作,在所述视频划分记录中创建所述第一指示标记和所述第二指示标记对应的多个视频段标识之间的关联关系,所述第一指示标记与所述第二指示标记相邻。
可选地,所述响应于对所述视频划分信息的编辑操作,更新所述视频划分记录中的所述关联关系,包括:
响应于对第四指示标记的拆分操作,确定拆分得到的多个第五指示标记;
将所述视频划分记录中的所述第四指示标记对应的多个视频段标识之间的关联关系删除;
对于每个第五指示标记,在所述视频划分记录中创建所述第五指示标记对应的多个视频段标识之间的关联关系。
可选地,所述响应于对所述视频划分信息的编辑操作,更新所述视频划分记录中的所述关联关系,包括:
响应于对第三指示标记的删除操作,将所述视频划分记录中的所述第三指示标记对应的多个视频段标识之间的关联关系删除。
另一方面,提供了一种视频划分装置,所述装置包括:
视频划分模块,用于将原始视频划分为连续的多个原始视频段,每个原始视频段中的相邻视频帧之间的相似度大于第一阈值;
特征获取模块,用于基于每个原始视频段中的每个视频帧的背景区域,获取所述每个原始视频段的背景特征;
视频段确定模块,用于响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将所述至少两个原始视频段确定为属于同一个视频情节的视频段;
划分记录创建模块,用于创建所述原始视频对应的视频划分记录,所述视频划分记录中包括所述每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系。
可选地,所述特征获取模块,包括:
特征提取单元,用于对于所述每个原始视频段,对所述原始视频段中的每个视频帧的背景区域进行特征提取,得到所述每个视频帧的背景特征;
特征确定单元,用于基于所述原始视频段中的多个视频帧的背景特征,确定所述原始视频段的背景特征。
可选地,所述特征提取单元,用于:
对于所述每个视频帧,对所述视频帧进行图像分割,得到所述视频帧对应的背景图像,所述背景图像中包括所述视频帧的背景区域,不包括所述视频帧的前景区域;
对所述背景图像进行特征提取,得到所述视频帧的背景特征。
可选地,所述特征确定单元,用于:
从所述原始视频段中提取多个参考视频帧,且所述多个参考视频帧中不包含所述原始视频段的起始视频帧和终止视频帧;
将所述多个参考视频帧的背景特征的均值,确定为所述原始视频段的背景特征。
可选地,所述特征确定单元,用于:
基于所述原始视频段中的多个视频帧的背景特征,对所述多个视频帧进行聚类,得到多个视频帧集合,每个视频帧集合中包括至少一个视频帧;
在所述多个视频帧集合中选取参考视频帧集合,所述参考视频帧集合是指包括的视频帧的个数最多的视频帧集合;
将所述参考视频帧集合中的多个视频帧的背景特征的均值,确定为所述原始视频段的背景特征。
可选地,所述特征确定单元,用于:
基于所述原始视频段中的多个视频帧的背景特征,对所述多个视频帧进行聚类,得到多个视频帧集合,每个视频帧集合中至少包括一个中心视频帧;
在所述多个视频帧集合中选取参考视频帧集合,所述参考视频帧集合是指包括的视频帧的个数最多的视频帧集合;
将所述参考视频帧集合中的中心视频帧的背景特征,确定为所述原始视频段的背景特征。
可选地,所述视频段确定模块,包括:
相似度确定单元,用于在所述连续的多个原始视频段中,从第二个原始视频段开始,确定每个原始视频段与前一个原始视频段的视频背景特征之间的相似度;
视频段确定单元,用于响应于任一原始视频段与所述任一原始视频段的前一个原始视频段的背景特征之间的相似度大于所述第二阈值,将所述任一原始视频段与所述前一个原始视频段确定为属于同一个视频情节的视频段。
可选地,所述装置还包括:
视频段合并模块,用于将属于同一个视频情节的多个原始视频段进行合并。
可选地,所述装置还包括:
校验请求发送模块,用于向终端发送校验请求,所述校验请求携带所述视频划分记录;所述终端用于基于所述校验请求显示用于指示所述关联关系的视频划分信息,响应于对所述视频划分信息的编辑操作,更新所述视频划分记录中的所述关联关系,返回更新后的视频划分记录;
划分记录接收模块,用于接收所述更新后的视频划分记录。
另一方面,提供了一种视频划分装置,所述装置包括:
校验请求接收模块,用于接收服务器发送的校验请求,所述校验请求携带所述服务器创建的视频划分记录,所述视频划分记录中包括原始视频中的每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系;
信息显示模块,用于基于所述校验请求显示用于指示所述关联关系的视频划分信息;
关联关系更新模块,用于响应于对所述视频划分信息的编辑操作,更新所述视频划分记录中的所述关联关系;
划分记录发送模块,用于向所述服务器发送更新后的视频划分记录。
可选地,所述信息显示模块,包括:
信息显示单元,用于基于所述校验请求,显示所述视频划分记录中的多个视频段标识对应的指示标记,其中属于同一个视频情节的不同原始视频段的视频段标识与一个指示标记对应,其他的视频段标识分别与一个指示标记对应。
可选地,所述校验请求还携带所述每个视频段标识对应的一个视频帧,所述信息显示模块,用于在每个指示标记对应的显示位置,显示与所述每个指示标记对应于同一视频段标识的视频帧。
可选地,所述关联关系更新模块,包括:
关联关系创建单元,用于响应于对第一指示标记和第二指示标记的合并操作,在所述视频划分记录中创建所述第一指示标记和所述第二指示标记对应的多个视频段标识之间的关联关系,所述第一指示标记与所述第二指示标记相邻。
可选地,所述关联关系更新模块,包括:
关联关系删除单元,用于响应于对第三指示标记的删除操作,将所述视频划分记录中的所述第三指示标记对应的多个视频段标识之间的关联关系删除。
可选地,所述关联关系更新模块,包括:
指示标记确定单元,用于响应于对第四指示标记的拆分操作,确定拆分得到的多个第五指示标记;
关联关系删除单元,用于将所述视频划分记录中的所述第四指示标记对应的多个视频段标识之间的关联关系删除;
关联关系创建单元,用于对于每个第五指示标记,在所述视频划分记录中创建所述第五指示标记对应的多个视频段标识之间的关联关系。
另一方面,提供了一种服务器,所述服务器包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行以实现如上述方面所述的视频划分方法中所执行的操作。
另一方面,提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行以实现如上述方面所述的视频划分方法中所执行的操作。
另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行以实现如上述方面所述的视频划分方法中所执行的操作。
另一方面,提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机程序代码,所述计算机程序代码存储在计算机可读存储介质中,处理器从计算机可读存储介质读取所述计算机程序代码,处理器执行所述计算机程序代码,以实现如上述方面所述的视频划分方法中所执行的操作。
本申请实施例提供的方法、装置、服务器、终端及存储介质,由于视频段的背景特征表示视频段中对象所处的环境,因此相邻的至少两个视频段的背景特征之间的相似度大于第二阈值,则说明该至少两个视频段中的环境相似或者相同,可以认为该至少两个视频段中的视频情节是相同的,因此将该至少两个视频段确定为属于同一视频情节的视频段。本申请基于视频段的背景特征之间的相似度来进行视频划分,从而确定哪些视频段属于同一个视频情节,能够覆盖任一类型的视频情节,避免了基于动作进行视频划分的局限性,提高了视频划分的效果。并且,通过创建视频划分记录,维护视频划分结果,便于后续根据视频划分记录对视频划分结果进行校验,或者根据视频划分记录对视频按照视频情节进行播放。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图。
图2是本申请实施例提供的另一种实施环境的示意图。
图3是本申请实施例提供的一种视频划分方法的流程图。
图4是本申请实施例提供的一种视频划分方法的流程图。
图5是本申请实施例提供的一种视频划分方法的流程图。
图6是本申请实施例提供的一种视频帧的示意图。
图7是本申请实施例提供的一种获取背景图像的流程图。
图8是本申请实施例提供的一种视频帧和视频帧的背景图像的示意图。
图9是本申请实施例提供的一种获取视频帧对应的背景图像的流程图。
图10是本申请实施例提供的一种获取视频段的背景特征的流程图。
图11是本申请实施例提供的一种视频划分方法的流程图。
图12是本申请实施例提供的一种视频划分结果的示意图。
图13是本申请实施例提供的一种视频划分信息的示意图。
图14是本申请实施例提供的一种视频划分和视频播放的流程图。
图15是本申请实施例提供的一种视频划分装置的结构示意图。
图16是本申请实施例提供的一种视频划分装置的结构示意图。
图17是本申请实施例提供的一种视频划分装置的结构示意图。
图18是本申请实施例提供的一种视频划分装置的结构示意图。
图19是本申请实施例提供的一种终端的结构示意图。
图20是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一指示标记称为第二指示标记,且类似地,可将第二指示标记称为第一指示标记。
其中,至少一个是指一个或者一个以上,例如,至少一个视频段可以是一个视频段、两个视频段、三个视频段等任一大于等于一的整数个视频段。多个是指两个或者两个以上,例如,多个视频段可以是两个视频段、三个视频段等任一大于等于二的整数个视频段。每个是指至少一个中的每一个,例如,每个视频段是指多个视频段中的每一个视频段,若多个视频段为3个视频段,则每个视频段是指3个视频段中的每一个视频段。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术包括自然语言处理技术和机器学习。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3-Dimension,三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
云技术(Cloud Technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据需要强大的系统后盾支撑,只能通过云计算来实现。
云存储(Cloud Storage)是在云计算概念上延伸和发展出来的一个新的概念,分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能,将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作,共同对外提供数据存储和业务访问功能的一个存储系统。
以下将基于人工智能技术和云存储技术,对本申请实施例提供的视频划分方法进行说明。
图1是本申请实施例提供的一种实施环境的示意图,参见图1,该实施环境包括:服务器101和终端102,服务器101和终端102之间通过无线或者有线网络连接。服务器101用于对原始视频进行划分,得到属于同一个视频情节的视频段。服务器101还用于根据划分结果创建视频划分记录,并将视频划分记录发送给终端102进行校验。
其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能电视、智能车载终端等,但并不局限于此。可选地,终端102上设置有客户端,终端102能够通过该客户端实现播放视频、校验视频划分记录等功能。该客户端可以为终端102的操作系统中的客户端,或者为第三方提供的客户端。该客户端可以为视频播放客户端、浏览器客户端、即时通信客户端、教育客户端等。
需要说明的是图1中仅以实施环境中包括服务器101和终端102为例,而在另一实施例中,服务器101无需将视频划分记录发送给其他终端进行校验,则实施环境中仅包括服务器101,不包括终端102。或者,在另一实施例中,如图2所示,实施环境中包括服务器101、终端102和终端103,服务器101将原始视频和视频划分记录下发给终端103,终端103在播放原始视频时,还会基于该视频划分记录来标记该原始视频中的视频情节划分的位置,以便用户了解视频情节的划分情况。
本申请实施例提供的视频划分方法,可应用于进行视频划分的任一场景下,例如划分电影情节的场景中。一部影片中包括多个电影情节,例如在餐厅吃饭、到游乐场游玩、在街上发生枪战等。为了便于用户在观看电影时跳转到自己感兴趣的电影情节,则采用本申请实施例提供的方法,对该影片进行划分,确定在多个视频段中,确定属于同一个电影情节的视频段,因此在播放该影片时即可将属于同一个电影情节的视频段添加标记,以便用户得知哪些视频段属于同一个电影情节,哪些视频段属于下一个电影情节。
图3是本申请实施例提供的一种视频划分方法的流程图。以执行主体为服务器为例,参见图3,该方法包括:
301、服务器将原始视频划分为连续的多个原始视频段。
服务器获取需要进行划分的原始视频,该原始视频可以为多种类型的视频,如电影、电视剧、综艺、动漫或者纪录片等。可选地,服务器获取已存储的原始视频,或者服务器通过其他途径获取该原始视频等,本申请实施例对此不做限定。
服务器将该原始视频划分为连续的多个原始视频段,每个原始视频段中包括连续的多个视频帧,且多个视频帧中相邻的视频帧之间的相似度大于第一阈值,也即是每个原始视频段中包括多个相似的视频帧。可选地,该第一阈值为服务器默认设置的,或者服务器根据运维人员的操作设置的。
302、服务器基于每个原始视频段中的每个视频帧的背景区域,获取每个原始视频段的背景特征。
每个视频帧包括前景区域和背景区域。其中,前景是指在视频帧中相对靠近镜头的对象,是视频帧的主体,如人物、动物或者车辆等。背景是指视频帧中的位于前景后面的景物,能够表现前景所处的时空环境,如街道、餐厅、篮球场等。
对于划分得到的每个原始视频段,服务器基于原始视频段中的每个视频帧的背景区域,获取该原始视频段的背景特征,该背景特征用于描述该原始视频段中的背景,也即是该原始视频段中的对象所处的环境。
303、服务器响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将至少两个原始视频段确定为属于同一个视频情节的视频段。
服务器获取每两个相邻的原始视频段的背景特征之间的相似度,若两个相邻的原始视频段的背景特征之间的相似度大于第二阈值,则说明这两个原始视频段中的环境相似或者相同,由于这两个原始视频段相邻,则可以认为这两个原始视频段中的视频情节是同一个视频情节。可选地,该第二阈值为服务器默认设置的,或者服务器根据运维人员的操作设置的。
因此,服务器响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将该至少两个原始视频段确定为属于同一个视频情节的原始视频段。若某一个原始视频段与相邻的原始视频段的背景特征之间的相似度不大于第二阈值,则该原始视频段单独属于一个视频情节。服务器可以在原始视频中的多个原始视频段中,确定多组原始视频段,每组原始视频段分别表示不同的视频情节,且每组原始视频段中包括一个原始视频段或者多个原始视频段。例如,当一组原始视频段中仅包括一个原始视频段时,该原始视频段单独属于一个视频情节,当一组原始视频段中包括多个原始视频段时,该多个原始视频段属于同一个视频情节。
304、服务器创建原始视频对应的视频划分记录。
当服务器完成对原始视频的视频情节划分,确定哪些原始视频段为属于同一个视频情节的视频段后,创建该原始视频对应的视频划分记录。其中,该视频划分记录中包括每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系。
本申请实施例提供的方法,由于视频段的背景特征表示视频段中对象所处的环境,因此相邻的至少两个视频段的背景特征之间的相似度大于第二阈值,则说明该至少两个视频段中的环境相似或者相同,可以认为该至少两个视频段中的视频情节是相同的,因此将该至少两个视频段确定为属于同一视频情节的视频段。本申请基于视频段的背景特征之间的相似度来进行视频划分,从而确定哪些视频段属于同一个视频情节,能够覆盖任一类型的视频情节,避免了基于动作进行视频划分的局限性,提高了视频划分的效果。并且,通过创建视频划分记录,维护视频划分结果,便于后续根据视频划分记录对视频划分结果进行校验,或者根据视频划分记录对视频按照视频情节进行播放。
需要说明的是,本申请实施例仅以执行主体为服务器为例进行说明,在另一实施例中,上述步骤301-304的执行主体也可以为其他计算机设备,例如执行主体为终端等。
图4是本申请实施例提供的一种视频划分方法的流程图。以执行主体为终端为例,参见图4,该方法包括:
401、终端接收服务器发送的校验请求。
在上述图3的实施例中服务器完成对原始视频的划分之后,还可以创建该原始视频的视频划分记录,视频划分记录中包括原始视频中的每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系。为了进一步提高视频划分的准确性,服务器在完成自动划分视频的情节之后,还可以将视频划分记录发送给终端进行人工校验,则服务器向终端发送携带该视频划分记录的校验请求。
则终端接收服务器发送的该校验请求,该校验请求用于请求终端对原始视频的视频划分记录进行校验。
402、终端基于校验请求显示用于指示关联关系的视频划分信息。
终端获取校验请求中携带的视频划分记录,根据视频划分记录中的关联关系,生成用于指示该关联关系的视频划分信息,并显示该视频划分信息,以便校验人员查看视频划分信息,根据视频划分信息来判断关联关系是否准确,也即是视频段的划分方式是否准确。
该视频划分信息包括多种类型的划分信息,只需表示出属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系即可,本申请实施例对此不做限定。
403、终端响应于对视频划分信息的编辑操作,更新视频划分记录中的关联关系。
校验人员查看视频划分信息来判断该视频划分信息是否准确,由于视频划分信息用于指示关联关系,因此如果服务器创建的视频划分记录中的关联关系不准确,则终端显示的视频划分信息也不准确,如果关联关系是准确的,则视频划分信息也是准确的。相应的,校验人员可以通过校验视频划分信息来对视频划分记录中的关联关系进行校验。例如,校验人员通过查看视频划分信息,来判断关联关系对应的多个原始视频段标识指示的原始视频段是不是属于同一个视频情节的视频段,如果确实是属于同一个视频情节的视频段,则该关联关系是准确的,如果不是属于同一个视频情节的视频段,则该关联关系是错误的。
当校验人员认为视频划分信息不准确时,则需要对视频划分信息进行编辑。因此校验服务器响应于对视频划分信息的编辑操作,更新视频划分记录中的关联关系,从而将错误的关联关系纠正过来。
404、终端向服务器发送更新后的视频划分记录。
终端更新视频划分记录中的关联关系之后,则向服务器发送更新后的视频划分记录,服务器获取该更新后的视频划分记录。
本申请实施例提供的方法,由于服务器已创建视频划分记录,因此终端基于携带视频划分记录的校验请求来显示视频划分信息,校验人员通过查看视频划分信息来判断该视频划分信息指示的关联关系是否准确,从而执行对视频划分信息的编辑操作,以使终端对关联关系进行更新,来纠正错误的关联关系,得到更加准确的视频划分记录,能够进一步提高视频划分的准确性。因此,本申请实施例兼顾自动划分的便捷性与人工划分的准确性,提升了视频划分的整体性能。
图5是本申请实施例提供的一种视频划分方法的流程图。以交互主体为服务器和终端为例,参见图5,该方法包括:
501、服务器将原始视频划分为连续的多个原始视频段。
服务器获取需要进行划分的原始视频,该原始视频可以为多种类型的视频,如电影、电视剧、综艺、动漫或者纪录片等。可选地,服务器获取已存储的原始视频,例如该服务器为视频应用服务器,该视频应用服务器中存储有多个视频,用于将存储的视频提供给视频应用进行播放。
服务器将该原始视频划分为连续的多个原始视频段,每个原始视频段中包括连续的多个视频帧,且多个视频帧中相邻的视频帧之间的相似度大于第一阈值,也即是每个原始视频段中包括多个相似的视频帧。
其中,服务器得到的每个原始视频段可以看作一个分镜,服务器通过对原始视频进行镜头切分得到连续的多个分镜。其中,镜头切分是指将连续的视频画面以一次运镜为单位进行分解,一个分镜是指通过一次连续的拍摄所得到的连续的视频画面。可选地,服务器采用开源库pyScenedetect(视频切分器)进行镜头切分。
在一种可能实现方式中,服务器将原始视频划分为连续的多个视频帧,并提取每个视频帧的帧特征,确定每两个相邻的视频帧的帧特征之间的相似度,响应于相邻的至少两个视频帧的帧特征之间的相似度大于第一阈值,将该至少两个视频帧确定为一个原始视频段,从而得到连续的多个原始视频段。
图6是本申请实施提供的一种视频帧的示意图,服务器对原始视频进行划分得到多个原始视频段,图6中展示了划分得到的原始视频段601、原始视频段602、原始视频段603、原始视频段604和原始视频段605。每个原始视频段中包括多个相似的视频帧,图6中分别选取每个原始视频段中的两个视频帧进行展示。
502、对于每个原始视频段,服务器对原始视频段中的每个视频帧的背景区域进行特征提取,得到每个视频帧的背景特征。
每个视频帧包括前景区域和背景区域。其中,前景是指在视频帧中相对靠近镜头的对象,是视频帧的主体,如人物、动物或者车辆等。背景是指视频帧中的位于前景后面的景物,能够表现前景所处的时空环境,如街道、餐厅、篮球场等。
对于划分得到的每个原始视频段,服务器对原始视频段中的每个视频帧的背景区域进行特征提取,得到该原始视频段中的每个视频帧的背景特征。其中视频帧的背景特征用于描述视频帧中的背景,也即是该视频帧中的对象所处的环境。
在一种可能实现方式中,对于每个视频帧,服务器对视频帧进行图像分割,得到视频帧对应的背景图像;对背景图像进行特征提取,得到视频帧的背景特征。其中,背景图像中包括视频帧的背景区域,不包括视频帧的前景区域。也即是该背景图像中仅包括背景区域的图像信息,不包括前景区域的图像信息,因此直接对该背景图像进行特征提取,即可得到该视频帧的背景特征。可选地,服务器基于训练好的特征提取模型,对背景图像进行特征提取,得到背景图像对应的视频帧的背景特征。
可选地,服务器基于视频帧中的前景区域或背景区域所在的位置,生成视频帧对应的背景标注图;基于背景标注图,对视频帧进行图像分割,得到背景图像。其中,背景标注图用于指示视频帧中的背景区域。可选地,视频帧对应的背景标注图与视频帧的尺寸相同,背景标注图中的各个像素点的像素值均为0或者1,其中像素值为1的像素点位于背景区域,像素值为0的像素点位于前景区域,例如该背景标注图为背景mask(掩模)图。则服务器将该背景标注图与视频帧相乘,即可得到该视频帧对应的背景图像。
可选地,服务器检测视频帧中的前景区域,基于检测到的前景区域,生成视频帧对应的前景标注图,该前景标注图用于指示视频帧中的前景区域。然后将视频帧对应的前景标注图取反,得到视频帧对应的背景标注图。可选地,服务器可采用显著性检测算法来检测视频帧中的前景区域,或者还可以采用其他算法进行检测,本申请实施例对此不做限定。
其中,视频帧对应的前景标注图与视频帧的尺寸相同,前景标注图中的各个像素点的像素值均为0或者1,其中像素值为1的像素点位于前景区域,像素值为0的像素点位于背景区域,例如该前景标注图为前景mask(掩模)图。则将前景标注图取反是指在前景标注图中,将像素值中的0替换为1,将像素值中的1替换为0,从而得到背景标注图。
图7是本申请实施例提供的一种获取背景图像的流程图,参加图7,服务器检测视频帧701中的前景区域,基于检测到的前景区域,生成视频帧701对应的前景标注图702,然后将前景标注图702取反,得到视频帧701对应的背景标注图703,服务器基于背景标注图703,对视频帧701进行图像分割,得到背景图像704。其中,前景标注图像702中像素值为1的像素点位于前景区域,像素值为0的像素点位于背景区域,因此前景区域显示为黑色,背景区域显示为白色。背景标注图703中像素值为1的像素点位于背景区域,像素值为0的像素点位于前景区域,因此前景区域显示为白色,背景区域显示为黑色。
图8是本申请实施例提供的一种视频帧和视频帧的背景图像的示意图,参见图8,图8中包括视频帧801以及对应的背景图像802,视频帧803以及对应的背景图像804,视频帧805以及对应的背景图像806,其中背景图像802、背景图像804和背景图像806中仅包括背景区域,不包括前景区域。
图9是本申请实施例提供的一种获取视频帧对应的背景图像的流程图,如图9所示,包括:
901、获取视频帧;
902、检测视频帧中的前景区域;
903、通过检测视频帧中的前景区域得到前景标注图;
904、将前景标注图中的像素值取反,得到背景标注图;
905、基于背景标注图对视频帧进行图像分割得到背景图像。
在另一种可能实现方式中,服务器预先训练背景识别模型,该背景识别模型用于生成任一图像对应的背景图像。后续基于训练好的背景识别模型,对视频帧进行背景识别,得到视频帧对应的背景图像。可选地,该背景识别模型可以为基于imagenet(一种大型通用物体识别开源数据集)训练的一个深度学习网络模型,通过训练得到该深度学习网络模型的参数权重,从而得到imagenet预训练模型作为背景识别模型。
503、服务器基于原始视频段中的多个视频帧的背景特征,确定原始视频段的背景特征。
服务器得到每个原始视频段中的每个视频帧的背景特征,则对于每个原始视频段,基于该原始视频段中的多个视频帧的背景特征,确定该原始视频段的背景特征,原始视频段的背景特征用于描述该原始视频段的背景,也即是该原始视频段中的对象所处的环境。
在一种可能实现方式中,服务器从原始视频段中提取多个参考视频帧,将多个参考视频帧的背景特征的均值,确定为原始视频段的背景特征。其中,该多个参考视频帧中不包含原始视频段的起始视频帧和终止视频帧,也即是在起始视频帧和终止视频帧之间的位于中间部分的视频帧中,选取多个参考视频帧。该多个参考视频帧的背景特征的均值,即为该原始视频段的embedding特征(嵌入特征),作为该原始视频段的背景特征。由于一个原始视频段的起始视频帧和终止视频帧可能包括原始视频段之间进行切换的特效,因此起始视频帧和终止视频帧的背景特征不能准确地表示整个原始视频段的背景特征,会影响分镜特征的表达,因此去除起始视频帧和终止视频帧,根据参考视频帧的背景特征确定的原始视频段的背景特征更加准确。
可选地,服务器先确定与原始视频段中的多个视频帧的总数量之间的比例为第一比例的第一数量,以及与总数量之间的比例为第二比例的第二数量,然后从原始视频段的起始视频帧开始依次往前,去除第一数量的视频帧,从原始视频段的终止视频帧开始依次往后,去除第二数量的视频帧,剩余的多个视频帧作为参考视频帧。
例如,以选取80%的参考视频帧为例,服务器从原始视频段的起始视频帧开始依次往前,去除10%的视频帧,从原始视频段的终止视频帧开始依次往后,去除10%的视频帧,得到位于中间部分的80%的参考视频帧,作为确定原始视频段的背景特征的依据。
在另一种可能实现方式中,服务器基于原始视频段中的多个视频帧的背景特征,对多个视频帧进行聚类,得到多个视频帧集合,每个视频帧集合中包括至少一个视频帧;在多个视频帧集合中选取参考视频帧集合,参考视频帧集合是指包括的视频帧的个数最多的视频帧集合;将参考视频帧集合中的多个视频帧的背景特征的均值,确定为原始视频段的背景特征。
对多个视频帧进行聚类得到的多个视频帧集合中,每个视频帧集合中包括的至少一个视频帧的背景特征之间彼此相似,视频帧集合中的视频帧的个数越多,说明该原始视频段中与该视频帧集合中的视频帧的背景特征相似的视频帧越多,该视频帧集合中的视频帧的背景特征更能反映该原始视频段的背景特征。因此服务器确定每个视频帧集合中包括的视频帧的个数,并从中选取包括的视频帧的个数最多的参考视频帧集合,将参考视频帧集合中的多个视频帧的背景特征,作为确定该原始视频段的背景特征的依据,得到的原始视频段的背景特征更加准确。
可选地,服务器可采用k-means算法(一种聚类算法)对多个视频帧进行聚类,或者采用其他聚类算法对多个视频帧进行聚类,本申请实施例对此不做限定。
在另一种可能实现方式中,服务器基于原始视频段中的多个视频帧的背景特征,对多个视频帧进行聚类,得到每个视频帧集合,每个视频帧集合中至少包括一个中心视频帧,视频帧集合中的中心视频帧为聚类过程中的聚类中心。服务器在多个视频帧集合中选取参考视频帧集合,参考视频帧集合是指包括的视频帧的个数最多的视频帧集合,将该参考视频帧集合中的中心视频帧的背景特征,确定为原始视频段的背景特征。
由于参考视频帧集合中的视频帧的背景特征更能反映该原始视频段的背景特征,而参考视频帧集合中的每个视频帧的背景特征均与中心视频帧的背景特征相似度较高,因此与参考视频帧集合中的其他视频帧相比,该中心视频帧的背景特征更能反映该原始视频段的背景特征,将中心视频帧的背景特征确定为原始视频段的背景特征,该原始视频段的背景特征更加准确。
图10是本申请实施例提供的一种获取原始视频段的背景特征的流程图,参见图10,包括:
1001、获取视频帧对应的背景图像;
1002、对背景图像进行特征提取;
1003、通过对背景图像进行特征提取得到视频帧的背景特征;
1004、基于多个视频帧的背景特征,确定原始视频段的背景特征。
需要说明的是,服务器通过执行上述步骤502-503,实现了基于每个原始视频段中的每个视频帧的背景区域,获取每个原始视频段的背景特征。除了采用上述步骤502-503中提供的方法之外,服务器还可以采用其他方法,基于每个视频帧的背景区域获取原始视频段的背景特征。
需要说明的是,本申请实施例中进行背景区域识别和背景特征提取等过程,均可基于深度学习模型来执行,能够加强本方案的泛化性,后续可以通过优化模型来不断提高本方案的准确性。
504、服务器响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将至少两个原始视频段确定为属于同一个视频情节的视频段。
服务器获取每两个相邻的原始视频段的背景特征之间的相似度,若两个相邻的原始视频段的背景特征之间的相似度大于第二阈值,则说明这两个原始视频段中的环境相似或者相同,由于这两个原始视频段相邻,则可以认为这两个原始视频段中的视频情节是连续的相同的视频情节。因此,服务器响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将该至少两个原始视频段确定为属于同一个视频情节的视频段。其中,属于同一个视频情节的多个原始视频段中,第一个原始视频段中的起始视频帧的位置即为一个视频情节开始的位置,最后一个原始视频段中的终止视频帧的位置即为一个视频情节结束的位置。
服务器可以在原始视频中的多个原始视频段中,确定出多组原始视频段,每组原始视频段分别表示不同的视频情节,且每组原始视频段中包括一个原始视频段或者多个原始视频段。例如,多组原始视频段中包括属于视频情节A的一组原始视频段、属于视频情节B的一组原始视频段和属于视频情节C的一组原始视频段。其中,属于视频情节A的一组原始视频段中仅包括一个原始视频段1;属于视频情节B的一组原始视频段中包括原始视频段2和原始视频段3,则原始视频段2和原始视频段3的背景特征之间的相似度大于第二阈值;属于视频情节C的一组原始视频段中包括原始视频段4、原始视频段5和原始视频段6,则原始视频段4和原始视频段5的背景特征之间的相似度大于第二阈值,且原始视频段5和原始视频段6的背景特征之间的相似度大于第二阈值。
在一种可能实现方式中,服务器在连续的多个原始视频段中,从第二个原始视频段开始,确定每个原始视频段与前一个原始视频段的视频背景特征之间的相似度,响应于任一原始视频段与任一原始视频段的前一个原始视频段的背景特征之间的相似度大于第二阈值,将任一原始视频段与前一个原始视频段确定为属于同一个视频情节的视频段。
服务器从第二个原始视频段开始进行遍历,确定每一个原始视频段与上一个原始视频段的背景特征之间的相似度是否大于第二阈值。如果某一个原始视频段与前一个原始视频段的背景特征之间的相似度大于第二阈值,则服务器将该原始视频段与前一个原始视频段确定为属于同一个视频情节的视频段,如果某一个原始视频段与前一个原始视频段的背景特征之间的相似度不大于第二阈值,说明该原始视频段与前一个原始视频段的视频情节不同,则服务器继续执行对下一个原始视频段的遍历。
图11是本申请实施例提供的一种视频划分方法的流程图,参见图11,包括:
1101、对原始视频进行镜头切分,得到连续的多个视频分镜(原始视频段);
1102、获取每个视频分镜中的每个视频帧对应的背景图像;
1103、基于视频帧对应的背景图像,提取视频帧的背景特征;
1104、基于多个视频帧的背景特征,获取视频分镜的背景特征;
1105、基于每个视频分镜的背景特征,进行多分镜聚合,其中聚合得到的多个视频分镜的背景特征相似,聚合得到的多个视频分镜属于同一个视频情节;
1106、完成对原始视频的情节划分。
图12是本申请实施例提供的一种视频划分结果的示意图,参见图12,对原始视频进行划分得到原始视频段1201、原始视频段1202、原始视频段1203、原始视频段1204、原始视频段1205、原始视频段1206和原始视频段1207。采用本申请实施例提供的方法进行视频情节切分,确定原始视频段1201属于一个视频情节,原始视频段1202和原始视频段1203属于一个视频情节,原始视频段1204属于一个视频情节,原始视频段1205、原始视频段1206和原始视频段1207属于一个视频情节。
通过执行上述步骤501-504,完成对原始视频的视频情节切分,从而将一个视频根据叙事划分成多个视频情节,如餐厅吃饭情节、停车场对话情节等。需要说明的是,本申请实施例仅说明了对原始视频进行视频情节划分的过程。在另一实施例中,当服务器执行上述步骤504完成视频情节的划分之后,还可以将属于同一个视频情节的多个原始视频段进行合并,则合并得到的每个原始视频段分别属于一个视频情节,其他未合并的每个原始视频段也分别属于一个视频情节。
505、服务器创建原始视频对应的视频划分记录。
当服务器完成对原始视频的视频情节划分,确定哪些原始视频段为属于同一个视频情节的视频段后,创建该原始视频对应的视频划分记录,其中,该视频划分记录中包括每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系。其中,视频段标识用于指示原始视频段,例如视频段标识为原始视频段的序号等。
该视频划分记录能够表示该原始视频中的哪些原始视频段属于同一个视频情节,后续当服务器将原始视频下发给终端进行播放时,可同步将该原始视频的视频划分记录发送给终端。则终端可以根据视频划分记录得知原始视频中的哪些原始视频段属于同一个视频情节,从而在原始视频中确定不同的视频情节切分的位置对应的视频帧,以便在播放原始视频时为这些视频帧添加标记,例如在进度条中该视频帧对应的位置添加标记,以便用户在观看原始视频时根据显示的标记跳转到自己感兴趣的视频情节。
506、服务器向终端发送校验请求。
为了进一步提高视频划分的准确性,服务器在完成自动划分视频的情节之后,还可以将视频划分记录发送给终端进行人工校验,则服务器向终端发送携带该视频划分记录的校验请求。
507、终端接收服务器发送的校验请求。
508、终端基于校验请求显示用于指示关联关系的视频划分信息。
终端获取校验请求中携带的视频划分记录,根据视频划分记录中的关联关系,生成用于指示该关联关系的视频划分信息,并显示该视频划分信息,以便校验人员查看视频划分信息,根据视频划分信息来判断关联关系是否准确。
在一种可能实现方式中,终端基于校验请求,显示视频划分记录中的多个视频段标识对应的指示标记。其中属于同一个视频情节的不同原始视频段的视频段标识与一个指示标记对应,其他的视频段标识分别与一个指示标记对应。则校验人员查看到多个不同的原始视频段的视频段标识与一个指示标记对应,可以得知该多个不同的原始视频段之间具有关联关系,也即是服务器将该多个不同的原始视频段确定为属于同一个视频情节的视频段。如果校验人员查看到某一个原始视频段的视频段标识单独与一个指示标记对应,可以得知服务器将该原始视频段单独确定为属于一个视频情节的视频段。因此通过显示视频段标识对应的指示标记,校验人员即可得知服务器对原始视频的划分结果,从而对划分结果进行校验。
在另一种可能实现方式中,校验请求还携带每个视频段标识对应的一个视频帧。则终端除了显示多个视频段标识对应的指示标记,还会在每个指示标记对应的显示位置,显示与每个指示标记对应于同一视频段标识的视频帧。
其中,视频段标识对应的一个视频帧,是指该视频段标识指示的原始视频段中的一个视频帧,例如该视频帧为原始视频段中的位于中间位置的一个视频帧等,能够通过该视频帧来表示该原始视频段所属的视频情节。则终端通过显示与每个指示标记对应于同一视频段标识的视频帧,便于校验人员通过查看视频帧来确定指示标记对应的每个原始视频段所属的视频情节,更加直观形象,从而判断一个指示标记对应的多个原始视频段是不是确实属于同一个视频情节,以及判断两个不同的指示标记分别对应的原始视频段是不是确实不属于同一个视频情节。
图13是本申请实施例提供的一种视频划分信息的示意图,参见图13,将原始视频段中的视频帧按顺序展示在校验人员的面前,指示标记为长条形的指示标记,校验人员通过修正长条形的指示标记的位置来对视频划分信息进行校正。其中在指示标记1308对应的显示位置,显示视频帧1301,该视频帧1301所在的原始视频段属于一个视频情节;在指示标记1309对应的显示位置,显示视频帧1302和视频帧1303,该视频帧1302和视频帧1303所在的原始视频段属于同一个视频情节;在指示标记1310对应的显示位置,显示视频帧1304,该视频帧1304所在的原始视频段属于一个视频情节;在指示标记1311对应的显示位置,显示视频帧1305、视频帧1306和视频帧1307,该视频帧1305、视频帧1306和视频帧1307所在的原始视频段属于同一个视频情节。
509、终端响应于对视频划分信息的编辑操作,更新视频划分记录中的关联关系。
校验人员查看视频划分信息来判断该视频划分信息是否准确,由于视频划分信息用于指示关联关系,因此如果服务器创建的视频划分记录中的关联关系不准确,则终端显示的视频划分信息也不准确,如果关联关系是准确的,则视频划分信息也是准确的。相应的,校验人员可以通过校验视频划分信息来对视频划分记录中的关联关系进行校验。当校验人员认为视频划分信息不准确时,则需要对视频划分信息进行编辑。因此校验服务器响应于对视频划分信息的编辑操作,更新视频划分记录中的关联关系,从而将错误的关联关系纠正过来。
在一种可能实现方式中,如上述步骤508中所说的,终端显示的视频划分信息包括多个视频段标识对应的指示标记,且属于同一个视频情节的不同原始视频段的视频段标识与一个指示标记对应,其他的视频段标识分别与一个指示标记对应。则响应于对视频划分信息的编辑操作更新关联关系的方式,包括以下几种:
第一种方式,终端响应于对第一指示标记和第二指示标记的合并操作,在视频划分记录中创建第一指示标记和第二指示标记对应的多个视频段标识之间的关联关系。
其中,第一指示标记与第二指示标记相邻,第一指示标记对应一个视频段标识,第二指示标记也对应至少一个视频段标识,也即是第一指示标记对应的至少一个原始视频段与第二指示标记对应的至少一个原始视频段相邻。服务器将第一指示标记对应的至少一个原始视频段确定为属于一个视频情节的视频段,将第二指示标记对应的至少一个原始视频段确定为属于另一个视频情节的视频段。如果校验人员确定第一指示标记和第二指示标记对应的多个原始视频段其实是属于同一个视频情节的视频段,则将第一指示标记和第二指示标记进行合并。终端响应于对第一指示标记和第二指示标记的合并操作,创建第一指示标记和第二指示标记对应的多个视频段标识之间的关联关系,该关联关系表示该多个视频段标识指示的多个原始视频段是属于同一个视频情节的视频段。
第二种方式,终端响应于对第三指示标记的删除操作,将视频划分记录中的第三指示标记对应的多个视频段标识之间的关联关系删除。
其中,该第三指示标记对应多个视频段标识,也即是对应多个原始视频段。服务器将第三指示标记对应的多个原始视频段确定为属于一个视频情节的视频段。如果校验人员确定第三指示标记对应的多个原始视频段其实并不是属于同一个视频情节的视频段,则将该第三指示标记删除。终端响应于对第三指示标记的删除操作,将视频划分记录中的第三指示标记对应的多个视频段标识之间的关联关系删除,不再将该多个原始视频段确定为属于同一个视频情节的视频段。
第三种方式,终端响应于对第四指示标记的拆分操作,确定拆分得到的多个第五指示标记;将视频划分记录中的第四指示标记对应的多个视频段标识之间的关联关系删除;对于每个第五指示标记,在视频划分记录中创建第五指示标记对应的多个视频段标识之间的关联关系。
其中,该第四指示标记对应多个视频段标识,也即是对应多个原始视频段。服务器将第四指示标记对应的多个原始视频段确定为属于一个视频情节的视频段。如果校验人员确定该多个原始视频段其实并不是属于同一个视频情节的视频段,而是多个原始视频段中包括多组原始视频段,每组原始视频段分别属于一种视频情节,则校验人员按照该多个原始视频段中的视频情节的切分情况,将该第四指示标记拆分成多个第五指示标记,每个第五指示标记对应一组属于同一个视频情节的视频段。
则终端将视频划分记录中的第四指示标记对应的多个视频段标识之间的关联关系删除。对于每个第五指示标记,如果某一个第五指示标记对应多个原始视频段,也即是对应多个视频段标识,则终端在视频划分记录中创建该第五指示标识对应的多个视频段标识之间的关联关系,以表示该多个视频段标识指示的多个原始视频段是属于同一个视频情节的视频段。
510、终端向服务器发送更新后的视频划分记录。
终端更新视频划分记录中的关联关系之后,得到更新后的视频划分记录,该更新后的视频划分记录为经人工校验的更加准确的视频划分记录。终端向服务器发送该更新后的视频划分记录。
511、服务器接收更新后的视频划分记录。
服务器接收更新后的视频划分记录,可以将原先的视频划分记录替换为该更新后的视频划分记录,后续将原始视频下发给终端进行播放时,可以将更新后的视频划分记录同步下发给终端。
需要说明的是,本申请实施例仅以创建视频划分记录并发送给终端进行校验为例进行说明。在另一实施例中,服务器完成对视频的划分后,还可以不创建视频划分记录,也即是不执行上述步骤505-511。或者,服务器在创建视频划分记录后,还可以不发送给终端进行校验,也即是不执行上述步骤506-511。
本申请实施例提供的方法,由于视频段的背景特征表示视频段中对象所处的环境,因此相邻的至少两个视频段的背景特征之间的相似度大于第二阈值,则说明该至少两个视频段中的环境相似或者相同,可以认为该至少两个视频段中的视频情节是相同的,因此将该至少两个视频段确定为属于同一视频情节的视频段。本申请基于视频段的背景特征之间的相似度来进行视频划分,从而确定哪些视频段属于同一个视频情节,能够覆盖任一类型的视频情节,避免了基于动作进行视频划分的局限性,提高了视频划分的效果。并且,通过创建视频划分记录,维护视频划分结果,便于后续根据视频划分记录对视频划分结果进行校验,或者根据视频划分记录对视频按照视频情节进行播放。
并且,由于服务器已创建视频划分记录,因此终端基于携带视频划分记录的校验请求来显示视频划分信息,校验人员通过查看视频划分信息来判断该视频划分信息指示的关联关系是否准确,从而执行对视频划分信息的编辑操作,以使终端对关联关系进行更新,来纠正错误的关联关系,得到更加准确的视频划分记录,因此能够进一步提高视频划分的准确性。因此,本申请实施例兼顾自动划分的便捷性与人工划分的准确性,提升了视频划分的整体性能。
并且,由于一个视频段的起始视频帧和终止视频帧可能包括视频段之间进行切换的特效,因此起始视频帧和终止视频帧的背景特征不能准确地表示整个视频段的背景特征,会影响分镜特征的表达,因此去除起始视频帧和终止视频帧,根据参考视频帧的背景特征确定的视频段的背景特征更加准确。
并且,相关技术中采用人工标注的方法来划分一个完整的视频中所有的视频情节,耗费大量人力和时间。而本申请实施例结合人工智能技术,能够实现自动化划分视频的视频情节,减少人力投入,提高了视频划分的效率。
并且,对多个视频帧进行聚类得到的多个视频帧集合中,包括的视频帧的个数最多的参考视频帧集合更能反映该视频段的背景特征,因此将参考视频帧集合中的多个视频帧的背景特征,作为确定该视频段的背景特征的依据,得到的视频段的背景特征更加准确。
并且,参考视频帧集合中的每个视频帧的背景特征均与中心视频帧的背景特征相似度较高,因此与参考视频帧集合中的其他视频帧相比,中心视频帧的背景特征更能反映该视频段的背景特征,将中心视频帧的背景特征确定为视频段的背景特征,该视频段的背景特征更加准确。
并且,终端显示与每个指示标记对应于同一视频段标识的视频帧,便于校验人员通过查看视频帧来确定指示标记对应的每个视频段所属的视频情节,更加直观形象。
并且,本申请实施例中进行背景区域识别和背景特征提取等过程,均可基于深度学习模型来执行,从而加强本方案的泛化性,后续还可以通过优化模型来不断提高视频划分的准确性。
上述实施例提供的方法可应用于根据视频情节播放视频的场景中,在该场景中包括视频划分和视频播放两个过程,则如图14所示,视频划分和视频播放的过程包括:
1401、服务器将原始视频划分为连续的多个原始视频段,其中,每个原始视频段中的相邻视频帧之间的相似度大于第一阈值。
1402、服务器基于每个原始视频段中的每个视频帧的背景区域,获取每个原始视频段的背景特征。
1403、服务器响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将至少两个原始视频段确定为属于同一个视频情节的视频段。
1404、服务器创建原始视频对应的视频划分记录,其中,视频划分记录中包括每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系。
1405、服务器响应于终端发送的视频播放请求,将该原始视频和原始视频的视频划分记录发送给终端。
1406、终端接收原始视频和视频划分记录。
1407、终端根据视频划分记录确定属于一个视频情节的至少一个原始视频段。
1408、终端在播放原始视频时,确定属于一个视频情节的至少一个原始视频段中的起始视频帧,在进度条中的起始视频帧对应的位置处显示跳转标记,其中,进度条中每两个跳转标记之间的至少一个原始视频段属于一个视频情节。
1409、终端响应于对任一跳转标记的点击操作,跳转至该跳转标记对应的视频帧进行播放。其中,如果用户对当前播放的原始视频段的视频情节不感兴趣,则可以点击下一个跳转标记,跳转至下一个视频情节的原始视频段。
图15是本申请实施例提供的一种视频划分装置的结构示意图。参见图15,该装置包括:
视频划分模块1501,用于将原始视频划分为连续的多个原始视频段,每个原始视频段中的相邻视频帧之间的相似度大于第一阈值;
特征获取模块1502,用于基于每个原始视频段中的每个视频帧的背景区域,获取每个原始视频段的背景特征;
视频段确定模块1503,用于响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将至少两个原始视频段确定为属于同一个视频情节的视频段;
划分记录创建模块1504,用于创建所述原始视频对应的视频划分记录,所述视频划分记录中包括所述每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系。
本申请实施例提供的视频划分装置,由于视频段的背景特征表示视频段中对象所处的环境,因此相邻的至少两个视频段的背景特征之间的相似度大于第二阈值,则说明该至少两个视频段中的环境相似或者相同,可以认为该至少两个视频段中的视频情节是相同的,因此将该至少两个视频段确定为属于同一视频情节的视频段。本申请基于视频段的背景特征之间的相似度来进行视频划分,从而确定哪些视频段属于同一个视频情节,能够覆盖任一类型的视频情节,避免了基于动作进行视频划分的局限性,提高了视频划分的效果。并且,通过创建视频划分记录,维护视频划分结果,便于后续根据视频划分记录对视频划分结果进行校验,或者根据视频划分记录对视频按照视频情节进行播放。
可选地,参见图16,特征获取模块1502,包括:
特征提取单元15021,用于对于每个原始视频段,对原始视频段中的每个视频帧的背景区域进行特征提取,得到每个视频帧的背景特征;
特征确定单元15022,用于基于原始视频段中的多个视频帧的背景特征,确定原始视频段的背景特征。
可选地,参见图16,特征提取单元15021,用于:
对于每个视频帧,对视频帧进行图像分割,得到视频帧对应的背景图像,背景图像中包括视频帧的背景区域,不包括视频帧的前景区域;
对背景图像进行特征提取,得到视频帧的背景特征。
可选地,参见图16,特征确定单元15022,用于:
从原始视频段中提取多个参考视频帧,且多个参考视频帧中不包含原始视频段的起始视频帧和终止视频帧;
将多个参考视频帧的背景特征的均值,确定为原始视频段的背景特征。
可选地,参见图16,特征确定单元15022,用于:
基于原始视频段中的多个视频帧的背景特征,对多个视频帧进行聚类,得到多个视频帧集合,每个视频帧集合中包括至少一个视频帧;
在多个视频帧集合中选取参考视频帧集合,参考视频帧集合是指包括的视频帧的个数最多的视频帧集合;
将参考视频帧集合中的多个视频帧的背景特征的均值,确定为原始视频段的背景特征。
可选地,参见图16,特征确定单元15022,用于:
基于原始视频段中的多个视频帧的背景特征,对多个视频帧进行聚类,得到多个视频帧集合,每个视频帧集合中至少包括一个中心视频帧;
在多个视频帧集合中选取参考视频帧集合,参考视频帧集合是指包括的视频帧的个数最多的参考视频帧集合;
将参考视频帧集合中的中心视频帧的背景特征,确定为原始视频段的背景特征。
可选地,参见图16,视频段确定模块1503,包括:
相似度确定单元15031,用于在连续的多个原始视频段中,从第二个原始视频段开始,确定每个原始视频段与前一个原始视频段的视频背景特征之间的相似度;
视频段确定单元15032,用于响应于任一原始视频段与任一原始视频段的前一个原始视频段的背景特征之间的相似度大于第二阈值,将任一原始视频段与前一个原始视频段确定为属于同一个视频情节的视频段。
可选地,参见图16,装置还包括:
视频段合并模块1505,用于将属于同一个视频情节的多个原始视频段进行合并。
可选地,参见图16,装置还包括:
校验请求发送模块1506,用于向终端发送校验请求,校验请求携带视频划分记录;终端用于基于校验请求显示用于指示关联关系的视频划分信息,响应于对视频划分信息的编辑操作,更新视频划分记录中的关联关系,返回更新后的视频划分记录;
划分记录接收模块1507,用于接收更新后的视频划分记录。
需要说明的是:上述实施例提供的视频划分装置在对视频进行划分时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将服务器的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的视频划分装置与视频划分方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图17是本申请实施例提供的一种视频划分装置的结构示意图。参见图17,该装置包括:
校验请求接收模块1701,用于接收服务器发送的校验请求,校验请求携带服务器创建的视频划分记录,视频划分记录中包括原始视频中的每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系;
信息显示模块1702,用于基于校验请求显示用于指示关联关系的视频划分信息;
关联关系更新模块1703,用于响应于对视频划分信息的编辑操作,更新视频划分记录中的关联关系;
划分记录发送模块1704,用于向服务器发送更新后的视频划分记录。
本申请实施例提供的视频划分装置,由于服务器已创建视频划分记录,因此终端基于携带视频划分记录的校验请求来显示视频划分信息,校验人员通过查看视频划分信息来判断该视频划分信息指示的关联关系是否准确,从而执行对视频划分信息的编辑操作,以使终端对关联关系进行更新,来纠正错误的关联关系,得到更加准确的视频划分记录,因此能够进一步提高视频划分的准确性。因此,本申请实施例兼顾自动划分的便捷性与人工划分的准确性,提升了视频划分的整体性能。
可选地,参见图18,信息显示模块1702,包括:
信息显示单元17021,用于基于校验请求,显示视频划分记录中的多个视频段标识对应的指示标记,其中属于同一个视频情节的不同原始视频段的视频段标识与一个指示标记对应,其他的视频段标识分别与一个指示标记对应。
可选地,参见图18,校验请求还携带每个视频段标识对应的一个视频帧,信息显示模块1702,用于在每个指示标记对应的显示位置,显示与每个指示标记对应于同一视频段标识的视频帧。
可选地,参见图18,关联关系更新模块1703,包括:
关联关系创建单元17031,用于响应于对第一指示标记和第二指示标记的合并操作,在视频划分记录中创建第一指示标记和第二指示标记对应的多个视频段标识之间的关联关系,第一指示标记与第二指示标记相邻。
可选地,参见图18,关联关系更新模块1703,包括:
关联关系删除单元17032,用于响应于对第三指示标记的删除操作,将视频划分记录中的第三指示标记对应的多个视频段标识之间的关联关系删除。
可选地,参见图18,关联关系更新模块1703,包括:
指示标记确定单元17033,用于响应于对第四指示标记的拆分操作,确定拆分得到的多个第五指示标记;
关联关系删除单元17032,用于将视频划分记录中的第四指示标记对应的多个视频段标识之间的关联关系删除;
关联关系创建单元17031,用于对于每个第五指示标记,在视频划分记录中创建第五指示标记对应的多个视频段标识之间的关联关系。
需要说明的是:上述实施例提供的视频划分装置在对视频进行划分时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将终端的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的视频划分装置与视频划分方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例还提供了一种终端,该终端包括处理器和存储器,存储器中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行,以实现上述实施例的视频划分方法中所执行的操作。
图19示出了本申请一个示例性实施例提供的终端1900的结构示意图。
终端1900包括有:处理器1901和存储器1902。
处理器1901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1901可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(FieldProgrammable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(CentralProcessing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1901可以集成有GPU(Graphics Processing Unit,图像处理的交互器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1901还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1902可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1902还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1902中的非暂态的计算机可读存储介质用于存储至少一条计算机程序,该至少一条计算机程序用于被处理器1901所具有以实现本申请中方法实施例提供的视频划分方法。
在一些实施例中,终端1900还可选包括有:外围设备接口1903和至少一个外围设备。处理器1901、存储器1902和外围设备接口1903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1903相连。可选地,外围设备包括:射频电路1904和显示屏1905中的至少一种。
外围设备接口1903可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1901和存储器1902。在一些实施例中,处理器1901、存储器1902和外围设备接口1903被集成在同一芯片或电路板上;在一些其他实施例中,处理器1901、存储器1902和外围设备接口1903中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1904用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1904将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1904包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1904可以通过至少一种无线通信协议来与其它设备进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1904还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1905用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1905是触摸显示屏时,显示屏1905还具有采集在显示屏1905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1901进行处理。此时,显示屏1905还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1905可以为一个,设置在终端1900的前面板;在另一些实施例中,显示屏1905可以为至少两个,分别设置在终端1900的不同表面或呈折叠设计;在另一些实施例中,显示屏1905可以是柔性显示屏,设置在终端1900的弯曲表面上或折叠面上。甚至,显示屏1905还可以设置成非矩形的不规则图形,也即异形屏。显示屏1905可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
本领域技术人员可以理解,图19中示出的结构并不构成对终端1900的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本申请实施例还提供了一种服务器,该服务器包括处理器和存储器,存储器中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行,以实现上述实施例的视频划分方法中所执行的操作。
图20是本申请实施例提供的一种服务器的结构示意图,该服务器2000可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central ProcessingUnits,CPU)2001和一个或一个以上的存储器2002,其中,所述存储器2002中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器2001加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行,以实现上述实施例的视频划分方法中所执行的操作。
本申请实施例还提供了一种计算机程序产品或计算机程序,计算机程序产品或计算机程序包括计算机程序代码,计算机程序代码存储在计算机可读存储介质中,处理器从计算机可读存储介质读取计算机程序代码,处理器执行计算机程序代码,以实现如上述实施例的视频划分方法中所执行的操作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请实施例的可选实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (14)
1.一种视频划分方法,其特征在于,所述方法包括:
将原始视频划分为连续的多个原始视频段,每个原始视频段中的相邻视频帧之间的相似度大于第一阈值;
基于每个原始视频段中的每个视频帧的背景区域,获取所述每个原始视频段的背景特征;
响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将所述至少两个原始视频段确定为属于同一个视频情节的视频段;
创建所述原始视频对应的视频划分记录,所述视频划分记录中包括所述每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系。
2.根据权利要求1所述的方法,其特征在于,所述基于每个原始视频段中的每个视频帧的背景区域,获取所述每个原始视频段的背景特征,包括:
对于所述每个原始视频段,对所述原始视频段中的每个视频帧的背景区域进行特征提取,得到所述每个视频帧的背景特征;
基于所述原始视频段中的多个视频帧的背景特征,确定所述原始视频段的背景特征。
3.根据权利要求2所述的方法,其特征在于,所述基于所述原始视频段中的多个视频帧的背景特征,确定所述原始视频段的背景特征,包括:
从所述原始视频段中提取多个参考视频帧,且所述多个参考视频帧中不包含所述原始视频段的起始视频帧和终止视频帧;
将所述多个参考视频帧的背景特征的均值,确定为所述原始视频段的背景特征。
4.根据权利要求2所述的方法,其特征在于,所述基于所述原始视频段中的多个视频帧的背景特征,确定所述原始视频段的背景特征,包括:
基于所述原始视频段中的多个视频帧的背景特征,对所述多个视频帧进行聚类,得到多个视频帧集合,每个视频帧集合中至少包括一个中心视频帧;
在所述多个视频帧集合中选取参考视频帧集合,所述参考视频帧集合是指包括的视频帧的个数最多的视频帧集合;
将所述参考视频帧集合中的中心视频帧的背景特征,确定为所述原始视频段的背景特征。
5.根据权利要求1所述的方法,其特征在于,所述响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将所述至少两个原始视频段确定为属于同一个视频情节的原始视频段,包括:
在所述连续的多个原始视频段中,从第二个原始视频段开始,确定每个原始视频段与前一个原始视频段的视频背景特征之间的相似度;
响应于任一原始视频段与所述任一原始视频段的前一个原始视频段的背景特征之间的相似度大于所述第二阈值,将所述任一原始视频段与所述前一个原始视频段确定为属于同一个视频情节的视频段。
6.根据权利要求5所述的方法,其特征在于,所述创建所述原始视频对应的视频划分记录之后,所述方法还包括:
向终端发送校验请求,所述校验请求携带所述视频划分记录;所述终端用于基于所述校验请求显示用于指示所述关联关系的视频划分信息,响应于对所述视频划分信息的编辑操作,更新所述视频划分记录中的所述关联关系,返回更新后的视频划分记录;
接收所述更新后的视频划分记录。
7.一种视频划分方法,其特征在于,所述方法包括:
接收服务器发送的校验请求,所述校验请求携带所述服务器创建的视频划分记录,所述视频划分记录中包括原始视频中的每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系;
基于所述校验请求显示用于指示所述关联关系的视频划分信息;
响应于对所述视频划分信息的编辑操作,更新所述视频划分记录中的所述关联关系;
向所述服务器发送更新后的视频划分记录。
8.根据权利要求7所述的方法,其特征在于,所述基于所述校验请求显示用于指示所述关联关系的视频划分信息,包括:
基于所述校验请求,显示所述视频划分记录中的多个视频段标识对应的指示标记,其中属于同一个视频情节的不同原始视频段的视频段标识与一个指示标记对应,其他的视频段标识分别与一个指示标记对应。
9.根据权利要求8所述的方法,其特征在于,所述校验请求还携带所述每个视频段标识对应的一个视频帧,所述方法还包括:
在每个指示标记对应的显示位置,显示与所述每个指示标记对应于同一视频段标识的视频帧。
10.一种视频划分装置,其特征在于,所述装置包括:
视频划分模块,用于将原始视频划分为连续的多个原始视频段,每个原始视频段中的相邻视频帧之间的相似度大于第一阈值;
特征获取模块,用于基于每个原始视频段中的每个视频帧的背景区域,获取所述每个原始视频段的背景特征;
视频段确定模块,用于响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将所述至少两个原始视频段确定为属于同一个视频情节的视频段;
划分记录创建模块,用于创建所述原始视频对应的视频划分记录,所述视频划分记录中包括所述每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系。
11.一种视频划分装置,其特征在于,所述装置包括:
校验请求接收模块,用于接收服务器发送的校验请求,所述校验请求携带所述服务器创建的视频划分记录,所述视频划分记录中包括原始视频中的每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系;
信息显示模块,用于基于所述校验请求显示用于指示所述关联关系的视频划分信息;
关联关系更新模块,用于响应于对所述视频划分信息的编辑操作,更新所述视频划分记录中的所述关联关系;
划分记录发送模块,用于向所述服务器发送更新后的视频划分记录。
12.一种服务器,其特征在于,所述服务器包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以实现如权利要求1至6任一项所述的视频划分方法中所执行的操作。
13.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以实现如权利要求7至9任一项所述的视频划分方法中所执行的操作。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以实现如权利要求1至6任一项所述的视频划分方法中所执行的操作,或者实现如权利要求7至9任一项所述的视频划分方法中所执行的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110246631.1A CN113709584A (zh) | 2021-03-05 | 2021-03-05 | 视频划分方法、装置、服务器、终端及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110246631.1A CN113709584A (zh) | 2021-03-05 | 2021-03-05 | 视频划分方法、装置、服务器、终端及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113709584A true CN113709584A (zh) | 2021-11-26 |
Family
ID=78647798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110246631.1A Pending CN113709584A (zh) | 2021-03-05 | 2021-03-05 | 视频划分方法、装置、服务器、终端及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113709584A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114422841A (zh) * | 2021-12-17 | 2022-04-29 | 北京达佳互联信息技术有限公司 | 字幕生成方法、装置、电子设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104284241A (zh) * | 2014-09-22 | 2015-01-14 | 北京奇艺世纪科技有限公司 | 一种视频剪辑方法和装置 |
US20170163992A1 (en) * | 2015-12-03 | 2017-06-08 | Le Holdings (Beijing) Co., Ltd. | Video compressing and playing method and device |
CN107066488A (zh) * | 2016-12-27 | 2017-08-18 | 上海东方明珠新媒体股份有限公司 | 基于影视内容语义分析的影视桥段自动分割方法 |
CN110619284A (zh) * | 2019-08-28 | 2019-12-27 | 腾讯科技(深圳)有限公司 | 一种视频场景划分方法、装置、设备及介质 |
CN111008978A (zh) * | 2019-12-06 | 2020-04-14 | 电子科技大学 | 基于深度学习的视频场景分割方法 |
CN111950653A (zh) * | 2020-08-24 | 2020-11-17 | 腾讯科技(深圳)有限公司 | 视频处理方法和装置、存储介质及电子设备 |
CN112153462A (zh) * | 2019-06-26 | 2020-12-29 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、终端及存储介质 |
KR102221792B1 (ko) * | 2019-08-23 | 2021-03-02 | 한국항공대학교산학협력단 | 동영상 컨텐츠의 스토리 기반의 장면 추출 장치 및 방법 |
-
2021
- 2021-03-05 CN CN202110246631.1A patent/CN113709584A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104284241A (zh) * | 2014-09-22 | 2015-01-14 | 北京奇艺世纪科技有限公司 | 一种视频剪辑方法和装置 |
US20170163992A1 (en) * | 2015-12-03 | 2017-06-08 | Le Holdings (Beijing) Co., Ltd. | Video compressing and playing method and device |
CN107066488A (zh) * | 2016-12-27 | 2017-08-18 | 上海东方明珠新媒体股份有限公司 | 基于影视内容语义分析的影视桥段自动分割方法 |
CN112153462A (zh) * | 2019-06-26 | 2020-12-29 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、终端及存储介质 |
KR102221792B1 (ko) * | 2019-08-23 | 2021-03-02 | 한국항공대학교산학협력단 | 동영상 컨텐츠의 스토리 기반의 장면 추출 장치 및 방법 |
CN110619284A (zh) * | 2019-08-28 | 2019-12-27 | 腾讯科技(深圳)有限公司 | 一种视频场景划分方法、装置、设备及介质 |
CN111008978A (zh) * | 2019-12-06 | 2020-04-14 | 电子科技大学 | 基于深度学习的视频场景分割方法 |
CN111950653A (zh) * | 2020-08-24 | 2020-11-17 | 腾讯科技(深圳)有限公司 | 视频处理方法和装置、存储介质及电子设备 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114422841A (zh) * | 2021-12-17 | 2022-04-29 | 北京达佳互联信息技术有限公司 | 字幕生成方法、装置、电子设备及存储介质 |
CN114422841B (zh) * | 2021-12-17 | 2024-01-02 | 北京达佳互联信息技术有限公司 | 字幕生成方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109618222B (zh) | 一种拼接视频生成方法、装置、终端设备及存储介质 | |
US20230012732A1 (en) | Video data processing method and apparatus, device, and medium | |
CN113395542B (zh) | 基于人工智能的视频生成方法、装置、计算机设备及介质 | |
US10789474B2 (en) | System, method and apparatus for displaying information | |
US11871086B2 (en) | Method of displaying comment information, computing device, and readable storage medium | |
WO2021213067A1 (zh) | 物品显示方法、装置、设备及存储介质 | |
CN103679204A (zh) | 基于智能移动设备平台的图像识别与创作应用系统及方法 | |
CN112954450B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN103781522A (zh) | 用于生成并加入经验共享的方法和系统 | |
KR101545138B1 (ko) | 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기 | |
CN111739027B (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
CN113766299B (zh) | 一种视频数据播放方法、装置、设备以及介质 | |
CN112381104A (zh) | 一种图像识别方法、装置、计算机设备及存储介质 | |
CN111078940B (zh) | 图像处理方法、装置、计算机存储介质及电子设备 | |
KR20210087001A (ko) | 이미지 심사 방법, 장치, 전자 기기 및 저장 매체 | |
CN111652887A (zh) | 图像分割模型训练方法、装置、计算机设备及存储介质 | |
CN112149642A (zh) | 一种文本图像识别方法和装置 | |
CN109816023B (zh) | 用于生成图片标签模型的方法和装置 | |
CN111246196A (zh) | 视频处理方法、装置、电子设备及计算机可读存储介质 | |
CN111126390A (zh) | 一种用于识别媒体内容中标识图案的相关方法及装置 | |
CN115170400A (zh) | 一种视频修复的方法、相关装置、设备以及存储介质 | |
CN111744197B (zh) | 一种数据处理方法、装置、设备及可读存储介质 | |
CN113709584A (zh) | 视频划分方法、装置、服务器、终端及存储介质 | |
CN111652878B (zh) | 图像检测方法、装置、计算机设备及存储介质 | |
CN112843681A (zh) | 虚拟场景控制方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |