CN111385644A - 一种视频处理方法、电子设备及计算机可读存储介质 - Google Patents
一种视频处理方法、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111385644A CN111385644A CN202010231291.0A CN202010231291A CN111385644A CN 111385644 A CN111385644 A CN 111385644A CN 202010231291 A CN202010231291 A CN 202010231291A CN 111385644 A CN111385644 A CN 111385644A
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- key
- frames
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000001914 filtration Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 18
- 230000035772 mutation Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000003042 antagnostic effect Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种视频处理方法、电子设备及计算机可读存储介质，所述视频处理方法包括：由待处理视频中提取关键帧；在所述关键帧中选择目标图像区域；将所述目标图像区域进行图像风格化处理，生成漫画图像。本发明的实施例，由待处理视频中提取关键帧，并选择关键帧中的目标图像区域进行图像风格化处理，能够将视频片段中精彩且有意义的部分转换为漫画图像，无需人工创作，能够有效提高漫画创作效率且能够降低漫画的创作成本。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种视频处理方法、电子设备及计算机可读存储介质。
背景技术
漫画作为一种广为流传的艺术表现形式，受到越来越多人的喜欢。但漫画的创作门槛相对较高，需要创作者拥有较好的绘画能力、构图能力、叙事能力等，与此同时漫画的创作也是一项非常耗费时间的工作。目前的漫画创作多采用创作者手绘漫画的方式，并使用一些计算机软件来辅助创作，但由于一些视频的更新频繁，如足球比赛，比赛视频产生速度超过漫画的创作速度，导致漫画的更新频率不高。
发明内容
本发明提供一种视频处理方法、电子设备及计算机可读存储介质，以解决漫画创作速度较慢的问题。
本发明的实施例提供一种视频处理方法，包括：
由待处理视频中提取关键帧；
在所述关键帧中选择目标图像区域；
将所述目标图像区域进行图像风格化处理，生成漫画图像。
可选地，所述由待处理视频中提取关键帧，包括：
将所述待处理视频分割为至少一个镜头序列，所述镜头序列中包括至少一帧图像；
对所述至少一个镜头序列进行帧像素检测，确定候选帧；
由所述候选帧中提取所述关键帧。
可选地，将所述待处理视频分割为至少一个镜头序列，包括：
获取所述待处理视频中相邻两帧图像间的总帧差；
根据所述总帧差，判断相邻的两帧图像是否属于同一镜头序列，并获得判断结果；
根据所述判断结果将所述待处理视频分割为不同的镜头序列。
可选地，所述获取所述待处理视频中相邻两帧图像间的总帧差，包括：
根据公式：
计算所述待处理视频中相邻两帧图像间的总帧差；
其中，E(k,k+1)表示第k帧和第k+1帧之间的总帧差，Ik(x，y)表示第k帧在(x，y)处的灰度值，Ik+1(x，y)表示第k+1帧在(x，y)处的灰度值；H表示帧高度，W表示帧宽度。
可选地，所述根据所述总帧差，判断相邻的两帧图像是否属于同一镜头序列，包括：
将所述总帧差与第一阈值进行比较；
在所述总帧差大于所述第一阈值的情况下，相邻的两帧图像为不同的镜头序列；
在所述总帧差小于或等于所述第一阈值的情况下，相邻的两帧图像为同一镜头序列。
可选地，所述对所述至少一个镜头序列进行帧像素检测，确定候选帧，包括：
提取目标镜头序列中所有图像帧的宏观场景描述特征向量；
将所述宏观场景描述特征向量小于第二阈值的帧作为所述候选帧。
可选地，所述由所述候选帧中提取所述关键帧，包括：
计算所述候选帧中的相邻两帧之间的帧差；
在所述帧差大于第三阈值的情况下，将所述相邻两帧中显示时间在后的图像帧作为所述关键帧。
可选地，所述关键帧包括突变帧，所述在所述关键帧中选择目标图像区域，包括：
提取所述突变帧中的关键区域，其中，所述突变帧中像素值大于或等于第四阈值的像素点形成所述关键区域；
对所述关键区域进行滤波，得到所述目标图像区域。
可选地，所述对所述关键区域进行滤波，得到所述目标图像区域，包括：
选用第一尺寸的滤波器对所述关键区域进行滤波，得到第一图像区域；
选用第二尺寸的滤波器对所述第一图像区域进行滤波，得到所述目标图像区域；
其中，所述第二尺寸大于所述第一尺寸。
可选地，所述将所述目标图像区域进行图像风格化处理，生成漫画图像，包括：
采用生成对抗网络的图像风格化算法，将所述目标图像区域进行漫画风格化处理，得到所述漫画图像。
依据本发明的另一个方面，提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的视频处理方法的步骤。
依据本发明的另一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的视频处理方法的步骤。
本发明的实施例，由待处理视频中提取关键帧，并选择关键帧中的目标图像区域进行图像风格化处理，能够将视频片段中精彩且有意义的部分转换为漫画图像，无需人工创作，能够有效提高漫画创作效率且能够降低漫画的创作成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1表示本发明实施例的视频处理方法的流程示意图之一；
图2表示本发明实施例的视频处理方法的流程示意图之二；
图3表示本发明实施例提取的关键区域示意图；
图4表示本发明实施例对话框的示意图之一；
图5表示本发明实施例对话框的示意图之二；
图6表示本发明实施例的视频处理方法的流程示意图之三；
图7表示本发明实施例的视频处理装置的结构示意图；
图8表示本发明实施例的电子设备的实施结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。另外，本文中术语“系统”和“网络”在本文中常可互换使用。
在本申请所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。
本发明实施例中，电子设备可以是移动电话(或手机)，或者其他能够发送或接收无线信号的设备，包括用户设备、个人数字助理(PDA)、无线调制解调器、无线通信装置、手持装置、膝上型计算机、无绳电话、无线本地回路(WLL)站、能够将移动信号转换为WiFi信号的CPE(Customer Premise Equipment，客户终端)或移动智能热点、智能家电、或其他不通过人的操作就能自发与移动通信网络通信的设备等。
本发明的实施例提供了一种视频处理方法，解决了现有技术中漫画创作速度较慢的问题。
如图1所示，所述视频处理方法包括：
步骤101、由待处理视频中提取关键帧。
所述待处理视频为需要转换为漫画图像的视频素材。视频片段通常包括多个镜头，例如足球比赛视频，可以包括远景镜头、中景镜头、近景镜头、特写镜头、重放镜头、场外镜头等镜头序列。镜头序列是由数量庞大的帧组成，如果逐帧进行检测则需要处理的数据量过于庞大，因此，为增加视频处理效率，减少不必要的数据处理量，需要由待处理视频中提取关键帧，所述关键帧为待处理视频中有意义且具有代表性的帧。
步骤102、在所述关键帧中选择目标图像区域。
所述目标图像区域为需要进行漫画转换的区域。由于视频帧中包含大量的画面信息，而漫画图像只需要截取重要区域，例如人物图像的人脸区域、足球比赛中的足球、球框等关键区域。可以采用深度学习算法对目标图像区域进行提取。
步骤103、将所述目标图像区域进行图像风格化处理，生成漫画图像。
该实施例中，可以采用基于生成式对抗网络(Generative AdversarialNetworks，GAN)的图像风格化算法将所述目标图像区域进行处理，生成漫画图像，最后可以将多个漫画图像合成为完整的漫画故事。
本发明的实施例，由待处理视频中提取关键帧，并选择关键帧中的目标图像区域进行图像风格化处理，能够将视频片段中精彩且有意义的部分转换为漫画图像，无需人工创作，能够有效提高漫画创作效率且能够降低漫画的创作成本。
可选地，如图2所示，所述步骤101包括：
步骤201、将所述待处理视频分割为至少一个镜头序列，所述镜头序列中包括至少一帧图像。
由于部分视频的特殊性，如足球比赛视频，由特定的镜头场景组成，不同镜头间场景的变化并不复杂，并且由于比赛节奏的因素导致突变镜头较多。进一步地，可以采用基于像素比较的方法进行镜头分割，将所述待处理视频分割为至少一个镜头序列，包括：
获取所述待处理视频中相邻两帧图像间的总帧差；
具体地，根据公式：
计算所述待处理视频中相邻两帧图像间的总帧差；其中，E(k，k+1)表示第k帧和第k+1帧之间的总帧差，Ik(x，y)表示第k帧在(x，y)处的灰度值，Ik+1(x,y)表示第k+1帧在(x,y)处的灰度值；H表示帧高度，W表示帧宽度。
根据所述总帧差，判断相邻的两帧图像是否属于同一镜头序列，并获得判断结果；根据所述判断结果将所述待处理视频分割为不同的镜头序列。
具体地，将所述总帧差与第一阈值进行比较；在所述总帧差大于所述第一阈值的情况下，相邻的两帧图像为不同的镜头序列；在所述总帧差小于或等于所述第一阈值的情况下，相邻的两帧图像为同一镜头序列。
所述总帧差与所述第一阈值进行比较的结果可以用如下公式表示：
其中，Rn(x，y)表示E(k，k+1)与第一阈值T比较后的判断结果。根据Rn(x，y)的判断，将待处理视频粗剪辑为不同的镜头，由于不同的镜头代表不同的镜头语言，可基于不同的镜头语言来辅助漫画语言的生成，例如足球比赛中球员的特写镜头，可以辅助生成漫画中球员的内容独白等。
步骤202、对所述至少一个镜头序列进行帧像素检测，确定候选帧。
所述候选帧为生成漫画的候选素材，所述关键帧需要由所述候选帧中提取。具体地，可以使用较高的阈值对所述至少一个镜头序列进行帧像素检测。
进一步地，在确定候选帧时，提取目标镜头序列中所有图像帧的宏观场景描述特征向量；将所述宏观场景描述特征向量小于第二阈值的帧作为所述候选帧。
该实施例中，由所述待处理视频分割为至少一个镜头序列后，对所述至少一个镜头序列中的某个镜头序列进行处理时，该镜头序列即为所述目标镜头序列。需要对所有的镜头序列分别进行帧像素检测，例如：将所述待处理视频分割为两个镜头序列A{f1，f2…fn}，B{g1，g2…gn}，在确定候选帧时，需要分别对镜头序列A和镜头序列B进行帧像素检测，且需要提取镜头序列A和镜头序列B中所有的图像帧的宏观场景描述特征向量，标记所有小于第二阈值的帧作为所述候选帧，如fi，0＜i＜n。
步骤203、由所述候选帧中提取所述关键帧。
所述关键帧为所述待处理视频中有意义且具有代表性的帧，关键帧提取需要从不同的镜头素材中选择若干帧作为后续漫画生成的素材。所述关键帧可以包括突变帧和渐变帧，在本发明的实施例中，所述关键帧为所述突变帧。以足球比赛为例，足球比赛是由一系列的镜头序列组成的，镜头与镜头之间的变化为突变，非镜头之间的变化为渐变，比赛中存在大量的乏味时刻，体现在视频中即为渐变帧，而精彩时刻一般出现在突变帧，生成漫画的素材需要突变帧。
具体地，由所述候选帧中提取所述关键帧时，计算所述候选帧中的相邻两帧之间的帧差；在所述帧差大于第三阈值的情况下，将所述相邻两帧中显示时间在后的图像帧作为所述关键帧。
需要说明的是，所述第三阈值为较低阈值，所述第三阈值小于所述第二阈值。以所述关键帧为突变帧为例，利用所述第三阈值检测所述候选帧时，将所述候选帧中每相邻的两帧均进行比较并计算帧差，若帧差大于所述第三阈值，则取比较的结束帧，即显示时间在后的图像帧为突变帧；若帧差小于或等于所述第三阈值，但累计的帧差值大于所述第三阈值，则取累计帧差大于所述第三阈值时的最后一帧为结束帧，从开始比较的第一帧到结束帧之间均为渐变帧。通过上述方法提取所述候选帧中所有的突变帧。
该实施例中，利用双阈值法由待处理视频中提取关键帧，区分出其中的突变帧和渐变帧，突变帧包括了视频中的精彩时刻，将所述突变帧作为生成漫画图像的关键帧，能够将视频片段中精彩且有意义的部分转换为漫画图像，有效提高漫画创作效率。
可选地，所述关键帧包括突变帧，所述步骤102包括：
提取所述突变帧中的关键区域，其中，所述突变帧中像素值大于或等于第四阈值的像素点形成所述关键区域；对所述关键区域进行滤波，得到所述目标图像区域。
由于图像帧中包含大量的画面信息，而漫画只需要截取重要区域，如人脸图像区域，如图3中的框选区域31所示。可以采用深度学习算法对关键区域进行提取，以足球比赛视频为例，在漫画中一般定义球员人脸、足球、球框等为关键区域，即采用深度学习算法将关键区域框选出来。其中，所述关键区域为比所述目标图像区域范围大的一个区域，因此需要先提取出所述关键区域，再由所述关键区域中提取所述目标图像区域。
对于所述关键区域的提取，可以采用人工智能方法，通过对带有标签的样本进行学习得到。如一帧图像中存在多个关键区域，则将所有的关键区域框选出来，具体地，包括：
(1)设定第四阈值M，所述突变帧中所有像素值大于或者等于第四阈值M的像素点都认为是关键区域；
(2)选用第一尺寸的滤波器对所述关键区域进行滤波，得到第一图像区域。其中，所述第一尺寸可以为一个较小的尺寸，如N×N(N为步长值，如3)，即使用N×N尺寸的滤波器从上到下，从左到右对突变帧中的关键区域进行步长为N的滤波，滤波后得到的图像区域即为所述第一图像区域；
(3)选用第二尺寸的滤波器对所述第一图像区域进行滤波，得到所述目标图像区域。所述第二尺寸可以为一个较大尺寸，具体地，所述第二尺寸大于所述第一尺寸。利用第二尺寸的滤波器对所述第一图像区域进行滤波，进一步缩小图像范围，从而得到所述目标图像区域；
(4)在所述关键帧包括多个突变帧时，遍历所有突变帧，确定所有突变帧中的目标图像区域以及目标图像区域的大小范围。
可选地，所述步骤103包括：
采用生成对抗网络的图像风格化算法，将所述目标图像区域进行漫画风格化处理，得到所述漫画图像。
图像风格化是一种借助计算机技术处理图像的色彩、轮廓、线条等信息来改变图像效果的技术，利用所述图像风格化算法，将提取出的所述目标图像区域处理成为漫画风格，从而形成漫画图像。
可选地，在将所述目标图像区域进行图像风格化处理之后，所述方法还包括：在图像风格化处理后的所述漫画图像内，添加漫画对话框。
根据设定的漫画脚本，可以选用椭圆对话框和放射形对话框对漫画图像添加文字内容。以足球比赛视频转换为漫画图像为例，人物对话可以选用椭圆对话框，并把对话框设定在人物嘴角边；近景镜头中进球、射中门框等选用放射型对话框，对话框设定在人物嘴角边。其中对话框中的文字根据漫画脚本内容进行补充，对话框的形式如图4和图5所示。
具体地，本发明实施例的视频处理方法如图6所示，包括对待处理视频进行镜头分割，提取关键帧，由关键帧中选择目标图像区域，进行漫画风格化处理，添加漫画对话框及内容补充，生成最终的漫画图像。
本发明的实施例，由待处理视频中提取关键帧，并选择关键帧中的目标图像区域进行图像风格化处理，能够将视频片段中精彩且有意义的部分转换为漫画图像，无需人工创作，能够有效提高漫画创作效率且能够降低漫画的创作成本。
如图7所示，本发明的实施例还提供了一种视频处理装置，包括：
提取模块710，用于由待处理视频中提取关键帧；
选择模块720，用于在所述关键帧中选择目标图像区域；
处理模块730，用于将所述目标图像区域进行图像风格化处理，生成漫画图像。
可选地，所述提取模块710包括：
镜头分割单元，用于将所述待处理视频分割为至少一个镜头序列，所述镜头序列中包括至少一帧图像；
确定单元，用于对所述至少一个镜头序列进行帧像素检测，确定候选帧；
第一提取单元，用于由所述候选帧中提取所述关键帧。
可选地，所述镜头分割单元包括：
获取子单元，用于获取所述待处理视频中相邻两帧图像间的总帧差；
判断子单元，用于根据所述总帧差，判断相邻的两帧图像是否属于同一镜头序列，并获得判断结果；
分割子单元，用于根据所述判断结果将所述待处理视频分割为不同的镜头序列。
可选地，所述获取子单元具体用于：
根据公式：
计算所述待处理视频中相邻两帧图像间的总帧差；
其中，E(k，k+1)表示第k帧和第k+1帧之间的总帧差，Ik(x，y)表示第k帧在(x，y)处的灰度值，Ik+1(x，y)表示第k+1帧在(x，y)处的灰度值；H表示帧高度，W表示帧宽度。
可选地，所述判断子单元具体用于：将所述总帧差与第一阈值进行比较；
在所述总帧差大于所述第一阈值的情况下，相邻的两帧图像为不同的镜头序列；
在所述总帧差小于或等于所述第一阈值的情况下，相邻的两帧图像为同一镜头序列。
可选地，所述确定单元具体用于：
提取目标镜头序列中所有图像帧的宏观场景描述特征向量；
将所述宏观场景描述特征向量小于第二阈值的帧作为所述候选帧。
可选地，第一提取单元具体用于：
计算所述候选帧中的相邻两帧之间的帧差；
在所述帧差大于第三阈值的情况下，将所述相邻两帧中显示时间在后的图像帧作为所述关键帧。
可选地，所述关键帧包括突变帧，所述选择模块720包括：
第二提取单元，用于提取所述突变帧中的关键区域，其中，所述突变帧中像素值大于或等于第四阈值的像素点形成所述关键区域；
滤波单元，用于对所述关键区域进行滤波，得到所述目标图像区域。
可选地，所述滤波单元具体用于：
选用第一尺寸的滤波器对所述关键区域进行滤波，得到第一图像区域；
选用第二尺寸的滤波器对所述第一图像区域进行滤波，得到所述目标图像区域；
其中，所述第二尺寸大于所述第一尺寸。
可选地，处理模块730具体用于：采用生成对抗网络的图像风格化算法，将所述目标图像区域进行漫画风格化处理，得到所述漫画图像。
本发明的实施例，由待处理视频中提取关键帧，并选择关键帧中的目标图像区域进行图像风格化处理，能够将视频片段中精彩且有意义的部分转换为漫画图像，无需人工创作，能够有效提高漫画创作效率且能够降低漫画的创作成本。
如图8所示，本发明实施例还提供一种电子设备，包括处理器81、存储器82及存储在所述存储器82上并可在所述处理器81上运行的计算机程序，所述处理器81执行所述计算机程序时实现上述的视频处理方法的步骤。具体地，所述处理器81用于：由待处理视频中提取关键帧；
在所述关键帧中选择目标图像区域；
将所述目标图像区域进行图像风格化处理，生成漫画图像。
可选地，所述处理器81由待处理视频中提取关键帧时，实现以下步骤：
将所述待处理视频分割为至少一个镜头序列，所述镜头序列中包括至少一帧图像；
对所述至少一个镜头序列进行帧像素检测，确定候选帧；
由所述候选帧中提取所述关键帧。
可选地，所述处理器81将所述待处理视频分割为至少一个镜头序列时，实现以下步骤：
获取所述待处理视频中相邻两帧图像间的总帧差；
根据所述总帧差，判断相邻的两帧图像是否属于同一镜头序列，并获得判断结果；
根据所述判断结果将所述待处理视频分割为不同的镜头序列。
可选地，所述处理器81获取所述待处理视频中相邻两帧图像间的总帧差时，实现以下步骤：
根据公式：
计算所述待处理视频中相邻两帧图像间的总帧差；
其中，E(k,k+1)表示第k帧和第k+1帧之间的总帧差，Ik(x,y)表示第k帧在(x,y)处的灰度值，Ik+1(x,y)表示第k+1帧在(x,y)处的灰度值；H表示帧高度，W表示帧宽度。
可选地，所述处理器81根据所述总帧差，判断相邻的两帧图像是否属于同一镜头序列时，实现以下步骤：
将所述总帧差与第一阈值进行比较；
在所述总帧差大于所述第一阈值的情况下，相邻的两帧图像为不同的镜头序列；
在所述总帧差小于或等于所述第一阈值的情况下，相邻的两帧图像为同一镜头序列。
可选地，所述处理器81对所述至少一个镜头序列进行帧像素检测，确定候选帧时，实现以下步骤：
提取目标镜头序列中所有图像帧的宏观场景描述特征向量；
将所述宏观场景描述特征向量小于第二阈值的帧作为所述候选帧。
可选地，所述处理器81由所述候选帧中提取所述关键帧时，实现以下步骤：
计算所述候选帧中的相邻两帧之间的帧差；
在所述帧差大于第三阈值的情况下，将所述相邻两帧中显示时间在后的图像帧作为所述关键帧。
可选地，所述关键帧包括突变帧，所述处理器81在所述关键帧中选择目标图像区域时，实现以下步骤：
提取所述突变帧中的关键区域，其中，所述突变帧中像素值大于或等于第四阈值的像素点形成所述关键区域；
对所述关键区域进行滤波，得到所述目标图像区域。
可选地，所述处理器81对所述关键区域进行滤波，得到所述目标图像区域时，实现以下步骤：
选用第一尺寸的滤波器对所述关键区域进行滤波，得到第一图像区域；
选用第二尺寸的滤波器对所述第一图像区域进行滤波，得到所述目标图像区域；
其中，所述第二尺寸大于所述第一尺寸。
可选地，所述处理器81将所述目标图像区域进行图像风格化处理，生成漫画图像时，实现以下步骤：
采用生成对抗网络的图像风格化算法，将所述目标图像区域进行漫画风格化处理，得到所述漫画图像。
其中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器81代表的一个或多个处理器81和存储器82代表的存储器82的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器81负责管理总线架构和通常的处理，存储器82可以存储处理器在执行操作时所使用的数据。
本领域技术人员可以理解，实现上述实施例的全部或者部分步骤可以通过硬件来完成，也可以通过计算机程序来指示相关的硬件来完成，所述计算机程序包括执行上述方法的部分或者全部步骤的指令；且该计算机程序可以存储于一可读存储介质中，存储介质可以是任何形式的存储介质。
另外，本发明具体实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的视频处理方法中的步骤。且能达到相同的技术效果，为避免重复，这里不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。
Claims (12)
1.一种视频处理方法，其特征在于，包括：
由待处理视频中提取关键帧；
在所述关键帧中选择目标图像区域；
将所述目标图像区域进行图像风格化处理，生成漫画图像。
2.根据权利要求1所述的视频处理方法，其特征在于，所述由待处理视频中提取关键帧，包括：
将所述待处理视频分割为至少一个镜头序列，所述镜头序列中包括至少一帧图像；
对所述至少一个镜头序列进行帧像素检测，确定候选帧；
由所述候选帧中提取所述关键帧。
3.根据权利要求2所述的视频处理方法，其特征在于，将所述待处理视频分割为至少一个镜头序列，包括：
获取所述待处理视频中相邻两帧图像间的总帧差；
根据所述总帧差，判断相邻的两帧图像是否属于同一镜头序列，并获得判断结果；
根据所述判断结果将所述待处理视频分割为不同的镜头序列。
4.根据权利要求3所述的视频处理方法，其特征在于，所述获取所述待处理视频中相邻两帧图像间的总帧差，包括：
根据公式：
计算所述待处理视频中相邻两帧图像间的总帧差；
其中，E(k,k+1)表示第k帧和第k+1帧之间的总帧差，Ik(x,y)表示第k帧在(x,y)处的灰度值，Ik+1(x，y)表示第k+1帧在(x，y)处的灰度值；H表示帧高度，W表示帧宽度。
5.根据权利要求3所述的视频处理方法，其特征在于，所述根据所述总帧差，判断相邻的两帧图像是否属于同一镜头序列，包括：
将所述总帧差与第一阈值进行比较；
在所述总帧差大于所述第一阈值的情况下，相邻的两帧图像为不同的镜头序列；
在所述总帧差小于或等于所述第一阈值的情况下，相邻的两帧图像为同一镜头序列。
6.根据权利要求2所述的视频处理方法，其特征在于，所述对所述至少一个镜头序列进行帧像素检测，确定候选帧，包括：
提取目标镜头序列中所有图像帧的宏观场景描述特征向量；
将所述宏观场景描述特征向量小于第二阈值的帧作为所述候选帧。
7.根据权利要求2所述的视频处理方法，其特征在于，所述由所述候选帧中提取所述关键帧，包括：
计算所述候选帧中的相邻两帧之间的帧差；
在所述帧差大于第三阈值的情况下，将所述相邻两帧中显示时间在后的图像帧作为所述关键帧。
8.根据权利要求1所述的视频处理方法，其特征在于，所述关键帧包括突变帧，所述在所述关键帧中选择目标图像区域，包括：
提取所述突变帧中的关键区域，其中，所述突变帧中像素值大于或等于第四阈值的像素点形成所述关键区域；
对所述关键区域进行滤波，得到所述目标图像区域。
9.根据权利要求8所述的视频处理方法，其特征在于，所述对所述关键区域进行滤波，得到所述目标图像区域，包括：
选用第一尺寸的滤波器对所述关键区域进行滤波，得到第一图像区域；
选用第二尺寸的滤波器对所述第一图像区域进行滤波，得到所述目标图像区域；
其中，所述第二尺寸大于所述第一尺寸。
10.根据权利要求1所述的视频处理方法，其特征在于，所述将所述目标图像区域进行图像风格化处理，生成漫画图像，包括：
采用生成对抗网络的图像风格化算法，将所述目标图像区域进行漫画风格化处理，得到所述漫画图像。
11.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-10中任一项所述的视频处理方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-10中任一项所述的视频处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010231291.0A CN111385644A (zh) | 2020-03-27 | 2020-03-27 | 一种视频处理方法、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010231291.0A CN111385644A (zh) | 2020-03-27 | 2020-03-27 | 一种视频处理方法、电子设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111385644A true CN111385644A (zh) | 2020-07-07 |
Family
ID=71218889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010231291.0A Pending CN111385644A (zh) | 2020-03-27 | 2020-03-27 | 一种视频处理方法、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111385644A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393558A (zh) * | 2021-06-29 | 2021-09-14 | 维沃软件技术有限公司 | 漫画生成方法、装置、电子设备和存储介质 |
| CN113411550A (zh) * | 2020-10-29 | 2021-09-17 | 腾讯科技（深圳）有限公司 | 视频上色方法、装置、设备及存储介质 |
| CN113507573A (zh) * | 2021-08-13 | 2021-10-15 | 维沃移动通信（杭州）有限公司 | 视频生成方法、视频生成装置、电子设备和可读存储介质 |
| CN114724074A (zh) * | 2022-06-01 | 2022-07-08 | 共道网络科技有限公司 | 风险视频的检测方法和装置 |
| CN114979742A (zh) * | 2021-02-24 | 2022-08-30 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、设备及存储介质 |
| CN117640988A (zh) * | 2023-12-04 | 2024-03-01 | 书行科技(北京)有限公司 | 一种视频处理方法、装置、电子设备和存储介质 |
| CN117812440A (zh) * | 2024-02-28 | 2024-04-02 | 南昌理工学院 | 一种监控视频摘要生成方法、系统、计算机及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030163315A1 (en) * | 2002-02-25 | 2003-08-28 | Koninklijke Philips Electronics N.V. | Method and system for generating caricaturized talking heads |
| CN104200505A (zh) * | 2014-08-27 | 2014-12-10 | 西安理工大学 | 一种人脸视频图像的漫画式动画生成方法 |
| CN104867161A (zh) * | 2015-05-14 | 2015-08-26 | 国家电网公司 | 一种视频处理方法及装置 |
| CN105049875A (zh) * | 2015-07-24 | 2015-11-11 | 上海上大海润信息系统有限公司 | 一种基于混合特征与突变检测的精确关键帧提取方法 |
| CN109859095A (zh) * | 2018-12-18 | 2019-06-07 | 大连理工大学 | 一种漫画自动生成系统及方法 |
-
2020
- 2020-03-27 CN CN202010231291.0A patent/CN111385644A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030163315A1 (en) * | 2002-02-25 | 2003-08-28 | Koninklijke Philips Electronics N.V. | Method and system for generating caricaturized talking heads |
| CN104200505A (zh) * | 2014-08-27 | 2014-12-10 | 西安理工大学 | 一种人脸视频图像的漫画式动画生成方法 |
| CN104867161A (zh) * | 2015-05-14 | 2015-08-26 | 国家电网公司 | 一种视频处理方法及装置 |
| CN105049875A (zh) * | 2015-07-24 | 2015-11-11 | 上海上大海润信息系统有限公司 | 一种基于混合特征与突变检测的精确关键帧提取方法 |
| CN109859095A (zh) * | 2018-12-18 | 2019-06-07 | 大连理工大学 | 一种漫画自动生成系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 何颖: "基于视频的漫画人脸动画研究与实现", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113411550A (zh) * | 2020-10-29 | 2021-09-17 | 腾讯科技（深圳）有限公司 | 视频上色方法、装置、设备及存储介质 |
| CN114979742A (zh) * | 2021-02-24 | 2022-08-30 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、设备及存储介质 |
| CN114979742B (zh) * | 2021-02-24 | 2024-04-09 | 腾讯科技（深圳）有限公司 | 视频处理方法、装置、设备及存储介质 |
| CN113393558A (zh) * | 2021-06-29 | 2021-09-14 | 维沃软件技术有限公司 | 漫画生成方法、装置、电子设备和存储介质 |
| CN113507573A (zh) * | 2021-08-13 | 2021-10-15 | 维沃移动通信（杭州）有限公司 | 视频生成方法、视频生成装置、电子设备和可读存储介质 |
| CN114724074A (zh) * | 2022-06-01 | 2022-07-08 | 共道网络科技有限公司 | 风险视频的检测方法和装置 |
| CN117640988A (zh) * | 2023-12-04 | 2024-03-01 | 书行科技(北京)有限公司 | 一种视频处理方法、装置、电子设备和存储介质 |
| CN117812440A (zh) * | 2024-02-28 | 2024-04-02 | 南昌理工学院 | 一种监控视频摘要生成方法、系统、计算机及存储介质 |
| CN117812440B (zh) * | 2024-02-28 | 2024-06-04 | 南昌理工学院 | 一种监控视频摘要生成方法、系统、计算机及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111385644A (zh) | 一种视频处理方法、电子设备及计算机可读存储介质 | |
| Märki et al. | Bilateral space video segmentation | |
| US10733421B2 (en) | Method for processing video, electronic device and storage medium | |
| Hassanien et al. | Large-scale, fast and accurate shot boundary detection through spatio-temporal convolutional neural networks | |
| US20100067863A1 (en) | Video editing methods and systems | |
| Butler et al. | Real-time adaptive foreground/background segmentation | |
| US8879835B2 (en) | Fast adaptive edge-aware matting | |
| US10249029B2 (en) | Reconstruction of missing regions of images | |
| Meng et al. | Weakly supervised semantic segmentation by a class-level multiple group cosegmentation and foreground fusion strategy | |
| US20090316986A1 (en) | Feature selection and extraction | |
| CN109214999A (zh) | 一种视频字幕的消除方法及装置 | |
| KR101384627B1 (ko) | 영상 내 객체 영역 자동분할 방법 | |
| KR102349289B1 (ko) | 시멘틱 이미지 추론 방법 및 장치 | |
| Huang et al. | Temporal color consistency-based video reproduction for dichromats | |
| CN107944381B (zh) | 人脸跟踪方法、装置、终端及存储介质 | |
| US20220156987A1 (en) | Adaptive convolutions in neural networks | |
| CN116363261B (zh) | 图像编辑模型的训练方法、图像编辑方法和装置 | |
| Le et al. | Object removal from complex videos using a few annotations | |
| CN111553838A (zh) | 模型参数的更新方法、装置、设备及存储介质 | |
| WO2023056835A1 (zh) | 视频封面生成方法、装置、电子设备及可读介质 | |
| CN111429341A (zh) | 一种视频处理方法、设备及计算机可读存储介质 | |
| Zhao et al. | Cartoon image processing: a survey | |
| JP2001076161A (ja) | 画像処理方法及び装置並びに記憶媒体 | |
| US20210166073A1 (en) | Image generation method and computing device | |
| Baghel et al. | Image conditioned keyframe-based video summarization using object detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200707 |
|
| RJ01 | Rejection of invention patent application after publication |