CN110891195A - 花屏图像的生成方法、装置、设备和存储介质 - Google Patents
花屏图像的生成方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN110891195A CN110891195A CN201911155390.9A CN201911155390A CN110891195A CN 110891195 A CN110891195 A CN 110891195A CN 201911155390 A CN201911155390 A CN 201911155390A CN 110891195 A CN110891195 A CN 110891195A
- Authority
- CN
- China
- Prior art keywords
- video
- screen
- image
- target
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000006835 compression Effects 0.000 claims abstract description 50
- 238000007906 compression Methods 0.000 claims abstract description 50
- 238000004590 computer program Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 8
- 230000002457 bidirectional effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请的实施例提供了一种花屏图像的生成方法、装置、设备和存储介质。该花屏图像的生成方法包括：获取目标格式的第一视频压缩数据；将所述第一视频压缩数据中的目标视频编码帧的帧值进行修改，得到第二视频压缩数据；对所述第二视频压缩数据进行转码，得到第二视频数据；根据所述第二视频数据生成目标花屏图像。本申请实施例的技术方案可以实现快速地生成花屏检测模型进行训练时所需要大量花屏图像样本，从而提高生成花屏图像的效率。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种花屏图像的生成方法、装置、设备和存储介质。
背景技术
目前，在视频播放中，由于会受到视频编解码、网络传输及数据丢失多种因素的影响，会出现花屏现象。为了提高用户的播放体验，一般通过基于机器学习的花屏检测模型对视频播放中的花屏现象进行检测，以便于在产生花屏现象时及时采取补救措施。花屏检测模型需要大量的花屏图像样本来进行训练，而花屏现象的出现又具有一定的偶然性，因此大量花屏图像的获取较为困难，进而无法实现快速地获取花屏检测模型进行训练时所需要大量花屏图像样本。
发明内容
本申请的实施例提供了一种花屏图像的生成方法、装置、设备和存储介质，可以实现快速地生成花屏图像，解决花屏图像收集困难的问题。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供了一种花屏图像的生成方法，包括：获取目标格式的第一视频压缩数据；将所述第一视频压缩数据中的目标视频编码帧的帧值进行修改，得到第二视频压缩数据；对所述第二视频压缩数据进行转码，得到第二视频数据；根据所述第二视频数据生成花屏图像。
根据本申请实施例的一个方面，提供了一种花屏图像的生成装置，包括：第一获取单元，用于获取目标格式的第一视频压缩数据；修改单元，用于将所述第一视频压缩数据中的目标视频编码帧的帧值进行修改，得到第二视频压缩数据；转码单元，用于对所述第二视频压缩数据进行转码，得到第二视频数据；生成单元，用于根据所述第二视频数据生成花屏图像。
在本申请的一些实施例中，基于前述方案，所述修改单元配置为：将所述第一视频压缩数据中的即时解码刷新帧的帧值进行修改。
在本申请的一些实施例中，基于前述方案，所述修改单元配置为：将所述第一视频压缩数据中的前向预测编码帧和/或双向预测内插编码帧的帧值进行修改。
在本申请的一些实施例中，基于前述方案，所述修改单元配置为：为所述第一视频压缩数据中的目标视频编码帧的帧值分配目标随机数；若历史分配记录中不存在与所述目标随机数一致的随机数，且所述目标随机数与所述帧值不一致，则根据所述目标随机数修改所述帧值。
在本申请的一些实施例中，基于前述方案，所述生成单元配置为：从所述第二视频数据中抽取视频帧图像，生成所述目标花屏图像。
在本申请的一些实施例中，基于前述方案，所述生成单元配置为：播放所述第二视频数据，在所述第二视频数据所播放的视频播放画面中截取视频截图，生成所述目标花屏图像。
在本申请的一些实施例中，基于前述方案，所述生成单元配置为：根据所述第二视频数据生成备选花屏图像；若所述备选花屏图像符合预设的花屏图像条件，则将所述备选花屏图像选定为所述目标花屏图像。
在本申请的一些实施例中，基于前述方案，所述生成单元配置为：对所述第一视频压缩数据进行转码，得到第一视频数据；根据所述第一视频数据生成所述备选花屏图像对应的原始视频图像；比对所述原始视频图像与所述备选花屏图像；若所述原始视频图像与所述备选花屏图像之间的相似度小于预定阈值，则将所述备选花屏图像选定为所述目标花屏图像。
在本申请的一些实施例中，基于前述方案，所述花屏图像的生成装置，还包括：第二获取单元，用于获取预处理的视频播放数据；转换单元，用于按照所述目标格式对所述预处理的视频播放数据进行格式转换，得到所述目标格式的第一视频压缩数据。
根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的花屏图像的生成方法。
根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的花屏图像的生成方法。
在本申请的一些实施例所提供的技术方案中，通过获取目标格式的第一视频压缩数据，并将第一视频压缩数据中的目标视频编码帧的帧值进行修改，得到第二视频压缩数据；对第二视频压缩数据进行转码，得到第二视频数据；根据第二视频数据生成花屏图像；进而可以实现快速地生成花屏检测模型进行训练时所需要大量花屏图像样本，从而提高生成花屏图像的效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。
图2示出了根据本申请的一个实施例的花屏图像的生成方法的流程图。
图3示出了根据本申请的一个实施例的花屏图像的生成方法的流程图。
图4示出了根据本申请的一个实施例的花屏图像的生成方法的步骤S240的具体流程图。
图5示出了根据本申请的一个实施例的花屏图像的生成方法的步骤S420的具体流程图。
图6示出了根据本申请的一个实施例的花屏图像的生成方法的流程图。
图7示出了根据本申请的一种根据视频生成花屏图片检测模型的训练样本数据的流程图。
图8示出了根据本申请的一种原始图片和生成的花屏图片的比对示意图。
图9示出了根据本申请的一个实施例的花屏图像的生成装置的框图。
图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。
如图1所示，系统架构可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种，当然也可以是台式计算机等等)、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
例如，用户可以使用终端设备通过网络104与服务器105交互，以接收或发送消息等。服务器105可以是提供各种服务的服务器。例如用户利用终端设备103获取目标格式的第一视频压缩数据，并将第一视频压缩数据中的目标视频编码帧的帧值进行修改，得到第二视频压缩数据；对第二视频压缩数据进行转码，得到第二视频数据；根据第二视频数据生成花屏图像；进而可以实现快速地生成花屏检测模型进行训练时所需要大量花屏图像样本，以提高生成花屏图像的效率。
需要说明的是，本申请实施例所提供的花屏图像的生成方法一般由终端设备103执行，相应地，花屏图像的生成装置一般设置于终端设备103中。但是，在本申请的其它实施例中，服务器105也可以与终端设备103具有相似的功能，从而执行本申请实施例所提供的花屏图像的生成方法的方案。例如，用户利用终端设备103(也可以是终端设备101或102)向服务器105上传目标格式的第一视频压缩数据，服务器105将第一视频压缩数据中的目标视频编码帧的帧值进行修改，得到第二视频压缩数据；对第二视频压缩数据进行转码，得到第二视频数据；根据第二视频数据生成花屏图像，服务器105将生成的花屏图像推送至终端设备103。
以下对本申请实施例的技术方案的实现细节进行详细阐述：
图2示出了根据本申请的一个实施例的花屏图像的生成方法的流程图，该花屏图像的生成方法可以由终端设备来执行，该服务器可以是图1中所示的终端设备。参照图2所示，该花屏图像的生成方法至少包括步骤S210至步骤S240，详细介绍如下：
在步骤S210中，获取目标格式的第一视频压缩数据。
在本申请的一个实施例中，目标格式指的是对原始的视频数据进行转换得到的一种视频压缩格式的视频数据，该视频压缩格式可以为国际标准化组织(ISO)和国际电信联盟(ITU)共同提出的H.264的数字视频压缩格式，第一视频压缩数据可以为该目标格式的视频数据，其中，第一视频压缩数据可以从外部设备获取，也可以从本地的视频存储区中获取。
在步骤S220中，将所述第一视频压缩数据中的目标视频编码帧的帧值进行修改，得到第二视频压缩数据。
在本申请的一个实施例中，目标视频编码帧指的是第一视频压缩数据中包含的视频编码帧，帧值指的是视频编码帧中的参数值，例如像素、亮度和色度等多种不同参数类型的参数值。
在本申请的一个实施例中，在对第一视频压缩数据中的目标视频编码帧的帧值进行修改时，可以只对目标视频编码帧中包含的某个参数类型的参数值进行修改，例如，对像素、亮度或色度所对应的参数值进行修改，得到第二视频压缩数据；当然，也可以为对目标视频编码帧包含的两个或者两个以上参数类型的参数值进行修改，例如，对像素、亮度和色度所对应的参数值都进行修改，在此不作限定。
参考图3，图3示出了根据本申请的一个实施例的花屏图像的生成方法的流程图，如图3所示，将所述第一视频压缩数据中的目标视频编码帧的帧值进行修改的步骤具体可以包括步骤S310至步骤S320，详细描述如下。
在步骤S310中，为所述第一视频压缩数据中的目标视频编码帧的帧值分配目标随机数。
在对第一视频压缩数据中的目标视频编码帧的帧值进行修改时，具体可以为目标视频编码帧的帧值分配目标随机数，即为像素、亮度或色度等某个参数类型的参数值分配一个目标随机数，并记录所分配的目标随机值，并存储至分配记录中。
在步骤S320，若历史分配记录中不存在与所述目标随机数一致的随机数，且所述目标随机数与所述帧值不一致，则根据所述目标随机数修改所述帧值。
若像素、亮度或色度等某个参数类型的参数值所对应的历史分配记录中，不存在与为该参数类型的参数值所分配的目标随机数一致的随机数，且所分配的目标随机数与帧值不一致，即与该参数类型的参数值不一致，则根据目标随机数修改帧值，即修改该参数类型所对应的参数值，由此可以保证对目标视频编码帧的帧值都进行了修改，且避免了将不同的目标视频编码帧的帧值修改为相同的帧值，进而可以有效避免生成重复的花屏图像，在一定程度上提高了生成花屏图像的效率。。
在本申请的一个实施例中，将所述第一视频压缩数据中的目标视频编码帧的帧值进行修改，包括：
将所述第一视频压缩数据中的前向预测编码帧和/或双向预测内插编码帧的帧值进行修改。
目标视频编码帧包括前向预测编码帧、双向预测内插编码帧以及即时解码刷新(IDR，Instantaneous Decoding Refresh)帧，其中，IDR帧是包含完整视频图像的编码信息的视频编码帧，前向预测编码帧和双向预测内插编码帧是处于IDR帧之间的视频编码帧，前向预测编码帧和双向预测内插编码帧的帧值是参考之前的IDR帧所生成包含的差异部分的视频编码帧。因此在对目标视频编码帧的帧值进行修改时，可以对目标视频编码帧中的非IDR帧的帧值进行修改，即对目标视频编码帧中的前向预测编码帧或双向预测内插编码帧的帧值进行修改，或者对目标视频编码帧中的前向预测编码帧以及双向预测内插编码帧的帧值均进行修改，进而使得前向预测编码帧和双向预测内插编码帧无法参考IDR帧中的帧值，以使得第二视频压缩数据无法进行正常的解码，进而便于根据解码后得到存在花屏部分的视频数据生成花屏图像，以实现获取大量花屏图像。
在本申请的一个实施例中，将所述第一视频压缩数据中的目标视频编码帧的帧值进行修改，包括：
将所述第一视频压缩数据中的IDR帧的帧值进行修改。
在对目标视频编码帧的帧值进行修改时，还可以修改目标视频编码帧中的IDR帧的帧值，使得前向预测编码帧和双向预测内插编码帧无法参考IDR帧的帧值进行解码，以使得第二视频压缩数据无法进行正常的解码，进而便于根据解码后得到存在花屏部分的视频数据生成花屏图像，以实现获取大量花屏图像。此外，相较于通过对目标视频编码帧中的非IDR帧的帧值进行修改的方式，由于对目标视频编码帧中数量较少的IDR帧的帧值进行修改，可以显著减小对目标视频编码帧的帧值进行修改时的数据处理量，数据处理的效率更高。
在步骤S230中，对所述第二视频压缩数据进行转码，得到第二视频数据。
为了根据第二视频压缩生成花屏图像，可以对第二视频压缩数据进行转码处理，得到第二视频数据，进而便于根据第二视频数据获取花屏图像。其中，第二视频数据为可以进行播放的视频格式的视频数据，例如MPEG格式、AVI格式或3GP格式的视频数据。
在步骤S240中，根据所述第二视频数据生成目标花屏图像。
在得到第二视频数据后，可以根据该第二视频数据来生成所需要的目标花屏图像。
在申请的一个实施例中，所述根据所述第二视频数据生成目标花屏图像，包括：
从所述第二视频数据中抽取视频帧图像，生成所述目标花屏图像。
在根据第二视频数据生成所需要的目标花屏图像，可以从第二视频数据中抽取视频帧图像，生成目标花屏图像，具体的，可以按照预设的帧数间隔从第二视频数据中抽取视频帧图像，当然，也可以按照不同的帧数间隔从第二视频数据中抽取视频帧图，在此不作限定。本实施例中的方案根据第二视频数据可以直接生成目标花屏图像，不需要对第二视频数据进行额外的数据处理。
在申请的一个实施例中，根据所述第二视频数据生成目标花屏图像，包括：
播放所述第二视频数据，在所述第二视频数据所播放的视频播放画面中截取视频截图，生成所述目标花屏图像。
在根据第二视频数据生成所需要的目标花屏图像时，可以播放第二视频数据，并在第二视频数据所播放的视频播放画面中截取视频截图，生成目标花屏图像，具体的，可以按照预设的时间间隔在所播放的视频播放画面中截取视频截图。
参考图4，图4示出了根据本申请的一个实施例的花屏图像的生成方法的步骤S240的具体流程图，本实施例中的花屏图像的生成方法的步骤S240可以包括步骤S410至步骤S420，详细介绍如下。
在步骤S410中，根据所述第二视频数据生成备选花屏图像。
在根据第二视频数据生成目标花屏图像时，可以先根据第二视频数据生成备选花屏图像，并对备选花屏图像进行校验，以确定备选花屏图像是否为符合要求的目标花屏图像。如前述实施例所述，可以从第二视频数据中抽取视频帧图像，生成备选目标花屏图像，当然也可以播放第二视频数据，并在第二视频数据所播放的视频播放画面中截取视频截图，生成备选花屏图像。
在步骤S420中，若所述备选花屏图像符合预设的花屏图像条件，则将所述备选花屏图像选定为所述目标花屏图像。
对于根据第二视频数据生成的备选花屏图像，可以确定备选花屏图像是否符合预设的花屏图像条件，若备选花屏图像符合预设的花屏图像条件，则将可以将备选花屏图像选定为目标花屏图像。其中，花屏图像条件可以为确定备选花屏图像是否存在花屏部分的条件。
参考图5，图5示出了根据本申请的一个实施例的花屏图像的生成方法的步骤S420的具体流程图，本实施例中的花屏图像的生成方法的步骤S420可以包括步骤S510至步骤S540，详细介绍如下。
在步骤S510中，对所述第一视频压缩数据进行转码，得到第一视频数据。
在确定备选花屏图像是否符合预设的花屏图像条件时，可以对第一视频压缩数据进行转码，得到第一视频数据，其中，第一视频数据也是可以为进行播放的视频格式的视频数据，需要说明的是，第一视频数据为与第二视频数据的视频格式相同的视频数据。
在步骤S520中，根据所述第一视频数据生成所述备选花屏图像对应的原始视频图像。
备选花屏图像所对应的原始视频图像为与备选花屏图像处于同一视频帧序列下的视频图像，而在根据第一视频数据生成备选花屏图像所对应的原始视频图像时，如前述实施例所述，可以从第一视频数据中抽取视频帧图像，生成备选花屏图像对应的原始视频图像，当然也可以播放第二视频数据，并在第二视频数据所播放的视频播放画面中截取视频截图，生成备选花屏图像的原始视频图像。需要说明的是，为了保证根据第一视频数据所生成的原始视频图像为与备选花屏图像为处于同一视频帧序列下的视频图像，从第一视频数据中抽取视频帧图像的帧数间隔需要与从第二视频数据中抽取视频帧图像的帧数间隔保持一致，或在第一视频数据所播放的视频播放画面中截取视频截图的时间间隔需要与在第二视频数据所播放的视频播放画面中截取视频截图的时间间隔保持一致，进而便于使得根据第一视频数据生成备选花屏图像所对应的原始视频图像。
在步骤S530中，比对所述原始视频图像与所述备选花屏图像。
在确定生成的备选花屏图像是否符合预设的花屏图像条件时，比对原始视频图像与备选花屏图像确定原始视频图像与备选花屏图像之间的相似度，以确定备选花屏图像与原始视频图像是否一致，进而确定备选花屏图像中是否存在部分花屏图像。
在步骤S540中，若所述原始视频图像与所述备选花屏图像之间的相似度小于预定阈值，则将所述备选花屏图像选定为所述目标花屏图像。
若原始视频图像与备选花屏图像之间的相似度小于预定阈值，则说明备选花屏图像与原始视频图像不一致，且可以说明备选花屏图像存在部分花屏图像，进而可以将备选花屏图像选定为目标花屏图像，通过对根据第二视频数据所生成的花屏图像进行校验，可以保证生成的花屏图像的成功率。
以上可以看出，通过获取目标格式的第一视频压缩数据，并将第一视频压缩数据中的目标视频编码帧的帧值进行修改，得到第二视频压缩数据；对第二视频压缩数据进行转码，得到第二视频数据；根据第二视频数据生成花屏图像；进而可以实现快速地生成花屏检测模型进行训练时所需要大量花屏图像样本，从而提高生成花屏图像的效率。
参考图6，图6示出了根据本申请的一个实施例的花屏图像的生成方法的流程图，本实施例中的花屏图像的生成方法，在获取目标格式的第一视频压缩数据的步骤S210之前，还可以包括步骤S208至步骤S209，详细介绍如下。
在步骤S208中，获取预处理的视频播放数据。
视频播放数据中的是不需要进行解压而可以直接进行播放的任意视频格式的视频数据，例如MPEG格式、AVI格式或3GP格式的视频数据。在需要获取目标格式的第一视频压缩数据，可以通过获取视频播放数据，进而便于根据视频播放数据生成目标格式的第一视频压缩数据。
在步骤S209中，按照所述目标格式对所述预处理的视频播放数据进行格式转换，得到所述目标格式的第一视频压缩数据。
在获取预处理的视频播放数据，按照目标格式对预处理的视频播放数据进行格式转换，得到目标格式的第一视频压缩数据，以便于生成所需要的花屏图像，图6所示实施例中的方案可以实现根据各种视频格式的视频数据生成花屏图像，提高了根据各种视频格式的视频数据生成花屏图像的适用性。
图7示出了根据本申请的一种根据视频生成花屏图片检测模型的训练样本数据的流程图，如图7所述，可以包括如下步骤。
获取未经过处理的MP4格式的视频文件；对MP4格式的视频进行转码得到H.264格式的视频文件，对H.264格式的视频文件中的IDR帧的帧值进行修改，得到修改后的H.264格式的视频文件；对修改后的H.264格式的视频文件进行转码处理，得到通过修改后的H.264格式的视频文件所转码得到MP4格式的目标视频文件；对目标视频文件进行抽帧得到视频帧图像，将抽帧得到的视频帧图像作为存在花屏部分的花屏图片，此外，还对未经过处理的MP4格式的视频文件进行抽帧处理得到视频帧图像，将抽帧得到的视频帧图像作为不存在花屏部分的正常图片，需要说明的是，对未经过处理的MP4格式的视频文件中抽取视频帧图像的帧数间隔与从目标视频文件中抽取视频帧图像的帧数间隔保持一致，可以获取得到原图以及根据原图生成的花屏图片。如图8所示，图8示出了根据本申请的一种原始图片和生成的花屏图片的比对示意图，如图8所示，图片左侧部分为原始图片，图片右侧部分为生成的花屏图片。
将正常图像和花屏图片作为对花屏检测模型的训练样本数据，如作为对轻量级网络模型(MobileNet V3)进行训练的样本数据，进而实现对MobileNet V3的训练，得到所需要的花屏图片检测模型。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的花屏图像的生成方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的花屏图像的生成方法的实施例。
图9示出了根据本申请的一个实施例的花屏图像的生成装置的框图。
参照图9所示，根据本申请的一个实施例的花屏图像的生成装置900，包括：第一获取单元910、修改单元920、转码单元930以及生成单元940。
其中，第一获取单元910，用于获取目标格式的第一视频压缩数据；修改单元920，用于将所述第一视频压缩数据中的目标视频编码帧的帧值进行修改，得到第二视频压缩数据；转码单元930，用于对所述第二视频压缩数据进行转码，得到第二视频数据；生成单元940，用于根据所述第二视频数据生成花屏图像。
在本申请的一些实施例中，基于前述方案，所述修改单元920配置为：将所述第一视频压缩数据中的即时解码刷新的帧值进行修改。
在本申请的一些实施例中，基于前述方案，所述修改单元920配置为：将所述第一视频压缩数据中的前向预测编码帧和/或双向预测内插编码帧的帧值进行修改。
在本申请的一些实施例中，基于前述方案，所述修改单元920配置为：为所述第一视频压缩数据中的目标视频编码帧的帧值分配目标随机数；若历史分配记录中不存在与所述目标随机数一致的随机数，且所述目标随机数与所述帧值不一致，则根据所述目标随机数修改所述帧值。
在本申请的一些实施例中，基于前述方案，所述生成单元940配置为：从所述第二视频数据中抽取视频帧图像，生成所述目标花屏图像。
在本申请的一些实施例中，基于前述方案，所述生成单元940配置为：播放所述第二视频数据，在所述第二视频数据所播放的视频播放画面中截取视频截图，生成所述目标花屏图像。
在本申请的一些实施例中，基于前述方案，所述生成单元940配置为：根据所述第二视频数据生成备选花屏图像；若所述备选花屏图像符合预设的花屏图像条件，则将所述备选花屏图像选定为所述目标花屏图像。
在本申请的一些实施例中，基于前述方案，所述生成单元940配置为：对所述第一视频压缩数据进行转码，得到第一视频数据；根据所述第一视频数据生成所述备选花屏图像对应的原始视频图像；比对所述原始视频图像与所述备选花屏图像；若所述原始视频图像与所述备选花屏图像之间的相似度小于预定阈值，则将所述备选花屏图像选定为所述目标花屏图像。
在本申请的一些实施例中，基于前述方案，所述花屏图像的生成装置，还包括：第二获取单元，用于获取预处理的视频播放数据；转换单元，用于按照所述目标格式对所述预处理的视频播放数据进行格式转换，得到所述目标格式的第一视频压缩数据。
图10示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图10示出的电子设备的计算机系统1000仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示，计算机系统1000包括中央处理单元(Central ProcessingUnit，CPU)1001，其可以根据存储在只读存储器(Read-Only Memory，ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(Random Access Memory，RAM)1003中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM1003中，还存储有系统操作所需的各种程序和数据。CPU1001、ROM1002以及RAM 1003通过总线1004彼此相连。输入/输出(Input/Output，I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(LiquidCrystal Display，LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (12)
1.一种花屏图像的生成方法，其特征在于，包括：
获取目标格式的第一视频压缩数据；
将所述第一视频压缩数据中的目标视频编码帧的帧值进行修改，得到第二视频压缩数据；
对所述第二视频压缩数据进行转码，得到第二视频数据；
根据所述第二视频数据生成目标花屏图像。
2.根据权利要求1所述的花屏图像的生成方法，其特征在于，所述将所述第一视频压缩数据中的目标视频编码帧的帧值进行修改，包括：
将所述第一视频压缩数据中的即时解码刷新帧的帧值进行修改。
3.根据权利要求1所述的花屏图像的生成方法，其特征在于，所述将所述第一视频压缩数据中的目标视频编码帧的帧值进行修改，包括：
将所述第一视频压缩数据中的前向预测编码帧和/或双向预测内插编码帧的帧值进行修改。
4.根据权利要求1所述的花屏图像的生成方法，其特征在于，所述将所述第一视频压缩数据中的目标视频编码帧的帧值进行修改，包括：
为所述第一视频压缩数据中的目标视频编码帧的帧值分配目标随机数；
若历史分配记录中不存在与所述目标随机数一致的随机数，且所述目标随机数与所述帧值不一致，则根据所述目标随机数修改所述帧值。
5.根据权利要求1所述的花屏图像的生成方法，其特征在于，所述根据所述第二视频数据生成花屏图像，包括：
从所述第二视频数据中抽取视频帧图像，生成所述目标花屏图像。
6.根据权利要求1所述的花屏图像的生成方法，其特征在于，所述根据所述第二视频数据生成目标花屏图像，包括：
播放所述第二视频数据，在所述第二视频数据所播放的视频播放画面中截取视频截图，生成所述目标花屏图像。
7.根据权利要求1所述的花屏图像的生成方法，其特征在于，所述根据所述第二视频数据生成目标花屏图像，包括：
根据所述第二视频数据生成备选花屏图像；
若所述备选花屏图像符合预设的花屏图像条件，则将所述备选花屏图像选定为所述目标花屏图像。
8.根据权利要求7所述的花屏图像的生成方法，其特征在于，所述若所述备选花屏图像符合预设的花屏图像条件，则将所述备选花屏图像选定为所述目标花屏图像，包括：
对所述第一视频压缩数据进行转码，得到第一视频数据；
根据所述第一视频数据生成所述备选花屏图像对应的原始视频图像；
比对所述原始视频图像与所述备选花屏图像；
若所述原始视频图像与所述备选花屏图像之间的相似度小于预定阈值，则将所述备选花屏图像选定为所述目标花屏图像。
9.根据权利要求1所述的花屏图像的生成方法，其特征在于，在获取目标格式的第一视频压缩数据之前，包括：
获取预处理的视频播放数据；
按照所述目标格式对所述预处理的视频播放数据进行格式转换，得到所述目标格式的第一视频压缩数据。
10.一种花屏图像的生成装置，其特征在于，包括：
第一获取单元，用于获取目标格式的第一视频压缩数据；
修改单元，用于将所述第一视频压缩数据中的目标视频编码帧的帧值进行修改，得到第二视频压缩数据；
转码单元，用于对所述第二视频压缩数据进行转码，得到第二视频数据；
生成单元，用于根据所述第二视频数据生成目标花屏图像。
11.一种电子设备，包括：一个或多个处理器以及存储装置，所述存储装置用于存储一个或多个程序，其特征在于，所述处理器执行所述程序时实现权利要求1-9任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1～9任一所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911155390.9A CN110891195B (zh) | 2019-11-22 | 2019-11-22 | 花屏图像的生成方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911155390.9A CN110891195B (zh) | 2019-11-22 | 2019-11-22 | 花屏图像的生成方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110891195A true CN110891195A (zh) | 2020-03-17 |
| CN110891195B CN110891195B (zh) | 2022-07-29 |
Family
ID=69748429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911155390.9A Active CN110891195B (zh) | 2019-11-22 | 2019-11-22 | 花屏图像的生成方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110891195B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111818338A (zh) * | 2020-07-23 | 2020-10-23 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种异常显示检测方法、装置、设备及介质 |
| CN112565763A (zh) * | 2020-11-30 | 2021-03-26 | 北京达佳互联信息技术有限公司 | 异常图像样本生成方法及装置、图像检测方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104715449A (zh) * | 2015-03-31 | 2015-06-17 | 百度在线网络技术（北京）有限公司 | 生成马赛克图像的方法和装置 |
| CN104853193A (zh) * | 2014-02-19 | 2015-08-19 | 腾讯科技（北京）有限公司 | 视频压缩方法、装置及电子设备 |
| US20150243041A1 (en) * | 2013-12-23 | 2015-08-27 | Tufts University | Systems and methods for image and video signal measurement |
| CN107846588A (zh) * | 2017-11-16 | 2018-03-27 | 青岛海信电器股份有限公司 | 电视中串口记录信息的获取方法和装置 |
| CN107909569A (zh) * | 2017-11-10 | 2018-04-13 | 广东欧珀移动通信有限公司 | 一种花屏检测方法、花屏检测装置及电子设备 |
-
2019
- 2019-11-22 CN CN201911155390.9A patent/CN110891195B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150243041A1 (en) * | 2013-12-23 | 2015-08-27 | Tufts University | Systems and methods for image and video signal measurement |
| CN104853193A (zh) * | 2014-02-19 | 2015-08-19 | 腾讯科技（北京）有限公司 | 视频压缩方法、装置及电子设备 |
| CN104715449A (zh) * | 2015-03-31 | 2015-06-17 | 百度在线网络技术（北京）有限公司 | 生成马赛克图像的方法和装置 |
| CN107909569A (zh) * | 2017-11-10 | 2018-04-13 | 广东欧珀移动通信有限公司 | 一种花屏检测方法、花屏检测装置及电子设备 |
| CN107846588A (zh) * | 2017-11-16 | 2018-03-27 | 青岛海信电器股份有限公司 | 电视中串口记录信息的获取方法和装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111818338A (zh) * | 2020-07-23 | 2020-10-23 | 腾讯音乐娱乐科技（深圳）有限公司 | 一种异常显示检测方法、装置、设备及介质 |
| CN112565763A (zh) * | 2020-11-30 | 2021-03-26 | 北京达佳互联信息技术有限公司 | 异常图像样本生成方法及装置、图像检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110891195B (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102235590B1 (ko) | 비디오를 처리하기 위한 방법 및 장치 | |
| CN113015021B (zh) | 云游戏的实现方法、装置、介质及电子设备 | |
| CN108833938B (zh) | 用于选取视频封面的方法和设备 | |
| US11232598B2 (en) | Distinct encoding and decoding of stable information and transient/stochastic information | |
| US20220046261A1 (en) | Encoding method and apparatus for screen sharing, storage medium, and electronic device | |
| US9609338B2 (en) | Layered video encoding and decoding | |
| CN112533059B (zh) | 图像渲染方法、装置、电子设备以及存储介质 | |
| CN111263243B (zh) | 视频编码方法、装置、计算机可读介质及电子设备 | |
| CN111093094A (zh) | 视频转码方法、装置、系统及电子设备及可读存储介质 | |
| CN110891195B (zh) | 花屏图像的生成方法、装置、设备和存储介质 | |
| CN111343503B (zh) | 视频的转码方法、装置、电子设备及存储介质 | |
| US20150264345A1 (en) | Method for Coding Videos and Pictures Using Independent Uniform Prediction Mode | |
| CN111182310A (zh) | 视频处理方法、装置、计算机可读介质及电子设备 | |
| CN111464812B (zh) | 编码解码的方法、系统、装置、存储介质及处理器 | |
| CN112188285A (zh) | 视频转码方法、装置、系统及存储介质 | |
| CN115442617A (zh) | 一种基于视频编码的视频处理方法和装置 | |
| CN112738522A (zh) | 视频编码方法、装置 | |
| CN113038277B (zh) | 一种视频处理方法和装置 | |
| US20240244229A1 (en) | Systems and methods for predictive coding | |
| CN118283298A (zh) | 视频传输方法、处理方法、装置、设备、介质和程序产品 | |
| KR102224299B1 (ko) | 깊이 영상의 계층적 부호화, 복호화 방법 및 장치 | |
| CN117412064A (zh) | 视频解码方法、装置、电子设备及计算机存储介质 | |
| CN117714696A (zh) | 一种视频码率计算方法及系统 | |
| KR20240089766A (ko) | Vcm에 대한 관심 영역 코딩 | |
| CN117834796A (zh) | 帧率控制方法、发送卡、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40022517 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |