CN112492333B - 图像生成方法及装置、封面更换方法、介质和设备 - Google Patents
图像生成方法及装置、封面更换方法、介质和设备 Download PDFInfo
- Publication number
- CN112492333B CN112492333B CN202011285612.1A CN202011285612A CN112492333B CN 112492333 B CN112492333 B CN 112492333B CN 202011285612 A CN202011285612 A CN 202011285612A CN 112492333 B CN112492333 B CN 112492333B
- Authority
- CN
- China
- Prior art keywords
- gray
- video
- value
- video frame
- image generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012508 change request Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/202—Gamma control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开提供了一种动态图像生成方法、视频封面更换方法、动态图像生成装置、计算机可读存储介质和电子设备,涉及计算机技术领域。该动态图像生成方法包括:从视频片段中抽取预设数量的视频帧;计算所述视频帧的灰度参考值,根据所述灰度参考值,从所述预设数量的视频帧中抽取出目标视频帧,根据所述目标视频帧生成动态图像。本公开可以为用户提供更多有效的实时信息,以便于用户准确获知直播内容。
Description
技术领域
本公开涉及计算机技术领域,具体而言,涉及一种动态图像生成方法、视频封面更换方法、动态图像生成装置、计算机可读存储介质和电子设备。
背景技术
随着计算机网络的发展,在网络上进行视频直播越来越盛行。为了使用户更快、更准确地获知视频内容,通常需要在直播视频客户端上设置相应的视频封面。
目前市场上主流的直播客户端中,视频封面多采用静态图片或者小窗视频播放直播内容,以供用户参考。
然而,静态图片提供的信息单一,用户无法准确获知直播内容;小窗视频播放模式会造成流量的浪费,并且通常会播放一些无意义的视频内容,用户同样无法准确获知直播内容。
发明内容
本公开提供一种动态图像生成方法、视频封面更换方法、动态图像生成装置、计算机可读存储介质和电子设备,进而至少在一定程度上克服通过现有的直播视频封面,用户无法准确获知直播内容的问题。
根据本公开的第一方面,提供了一种动态图像生成方法,从视频片段中抽取预设数量的视频帧;计算所述视频帧的灰度参考值,根据所述灰度参考值,从所述预设数量的视频帧中抽取出目标视频帧;根据所述目标视频帧生成动态图像。
根据本公开的第二方面,提供了一种视频封面更换方法,包括:获取视频封面的更换请求;根据上述的动态图像生成方法生成动态图像;根据所述动态图像更换所述视频封面。
根据本公开的第三方面,提供了一种动态图像生成装置,包括:视频帧抽取模块,用于从视频片段中抽取预设数量的视频帧;目标视频帧抽取模块,用于计算所述视频帧的灰度参考值,根据所述灰度参考值,从所述预设数量的视频帧中抽取出目标视频帧;图像生成模块,用于根据所述目标视频帧生成动态图像。
根据本公开的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的动态图像生成方法。
根据本公开的第五方面,提供了一种电子设备,包括处理器;存储器,用于存储一个或多个程序,当一个或多个程序被处理器执行时,使得所述处理器实现上述的动态图像生成方法,或上述的视频封面更换方法。
在本公开的一些实施例所提供的技术方案中,通过从视频片段中抽取预设数量的视频帧;计算所述视频帧的灰度参考值,根据所述灰度参考值,从所述预设数量的视频帧中抽取目标视频帧,根据所述目标视频帧生成动态图像。一方面,本公开从视频片段中抽取预设数量的视频帧,可以提高图像处理的速度,进而可以提高视频封面的更换的效率;另一方面,根据视频帧的灰度参考值来抽取目标视频帧,可以减小将错误的无效图像显示到直播封面上的概率,提高动态图像提供信息的有效性;再一方面,直接通过目标视频帧生成动态图像,可以在达到节省流量的同时,兼顾内容的连续性和实时性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示出了本公开实施方式的动态图像生成方案的示例性系统架构的示意图;
图2示出了适于用来实现本公开实施例的电子设备的结构示意图;
图3示意性示出了根据本公开的示例性实施方式的动态图像生成方法的流程图;
图4示意性示出了根据本公开的示例性实施方式的视频帧的像素块划分示意图;
图5示意性示出了根据本公开的示例性实施方式的视频帧的像素块组的结构示意图;
图6示意性示出了根据本公开的示例性实施方式的视频封面更换方法的流程图;
图7示意性示出了根据本公开的示例性实施方式的视频封面更换过程的流程示意图;
图8示意性示出了根据本公开的示例性实施方式的动态图像生成装置的方框图;
图9示意性示出了根据本公开的另一示例性实施方式的动态图像生成装置的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的步骤。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。另外,下面所有的术语“第一”、“第二”仅是为了区分的目的,不应作为本公开内容的限制。
图1示出了本公开实施方式的动态图像生成方案的示例性系统架构的示意图。
如图1所示,系统架构100可以包括终端设备101、102、106、107中的一个或多个,网络103、105和服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路的介质,网络105用以在终端设备106、107和服务器104之间提供通信链路的介质。网络103、105可以包括各种连接类型,例如有线、无线传输链路或者光纤电缆等等。
用户可以使用终端设备101、102通过网络103与服务器104交互,以接收或发送消息等。终端设备101、102上可以安装有各种应用,例如,视频直播类应用、信息资讯类应用、社交类应用,可以录制视频,并通过安装于其上的主播客户端将录制的视频实时上传至服务器104。终端设备101、102包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
用户可以使用终端设备106、107通过网络105与服务器104交互,以接收或发送消息等。终端设备101、102上可以安装有各种应用,例如,视频直播类应用、信息资讯类应用、社交类应用,可以通过安装于其上的视频直播的用户客户端,向用户提供的直播列表,并在获取到用户选择的直播后,通过服务器104发送的直播链接,进行播放。终端设备106、107包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。需要说明的是,主播客户端和用户客户端的功能也可集合在一个视频直播应用中。
服务器104可以是对终端设备101、102、106、107上运行的应用提供支持的服务器,服务器104可以获取终端设备101、102上安装的主播客户端上传的直播视频,从直播视频中提取当前视频片段,从当前视频片段中抽取预设数量的视频帧;计算视频帧的灰度参考值,根据灰度参考值,从预设数量的视频帧中抽取出目标视频帧;根据目标视频帧生成动态图像。直播视频封面可在终端设备106、107上安装的用户客户端中直播列表中显示。
需要说明的是,本申请实施例所提供的动态图像生成方法可以由服务器104执行,相应地,动态图像生成装置可以设置于服务器104中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器104可以是多个服务器组成的服务器集群等。
图2示出了适于用来实现本公开示例性实施方式的电子设备的示意图。本公开示例性实施方式中终端设备101、102和服务器104中至少服务器104可以被配置为图2的形式。需要说明的是,图2示出的电子设备仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
本公开的电子设备至少包括处理器和存储器,存储器用于存储一个或多个程序,当一个或多个程序被处理器执行时,使得处理器可以实现本公开示例性实施方式的动态图像生成方法。
具体的,如图2所示,电子设备200可以包括:处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus,USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber IdentificationModule,SIM)卡接口295等。其中传感器模块280可以包括深度传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器及骨传导传感器等。
可以理解的是,本公开实施例示意的结构并不构成对电子设备200的具体限定。在本公开另一些实施例中,电子设备200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(Application Processor,AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit,GPU)、图像信号处理器(Image Signal Processor,ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor,DSP)、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。另外,处理器210中还可以设置存储器,用于存储指令和数据。
电子设备200可以通过ISP、视频编解码器、GPU、显示屏290、扬声器271及应用处理器等实现视频播放功能。
内部存储器221可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。外部存储器接口222可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备200的存储能力。
就本公开所述的动态图像生成方案而言,服务器104可以利用视频编解码器对终端设备101、102上传的直播视频进行解码,然后利用ISP在视频片段中抽取视频帧存储在内部存储器221的缓存中,视频编解码器再根据视频帧生成动态图像传输给终端设备106、107,终端设备106、107的处理器210再对用户客户端的直播封面进行更换,或者,由服务器104的处理器210直接更换好直播封面后,由终端设备106、107进行显示。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如下述实施例中所述的方法。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
在用户客户端向用户提供的视频直播列表中,或其他展示直播视频的摘要信息的页面,通常都会显示视频直播封面,视频直播封面包括静态封面或者动态封面,静态封面通常是主播客户端上传的图像或系统默认的图像,可展示的与直播相关的信息较少。本公开的示例性实施方式提供一种作为动态封面的动态图像生成方法,以为用户提供更多与直播内容有关的信息。
图3示意性示出了本公开的示例性实施方式的动态图像生成方法的流程图。参考图3,动态图像生成方法可以包括以下步骤:
步骤S310、从视频片段中抽取预设数量的视频帧。
在本公开的示例性实施方式中,动态图像生成方法运行于其上的电子设备可以首先获取直播视频,直播视频是服务器获取到的由主播客户端录制生成的。该电子设备可以是服务器,服务器在获取到主播客户端上传的直播视频后,需要先对该直播视频进行视频解码,再从解码后的视频中获取视频片段。为了提高视频封面的实时性,该视频片段可以是当前视频片段。其中,当前视频片段指的是从当前时间开始计算,在预设时间段内的视频片段,通过获取当前视频片段更能反映当前直播的内容,以供用户判断当前直播内容是否与自己想要获取的内容相符,为用户提供更多的实时判断信息。
在实际应用中,预设时间段的大小可以根据实际需要进行设置,例如,10秒,20秒等,本示例性实施方式对此不作特殊限定。服务器在获取到预设时间段内的当前视频片段后,会对该当前视频片段进行处理。
在获取到当前视频片段后,可以从当前视频片段中抽取预设数量的视频帧,其中,预设数量可以是内部存储器221中缓存的大小,例如,预设数量可以是100帧、150帧等。本示例性实施方式对此不作特殊限定。需要说明的是,在抽取视频帧的过程中,需要判断抽取的视频帧是否达到预设数量,如果没有达到,则需要继续等待,直到获取的视频帧达到预设数量为止。
在实际应用中,抽取预设数量的视频帧的方式,可以是按照预设采样频率对当前视频片段解码后的视频帧进行抽取,以获得预设数量的视频帧;也可以是按照预设间隔进行抽取,其中,预设间隔可以是间隔一定的时间,也可以是间隔一定的帧数,例如,每间隔1秒抽取一次、每间隔5帧抽取一次等,本示例性实施方式对此不作特殊限定。
步骤S320、计算所述视频帧的灰度参考值,根据所述灰度参考值,从所述预设数量的视频帧中抽取出目标视频帧。
在本公开的示例性实施方式中,为了生成有价值且具有实际内容的动态图像,需要从步骤S310获取的视频帧中抽取目标视频帧,该目标视频帧需要是含有有效信息的视频帧,以减小将错误的无效图像显示到直播封面上的概率,提高动态图像提供信息的有效性。
为了获得含有有效信息的目标视频帧,本示例性实施方式提供的从预设数量的视频帧中抽取目标视频帧包括:计算视频帧的灰度参考值,可以根据该灰度参考值从预设数量的视频帧中抽取目标视频帧。例如,根据灰度参考值的大小对视频帧进行筛选,以获得目标视频帧。
在本公开的示例性实施方式中,计算视频帧的灰度参考值的方法包括:将预设数量的视频帧中的每个视频帧划分为多个像素块,计算每个像素块的灰度值,根据像素块的灰度值,计算视频帧的灰度参考值。
图4示意性示出了本公开的示例性实施方式的视频帧的像素块划分示意图。参考图4,将一张视频帧划分为A、B、C、D、E、F、G、H、I等多个像素块,其中,像素块的数量可以根据像素块的像素大小确定,而像素块的像素大小可以根据实际视频帧的大小确定,例如,像素块可以是8×8像素,也可以是4×4像素等,本示例性实施方式对此不作特殊限定。
在将视频帧划分为多个像素块后,计算每个像素块的灰度值,其中,灰度是指黑白图像中点的颜色深度,范围一般从0到255,白色为255,黑色为0,故黑白图片也称灰度图像。彩色图像的灰度值其实是转化为黑白图像后的像素值,任何颜色都由红R、绿G、蓝B光学三原色组成,转化的方法可以有多种,例如,将光学三原色R、G、B三个亮度值取平均值,或对光学三原色R、G、B三个亮度值进行加权求和等。
可选的,本示例性实施方式中,采用对像素块的光学三原色的亮度值进行加权求和,即按照公式Gray=R*0.3+G*0.59+B*0.11获得所述像素块的灰度值。
在获得像素块的灰度值后,可以从多个像素块中确定一个参考块,计算该参考块的灰度值与其余像素块的灰度值的差值。通过计算其余像素块与参考块的灰度值的差值可以比较其余像素块与参考块的差别,确定出参考块与其余像素块的相似度,如果相似度较高,说明视频帧中像素块之间的图像区别不大,也说明该视频帧中含有黑屏图像等无效信息的概率更大。
本公开的示例性实施方式中,为了提高确定相似度高低的精度,可以只将参考块与其邻近的像素块的灰度值进行差值计算。例如,可以从多个像素块中确定出多个排列成2*2阵列的像素块组。如图5所示,从图4的视频帧中抽出由A、B、D、E四个像素块组成的像素块组500。按照上述方法,图4所示的9个像素块可以划分成4个类似于图5所示的像素块组500(图4中的虚线框所示)。
在获得多个像素块组后,可以对每个像素块组进行进一步的差值计算。具体的,从像素块组中确定出参考块,其中,参考块可以是该像素块组中的任一像素块,例如,以图5中的A为参考块,计算参考块A的灰度值与像素块组中的其余像素块B、D、E的灰度值的差值,即A的灰度值-B的灰度值、A的灰度值-D的灰度值、A的灰度值-E的灰度值,并对上述差值求和,获得像素块组的灰度差值=A的灰度值*3-B的灰度值-D的灰度值-E的灰度值。
将像素块组的灰度差值与预设参考值进行比较,在灰度差值小于预设参考值时,在预设总值的基础上累计减一;按照上述步骤对每个像素块组的灰度差值都进行计算,并将灰度差值与预设参考值比较,如果灰度差值小于预设参考值,就对预设总值累计减一,最后剩余的预设总值就是该视频帧的灰度参考值。
需要说明的是,每个视频帧所确定的参考块的位置最好一致,例如,均是像素块组中的左上角像素块A或者均是右上角像素块B等。如此才能确保多个视频帧计算的灰度参考值之间具有更好的可比性。
在实际应用中,预设参考值的大小可以根据实际需要确定,例如对于8×8像素的像素块,其灰度参考值可以为160;对于24×24像素的像素块,其灰度参考值可以为240。如果灰度差值小于预设参考值,说明像素块组中的像素块的图像比较近似,图像之间的区别不大,也说明该视频帧中含有黑屏图像等无效信息的概率更大,因此,会在预设总值的基础上进行减一操作,以降低视频帧的灰度参考值。
在实际应用中,预设总值的大小可以根据实际的累积值的大小确定,例如,预设总值可以是10000等,本示例性实施方式对此不作特殊限定。
在获得视频帧的灰度参考值之后,可以根据灰度参考值的大小从视频帧中抽取目标数量的目标视频帧,即,选择灰度参考值较大的视频帧为目标视频帧。例如,选择灰度参考值排名在前50的视频帧为目标视频帧,也可以选择排名在前30的视频帧为目标视频帧,其中,目标数量可以根据实际用户的需求灵活设定,本示例性实施方式对此不作特殊限定。
步骤S330、根据所述目标视频帧生成动态图像。
在获得目标视频帧后,可以按照目标视频帧在当前视频片段中的时间先后顺序,将目标视频帧编码成动态图像。例如,如果抽取出的目标视频帧为第1帧、第3帧、第4帧、第7帧、第10帧、第11帧、第13帧、第16帧、第18帧、第20帧总共10帧图像,则可以将上述10帧图像按照先后顺序编码成动态图像。其中,动态图像可以是WebP格式的动态图像,在达到节省流量的同时,兼顾了内容的连续性和实时性。
综上所述,基于本公开示例性实施方式的动态图像生成方法,一方面,本公开通过从直播视频中获取当前视频片段,更能反映当前直播的内容,以为用户提供更多实时的信息,以便于用户准确获知直播内容;另一方面,通过抽取目标视频帧,可以减小将错误的无效图像显示到直播封面上的概率,提高动态图像提供信息的有效性;再一方面,通过将视频帧划分为多个像素块,获取多个像素块之间灰度值的差值,可以判断像素块之间的图像差别,以判断视频帧是否含有有效信息。又一方面,本公开将获得的目标视频帧生成WebP格式的动态图像,在达到节省流量的同时,兼顾了内容的连续性和实时性。
进一步的,本示例实施方式中还提供了一种视频封面更换方法。
图6示意性示出了本公开的示例性实施方式的视频封面更换方法的流程图。参考图6,视频封面更换方法可以包括以下步骤:
步骤S610、获取视频封面的更换请求。
步骤S620、根据上述的动态图像生成方法生成动态图像。
步骤S630、根据所述动态图像更换所述视频封面。
其中,视频封面的更好请求可以是主播客户端发送的请求,也可以是服务器自动设置的请求,本示例性实施方式对此不作特殊限定。而通过动态图像生成方法生成动态图像的具体步骤已经在上述实施方式中进行了详细描述,此处不再赘述。
参照图7中,示出了本示例性实施方式的一种直播视频封面更换过程的流程示意图;如图7所示,步骤S710,获取直播视频中的当前视频片段;步骤S720,对当前视频片段进行解码;步骤S730,进入判断条件1,判断是否接收到视频封面的更换请求;如果满足判断条件1,即接收到视频封面的更换请求,则执行步骤S740,从当前视频片段中抽取视频帧;接着,执行步骤S750,进入判断条件2,判断视频帧的数量是否达到预设数量;如果满足判断条件2,即达到预设数量,则执行S760,计算视频帧的灰度参考值;步骤S770,根据灰度参考值,从预设数量的视频帧中抽取目标视频帧生成动态图像;步骤S780,将直播视频的封面更换为上述动态图像;如果不满足判断条件2,则继续执行步骤S740。如果不满足判断条件1,则执行步骤S790,直接通过用户客户端播放视频,不对视频封面进行更换。
应当注意,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
进一步的,本示例实施方式中还提供了一种动态图像生成装置。
图8示意性示出了本公开的示例性实施方式的动态图像生成装置的方框图。参考图8,根据本公开的示例性实施方式的动态图像生成装置800可以包括视频帧抽取模块810、目标视频帧抽取模块820、图像生成模块830。
具体的,视频帧抽取模块810可以用于从视频片段中抽取预设数量的视频帧;目标视频帧抽取模块820可以用于计算所述视频帧的灰度参考值,根据所述灰度参考值,从所述预设数量的视频帧中抽取出目标视频帧;图像生成模块830可以用于根据所述目标视频帧生成动态图像。
根据本公开的示例性实施例,参考图9,相比于动态图像生成装置800,动态图像生成装置900还可以包括视频解析模块910。
具体的,视频解析模块910用于将视频片段解析为视频帧,供视频帧抽取模块810抽取。
由于本公开实施方式的动态图像生成装置的各个功能模块与上述方法实施方式中相同,在此不再赘述。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的内容后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (8)
1.一种动态图像生成方法,其特征在于,包括:
从视频片段中抽取预设数量的视频帧;
计算所述视频帧的灰度参考值,根据所述灰度参考值,从所述预设数量的视频帧中抽取出目标视频帧;
根据所述目标视频帧生成动态图像;
其中,计算所述视频帧的灰度参考值包括:
将所述视频帧划分为多个像素块,计算所述像素块的灰度值;
从多个所述像素块中确定出多个排列成2*2阵列的像素块组,以所述像素块组中的任一像素块为参考块;计算所述参考块的灰度值与所述像素块组中的其余像素块的灰度值的差值,以根据所述像素块的灰度值,确定多个所述像素块中参考块与其余像素块的相似度,并对所述差值求和获得所述像素块组的灰度差值;在所述灰度差值小于预设参考值时,在预设总值的基础上累计减一,剩余的所述预设总值为所述灰度参考值,以根据所述相似度计算所述视频帧的灰度参考值。
2.根据权利要求1所述的动态图像生成方法,其特征在于,根据所述灰度参考值,从所述预设数量的视频帧中抽取出目标视频帧包括:
比较所述预设数量的视频帧的所述灰度参考值的大小;
根据所述灰度参考值的大小从所述预设数量的视频帧中抽取出目标数量的所述目标视频帧。
3.根据权利要求1所述的动态图像生成方法,其特征在于,计算所述像素块的灰度值包括:
对所述像素块中的光学三原色的亮度值进行加权求和,获得所述像素块的灰度值。
4.根据权利要求1所述的动态图像生成方法,其特征在于,根据所述目标视频帧生成动态图像包括:
将所述目标视频帧按照时间先后顺序编码成WebP格式的所述动态图像。
5.一种视频封面更换方法,其特征在于,包括:
获取视频封面的更换请求;
根据权利要求1至4中任一项所述的动态图像生成方法生成动态图像;
根据所述动态图像更换所述视频封面。
6.一种动态图像生成装置,其特征在于,包括:
视频帧抽取模块,用于从视频片段中抽取预设数量的视频帧;
目标视频帧抽取模块,用于计算所述视频帧的灰度参考值,根据所述灰度参考值,从所述预设数量的视频帧中抽取出目标视频帧;
图像生成模块,用于根据所述目标视频帧生成动态图像;
所述目标视频帧抽取模块,还用于将所述视频帧划分为多个像素块,计算所述像素块的灰度值;
从多个所述像素块中确定出多个排列成2*2阵列的像素块组,以所述像素块组中的任一像素块为参考块;计算所述参考块的灰度值与所述像素块组中的其余像素块的灰度值的差值,以根据所述像素块的灰度值,确定多个所述像素块中参考块与其余像素块的相似度,并对所述差值求和获得所述像素块组的灰度差值;在所述灰度差值小于预设参考值时,在预设总值的基础上累计减一,剩余的所述预设总值为所述灰度参考值,以根据所述相似度,计算所述视频帧的灰度参考值。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至4中任一项所述的动态图像生成方法。
8.一种电子设备,其特征在于,包括:
处理器;
存储器,用于存储一个或多个程序,当所述一个或多个程序被所述处理器执行时,使得所述处理器实现如权利要求1至4中任一项所述的动态图像生成方法,或如权利要求5所述的视频封面更换方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011285612.1A CN112492333B (zh) | 2020-11-17 | 2020-11-17 | 图像生成方法及装置、封面更换方法、介质和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011285612.1A CN112492333B (zh) | 2020-11-17 | 2020-11-17 | 图像生成方法及装置、封面更换方法、介质和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112492333A CN112492333A (zh) | 2021-03-12 |
CN112492333B true CN112492333B (zh) | 2023-04-07 |
Family
ID=74930736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011285612.1A Active CN112492333B (zh) | 2020-11-17 | 2020-11-17 | 图像生成方法及装置、封面更换方法、介质和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112492333B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024130715A1 (zh) * | 2022-12-23 | 2024-06-27 | 京东方科技集团股份有限公司 | 视频处理方法、视频处理装置和可读存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11341153B2 (en) * | 2015-10-05 | 2022-05-24 | Verizon Patent And Licensing Inc. | Computerized system and method for determining applications on a device for serving media |
CN108718417B (zh) * | 2018-05-28 | 2019-07-23 | 广州虎牙信息科技有限公司 | 直播间预览图标的生成方法、装置、服务器及存储介质 |
CN111385640B (zh) * | 2018-12-28 | 2022-11-18 | 广州市百果园信息技术有限公司 | 视频封面的确定方法、装置、设备及存储介质 |
CN110879851A (zh) * | 2019-10-15 | 2020-03-13 | 北京三快在线科技有限公司 | 视频动态封面生成方法、装置、电子设备及可读存储介质 |
CN111083468B (zh) * | 2019-12-23 | 2021-08-20 | 杭州小影创新科技股份有限公司 | 一种基于图像梯度的短视频质量评价方法及系统 |
-
2020
- 2020-11-17 CN CN202011285612.1A patent/CN112492333B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112492333A (zh) | 2021-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113015021B (zh) | 云游戏的实现方法、装置、介质及电子设备 | |
CN110189246B (zh) | 图像风格化生成方法、装置及电子设备 | |
CN112511821B (zh) | 视频卡顿检测方法、装置和存储介质 | |
CN110287891B (zh) | 基于人体关键点的手势控制方法、装置及电子设备 | |
CN112182299B (zh) | 一种视频中精彩片段的获取方法、装置、设备和介质 | |
CN112272327B (zh) | 数据处理方法、装置、存储介质及设备 | |
CN107295352B (zh) | 一种视频压缩方法、装置、设备及存储介质 | |
CN111325096B (zh) | 直播流采样方法、装置及电子设备 | |
CN114286172B (zh) | 数据处理方法及装置 | |
WO2024222790A1 (zh) | 适用于空间图像的解码方法及装置 | |
CN112492333B (zh) | 图像生成方法及装置、封面更换方法、介质和设备 | |
CN113343895B (zh) | 目标检测方法、目标检测装置、存储介质与电子设备 | |
CN116708806A (zh) | 适用于空间图片的编码方法、解码方法及装置 | |
CN115761090A (zh) | 特效渲染方法、装置、设备、计算机可读存储介质及产品 | |
CN109919220B (zh) | 用于生成视频的特征向量的方法和装置 | |
CN113038176B (zh) | 视频抽帧方法、装置和电子设备 | |
CN111626922B (zh) | 图片生成方法、装置、电子设备及计算机可读存储介质 | |
CN113409199A (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
KR101085718B1 (ko) | 서버측 분산 영상처리를 이용한 증강현실 제공 시스템 및 방법 | |
CN110197459B (zh) | 图像风格化生成方法、装置及电子设备 | |
CN110751120A (zh) | 一种检测方法、装置及电子设备 | |
CN112801997B (zh) | 图像增强质量评估方法、装置、电子设备及存储介质 | |
CN116980604A (zh) | 视频编码方法、视频解码方法及相关设备 | |
CN111526366B (zh) | 图像处理方法、装置、摄像设备和存储介质 | |
CN117176979B (zh) | 多源异构视频的内容帧提取方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |