CN113242465B - 视频处理方法、装置、电子设备及可读存储介质 - Google Patents

视频处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113242465B
CN113242465B CN202110460713.6A CN202110460713A CN113242465B CN 113242465 B CN113242465 B CN 113242465B CN 202110460713 A CN202110460713 A CN 202110460713A CN 113242465 B CN113242465 B CN 113242465B
Authority
CN
China
Prior art keywords
frame
color
image frames
levels
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110460713.6A
Other languages
English (en)
Other versions
CN113242465A (zh
Inventor
郑超
范泽华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110460713.6A priority Critical patent/CN113242465B/zh
Publication of CN113242465A publication Critical patent/CN113242465A/zh
Priority to PCT/CN2022/081140 priority patent/WO2022227902A1/zh
Application granted granted Critical
Publication of CN113242465B publication Critical patent/CN113242465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请实施方式提供一种视频处理方法、视频处理装置、电子设备及计算机可读存储介质。视频处理方法包括:从待处理视频中获取相邻的两帧原始图像帧,原始图像帧包括第一数量的色阶;根据获取到的两帧原始图像帧,生成至少一帧内插帧;将至少一帧内插帧插入两帧原始图像帧之间,得到一图像帧序列,所述图像帧序列被播放时,两帧原始图像帧和内插帧的色阶数量的总和小于或等于第一数量。本申请通过色阶划分的方式,减少利用支持较低色深的电子设备来播放较高色深的视频,在色彩过渡处所产生的明显色带,可提升用户的视觉体验。

Description

视频处理方法、装置、电子设备及可读存储介质
技术领域
本申请涉及视频处理技术领域,更为具体地,涉及一种视频处理方法、视 频处理装置、电子设备及计算机可读存储介质。
背景技术
随着移动互联网的发展,用户对信息的获取方式已经逐渐从文字、图片、 以及语音扩展到视频领域。手机、平板电脑等电子设备的迅速普及,应用各类 电子设备来播放视频早已成为不可忽视的用户需求。
为了获得更好的视觉体验,用户通常会选择高色深视频来观赏,比如高动 态范围(High-Dynamic Range,HDR)视频,但受限于现有主流播放设备所支 持的色深,高色深视频的色彩通常无法全部呈现,从而导致视频色彩过渡处有 明显的色带,有损用户的视觉体验。
发明内容
本申请提供了一种视频处理方法、视频处理装置、电子设备及计算机可读 存储介质。
第一方面,本申请提供一种视频处理方法,包括:
从待处理视频中获取相邻的两帧原始图像帧,原始图像帧包括第一数量的 色阶;根据获取到的两帧原始图像帧,生成至少一帧内插帧;将至少一帧内插 帧插入两帧原始图像帧之间,得到一图像帧序列,图像帧序列被播放时,两帧 原始图像帧和内插帧的色阶数量的总和小于或等于所述第一数量。
第二方面,本申请提供一种视频处理装置,包括:
获取模块,用于从待处理视频中获取相邻的两帧原始图像帧,原始图像帧 包括第一数量的色阶;生成模块,用于根据获取到的两帧原始图像帧,生成至 少一帧内插帧;插帧模块,用于将至少一帧内插帧插入两帧原始图像帧之间, 得到一图像帧序列,图像帧序列被播放时,两帧原始图像帧和内插帧的色阶数 量的总和小于或等于第一数量。
第三方面,本申请提供一种电子设备,包括:
至少一个处理器;以及存储器,与至少一个处理器通信连接;其中存储器 中储存有一个或多个计算机程序,计算机程序被处理器执行时,使得处理器执 行如第一方面所述的视频处理方法。
第四方面,本申请提供了一种包含计算机可执行指令的非易失性计算机可 读存储介质,其特征在于,当计算机可执行指令被一个或多个处理器执行时, 使得处理器执行如权利要求1至8中任意一项的视频处理方法。
本申请的一些实施方式所提供的技术方案中,首先,由获取到的相邻两帧 原始图像帧生成至少一帧内插帧,并将其插入该相邻两帧原始图像帧,得到图 像帧序列;接下来划分原始图像帧的色阶,以得到图像帧序列中各图像帧的色 阶;最终当图像帧序列被播放时,相邻图像帧显示不同的色阶。本申请通过色 阶划分的方式,减少了利用支持较低色深的电子设备来播放较高色深的视频时 色彩过渡处所产生的明显色带,可提升用户的视觉体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的, 并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出符合本申请的 实施方式,并与说明书一起用于解释本申请的原理。显而易见地,下面描述的 附图仅仅是本申请的一些实施方式,对于本领域对于本领域普通技术人员来讲, 在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图 中:
图1是本申请一实施方式中的视频处理方法的系统架构示意图;
图2是本申请一实施方式中的视频处理方法的硬件示意图;
图3是本申请一实施方式中的视频处理方法流程图;
图4是本申请一实施方式中的视频处理过程示意图;
图5是本申请另一实施方式中的视频处理方法流程图;
图6是本申请另一实施方式中的视频处理方法流程图;
图7是本申请另一实施方式中的插帧示意图;
图8是本申请一实施方式中应用视频处理方法前的显示效果图;
图9是本申请一实施方式中应用视频处理方法后的显示效果图;
图10是本申请另一实施方式中的视频处理方法流程图;
图11是本申请一实施方式中的视频处理装置的结构框图;
图12是本申请一实施方式中的电子设备的内部结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以 多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方 式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领 域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个 或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本申请的 实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技 术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、 装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺 主而使得本申请的各方面变得模糊。
此外,附图仅为本申请的示意性图解,并非一定是按比例绘制。图中相同 的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所 示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。 可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路 中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现 这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的步骤。例如, 有的步骤还可以分解,而有的步骤可以合并或部分合并,因此实际执行的顺序 有可能根据实际情况改变。另外,下面所有的术语“第一”、“第二”仅是为了 区分的目的,不应作为本申请内容的限制。
请参阅图1,图1示出了可应用本申请一实施方式中的视频处理方法的系统 架构示意图。
系统架构100可以包括一个或多个电子设备10,网络108和服务器110。网络 108可为在电子设备10和服务器110之间提供通信链路的介质。网络108可以包括 各种连接类型,例如有线、无线通信链路或者光纤、电缆等等。
可以理解的是,图1中的电子设备10、网络108和服务器110的数目仅仅是示 意性的。根据实现需要,可以具有任意数目的电子设备10、网络108和服务器110。 比如服务器110可以是多个服务器组成的服务器集群等。
用户可以使用电子设备10通过网络108与服务器110交互,以接收或发送消 息等。电子设备10可以是具有显示屏的各种终端设备,包括但不限于笔记本电 脑102、平板电脑104、以及智能手机106等具有显示功能且可以播放视频的终端, 对此本申请在此不作限定。另外,服务器110可以是提供各种服务的服务器。
在基于服务器110实现本申请视频处理方案的实施方式中,首先,电子设备 10可以获得由服务器110发送的视频,并将其作为待处理视频,经视频解码,获 得待处理视频的原始图像帧;接下来,电子设备10可以根据从待处理视频中获 取的原始图像帧,得到若干内插帧;随后,内插帧被插入待处理视频的图像帧 序列中,生成处理后视频,以供给电子设备10的显示屏进行显示或播放。
可以理解的是,由电子设备10进行视频处理后生成的处理后视频,可以保 存于电子设备10的本地存储器中,也可以经由网络108上传至服务器110。
在一些实施方式中,处理后视频也可以不存储在电子设备10的本地存储器 或经由网络108上传至服务器110。电子设备10也可以在待处理视频播放时进行 实时处理,节约了本地或者服务器110的存储空间。
虽然下面的描述以电子设备10执行本申请视频处理过程为例进行说明,然 而,如上所说明的,本申请对实现视频处理各步骤的设备类型不做限制。
此外,本申请的视频处理方案应用广泛,例如,可以应用于手机、平板电 脑、电视等电子设备对各种格式的本地视频或网络视频的播放,也可以应用于 游戏画面的实时显示。
请参阅图2,图2示出了本申请一实施方式中的视频处理方法的硬件示意图。
本申请实施方式中的电子设备10中用于视频处理的硬件模块包括:应用处 理器22(Application Processor,AP)、插帧芯片24、显示屏驱动集成电路26 (Display DiverIntegrated Circuit,DDIC)、以及显示屏28。接下来分别介绍各 个硬件模块的功能与其之间的联系。应理解,电子设备10可包括上述硬件模块 中的全部或部分,也可包括其他的硬件模块,例如,射频模块、图像采集模块 等以实现相应的功能。
AP22是电子设备10中的系统级芯片(System on Chip,SoC),AP22中可集成 图形处理单元(Graphics Processing Unit,GPU)、编解码器(codec)、以及数 字信号处理(Digital Signal Processing,DSP)单元等。在本申请提供的一实施方 式中,电子设备10的显示屏28播放视频前,将视频调入AP22中进行处理,AP22 可以从中抽取若干原始图像帧,并将抽取到的原始图像帧送入插帧芯片24进行 处理。
插帧芯片24可为电子设备10中的一块独立芯片,能够将原本的低帧率视频, 动态插帧到较高帧率,视频的显示效果更加自然而流畅。经插帧芯片24插帧后 的视频,视频帧率会有提高。为了让显示屏28显示出插帧后的视频,还需DDIC26 的处理。
DDIC26是连接AP22和显示屏28或者连接插帧芯片24和显示屏28的关键部 件。DDIC26通过移动产业处理器接口(Mobile Industry Processor Interface,MIPI) 或者其他总线接口接收SoC发送的信号,针对显示屏28的设备特性,进行再编 码或调制等处理,将视频数据映射成数据流。接下来,基于显示屏28所支持的 色深,利用数字模拟转换器,将数据流转变为动态电压,并在同步信号的控制 下,控制显示屏28的像素成像。
显示屏28可以是液晶显示屏(Liquid Crystal Display,LCD)或者有机发 光二极管显示屏(Organic Light Emitting Diode,OLED)等。
可以选择的,当显示屏28为LCD时,DDIC26生成的动态电压通过数据选择 器(Multiplexer,MUX)加载到LCD的薄膜晶体管(Thin Film Transistor,TFT) 基板上,来点亮LCD的液晶像素点。
可以选择的,当显示屏28为OLED时,DDIC26生成的动态电压通过数据选 择器(Multiplexer,MUX)加载到OLED像素上,使得像素点发光从而显示出 图像和视频。
请一并参阅图3,图3示出了本申请一实施方式中的视频处理方法流程图。
如图3所示可以理解的,该视频处理方法可以用于如图1所示的电子设备10 中。
需要说明的是,在本申请的实施方式中,待处理视频可以是电子设备10 通过其摄像摄影模组拍摄而得的视频,也可以是从网络上下载的或者由其他设 备发送的视频,本申请对待处理视频的来源、大小以及视频内容的类型均不作 限定。
该视频处理方法可以包括:
S102:从待处理视频中获取相邻的两帧原始图像帧,原始图像帧包括第一 数量的色阶;
例如:若视频的单一色彩过渡有256阶,则该视频的色深为8bit。日常生 活中的彩色视频通常具有红、绿、蓝三个通道,可以得到,8bit色深的视频具 有256*256*256色。目前受到用户广泛欢迎的高动态范围(High Dynamic Range,HDR)视频,其色深的要求是10bit以上,所以电子设备10的AP22和DDIC26 需要支持10bit或者10bit以上色深才能满足整个显示通路最终显示出10bit或 10bit以上的色深效果。
若用支持较低色深的电子设备10来显示具备较高色深的视频,DDIC26会 将视频相较于电子设备10高出的色深所对应的色阶信息丢失掉,最终显示出来 的效果即为显示器所支持的最高色深的效果。例如:当最高支持8bit色深的电 子设备10播放10bit色深的视频时,电子设备10中的DDIC26会将多出来的 2bit信息丢失掉,即将每个红、绿、蓝通道的10bit二进制数据的最末两位去掉, 保留前8bit二进制数据,用于支持8bit色深的电子设备10的播放。
受限于电子设备10的硬件条件,应用支持6bit色深或者8bit色深的电子 设备10难以显示出HDR视频丰富的色彩效果。但6bit色深或者8bit色深的电 子设备10仍是目前显示屏28市场的主流。
S104:根据获取到的两帧原始图像帧,生成至少一帧内插帧;
在一些实施方式中,例如,第i帧图像和第i+1帧图像为两帧原始图像帧, 其中i是大于零的自然数。则可根据第i帧图像和第i+1帧图像的变化程度,生 成至少一帧内插帧。可以理解的,将内插帧插入第i帧和第i+1帧图像之间, 不但可以增加帧率让视频更加流畅,还可以让视频图像的变化看起来更加顺畅 而自然,降低视频的卡顿感。
在一些实施方式中,可以根据第i帧和第i+1帧图像的前景对象的变化程 度来确定内插帧的图像,其中i是大于零的自然数。例如:视频是一个小球在 滚动。前景对象可以被理解成小球,而背景可以被理解成视频中几乎不发生变 化的区域。可以理解的,在相邻的第i帧和第i+1帧图像中,小球的位置会发 生移动,可以根据前景对象在第i帧和第i+1帧中的位置所对应的运动矢量来 得到内插帧,即内插帧中的小球可以处于第i帧和第i+1帧图像小球的移动路 径的中间位置。
在一些实施方式中,也可以利用光流法来得到内插帧图像。具体而言, 利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧 跟当前帧之间存在的对应关系,计算出相邻帧之间前景对象的运动信息,进而 得到内插帧图像。
S106:将至少一帧内插帧插入两帧原始图像帧之间,得到一图像帧序列, 图像帧序列被播放时,两帧原始图像帧和内插帧的色阶数量的总和小于或等于 第一数量。
在本申请的实施方式中,为了实现两帧原始图像帧和内插帧的色阶数量的 总和小于或等于第一数量,可对原始图像帧对应的第一数量的色阶进行划分。 具体而言,可以将原始图像帧对应的色阶集合,划分成2+N个色阶子集,且每 个色阶子集对应2帧原始图像帧或N帧内插帧中的一帧,即利用划分好的色阶 子集,生成2+N帧显示较低色深的图像,其中内插帧数量N为大于零的整数, 且N可以根据电子设备支持的最大帧率计算得到。
当图像帧序列被播放时,生成的2+N帧较低色深的图像被播放。在图像帧 序列中,相邻两帧图像帧的显示色阶均不相同,也就是每两帧图像所显示的色 彩都不一样。利用人眼视觉残留的原理,将待处理视频的色深超出显示屏28 所支持色深的部分,通过多帧叠加的显示方式,使人眼看到更加丰富的色阶, 还原出待处理视频的显示效果。
从硬件的角度来看,如前文介绍,DDIC26通过将数据流转变为动态电压, 从而控制显示屏28显示出不同色阶。因此,在本申请的实施方式中,色阶集合 中的每个色阶都可以对应DDIC26控制的某一电压值。通过DDIC26对电压的 动态调控,可以实现每帧画面对应显示不同的色阶。
可以理解的,将内插帧插入两帧原始图像帧之间,当处理后视频被播放时, 单位时间内播放的帧数增多,因此生成处理后视频的帧率相较待处理视频而言 会有提高。
应当说明的是,目前网络上的视频,比如电影、电视剧等,大多数视频的 帧率为24或者30帧每秒,即当这些视频被播放时,每秒钟显示24帧或30帧 图像。帧率为24帧每秒的视频是大多数人眼能接受的最低极限,若帧率小于 24帧每秒,视频将会被人眼识别出是连贯的图像而不是动态的视频。因此,通 过插帧的方式提高视频的帧率,能够在一定程度上使播放的视频更加流畅和连 贯,提升用户的观赏体验。
请参阅图4,图4示出了本申请一实施方式中的插帧示意图。
原始图像的色彩深度信息可以从待处理的视频中直接获得。原始图像的色 彩深度信息即色深,其大小通常用视频单一色彩过渡的阶数来表示,即用色阶 来表示。为了利用支持较低色深的电子设备10显示较高色深的视频,可以利用 色彩深度信息处理器34,将获取到的原始图像的色彩深度信息即色阶信息,划 分成为多帧信息。并通过色彩深度图像生成器36,利用划分好的多帧色阶信息, 生成多帧图像,进而生成新色彩深度的视频。
请参阅图5,图5示出了本申请另一实施方式中的视频处理方法流程图。 该视频处理方法还可以包括:
S202:获取电子设备支持的色阶数量;
电子设备支持的色阶数量与DDIC26或显示屏28等硬件的性能相关,同时 也受限于DDIC26的硬件条件。
在一些实施方式中,色阶数量可以为电子设备10最大支持色深对应的色阶 数量,也可以由开发者或者用户进行人为设定,本申请在此不作限定。
S204:根据电子设备支持的色阶数量和第一数量得到内插帧的帧数。
在一些实施方式中,可以通过色阶数量来计算需要的内插帧的帧数N。例 如,若待处理视频的原始色深是10bit,获得到的目标色深是8bit,可知,原始 色深对应的色阶集合中有1024个色阶,每个划分的色阶子集中最多容纳256 个色阶。由此,需要至少4帧图像来显示1024个色阶,若获取到的原始图像帧 为2帧,则还需要生成2帧内插帧才可以显示出1024个色阶。
请一并参阅图6,图6示出了本申请另一实施方式中的视频处理方法流程 图,图7示出了本申请另一实施方式中的插帧示意图,图8也示出了本申请另 一实施方式中的插帧示意图。
如图6所示,该视频处理方法可以包括:
S302:当第一数量为1024阶,且电子设备支持的色阶数量为256阶时,根 据获取到的原始图像帧,生成两帧内插帧;
S304:将两帧内插帧插入两帧原始图像帧之间,得到的图像帧序列包括第 一原始图像帧、第一内插帧、第二内插帧、及第二原始图像帧;
S306:将1024个色阶按由低到高的顺序依次划分给第一原始图像帧、第一 内插帧、第二内插帧和第二原始图像帧,其中,第一原始图像帧的色阶依次为 4*i阶,第一内插帧的色阶依次为1+4*i阶,第二内插帧的色阶依次为2+4*i阶, 第二原始图像帧依次为3+4*i阶,其中i为从0依次取值至255的整数。
在如图6所示的实施方式中,可以将色阶集合中的色阶由低到高或者由高 到低间隔划分至4个色阶子集中,即划分给第一原始图像帧、第一内插帧、第 二内插帧和第二原始图像帧。其中,第一原始图像帧的色阶为4*i,即0,4,8,12,…, 1020阶、第一内插帧的色阶为1+4*i,即1,5,9,13,…,1021阶、第二内插帧的色 阶为2+4*i,即2,6,10,14,…,1022阶、第二原始图像帧的色阶为3+4*i,即 3,7,11,15,…,1023阶,其中i为从0依次取值至255的整数,可以看出第一原始 图像帧、第一内插帧、第二内插帧及第二原始图像帧都包含256个色阶。
可以理解的,本申请对色阶集合的划分方式不作限定。
请参阅图7,在一些其他实施方式中,可以将色阶集合中的色阶有低到高 或者由高到低划分成N+2个色阶子集,每个色阶子集中的色阶数量相等。例如, 若将色阶集合中的色阶有0至1023阶,若划分为4个色阶子集,每个色阶子集 中的色阶可以由低到高,分别为0至255阶、256至511阶、512至767阶、768 阶至1023阶。同理,也可以按照色阶由高到低划分,每个色阶子集中的色阶分 别为1023至768阶、767至512阶、511至256阶、255至0阶。
在一些实施方式中,还可以将色阶集合中的色阶随机划分成N+2个色阶子 集。
在一些实施方式中,若待处理视频的原始色深为10bit,获取到的目标色深 为8bit,可以理解原始色深对应的色阶为1024个色阶,每个处理后视频的图像 帧最多显示256个色阶。如果将该1024个色阶分配至第i帧41、1个内插帧43 及第i+1帧42来显示,那么无法将1024个色阶全部分配给3帧图像来显示, 即第i帧41、1个内插帧43及第i+1帧42这三帧图像最多可以显示768个色 阶。虽然无法将原始图像帧的色阶全部显示,但相比于直接用8bit的目标色深 来显示,显示的色阶数量已大幅度提升。
在一些实施方式中,若待处理视频的原始色深为10bit,获取到的目标色深 为8bit,可以理解原始色深对应的色阶为1024个色阶,每个处理后视频的图像 帧最多显示256个色阶。如图7所示,每两个相邻的原始图像帧之间的内插帧 43数量均为2帧,例如图中第i帧41与第i+1帧42之间插入2帧内插帧43, 第i+1帧42与第i+2帧44之间也插入2帧内插帧43。将1024个色阶划分成4 个色阶子集,分别为色阶子集1、色阶子集2、色阶子集3和色阶子集4。由此, 第i帧41、2帧内插帧43、第i+1帧42可以对应显示色阶子集1、色阶子集2、 色阶子集3与色阶子集4;第i+1帧42、2帧内插帧43、第i+2帧44可以对应 显示色阶子集4、色阶子集3、色阶子集2、色阶子集1,如有第i+3帧、第i+4 帧等也按照此方法类推。此时,可以看出,每个原始视频帧后都插入2帧内插 帧43,处理后视频的帧率是待处理视频的3倍。
请参阅图8,图8示出了本申请一实施方式中应用视频处理方法前的显示 效果图。图8中的原始图像帧401的色深为10bit,即原始图像帧401获取自色 深为10bit的待处理视频中。直接用最高支持8bit色深的电子设备9进行显示, 电子设备10中的DDIC26丢失多出的2bit信息。可以看出在,利用8bit色深显 示屏28显示效果402中,色阶过渡的区域会产生明显的色带,这正是由于 DDIC26丢失2bit的色阶信息,导致色阶数量大幅度减少,使得色阶过渡不均 匀。
请参阅图9,图9示出了本申请一实施方式中应用视频处理方法后的显示 效果图。图9中,10bit色深的原始图像帧401经插帧芯片24的插帧处理,生 成2帧内插帧43,该两帧内插帧43与第i帧41、第i+1帧42原始图像一起,共 同对1024色阶进行的显示。当处理后视频被播放时,可以看出8bit色深的显示 屏28的显示效果403与10bit色深的原始图像帧401的显示效果相似,没有明 显的色带。
请参阅图10,图10示出了本申请另一实施方式中的视频处理方法流程图。 该视频处理方法可以包括:
S402:获取电子设备支持的最大帧率;
S404:根据内插帧的帧数得到图像帧序列的帧率,图像帧序列的帧率小于 或者等于最大帧率。
在本申请的实施方式中,若处理后视频的帧率小于或者等于电子设备10 支持的最大帧率,那么处理后的视频都可以被正常播放。
在一些实施方式中,若处理后视频的帧率大于电子设备10支持的最大帧率, 待处理视频在被播放时可能会出现丢帧的现象。
请参阅图11,图11示出了本申请一实施方式中的视频处理装置50的结构 框图。如图11所示,该视频处理装置50包括:
第一获取模块51,用于从待处理视频中获取相邻的两帧原始图像帧,原始 图像帧包括第一数量的色阶;生成模块52,用于根据获取到的两帧原始图像帧, 生成至少一帧内插帧;插帧模块53,用于将至少一帧内插帧插入两帧原始图像 帧之间,得到一图像帧序列,图像帧序列被播放时,两帧原始图像帧和内插帧 的色阶数量的总和小于或等于第一数量。
在一些实施方式中,视频处理装置50还包括:第二获取模块,用于获取电 子设备支持的色阶数量;计算模块,用于根据电子设备支持的色阶数量和第一 数量得到所述内插帧的帧数。
在一些实施方式中,视频处理装置50还包括:划分模块,用于将原始图像 帧的色阶按由低到高或者由高到低的顺序间隔第二数量色阶进行划分,以得到 图像帧序列中各图像帧的色阶。
在一些实施方式中,划分模块还可以用于将原始图像帧的色阶按由低到高 或者由高到低的顺序进行均分,以得到图像序列帧中各图像帧的色阶。
在一些实施方式中,划分模块还可以将原始图像帧的色阶进行随机划分, 以得到图像帧中各图像帧的色阶。
在一些实施方式中,视频处理装置50还包括:第三获取模块,用于获取 电子设备支持的最大帧率。根据内插帧的帧数得到的图像帧序列的帧率,图像 帧序列的帧率小于或者等于最大帧率。
在一些实施方式中,当第一数量为1024阶,且电子设备支持的色阶数量 为256阶时,根据第一获取模块51获取到的两帧原始图像帧,生成模块52生 成两帧内插帧。插帧模块53将两帧内插帧插入两帧原始图像帧之间,得到的图 像帧序列包括第一原始图像帧、第一内插帧、第二内插帧、及第二原始图像帧。
在一些实施方式中,划分模块将1024个色阶按由低到高的顺序依次划分给 第一原始图像帧、第一内插帧、第二内插帧和第二原始图像帧,其中,第一原 始图像帧的色阶依次为4*i阶,第一内插帧的色阶依次为1+4*i阶,第二内插 帧的色阶依次为2+4*i阶,第二原始图像帧依次为3+4*i阶,其中i为从0依次 取值至255的整数。
上述视频处理装置中各个模块的划分仅用于举例说明,在其他实施方式中, 可将视频处理装置50按照需要划分为不同的模块,以完成上述视频处理装置的 全部或部分功能。
上述视频处理装置50各部分的具体细节在方法部分实施方式中已经详细说 明,因此不再赘述。
请参阅图12,图12为一实施方式中电子设备10的内部结构示意图,该电子 设备10包括:至少一个处理器12;以及与至少一个处理器12通信连接的存储 器14。其中存储器14中储存有一个或多个计算机程序,计算机程序被处理器 12执行时,使得处理器12执行图像处理方法的步骤。
可以理解的,该电子设备10包括通过系统总线连接的处理器12和存储器14。 其中,该处理器12用于提供计算和控制能力,支撑整个电子设备10的运行。存 储器14可包括非易失性存储介质144及内存储器142。非易失性存储介质144存储 有操作系统1442和计算机程序1444。该计算机程序1444可被处理器所执行,以 用于实现以下各个实施方式所提供的一种图像处理方法。内存储器142为非易失 性存储介质144中的操作系统1442计算机程序1444提供高速缓存的运行环境。
本申请实施方式中提供的图像处理装置中的各个模块可通过计算机程序 1444的形式实现。该计算机程序1444可在电子设备10或者服务器110上运行。该 计算机程序1444构成的程序模块可存储在电子设备10的存储器14上。该计算机 程序1444被处理器12执行时,实现本申请实施方式中所描述的图像处理方法的 步骤。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非 易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程 ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪 存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。 作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM (DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线 (Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存 储器总线动态RAM(RDRAM)。
本申请还提供了一种包含计算机可执行指令的非易失性计算机可读存储介 质,当计算机可执行指令被一个或多个处理器12执行时,使得处理器12执行图 像处理方法的步骤。可以理解的,一种包含指令的计算机程序1444产品,当其 在计算机上运行时,使得计算机执行图像处理方法。
例如,当计算机可执行指令被一个或多个处理器12执行时,使得处理器执 行以下步骤:
从待处理视频中获取相邻的两帧原始图像帧,原始图像帧包括第一数量的 色阶;
根据获取到的两帧原始图像帧,生成至少一帧内插帧;
将至少一帧内插帧插入两帧原始图像帧之间,得到一图像帧序列,图像帧 序列被播放时,两帧原始图像帧和内插帧的色阶数量的总和小于或等于第一数 量。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施 方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申 请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (11)

1.一种视频处理方法,其特征在于,所述方法包括:
从待处理视频中获取相邻的两帧原始图像帧,所述原始图像帧包括第一数量的色阶;
将所述第一数量的色阶划分为2+N个色阶子集;其中,N为大于零的整数;
根据获取到的所述两帧原始图像帧,生成两帧目标图像帧和至少一帧内插帧;所述两帧目标图像帧分别是对所述两帧原始图像帧处理得到的;所述2+N个色阶子集中的至少三个色阶子集,分别对应所述两帧目标图像帧和所述至少一帧内插帧;
将所述至少一帧内插帧插入所述两帧目标图像帧之间,得到一图像帧序列,所述图像帧序列被播放时,所述两帧目标图像帧和所述至少一帧内插帧的色阶数量的总和小于或等于所述第一数量。
2.根据权利要求1所述的视频处理方法,其特征在于,所述方法还包括:
获取电子设备支持的色阶数量;
根据所述电子设备支持的色阶数量和所述第一数量得到所述内插帧的帧数。
3.根据权利要求1或2所述的视频处理方法,其特征在于,所述将所述第一数量的色阶划分为2+N个色阶子集,包括:
将所述第一数量的色阶按由低到高或者由高到低的顺序间隔第二数量色阶进行划分,以得到所述图像帧序列中各图像帧的色阶子集。
4.根据权利要求1或2所述的视频处理方法,其特征在于,所述将所述第一数量的色阶划分为2+N个色阶子集,包括:
将所述第一数量的色阶按由低到高或者由高到低的顺序进行均分,以得到所述图像帧序列中各图像帧的色阶子集。
5.根据权利要求1或2所述的视频处理方法,其特征在于,所述将所述第一数量的色阶划分为2+N个色阶子集,包括:
将所述第一数量的色阶进行随机划分,以得到所述图像帧序列中各图像帧的色阶子集。
6.根据权利要求2所述的视频处理方法,其特征在于,包括:
获取所述电子设备支持的最大帧率;
根据所述内插帧的帧数得到所述图像帧序列的帧率,所述图像帧序列的帧率小于或者等于所述最大帧率。
7.根据权利要求2所述的视频处理方法,其特征在于,所述方法还包括:
当所述第一数量为1024阶,且所述电子设备支持的色阶数量为256阶时,根据获取到的所述两帧原始图像帧,生成第一内插帧与第二内插帧;
将所述两帧内插帧插入所述两帧目标图像帧之间,得到的图像帧序列包括第一目标图像帧、第一内插帧、第二内插帧、及第二目标图像帧。
8.根据权利要求7所述的视频处理方法,其特征在于,所述方法还包括:
将所述1024个色阶按由低到高的顺序依次划分给所述第一目标图像帧、所述第一内插帧、所述第二内插帧和所述第二目标图像帧,其中,所述第一目标图像帧的色阶依次为4*i阶,所述第一内插帧的色阶依次为1+4*i阶,所述第二内插帧的色阶依次为2+4*i阶,所述第二目标图像帧依次为3+4*i阶,其中i为从0依次取值至255的整数。
9.一种视频处理装置,其特征在于,包括:
获取模块,用于从待处理视频中获取相邻的两帧原始图像帧,所述原始图像帧包括第一数量的色阶;
划分模块,用于将所述第一数量的色阶划分为2+N个色阶子集;其中,N为大于零的整数;
生成模块,用于根据获取到的所述两帧原始图像帧,生成两帧目标图像帧和至少一帧内插帧;所述两帧目标图像帧分别是对所述两帧原始图像帧处理得到的;所述2+N个色阶子集中的至少三个色阶子集,分别对应所述两帧目标图像帧和所述至少一帧内插帧;
插帧模块,用于将所述至少一帧内插帧插入所述两帧目标图像帧之间,得到一图像帧序列,所述图像帧序列被播放时,所述两帧目标图像帧和所述至少一帧内插帧的色阶数量的总和小于或等于所述第一数量。
10. 一种电子设备,其特征在于,包括:
至少一个处理器;以及
存储器,与所述至少一个处理器通信连接;其中
所述存储器中储存有一个或多个计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至8中任意一项所述的视频处理方法。
11.一种包含计算机可执行指令的非易失性计算机可读存储介质,其特征在于,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行如权利要求1至8中任意一项所述的视频处理方法。
CN202110460713.6A 2021-04-27 2021-04-27 视频处理方法、装置、电子设备及可读存储介质 Active CN113242465B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110460713.6A CN113242465B (zh) 2021-04-27 2021-04-27 视频处理方法、装置、电子设备及可读存储介质
PCT/CN2022/081140 WO2022227902A1 (zh) 2021-04-27 2022-03-16 视频处理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110460713.6A CN113242465B (zh) 2021-04-27 2021-04-27 视频处理方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113242465A CN113242465A (zh) 2021-08-10
CN113242465B true CN113242465B (zh) 2022-08-16

Family

ID=77129487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110460713.6A Active CN113242465B (zh) 2021-04-27 2021-04-27 视频处理方法、装置、电子设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN113242465B (zh)
WO (1) WO2022227902A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113242465B (zh) * 2021-04-27 2022-08-16 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及可读存储介质
CN114390236A (zh) * 2021-12-17 2022-04-22 云南腾云信息产业有限公司 视频处理方法、装置、计算机设备和存储介质
CN114490671B (zh) * 2022-03-31 2022-07-29 北京华建云鼎科技股份公司 一种客户端同屏的数据同步系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040041941A (ko) * 2002-11-12 2004-05-20 삼성전자주식회사 액정 표시 장치 및 그 구동 방법
DE60325954D1 (de) * 2003-07-07 2009-03-12 St Microelectronics Srl Graphisches System mit einer Graphikdatenpipeline, Verfahren zur Pipeline-Verarbeitung und Computerprogrammprodukt
TWI345191B (en) * 2006-06-08 2011-07-11 Hannstar Display Corp Hybrid frame rate control method and architecture for a display
US7750887B2 (en) * 2006-12-21 2010-07-06 Itt Manufacturing Enterprises, Inc. Displays with large dynamic range
US8860750B2 (en) * 2011-03-08 2014-10-14 Apple Inc. Devices and methods for dynamic dithering
US8659701B2 (en) * 2011-12-19 2014-02-25 Sony Corporation Usage of dither on interpolated frames
CN102800290B (zh) * 2012-08-13 2014-07-02 京东方科技集团股份有限公司 一种液晶显示装置的插帧方法及液晶显示装置
CN102890913B (zh) * 2012-10-22 2014-09-10 深圳市华星光电技术有限公司 Amoled显示器及其精确补偿老化的方法
WO2015183194A1 (en) * 2014-05-30 2015-12-03 Paofit Technology Pte Ltd Systems and methods for motion-vector-aided video interpolation using real-time smooth video playback speed variation
CN106328095B (zh) * 2016-08-31 2018-10-09 南京巨鲨显示科技有限公司 一种灰阶扩展自适应增强方法
CN106340278B (zh) * 2016-10-13 2019-02-22 深圳市华星光电技术有限公司 一种显示面板的驱动方法及装置
CN106658170A (zh) * 2016-12-20 2017-05-10 福州瑞芯微电子股份有限公司 一种降低虚拟现实延迟的方法和装置
CN109672776B (zh) * 2017-10-16 2021-07-09 华为技术有限公司 显示动态图像的方法及终端
CN109729365B (zh) * 2017-10-27 2021-03-26 腾讯科技(深圳)有限公司 一种视频处理方法、装置及智能终端、存储介质
CN112805996B (zh) * 2018-10-08 2022-04-22 华为技术有限公司 一种用于生成慢动作视频片段的设备和方法
CN110248115B (zh) * 2019-06-21 2020-11-24 上海摩象网络科技有限公司 图像处理方法、装置及存储介质
CN110766097A (zh) * 2019-11-04 2020-02-07 上海眼控科技股份有限公司 图像处理方法、装置、计算机设备及可读存储介质
CN111970562A (zh) * 2020-08-17 2020-11-20 Oppo广东移动通信有限公司 视频处理方法、视频处理装置、存储介质与电子设备
CN113242465B (zh) * 2021-04-27 2022-08-16 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
WO2022227902A1 (zh) 2022-11-03
CN113242465A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN113242465B (zh) 视频处理方法、装置、电子设备及可读存储介质
EP2819414A2 (en) Image processing device and image processing method
US11803947B2 (en) Brightness and contrast enhancement for video
KR102176398B1 (ko) 영상처리장치 및 영상처리방법
CN107211142B (zh) 对彩色图像进行解码的方法和设备
KR102617258B1 (ko) 이미지 프로세싱 방법 및 장치
JP6948309B2 (ja) パラメトリック・トーン調整関数を使用してピクチャをトーン・マッピングする方法およびデバイス
CN108460732B (zh) 用于处理图像的方法和计算设备
JP2019513323A (ja) 高ダイナミックレンジピクチャを符号化する方法及び装置、対応する符号化方法及並びに符号化装置
US20220237754A1 (en) Image processing method and apparatus
CN114866809B (zh) 视频转换方法、装置、设备、存储介质及程序产品
US11496798B2 (en) Video rendering system
WO2018153802A1 (en) Method and device for reconstructing an hdr image
CN113590853A (zh) 一种灰阶自适应扩展方法、fpga系统、设备及介质
JP2019515562A (ja) 高ダイナミックレンジ画像を符号化ビットストリームへ符号化/復号する方法と装置
CN114501023B (zh) 视频处理方法、装置、计算机设备、存储介质
US20190132600A1 (en) Method and apparatus for encoding/decoding a scalar integer into a parameter representative of a pivot points of a piece-wise linear function
JP4552400B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP6821269B2 (ja) 画像処理装置および画像処理方法
CN114938461A (zh) 视频处理方法、装置、设备及可读存储介质
CN110941413B (zh) 显示画面的生成方法及相关装置
JP6602977B2 (ja) 送信装置、送信方法、制御プログラム及び記録媒体
EP4042405A1 (en) Perceptually improved color display in image sequences on physical displays
JP2009124578A (ja) 映像信号処理装置、コントラスト制御方法及びプログラム
CN117979017A (zh) 视频处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant