CN110166796B - 视频帧的处理方法、装置、计算机可读介质及电子设备 - Google Patents

视频帧的处理方法、装置、计算机可读介质及电子设备 Download PDF

Info

Publication number
CN110166796B
CN110166796B CN201810469452.2A CN201810469452A CN110166796B CN 110166796 B CN110166796 B CN 110166796B CN 201810469452 A CN201810469452 A CN 201810469452A CN 110166796 B CN110166796 B CN 110166796B
Authority
CN
China
Prior art keywords
video frame
video
information
perception information
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810469452.2A
Other languages
English (en)
Other versions
CN110166796A (zh
Inventor
刘兆瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Tencent Cloud Computing Beijing Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810469452.2A priority Critical patent/CN110166796B/zh
Publication of CN110166796A publication Critical patent/CN110166796A/zh
Application granted granted Critical
Publication of CN110166796B publication Critical patent/CN110166796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

本发明的实施例提供了一种视频帧的处理方法、装置、计算机可读介质及电子设备。该视频帧的处理方法包括：计算待处理视频中的各个视频帧的初始时间感知信息和/或初始空间感知信息；获取待处理视频中位于各个视频帧之前的预定数量个视频帧的初始时间感知信息和/或初始空间感知信息；根据各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息，确定所述各个视频帧的最终时间感知信息；和/或根据所述各个视频帧的初始空间感知信息和所述预定数量个视频帧的初始空间感知信息，确定各个视频帧的最终空间感知信息。本发明实施例的技术方案能够考虑到视频帧之间的运动性，进而可以保证得到的视频帧的TI和/或SI能够符合客观描述。

Description

视频帧的处理方法、装置、计算机可读介质及电子设备
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种视频帧的处理方法、装置、计算机可读介质及电子设备。
背景技术
视频的TI(Temporal perceptual Information，时间感知信息，也可以称时间复杂度)信息和SI(Spatial perceptual Information，空间感知信息，也可以称空间复杂度)信息可以用于衡量视频的特性，还可以为视频的转码、处理等提供参考，以便于选择最优的参数来进行视频编解码、视频去噪、视频增强处理等。
但是相关技术中提出的计算视频帧的TI信息和SI信息的方案通常存在计算结果不准确、不能正确反映视频帧实际效果的问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施例的目的在于提供一种视频帧的处理方法、装置、计算机可读介质及电子设备，进而至少在一定程度上克服相关技术中计算出的视频帧的TI信息和SI信息不准确、不能正确反映视频帧实际效果的问题。
本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。
根据本发明实施例的一个方面，提供了一种视频帧的处理方法，包括：计算待处理视频中的各个视频帧的初始时间感知信息和/或初始空间感知信息；获取所述待处理视频中位于所述各个视频帧之前的预定数量个视频帧的初始时间感知信息和/或初始空间感知信息；根据所述各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息，确定所述各个视频帧的最终时间感知信息；和/或根据所述各个视频帧的初始空间感知信息和所述预定数量个视频帧的初始空间感知信息，确定所述各个视频帧的最终空间感知信息。
根据本发明实施例的一个方面，提供了一种视频帧的处理装置，包括：计算单元，用于计算待处理视频中的各个视频帧的初始时间感知信息和/或初始空间感知信息；获取单元，用于获取所述待处理视频中位于所述各个视频帧之前的预定数量个视频帧的初始时间感知信息和/或初始空间感知信息；处理单元，用于根据所述各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息，确定所述各个视频帧的最终时间感知信息；和/或根据所述各个视频帧的初始空间感知信息和所述预定数量个视频帧的初始空间感知信息，确定所述各个视频帧的最终空间感知信息。
在本发明的一些实施例中，基于前述方案，所述计算单元用于：计算所述各个视频帧与所述各个视频帧的前一视频帧中对应的各个像素点之间的灰度值差值，得到多个灰度值差值；从所述多个灰度值差值中选择大于预定阈值的目标灰度值差值；根据所述目标灰度值差值计算所述各个视频帧的初始时间感知信息。
在本发明的一些实施例中，基于前述方案，所述计算单元用于：计算所述目标灰度值差值的标准差，并将所述目标灰度值差值的标准差作为所述各个视频帧的初始时间感知信息。
在本发明的一些实施例中，基于前述方案，所述预定阈值与所述待处理视频的类型相关联。
在本发明的一些实施例中，基于前述方案，所述计算单元用于：获取所述各个视频帧的纹理信息分布和亮度信息分布；根据所述纹理信息分布和所述亮度信息分布，计算所述各个视频帧的初始空间感知信息。
在本发明的一些实施例中，基于前述方案，所述计算单元用于：计算所述纹理信息分布和所述亮度信息分布的算术平均值，并将所述算术平均值作为所述各个视频帧的初始空间感知信息。
在本发明的一些实施例中，基于前述方案，所述计算单元用于：获取所述各个视频帧中的所有像素点的纹理梯度值和颜色亮度值；计算所述所有像素点的纹理梯度值的标准差和颜色亮度值的标准差，将所述所有像素点的纹理梯度值的标准差作为所述各个视频帧的纹理信息分布，并将所述所有像素点的颜色亮度值的标准差作为所述各个视频帧的亮度信息分布。
在本发明的一些实施例中，基于前述方案，所述计算单元用于：将所述各个视频帧的纹理信息分布或亮度信息分布作为所述各个视频帧的初始空间感知信息。
在本发明的一些实施例中，基于前述方案，所述处理单元包括：第一确定单元，用于确定所述各个视频帧中的像素点与所述各个视频帧的前一视频帧相比发生变化的像素点比例；第一执行单元，用于在所述像素点比例大于预定值时，将所述各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息中的最大值作为所述各个视频帧的最终时间感知信息，并用于在所述像素点比例小于或等于所述预定值时，将所述各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息中的最小值作为所述各个视频帧的最终时间感知信息。
在本发明的一些实施例中，基于前述方案，所述处理单元包括：第二确定单元，用于确定所述各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息的统计值，将所述统计值作为所述各个视频帧的最终时间感知信息，其中，所述统计值包括以下任一：最大值、最小值、中位值、均值。
在本发明的一些实施例中，基于前述方案，所述处理单元包括：第三确定单元，用于确定所述各个视频帧的初始空间感知信息和所述预定数量个视频帧的初始空间感知信息的统计值，将所述统计值作为所述各个视频帧的最终空间感知信息，其中，所述统计值包括以下任一：最大值、最小值、中位值、均值。
在本发明的一些实施例中，基于前述方案，所述预定数量与所述待处理视频的帧率相关联。
根据本发明实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的视频帧的处理方法。
根据本发明实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的视频帧的处理方法。
在本发明的一些实施例所提供的技术方案中，通过根据各个视频帧的初始时间感知信息(和/或初始空间感知信息)和位于各个视频帧之前的预定数量个视频帧的初始时间感知信息(和/或初始空间感知信息)，确定各个视频帧的最终时间感知信息(和/或最终空间感知信息)，使得能够综合之前视频帧的信息来计算得到各个视频帧准确的TI和/或SI(即最终的TI和/或SI)，确保了在计算视频帧的TI和/或SI时，能够考虑到视频帧之间的运动性，进而可以保证得到的视频帧的TI和/或SI能够符合客观描述，以便于应用该TI和/或SI实现对视频的精确处理。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本发明实施例的视频帧的处理方法或视频帧的处理装置的示例性系统架构的示意图；
图2示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图；
图3示意性示出了根据本发明的一个实施例的视频帧的处理方法的流程图；
图4示意性示出了根据本发明的一个实施例的计算各个视频帧的初始时间感知信息的流程图；
图5示意性示出了根据本发明的一个实施例的计算各个视频帧的初始空间感知信息的流程图；
图6示意性示出了根据本发明的一个实施例的确定各个视频帧的最终时间感知信息的流程图；
图7示出了根据本发明的一个实施例的应用架构的示意图；
图8示出了根据本发明的实施例的视频帧的TI信息和SI信息的计算流程示意图；
图9示意性示出了根据本发明的一个实施例的视频帧的处理装置的框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本发明实施例的视频帧的处理方法或视频帧的处理装置的示例性系统架构100的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一种或多种，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器。例如用户利用终端设备103(也可以是终端设备101或102)向服务器105上传了待处理的视频，如实时直播视频、UGC(UserGenerated Content，用户原创内容)视频、游戏视频等，服务器105在接收到终端设备103上传的待处理视频之后，可以对待处理视频中的每一视频帧进行处理，以确定每一视频帧准确的TI信息和SI信息。比如，服务器105可以先计算待处理视频中的各个视频帧的初始时间感知信息和初始空间感知信息，然后获取位于各个视频帧之前的预定数量个视频帧的初始时间感知信息和初始空间感知信息，进而可以根据各个视频帧的初始时间感知信息和该预定数量个视频帧的初始时间感知信息，确定各个视频帧的最终时间感知信息，并根据各个视频帧的初始空间感知信息和该预定数量个视频帧的初始空间感知信息，确定各个视频帧的最终空间感知信息。即服务器105可以综合之前视频帧的信息来计算得到各个视频帧准确的TI和/或SI(即最终的TI和/或SI)，确保了在计算视频帧的TI和/或SI时，能够考虑到视频帧之间的运动性，进而可以保证得到的视频帧的TI和/或SI能够符合客观描述，以便于应用该TI和/或SI实现对视频的精确处理。
需要说明的是，本发明实施例所提供的视频帧的处理方法一般由服务器105执行，相应地，视频帧的处理装置一般设置于服务器105中。但是，在本发明的其它实施例中，终端也可以与服务器具有相似的功能，从而执行本发明实施例所提供的视频帧的处理方案。
图2示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图2示出的电子设备的计算机系统200仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图2所示，计算机系统200包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。
特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图3至图6、图8所示的各个步骤。
以下对本发明实施例的技术方案的实现细节进行详细阐述：
图3示意性示出了根据本发明的一个实施例的视频帧的处理方法的流程图，该视频帧的处理方法适用于前述实施例中所述的电子设备。参照图3所示，该视频帧的处理方法至少包括步骤S310至步骤S330，详细介绍如下：
在步骤S310中，计算待处理视频中的各个视频帧的初始时间感知信息和/或初始空间感知信息。
在本发明的实施例中，各个视频帧的初始时间感知信息和初始空间感知信息即为通过计算得到的各个视频帧最初的TI信息和SI信息，也即为未采用本发明实施例的技术方案进行优化的TI信息和SI信息。以下分别阐述如何计算各个视频帧的初始时间感知信息和初始空间感知信息。
计算初始时间感知信息的实施例：
在本发明的一个实施例中，如图4所示，根据本发明的一个实施例的计算各个视频帧的初始时间感知信息的流程，包括：
步骤S410，计算所述各个视频帧与所述各个视频帧的前一视频帧中对应的各个像素点之间的灰度值差值，得到多个灰度值差值；
在本发明的一个实施例中，计算各个视频帧与各个视频帧的前一视频帧中对应的各个像素点之间的灰度值差值即为计算相邻视频帧中相对应的像素点的灰度值差值。其中，相对应的像素点即为两个视频帧中位置坐标相同的两个像素点。
步骤S420，从所述多个灰度值差值中选择大于预定阈值的目标灰度值差值。
在本发明的一个实施例中，预设阈值可以与待处理视频的类型相关联，即针对不同类型的视频，可以选择不同的预设阈值。其中，待处理视频的类型可以包括动画视频、电影视频、游戏视频等。
步骤S430，根据所述目标灰度值差值计算所述各个视频帧的初始时间感知信息。
在本发明的一个实施例中，步骤S430可以包括：计算目标灰度值差值的标准差，并将所述目标灰度值差值的标准差作为所述各个视频帧的初始时间感知信息。
在图4所示实施例的技术方案中，由于相邻视频帧之间的像素点差值(具体为像素点的灰度值差值)很多是由于拍摄设备的抖动导致的，这种情况计算出灰度值差值中会有很多较小的差值，如果在计算视频帧的初始时间感知信息时也将这些值考虑进去，那么计算得出的TI信息会跟实际情况存在差异，因此通过图4所示实施例的技术方案可以在计算各个视频帧的初始时间感知信息时过滤掉灰度值差值较小的像素点，进而能够提高计算得到的初始时间感知信息的准确性。
计算初始空间感知信息的实施例：
在本发明的一个实施例中，如图5所示，根据本发明的一个实施例的计算各个视频帧的初始空间感知信息的流程，包括：
步骤S510，获取各个视频帧的纹理信息分布和亮度信息分布。
在本发明的一个实施例中，获取各个视频帧的纹理信息分布可以是获取各个视频帧中的所有像素点的纹理梯度值，然后计算所有像素点的纹理梯度值的标准差，并将所有像素点的纹理梯度值的标准差作为各个视频帧的纹理信息分布。
在本发明的一个实施例中，获取各个视频帧的亮度信息分布可以是获取各个视频帧中的所有像素点的颜色亮度值，然后计算所有像素点的颜色亮度值的标准差，并将所有像素点的颜色亮度值的标准差作为各个视频帧的亮度信息分布。
步骤S520，根据所述纹理信息分布和所述亮度信息分布，计算所述各个视频帧的初始空间感知信息。
在本发明的一个实施例中，可以计算各个视频帧的纹理信息分布和亮度信息分布的算术平均值，并将该算术平均值作为各个视频帧的初始空间感知信息。
图5所示实施例的技术方案使得能够综合纹理信息分布和亮度信息分布来计算视频帧的初始空间感知信息，进而能够保证得到准确的、符合实际效果的初始空间感知信息。
在本发明的另一个实施例中，还可以将各个视频帧的纹理信息分布或亮度信息分布作为各个视频帧的初始空间感知信息。即在该实施例中，可以仅将各个视频帧的纹理信息分布或者仅将各个视频帧的亮度信息分布作为各个视频帧的初始空间感知信息。
继续参照图3所示，在步骤S320中，获取所述待处理视频中位于所述各个视频帧之前的预定数量个视频帧的初始时间感知信息和/或初始空间感知信息。
在本发明的一个实施例中，该预定数量的值与待处理视频的帧率相关联。比如预定数量的值加1(即计算各个视频帧的最终时间感知信息和最终空间感知信息时需要考虑的视频帧的数量)可以是帧率的一半，比如帧率为50FPS，那么预定数量的值加1可以为25FPS。
在本发明的一个实施例中，可以设置一个buffer，该buffer的大小可以为上述的预定数量的值加1，进而在计算每一视频帧的最终时间感知信息和最终空间感知信息时，可以根据该buffer内的视频帧的初始时间感知信息和初始空间感知信息来确定。
继续参照图1所示，在步骤S330中，根据所述各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息，确定所述各个视频帧的最终时间感知信息；和/或根据所述各个视频帧的初始空间感知信息和所述预定数量个视频帧的初始空间感知信息，确定所述各个视频帧的最终空间感知信息。
以下分别以确定各个视频帧的最终时间感知信息和最终空间感知信息为例进行说明：
确定各个视频帧的最终时间感知信息的实施例：
在本发明的一个实施例中，如图6所示，根据本发明的一个实施例的确定各个视频帧的最终时间感知信息的流程，包括：
步骤S610，确定所述各个视频帧中的像素点与所述各个视频帧的前一视频帧相比发生变化的像素点比例；
步骤S620，若所述像素点比例大于预定值，则将所述各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息中的最大值作为所述各个视频帧的最终时间感知信息；
步骤S630，若所述像素点比例小于或等于所述预定值，则将所述各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息中的最小值作为所述各个视频帧的最终时间感知信息。
图6所示实施例的技术方案通过在发生变化的像素点比例大于预定值时，将各个视频帧的初始时间感知信息和预定数量个视频帧的初始时间感知信息中的最大值作为各个视频帧的最终时间感知信息，使得能够增强视频帧剧烈运动的持续性；而通过在发生变化的像素点比例小于或等于预定值时，将各个视频帧的初始时间感知信息和预定数量个视频帧的初始时间感知信息中的最小值作为各个视频帧的最终时间感知信息，使得能够对视频帧轻微运动的TI值进行抑制，进而能够保证TI序列的整体平稳性。
在本发明的另一个实施例中，也可以确定各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息的统计值，并将所述统计值作为所述各个视频帧的最终时间感知信息。比如将各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息中的最大值、最小值、中位值或均值作为各个视频帧的最终时间感知信息。
确定各个视频帧的最终空间感知信息的实施例：
在本发明的一个实施例中，可以确定各个视频帧的初始空间感知信息和所述预定数量个视频帧的初始空间感知信息的统计值，并将所述统计值作为所述各个视频帧的最终空间感知信息。比如将各个视频帧的初始空间感知信息和所述预定数量个视频帧的初始空间感知信息中的最大值、最小值、中位值或均值作为各个视频帧的最终空间感知信息。
以下结合图7和图8，对本发明实施例的技术方案的实现细节进行详细阐述：
本发明实施例的技术方案主要是对视频帧的TI信息和SI信息进行了优化。具体地，对于视频帧的TI信息主要有如下几点优化：
1、TI信息的计算利用了相邻帧之间的帧差(如各像素点的灰度值差值)来表示运动变化情况，本发明的实施例中在计算相邻帧之间的帧差图时增加了阈值(该阈值的大小与视频的类型有关)的判断，只有帧差大于该阈值的像素点才参与视频帧的TI计算，这样能够保证得到较为准确的TI信息。
2、运动具有持续性，因此本发明实施例在计算视频帧的TI信息时考虑到了buffer内缓存的之前视频帧的信息，即结合之前视频帧的信息来综合计算当前视频帧的TI信息。
3、由于人眼对运动的感知不仅跟变化多少有关，还与帧整体-局部的变化差别有关。比如两帧之间的每个像素点都不同，但是像素点的差值都一样，这种就是视频帧整体移动变化，这种视频帧的整体移动虽然有较大的帧间差值，但是视频帧应该计算得较小的TI信息。因此，在本发明的实施例中提出来根据像素点发生变化的比例来确定视频帧的TI信息，进而能够增强剧烈运动的持续性，同时能够对轻微运动的TI值进行抑制，保证了TI序列的整体平稳性。
对于视频帧的SI信息主要有如下几点优化：
1、由于视频的一个场景会持续一段时间，不会频繁的切换，因此空间信息的计算也应该保有一定的持续性，基于此，本发明实施例在计算视频帧的SI信息时考虑到了buffer内缓存的之前视频帧的信息，即结合之前视频帧的信息来综合计算当前视频帧的SI信息。
2、在计算视频帧的SI信息时，结合视频帧的纹理信息分布和颜色信息分布来计算视频帧的SI信息，进而保证得到的SI信息更符合客观描述，以便于应用该SI实现对视频的精确处理。
本发明实施例提出的确定视频帧的TI和SI的技术方案可以广泛应用于多项视频处理技术中，比如在图7所示的应用架构中，对于实时直播、点播内容上传、UGC内容上传的应用场景中，若传输的视频流是超分辨率和/或窄带高清和/或需要暗场景增强和/或需要视频降噪等服务时，会自动采用本发明实施例的技术方案来获取视频帧的TI和SI信息，进而保证对视频流的精确处理，当视频流处理之后，会输出视频流至客户平台或客户终端。
以下结合图8对本发明实施例的视频帧的TI和SI信息的计算过程进行详细阐述：
参照图8所示，根据本发明的实施例的视频帧的TI信息和SI信息的计算流程，包括如下步骤S801至步骤S808，以下分别进行说明。
在步骤S801中，初始化用于计算TI和SI的Buffer。
在本发明的一个实施例中，该Buffer的大小可以是帧率的一半，比如帧率为50FPS，那么Buffer的大小可以为25FPS。本发明实施例设置Buffer的作用是为了综合Buffer内所有视频帧的TI和SI来计算当前帧的TI和SI，这样能够考虑到视频帧之间的运动性，进而可以保证得到的视频帧的TI和/或SI能够符合客观描述。
在步骤S802中，计算当前帧的FrameTI和FrameSI。
在本发明的一个实施例中，第k帧的FrameTI可以通过下述公式1来进行计算：
Figure BDA0001662785770000141
在公式1中，FrameTIk表示第k帧的FrameTI；M和N表示像素点的坐标；Dk(i,j)表示第k帧图像中坐标为(i,j)的像素点与第k-1帧中坐标为(i,j)的像素点之间的灰度值差值；μk表示第k帧图像中的像素点与第k-1帧图像中的像素点之间的灰度值差值的均值。
在本发明的一个实施例中，Dk(i,j)可以通过下述公式2来进行计算：
Figure BDA0001662785770000142
在公式2中，threshold为设定的阈值，该阈值与视频类型有关，具体可以根据视频的类型来确定该阈值的大小；Fn(i,j)表示第n帧中坐标为(i,j)的像素点的像素灰度值。
由公式2可以看出，考虑到视频中各帧之间的变化经常会有一些细小的抖动，这些抖动对视频处理时的影响很小，因此可以设置阈值来屏蔽视频帧之间的细小抖动，这样也能够保证得到较为准确的TI信息。
在本发明的一个实施例中，μk可以通过下述公式3来进行计算：
Figure BDA0001662785770000143
即μk为Dk(i,j)的均值。
在本发明的一个实施例中，第k帧的FrameSI可以通过下述公式4来进行计算：
FrameSIk＝(FrameTexturek+FrameHuek)/2公式4
在公式4中，FrameSIk表示第k帧的FrameSI；FrameTexturek表示第k帧的纹理信息分布，其能够描述第k帧图像的整体纹理方向、细节程度等的一致性。该值越大，人眼感官图像越清晰、细节丰富。具体计算公式如下述公式5所示：
Figure BDA0001662785770000151
在公式5中，M和N表示像素点的坐标；SFk(i,j)表示第k帧图像中坐标为(i,j)像素点的纹理梯度值，该纹理梯度值可以通过Sobel计算得到；Sμk表示第k帧图像中像素点的纹理梯度值的均值。
在本发明的一个实施例中，第k帧图像的Sμk可以通过下述公式6计算得到：
Figure BDA0001662785770000152
此外，在公式4中，FrameHuek表示第k帧的亮度信息分布，其能够描述第k帧图像的整体色彩比较一致还是杂乱，该值越大，人眼感官图像越复杂。具体计算公式如下述公式7所示：
Figure BDA0001662785770000153
在公式7中，M和N表示像素点的坐标；HFk(i,j)表示第k帧图像中坐标为(i,j)像素点的颜色亮度值；Hμk表示第k帧图像中像素点的颜色亮度值的均值。
需要说明的是，通过上述公式计算得到的各个帧的FrameTI和FrameSI即为各个帧的初始TI信息和SI信息。
继续参照图8所示，在步骤S803中，判断当前Buffer是否已满，若是，则执行步骤S804；否则，执行步骤S805。
在本发明的实施例中，Buffer中存储的是各个帧的FrameTI和FrameSI，并且Buffer中只能存储预定数量个帧的FrameTI和FrameSI。
在步骤S804中，剔除最早加入Buffer的帧信息。
在本发明的实施例中，剔除最早加入Buffer的帧信息即为删除最早加入Buffer中的视频帧的FrameTI和FrameSI。
在步骤S805中，加入当前帧的信息。
在本发明的实施例中，加入当前帧的信息即为将当前帧的FrameTI和FrameSI加入Buffer中。
在步骤S806中，判断帧间变化像素比例是否超过阈值，若是，则确定当前帧的TI＝max(Buffer.FrameTI)，即将Buffer内最大的FrameTI作为当前帧的TI信息；否则，确定当前帧的TI＝min(Buffer.FrameTI)，即将Buffer内最小的FrameTI作为当前帧的TI信息。
在本发明的一个实施例中，帧间变化像素比例即为当前帧与前一帧相比，发生变化的像素比例。通过在帧间变化像素比例超过阈值时，将Buffer内最大的FrameTI作为当前帧的TI信息，使得能够增强视频帧剧烈运动的持续性；而在帧间变化像素比例未超过阈值时，将Buffer内最小的FrameTI作为当前帧的TI信息，使得能够对视频帧轻微运动的TI值进行抑制，进而能够保证TI序列的整体平稳性。
在步骤S807中，当前帧的SI＝max(Buffer.FrameSI)，即将Buffer内最大的FrameSI作为当前帧的SI信息。
在步骤S808中，输出当前帧的TI信息和SI信息。
需要说明的是当前帧的TI信息即为当前帧最终的TI，当前帧的SI信息即为当前帧最终的SI。
在图8所示的实施例中，在确定当前帧的TI时，通过判断帧间变化像素比例是否超过阈值来选择了不同的TI值，在本发明的其它实施例中，也可以不进行判断直接选择Buffer中的TI最大值、最小值、中位值或者均值等。类似地，在本发明的其它实施例中，也可以直接选择Buffer中的SI最大值、最小值、中位值或者均值等来作为当前帧的SI值。
本发明上述实施例的技术方案可以快速、准确地计算视频帧的SI信息和TI信息，满足了实时检测的需求，并且在实现过程中对硬件服务器没有特殊要求，一般的linux服务器即可进行处理。
目前，本发明实施例的技术方案已经广泛用于直播流的AI技术预处理和直播源的实时监控领域。针对目前直播中较大的1080P的视频源，每一帧的处理时间可以压缩在8ms以内，满足了实时监控和预处理的需求，且本发明实施例中提出的计算TI信息和SI信息的方案可以与其余的视频处理算法并行处理，不需要串行处理，进一步增大了本发明实施例技术方案的适用范围。同时，本发明实施例的技术方案在实现时对CPU的消耗很少，每一路直播流开启SI信息、TI信息监测仅增加7％左右的消耗。
此外，本发明实施例的技术方案也可以用于视频编码技术中。如：若当前的目标码率较低，且SI和TI较高，表明当前时间段编码出来的视频和原视频相比会有较大失真，可以适当降低视频的分辨率来或者升高码率来保证视频的流畅性。并且在运维监控中，对TI和SI信息进行上报，也可以实时了解当前视频的动态数据，并且在出现异常时，也可以定位视频当时的复杂度状态。
以下介绍本发明的装置实施例，可以用于执行本发明上述实施例中的视频帧的处理方法。对于本发明装置实施例中未披露的细节，请参照本发明上述的视频帧的处理方法的实施例。
图9示意性示出了根据本发明的一个实施例的视频帧的处理装置的框图。
参照图9所示，根据本发明的一个实施例的视频帧的处理装置900，包括：计算单元902、获取单元904和处理单元906。
其中，计算单元902用于计算待处理视频中的各个视频帧的初始时间感知信息和/或初始空间感知信息；获取单元904用于获取所述待处理视频中位于所述各个视频帧之前的预定数量个视频帧的初始时间感知信息和/或初始空间感知信息；处理单元906用于根据所述各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息，确定所述各个视频帧的最终时间感知信息，和/或用于根据所述各个视频帧的初始空间感知信息和所述预定数量个视频帧的初始空间感知信息，确定所述各个视频帧的最终空间感知信息。
在本发明的一些实施例中，基于前述方案，所述计算单元902用于：计算所述各个视频帧与所述各个视频帧的前一视频帧中对应的各个像素点之间的灰度值差值，得到多个灰度值差值；从所述多个灰度值差值中选择大于预定阈值的目标灰度值差值；根据所述目标灰度值差值计算所述各个视频帧的初始时间感知信息。
在本发明的一些实施例中，基于前述方案，所述计算单元902用于：计算所述目标灰度值差值的标准差，并将所述目标灰度值差值的标准差作为所述各个视频帧的初始时间感知信息。
在本发明的一些实施例中，基于前述方案，所述预定阈值与所述待处理视频的类型相关联。
在本发明的一些实施例中，基于前述方案，所述计算单元902用于：获取所述各个视频帧的纹理信息分布和亮度信息分布；根据所述纹理信息分布和所述亮度信息分布，计算所述各个视频帧的初始空间感知信息。
在本发明的一些实施例中，基于前述方案，所述计算单元902用于：计算所述纹理信息分布和所述亮度信息分布的算术平均值，并将所述算术平均值作为所述各个视频帧的初始空间感知信息。
在本发明的一些实施例中，基于前述方案，所述计算单元902用于：获取所述各个视频帧中的所有像素点的纹理梯度值和颜色亮度值；计算所述所有像素点的纹理梯度值的标准差和颜色亮度值的标准差，将所述所有像素点的纹理梯度值的标准差作为所述各个视频帧的纹理信息分布，并将所述所有像素点的颜色亮度值的标准差作为所述各个视频帧的亮度信息分布。
在本发明的一些实施例中，基于前述方案，所述计算单元902用于：将所述各个视频帧的纹理信息分布或亮度信息分布作为所述各个视频帧的初始空间感知信息。
在本发明的一些实施例中，基于前述方案，所述处理单元906包括：第一确定单元，用于确定所述各个视频帧中的像素点与所述各个视频帧的前一视频帧相比发生变化的像素点比例；第一执行单元，用于在所述像素点比例大于预定值时，将所述各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息中的最大值作为所述各个视频帧的最终时间感知信息，并用于在所述像素点比例小于或等于所述预定值时，将所述各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息中的最小值作为所述各个视频帧的最终时间感知信息。
在本发明的一些实施例中，基于前述方案，所述处理单元906包括：第二确定单元，用于确定所述各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息的统计值，将所述统计值作为所述各个视频帧的最终时间感知信息，其中，所述统计值包括以下任一：最大值、最小值、中位值、均值。
在本发明的一些实施例中，基于前述方案，所述处理单元906包括：第三确定单元，用于确定所述各个视频帧的初始空间感知信息和所述预定数量个视频帧的初始空间感知信息的统计值，将所述统计值作为所述各个视频帧的最终空间感知信息，其中，所述统计值包括以下任一：最大值、最小值、中位值、均值。
在本发明的一些实施例中，基于前述方案，所述预定数量与所述待处理视频的帧率相关联。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (24)

1.一种视频帧的处理方法，其特征在于，包括：
计算待处理视频中的各个视频帧的初始时间感知信息；
获取所述待处理视频中位于所述各个视频帧之前的预定数量个视频帧的初始时间感知信息；
确定所述各个视频帧中的像素点与所述各个视频帧的前一视频帧相比发生变化的像素点比例；
若所述像素点比例大于预定值，则将所述各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息中的最大值作为所述各个视频帧的最终时间感知信息；
若所述像素点比例小于或等于所述预定值，则将所述各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息中的最小值作为所述各个视频帧的最终时间感知信息。
2.根据权利要求1所述的视频帧的处理方法，其特征在于，计算待处理视频中的各个视频帧的初始时间感知信息，包括：
计算所述各个视频帧与所述各个视频帧的前一视频帧中对应的各个像素点之间的灰度值差值，得到多个灰度值差值；
从所述多个灰度值差值中选择大于预定阈值的目标灰度值差值；
根据所述目标灰度值差值计算所述各个视频帧的初始时间感知信息。
3.根据权利要求2所述的视频帧的处理方法，其特征在于，根据所述目标灰度值差值计算所述各个视频帧的初始时间感知信息，包括：
计算所述目标灰度值差值的标准差，并将所述目标灰度值差值的标准差作为所述各个视频帧的初始时间感知信息。
4.根据权利要求2所述的视频帧的处理方法，其特征在于，所述预定阈值与所述待处理视频的类型相关联。
5.根据权利要求1所述的视频帧的处理方法，其特征在于，所述视频帧的处理方法还包括：
计算待处理视频中的各个视频帧的初始空间感知信息；
获取所述待处理视频中位于所述各个视频帧之前的预定数量个视频帧的初始空间感知信息；
根据所述各个视频帧的初始空间感知信息和所述预定数量个视频帧的初始空间感知信息，确定所述各个视频帧的最终空间感知信息。
6.根据权利要求5所述的视频帧的处理方法，其特征在于，计算待处理视频中的各个视频帧的初始空间感知信息，包括：
获取所述各个视频帧的纹理信息分布和亮度信息分布；
根据所述纹理信息分布和所述亮度信息分布，计算所述各个视频帧的初始空间感知信息。
7.根据权利要求6所述的视频帧的处理方法，其特征在于，根据所述纹理信息分布和所述亮度信息分布，计算所述各个视频帧的初始空间感知信息，包括：
计算所述纹理信息分布和所述亮度信息分布的算术平均值，并将所述算术平均值作为所述各个视频帧的初始空间感知信息。
8.根据权利要求6所述的视频帧的处理方法，其特征在于，获取所述各个视频帧的纹理信息分布和亮度信息分布，包括：
获取所述各个视频帧中的所有像素点的纹理梯度值和颜色亮度值；
计算所述所有像素点的纹理梯度值的标准差和颜色亮度值的标准差，将所述所有像素点的纹理梯度值的标准差作为所述各个视频帧的纹理信息分布，并将所述所有像素点的颜色亮度值的标准差作为所述各个视频帧的亮度信息分布。
9.根据权利要求5所述的视频帧的处理方法，其特征在于，计算待处理视频中的各个视频帧的初始空间感知信息，包括：
将所述各个视频帧的纹理信息分布或亮度信息分布作为所述各个视频帧的初始空间感知信息。
10.根据权利要求5所述的视频帧的处理方法，其特征在于，根据所述各个视频帧的初始空间感知信息和所述预定数量个视频帧的初始空间感知信息，确定所述各个视频帧的最终空间感知信息，包括：
确定所述各个视频帧的初始空间感知信息和所述预定数量个视频帧的初始空间感知信息的统计值，将所述统计值作为所述各个视频帧的最终空间感知信息，其中，所述统计值包括以下任一：最大值、最小值、中位值、均值。
11.根据权利要求1至10中任一项所述的视频帧的处理方法，其特征在于，所述预定数量与所述待处理视频的帧率相关联。
12.一种视频帧的处理装置，其特征在于，包括：
计算单元，用于计算待处理视频中的各个视频帧的初始时间感知信息；
获取单元，用于获取所述待处理视频中位于所述各个视频帧之前的预定数量个视频帧的初始时间感知信息；
处理单元，用于根据所述各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息，确定所述各个视频帧的最终时间感知信息；
所述处理单元包括：第一确定单元，用于确定所述各个视频帧中的像素点与所述各个视频帧的前一视频帧相比发生变化的像素点比例；第一执行单元，用于在所述像素点比例大于预定值时，将所述各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息中的最大值作为所述各个视频帧的最终时间感知信息；在所述像素点比例小于或等于所述预定值时，将所述各个视频帧的初始时间感知信息和所述预定数量个视频帧的初始时间感知信息中的最小值作为所述各个视频帧的最终时间感知信息。
13.根据权利要求12所述的视频帧的处理装置，其特征在于，所述计算单元用于：
计算所述各个视频帧与所述各个视频帧的前一视频帧中对应的各个像素点之间的灰度值差值，得到多个灰度值差值；
从所述多个灰度值差值中选择大于预定阈值的目标灰度值差值；
根据所述目标灰度值差值计算所述各个视频帧的初始时间感知信息。
14.根据权利要求13所述的视频帧的处理装置，其特征在于，所述计算单元用于：计算所述目标灰度值差值的标准差，并将所述目标灰度值差值的标准差作为所述各个视频帧的初始时间感知信息。
15.根据权利要求13所述的视频帧的处理装置，其特征在于，所述预定阈值与所述待处理视频的类型相关联。
16.根据权利要求12所述的视频帧的处理装置，其特征在于，
所述计算单元还用于计算待处理视频中的各个视频帧的初始空间感知信息；
所述获取单元还用于获取所述待处理视频中位于所述各个视频帧之前的预定数量个视频帧的初始空间感知信息；
所述处理单元还用于根据所述各个视频帧的初始空间感知信息和所述预定数量个视频帧的初始空间感知信息，确定所述各个视频帧的最终空间感知信息。
17.根据权利要求16所述的视频帧的处理装置，其特征在于，所述计算单元用于：
获取所述各个视频帧的纹理信息分布和亮度信息分布；
根据所述纹理信息分布和所述亮度信息分布，计算所述各个视频帧的初始空间感知信息。
18.根据权利要求17所述的视频帧的处理装置，其特征在于，所述计算单元用于：计算所述纹理信息分布和所述亮度信息分布的算术平均值，并将所述算术平均值作为所述各个视频帧的初始空间感知信息。
19.根据权利要求17所述的视频帧的处理装置，其特征在于，所述计算单元用于：
获取所述各个视频帧中的所有像素点的纹理梯度值和颜色亮度值；
计算所述所有像素点的纹理梯度值的标准差和颜色亮度值的标准差，将所述所有像素点的纹理梯度值的标准差作为所述各个视频帧的纹理信息分布，并将所述所有像素点的颜色亮度值的标准差作为所述各个视频帧的亮度信息分布。
20.根据权利要求16所述的视频帧的处理装置，其特征在于，所述计算单元用于：将所述各个视频帧的纹理信息分布或亮度信息分布作为所述各个视频帧的初始空间感知信息。
21.根据权利要求16所述的视频帧的处理装置，其特征在于，所述处理单元包括：
第三确定单元，用于确定所述各个视频帧的初始空间感知信息和所述预定数量个视频帧的初始空间感知信息的统计值，将所述统计值作为所述各个视频帧的最终空间感知信息，其中，所述统计值包括以下任一：最大值、最小值、中位值、均值。
22.根据权利要求12至21中任一项所述的视频帧的处理装置，其特征在于，所述预定数量与所述待处理视频的帧率相关联。
23.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的视频帧的处理方法。
24.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至11中任一项所述的视频帧的处理方法。
CN201810469452.2A 2018-05-16 2018-05-16 视频帧的处理方法、装置、计算机可读介质及电子设备 Active CN110166796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810469452.2A CN110166796B (zh) 2018-05-16 2018-05-16 视频帧的处理方法、装置、计算机可读介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810469452.2A CN110166796B (zh) 2018-05-16 2018-05-16 视频帧的处理方法、装置、计算机可读介质及电子设备

Publications (2)

Publication Number Publication Date
CN110166796A CN110166796A (zh) 2019-08-23
CN110166796B true CN110166796B (zh) 2021-09-17

Family

ID=67644976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810469452.2A Active CN110166796B (zh) 2018-05-16 2018-05-16 视频帧的处理方法、装置、计算机可读介质及电子设备

Country Status (1)

Country Link
CN (1) CN110166796B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539948B (zh) * 2020-05-11 2023-06-02 北京百度网讯科技有限公司 视频质量评估的方法、装置、电子设备及存储介质
CN112291564B (zh) * 2020-11-20 2021-09-14 西安邮电大学 优化监控视频感知质量的hevc帧内码率控制方法
CN112367524B (zh) * 2020-12-08 2022-08-09 重庆邮电大学 一种全景视频编码方法
CN113038277B (zh) * 2021-03-15 2023-06-23 北京汇钧科技有限公司 一种视频处理方法和装置
CN113744259B (zh) * 2021-09-14 2023-05-05 北京林业大学 基于灰度值增加数量序列的森林火灾烟雾检测方法和设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101356827A (zh) * 2005-12-05 2009-01-28 英国电讯有限公司 非介入式视频质量测量
CN102946613A (zh) * 2012-10-10 2013-02-27 北京邮电大学 一种用于测量用户业务体验质量的方法
CN103428488A (zh) * 2012-04-18 2013-12-04 Vixs系统公司 具有模式检测的视频处理系统及其使用方法
CN103780901A (zh) * 2014-01-22 2014-05-07 上海交通大学 基于视频空间和时间信息的视频质量及压缩码率估计方法
CN105049930A (zh) * 2015-08-14 2015-11-11 浙江大学 基于支持向量机的无线视频流业务QoE评估方法
US9351013B2 (en) * 2003-11-13 2016-05-24 Qualcomm Incorporated Selective and/or scalable complexity control for video codecs
CN106412572A (zh) * 2016-10-14 2017-02-15 中国传媒大学 一种基于运动特性的视频流编码质量评价方法
CN106507172A (zh) * 2016-11-30 2017-03-15 微鲸科技有限公司 信息编码方法、解码方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10097851B2 (en) * 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9351013B2 (en) * 2003-11-13 2016-05-24 Qualcomm Incorporated Selective and/or scalable complexity control for video codecs
CN101356827A (zh) * 2005-12-05 2009-01-28 英国电讯有限公司 非介入式视频质量测量
CN103428488A (zh) * 2012-04-18 2013-12-04 Vixs系统公司 具有模式检测的视频处理系统及其使用方法
CN102946613A (zh) * 2012-10-10 2013-02-27 北京邮电大学 一种用于测量用户业务体验质量的方法
CN103780901A (zh) * 2014-01-22 2014-05-07 上海交通大学 基于视频空间和时间信息的视频质量及压缩码率估计方法
CN105049930A (zh) * 2015-08-14 2015-11-11 浙江大学 基于支持向量机的无线视频流业务QoE评估方法
CN106412572A (zh) * 2016-10-14 2017-02-15 中国传媒大学 一种基于运动特性的视频流编码质量评价方法
CN106507172A (zh) * 2016-11-30 2017-03-15 微鲸科技有限公司 信息编码方法、解码方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Video Quality Assessment Based on Measuring Perceptual Noise from Spatial and Temporal Perspectives";Yin Zhao;《IEEE》;20111231;全文 *
"基于压缩域时空复杂度的实时视频满意度模型";符双;《计算机应用研究》;20170930;全文 *
"对多媒体应用中视频质量的主观评估方法";https://max.book118.com/html/2017/0603/111431295.shtm;《ITU-R BT.1788建议书》;20071231;第10页 *
郭群." 基于时空域信息的视频质量评价方法研究".《中国优秀硕士学位论文数据库》.2018, *

Also Published As

Publication number Publication date
CN110166796A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
CN110166796B (zh) 视频帧的处理方法、装置、计算机可读介质及电子设备
CN111918066B (zh) 视频编码方法、装置、设备及存储介质
CN112104879B (zh) 一种视频编码方法、装置、电子设备及存储介质
CN107852496B (zh) 用于预测感知视频质量的方法、系统及存储介质
CN111182303A (zh) 共享屏幕的编码方法、装置、计算机可读介质及电子设备
CA3089584C (en) Techniques for predicting perceptual video quality based on complementary perceptual quality models
US11729396B2 (en) Techniques for modeling temporal distortions when predicting perceptual video quality
CN113556582A (zh) 视频数据处理方法、装置、设备以及存储介质
CN113688907A (zh) 模型训练、视频处理方法，装置，设备以及存储介质
CN111343503B (zh) 视频的转码方法、装置、电子设备及存储介质
CA3182110A1 (en) Reinforcement learning based rate control
TWI735193B (zh) 用於在視訊編碼中的順延後處理的系統及方法
CN110891195B (zh) 花屏图像的生成方法、装置、设备和存储介质
CN113450276B (zh) 视频图像增强方法及其模型训练方法、相关设备
CN115776564A (zh) 传输全景视频方法、装置、存储介质以及电子设备
CN113784217A (zh) 视频播放方法、装置、设备和存储介质
CN102948147A (zh) 基于变换系数直方图的视频速率控制
US11647153B1 (en) Computer-implemented method, device, and computer program product
WO2023087177A1 (en) Method and system of video coding with fast low-latency bitstream size control
US20210092424A1 (en) Adaptive framerate for an encoder
CN113160342A (zh) 基于反馈的编码方法及装置、存储介质、电子设备
CN116912828A (zh) 分割模型的训练方法、息肉分割方法、装置、设备及介质
CN114202495A (zh) 应用于视频的图像质量损失确定方法、装置、设备及介质
CN117528141A (zh) 视频编码方法、装置、电子设备、存储介质及程序产品
CN112073724A (zh) 视频信息处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant