CN106664387B - 一种对视频图像帧进行后处理的计算机装置和方法，以及计算机可读介质 - Google Patents

一种对视频图像帧进行后处理的计算机装置和方法，以及计算机可读介质 Download PDF

Info

Publication number
CN106664387B
CN106664387B CN201580047824.7A CN201580047824A CN106664387B CN 106664387 B CN106664387 B CN 106664387B CN 201580047824 A CN201580047824 A CN 201580047824A CN 106664387 B CN106664387 B CN 106664387B
Authority
CN
China
Prior art keywords
frame
video
computer
processing
columns
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580047824.7A
Other languages
English (en)
Other versions
CN106664387A (zh
CN106664387B9 (zh
Inventor
安格尔·迪斯伽马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamzz Ip BV
Original Assignee
Yamzz Ip BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamzz Ip BV filed Critical Yamzz Ip BV
Publication of CN106664387A publication Critical patent/CN106664387A/zh
Application granted granted Critical
Publication of CN106664387B publication Critical patent/CN106664387B/zh
Publication of CN106664387B9 publication Critical patent/CN106664387B9/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/145—Square transforms, e.g. Hadamard, Walsh, Haar, Hough, Slant transforms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明的实施例包括用于使用Haar小波变换(HWT)以预处理视频帧的计算机实现的方法，然后可以使用编解码器来压缩该视频帧以产生压缩的视频帧。然后可以发送、解压缩、后处理并以其原始尺寸和质量来显示压缩的视频帧，从而产生视频序列的实时高质量再现。装置可以实现本发明的方法，并且包括大型计算机、台式计算机、个人计算机、膝上型计算机、平板计算机、无线计算机、电视机、机顶盒、蜂窝电话和计算机可读介质。计算机实现的步骤可以在多核并行硬件架构中容易且有效地被实现。

Description

一种对视频图像帧进行后处理的计算机装置和方法，以及计 算机可读介质
优先权要求
本国际申请要求于2014年7月16日提交的美国临时专利申请No. 62/025,365、于2014年12月29日提交的美国临时专利申请No.62/097,255以及于2015年4月21日提交的美国临时专利申请No.62/150,436的优先权，每个题为“Multilevel Video Compression,Decompression and Display for 4K and 8K applications”，发明人Angel DeCegama。这些申请中的每个通过引用完全并入本文，如同单独地并入。
版权声明
该申请包含受美国(18U.S.C.)和其他国家的版权法保护的材料。
技术领域
本申请涉及视频压缩、传输、解压缩和显示。特别地，本发明涉及用于预处理和后处理视频信息的新装置和方法。更特别地，本发明涉及使用基于Haar 小波的方法结合计算机实现的压缩和解压缩的装置。
背景技术
视频通信系统正在被越来越多的数据量淹没，并且当前的视频压缩技术几乎不能跟上计算机、电缆系统、移动装置和电视机的日益增长的需求。在整个世界中，在有线和无线通信网络上的视频数据业务迅速增加，这正在耗尽它们的物理能力，同时针对数百万用户的服务质量相应下降，特别是现在随着4K和 8K UHD多媒体内容的引入。
当前的暂时解决方案仍是提供大量基础设施投资，包括为城市和农村地区服务的广泛的电缆网络。然而，这种系统需要大量的基础设施、投资和时间。因此，出于商业原因，电缆提供商可能不愿意投入大量的资金来安装电缆基础设施。另一种当前的解决方案是安装用于视频内容的分发的光纤系统。尽管与电缆系统相比，光纤系统可以增加信息量，但是光纤系统遭受需要大量安装、修理和维修的类似问题。出于与电缆提供商的那些类似的商业原因，光纤供应商可能不愿意投资为农村或人口稀少地区服务所需的大量资金。
另外，尽管电缆和光纤系统可以提高效率，但存储、发送和显示视频信息的成本相当高。因此，其他当前系统涉及编解码器的使用以在传输之前压缩视频和其他信息。当前使用了许多这样的编解码器。
发明内容
尽管电缆和光纤系统的速度和容量都有了提高，但是这两个系统都受限于通过它们馈送的数据的压缩级别。随着内容提供商正在创建越来越多类型的视频信息，迫切需要提供对视频内容的常规处理、传输和显示的替代方案。这些问题通过相对廉价的移动装置(包括移动电话、膝上型计算机、
Figure BDA0001239360260000021
和台式计算机等)在世界范围内的扩散而多方面地增加。移动装置针对常规电缆或光纤系统提出了特别困难的问题，并且随着无线通信的世界范围内的扩散，迫切需要替代方案。
这里提出了基于先进技术的新解决方案，其允许在任何给定时间存在的通信基础设施在遥远的未来提供高质量的服务。这些解决方案包括方法的数学描述，以提高任何编解码器的视频压缩能力若干倍，而没有降低由编解码器本身单独产生的视频质量。
4K/8K UHD内容
本文提出的解决方案还解决了针对开始出现的新的4K超高清晰度(UHD) 电视机产生超过高清晰度(HD)的1080p分辨率的内容的问题。这样的4K电视机通常使用输入到电视的现有蓝光盘的1080p内容，其具有将这样的输入“升级(upscale)”(使分辨率加倍)到4K的内部电路。取决于4K电视的质量，这种升级使用简单的技术，诸如像素复制和数学插值，具有相对于真实4K分辨率的相应视觉质量损失。
本文提出的新方法针对感兴趣的个人和组织解决了这一质量问题。即使目前几乎没有针对8K内容的需求，本文提出的解决方案也可以以逐像素的相同展示的数学精度从4K内容创建8K内容。
用于互联网递送的4K内容的压缩
Netflix指示出4K内容的流式传输将需要至少15Mpbs。本文提出的解决方案可以提供小于2Mbps(在大多数情况下实际上约为1.5Mbps)的4K内容。使用本文提出的方法和装置，可以以1Mbps递送1080p分辨率，并且可以以0.15 Mbps递送高质量的智能手机视频。
应用
存在许多类型的新技术的应用。它们包括：
1. 4K电视制造商，其中可以使用内部硬件(诸如某些4K电视机型中的 Netflix播放器)来执行软件实现；
2. 4K手提电脑制造商，包括东芝、联想等，其中，通过使用快速和高效的计算机实现的方法，快速和高效的处理是期望的；
3.机顶盒制造商在：
a.蓝光播放器和降低了电视成本的4K电视之间，以及
b.电缆公司盒和4K电视之间
实现了新的方法和装置；
4.Dongle制造商可以驱动4K电视无线地显示，并从任何地方接收高度压缩的视频；
5.内容提供商(包括Netflix等)可以大幅降低用于4K显示器以及用于任何其他分辨率的视频递送成本。
6.电缆盒和产生显着成本降低的60fps的视频流装置的芯片制造商，诸如STMicroelectronics等。
7.内容创建者可以立即使用1080p分辨率来控制至观看者的4K内容递送的成本；
8.用于安全的个人和组织使用的视频通信；
9.政府应用；以及
10. 8K应用。
本发明的方面解决了在有线和无线通信网络上快速增加的视频数据业务的问题，其耗尽了他们的物理能力，具有服务质量相应下降。随着4K和8K超高清晰度(“UHD”)多媒体内容的引入，当前可用的临时解决方案一直是对电缆、光纤和其他类似技术进行大量基础设施投资。不幸的是，这种投资是非常昂贵的，并且破坏在施工现场的区域中的居民生活。这样的基础设施发展与那些没有接入固定电缆或光纤提供商的人不相关。
最近，我已经公开了使用Haar小波变换的某些计算机实现的方法。那些公开内容可以在美国专利No.8,031,782、No.8,503,543、PCT申请No. PCT/US2009/04879、美国专利申请No.61/190,585和美国专利申请No. 13/958,945中被找到。这些专利和专利申请中的每个的内容通过引用完全并入本文。
我现在采取了全新的方法来解决这个问题。新的解决方案基于新颖的计算机实现的处理步骤的应用，后者基于新的数学原理。这些解决方案将任何编解码器的视频压缩能力提高了几倍，而没有由编解码器本身单独产生的视频质量的降低。涉及的处理包括在将原始视频文件的视频帧传递到给定编解码器之前该原始视频文件的视频帧的准备。编解码器然后以其通常的方式处理接收到的帧以产生比没有初始处理的小得多的压缩视频文件。然后可以存储和/或发送压缩的视频文件。针对解压缩和回放，编解码器以其通常的方式解压缩该压缩的视频帧，并且然后将其传递到重建视频文件的后处理装置，当被显示时，该视频文件具有非常高的质量，其与在不使用预处理和后处理步骤的情况下仅由编解码器产生的质量相比是无差别的，但是处于高得多的比特率。
附图说明
本发明参考其具体实施例进行描述。参考附图可以理解本发明的其他特征，其中：
图1A-图1C描绘了根据一个实施例的视频预处理。
图1A描绘了在顶部示出的原始帧100具有像素的列和行，其中一些被标记。如图1B中示出的，应用小波变换。
图1B描绘了执行水平小波变换110的实施例。如图1C中示出的，应用小波变换。
图1C描绘了执行垂直小波变换120的实施例。
图2A-图2C描绘了根据其中发生单级预处理和后处理的实施例的视频后处理。
图2A描绘了视频解码器的输出200(pFrame In)。
图2B描绘了已使用逆小波变换(“IWT”)按行来解压缩的视频帧210(Img)。
图2C描绘了按列来解压缩的视频帧220(pFrame Out)。
图3A-图3E描绘了根据其中发生两级分辨率(压缩和解压缩)的实施例的视频后处理。
图3A描绘了视频解码器的输出300(pFrame In)。
图3B描绘了按行的第一级逆小波变换(IWT)310(Img)。
图3C描绘了按列的第一级IWT 320(Frame Out)。
图3D描绘了完成的第一级IWT并输入到第二级IWT 330中(Frame In＝ FrameOut)。
图3E描绘了按行的第二级IWT 340(Img)。
图3F描绘了按列的第二级IWT 350(pFrame Out)，导致了两级分辨率。
具体实施方式
定义
如本文使用的，术语“算法”是指在计算机中实现的操作步骤的数学描述，该计算机已经被专门编程以执行和实现该步骤。
术语“一”和“一个”是指一个或多个。
术语“包括了”是指“包括但不限于”。
术语“由...组成”是指“包括并且限于”。
术语“基本上由...组成”是指“包括字面上的元素及其等同物”。
术语“专用计算机”是指被编程为执行和实现根据小波变换的包括预处理、压缩、传输、解压缩和传输的技术步骤的计算机装置。专用计算机还可以包含多个当前视频编解码器中的一个。
术语“HD”是指高清晰度。
术语“HWT”是指Haar小波变换。
术语“UHD”是指超高清晰度。
术语“WT”是指小波变换
术语“IHWT”是指“逆Haar小波变换”。
术语“变换”是指基于输入的输出图像或其部分的创建。
术语“预处理器”是指被特别编程为根据HWT来执行处理的初始步骤的计算机模块，并且包括用于使用HWT来压缩视频帧的编程指令。
如本文使用的，术语“帧预处理”、“帧尺寸预处理”和“帧尺寸减小”是指根据本发明的方面使用HWT来减小视频图像或视频帧的尺寸的处理。如此产生的帧也被称为“减小的帧”。
术语“后处理器”是指被特别编程为使用逆HWT来执行发送的视频表示的解压缩的计算机模块。
如本文使用的，术语“帧后处理”、“帧尺寸后处理”和“帧扩展”是指其中根据本发明的方法使用IHWT来扩展图像以产生高质量图像的处理。这样的帧也可以被称为“扩展帧”。应当理解，“扩展帧”可以是指在没有任何“预处理”、编码压缩和编解码器解压缩的情况下被扩展的图像。
如本文使用的，当在视频信息的上下文中使用时术语“视频图像”具有与“视频帧”相同的含义，并且术语“图像”具有与“帧”相同的含义。
术语“编解码器”是指用于编码和解码信息的计算机化方法，并且如应用于本发明的，是指大量不同的编解码技术，包括MPEG-4、H-264、VC-1以及用于美国专利号：7,317,840中公开的视频压缩/解压缩的基于小波的方法，该美国专利的内容通过引用完全并入本文。
如应用于存储装置的术语“物理计算机可读介质”或“物理介质”包括软盘、光盘(CD)、磁带、纸张、闪存驱动器、穿孔卡或其上包含指令的其他物理实施例，该指令可以由计算机装置来检索并且使用被编程为根据本发明的方法来操作的专用计算机来实现。
“非物理计算机可读介质”或“非物理介质”是指可以由计算机系统电子地接收并由计算机处理器存储和实施的信号。
预处理
本发明的预处理方法可以导致针对一级变换的1/4的帧的尺寸减小或者针对二级变换的1/16的帧的尺寸减小，等等。这可以在给定视频序列中针对所有帧而进行。然后，减小的帧被用于创建新的视频文件，例如以.avi格式。可以理解，也可以使用其他文件格式，包括例如OG3、Asf、Quick Time、Real Media、 Matroska、DIVX和MP4。然后将该文件输入到选择的任何可用的编解码器，并且由编解码器遵循其标准程序将该文件压缩到以下尺寸，该尺寸典型地从在没有帧尺寸减小的步骤的情况下获得的压缩尺寸的20％(一级WT)变动到小于 10％(二级或多级WT)。这样的文件可以以非常显着的成本节省来存储和/或发送。通过与编解码器适当地对接，这样的过程可以逐帧地执行，而不必创建中间文件。
图1描绘了根据实施例的视频预处理。图1A描绘了在顶部示出的原始帧 100具有像素的列和行，其中一些被标记为：y0、y1、y2...yn-1和yn。如图1B中示出的，应用Haar小波变换，其中执行水平小波变换110。一些像素被标记为： y0、x0、x1、x2...xn-1和xn。如图1C示出的，应用Haar小波变换，其中执行垂直小波变换120。一些像素被标记为：y0、x0、x1…xn-1和xn。
后处理
针对每个帧的解压缩，以其正常方式使用编解码器，并且获得尺寸约等于原始未压缩文件尺寸的1/4(一级WT)或1/16、1/64等(两级或多级WT)的文件(例如，以.avi格式)。最后一步是生成文件，其中所有帧都是全尺寸，其中文件尺寸与原始未压缩的文件的尺寸相同。本文描述了用于实现相对于由没有初始帧尺寸减小的编解码器产生的解压缩帧的无质量损失的方法和系统。该步骤可以逐帧完成，而不产生中间文件，进一步提高了处理的效率。
图2描绘了根据其中发生单级预处理和后处理的实施例的视频后处理。图 2A描绘了视频解码器的输出200(pFrame In)。图2B描绘已使用逆Haar小波变换(“IHWT”)按行来解压缩的视频帧210(Img)，并且图2C描绘了按列来解压缩的视频帧220(pFrame Out)。
图3描绘了根据一个实施例的视频后处理，其中发生两级分辨率(压缩和解压缩)。图3A描绘了视频解码器的输出300(pFrame In)。图3B描绘了按行的第一级逆小波变换(IWT)310(Img)。图3C描绘了按列的第一级IWT 320 (Frame Out)。图3D描绘了完成的第一级IWT并输入到第二级IWT 330中。 (Frame In＝Frame Out)图3E描绘了按行的第二级IWT340(Img)，并且图3E 描绘了按列的第二级IWT 350(pFrame Out)，导致了两级分辨率。
可以理解，一系列帧可以被预处理、压缩、发送、解压缩、后处理和实时显示，从而产生高质量视频，诸如电影或直播。因为可以非常快速地执行预处理、压缩、解压缩、后处理中的步骤，所以可以实时地观看再现的视频(例如，电影或直播)。
应当理解，帧扩展可以被应用于任何输入图像(无论是被预处理的、被编解码器压缩的、被编解码器扩展的还是被其他处理的)以产生尺寸大于输入图像的尺寸的高质量视频图像。
方面的描述
本发明的方面基于小波变换(WT)的数学。本发明的实施例涉及将给定视频帧的抽取的WT在尺寸和内容上下降一个或多个级别，并且仅保留每个级别的低频部分。本发明的实施例包括用于减少存储包含了视频图像的电子文件所需的空间量的新系统和方法。
应当理解，在不脱离本发明的情况下，本文描述的方面及其部分可以以任何组合被使用，并且如适当地以任何顺序被使用。
在某些实施例中，视频文件的帧由本发明的方法和系统使用WT或HWT来预处理以将其尺寸减小4、16、64或甚至进一步的倍数。然后应用视频编解码器来进一步压缩显著地减小的尺寸的帧，以产生显著地小于没有使用帧预处理的文件的压缩文件。在一些实施例中，可以以类似的方式处理视频文件的所有帧以产生压缩文件或一系列压缩文件。然后可以在解压缩之前存储和/或发送压缩文件。在后处理中，处理步骤可以以其原始尺寸或具有高质量的更大尺寸恢复一个或多个独立视频帧。这通过在编解码器解压缩步骤之后可以使用的本发明的另一方面来实现。
因此，在某些方面，本发明提供了一种用于视频图像压缩和解压缩的系统或装置，包括：
第一计算机模块，用于使用直接小波变换(WT)或Haar小波变换(HWT) 进行图像帧预处理；
视频编解码器；
第二计算机模块，用于使用WT或HWT的低频部分以及在WT或HWT之前的原始图像的每行和每列的第一个或最后一个像素进行图像帧后处理；以及
输出装置。
在其他方面，本发明提供了一种系统，其中第一计算机模块包括：
输入缓冲区，用于存储视频图像帧；
存储器装置，其存储用于帧预处理的指令，其中所述指令基于直接WT或 HWT；
处理器，用于实现用于帧预处理的所述指令；以及
输出。
在进一步的方面，本发明包括系统，其中所述第二计算机模块包括：
输入缓冲区；
存储器装置，其存储用于帧后处理的指令，其中所述指令基于使用WT或 HWT的低频部分加上在WT或HWT之前的原始图像的每行和每列的第一个或最后一个像素；
处理器，用于实现用于帧后处理的所述指令；以及
输出。
在更进一步的方面，本发明提供了进一步包括用于存储所述视频图像的后处理帧的另一存储装置的系统。
在其他方面，本发明的系统包括用于使用抽取的WT或HWT并保留所述抽取的WT的低频部分并丢弃抽取的WT或HWT的高频部分进行帧预处理的指令。
在仍然其他方面，本发明的系统包括用于通过使用WT或HWT的低频部分以及在WT或HWT之前的原始图像的每行和每列的第一个或最后一个像素并使用IWT或IHWT来重建输入图像来进行帧后处理以重建后处理帧的指令。
在其他方面，本发明的系统包括用于帧后处理的指令，用于通过使用WT 或HWT的低频部分以及在WT或HWT之前的原始图像的每行和每列的第一个或最后一个像素来重建完整尺寸的后处理帧。
在进一步的方面，本发明提供了一种用于预处理视频图像帧的集成计算机装置，包括：
计算机存储模块，其包含用于根据抽取的WT或HWT进行帧预处理的指令；以及
处理器，用于通过保留低频部分并丢弃高频部分来处理所述抽取的WT或 HWT。
在额外的方面，本发明提供了一种用于对视频图像帧进行后处理的集成计算机装置，包括：
计算机存储模块，其包含用于使用WT或HWT的低频部分以及在WT或 HWT之前的原始图像的每行和每列的第一个或最后一个像素进行帧后处理的指令；以及
处理器，用于处理所述计算以重建全尺寸视频图像。
在更进一步的方面，本发明提供了一种计算机可读介质，包括：
介质；以及
其上的指令，用于使用WT或HWT来对视频帧进行预处理。
在仍然额外的方面，本发明提供了一种计算机可读介质，包括：
介质；以及
其上的指令，用于使用WT或HWT的低频部分加上在WT之前的原始图像的每行和每列的第一个或最后一个像素来对减小的视频帧进行后处理以重建原始尺寸的视频帧。
在其他方面，本发明提供了一种在没有预处理的情况下使用IHWT进行帧扩展的方法和装置。
在仍然其他方面，本发明提供了一种用于在没有预处理或编解码器解压缩的情况下使用IHWT进行帧扩展的方法和装置。
在进一步的方面，本发明提供了一种用于在没有预处理、编解码器压缩或编解码器解压缩的情况下使用IHWT进行帧扩展而的方法和装置。
在这些上述方面的某些中，计算机可读物理介质是磁盘、光盘(CD)、磁带、纸张或穿孔卡。
在本发明的方面中，使用了Haar WT。
在本发明的其他方面，可以使用Daubechies-4、Daubechies-6、Daubechies-8、双正交或不对称小波。
本发明的系统可以实时地提供视频图像的高质量再现。在一些方面，系统可以提供超过50％的存储空间减少。在其他方面，系统可以提供超过50％的传输成本减少，其中几乎没有可察觉的视觉质量的损失。在其他方面，本发明的系统可以提供70％至80％的存储成本减少。在额外的方面，与编解码器单独的压缩、传输和解压缩相比，本发明的系统可以提供70％至80％的传输成本减少，其中很少或没有可察觉的视觉质量损失。
在其他方面，本发明提供了一种用于产生对象的视频图像的方法，包括以下步骤：
a.提供所述对象的数字化图像帧；
b.提供所述数字化图像帧的抽取的WT或HWT；
c.丢弃所述抽取的WT的高频分量，从而产生预处理的帧；
d.使用产生压缩的视频帧的视频编解码器来压缩所述预处理的帧；
e.使用所述编解码器来解压缩所述压缩的视频帧；并且
f.利用使用了WT或HWT的低频部分以及在WT或HWT之前的原始图像的每行和每列的最后一个像素的后处理来重建所述帧的全尺寸图像。
在其他方面，本发明的方法在上述步骤d之后提供将所述压缩图像发送到远程位置的步骤。
在仍然其他方面，本发明提供了一种方法，还包括在视频监视器上显示所述全尺寸图像。
在这些方面的某些中，本发明提供了一种方法，还包括第二级预处理步骤。
在这些方面的其他方面，本发明提供了一种方法，还包括预处理的第二级步骤和第三级步骤。
在这些方面的其他方面，本发明包括一种方法，还包括帧尺寸扩展的第二级步骤和第三级步骤。
在某些实施例中，本发明包括一种方法，其中编解码器选自由MPEG-4、 H264、VC-1、H265和DivX组成的群组。
在其他实施例中，本发明包括一种方法，其中所述编解码器是基于小波的编解码器或任何其他类型的编解码器。
在某些方面，本发明的方法可以实时地提供视频图像的高质量视频再现。在一些方面，方法可以提供超过50％的存储空间减少。在其他方面，方法可以提供超过50％的传输成本减少，其中几乎没有可察觉的视觉质量的损失。在其他方面，与编解码器单独压缩、传输和解压缩相比，存储空间减少可以超过70％至80％，其中几乎没有视频质量的减少。
某些方面包括用于对视频图像帧进行预处理的计算机装置，包括：
输入端；
计算机存储模块，其包含用于根据抽取的Haar WT对由所述输入端接收到的视频帧进行帧预处理的指令；
处理器，用于通过保留低频部分并丢弃高频部分来处理所述抽取的WT；以及
输出端；用于预处理的所述指令包括以下步骤：
i.针对所有行i，将第一个像素存储在原始帧W0(i,0)的第一个元素中，并计算HWT的所有低频值并将它们存储在帧W0(i,j)中；并且
ii.针对每个帧W0(i,j)的所有列j，将第一个像素存储在帧W(0,j)的第一个元素中，并计算HWT的所有低频值并将它们存储在帧W(i,j)中。
额外的方面包括用于对视频图像帧进行后处理的计算机装置，包括：
输入端；
计算机存储模块，其包含用于使用Haar WT的低频部分进行帧后处理的指令，使用以下步骤：
处理器，其被编程为执行以下步骤；
i.针对帧Wx(i,j)的所有行i，将第一行复制到F0(0,j)＝Wx(0,j)；
ii.针对所有列j，计算下一行F0(1,j)＝(2*Wx(1,j)+F0(0,j))/3；
iii.针对所有列j，计算下一行F0(2,j)＝(2*Wx(2,j)-F0(1,j))/3)；
iv.针对所有列j，计算下一行F0(3,j)＝2*Wx(2,j)-F0(2,j)；
v.针对所有列j，类似地计算后续行；
vi.将F0(i,j)的第一列复制到F(i,0)，F(i,0)＝F0(i,0)
vii.针对F0(i,j)的所有行i，计算下一列
F(i,1)＝((2F0(i,1)+F(i,0))/3；
F(i,2)＝((2F0(i,2)+F(i,1))/3；
F(i,3)＝((2F0(i,2)-F(i,2))；
viii.针对所有列j>3，类似地计算后续列；并且
ix.存储计算出的像素。
其他方面包括用于视频图像压缩和解压缩的系统，包括：
先前方面的用于图像帧预处理的第一计算机模块；
视频编解码器；
先前方面的用于图像帧后处理的第二计算机模块；以及
输出装置；
所述第一计算机模块或所述第二计算机模块是从由大型计算机、台式计算机、个人计算机、膝上型计算机、平板计算机、无线计算机和蜂窝电话组成的群组中选出的可编程处理装置。
额外的方面包括计算机可读介质，包括：
物理介质；以及
其上的根据先前方面的对视频帧进行预处理的指令。
仍然额外的方面包括计算机可读介质，包括：
物理介质；以及
其上的根据先前方面的对减小的视频帧进行后处理的指令。
又进一步的方面包括前述方面的计算机可读介质，所述介质选自由软盘、光盘(CD)、磁带、纸张、闪存驱动器、穿孔卡、磁盘、可拆卸闪存装置和计算机处理器存储缓冲区组成的群组。
另外，方面包括前述方面的系统，所述后处理器模块还包括两个过滤器，用于从由Y、U、V、R、G或B组成的群组中选择。
进一步的方面包括一种用于产生对象的视频图像的方法，包括以下步骤：
a.提供所述对象的数字化图像帧并将所述数字化图像帧存储在计算机处理器的存储器装置中；
b.提供所述数字化图像帧的抽取Haar小波变换(WT)；
c.丢弃所述抽取的WT的高频分量，从而根据以下步骤产生预处理的帧；
i.针对所有行i，将第一个像素存储在原始帧W0(i,0)的第一个元素中，并计算HWT的所有低频值并将它们存储在帧W0(i,j)中
ii.针对每个帧W0(i,j)的所有列j，将第一个像素存储在帧W(0,j)的第一个元素中，并计算HWT的所有低频值并将它们存储在帧W(i,j)中
d.将每个帧W(i,j)传递到视频编解码器
e.使用视频编解码器来压缩所述预处理的帧，从而产生压缩的视频帧；
f.使用所述编解码器来解压缩所述压缩视频帧；并且
g.通过执行以下步骤利用使用了WT的低频部分和在WT之前的原始图像的每行和每列的最后一个像素的后处理来重建所述帧的全尺寸图像：
i.针对帧Wx(i,j)的所有行i，将第一行复制到F0(0,j)＝Wx(0,j)；
ii.针对所有列j，计算下一行F0(1,j)＝(2*Wx(1,j)+F0(0,j))/3；
iii.针对所有列j，计算下一行F0(2,j)＝(2*Wx(2,j)-F0(1,j))/3)；
iv.针对所有列j，计算下一行F0(3,j)＝2*Wx(2,j)-F0(2,j)
v.针对所有列j，类似地计算后续行；
vi.将F0(i,j)的第一列复制到F(i,0)，F(i,0)＝F0(i,0)
vii.针对F0(i,j)的所有行i，计算下一列
F(i,1)＝((2F0(i,1)+F(i,0))/3；
F(i,2)＝((2F0(i,2)+F(i,1))/3；
F(i,3)＝((2F0(i,2)-F(i,2))；
viii.针对所有列j>3，类似地计算后续列；并且
h.显示帧F(i,j)。
又一额外的方面包括前述方面的方法，包括单级帧尺寸减小。
额外的方面包括前述方面的方法，还包括第二级帧尺寸减小。
又一额外的方面包括前述方面的方法，还包括第三级帧尺寸减小。
又一额外的方面包括前述方面的方法，包括单级帧尺寸扩展。
仍然额外的方面包括前述方面的方法，还包括第二级帧尺寸扩展。
仍然进一步的方面包括前述方面的方法，还包括第三级帧尺寸扩展。
额外的方面包括如本文描述的系统。
又进一步的方面包括如本文所描述的方法。
在诸如安全、远程学习、视频会议、娱乐和远程医疗等领域中存在大量的视频压缩应用。
实施例的描述
以下描述和示例旨在说明本发明的方面，并且不旨在限制本发明的范围。本领域技术人员可以使用本文的公开内容和教导来创建其他实施例。在实施例中，一般描述包括根据流程图或伪代码或本文公开的源代码的编程。因此，这些实施例仅表示用于实施本发明的某些具体实施例。更一般地，本文公开的数学描述表示用于以基本上相同的方式实施本发明来实现基本上相同的功能以实现基本上相同的结果的许多基础。除了描述的流程图或描述的伪代码或描述的源代码之外，实现数学公式的额外方式每个都被认为是执行本发明的等同方式。那些实施例及其等同物中的每个都被认为是本发明的一部分。
实施例的一般描述
我已经开发了OpenCL/GPU计算机辅助应用程序和数学方法的实现。这种实现的示例的编程步骤的高级细节如下：
A.视频预处理
1.水平减小帧尺寸：
针对每行保存第一个像素y0和所有像素的低频HWT。
2.垂直减小帧尺寸：
针对得到的细长帧的每列，保存第一个像素y0和所有像素的低频HWT。
这些步骤可以针对更多级别的减小被重复，但是一个级别适合于许多用途。可以理解，上述两个预处理步骤可以以任何顺序被执行。
B.视频后处理
1.获得编解码器解压缩帧的中间低频HWT分量，如所需帧速率的不同版本的方法部分中指示出的。
2.垂直增加帧尺寸：
针对在步骤1中获得的帧的每行，通过应用描述的方法的公式来计算更高分辨率帧的接下来两行的像素，即，例如从y1我们得到y2和y3，其中y2＝((2x1 +y1)/3)和y3＝2x1-y2，其中y1、y2和y3对应于沿着三行移动的每列的像素。在涉及主机CPU和多并行GPU视频卡(诸如可以使用OpenCL/CUDA编程的 NVIDIA GTX980卡)的任何现代异构架构中，可以同时并行计算所有这样的行。
3.水平增加帧尺寸：
针对得到的细长的较高分辨率帧的每行，计算在先前计算出的像素之后的较高分辨率帧的两列的像素。例如，沿着每行的像素移动，从y1我们得到y2＝ ((2x1+y1)/3)和y3＝2x1-y2，从y2我们得到y4＝((2x2+y3)/3)和y5＝2x2-y4等等。使用如步骤2中的OpenCL/CUDA编程，所有行可以在具有由多并行视频图形卡组成的GPU和主CPU的硬件架构中并行地同时进行。
可以理解，上述两个后处理步骤可以以任何顺序被执行。
多级视频压缩、解压缩及其在HD和UHD中的应用
本文提出的方法背后的数学原理或方式是小波变换(WT)或Haar小波变换(HWT)的那些。这是重要的，这是因为已经展示了人类使用WT的基本概念来在他们的大脑中处理所有感觉信息，特别是需要大量压缩的视觉信息。这种压缩涉及丢弃从人类感知的观点来看不相关的所有数据。
用于视频数据预处理和后处理以与任何给定视频编解码器一起使用而不以任何方式修改编解码器的这种新方法是用于HD和UHD视频的下面的表1中示出的非常典型结果的基础。
表1：视频编解码器压缩能力的提高
(在不损失任何给定编解码器的视频质量的情况下)
用于MPEG-4、H-264、VC-1的典型结果
视频 HD 1080p比特率 4K UDH比特率
电影 1Mbps 1.5Mbps
自然 1Mbps 1.5Mbps
体育 1.1Mbps 1.75Mbps
这些结果指示出，该技术可以大幅降低包括高清晰度和超高清晰度视频的高质量视频的存储和传输的当前成本。此外，现有基础设施可以被用于显着增加付费客户的数量，而不降低服务质量。
这些显着的业务改进结果可以被实现而不干扰由任何组织当前使用的编解码器。所有需要的是将该技术的预处理和后处理模块在如下图中示出的现有处理序列中的插入。
Figure BDA0001239360260000191
可编程计算机实现的方法的描述
下面的描述表示使用Haar小波变换(HWT)来实现改进的预处理和后处理的方式。在将原始未压缩视频的视频帧传递到被用于额外视频压缩的任何视频编解码器之前，对其进行预处理。预处理包括首先水平地按帧的像素的行并且然后垂直地按帧的像素的列来取得每个视频帧的HWT的低频分量(图1A-1C)。可替换地，可以首先垂直地按帧的像素的列并且然后水平地按帧的像素的行来取得每个视频帧的HWT的低频分量
给定的视频编解码器然后逐帧地压缩由预处理的帧组成的用于存储或传输的视频，并且然后其解压缩现在非常接近于编解码器之前的预处理帧的这样的帧。所述方法然后对来自解码器的接收到的帧进行后处理，并产生用于显示的视觉上与原始视频帧无法区分的帧(图2A-2C和3A-3E)。
在视频帧的显示之前的最后后处理之前取得特定行或列，其具有以下结构。 x0、x1、x2、x3、…xn，其中
Figure BDA0001239360260000201
Figure BDA0001239360260000202
Figure BDA0001239360260000203
Figure BDA0001239360260000204
Figure BDA0001239360260000205
其中yi表示像素值。
后处理的目的是从x值恢复原始像素y0、y1、y2、y3、…y2n、y2n+1。如果我们有HWT的高频分量，则这样的像素可以被准确地恢复。这种方法正是如此。
首先，我们有：
y1＝2x0–y0且
x1＝(y2+y3)/2，其定义了低频HWT分量
H1＝y2–y3)/2，其定义了高频HWT分量。然后，
y2+y3＝2x1且y2-y3＝2H1
使这两个等式做加法，我们得到：
2y2＝2x1+2H1
使它们做减法，我们得到：
2y3＝2x1–2H1
为了找到H1，我们首先定义y2的近似，其是
Figure BDA0001239360260000211
代替准确的逆WT，其是：
Figure BDA0001239360260000212
我们有以上近似：
Figure BDA0001239360260000213
其给出了3(y2)’＝2x1+y1。
然后
Figure BDA0001239360260000214
由于y2的实际值由
Figure BDA0001239360260000215
给出，所以我们可以通过下式从(y2)’获得y2：
Figure BDA0001239360260000216
这给出了
2y2＝2(y2)’–y1+3y2-2x1
且
Figure BDA0001239360260000221
简化后我们得到
Figure BDA0001239360260000222
并且实际值为：
Figure BDA0001239360260000223
其确认了初始估计的选择。因此，y3＝2x1-y2
因此，给定y1，我们可以计算从以下获得的y2和y3的高频Haar WT分量 H1
y2＝x1+H1且y3＝x1-H1
其中
Figure BDA0001239360260000224
且
Figure BDA0001239360260000225
此外，H1＝y2-x1，基于上述结果，其变为
Figure BDA0001239360260000226
因此，我们可以使用基于先前像素值的有效方法从它们的低频Haar WT值获得给定视频帧的任何行或列的实际像素值yi。
如果我们有以下描述的y1，则我们得到
y2＝(2x1+y1)/3，
y3＝2x1-y2，
Figure BDA0001239360260000227
y5＝2x2-y4，
Figure BDA0001239360260000228
y7＝2x3-y6
Figure BDA0001239360260000229
等。
关于y1，从y0计算第一个像素y1＝2x0-y0以及相应行或列的Haar WT的第一低频分量。y0是给定的，这是因为它是从原始帧保存的。
使用该方法解压缩的视频帧的PSNR值的计算验证了该算法的精度。这种 PSNR结果在下面被提出。
不同版本的方法
可以如从每行和每列的第一个像素和每行和每列的低频Haar WT中指示出的那样计算最终分辨率帧。可以进行额外步骤以便获得每秒帧数(fps)的不同值。
如果原始输入视频的fps是可接受的，则不需要额外的步骤。如果更高的fps 是所期的以增强快速运动视频的感知视频质量，则需要额外的处理步骤来生成相应的fps。
这种处理步骤由在连续的给定帧之间计算具有低频HWT分量的中间帧组成。
1.双帧速率：给定在相同帧位置中具有特定xi的两个已知连续帧，例如x1和x2，可以使用以下表达式来获得这种帧位置中的中间帧的低频HWT分量y1： y1＝((x2-x1)/2)+x1，
然后将描述的方法应用于每行和每列中的新的中间帧HWT值的较高分辨率帧。
2.三倍帧速率：类似地，可以在两个连续帧之间添加两个更多的中间帧，其中特定xi在每个帧位置中，给定例如使用以下表达式来获得特定帧位置的原始x1和x2值：
y1＝((x2-x1)/3)+x1且y2＝x2-((x2-x1)/3)
3.四倍帧速率：类似地，可以在两个连续帧之间添加具有yi值的三个更多的帧，其中使用以下表达式来获得特定帧位置中的xi值，例如x1和x2：
y1＝((x2-x1)/4)+x1，y2＝((x2-x1)/2)+x1，y3＝x2-((x2-x1)/4)
Figure BDA0001239360260000241
等等。
这种版本的方法被大量地测试，并且验证其计算效率和期望的后处理视频的质量。
使用Haar小波变换的视频处理的伪编码
A.预处理
下面的伪代码表示预处理视频的数学方式的应用的示例。
Figure BDA0001239360260000242
将每个帧W(i,j)传递到视频编解码器
B.后处理
下面的伪代码表示后处理视频的数学方式的应用的示例。
从视频编解码器接收解压缩的帧W(i,j)。如果需要所期帧速率，则从连续的 W(i,j)帧生成中间帧Wx(i,j)
Figure BDA0001239360260000251
将F0(i,j)的第一列复制到F(i,0)
F(i,0)＝F0(i,0)
针对F0(i,j)的所有行i，
Figure BDA0001239360260000261
在电视机上显示帧F(i,j)。
变换等级和压缩范围
通过将预处理和后处理的级别增加再多一个级别，压缩率可以随着级别数量的每次增加而加倍。例如，针对2级，针对HD 1080p的压缩率降至0.5Mbps，并且针对4K UHD的压缩率降至小于1Mbps。视频质量没有受到可察觉的损失。
实现效率
使用对应于16比特/字的64比特/像素(颜色分量)，使用并行化数字计算结构来获得本文提出的所有新的视频压缩结果。这就是为什么由于计算的精度而造成后处理的视频质量如此之高。
应用于4K和8K UHD视频
由于计算和存储要求，所以当前缺少4K和8K内容。然而，本描述可以通过考虑例如描述的用于4K的后处理方法来生成具有适当质量的这样的内容。我们已经看到，在最终的后处理步骤中，我们从尺寸为1920×1080帧的HD 1080p 开始，其被认为是尺寸为3840×2160的4K帧的Haar WT的低频分量。本文公开的方法从它们的低频Haar WT精确地计算了4K像素。
类似地，通过使再多一个IWT处理级别从4K到8K的高精度，可以从HD 内容获得8KUHD内容。
当然，并且这样的内容可以容易地由可用的监视器和电视屏幕硬件使用本文提出的预处理和后处理方法来压缩、发送、存储和显示。换句话说，与2013 年底在丹麦视频会议中以及2014年1月的拉斯维加斯消费电子展中讨论的数字相比，4K UHD视频需要1.5Mbps并且8K UHD视频需要1.75Mbps。这样的预测指示出4K UHD在几年内大量使用时将需要15Mbps。
数学上精确增加任何图像分辨率的理由
本文提出的方法提供用于从其低频分量计算逆Haar小波变换的技术，并且可以导致比给定图像更高分辨率的图像的计算，其可以被认为是计算出的更高分辨率图像的低频分量。因此，例如从1080p图像开始，可以精确地计算其低频分量是给定的1080p图像的4K分辨率图像。类似地，可以精确地计算其低频分量是4K分辨率图像的8K分辨率图像。类似地，可以精确地计算16K分辨率、 32K分辨率或任何更高级别。这正是在计算多级直接和逆小波变换时任何给定图像发生的情况。
这些描述提供了就在2014年所需的高质量视频的更好的视频压缩，其具有相应成本节省和卓越的视频质量。
示例
以下示例说明了本发明的某些方面，并不旨在限制其范围。相反，本领域普通技术人员可以使用本文的公开内容和教导来产生变型，所有变型都被认为是本发明的一部分。技术人员可以利用本文的教导和公开内容以使用相同的功能和方式或通过进行非实质性的改变来创建视频图像，以产生类似或相同的结果。所有这些都被认为是本发明的一部分。
示例1：性能数据
基于使用Haar小波变换的数学来计算帧像素的准确值的方法使用结合了所提出的预处理和后处理步骤的H264和H265视频编解码器进行了大量地测试。 H265在H264上提供了压缩比的一些改进，但是它更复杂，并且不能被用于典型的便携式装置的实时性能，并且此外，之前使用H264编解码器讨论的方法比 H265本身给出了更好的压缩。
因此，使用具有上面讨论的预处理和后处理算法的H264视频编解码器获得了以下表2中给出的性能值。
表2：公开的处理的性能值
视频 HD 1080p比特率 4K UHD比特率
电影 1Mbps 1.5Mbps
自然 1Mbps 1.5Mbps
体育 1.1Mbps 1.75Mbps
就PSNR值而言，下面的表3示出了针对上述比特率中的每个、针对不同视频类型重构的帧在单独的编解码器和具有本文公开的方法的编解码器之间的典型分贝(db)值的比较。
表3：单独编解码器以及编解码器加上公开的处理的PSNR值
Figure BDA0001239360260000281
Figure BDA0001239360260000291
示例2：结合软件实现的方法的装置
预处理和后处理装置
本文公开的方法可以在许多计算机化装置中被实现。计算机化处理步骤可以在预处理器中被实现，其执行抽取和基于Haar小波的压缩。这样的装置可以作为计算机系统的分离的独立部件来制造和提供，并且可以被添加到现有的计算机、移动装置、电视机、电缆盒、机顶盒或类似的这样的装置中。
另外，本文公开的方法可以被实现为后处理器，其将来自编解码器的输出进行解压缩。这样的后处理器可以被附加到现有的计算机、电视机、移动装置、电缆盒、机顶盒或类似的装置。
本发明包括用于根据本文公开的方法的帧的预处理和后处理的集成装置。预处理装置包含含有用于预处理的指令的存储器区域以及用于执行被包含在该存储器区域中的指令的处理器。这种结合的存储器和预处理装置可以是可单独被制造并且然后被并入视频系统中的集成电路。预处理装置至视频系统中的连接可以包括输入端，其中来自图像捕获装置(例如，相机)的帧可以被输入到预处理装置中。预处理装置的输出端可以被连接到编解码器。可选地，缓冲区可以被包括在预处理装置中。
类似地，后处理装置可以包含含有根据本发明的方法的用于后处理的指令的存储器区域，并且还包括用于执行被包含在该存储器区域中的指令的处理器。这种结合的存储器和后处理装置可以是可单独被制造并且然后被并入视频系统中的集成电路。后处理装置至视频系统中的连接允许来自编解码器的解压缩的帧被输入到后处理装置中。出于显示的目的，后处理装置可以被附接到输出装置，诸如例如视频监视器、移动装置屏幕或电视机。缓冲区可以被包括在后处理装置中。
示例3：彩色成像
关于图像和视频帧，该方法首先被应用于列，并且然后被应用于行。此外，针对彩色图像，该方法可以分别被应用于亮度(Y)和色度(UV)分量。
示例4：计算机可读介质
计算机可读介质包含存储器区域，其包含用于根据本发明的方法的帧预处理的指令。物理装置包括软盘、闪速存储器、磁带驱动器或其他物理硬件组件。包含在这种装置上的指令可以被传送到外部预处理器以用于被包含在存储器区域中的指令的执行。
另一个装置包含存储器区域，其包含用于根据本发明的方法的帧后处理的指令。物理装置包括软盘、闪速存储器、磁带驱动器或其他物理硬件组件。被包含在这种装置上的指令可以被传送到外部后处理器以用于被包含在存储器区域中的指令的执行。
在其他实施例中，用于预处理、后处理和显示的编程指令可以使用无线、电缆、光纤或其他介质来发送。
可以理解，预处理、编解码器和后处理方法可以被集成在一起以提供可以被并入到计算机、移动装置、电视机、电缆箱或类似装置中的系统。
示例5：在大规模并行现代异构计算架构中的实现
如今，即使手持移动装置包括使用了并行计算框架的多核平台。计算的计算机实现的原型可以使用OpenCL编程(参考文献5；OpenCL Programming by Example byR.Banger and K.Bhattacharyya,2013Packt Publishing Ltd.,UK，其全部内容通过引用并入本文)和用于NVIDIA显卡的CUDA语言(参考文献6； CUDA Programming by ShaneCook,2013Elsevier,Inc.，其全部内容通过引用并入本文)来开发，以便在便宜的4K电视机上展示用于实时显示4K UHD视频的高效和快速(60fps)处理。
因此，除了最小的存储和传输成本以及高感知视频质量之外，低成本实现是该技术的另一个关键优点。
这种大规模并行实现是该方法的固有本质的结果，可以被移植到不必具有相同架构或甚至相同供应商的多个装置。
总之，这项技术可以使4K和8K UHD视频通信比预测的更早地可访问和可负担。
工业实用性
本发明的系统和方法可以被用于电信和视频工业中，以允许以降低的成本和具有减少的对计算机存储容量的要求来存储、发送和重放高质量视频。本发明的方面对于视频存储和传输的当前惊人的成本的减少的意义是显着的。
参考文献
在本申请中上下文列出的每个参考文献和文献的内容通过引用整体完全并入本文。
1.Ten Lectures on Wavelets by Ingrid Daubechies,Society forIndustrial and Applied Mathematics.
2.A New Wavelet Transform Video Compression Algorithm,IEEE 3rdInternational Conference on Communications Software Networkds,2011,ZhangeShu.
3.Three Dimensional Wavelet Transform Video Compression,1999IEEEInternational Conference on Multimedica Computing and Systems,July 1999,L.K.Levy.
4.A New and Novel Image Compression Algorithm using WaveletFootprints, Academic Journal 2005,Vol.14,part 6,page 17,N.Malmurugan,A.Shamugan,S. Jayaraman,V.V.Dinesh,Chader.
5.OpenCL Programming by Example by R.Banger and K.Bhattacharyya,2013Packt Publishing Ltd.,UK.
6.CUDA Programming by Shane Cook,2013 Elsevier,Inc.

Claims (10)

1.一种用于在预处理之后并且在使用编解码器进行压缩和解压缩之后对视频图像帧进行后处理的计算机装置，包括：
输入端；
计算机存储模块，其包含由计算机装置的处理器执行的、用于使用Haar WT的低频部分进行视频图像帧后处理的指令，使用以下步骤：
i.针对视频图像帧Wx(i,j)的所有行i，将第一行复制到F0(0,j)＝Wx(0,j)；
ii.针对所有列j，计算下一行F0(1,j)＝(2*Wx(1,j)-F0(0,j)；
iii.针对所有列j，计算下一行F0(2,j)＝(2*Wx(2,j)+F0(1,j))/3；
iv.针对所有列j，计算下一行F0(3,j)＝2*Wx(2,j)-F0(2,j)；
v.针对所有列j，对于i为偶数时如下计算后续行：
F0(i,j)＝(2*Wx(i/2+1,j)+F0(i-1,j))/3；
F0(i+1,j)＝2*Wx(i/2+1,j)-F0(i,j)；
vi.将F0(i,j)的第一列复制到F(i,0)，F(i,0)＝F0(i,0)；
vii.针对F0(i,j)的所有行i，计算下一列
F(i,1)＝2*F0(i,1)-F(i,0)；
F(i,2)＝(2*F0(i,2)+F(i,1))/3；
F(i,3)＝2*F0(i,2)-F(i,2)；
viii.针对所有列j>3，对于j为偶数时如下计算后续列：
F(i,j)＝(2*F0(i,j/2+1)+F(i,j-1))/3；
F(i,j+1)＝2*F0(i,j/2+1)-F(i,j)；并且
ix.存储计算出的像素的视频图像帧F(i,j)。
2.一种计算机可读介质，包括：
物理介质；以及
其上的如根据权利要求1的计算机装置的计算机存储模块中包含的用于帧后处理的指令。
3.根据权利要求2所述的计算机可读介质，所述介质选自由软盘、光盘(CD)、磁带、纸张、闪存驱动器、穿孔卡、磁盘、可拆卸闪存装置和计算机处理器存储缓冲区组成的组。
4.一种用于产生对象的视频图像的方法，包括以下步骤：
a.提供所述对象的数字化图像帧并将所述数字化图像帧存储在计算机处理器的存储器装置中；
b.提供所述数字化图像帧的抽取的Haar小波变换(HWT)；
c.丢弃所述抽取的HWT的高频分量，从而根据以下步骤产生预处理的帧；
i.针对所有行i，将第一个像素存储在原始帧W0(i,0)的第一个元素中，并计算HWT的所有低频值并将它们存储在帧W0(i,j)中
ii.针对每个帧W0(i,j)的所有列j，将第一个像素存储在帧W(0,j)的第一个元素中，并计算HWT的所有低频值并将它们存储在帧W(i,j)中
d.将每个帧W(i,j)传递到所述视频编解码器；
e.使用视频编解码器来压缩所述预处理的帧，从而产生压缩的视频帧；
f.使用所述编解码器来解压缩所述压缩的视频帧；并且
g.通过执行以下步骤利用使用了所述HWT的低频部分和在所述HWT之前的原始图像的每行和每列的第一个像素的后处理来重建所述帧的全尺寸图像；
i.针对视频图像帧Wx(i,j)的所有行i，将第一行复制到F0(0,j)＝Wx(0,j)；
ii.针对所有列j，计算下一行F0(1,j)＝2*Wx(1,j)-F0(0,j)；
iii.针对所有列j，计算下一行F0(2,j)＝(2*Wx(2,j)+F0(1,j))/3；
iv.针对所有列j，计算下一行F0(3,j)＝2*Wx(2,j)-F0(2,j)；
v.针对所有列j，对于i为偶数时如下计算后续行：
F0(i,j)＝(2*Wx(i/2+1,j)+F0(i-1,j))/3；
F0(i+1,j)＝2*Wx(i/2+1,j)-F0(i,j)；
vi.将F0(i,j)的第一列复制到F(i,0)，F(i,0)＝F0(i,0)
vii.针对F0(i,j)的所有行i，计算下一列
F(i,1)＝2*F0(i,1)-F(i,0)；
F(i,2)＝(2*F0(i,2)+F(i,1))/3；
F(i,3)＝2*F0(i,2)-F(i,2)；
viii.针对所有列j>3，对于j为偶数时如下计算后续列：
F(i,j)＝(2*F0(i,j/2+1)+F(i,j-1))/3；
F(i,j+1)＝2*F0(i,j/2+1)-F(i,j)；并且
h.显示视频图像帧F(i,j)。
5.根据权利要求4所述的方法，包括单级帧尺寸减小。
6.根据权利要求5所述的方法，还包括第二级帧尺寸减小。
7.根据权利要求6所述的方法，还包括第三级帧尺寸减小。
8.根据权利要求4所述的方法，包括单级帧尺寸扩展。
9.根据权利要求8所述的方法，还包括第二级帧尺寸扩展。
10.根据权利要求9所述的方法，还包括第三级帧尺寸扩展。
CN201580047824.7A 2014-07-16 2015-07-13 一种对视频图像帧进行后处理的计算机装置和方法，以及计算机可读介质 Active CN106664387B9 (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201462025365P 2014-07-16 2014-07-16
US62/025,365 2014-07-16
US201462097255P 2014-12-29 2014-12-29
US62/097,255 2014-12-29
US201562150436P 2015-04-21 2015-04-21
US62/150,436 2015-04-21
PCT/US2015/040108 WO2016010880A1 (en) 2014-07-16 2015-07-13 Multilevel video compression, decompression, and display for 4k and 8k applications

Publications (3)

Publication Number Publication Date
CN106664387A CN106664387A (zh) 2017-05-10
CN106664387B true CN106664387B (zh) 2020-03-20
CN106664387B9 CN106664387B9 (zh) 2020-10-09

Family

ID=55078943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580047824.7A Active CN106664387B9 (zh) 2014-07-16 2015-07-13 一种对视频图像帧进行后处理的计算机装置和方法，以及计算机可读介质

Country Status (11)

Country Link
US (1) US10313704B2 (zh)
EP (1) EP3170306B1 (zh)
JP (1) JP6535082B2 (zh)
KR (1) KR102367075B1 (zh)
CN (1) CN106664387B9 (zh)
AU (1) AU2015289923B2 (zh)
CA (1) CA2954683C (zh)
ES (1) ES2786600T3 (zh)
MA (1) MA40545B1 (zh)
MX (1) MX371127B (zh)
WO (1) WO2016010880A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11064219B2 (en) * 2018-12-03 2021-07-13 Cloudinary Ltd. Image format, systems and methods of implementation thereof, and image processing
US11785068B2 (en) * 2020-12-31 2023-10-10 Synaptics Incorporated Artificial intelligence image frame processing systems and methods

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102905132A (zh) * 2012-10-16 2013-01-30 上海大学 无线视频传输的压缩和解压缩方法及其装置
CN103077510A (zh) * 2013-01-21 2013-05-01 中国计量学院 基于小波hmt模型的多变量压缩感知重构方法
CN103546759A (zh) * 2013-10-29 2014-01-29 沈阳工业大学 一种基于小波包和矢量量化相结合的图像压缩编码方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07168809A (ja) * 1993-03-30 1995-07-04 Klics Ltd ウェーブレット変換方法及びウェーブレット変換回路
US6757438B2 (en) * 2000-02-28 2004-06-29 Next Software, Inc. Method and apparatus for video compression using microwavelets
KR20050018659A (ko) * 2002-04-19 2005-02-23 드로플렛 테크놀로지 인코포레이티드 웨이브렛 변환 시스템, 방법 및 컴퓨터 프로그램 제품
GB2429593A (en) 2005-08-26 2007-02-28 Electrosonic Ltd Data compressing using a wavelet compression scheme
US8755440B2 (en) * 2005-09-27 2014-06-17 Qualcomm Incorporated Interpolation techniques in wavelet transform multimedia coding
WO2010024907A1 (en) * 2008-08-29 2010-03-04 Angel Decegama Systems and methods for compression transmission and decompression of video codecs
US8031782B2 (en) 2008-08-29 2011-10-04 ADC2 Technologies LLC Systems and methods for compression, transmission and decompression of video codecs
US8542938B2 (en) * 2008-12-31 2013-09-24 Entropic Communications, Inc. System and method for intra-frame compression using predictive coding
US8279259B2 (en) * 2009-09-24 2012-10-02 Microsoft Corporation Mimicking human visual system in detecting blockiness artifacts in compressed video streams
US8711170B2 (en) * 2011-02-14 2014-04-29 Apple Inc. Edge alphas for image translation
US20130156114A1 (en) 2011-12-17 2013-06-20 Faramarz Azadegan Data Movement Reduction In Video Compression Systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102905132A (zh) * 2012-10-16 2013-01-30 上海大学 无线视频传输的压缩和解压缩方法及其装置
CN103077510A (zh) * 2013-01-21 2013-05-01 中国计量学院 基于小波hmt模型的多变量压缩感知重构方法
CN103546759A (zh) * 2013-10-29 2014-01-29 沈阳工业大学 一种基于小波包和矢量量化相结合的图像压缩编码方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
improved high-definition video by encoding at an intermediate resolution;Andrew Segall;《VISUAL COMMUNICATIONS AND IMAGE PROCESSING》;20040120;全文 *

Also Published As

Publication number Publication date
MA40545B1 (fr) 2020-05-29
EP3170306A1 (en) 2017-05-24
MX2017000549A (es) 2017-08-16
CN106664387A (zh) 2017-05-10
KR20170033355A (ko) 2017-03-24
JP2017521014A (ja) 2017-07-27
EP3170306B1 (en) 2020-01-29
US10313704B2 (en) 2019-06-04
CN106664387B9 (zh) 2020-10-09
US20170164009A1 (en) 2017-06-08
MX371127B (es) 2020-01-17
EP3170306A4 (en) 2018-05-16
JP6535082B2 (ja) 2019-06-26
MA40545A (fr) 2017-05-24
CA2954683C (en) 2022-10-25
AU2015289923A1 (en) 2017-03-09
CA2954683A1 (en) 2016-01-21
WO2016010880A1 (en) 2016-01-21
AU2015289923B2 (en) 2019-07-18
KR102367075B1 (ko) 2022-02-24
ES2786600T3 (es) 2020-10-13

Similar Documents

Publication Publication Date Title
US11622112B2 (en) Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
KR102525578B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US20190222864A1 (en) Fast encoding loss metric
KR102500761B1 (ko) 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
EP3082337A1 (en) Variable block size encoder and encoding method
KR20150068402A (ko) 동영상 압축 방법
US11494870B2 (en) Method and apparatus for reducing artifacts in projection-based frame
US20240048738A1 (en) Methods, apparatuses, computer programs and computer-readable media for processing configuration data
CN106664387B (zh) 一种对视频图像帧进行后处理的计算机装置和方法，以及计算机可读介质
CN116508091A (zh) 使用后处理控制的视频解码
CN116762338A (zh) 使用预处理的视频编码
KR20220063063A (ko) 인공지능 부호화 및 인공지능 복호화를 수행하기 위한 방법 및 장치
KR102421719B1 (ko) 저복잡도 신경망을 이용한 영상의 ai 부호화 장치 및 방법, ai 복호화 장치 및 방법
KR20230030435A (ko) 화상회의시 AI(artificial intelligence)를 이용한 다운스케일 및 업스케일 방법 및 장치
KR20230094838A (ko) Ai 기반의 영상 제공 장치 및 이에 의한 방법, 및 ai 기반의 디스플레이 장치 및 이에 의한 방법
JP2010011114A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、画像処理プログラムを記録した記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CI03 Correction of invention patent

Correction item: Claims

Correct: Correct

False: error

Number: 12-02

Page: ??

Volume: 36

CI03 Correction of invention patent