CN111279640A - 图像处理 - Google Patents

图像处理 Download PDF

Info

Publication number
CN111279640A
CN111279640A CN201880070195.3A CN201880070195A CN111279640A CN 111279640 A CN111279640 A CN 111279640A CN 201880070195 A CN201880070195 A CN 201880070195A CN 111279640 A CN111279640 A CN 111279640A
Authority
CN
China
Prior art keywords
frame
resolution
processors
encoded
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880070195.3A
Other languages
English (en)
Inventor
马宁
朱磊
陈颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111279640A publication Critical patent/CN111279640A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0078—Avoidance of errors by organising the transmitted data in a format specifically designed to deal with errors, e.g. location
    • H04L1/0083—Formatting with frames or packets; Protocol or part of protocol for error control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种图像处理方法包括：通过改变经重构的第一帧的分辨率来生成参考帧；使用所述参考帧对第二帧进行帧间编码；以及生成对经编码的第二帧进行解码有用的分辨率改变信息。

Description

图像处理
版权公告
本专利文件的公开的一部分包含受到版权保护的材料。版权所有者不反对任何人对专利文献或专利公开的传真复制，因为它出现在专利和商标局的专利文件或记录中，但在其他方面保留所有版权。
技术领域
本公开涉及信息技术，并且更具体地涉及图像处理方法、图像恢复方法、编码方法、解码方法、发送终端、接收终端、以及无线传输系统。
背景技术
低传输延迟无线视频/图像传输系统中的最大挑战之一是信道条件随时间波动。已经在无线视频传输应用中使用了使要被发送的图像的分辨率实时地适应信道质量的自适应图像-分辨率控制技术，以提高不可靠信道上的传输性能。例如，当信道带宽变小时，要被发送的图像的分辨率被降低，以保持流畅的传输。当信道带宽变大时，要被发送的图像的分辨率被提高，以保证高质量的图像传输。
因为由于当前帧和过去帧之间的分辨率的改变而导致无法生成帧间帧，所以传统的自适应图像-分辨率控制技术通过响应于当前帧和过去帧(相邻帧)之间的分辨率的改变对当前帧进行帧内编码来生成帧内帧。因为帧内帧的尺寸通常远远大于帧间帧，将帧内帧插入到经编码的比特流导致经编码的比特流的尺寸上的突然增大，使得传输延迟/时延相应地增大。传输延迟的大的波动使在接收终端处的回放频繁停止。因此，视频的总体感知质量下降，用户体验很差。
发明内容
根据本公开提供了一种图像处理方法，包括：通过改变经重构的第一帧的分辨率来生成参考帧；使用所述参考帧对第二帧进行帧间编码；以及生成对经编码的第二帧进行解码有用的分辨率改变信息。
根据本公开，还提供了一种图像恢复方法，包括：接收关于经编码的帧中的分辨率改变的分辨率改变信息；通过根据所述分辨率改变信息改变经解码的帧的分辨率来生成参考帧；以及使用所述参考帧来解码经编码的帧。
根据本公开，还提供了一种编码方法，包括：响应于从第一分辨率到第二分辨率的分辨率改变，获得具有第一分辨率的经编码的第一帧；重构经编码的第一帧以生成经重构的第一帧；基于第二分辨率缩放经重构的第一帧，以获得参考帧；以及使用所述参考帧来编码第二帧，以生成具有第二分辨率的经编码的第二帧。
根据本公开，还提供了一种解码方法，包括：响应于从第一分辨率到第二分辨率的分辨率改变，获得具有第一分辨率的经解码的第一帧；基于第二分辨率缩放经解码的第一帧，以获得参考帧；以及使用所述参考帧来经编码的第二帧进行解码。
根据本公开，还提供了一种图像处理设备，包括：存储指令的一个或多个存储器；以及耦接至所述一个或多个存储器的一个或多个处理器。所述一个或多个处理器被配置为：通过改变经重构的第一帧的分辨率来生成参考帧；使用所述参考帧对第二帧进行帧间编码；以及生成对经编码的第二帧进行解码有用的分辨率改变信息。
根据本公开，还提供了一种图像恢复设备，包括：存储指令的一个或多个存储器；以及耦接至所述一个或多个存储器的一个或多个处理器。所述一个或多个处理器被配置为：接收关于经编码的帧中的分辨率改变的分辨率改变信息；通过根据所述分辨率改变信息改变经解码的帧的分辨率来生成参考帧；以及使用所述参考帧来解码经编码的帧。
根据本公开，还提供了一种编码设备，包括：存储指令的一个或多个存储器；以及耦接至所述一个或多个存储器的一个或多个处理器。所述一个或多个处理器被配置为：响应于从第一分辨率到第二分辨率的分辨率改变，获得具有第一分辨率的经编码的第一帧；重构经编码的第一帧以生成经重构的第一帧；基于第二分辨率缩放经重构的第一帧，以获得参考帧；以及使用所述参考帧来编码第二帧，以生成具有第二分辨率的经编码的第二帧。
根据本公开，还提供了一种解码设备，包括：存储指令的一个或多个存储器；以及耦接至所述一个或多个存储器的一个或多个处理器。所述一个或多个处理器被配置为：响应于从第一分辨率到第二分辨率的分辨率改变，获得具有第一分辨率的经解码的第一帧；基于第二分辨率缩放经解码的第一帧，以获得参考帧；以及使用所述参考帧来经编码的第二帧进行解码。
根据本公开，还提供了一种无线通信系统，包括：发送终端，所述发送终端包括：存储指令的一个或多个第一存储器；以及耦接至所述一个或多个第一存储器的一个或多个第一处理器。所述一个或多个第一处理器被配置为：通过改变经重构的第一帧的分辨率来生成参考帧；使用所述参考帧对第二帧进行帧间编码；以及生成对经编码的第二帧进行解码有用的分辨率改变信息。所述无线通信系统还包括：接收终端，所述接收终端包括：一个或多个第二处理器；以及耦接至所述一个或多个第二处理器的一个或多个第二存储器。所述一个或多个第二处理器被配置为：接收关于经编码的帧中的分辨率改变的分辨率改变信息；通过根据所述分辨率改变信息改变经解码的帧的分辨率来生成参考帧；以及使用所述参考帧来解码经编码的帧。
附图说明
图1是示出根据本公开的示例性实施例的无线传输系统的示意图。
图2是示出根据本公开的示例性实施例的发送终端的示意图。
图3是示出根据本公开的示例性实施例的接收终端的示意图。
图4是示出根据本公开的示例性实施例的图像处理方法的流程图。
图5示意性示出根据本公开的示例性实施例的对图像帧升尺度(upscaling)和降尺度(downscaling)。
图6是示出根据本公开的示例性实施例的帧间编码处理和重构处理的示意图。
图7是示出根据本公开的示例性实施例的图像恢复方法的流程图。
图8是示出根据本公开的示例性实施例的帧间解码过程的示意图。
图9是示出根据本公开的示例性实施例的编码方法的流程图。
图10是示出根据本公开的示例性实施例的解码方法的示意图。
具体实施方式
在下文中，将参考附图描述与本公开一致的实施例，这些实施例仅仅是用于说明目的示例且不旨在限制本公开的范围。在可能的情况下，贯穿附图，相同的附图标记将用于表示相同或类似的部件。
图1是示出与本公开一致的示例性无线传输系统100的示意图。无线传输系统100包括：发送终端110和接收终端150。如图1中所示，发送终端110被配置为在无线信道130上向接收终端150发送数据。在一些实施例中，数据可以是通过编码图像获得的比特流的形式。图像可以是静止图像(例如，照片)和/或运动图像(例如，视频)。在下文中，术语“图像”被用来指静止图像或运动图像。
在一些实施例中，接收终端150可以被配置为：在无线信道130上向发送终端110发送反馈信息，例如，包括：指表示当前信道条件的一个或多个参数(例如，信噪比(SNR)、信干噪比(SINR)、误比特率(BER)、信道质量指示(CQI)、传输延迟、信道带宽等)的信道信息。发送终端110可以执行与本公开一致的基于反馈信息的图像处理方法(例如，下文所述的示例性图像处理方法之一)和/或与本公开一致的编码方法(例如，下文所述的示例性编码方法之一)。
在一些实施例中，发送终端110还可以被配置为：向接收终端150发送分辨率改变信息。接收终端150可以执行与本公开一致的图像恢复方法(例如，下文所述的示例性图像恢复方法之一)和/或与本公开一致的基于分辨率改变信息的解码方法(例如，下文所述的示例性解码方法之一)。
在一些实施例中，发送终端110可以被集成到移动体(例如，无人飞行器(UAV)、无人驾驶汽车、移动机器人、无人驾驶船舶、潜艇、航天器、卫星等)之中。在另一些实施例中，发送终端110可以是由移动体承载的独立操作但可以共享移动体的电源的托管负载。
在一些实施例中，接收终端150可以是具有可以控制发送终端110或集成了发送终端110的移动体(如，智能电话、平板计算机、游戏装置等)的应用(app)的遥控器或终端装置。在另一些实施例中，接收终端150可以在另一移动体(例如，UAV、无人驾驶汽车、移动机器人、无人驾驶船舶、潜艇、航天器、卫星等)中提供。接收终端150和移动体可以是分离的部分或可以集成在一起。
无线信道130可以使用除了电缆之外的任何类型的物理传输介质，如，空气、水、外太空或上述介质的任何组合。例如，如果发送终端110被集成在UAV中且接收终端150是遥控器，则数据可以在空气中发送。如果发送终端110是由商用卫星承载的托管负载且接收终端150被集成在地面站中，则数据可以在外太空和空气中发送。如果发送终端110是由潜艇承载的托管负载且接收终端150被集成在无人驾驶船舶中，则数据可以在水中发送。
图2是示出与本公开一致的示例性发送终端110的示意图。发送终端110包括：图像捕捉装置111、编码器113、第一无线收发器115、以及自适应控制器117。编码器113被耦接至图像捕捉装置111、第一无线收发器115、以及自适应控制器117。自适应控制器117也被耦接至图像捕捉装置111和第一无线收发器115。
图像捕捉装置111包括：图像传感器和透镜或透镜组，并且被配置为捕捉图像。例如，图像传感器可以是光电传感器(例如，电荷耦合装置(CCD)传感器、互补金属氧化物半导体(CMOS)传感器等)。图像捕捉装置111还被配置为向编码器113发送已捕捉的图像以进行编码。在一些实施例中，图像捕捉装置111可以包括用于暂时或永久地存储已捕捉的图像的存储器。
在一些实施例中，图像传感器可以具有多个捕捉分辨率。捕捉分辨率指图像传感器使用多少像素来捕捉图像。即，由图像传感器捕捉的图像可以具有等于图像传感器的捕捉分辨率的分辨率。最大捕捉分辨率可以由图像传感器的全部区域中的像素的数量来确定。多个捕捉分辨率的选择可以由自适应控制器117根据由接收终端150向发送终端110反馈的信道信息来控制。
编码器113被配置为：接收由图像捕捉装置111捕捉的图像；以及编码该图像以生成经编码的数据(也被称为经编码的比特流)。编码器113可以根据任何合适的视频编码标准(也被称为视频压缩标准(例如，Windows媒体视频(WMV)、电影和电视工程师协会(SMPTE)421-M标准、运动图像专家组(MPEG)标准(例如，MPEG-1、MPEG-2或MPEG-4)、H.26x标准(例如，H.261、H.262、H.263或H.264)或另一种标准))来编码由图像捕捉装置111所捕捉的图像。在一些实施例中，视频编码标准的选择可以取决于特定的应用。例如，联合影像专家组(JPEG)标准可以用于静止图像压缩，而H.264可以用于基于运动补偿的视频压缩。在另一些实施例中，视频编码标准可以根据由解码器支持的视频编码标准、信道条件、图像质量要求等选择。例如，当信道质量好时，无损压缩标准(例如，JPEG无损压缩标准(JPEG-LS))可以用于提高图像质量。当信道质量差时，有损压缩标准(例如，H.264)可以用于减少传输延迟。
在一些实施例中，编码器113可以实现一个或多个不同的编解码器算法。编解码器算法的选择可以基于编码复杂度、编码速度、编码率(encoding ratio)、编码效率等。例如，更快的编解码器算法可以在低端(low-end)硬件上实时执行。高的编码率可以被希望用于具有小的带宽的传输信道。
在一些实施例中，编码器113可以针对由图像捕捉装置111所捕捉的图像执行帧内编码(也被称为帧内帧编码，即，基于同一图像帧中的信息的编码)、帧间编码(也被称为帧间帧编码，即，基于来自不同的图像帧的信息的编码)、或帧内编码和帧间编码二者。例如，编码器113可以针对由图像捕捉装置111所捕捉的一些帧执行帧内编码，并针对由图像捕捉装置111所捕捉的另一些帧执行帧间编码。图像帧指完整图像。在下文中，术语“帧”、“图像”和“图像帧”可互换地使用。经历帧内编码的帧也被称为经帧内编码的帧或简称为帧内帧，而经历帧间编码的帧也被称为经帧间编码的帧或简称为帧间帧。在一些实施例中，帧的块(例如，宏块(MB))可以被帧内编码，并因此被称为经帧内编码的块或帧内块，或可以被帧间编码，并因此被称为经帧间编码的块或帧间块。例如，在周期性帧内编码方案中，帧内帧可以被周期性地插入到经编码的比特流中，并且帧内帧之间的图像帧可以被帧间编码。类似地，在周期性帧内刷新方案中，帧内宏块(MB)可以被周期性地插入到经编码的比特流中，并且帧内MB之间的MB可以被帧间编码。
在另一些实施例中，编码器113还可以执行以下中的至少一项：加密、纠错编码、格式转换等。例如，当由图像捕捉装置111所捕捉的图像包含机密信息时，可以在传输或存储之前执行加密以保护机密。
第一无线收发器115包括：无线发射器和无线接收器，并且被配置为具有双向通信能力(即，可以既发送又接收数据)。在一些实施例中，无线发射器和无线接收器可以共享公共电路。在另一些实施例中，无线发射器和无线接收器可以是共享单个壳体的分离的部分。第一无线收发器115可以在任何合适的频段(例如，微波频段、毫米波频段、分米波频段、光波段等)中工作。
第一无线收发器115被配置为：从编码器113获得经编码的比特流；以及在无线信道130上向接收终端150发送经编码的比特流。在一些实施例中，第一无线收发器115也被配置为：在自适应控制器117的控制下，在无线信道130上向接收终端150发送分辨率改变信息。在另一些实施例中，第一无线收发器115还被配置为：在无线信道130上从接收终端150接收反馈信息(例如，信道信息)；以及向自适应控制器117发送反馈信息。
自适应控制器117被配置为：从第一无线收发器115获得反馈信息；以及根据反馈信息自适应地控制图像捕捉装置111、编码器113和/或第一无线收发器115。反馈信息可以包括但不限于：指示当前信道条件的信道信息，例如，SNR、SINR、BER、CQI、传输延迟、信道带宽等。即，自适应控制器117可以控制图像捕捉装置111、编码器113、和/或第一无线收发器115适应当前信道条件的改变。例如，自适应控制器117可以根据信道信息来调整图像捕捉装置111的捕捉分辨率、以及编码器113的编码率(encoding rate)和编码方案。
在一些实施例中，自适应控制器117可以包括处理器和存储器。处理器可以包括任何合适的硬件处理器，例如微处理器、微控制器、中央处理单元(CPU)、网络处理器(NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或者其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件部件。存储器存储计算机程序代码，当由处理器执行时，该计算机程序代码控制处理器来控制图像捕捉装置111、编码器113和/或第一无线收发器115，以执行与本公开一致的图像处理方法(例如，下文所述的示例性图像处理方法之一)和/或与本公开一致的编码方法(例如，下文所述的示例性编码方法之一)。在一些实施例中，计算机程序代码也控制处理器来执行上述可以由编码器113执行的编码功能中的一些或全部。即，在这些实施例中，代替专用编码器113或除了专用编码器113之外，自适应控制器117的处理器可以执行与本公开一致的方法的编码功能中的一些或全部。存储器可以包括非暂时性计算机可读存储介质，例如，随机存取存储器(RAM)、只读存储器、闪存、易失性存储器、硬盘存储装置或光介质。
根据本公开，图像捕捉装置111、编码器113、第一无线收发器115、以及自适应控制器117可以是分离的装置，或者它们中的任意两个或更多个可以被集成在一个装置中。在一些实施例中，图像捕捉装置111、编码器113、第一无线收发器115、以及自适应控制器117是可以彼此连接或耦接的分离的装置。例如，图像捕捉装置111可以是相机、摄像机或具有相机功能的智能电话。编码器113可以是包括处理器和存储器的独立的装置，并且通过有线或无线方式被耦接至图像捕捉装置111、第一无线收发器115、以及自适应控制器117。被耦接至处理器的存储器可以被配置为存储指令和数据。例如，存储器可以被配置为存储由图像捕捉装置111捕捉的图像、经编码的比特流、用于实现编码过程的计算机可执行的指令等。处理器可以是任何类型的处理器，而存储器可以是任何类型的存储器。本公开不限于此。第一无线收发器115可以是将无线发射器/接收器组合到单个封装中的独立的装置。自适应控制器117可以是通过有线或无线方式被耦接至图像捕捉装置111、编码器113、以及第一无线收发器115的电子控制装置。
在另一些实施例中，图像捕捉装置111、编码器113、第一无线收发器115、以及自适应控制器117中的任意两项可以被集成到同一装置中。例如，编码器113和自适应控制器117可以是包括处理器和存储器的同一处理装置的部分。处理器可以包括任何合适的硬件处理器(例如，CPU，DSP等)。存储器可以被配置为存储指令和数据。存储器可以包括非暂时性计算机可读存储介质，例如，随机存取存储器(RAM)、只读存储器、闪存、易失性存储器、硬盘存储装置或光介质。在该示例中，处理装置还可以包括用于耦接至图像捕捉装置111和第一无线收发器115的一个或多个(有线或无线)电接口。
在另一些实施例中，图像捕捉装置111、编码器113、第一无线收发器115、以及自适应控制器117被集成在同一电子装置中。例如，图像捕捉装置111可以包括电子装置的图像传感器和透镜或透镜组。编码器113可以通过被集成在电子装置中的单芯片编码器、单芯片编解码器、图像处理器、图像处理引擎等实现。第一无线收发器115可以通过被集成在电子装置中的集成电路、芯片、芯片组实现。自适应控制器117可以包括电子装置的控制电路，该控制电路被配置为控制图像捕捉装置111、编码器113、和/或第一无线收发器115。例如，电子装置可以是具有内置相机和主板的智能电话，该主板集成了编码器113、第一无线收发器115、以及自适应控制器117。
图3是示出与本公开一致的示例性接收终端150的示意图。接收终端150包括：第二无线收发器151、解码器153、屏幕155、信道估计器157、以及控制器159。信道估计器157被耦接至第二无线收发器151和解码器153。解码器153也被耦接至第二无线收发器151、屏幕155、以及控制器159。控制器159还被耦接至第二无线收发器151。
第二无线收发器151被配置为：在无线信道130上从发送终端110接收经编码的比特流；以及向用于解码的解码器153发送经编码的比特流。在一些实施例中，第二无线收发器151也被配置为：在无线信道130上从发送终端110中的第一无线收发器115接收分辨率改变信息。在另一些实施例中，第二无线收发器151还被配置为：从信道估计器157获得反馈信息(例如，信道信息)；以及在无线信道130上向发送终端110发送反馈信息。
第二无线收发器151包括：无线发射器和无线接收器，并且被配置为具有双向通信能力。在一些实施例中，无线发射器和无线接收器可以共享公共电路。在另一些实施例中，无线发射器和无线接收器可以是共享单个壳体的分离的部分。第二无线收发器151可以在与发送终端110中的第一无线收发器115中所使用的频段的相同的频段工作。例如，如果第一无线收发器115使用微波频段，则第二无线收发器151在对应的微波频段中工作。如果第一无线收发器115使用光波段，则第二无线收发器151在对应的光波段中工作。
解码器153被配置为：从第二无线收发器151获得经编码的比特流；以及解码经编码的比特流，以恢复由图像捕捉装置111捕捉的图像。解码器153可以支持由发送终端110中的编码器113所使用的视频编码标准。例如，如果编码器113使用H.264标准，则解码器153可以被配置为支持H.264标准。在一些实施例中，解码器153可以包括一个或多个不同的编解码器。解码器153可以选择与由编码器113所使用的编解码器相对应的编解码器。例如，如果编码使用H.261视频编解码器，则解码器153可以选择对应的H.261视频编解码器用于解码。
在一些实施例中，解码器153可以执行帧内解码(也被称为帧内帧解码，即，基于同一图像帧中的信息的解码)、帧间解码(也被称为帧间帧解码，即，基于来自不同的图像帧的信息的解码)、或帧内解码和帧间解码二者。解码器153中将帧内解码还是帧间解码应用于图像或图像的块可以基于发送终端110中的编码器113使用的编码方案。例如，如果发送终端110中的编码器113对帧或图像块应用帧内编码，则解码器153可以使用帧内解码来从经编码的比特流中恢复帧或图像块。如果发送终端110中的编码器113对帧或图像块应用帧间编码，则解码器153可以使用帧间解码来从经编码的比特流中恢复帧或图像块。
在另一些实施例中，解码器153的编码还可以执行以下中的至少一项：解密、纠错解码、格式转换等。例如，当由发送终端110中的编码器113执行加密以保护机密时，可以由接收终端150中的解码器153执行解密。
屏幕155被配置为显示所恢复的图像和/或其他信息，例如，关于何时接收到图像的数据和时间信息。所恢复的图像可以占用屏幕的一部分或整个屏幕。在一些实施例中，屏幕155可以包括用于接收用户输入的触摸板。用户可以利用外部对象(例如，用户的手指或触笔)触摸屏幕155。在一些实施例中，用户可以通过触摸屏幕155调整图像参数(例如，亮度、对比度、饱和度等)。例如，用户可以在图像上垂直滚动以选择参数，随后水平滑动以改变参数的值。
信道估计器157被配置为通过信道估计来获得信道信息。信道信息可以包括但不限于例如，SNR、SINR、BER、CQI、传输延迟、信道带宽等。可以基于不同的信道估计方案，使用导频数据和/或已接收的数据来估计信道信息。导频数据指与数据一起发送且发送终端110和接收终端150都已知的数据模式。信道估计方案可以根据所需要的性能、计算复杂度、信道的时变等选择。
例如，基于训练的信道估计使用导频数据用于信道估计，其提供好的性能，但传输效率由于需要导频数据的开销而被降低。最小平方(LS)和最小均方误差(MMSE)通常用于确定信道估计
Figure BDA0002469567660000111
。LS通过最小化导频数据和已接收的导频数据之间的平方误差之和来估计信道估计
Figure BDA0002469567660000112
。MMSE通过最小化均方误差(MSE)来估计信道估计
Figure BDA0002469567660000113
。可以基于信道估计
Figure BDA0002469567660000114
来计算信道参数(例如，SNR、SINR、BER、FER、CQI等)。作为另一示例，盲信道估计将已接收的数据的统计特性用于信道估计，无需使用导频数据。盲信道估计具有不产生导频数据的开销的优点，但其性能通常比基于训练的信道估计差。而且，盲信道估计通常需要大量的已接收的数据来提取统计特性。
控制器159被配置为：根据分辨率改变信息来控制解码器153。在一些实施例中，控制器159可以包括处理器和存储器。处理器可以包括任何合适的硬件处理器，例如微处理器、微控制器、中央处理单元(CPU)、网络处理器(NP)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或者其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件部件。存储器存储计算机程序代码，当由处理器执行时，该计算机程序代码控制处理器来控制解码器153，以执行与本公开一致的图像恢复方法(例如，下文所述的示例性图像恢复方法之一)和/或与本公开一致的解码方法(例如，下文所述的示例性解码方法之一)。在一些实施例中，计算机程序代码也控制处理器来执行上述可以由解码器153执行的解码功能中的一些或全部和/或执行上述可以由信道估计器157执行的信道估计功能中的一些或全部。即，在这些实施例中，代替专用解码器153和/或专用信道估计器157、或除了专用解码器153和/或专用信道估计器157之外，控制器159的处理器可以执行与本公开一致的方法的解码功能中的一些或全部和/或信道估计功能中的一些或全部。存储器可以包括非暂时性计算机可读存储介质，例如，随机存取存储器(RAM)、只读存储器、闪存、易失性存储器、硬盘存储装置或光介质。
根据本公开，第二无线收发器151、解码器153、屏幕155、信道估计器157、以及控制器159可以是分离的装置，或者它们中的任意两个或更多个可以被集成在一个装置中。在一些实施例中，第二无线收发器151、解码器153、屏幕155、信道估计器157、以及控制器159是可以彼此连接或耦接的分离的装置。例如，第二无线收发器151可以是将无线发射器/接收器组合到单个封装中的独立的装置。解码器153可以是包括处理器和存储器的独立的装置，并且通过有线或无线方式被耦接至第二无线收发器151、屏幕155、信道估计器157、以及控制器159。被耦接至处理器的存储器可以被配置为存储指令和数据。例如，存储器可以被配置为存储来自发送终端110的经编码的比特流、已恢复的图像、以及用于实现解码过程的计算机可执行的指令等。处理器可以是任何类型的处理器，而存储器可以是任何类型的存储器。本公开不限于此。信道估计器117可以是包括处理器和存储器的独立的装置，并且通过有线或无线方式被耦接至第二无线收发器151和解码器153。被耦接至处理器的存储器可以被配置为存储计算机可执行的指令，所述计算机可执行的指令在由处理器执行时，实现用于估计当前信道条件的信道估计算法。控制器159可以是通过有线或无线方式耦接至第二无线收发器151和解码器153的电子控制装置。
在另一些实施例中，第二无线收发器151、解码器153、屏幕155、信道估计器157、以及控制器159中的任意两项可以被集成到相同装置中。例如，控制器159和解码器153可以是包括处理器和存储器的相同处理装置的部分。处理器可以包括任何合适的硬件处理器(例如，CPU，DSP等)。存储器存储计算机程序代码，当由处理器执行时，该计算机程序代码控制处理器执行与本公开一致的图像处理方法(例如，下文描述的示例性图像处理方法之一)。存储器可以包括非暂时性计算机可读存储介质，例如，随机存取存储器(RAM)、只读存储器、闪存、易失性存储器、硬盘存储装置或光介质。在该示例中，处理装置还可以包括用于耦接至第二无线收发器151、屏幕155、以及信道估计器157的一个或多个(有线或无线)电接口。
在另一些实施例中，第二无线收发器151、解码器153、屏幕155、信道估计器157、以及控制器159被集成在同一电子装置中。例如，第二无线收发器151可以通过被集成在电子装置中的集成电路、芯片、芯片组实现。解码器153可以通过被集成在电子装置中的单芯片解码器、单芯片编解码器、图像处理器、图像处理引擎等实现。信道估计器157可以通过被集成在电子装置中的处理器实现。控制器159可以包括被配置为控制解码器153的电子装置的控制电路。例如，电子装置可以是具有主板的平板计算机，该主板集成了第二无线收发器151、解码器153、信道估计器157、以及控制器159。
将在下文中更详细地描述与本公开一致的示例性图像处理方法。与本公开一致的图像处理方法可以在与本公开一致的无线传输系统的发送终端(例如，上述无线传输系统100的发送终端110)中实现。
图4是示出与本公开一致的示例性图像处理方法400的流程图。根据图像处理方法400，自适应控制器(例如，上述发送终端110中的自适应控制器117)可以根据通过信道估计器(例如，上述接收终端150的信道估计器157)获得的信道信息来改变图像捕捉装置(例如，上述发送终端110中的图像捕捉装置111)的捕捉分辨率、以及经重构的过去帧的分辨率。经重构的过去帧指根据先前经帧间编码的帧重构的帧，该先前经帧间编码的帧是通过对过去帧(当前帧的相邻帧)进行帧间编码获得的。自适应控制器可以在经重构的过去帧的分辨率被改变之后，参考经重构的过去帧，帧间编码、或控制编码器(例如，上述发送终端110的编码器113)，以对当前帧进行帧间编码。即，在当前帧的分辨率需要响应于信道条件的改变而改变时，经重构的过去帧的分辨率可以相应地被改变，以生成用于当前帧的参考帧，使得当前帧可以被帧间编码。因此，可以保证流畅传输而与信道条件的波动无关。可以提高视频的总体感知质量，并且可以改善用户体验。
如图4中所示，在402处，根据信道信息确定目标分辨率。目标分辨率指要被发送的图像的分辨率的控制目标，其表示要在当前信道条件下被发送的图像的期望分辨率。信道信息包括：表示当前信道条件的信道参数(例如，SNR、SINR、BER、CQI、传输延迟、信道带宽等)中的一项或多项。
在一些实施例中，可以根据期望的传输延迟和当前信道带宽确定目标分辨率。即，使用其可以在当前信道带宽实现期望传输延迟的分辨率可以被确定为是目标分辨率。例如，可以基于例如奈奎斯特公式来确定可以在当前信道带宽发送数据或比特流的最大比特率。可以基于期望的传输延迟(其为期望的帧速率的倒数)来计算期望的帧速率(即，接收图像帧的期望频率)。因此，可以通过将期望的帧速率除以在当前信道带宽下的最大比特率来计算目标分辨率。
在一些实施例中，可以从多个预设分辨率中选择目标分辨率。例如，多个预设分辨率可以是图像传感器支持的多个捕捉分辨率。目标分辨率可以是多个预设分辨率之一，使用该目标分辨率，在当前带宽的传输延迟最接近于期望传输延迟。在一些实施例中，目标分辨率可以是多个预设分辨率之一，使用该目标分辨率，在当前带宽的传输延迟不大于且最接近于期望传输延迟。在一些实施例中，目标分辨率可以是多个预设分辨率之一，使用该目标分辨率，在当前带宽的传输延迟和期望传输延迟之间的差在预设范围之内。更高的分辨率可以与更高的图像质量相对应。因此，当期望传输延迟被满足时，可以选择多个预设分辨率中的最高分辨率，使用该最高分辨率，在当前带宽的传输延迟和期望传输延迟之间的差在预设范围之内。
在一些实施例中，可以根据分辨率代价函数确定目标分辨率。即，最小化分辨率代价函数的分辨率可以被确定为目标分辨率。分辨率代价函数可以在BER和传输延迟之间权衡。例如，分辨率代价函数可以如下：
Cost＝A×BER+B×transmission latency
其中，Cost表示代价，A和B表示权重，以及transmission latency＝1/(比特率×分辨率)。
传输延迟与分辨率和比特率反相关，而BER与分辨率和比特率正相关。根据不同应用场景的要求，可以调整A和B的值以趋向传输延迟的要求或BER的要求(例如，可以调整A和B的值以在Cost的计算中给予传输延迟或给予BER更大的权重)。
在一些实施例中，当可以从多个预设分辨率中选择目标分辨率时，目标分辨率可以是多个预设分辨率中的具有最小分辨率代价函数值的预设分辨率。
在一些实施例中，可以基于信道信息表来确定目标分辨率，该信道信息表具有一个或多个信道信息值和分辨率之间的预设映射方案。可以通过执行表查找，获得与一个或多个信道信息值相匹配的目标分辨率。例如，可以基于将BER和传输延迟映射至分辨率的信道信息表来确定目标分辨率。预设映射方案用于最小化上述分辨率代价函数。
在404处，当前图像帧的分辨率被改变为目标分辨率。当前图像帧可以是要被发送的帧。
在一些实施例中，改变当前图像帧的分辨率可以通过调整图像传感器的捕捉分辨率来完成。即，可以在图像传感器的捕捉分辨率被改变为目标分辨率之后捕捉当前图像帧，因此，由图像传感器捕捉的当前图像帧可以具有等于目标分辨率的分辨率。
在一些实施例中，图像传感器可以支持多个捕捉分辨率。在这些实施例中，多个捕捉分辨率被设置为在402处的处理中使用的多个预设分辨率，使得通过在402处的处理确定的目标分辨率可以是多个捕捉分辨率之一。选择多个捕捉分辨率中的等于目标分辨率的捕捉分辨率用于捕捉当前图像帧。
在另一些实施例中，当目标分辨率高于捕捉分辨率时，当前图像帧可以被升尺度至目标分辨率。图5示意性示出与本公开一致的改变图像帧的分辨率的示例。如图5中所示，对图像帧升尺度指将图像帧从较低的分辨率转换至较高的分辨率。当前图像帧可以通过将一个或多个新像素内插进当前图像帧而被升尺度至目标分辨率。此处可以使用任何合适的内插算法，例如，最近邻内插、双线性内插、双三次内插、Lanczos内插、边缘导向内插，基于机器学习的内插等。例如，最近邻内插利用同一值的多个像素替换像素。作为另一示例，双线性内插采用内插位置周围的最近的2×2个相邻像素的像素值的加权平均。作为另一示例，Lanczos内插使用低通滤波器在两个相邻像素的像素值之间平滑地内插新的像素值。
在另一些实施例中，当目标分辨率低于捕捉分辨率时，当前图像帧可以被降尺度至目标分辨率。如图5中所示，对图像帧降尺度指将图像帧从较高的分辨率转换至较低的分辨率。当前图像帧可以通过使用任何合适的2D滤波器(例如，双边滤波器、Lanczos滤波器、sinc滤波器、高斯核滤波器等)比降尺度至目标分辨率。
在406处，通过改变被处理的图像帧的分辨率来生成参考帧。被处理的图像帧可以包括根据先前经帧间编码的帧重构的帧，该先前经帧间编码的帧是通过对过去帧(当前帧的相邻帧)进行帧间编码而获得的。被处理的图像帧可以具有与目标分辨率不同的分辨率。在本公开中，被处理的图像帧也可以被称为“经重构的第一帧”，并且对应地，当前图像帧也可以被称为“第二图像帧”。先前经帧间编码的帧也可以被称为“经编码的第一帧”，而过去帧也可以被称为“第一帧”。
在一些实施例中，当目标分辨率高于被处理的图像帧的分辨率时，被处理的图像帧可以被升尺度至目标分辨率。在另一些实施例中，当目标分辨率低于被处理的图像帧的分辨率时，被处理的图像帧可以被降尺度至目标分辨率。对被处理的图像帧的升尺度和降尺度处理分别与上述当前图像帧的升尺度和降尺度处理类似。其详细描述在此处省略。
在一些实施例中，可以通过将根据多个先前经帧间编码的帧重构的多个图像帧的分辨率改变至目标分辨率来生成多个参考帧。可以通过对多个过去帧进行帧间编码来获得多个先前经帧间编码的帧。可以选择使用多个参考帧中的一些或全部。
在408处，使用参考帧对当前图像帧进行帧间编码。在本公开中，通过对当前图像帧进行帧间编码获得的经帧间编码的当前图像帧也可以被称为“经编码的第二帧”。
图6是示出与本公开一致的帧间编码处理和重构处理的示意图。如图6中所示，帧间编码处理包括：由通过图6中的实线箭头所连接的“正向通路”示出的帧间预测处理601、变换处理602、量化处理603、以及熵编码处理604。此处可以使用任何合适的视频编码标准，例如，WMV、SMPTE 421-M、MPEG-x(例如，MPEG-1、MPEG-2或MPEG-4)、H.26x(例如，H.261、H.262、H.263或H.264)或另一种格式。
帧间编码处理可以在整个当前图像帧或块(例如，当前图像帧的MB)上执行。图像帧的块的尺寸和类型可以根据所采用的编码标准来确定。例如，覆盖16×16像素的固定尺寸的MB是H.264标准中所采用的基本语法和处理单元。H.264还允许将MB细分成减小为4×4像素尺寸的更小的子块，用于运动补偿预测。MB可以按照以下4种方式中的一种被划分成子块：16×16、16×8、8×16、或8×8。8×8子块还可以按照以下4种方式中的一种划分：8×8、8×4、4×8、或4×4。因此，当使用H.264标准时，图像帧的块尺寸可以采用如上文所述的两者之间的许多选项，范围从16×16到4×4。
在帧间预测处理601中，根据帧间预测模式，使用参考帧的块来生成经帧间预测的块。可以从由所采用的视频编码标准所支持的多种帧间预测模式中选择帧间预测模式。采用H.264作为示例，H.264支持帧间预测模式的所有可能组合，帧间预测模式例如是在帧间运动估计中使用的可变块尺寸(例如，16×16、16×8、8×16、8×8、8×4、4×8、4×4))、不同的帧间运动估计模式(例如，使用整数像素、半像素或四分之一像素运动估计)、以及多个参考帧。
在一些实施例中，帧间预测模式可以是多种帧间预测模式中的用于当前图像帧的块的最佳帧间预测模式。在此处可以使用任何合适的预测模式选择技术。例如，H.264使用率失真优化(RDO)技术来选择对于当前的MB具有最小的率失真(RD)代价的帧间预测模式。
在一些实施例中，可以使用来自多个参考图像的两个或更多个块来生成经帧间预测的块。例如，H.264支持多个参考帧，例如，多达32个参考帧，包括16个过去帧和16个将来帧。预测块可以通过来自参考帧的块的加权和来创建。
从当前图像帧的块中减去经帧间预测的块，以生成残差块。
在变换处理602中，残差块从空间域变换到频域(也被称为频谱域)中的表示，残差块在其中可以根据多个频域分量(例如，多个正弦和/或余弦分量)来表示。与频域表示中的频域分量相关联的系数也被称为变换系数。此处可以使用任何合适的变换方法(例如，离散余弦变换(DCT)、小波变换等)。采用H.264作为示例，使用从DCT导出的4×4或8×8整数变换来变换残差块。
在量化处理603中，变换系数被量化，以提供经量化的变换系数。例如，经量化的变换系数可以通过将变换系数除以量化步长尺寸(Qstep)获得。
在熵编码处理604中，经量化的变换系数被转换成二进制码且因此获得比特流形式的经帧间编码的块。可以使用任何合适的熵编码技术，例如，霍夫曼编码、一元编码、算术编码、香农-Fano编码等。例如，上下文自适应可变长度编码(CAVLC)在H.264标准中使用，以生成比特流。在一些实施例中，经量化的变换系数在经历熵编码之前可以被重新排序。
再次参考图4，在410处，生成对解码经帧间编码的当前图像帧有用的分辨率改变信息。在一些实施例中，分辨率改变信息可以包括分辨率改变标记和目标分辨率。分辨率改变标记指示当前图像的分辨率是否被改变。例如，分辨率改变标记可以具有两种状态“0”和“1”，状态“1”表示当前图像的分辨率已经改变，而状态“0”表示当前图像的分辨率没有改变。在一些实施例中，分辨率改变信息可以由多个信道相关信令比特承载。
在一些实施例中，图像处理方法400也可以在406处的处理之前包括用于通过重构先前经帧间编码的帧而生成经处理的图像帧的处理。如图6中所示，用于重构经帧间编码的图像帧的处理包括：由通过图6中的虚线箭头所连接的“反向通路”示出的逆量化处理605、逆变换处理606、以及重构处理607。在下文所述的处理中，假设过去帧已经根据图6中示出的“正向通路”在先前进行了帧间编码，以获得先前经帧间编码的帧和对应的经量化的变换系数。
在逆量化处理605中，与先前经帧间编码的帧相对应的经量化的变换系数乘以量化步长尺寸(Qstep)，以获得经重构的变换系数。在逆变换处理606中，经重构的变换系数被逆变换，以生成经重构的残差块。在重构处理607中，经重构的残差块被加到(通过对过去帧进行帧间预测的块获得的)经帧间预测的块，以重构被处理的图像帧的块。
将在下文中更详细地描述与本公开一致的示例性图像恢复方法。与本公开一致的图像恢复方法可以在与本公开一致的无线传输系统的接收终端(例如，上述无线传输系统100的接收终端150)中实现。
图7是示出与本公开一致的示例性图像恢复方法700的流程图。根据图像恢复方法700，控制器(例如，上述接收终端150的控制器159)可以根据从发送终端(例如，上述发送终端110)发送的分辨率改变信息，改变经解码的图像帧的分辨率。经解码的图像帧指根据先前接收的经编码的比特流的形式的经编码的图像帧而恢复的图像帧。控制器还可以在经解码的图像帧的分辨率改变之后，参考经解码的图像帧来帧间解码或控制解码器(例如，上述接收终端150的解码器153)，对当前接收的经编码的比特流形式的经编码的图像帧进行帧间解码。
如图7中所示，在701处，接收关于当前接收的经编码的帧中的分辨率改变的分辨率改变信息。在一些实施例中，分辨率改变信息可以包括分辨率改变标记和新分辨率。分辨率改变标记指示当前接收的经编码的图像的分辨率是否已经改变。例如，分辨率改变标记可以具有两种状态“0”和“1”，状态“1”表示当前图像的分辨率已经改变，而状态“0”表示当前图像的分辨率没有改变。在一些实施例中，分辨率改变信息可以由多个信道相关信令比特承载。
在703处，通过根据分辨率改变信息改变经解码的图像帧的分辨率来生成参考帧。即，当分辨率改变标记指示当前接收的经编码的图像帧已经改变时，则通过将经解码的图像帧的分辨率改变至新分辨率来生成参考帧。经解码的图像帧指根据先前接收的经编码的图像帧而恢复的图像帧。
在一些实施例中，当经编码的图像帧的分辨率高于新分辨率时，经解码的图像帧可以被升尺度至新分辨率。在另一些实施例中，当经编码的图像帧的分辨率低于新分辨率，经解码的图像帧可以被降尺度至新分辨率。经解码的图像帧的升尺度和降尺度处理与在404处的上述当前图像帧的升尺度和降尺度处理类似。其详细描述在此处省略。
在一些实施例中，可以通过改变根据多个先前接收的经编码的图像帧而恢复的多个经解码的图像帧的分辨率来生成多个参考帧。可以选择使用多个参考帧中的一些或全部。
在705处，使用参考帧来解码经编码的图像帧。经编码的图像帧指当前接收的经编码的比特流形式的经编码的图像帧。
图8是示出与本公开一致的帧间解码处理的示意图。如图8中所示，帧间解码处理包括：熵解码处理801、逆量化处理802、逆变换处理803、预测处理804、以及重构处理805。
在熵解码处理801中，经编码的图像帧被转换为经解码的量化的变换系数。此处可以使用与在408处针对对图像帧的块进行帧间编码所采用的熵编码技术相对应的熵解码技术。例如，当在熵编码处理中采用霍夫曼编码时，可以在熵解码处理中使用霍夫曼解码。作为另一个示例，当在熵编码处理中采用算术编码时，可以在熵解码处理中使用算术解码。
在逆量化处理802中，经解码的量化的变换系数乘以量化步长尺寸(Qstep)，以获得经解码的变换系数。
在逆变换处理803中，经解码的变换系数被逆变换以生成经解码的残差块。可以使用与在408处针对帧间编码当前的图像帧的块所采用的变换算法相对应的逆变换算法。例如，在H.264中，在变换处理中采用从DCT导出的4×4或8×8整数变换，因此，可以在逆变换处理中使用4×4或8×8整数逆变换。
在预测处理804中，根据预测模式，使用参考帧的块来生成预测后的块。可以使用与在408处针对对当前的图像帧的块进行帧间编码所采用的帧间预测模式相对应的预测模式。预测处理804的实现与上述帧间预测处理601的实现类似。其详细描述在此处省略。
在重构处理805中，经解码的残差块与预测后的块相加，以恢复经编码的图像帧的块。
将在下文详细描述与本公开一致的示例性编码方法。与本公开一致的编码方法可以在与本公开一致的无线传输系统的发送终端(例如，上述无线传输系统100的发送终端110)中实现。编码方法可以包括与本公开一致的图像处理方法或可以是其一部分。
图9是示出与本公开一致的示例性编码方法900的流程图。根据编码方法900，自适应控制器(例如，上述发送终端110的自适应控制器117)可以改变经重构的过去帧的分辨率，以获得参考帧。经重构的过去帧指根据先前经帧间编码的帧重构的帧，该先前经帧间编码的帧是通过对过去帧(当前帧的相邻帧)进行帧间编码获得的。自适应控制器还可以编码或控制编码器(例如，上述发送终端110的编码器113)，以使用参考帧对当前帧进行编码以生成经编码的帧。即，在当前帧的分辨率响应于信道条件的改变而改变时，经重构的过去帧的分辨率可以相应地被改变，以生成用于当前帧的参考帧，使得当前帧可以被帧间编码。因此，可以保证流畅传输而与信道条件的波动无关。可以提高视频的总体感知质量，并且可以改善用户体验。
如图9中所示，在901处，响应于从第一分辨率到第二分辨率的分辨率改变，获得具有第一分辨率的经编码的第一帧。
在一些实施例中，经编码的第一帧可以包括先前经编码的帧，该先前经编码的帧是通过编码具有第一分辨率的第一帧获得的。第一帧可以包括具有第一分辨率的过去帧(当前帧的相邻帧)或具有所述第一分辨率的多个过去帧之一。
在一些实施例中，经编码的第一帧可以是经帧间编码的帧或经帧内编码的帧。在另一些实施例中，经编码的第一帧可以是包括一个或多个经帧内编码的块的经帧间编码的帧。
在902处，通过重构经编码的第一帧，生成经重构的第一帧。
在一些实施例中，当经编码的第一帧是经帧间编码的帧时，如图6中所示，用于重构经编码的第一帧的处理包括：由通过图6中的虚线所连接的“反向通路”示出的逆量化处理605、逆变换处理606、以及重构处理607。在逆量化处理605中，与经编码的第一帧相对应的经量化的变换系数乘以量化步长尺寸(Qstep)，以获得经重构的变换系数。在逆变换处理606中，经重构的变换系数被逆变换，以生成经重构的残差块。在重构处理607中，经重构的残差块被加到(通过对过去帧进行帧间预测的块获得的)经帧间预测的块，以重构被处理的图像帧的块。
在一些实施例中，当经编码的第一帧是经帧内编码的帧时，逆量化处理和逆变换处理与图6中示出的逆量化处理605和逆变换处理606类似。其详细描述在此处省略。在重构处理中，(通过针对经编码的第一帧的块执行逆量化处理和逆变换处理获得的)经重构的残差块与(通过对第一帧的块进行帧内预测获得的)经帧内预测的块相加，以重构经重构的第一帧的块。
在另一些实施例中，当经编码的第一帧是包括一个或多个经帧内编码的块的经帧间编码的帧时，该一个或多个经帧内编码的块被逆量化和逆变换，以生成一个或多个残差块，并且该一个或多个残差块与对应的(通过对第一帧的对应的块进行帧内预测获得的)经帧内预测的块相加，以重构一个或多个经重构的第一帧的块。第一帧的其余块(即，除了经帧内编码的块之外的块)被逆量化和逆变换，以生成残差块，并且(通过对第一帧的对应的块进行帧间预测获得的)该残差块与对应的其余块相加，以得到经重构的第一帧的经重构的其余块。
在903处，通过基于第二分辨率缩放经重构的第一帧来获得参考帧。
在一些实施例中，当第一分辨率高于第二分辨率时，经重构的第一帧可以被降尺度至第二分辨率。在另一些实施例中，当第一分辨率低于第二分辨率时，经重构的第一帧可以被升尺度至第二分辨率。经重构的第一帧的升尺度和降尺度处理与在404处的上述当前图像帧的升尺度和降尺度处理类似。其详细描述在此处省略。
在904处，通过使用参考帧来编码第二帧，生成具有第二分辨率的经编码的第二帧。第二帧指当前接收的需要被编码的帧。第二帧可以具有第二分辨率。
在一些实施例中，可以通过使用参考帧对第二帧进行帧间编码来生成经编码的第二帧。第二帧的帧间编码处理与在408处的上述当前图像帧的帧间编码处理类似。其详细描述在此处省略。
在905处，生成对经编码的第二帧进行解码有用的分辨率改变信息。分辨率改变信息的生成与在410处的处理类似。其详细描述在此处省略。
在906处，向解码器发送经编码的第二帧和分辨率改变信息。例如，解码器可以是接收终端150的解码器153。
在一些实施例中，经编码的第二帧可以由任何合适的频段(例如，微波频段、毫米波频段、分米波频段、光波段等)承载，以向解码器发送。
在一些实施例中，可以使用多个信道相关信令比特来发送分辨率改变信息。
在一些实施例中，也可以向解码器发送对经编码的第二帧进行解码有用的信息，如，用于使解码器能够重建预测的信息(例如，所选择的预测模式、分割尺寸等)、关于比特流的结构的信息、关于完整序列的信息(例如，MB头)等。
在一些实施例中，编码方法900也可以包括：用于通过编码第一帧来生成经编码的第一帧的处理。在一些实施例中，当第一帧被帧间编码时，根据图6中示出的“正向通路”生成经编码的第一帧，其与在408处的上述当前图像帧的帧间编码处理类似。其详细描述在此处省略。
在一些实施例中，当第一帧被帧内编码时，除了使用帧内预测处理来代替帧间预测处理之外，该帧内编码处理与帧间编码处理类似。帧内预测处理采用空间预测，其采用第一帧内包含的空间冗余。此处可以使用任何合适的帧内预测模式。例如，H.264支持用于4×4和8×8亮度块的9种帧内预测模式，其包括8种方向模式(directional mode)和1种帧内直接分量(DC)模式(非方向模式)。在一些实施例中，帧内预测处理也可以包括预测选择处理。在此处可以使用任何合适的预测模式选择技术。例如，H.264使用率失真优化(RDO)技术来选择对于当前的MB具有最小的率失真(RD)代价的帧内预测模式。
在另一些实施例中，对第一帧的一个或多个块进行帧内编码，并对第一帧的其余块进行帧间编码。
将在下文详细描述与本公开一致的示例性解码方法。与本公开一致的解码方法可以在与本公开一致的无线传输系统的接收终端(例如，上述无线传输系统100的接收终端150)中实现。解码方法可以包括与本公开一致的图像恢复方法或可以是其一部分。
图10是示出与本公开一致的示例性解码方法1000的流程图。根据解码方法1000，控制器(例如，上述接收终端150的控制器159)可以根据从发送终端(例如，上述发送终端110)发送的分辨率改变信息，改变经解码的图像帧的分辨率。经解码的图像帧指根据先前接收的经编码的比特流的形式的经编码的图像帧而恢复的图像帧。控制器还可以在经解码的图像帧的分辨率改变之后，参考经解码的图像帧来帧间解码或控制解码器(例如，上述接收终端150的解码器153)，对当前接收的经编码的比特流形式的经编码的图像帧进行帧间解码。
如图10中所示，在1010处，从编码器接收经编码的帧和分辨率改变信息，所述分辨率改变信息指示从第一分辨率到第二分辨率的分辨率改变。例如，编码器可以是发送终端110的编码器113。
在一些实施例中，经编码的帧可以包括当前接收的经编码的帧。在本公开中，经编码的帧也可以被称为经编码的第二帧。
在一些实施例中，分辨率改变信息可以由多个信道相关信令比特承载。
在一些实施例中，也可以从编码器接收对解码经编码的帧有用的信息，如，用于使解码器能够重建预测的信息(例如，所选择的预测模式、分割尺寸等)、关于比特流的结构的信息、关于完整序列的信息(例如，MB头)等。
在1030处，响应于从第一分辨率到第二分辨率的分辨率改变，获得具有第一分辨率的经解码的第一帧。
在一些实施例中，经解码的第一帧可以包括根据具有第一分辨率的经编码的第一帧而恢复的帧。经编码的第一帧可以包括具有第一分辨率的先前接收的经编码的图像帧(当前接收的经编码的帧的相邻帧)或具有第一分辨率的多个先前接收的经编码的图像帧之一。
在一些实施例中，经解码的第一帧可以是经帧间解码的帧或经帧内解码的帧。在另一些实施例中，经解码的第一帧可以是包括一个或多个经帧内解码的块的经帧间解码的帧。
在1050处，基于第二分辨率来缩放经解码的第一帧，以获得参考帧。
在一些实施例中，当第一分辨率高于第二分辨率时，经解码的第一帧可以被降尺度至第二分辨率。在另一些实施例中，当第一分辨率低于第二分辨率时，经解码的第一帧可以被升尺度至第二分辨率。经解码的第一帧的升尺度和降尺度处理与在404处的上述当前图像帧的升尺度和降尺度处理类似。其详细描述在此处省略。
在1070处，使用参考帧来解码经编码的第二帧。
在一些实施例中，经编码的第二帧可以例如根据图8中所示的帧间解码处理被帧间解码。经编码的第二帧的帧间解码处理与在705处的上述经编码的图像帧的帧间解码处理类似。其详细描述在此处省略。
在一些实施例中，解码方法1000也可以包括：用于通过解码经编码的第一帧来生成经解码的第一帧的处理。
在一些实施例中，经编码的第一帧可以是经帧间编码的帧或经帧内编码的帧。在一些实施例中，经编码的第一帧可以是具有一个或多个经帧内编码的块的经帧间编码的帧。
在一些实施例中，当经编码的第一帧是经帧间编码的帧时，可以通过例如根据图8中示出的帧间解码处理对经编码的第一帧进行帧间解码来生成经解码的第一帧。经编码的第二帧的帧间解码处理与在705处的上述经编码的图像帧的帧间解码处理类似。其详细描述在此处省略。
在一些实施例中，当经编码的第一帧是经帧内编码的帧时，可以通过对经编码的第一帧进行帧内解码来生成经解码的第一帧。除了使用帧内预测处理来代替帧间预测处理之外，该帧内解码处理与帧间解码处理类似。
在一些实施例中，经编码的第一帧是具有一个或多个经帧内编码的块的经帧间编码的帧。该经编码的第一帧的一个或多个经帧内编码的块被帧内解码，且该经编码的第一帧的其余块被帧间解码。
考虑到所公开的实施例的方法和系统的说明书和实践，本公开的其他实施例对本领域技术人员而言将是显而易见的。说明书和示例旨在被认为仅仅是示例性的并且不旨在限制本公开的范围，本发明的真正的范围和精神由随附的权利要求指示。

Claims (52)

1.一种图像处理方法，包括：
通过改变经重构的第一帧的分辨率来生成参考帧；
使用所述参考帧对第二帧进行帧间编码；以及
生成对经编码的第二帧进行解码有用的分辨率改变信息。
2.根据权利要求1所述的图像处理方法，还包括：
通过重构经编码的第一帧来生成所述经重构的第一帧。
3.根据权利要求1所述的图像处理方法，还包括：
响应于信道条件的改变，确定改变所述经重构的第一帧的分辨率。
4.根据权利要求3所述的图像处理方法，其中，通过改变所述经重构的第一帧的分辨率来生成所述参考帧包括：
根据目标分辨率来改变所述经重构的第一帧的分辨率。
5.根据权利要求4所述的图像处理方法，其中，通过改变所述经重构的第一帧的分辨率来生成所述参考帧包括：
当所述经重构的第一帧的分辨率高于所述目标分辨率时，根据所述目标分辨率对所述经重构的第一帧降尺度。
6.根据权利要求4所述的图像处理方法，其中，通过改变所述经重构的第一帧的分辨率来生成所述参考帧包括：
当所述经重构的第一帧的分辨率低于所述目标分辨率时，根据所述目标分辨率对所述经重构的第一帧升尺度。
7.根据权利要求4所述的图像处理方法，还包括：
根据所述信道条件来确定所述目标分辨率。
8.根据权利要求4所述的图像处理方法，还包括：
在对所述第二帧进行帧间编码之前，根据所述目标分辨率来改变所述第二帧的分辨率。
9.根据权利要求1所述的图像处理方法，其中，所述分辨率改变信息包括所述目标分辨率。
10.一种图像恢复方法，包括：
接收关于经编码的帧中的分辨率改变的分辨率改变信息；
通过根据所述分辨率改变信息改变经解码的帧的分辨率来生成参考帧；以及
根据所述参考帧来解码经编码的帧。
11.根据权利要求10所述的图像恢复方法，其中，所述分辨率改变信息包括新分辨率。
12.根据权利要求10所述的图像恢复方法，其中，根据所述分辨率改变信息改变所述经解码的帧的分辨率包括：
当所述经解码的帧的分辨率高于所述分辨率改变信息中的新分辨率时，根据所述新分辨率对所述经解码的帧的分辨率降尺度。
13.根据权利要求10所述的图像恢复方法，其中，根据所述分辨率改变信息改变所述经解码的帧的分辨率包括：
当所述经解码的帧的分辨率低于所述分辨率改变信息中的新分辨率时，根据所述新分辨率对所述经解码的帧的分辨率升尺度。
14.一种编码方法，包括：
响应于从第一分辨率到第二分辨率的分辨率改变，获得具有所述第一分辨率的经编码的第一帧；
重构所述经编码的第一帧以生成经重构的第一帧；
基于所述第二分辨率来缩放所述经重构的第一帧，以获得参考帧；以及
使用所述参考帧来编码第二帧，以生成具有所述第二分辨率的经编码的第二帧。
15.根据权利要求14所述的编码方法，其中，所述分辨率改变是对信道条件的改变的响应。
16.根据权利要求14所述的编码方法，还包括：
编码第一帧以生成所述经编码的第一帧。
17.根据权利要求14所述的编码方法，还包括：
生成对经编码的第二帧进行解码有用的分辨率改变信息。
18.根据权利要求14所述的编码方法，还包括：
将所述经编码的第二帧和所述分辨率改变信息发送至解码器。
19.根据权利要求14所述的编码方法，其中，缩放所述经重构的第一帧包括：
当所述第一分辨率高于所述第二分辨率时，对所述经重构的第一帧降尺度。
20.根据权利要求14所述的编码方法，其中，缩放所述经重构的第一帧包括：
当所述第一分辨率低于所述第二分辨率时，对所述经重构的第一帧升尺度。
21.一种解码方法，包括：
响应于从第一分辨率到第二分辨率的分辨率改变，获得具有所述第一分辨率的经解码的第一帧；
基于所述第二分辨率来缩放所述经解码的第一帧，以获得参考帧；以及
使用所述参考帧来经编码的第二帧进行解码。
22.根据权利要求21所述的解码方法，还包括：
从编码器接收所述经编码的第二帧和分辨率改变信息，所述分辨率改变信息指示从所述第一分辨率到所述第二分辨率的所述分辨率改变。
23.根据权利要求21所述的解码方法，还包括：
解码经编码的第一帧，以生成所述经解码的第一帧。
24.根据权利要求21所述的解码方法，其中，缩放所述经解码的第一帧包括：
当所述第一分辨率高于所述第二分辨率时，对所述经解码的第一帧降尺度。
25.根据权利要求21所述的解码方法，其中，缩放所述经解码的第一帧包括：
当所述第一分辨率低于所述第二分辨率时，对所述经解码的第一帧升尺度。
26.一种图像处理设备，包括：
一个或多个处理器；以及
一个或多个存储器，耦接至所述一个或多个处理器并存储指令，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器：
通过改变经重构的第一帧的分辨率来生成参考帧；
使用所述参考帧对第二帧进行帧间编码；以及
生成对经编码的第二帧进行解码有用的分辨率改变信息。
27.根据权利要求26所述的图像处理设备，其中，所述指令还使所述一个或多个处理器：
通过重构经编码的第一帧来生成所述经重构的第一帧。
28.根据权利要求26所述的图像处理设备，其中，所述指令还使所述一个或多个处理器：
响应于信道条件的改变，确定改变所述经重构的第一帧的分辨率。
29.根据权利要求28所述的图像处理设备，其中，所述指令还使所述一个或多个处理器：
根据目标分辨率来改变所述经重构的第一帧的分辨率。
30.根据权利要求29所述的图像处理设备，其中，所述指令还使所述一个或多个处理器通过以下操作来改变所述经重构的第一帧的分辨率：
如果所述经重构的第一帧的分辨率高于所述目标分辨率，则根据所述目标分辨率对所述经重构的第一帧降尺度。
31.根据权利要求29所述的图像处理设备，其中，所述指令还使所述一个或多个处理器通过以下操作来改变所述经重构的第一帧的分辨率：
如果所述经重构的第一帧的分辨率低于所述目标分辨率，则根据所述目标分辨率对所述经重构的第一帧升尺度。
32.根据权利要求29所述的图像处理设备，其中，所述指令还使所述一个或多个处理器：
根据所述信道条件来确定所述目标分辨率。
33.根据权利要求29所述的图像处理设备，其中，所述指令还使所述一个或多个处理器：
在对所述第二帧进行帧间编码之前，根据所述目标分辨率来改变所述第二帧的分辨率。
34.根据权利要求26所述的图像处理设备，其中，所述分辨率改变信息包括所述目标分辨率。
35.一种图像恢复设备，包括：
一个或多个处理器；以及
一个或多个存储器，耦接至所述处理器并存储指令，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器：
接收关于经编码的帧中的分辨率改变的分辨率改变信息；
通过根据所述分辨率改变信息改变经解码的帧的分辨率来生成参考帧；以及
根据所述参考帧来解码经编码的帧。
36.根据权利要求35所述的图像恢复设备，其中，所述分辨率改变信息包括新分辨率。
37.根据权利要求35所述的图像恢复设备，其中，所述指令还使所述一个或多个处理器通过以下操作来改变所述经编码的帧的分辨率：
如果所述经解码的帧的分辨率高于新分辨率，则根据所述新分辨率对所述经解码的帧的分辨率降尺度。
38.根据权利要求35所述的图像恢复设备，其中，所述指令还使所述一个或多个处理器通过以下操作来改变所述经编码的帧的分辨率：
如果所述经解码的帧的分辨率低于新分辨率，则根据所述新分辨率对所述经解码的帧的分辨率升尺度。
39.一种编码设备，包括：
一个或多个处理器；以及
一个或多个存储器，耦接至所述处理器并存储指令，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器：
响应于从第一分辨率到第二分辨率的分辨率改变，获得具有所述第一分辨率的经编码的第一帧；
重构所述经编码的第一帧以生成经重构的第一帧；
基于所述第二分辨率来缩放所述经重构的第一帧，以获得参考帧；以及
使用所述参考帧来编码第二帧，以生成具有所述第二分辨率的经编码的第二帧。
40.根据权利要求39所述的编码设备，其中，所述指令还使所述一个或多个处理器：
响应于信道条件的改变而执行所述分辨率改变。
41.根据权利要求39所述的编码设备，其中，所述指令还使所述一个或多个处理器：
编码第一帧以生成所述经编码的第一帧。
42.根据权利要求39所述的编码设备，其中，所述指令还使所述一个或多个处理器：
生成对经编码的第二帧进行解码有用的分辨率改变信息。
43.根据权利要求39所述的编码设备，其中，所述指令还使所述一个或多个处理器：
将所述经编码的第二帧和所述分辨率改变信息发送至解码器。
44.根据权利要求39所述的编码设备，其中，所述指令还使所述一个或多个处理器通过以下操作来缩放所述经重构的第一帧：
当所述第一分辨率高于所述第二分辨率时，对所述经重构的第一帧降尺度。
45.根据权利要求39所述的编码设备，其中，所述指令还使所述一个或多个处理器通过以下操作来缩放所述经重构的第一帧：
当所述第一分辨率低于所述第二分辨率时，对所述经重构的第一帧升尺度。
46.一种解码设备，包括：
一个或多个处理器；以及
一个或多个存储器，耦接至所述处理器并存储指令，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器：
响应于从第一分辨率到第二分辨率的分辨率改变，获得具有所述第一分辨率的经解码的第一帧；
基于所述第二分辨率来缩放所述经解码的第一帧，以获得参考帧；以及
使用所述参考帧来经编码的第二帧进行解码。
47.根据权利要求46所述的解码设备，其中，所述指令还使所述一个或多个处理器：
从编码器接收所述经编码的第二帧和分辨率改变信息，所述分辨率改变信息指示从所述第一分辨率到所述第二分辨率的所述分辨率改变。
48.根据权利要求46所述的解码设备，其中，所述指令还使所述一个或多个处理器：
解码经编码的第一帧，以生成所述经解码的第一帧。
49.根据权利要求46所述的解码设备，其中，所述指令还使所述一个或多个处理器通过以下操作来缩放所述经解码的第一帧：
当所述第一分辨率高于所述第二分辨率时，对所述经解码的第一帧降尺度。
50.根据权利要求46所述的解码设备，其中，所述指令还使所述一个或多个处理器通过以下操作来缩放所述经解码的第一帧：
当所述第一分辨率低于所述第二分辨率时，对所述经解码的第一帧升尺度。
51.一种无线通信系统，包括：
发送终端，所述发送终端包括：
一个或多个第一处理器；以及
一个或多个第一存储器，耦接至所述一个或多个第一处理器并存储第一指令，所述第一指令在由所述一个或多个第一处理器执行时使所述一个或多个第一处理器：
通过改变经重构的第一帧的分辨率来生成参考帧；
使用所述参考帧对第二帧进行帧间编码；以及
生成对经编码的第二帧进行解码有用的分辨率改变信息；以及
接收终端，所述接收终端包括：
一个或多个第二处理器；以及
一个或多个第二存储器，耦接至所述一个或多个第二处理器并存储第二指令，所述第二指令在由所述一个或多个第二处理器执行时使所述一个或多个第二处理器：
接收关于经编码的帧中的分辨率改变的分辨率改变信息；
通过根据所述分辨率改变信息改变经解码的帧的分辨率来生成参考帧；以及
根据所述参考帧来解码经编码的帧。
52.根据权利要求51所述的无线通信系统，其中，所述第一指令还使所述一个或多个第一处理器：
通过构造经编码的第一帧来生成所述经重构的第一帧。
CN201880070195.3A 2018-02-12 2018-02-12 图像处理 Pending CN111279640A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/076530 WO2019153351A1 (en) 2018-02-12 2018-02-12 Image processing

Publications (1)

Publication Number Publication Date
CN111279640A true CN111279640A (zh) 2020-06-12

Family

ID=67547780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880070195.3A Pending CN111279640A (zh) 2018-02-12 2018-02-12 图像处理

Country Status (4)

Country Link
US (1) US20200374553A1 (zh)
EP (1) EP3652938A4 (zh)
CN (1) CN111279640A (zh)
WO (1) WO2019153351A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11388412B2 (en) * 2019-11-26 2022-07-12 Board Of Regents, The University Of Texas System Video compression technique using a machine learning system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5821986A (en) * 1994-11-03 1998-10-13 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
CN101222296A (zh) * 2008-01-31 2008-07-16 上海交通大学 上行蜂窝视频通信中自适应的传输方法及系统
US20140098883A1 (en) * 2012-10-09 2014-04-10 Nokia Corporation Method and apparatus for video coding
GB2504070B (en) * 2012-07-12 2014-11-19 Canon Kk Method and device for encoding or decoding at least part of an image
EP3038370A1 (en) * 2014-12-22 2016-06-29 Alcatel Lucent Devices and method for video compression and reconstruction
CN107155107A (zh) * 2017-03-21 2017-09-12 腾讯科技（深圳）有限公司 视频编码方法和装置、视频解码方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102769747A (zh) * 2012-06-29 2012-11-07 中山大学 一种基于并行迭代的分级分布式视频编解码方法及系统
US10127448B2 (en) * 2014-08-27 2018-11-13 Bae Systems Information And Electronic Systems Integration Inc. Method and system for dismount detection in low-resolution UAV imagery
WO2018120198A1 (zh) * 2016-12-30 2018-07-05 深圳市大疆创新科技有限公司 图像处理方法、装置、无人飞行器和接收端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5821986A (en) * 1994-11-03 1998-10-13 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
CN101222296A (zh) * 2008-01-31 2008-07-16 上海交通大学 上行蜂窝视频通信中自适应的传输方法及系统
GB2504070B (en) * 2012-07-12 2014-11-19 Canon Kk Method and device for encoding or decoding at least part of an image
US20140098883A1 (en) * 2012-10-09 2014-04-10 Nokia Corporation Method and apparatus for video coding
EP3038370A1 (en) * 2014-12-22 2016-06-29 Alcatel Lucent Devices and method for video compression and reconstruction
CN107155107A (zh) * 2017-03-21 2017-09-12 腾讯科技（深圳）有限公司 视频编码方法和装置、视频解码方法和装置

Also Published As

Publication number Publication date
US20200374553A1 (en) 2020-11-26
EP3652938A1 (en) 2020-05-20
EP3652938A4 (en) 2020-05-20
WO2019153351A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
JP6913755B2 (ja) 広角イントラ予測によるビデオおよび画像の符号化
JP6862633B2 (ja) レート制御方法及びレート制御装置
JP6254668B2 (ja) イントラ予測モードにおける映像復号化方法
CN108769682B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
WO2019197674A1 (en) Block-level super-resolution based video coding
EP2685739A1 (en) Real-time encoding system of multiple spatially scaled video based on shared video coding information
KR101482896B1 (ko) 최적화된 디블록킹 필터
US20140254660A1 (en) Video encoder, method of detecting scene change and method of controlling video encoder
CN112995663B (zh) 视频编码的方法、视频解码的方法及相应装置
KR20200128375A (ko) 인트라 예측 모드 스케일러블 코딩 방법 및 장치
JP6875821B2 (ja) 画像符号化装置、撮像装置、画像符号化方法およびプログラム
US20210014486A1 (en) Image transmission
CN110754091A (zh) 用于360度视频编码的解块滤波
CN112740663B (zh) 图像预测方法、装置以及相应的编码器和解码器
CN113243106B (zh) 一种用于视频图像的预测块的帧内预测的设备和方法
US20200374553A1 (en) Image processing
CN111327907B (zh) 一种帧间预测的方法、装置、设备及存储介质
CN111405277B (zh) 帧间预测方法、装置以及相应的编码器和解码器
CN112055211A (zh) 视频编码器及qp设置方法
CN113395521A (zh) 图像编码和解码方法及装置
CN115988202A (zh) 一种用于帧内预测的设备和方法
US20200280725A1 (en) Video data encoding
KR101339764B1 (ko) Ｃｆａ를 이용하여 획득한 샘플링된 컬러 영상을 부호화/복호화하기 위한 장치 및 그 방법
JP2013017085A (ja) 画像符号化装置及び画像符号化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200612

WD01 Invention patent application deemed withdrawn after publication