CN105791861B - 定向内插和数据后处理 - Google Patents

定向内插和数据后处理 Download PDF

Info

Publication number
CN105791861B
CN105791861B CN201610127451.0A CN201610127451A CN105791861B CN 105791861 B CN105791861 B CN 105791861B CN 201610127451 A CN201610127451 A CN 201610127451A CN 105791861 B CN105791861 B CN 105791861B
Authority
CN
China
Prior art keywords
video
region
processing
post
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610127451.0A
Other languages
English (en)
Other versions
CN105791861A (zh
Inventor
亚历山德罗斯·图拉皮斯
阿萨纳西奥斯·莱昂塔里斯
佩沙拉·V·帕哈拉瓦达
凯文·J·斯特茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN105791861A publication Critical patent/CN105791861A/zh
Application granted granted Critical
Publication of CN105791861B publication Critical patent/CN105791861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请涉及一种定向内插和数据后处理。其中，一种用于处理从编码视频中解码的视频流的区域的方法包括以下步骤：接收表示要应用于解码之后的视频流的所述区域的后处理技术的信号，其中，基于应用于所述区域的后处理技术的相关性能，在对视频进行编码之前、在对视频进行编码期间、或在对视频进行编码之后，在解码之前选择后处理技术，其中，所接收的信号包括所选择的后处理技术的标识符，以及其中，标识符被打包为编码视频和编码视频的辅助信息中的至少一个；将所选择的后处理技术应用于解码的视频流的所述区域；其中，如果所述区域不是预定的，则所接收的信号包括关于所述区域的特性的信息。

Description

定向内插和数据后处理
本申请是国家申请号为201080013000.5，进入中国国家阶段的日期为2011年9月20日，发明名称为“定向内插和数据后处理”的PCT申请的分案申请。
版权通知
该专利文献的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人对专利文献或专利公开内容的拓制，正如其在专利和商标局专利文件中所发表或记录的，但是无论如何保留所有的版权权利。
对相关申请的交叉引用
该申请要求2009年4月20日提交的美国专利临时申请第61/170,995号的优先权，其全部内容通过引用合并于此。
技术领域
本发明涉及内插和后处理。
背景技术
在许多环境和应用中，信号的分辨率可能需要做出让步。例如，这可以用来减小表示信号所需的带宽，降低解码复杂度，适合特定显示装置的特性等。也可以在多个域/维度中指定信号的分辨率。在视频信号的情况下，其中，这可以包括空间(即，水平和垂直)分辨率、时间分辨率、位深度以及甚至立体信息。在许多情况下，可以使一个维度的分辨率做出让步以有利于另一维度的分辨率，例如，在交织视频信号的情况下，牺牲空间分辨率以有利于时间分辨率。对于三维应用，一个让步是使用多种布置在空间上降低采样，并且然后对可用的立体视图进行复用。降低采样可以是基于水平的、垂直的或者甚至梅花(quincunx)的，而数据可以被打包或交织在一起，即，使用棋盘复用(checkerboard multiplexing)。
发明内容
本发明人已认识到，在给定转换处理具有关于内容的原始性质和特性的较少信息或没有该信息的情况下，用于规模缩小的或者做出让步的视频和其它数据的重构的当前方法可能在性能方面严重受限，或者在复杂度方面受到约束。
在各个实施例中，本发明提供了将规模缩小或者做出让步的视频或其它数据重构回其原始的或者甚至更高的/不同的分辨率或格式。例如，720p(1280×720)分辨率的视频可被(或者可能需要被)向上转换为1080p(1920×1080)分辨率以显示在更高分辨率的显示器上。类似地，包括以棋盘布置复用的两个梅花采样的视图的三维信号或者包括以并排布置打包的两个水平或梅花采样的视图的三维信号可能需要被向上转换为两个全分辨率三维视图或者不同的采样布置(诸如逐行)。
图9是示例性梅花采样技术的图示，其中，例如，由滤波器/函数/转换f(x)920对全分辨率图像(例如，立体图形图像对的左视图)进行操作并且然后由采样器930对其进行梅花采样。结果是例如如940处所示的样本图案。(像素数据的)样本图案然后可与另一梅花采样的图像(例如，立体对的右视图)或者可能的另一视图或者甚至不相关的图像进行复用，并且然后被编码。处理也可以应用于使用不同采样和打包方法(诸如并排打包的水平采样或者逐行或者上下打包的垂直采样)的图像。
转换处理可以使用多种算法来进行，包括例如可分离的或不可分离的滤波器、边缘自适应内插方法等中的任意一个或多个，转换处理在各个实施例中可能还需要信号的分析和表征。
图10是根据本发明的实施例的用于梅花采样数据的内插器的图示。该处理与其它采样和打包方法类似。如图10所示，比特流1005被提供到对采样图像1080(在该示例中为梅花采样图像)进行解码的解码器1050，该采样图像1080然后被应用于一系列滤波操作1085中的每个。滤波操作1085可包括任意的时间、空间或其它向上转换处理或者此处针对采样图像的向上转换、误差校正、颜色校正或者一般改进中的任意类型而描述的任意其它处理。要用于任意特定的像素或区域的滤波操作例如由元数据提取器1070从比特流1005提取的元数据来指定。结果是例如图像的全分辨率版本1090。
在要投射的立体图像对的情况下，定向滤波操作可包括颜色校正，以使得左图像和右图像的相应部分中的颜色与指导者的意图一致。在这样的实施例/应用中，在使用不同颜色的光源或滤波器的投射系统中颜色校正尤其重要，以使得左图像和右图像的颜色如所期望的匹配。
根据一个实施例，提供一种用于处理从编码视频中解码的视频流的区域的方法，所述方法包括以下步骤：接收表示要应用于解码之后的所述视频流的所述区域的后处理技术的信号，其中，基于应用于所述区域的后处理技术的相关性能，在对视频进行编码之前、在对视频进行编码期间、或在对视频进行编码之后，在解码之前选择所述后处理技术，其中，所接收的信号包括所选择的后处理技术的标识符，以及其中，所述标识符被打包为所述编码视频和所述编码视频的辅助信息中的至少一个；将所选择的后处理技术应用于解码的视频流的所述区域；其中，如果所述区域不是预定的，则所接收的信号包括关于所述区域的特性的信息。
根据另一实施例，提供了一种后处理装置，包括：视频输入装置，被配置成接收解码视频流；指令机构，被配置成执行接受来自所述视频流的辅助信息信道的指导指令以及从所述解码视频流识别指导指令之一；后处理器，被配置成基于所述指导指令对所述解码视频流进行后处理；以及视频输出装置，被配置成输出后处理后的视频流，其中，所述指导指令包括所述视频中的至少一个非预定义区域的标识和要应用于所述区域的所选择的后处理技术的标识符，所述标识包括关于所述非预定义区域的特性的信息，然而，如果所述区域是预定义的，则所述指导指令不包括关于所述区域的特性的信息，其中，基于应用于所述区域的后处理技术的相关性能，在对视频流进行编码之前、在对视频流进行编码期间、或在对视频流进行编码之后，在解码之前选择所述后处理技术。
本发明包括如下方法：其通过向例如解码器、显示器或其它系统的装置发出应该使用何种转换方法的信号来实现改进的转换性能和/或控制转换复杂度。该方法在某些情形或环境中还可用于改变或控制解码器的行为，诸如在通过改变或者甚至禁用解码处理原始要求(mandate)的某些工具来控制解码器复杂度的情况下，或者在所提供的信息现在可以考虑用于校正信号中的误差的更“了解情况的(informed)”处理的错误隐藏的情况下。发信号以序列方式可以是例如图片组、图片或区域级。图片组可以具有固定尺寸或者可以是任意的。类似地，区域可以具有固定形状和小至甚至像素的尺寸，或者也可以是任意的。本发明不是仅限于发出所述参数的信号的方法，而是还发出关于在给定预定标准的情况下如何导出“最佳”参数的信号。
本发明可被实施为包括如下步骤的方法：接收表示要用于数据流的处理技术的信号。
处理技术可包括例如如下中的任意一种或多种：分辨率转换、控制处理的复杂度、假象减少、误差校正、错误隐藏、缩放、内插、现有处理工具的变更以及至少一种工具的使能或禁用。分辨率转换可包括空间分辨率转换和时间分辨率转换中的至少一种。缩放可包括解交织、时间内插以及空间内插中的至少一个。错误隐藏可包括错误的区域的运动预测。信号还可表示要应用处理技术的空间和时间范围中的至少一个。
在一个实施例中，数据流是视频数据流，并且范围包括处理技术是否应用于以下中的至少一个：全部视频、视频的部分、视频的图片以及视频内的区域。视频的图片可包括例如视频的帧和视频的场中的任意。
在一个实施例中，数据流包括具有至少两个不同的视图的视频，并且信号还表示对视频的至少一帧内的至少一个区域执行处理技术。不同的视图可包括例如以下中的至少一个：立体画法视图、两个不同的图像、二维图像和深度信息、具有不同特性(诸如分辨率、位深度或颜色信息)的二维场景的多视图以及三维场景的多视图。至少两个不同的视图也可以以能够实现单视图视频流的标准化运动图片格式在数据流内被压缩和复用。视图的压缩可包括视图的采样、滤波以及抽选中的至少一个。视图的压缩还可包括水平、垂直滤波以及梅花采样中的至少一个。视图的压缩还可包括滤波和采样两者。并且，采样例如可包括水平、垂直、梅花、基于公式的、基于图案的以及任意采样中的至少一种。复用例如可以以如下格式中的至少一种来实现：棋盘格式、基于象限的格式、列格式、行格式、并排格式、上下格式、基于图案的格式以及替选格式(alternative format)。
在一个实施例中，信号被配置成标识要应用于图像或视频场景的区域的解码处理的至少部分和解码后处理的至少部分中的至少一个，该图像或视频场景的区域具有所标识的处理有效地对其作用的特性。特性可包括区域的纹理、轮廓、边缘、对比度、动态范围以及亮度中的至少一种。
在一个实施例中，信号是从数据流和与该数据流相关的辅助信息中的至少一个接收的。在另一实施例中，发信号可包括要应用于序列、图片组(GOP)以及具有固定、任意或变化尺寸之一的区域中的至少一个的处理技术。该方法还可包括如下步骤：基于发出信号的处理技术选择至少一种处理技术，以及将所选择的处理技术应用于序列、GOP以及区域中的至少一个。选择步骤可由例如解码器来执行，该解码器被配置成通过对序列、图片组(GOP)以及区域中的至少一个应用所选择的处理技术来对数据流进行解码。选择步骤还可包括选择不同处理技术类别中的处理技术，该处理技术与发出信号的处理技术不同但是最接近发出信号的处理技术。
在一个实施例中，处理技术包括一系列处理技术。一系列处理技术可包括例如内插处理、滤波以及去块处理中的至少一种。
在一个实施例中，发信号可包括发出一族处理技术的信号，并且该方法还可包括如下步骤：从发出信号的族选择至少一种处理技术，以及将所选择的技术应用于序列、图片组(GOP)以及具有固定、任意或变化尺寸之一的区域中的至少一个。
在一个实施例中，处理技术是经由接收数据流之前的预处理步骤选择的。预处理可包括例如在支配数据流以用于介质存储或广播之前执行的工作室工作。预处理可包括对相似数据流的一组潜在处理技术的重复执行以及所选择的处理技术的标识符在数据流和与该数据流相关的辅助信息中的至少一个中的嵌入。预处理还可在编码以及然后存储在介质上或者通过任意数量的信道进行传输以用于端用户的解码和重放之前或与其同时，由数据流捕获的视频的预处理重放期间动态地(on-the-fly)执行。
所选择的处理技术可能还需要在解码器处对数据流的解码和重放期间，通过执行附加分析和/或处理而生成的附加信息。这样的分析和/或处理可发生在例如编码视频的动态解码和重放期间，以供端用户观看者观看。这样的分析和/或处理可包括例如在编码器处执行的分析和/或处理的细化。
所选择的处理技术可包括例如最低成本处理技术、最高性能处理技术以及在成本和性能之间的组合或折衷中的至少一种。成本可包括例如复杂度、面积、功率以及价格中的至少一个。性能可包括例如质量和速度中的至少一个。
在一个实施例中，附加分析包括例如在给定所提供的信息的情况下，也可发生于解码器装置上的附加“辅助/第二”后处理。
在另一实施例中，数据流包括编码视频数据流，并且发出信号的处理技术被选择为增强针对视频数据流的图片、图片组(GOP)以及区域的至少一个的解码和解码的后处理中的一个。处理技术例如在视频数据流的编码之前、期间或之后中的至少一个被选择。数据流可包括例如转码编码视频流，并且处理技术可在视频数据流的编码之前、期间或之后中的至少一个被选择。处理技术可包括例如要与对视频数据流的区域的处理技术结合使用的参数，并且方法还可包括接收对于区域和不同区域的子区域中的至少一个的参数改变。
本发明还可被实施为方法，该方法包括如下步骤：选择用于改进要从编码视频解码的视频的至少部分的机制，其中，所选择的机制被配置成指导编码视频的解码和要应用于解码之后视频的后处理中的至少一个；以及将所选择的机制以及所选择的机制的标识符中的至少一个作为指导信号打包为编码视频和编码视频的辅助信息中的至少一个。所选择的机制可包括处理和处理的参数中的至少一个。视频的部分可包括视频的区域和子区域中的至少一个。
在一个实施例中，视频的部分包括视频的图像、视频的图像序列、视频的图像区域、跨越视频的帧的动态区域以及视频的任意子区域中的至少一个。替选地，视频的部分包括视频的包括块的区域或子区域。在另一替选中，视频的部分包括视频的包括多个块的区域或子区域。块可以是例如不邻接的。块还可包括棋盘图案的至少部分。
在一个实施例中，视频的部分包括跨越视频的多个帧的视频数据样本的几何布置。几何布置可在尺寸和形状中的至少一个方面在视频的帧之间变化。
在一个实施例中，视频的部分包括视频数据样本的不规则布置。在另一实施例中，视频的部分包括视频的立体场景的协同定位的样本。在又一实施例中，视频的部分包括具有M×K×N的长方体，其中，M是宽度，K是高度，并且N是时间样本的数量。在又一实施例中，视频的部分包括片段和跨越多个帧跟踪的对象之一。在再一实施例中，视频的部分通过如下中的至少一种来确定：用户输入、分割、对象跟踪、场景剪辑检测、边缘检测、分水岭、豪斯多夫(haursdorff)方法、K均值、运动检测、运动估计、运动分析以及质量评估。在又一实施例中，方法还可包括针对视频的第2部分重复选择和打包的步骤。视频的部分可包括规则形状的区域，并且视频的第2部分可包括不规则形状的区域。在一个实施例中，视频的部分和视频的第2部分重叠。所选择的机制可包括如何对视频重叠中的机制执行的处理进行平均的指令。所选择的机制还可包括如何顺序启动视频重叠中的机制的指令。
在一个替选中，视频的部分是预先定义的，并且打包不包含标识该部分的信息。在另一替选中，视频的部分是使用长方体描述、基于向量的描述以及基于光栅的描述中的至少一个定义的。视频的部分可以是例如以使用图像格式编码的数据标识的。
在另一实施例中，视频的部分是以使用如下格式编码的数据标识的：该格式包括CGM、SVG、EPS、WMF、TIFF、BMP、JPEG、JPEG-2000、MPEG-2以及H.264和MPEG4-AVC中的至少一种。在另一实施例中，视频的部分包括以过程图(process map)标识的区域。在另一实施例中，视频的部分包括以图像或图形格式中的至少一种映射的区域。在另一实施例中，本发明包括将序列指令连同指导信号一起打包。在另一实施例中，指导信号包括表示要执行的各种处理的优选顺序的排序。在另一实施例中，指导信号可包括要至少部分由所选择的机制执行的空间向上采样、时间向上采样以及去块的排序。在另一实施例中，视频的部分包括被划分成一系列子区域的区域，其中，所选择的机制包括与第一子区域对应的第1参数以及与第二子区域对应的第2参数。在另一实施例中，机制是至少部分基于机制的复杂度而选择的。所选择的机制可具有例如对于给定质量阈值的最低复杂度。
本发明还可被实施为后处理装置，该后处理装置包括：视频输入，被配置成接收解码视频流；指令机制，被配置成接受来自视频流的辅助信息信道的指导指令以及从解码视频流识别指导指令之一；后处理器，被配置成基于指导指令对解码视频流进行后处理；以及视频输出，被配置成输出后处理后的视频流。后处理装置可例如被集成到显示器、机顶盒以及媒体播放器中的至少一个中。指导指令可包括例如视频中的至少一个区域和要应用于该区域的至少一种处理方法的标识。区域可包括例如子区域，并且指导指令可包括要应用于对各个子区域进行处理的处理方法的不同参数。指导信号还可标识具有不同纹理质量的区域以及专用于各种纹理质量的处理方法。
在一个实施例中，指导信号包括在对解码视频流测试多个滤波器之后选择的滤波器标识。滤波器标识可包括滤波器的整个类别的标识。后处理器还可被配置成根据滤波器类别选择滤波器，并且利用所选择的滤波器来对解码视频流进行后处理。后处理器进一步被配置成选择其特性最接近滤波器类别的特性的滤波器，并且利用所选择的滤波器作为后处理的至少部分。
在一个实施例中，后处理器进一步被配置成选择已知为具有如下特性的滤波器：该特性是接近滤波器标识所标识的滤波器的特性、或比滤波器标识所标识的滤波器的特性更好的特性中的至少一种。在另一实施例中，滤波器标识是基于失真和复杂度中的至少一个而选择的。失真可以以多种方式来评估，包括经由SAD、SSE、主观评估、块化、方差、频率特性、图像/纹理锐度、边缘质量以及空间或时间上的假象中的至少一个。
在一个实施例中，测试是在开环类型的测试装置中执行的，而在另一实施例中，测试是在闭环类型的测试装置中执行的。测试可例如针对视频的多个区域而执行。多个区域可包括例如视频的时间区域。多个时间区域包括具有变化形状和尺寸的区域。
在一个实施例中，视频的区域通过分割、对象跟踪、场景剪辑检测、边缘检测、分水岭、豪斯多夫方法、K均值、运动检测、运动估计以及运动分析中的至少一个来确定。视频的区域可使用CGM、SVG、EPS、WMF、TIFF、BMP、JPEG、JPEG-2000、MPEG-2以及H.264和MPEG4-AVC中的至少一个来标识。
本发明还可被实施为一种系统，该系统包括：编码器，被配置成选择要在解码器中利用的处理技术、处理技术类别以及一系列处理技术中的至少一个，以及在编码视频流和与编码视频流相关的辅助信息中的至少一个中对所选择的技术或所选择的技术的标识符进行编码；以及解码器，被配置成接收编码视频流以及使用所选择的技术中的至少一种对视频流进行解码。所选择的技术是从编码视频流单独识别的。所选择的技术可例如由解码器从相关的辅助信息和编码视频流中的至少一个来识别。技术可基于质量、复杂度以及成本中的至少一个来选择。解码器可利用所选择的处理技术来选择另一处理技术。
在一个实施例中，解码器保存处理技术的目录，并且从目录中选择与编码器选择的技术最接近匹配的一种或多种处理技术。在一个实施例中，解码器选择的技术是基于复杂度、成本以及质量中的至少一个而选择的。解码器选择的技术也可考虑到解码器中可用的处理功率量而至少部分基于复杂度来选择。
装置和方法两者的部分可方便地以在通用计算机或网络化计算机上的编程来实现，并且结果可显示在连接到通用计算机、网络化计算机中的任意的输出装置上，或者可传送到远程装置用于输出或显示。另外，以计算机程序、数据序列和/或控制信号表示的本发明的任意部件可被实施为在任意介质中以任意频率的电子信号广播(或传送)，包括但不限于无线广播、以及通过铜线、光纤电缆以及同轴电缆等的传输。
附图说明
随着本发明的更完整理解和本发明的许多伴随优点通过参照结合附图考虑的以下详细描述而得到更好的理解，将容易获得本发明的更完整理解和本发明的许多伴随优点，其中：
图1A是根据本发明的实施例的元数据信令的固定尺寸时间区域的图示；
图1B是根据本发明的实施例的元数据信令的可自适应尺寸的时间区域的图示；
图2A是根据本发明的实施例的相等尺寸的区域的图示；
图2B是根据本发明的实施例的可自适应定义的区域的图示；
图2C是根据本发明的实施例的各个区域内的子区域的图示；
图3是根据本发明的实施例的用于嵌入元数据的开环系统的图；
图4是根据本发明的实施例的用于嵌入元数据的闭环系统的图；
图5是根据本发明的实施例的基于主观或客观失真估计的滤波器选择处理的图；
图6是根据本发明的实施例的基于元数据的后处理器的图；
图7是根据本发明的实施例的、可用于例如错误隐藏或解码器简化的基于元数据的自适应解码的图；
图8是根据本发明的实施例的解码器的图；
图9是梅花采样技术的图示；
图10是根据本发明的实施例的用于梅花采样数据的内插器的图示；以及
图11是示出根据本发明的实施例的、图像区域的评估和选择的流程图。
具体实施方式
本发明人已观察到算法的性能和行为取决于算法所应用的图像、视频场景或其它数据的区域的特性而会大大不同。特别地，在视频的情况下，对于具有低纹理特性的区域R0，算法A0对于例如缩放来说比算法A1表现更好并且导致更好的图像质量，而A1对不同的区域R1可表现更好并且导致更好的图像质量。虽然在给定算法A0和A1的情况下，解码器可试图在给定区域特性或者甚至在给定转换后区域的特性的情况下，确定哪种算法可更好地运行，但是执行该处理可能太复杂并且太费时。此外，在给定解码器仅具有关于图像/视频的有限信息的事实的情况下，性能总是受可用信息的约束。这可能会相当大地限制这样的方案的性能。
在各个实施例中，本发明通过提供可以指示应该使用哪种算法、多个算法、或算法组/类来处理各个不同的区域的附加信息来辅助解码器或后处理器。这通过如下步骤来进行：在编码处理之前(例如，使用预处理器)、期间或之后分析和评估各个算法及其性能和/或特性，对各个算法在给定应用的情况下的行为进行评级，以及然后针对各个区域对适当的算法和任何相关的参数进行选择和发信号。
发信号可以在比特流(或数据流)本身(例如，包括比特流中的信号或元数据)内进行，或者可以作为辅助信息(例如，作为元数据文件或流)来发信号。在解码器处，关于各个区域的推荐处理信息可以被解码，并且在信号或元数据中选择的、包含于其中的或者以其标识的一种或多种适当算法用于执行一种或多种必要的操作，该一种或多种必要的操作可以是预先确定的或者也可以以信号或元数据来标识。
注意，在本发明中，解码器可以被配置成维持对所利用的算法的控制。例如，解码器或后处理器可以不总是被强制使用所选择的或标识的算法或算法类，而是可取决于环境(诸如例如某些算法的可用性和/或要实现的成本)而选择忽视或选择类似的算法。此外，解码器或后处理器可选择部分“忽略”推荐的算法(例如A0)，而是替代地使用不同的算法(例如A1)。A1可具有与A0类似的特性，但是可较不复杂，或者可已知为具有更好的性能。还可能的是，A0可能是不可用的或未知的，在该情况下，解码器或后处理器会希望使用系统预定义的默认算法(例如AD)。
区域信令
在预处理器和/或编码器级，各个算法或各个算法类优选地是在发信号之前评估的。评估可以在区域级进行，其中，区域可以是比特流的任意部分。例如，在视频比特流中，区域可以是完整的序列或图像、子序列/视频场景、立体帧对或单个帧/视图，包括图像中的子采样视图或子区域。图像中的子区域可以具有规则(例如，三角形、矩形等)或不规则/随机形状，可以为任意尺寸(例如，8×8、32×32、4×64等)，并且甚至可以在时间上(例如，在时间上跟踪的对象)或空间中(例如，三维空间中的对象)扩展。
如用于三维立体递送的梅花采样和棋盘复用的视频数据的情形一样，特别是在子采样和复用数据的情况下，也可以使用子采样来考虑区域。区域也可以是例如由用户预定义的。例如，整个序列可以被标识为单个区域，或者诸如在尺寸为N的固定图片组(GOP)的情况下，区域可以指定N个连续帧的集合。
区域可包括例如用于确定针对该片段的信令的处理的空间区域分割。如图2A所示，也可以使用具有相等尺寸(宽度/M)×(高度/K)的M×K个矩形区域，其中，宽度和高度分别是帧的宽度和高度。用户甚至可指定所有单独的像素，或者甚至对应于区域的所有单独的样本(例如，分离亮度和色度样本)。
也可利用其它组合，包括例如将立体对中的协同定位的样本分组在一起成为尺寸为M×K×N的长方体等，其中，现在，N对应于时间样本。区域也可自适应地来选择和定义，并且基本上可以是任意形状。如图2B所示，示出了自适应定义的区域A0-A4。在各个实施例中，可以使用诸如场景剪辑检测、图像/视频分割、对象跟踪等的多种算法中的一种或多种来选择区域。
用于分割的算法可包括使用边缘检测、分水岭方法、豪斯多夫距离、K均值的技术，并且还可以考虑运动检测/估计和分析。运动估计可使用其中包括仿射、双曲线、平移的多种算法和模型来进行，并且可以是在空间域或频域(例如，使用相位关联)等中基于块或区域而进行的。
本发明不限制用于这样的区域的确定的其它算法的应用。区域也可在给定它们的照明和色度特性、纹理的情况下进行分类，或者可基于语义信息和用户交互。也可以使用任意形状的和规则形状的区域的组合。例如，区域可以具有固定的时间长度N，但是其空间形状对于每帧可改变。
如图2C所示，区域还可在子区域中进一步被分离。在该情形下，系统可首先指定需要应用特定处理方法的一组初级区域(例如，与视频编码系统中的宏块的概念类似)，而同一区域可以可选地进一步被分离成可以使用处理方法的不同参数(例如，相同的算法但是具有不同强度的滤波器或不同的阈值)的更小子区域。区域也可重叠，在该情况下，多种算法可以应用于重叠区域，该重叠区域然后可以被组合。组合可以在使用简单平均的处理之后进行，或者可以基于加权平均方法，该加权平均方法可以基于像素距各个区域的中心的距离、算法的特性和期望的性能以及重叠像素或区域的特性。在一个实施例中，按照指定的顺序对包括重叠区的各个区域应用不同的算法。
如果区域是预定义的，则不需要对关于区域的特性(例如，形状、尺寸、重叠等)的任何信息进行编码。然而，如果这些区域不是预定义的，则需要对这样的信息进行编码，并且需要这样的信息对解码器是可用的。特别地，对于规则形状的区域编码不一定是复杂的，并且可以包括诸如对于长方体数量的水平(M)、垂直(K)以及时间(N)的片段的情况的信息，或者对于诸如使用区域的基于向量或光栅的描述可能更复杂。例如，所有的区域可以使用计算机图形元文件文件格式(CGM)、可缩放矢量图形(SVG)格式、封装的PostScirpt(EPS)或Windows元文件(WMF)或者其它向量图形格式来描述。类似地，对于基于光栅的描述，我们可以使用TIFF或BMP、JPEG、JPEG-2000或者甚至使用MPEG-2或H.264/MPEG-4AVC的视频编解码表示。在这些情形预测中，可以使用空间和时间两者用于表示区域。可以考虑无损的和有损的表示，其中，在有损的情况下，会疏忽地使用不同的算法。然而，如果该处理是认真进行的并且在编码器中是已知的，则这将不会导致任何问题，尤其是在重复执行任意处理的情况下。在向量和光栅表示两者中，表示可以保持在高分辨率，或者可以下至1×1样本进行子采样。
在各个实施例中，图像可以由多个可相关或可不相关的区域表示/图来表征和表示，其中各个表示与需要应用于图像的不同后处理/内插处理有关。例如，一个区域表示可以指定空间向上采样，第二区域表示可以指定时间向上采样/帧速率转换，而第三区域表示可以指定去块或去噪。应该首先执行哪个处理的序列可取决于在比特流中所发现的表示的顺序，或者可以在比特流本身内以附加的句法来描述。例如，在以上情形中，我们可以发出信号以首先执行空间向上采样，接下来是时间向上采样以及然后是去块，或者我们可以发信号通知应该首先执行去块，接下来是空间向上采样以及然后是时间向上采样。
分析和滤波器选择
本发明可被配置为发出信号以通知多种后处理方法，其中包括优选的/推荐的空间或时间放大或缩减方法及其参数、去块以及去噪，或者甚至在用于执行错误隐藏的解码处理和推荐方法中的建议(非标准化)简化。要针对区域而发出信号的方法和参数可以以多种方式来选择。特别地，参数可以是固定的(例如，对于整个序列或对于所有帧中的区域A0相同的方法M0，而方法M1用于区域A1)，周期性地改变(例如，每隔N帧上述示例中的方法M0被切换为方法M0,N)，或者在给定信号的某些特性或给定用户输入的情况下可以是自适应的。在一个实施例中，方法是在给定场景的纹理、边缘、照明、颜色以及运动特性的情况下而选择的。作为示例，在高纹理化的区域中，可以发出“较柔和的”去块方法和参数的信号，而在低纹理化的区域中，可以替代地发出不同的、更强烈的去块器和参数的信号。类似地，在由垂直边缘表征的区域中，可以发出更偏向垂直方向的内插方法的信号，而在具有对角线边缘的区域中，可以替代地使用偏向对角线的内插方法。
在不同的示例中，对于具有低运动的场景，可以发出运动补偿方法的信号以用于时间内插，而对于高运动，可以使用帧复制或帧混合。该决定要求在决定之前执行分析处理。分析可以用多种方法来执行，其中诸如纹理分析(例如，基于方差的分析或频率分析)、使用运动估计方法以及照明改变表征，该运动估计方法包括诸如仿射、双曲线以及平移(例如，基于块)运动估计的方法。
在替选实施例中，决定可以使用各种方法的失真和/或复杂度分析来执行。可以选择导致最低失真和/或复杂度的方法作为要发出信号的方法。特别地，在向上转换示例(诸如720p到1080p、或水平采样的和并排复用的、或者梅花采样的和棋盘复用的三维视频数据到全分辨率立体对)中，针对每个区域测试所有可用的向上采样滤波器。导致尽可能与原始向上转换后的信号近似的向上转换区域并且可选地对于转换要求最小的或期望的复杂度的滤波器被选择用于发出信号。
图5中示出了基于失真/复杂度的模型的结构，其中，输入源505通过格式转换510、编码器540以及然后解码器550进行处理。解码后的流然后被划分成区域，并且每个区域被递送到一组滤波器565(例如，滤波器1…N)(区域选择560)。区域选择560可包含用于在区域上划分解码流的一种或多种算法，包括预先确定的区域和/或包括基于区域亮度、对比度、边缘、运动和/或其它的任何区域的自适应确定的区域。在滤波之后，执行失真和/或复杂度分析570。失真分析对于各种滤波器类型可相同或者可针对各种滤波器类型而修改。滤波器选择机制530然后评估各个区域的失真/复杂度分析的结果。然后，将基于失真/复杂度选择标准的最佳匹配提供到编码器540，以用于产生输出比特流575。所选择的最佳匹配被示出为被放置到和/或编码到输出比特流575中，但是可以以其它机制(未示出)来提供，包括与输出比特流575相关的辅助信息和/或元数据。
选择可以基于例如与原始相比的失真，而且可以联合地基于速率、失真以及甚至方法的复杂度。假设方法的编码可考虑压缩(例如，预测和熵编码)，则速率可以包括可能需要发出方法及其参数的信号的比特。由于可能要考虑可要求不同数量的比特的同一信号的多种替选表示，因此速率也可说明实际视频信号的比特。
本发明所指定的不同方法可能适合于不同的表示。在该情形中，编码器可联合地选择最佳表示(给定联合的速率、失真以及复杂度标准)以及最佳后处理方法。失真可基于多种度量中的一种或多种，诸如绝对差和(SAD)、平方误差和(SSE)或包括主观估计的其它度量。失真也可以基于在后处理之后测量图像的多种特性(包括块化、方差、频率特性、图像/纹理锐度、边缘质量)，或者通过由于特定方法的使用而会产生的假象的检测和测量等。这样的测量在如下情形下会是非常有用的：原始内容可能不可用，或者可用但是仅为不同的(例如，更低)分辨率或格式。作为示例，考虑30p信号到60p信号(增加了2倍的帧速率)的向上转换。在该情形下，时间假象的检测对于确定针对每个帧或区域发信号的最佳方法会是非常有用的。在一个实施例中，本发明利用由各种方法导致的检测到的时间假象的量或质量中的至少一个，以选择对方法或方法类中的哪个发出信号。
选择最佳方法可以使用完全搜索途径(即，与原始相比或者在给定适用于该处理的可用评估度量的情况下，测试所有可用的处理方法)来进行。然而，也可以考虑大大降低复杂度的快速方法。特别地，取代测试所有用于处理区域的可能方法，可使用区域和给定其特性的分析来提供关于适合于测试该区域的方法的选择的引导。例如，对于帧速率转换，本发明首先可执行简单的运动估计处理，并且在给定运动信息的情况下，确定是否需要或者是否有必要测试任何时间(运动补偿)方法、运动自适应方法或者仅基本方法(诸如帧混合或帧复制)。运动估计可以包括基于块的方案(诸如增强预测区域搜索(EPZS)算法)，或者可以仅依赖于简单的帧/区域差别。
图11是示出根据本发明的实施例的图像区域的评估和选择的流程图。在步骤1110，将图像或视频分割成区域。区域是预先确定的或基于此处所述的任何技术而确定的。建立循环1120以重复检查各个区域(1120)，并且初始化参数(步骤1130)。对于多种算法、方法或者处理中的每个，建立第二循环(1140)。对于各个区域，执行各种算法/方法/处理以确定最佳模式或结果。在该示例中，计算距离函数(dist)(步骤1150)，并且与先前算出的dist函数进行比较(步骤1160)。可保存对于各个区域的最佳算法并且然后提供该最佳算法用于编码，或者可提供跨越所有区域的最佳算法用于编码(例如，步骤1170和1195)。
相邻区域的特性(包括针对这些区域所选择的方法)如果是已经知道的，也可以被认为使处理加速。例如，如果左侧和上部的区域选择了方法A0，则该方法非常可能也适合于当前区域。因此，在各个实施例中，本发明包括测试时的可能方法的优先化、或者失真阈值的考虑和更新，该失真阈值可以基于相邻区域并且可以用于测试是否应该也针对当前区域来考虑该模式或方法。替选地，已知区域中的偏移参数的模式也可被识别并且用于预测要测试的当前区域的稍微不同组的参数。
处理还可首先使得所有其它类似方法优先于A0。如果相邻区域使用了不同的处理方法，则也可以做出类似的考虑。在该情形下，在相邻区域中使用的所有方法可以被认为是比其它可用方法更有可能。同样在给定区域的特性和该区域与其邻居的特性的关系的情况下，概率会改变。例如，如果区域是高度纹理化的，则其可能将与时间上或空间上的、同样具有类似纹理的邻居具有更多的关联。与邻居的相似度(运动、纹理、颜色等)越高，同样应该应用的处理方法应该相同或至少相似的概率越高。
在一个实施例中，在对压缩信号进行解码之后应用所使用的方法，选择可以基于开环架构。例如，在图3中，仅给出了原始信号和各种方法将对该信号所具有的影响。如图3的示例所示，输入源305进行格式转换310。这样的转换例如可以是水平或梅花采样以及一对立体图像的并排或棋盘打包。转换是或者可以是区域性的或者被分割。选择区域(例如，区域选择320)，并且各个区域依次(或者并行)被应用于一系列滤波器(或者方法、算法或处理)(例如，滤波器1…N)。然后，选择具有最高质量、最低成本或者二者或其它因素的预定组合之一的滤波器，并且将其提供给编码器340，在编码器340处，选择被提供作为在输出比特流345中编码(或者放置)的信号或者被提供作为与输出比特流345相关的辅助信息(未示出)。信号可包含例如所选择的滤波器、滤波器的标识符或者有助于将信号转换为其原始(例如，全分辨率)格式或其它格式的滤波器的类或类别的标识符。
在另一实施例中，选择基于闭环架构(参见图4)。在闭环架构中，选择基于给定了实际解码信号的方法的性能，与开环系统相比，这通常导致改进的性能。如图4的示例所示，输入源405通过格式转换410、编码器440以及然后解码器450进行处理。解码流然后被划分成区域并且各个区域被递送到一组滤波器465(例如，滤波器1…N)(区域选择460)。区域选择460可包含一种或多种用于区域性地划分解码流的算法，该解码流包括预先确定的区域和/或包括基于区域亮度、对比度、边缘、运动和/或其它的任何区域的自适应确定的区域。然后，滤波器选择机制将解码和滤波后的各个区域与原始输入中的相应区域进行比较。然后，基于选择标准的最佳匹配被提供到编码器440，以产生输出比特流455。所选择的最佳匹配被示出为被放置和/或编码在输出比特流455中，但是再次，可以以诸如例如与输出比特流455相关的元数据或辅助信息(未示出)的其它机制来提供。
发信号可以指定特定的滤波器或方法。然而，它也可以指定可以进一步为解码器或后处理器提供灵活性的滤波器或方法的类/类型。例如，取代发出使用具有特定系数的可分离滤波器用于图像的向上转换的信号，系统可以指定任何可分离的滤波器或具有特定长度以及高于或低于特定长度的可分离滤波器将导致可接受的性能。然后，在给定复杂度或可用性的情况下，解码器或后处理器自由地选择要使用的滤波器。
如果滤波器不可用，则解码器/后处理器也可选择去选择作为与发出信号的方法最相似的方法的方法(例如，对于可分离的滤波器示例，具有相同长度的不可分离滤波器)，或者选择使用在系统中指定的、先前定义的“默认”滤波器。在给定处理或装置的其它特性的情况下，解码器/后处理器还可以选择方法或者完全忽略元数据信息。特别地，在给定装置的功率/电池状态的情况下，系统可选择使用更高或更低复杂度的算法。
实际上，本发明也可被构造为还对在给定装置的功率或复杂度印迹(footprint)的情况下可以使用的元数据替选模式发出信号。例如，本发明可包括将多个替选图嵌入在信号中(例如，2或更多)，每个替选图针对不同的装置(例如，一个图用于高清LCD TV，另一个图用于等离子，另一个图用于PC、iPod或iPhone等)和电池状态。装置可以检测其对应的图，即，使用元数据中指定装置的签名，并且执行其相应的且优化的处理。明显的是，对于编码系统，在优化和方法选择处理期间，需要考虑所有的装置。
图6是根据本发明的实施例的基于元数据的后处理器的图。在该示例中，对编码比特流605进行解码(解码器650)，并且将其提供到一系列滤波器，每个滤波器均对解码信号进行处理。元数据提取器识别要用于解码比特流的正进行滤波的当前部分的、先前选择的滤波器，并且从适当的滤波器选择滤波处理的输出。在其它实施例中，元数据提取器可例如被辅助信息读取器来替代，该辅助信息读取器提供来自与输入比特流605相关的辅助信息数据流的类似信息。适当的滤波器是由元数据/辅助信息标识的滤波器，或者例如是最接近先前选择的滤波器的特性的滤波器。所选择的滤波器输出然后提供输出解码的且滤波后的比特流680。
图7是根据本发明的实施例的、基于元数据的自适应解码的图，其可用于例如错误隐藏或解码器简化。输入比特流705被提供到一系列解码机制720(例如，解码器1…N)和元数据提取器770。元数据提取器770提取标识先前选择的解码器或优选解码器的信号，该信号用于选择来自一系列解码机制720的适当输出。先前选择的解码器可以是特定的解码器或者解码器类型，并且最终针对输出比特流785选择的解码器输出可以是先前选择的解码器、同一类或类型的解码器、等同解码器、一般解码器或者利用如下参数优化的解码器或者其它：该参数被选择用于改变解码器的性能，以与先前选择的解码器更好地匹配。
对于一些应用，可能期望的是，保留或改变图像数据的处理、重编码以及转码之后的元数据信息。特别地，如果内容被重新缩放并且然后被重新编码，则可以按原样保留元数据，或者在给定所应用的缩放以及编码的特性(例如，运动估计和补偿的性能以及量化参数)和该处理引入的假象的情况下，可以调整元数据。这可以降低重新评估可用处理方法的性能的复杂度。原始信号中用于后处理的推荐方法的特性也可以提供二次编码中关于在随后的解码器处是否可应用任何附加类型的后处理以及何种类型的后处理的提示。
图8是根据本发明的实施例的示例性解码器800的图。解码器800利用元数据“提示”。其中，解码器800包括元数据提取器810、循环滤波器840、视差补偿器(提供视差补偿)830和/或后处理器850，元数据提取器810提取在解码器内的多个处理中(诸如，例如解码处理(例如，逆变换操作))所用的元数据。元数据提供用于在解码器800、循环滤波器840、视差补偿器830和/或后处理器850中使用的选择、数据和/或参数中的一个或多个。元数据驱动上述处理，例如以在这些被认为这样做是安全的情况下降低复杂度(例如，以使得它们将产生最小的漂移和/或质量影响)。在比特流中类似地编码的(或者在辅助信息中提供的)元数据可用于解码器内的任何其它处理或子处理或者其它外部功能。
在描述图中示出的本发明的优选实施例时，出于清楚目的而使用特定术语。然而，本发明不旨在限于如此选择的特定术语，并且要理解，各个特定元件包括以类似方式工作的所有技术等同方式。例如，当描述解码器时，可用任何其它等同装置或其中具有解码器的装置来替代，诸如，媒体播放器(例如，DVD、蓝光、iPod、计算机等)、调谐器(例如，PAL、ATSC等)、机顶盒、显示器或电视机、或者具有等同功能或能力的其它装置而不管此处是否列出。此外，发明人认识到未知的新开发的技术可用所述部分来替代，并且仍然不背离本发明的范围。所有其它描述的项(包括但不限于装置和处理器(例如，后处理器)、转换方法、向上转换方法、处理、算法、选择机制、假象识别等)也应该在任何以及所有可用的等同方式方面来考虑。
对计算机领域的技术人员来说明显的是，本发明的部分可使用根据本公开内容的教导编程的传统通用计算机或专用数字计算机或微处理器方便地实现。
对软件领域的技术人员来说明显的是，适当的软件编码可以由技术编程者基于本公开内容的教导而容易地编写。对本领域技术人员来说明显的是，基于本公开内容，本发明还可通过专用集成电路的制备或通过互联传统组成电路的适当网络来实现。
本发明包括计算机程序产品，该计算机程序产品是其上存储有指令的存储介质/该计算机程序产品可以用于控制或使得计算机执行本发明的任何处理。存储介质可以包括但不限于任何类型的盘，包括软盘、迷你盘(MD)、光盘、DVD、HD-DVD、蓝光、CD-ROM、CD或者DVD RW+/-、微驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存装置(包括闪存卡、记忆棒)、磁卡或光卡、SIM卡、MEMS、纳米系统(包括分子存储器IC)、RAID装置、远程数据存储/存档/存栈(warehousing)或者任何类型的适合于存储指令和/或数据的介质或装置。
本发明包括存储在任一计算机可读介质上的、用于控制通用/专用计算机或微处理器的硬件、以及用于使得计算机或微处理器能够与人类用户或利用本发明的结果的其它机制交互的软件。这样的软件可包括但不限于装置驱动、操作系统以及用户应用程序。最终，这样的计算机可读介质还包括用于执行如上所述的本发明的软件。
包括在通用/专用计算机或微处理器的编程(软件)中的是软件模块，该软件模块用于实现本发明的教导内容(包括但不限于方法的分析、方法的信令、方法的类、方法的类别、信号的准备和传输、解码器或后处理器处的信号的选择)、实现在执行后处理或解码操作的至少部分的信号中标识的算法、以及根据本发明的处理(其可包括例如后处理后的视频信号到显示器的传递)的结果的显示、存储或者通信。
本发明的各个实施例可与以下的列举示例实施例(EEE)中的一个或多个相关，每个列举示例实施例均是示例，并且如同以上提供的任何其它相关讨论一样，不应被解释为限制以下进一步提供的、如现在有效的或者如稍后修改的、替换的或者增加的一个或多个任何权利要求。同样，这些示例不应被视为关于任何相关专利和/或专利申请(包括任何外国或者国际对应申请和/或专利、分案、延续案、再颁专利(re-issue)等)的一个或多个任何权利要求而受到限制。示例：
列举示例实施例1(EEE1).一种方法，包括接收表示要用于数据流的处理技术的信号的步骤。
EEE2.根据EEE1的方法，其中，该处理技术包括以下中的至少一种：分辨率转换、控制处理的复杂度、假象减少、误差校正、错误隐藏、缩放、内插、现有处理工具的改变以及至少一种工具的使能或禁用。
EEE3.根据EEE2的方法，其中，分辨率转换包括空间分辨率转换和时间分辨率转换中的至少一种。
EEE4.根据EEE2的方法，其中，缩放包括解交织、时间内插以及空间内插中的至少一种。
EEE5.根据EEE2的方法，其中，错误隐藏包括错误的区域的运动预测。
EEE6.根据EEE1的方法，其中，信号还表示要应用处理技术的空间和时间范围中的至少一个。
EEE7.根据EEE6的方法，其中，数据流是视频数据流，并且范围包括处理技术是否应用于所有视频、视频的部分、视频的图片以及视频内的区域中的至少一个。
EEE8.根据EEE7的方法，其中，视频的图片包括视频的帧和视频的场中的任意。
EEE9.根据EEE1的方法，其中，数据流包括具有至少两个不同视图的视频，并且信号还表示处理技术是针对视频的至少一帧内的至少一个区域执行的。
EEE10.根据EEE9的方法，其中，不同的视图包括立体画法视图、两个不同的图像、二维图像和深度信息、二维场景的多个视图以及三维场景的多个视图中的至少一个。
EEE11.根据EEE9的方法，其中，以能够实现单个视图视频流的标准运动图片格式在数据流内压缩和复用至少两个不同的视图。
EEE12.根据EEE9的方法，其中，视图的压缩包括视图的采样、滤波以及抽选中的至少一个。
EEE13.根据EEE9的方法，其中，视图的压缩包括水平、垂直滤波以及梅花采样中的至少一个。
EEE14.根据EEE9的方法，其中，视图的压缩包括滤波和采样两者。
EEE15.根据EEE14的方法，其中，采样包括水平、垂直、梅花、基于公式的、基于图案的以及任意采样中的至少一种。
EEE16.根据EEE14的方法，其中，复用是以如下格式中的至少一种实现的：棋盘格式、基于象限的格式、列格式、行格式、并排格式、上下格式、基于图案的格式以及替选格式。
EEE17.根据EEE1的方法，其中，信号标识要应用于图像或视频场景的区域的解码处理的至少部分和解码后处理的至少部分中的至少一个，该图像或视频场景的区域具有所标识的处理有效地对其作用的特性。
EEE18.根据EEE17的方法，其中，特性包括区域的纹理、轮廓、边缘、对比度、动态范围以及亮度中的至少一个。
EEE19.根据EEE1的方法，其中，信号是从数据流和与该数据流相关的辅助信息中的至少一个接收的。
EEE20.根据EEE1的方法，其中，发信号包括要应用于序列、图片组(GOP)以及具有固定、任意或变化尺寸之一的区域中的至少一个的处理技术。
EEE21.根据EEE20的方法，其中，该方法还包括如下步骤：基于发出信号的处理技术选择至少一种处理技术，以及将所选择的处理技术应用于序列、GOP以及区域中的至少一个。
EEE22.根据EEE21的方法，其中，选择步骤由解码器执行，该解码器被配置成通过对序列、图片组(GOP)以及区域中的至少一个应用所选择的处理技术来对数据流进行解码。
EEE23.根据EEE21的方法，其中，选择步骤包括选择不同处理技术类别中的处理技术，该处理技术与发出信号的处理技术不同但是最接近发出信号的处理技术。
EEE24.根据EEE1的方法，其中，处理技术包括一系列处理技术。
EEE25.根据EEE24的方法，其中，一系列处理技术包括内插处理、滤波以及去块处理中的至少一种。
EEE26.根据EEE1的方法，其中，发信号包括发出一族处理技术的信号，并且该方法还包括如下步骤：从发出信号的族选择至少一种处理技术，以及将所选择的技术应用于序列、图片组(GOP)以及具有固定、任意或变化尺寸之一的区域中的至少一个。
EEE27.根据EEE1的方法，其中，处理技术是经由接收数据流之前的预处理选择的。
EEE28.根据EEE27的方法，其中，预处理包括在支配数据流用于介质存储或广播之前执行的工作室工作。
EEE29.根据EEE27的方法，其中，处理技术是从数据流的重放开始动态地执行的。
EEE30.根据EEE27的方法，其中，预处理包括对相似数据流的一组潜在处理技术的重复执行以及所选择的处理技术的标识符在数据流和与该数据流相关的辅助信息中的至少一个中的嵌入。
EEE31.根据EEE27的方法，其中，预处理是在数据流捕获的视频的重放期间动态地执行的。
EEE32.根据EEE27的方法，其中，所选择的处理技术包括最低成本处理技术、最高性能处理技术以及在成本和性能之间的组合或折衷中的至少一种。
EEE33.根据EEE32的方法，其中，成本包括复杂度、面积、功率以及价格中的至少一个。
EEE34.根据EEE32的方法，其中，性能包括质量和速度中的至少一个。
EEE35.根据EEE1的方法，其中，数据流包括编码视频数据流，并且发出信号的处理技术被选择为增强针对视频数据流的图片、图片组(GOP)以及区域的至少一个的解码和解码的后处理之一。
EEE36.根据EEE35的方法，其中，处理技术是在视频数据流的编码之前、期间或之后中的至少一个选择的。
EEE37.根据EEE35的方法，其中，数据流包括转码的编码视频流。
EEE38.根据EEE37的方法，其中，处理技术是在视频数据流的转码之前、期间或之后中的至少一个选择的。
EEE39.根据EEE35的方法，其中，处理技术包括要与对视频数据流的区域的处理技术结合使用的参数，并且方法还包括接收对于区域和不同区域的子区域中的至少一个的参数改变。
EEE40.一种方法，包括以下步骤：
选择用于改进要从编码视频解码的视频的至少部分的机制，其中，所选择的机制被配置成指导编码视频的解码和应用于解码之后的视频的后处理中的至少一个；以及
将所选择的机制以及所选择的机制的标识符中的至少一个作为指导信号打包为编码视频和编码视频的辅助信息中的至少一个。
EEE41.根据EEE40的方法，其中，所选择的机制包括处理和处理的参数中的至少一个。
EEE42.根据EEE40的方法，其中，视频的部分包括视频的区域和子区域中的至少一个。
EEE43.根据EEE40的方法，其中，视频的部分包括视频的图像、视频的图像序列、视频的图像区域、跨越视频的帧的动态区域以及视频的任意子区域中的至少一个。
EEE44.根据EEE40的方法，其中，视频的部分包括视频的包括块的区域或子区域。
EEE45.根据EEE40的方法，其中，视频的部分包括视频的包括多个块的区域或子区域。
EEE46.根据EEE45的方法，其中，块是不邻接的。
EEE47.根据EEE45的方法，其中，块包括棋盘图案的至少部分。
EEE48.根据EEE40的方法，其中，视频的部分包括跨越视频的多个帧的视频数据样本的几何布置。
EEE49.根据EEE48的方法，其中，几何布置在尺寸和形状中的至少一个方面在视频的帧之间变化。
EEE50.根据EEE40的方法，其中，视频的部分包括视频数据样本的不规则布置。
EEE51.根据EEE40的方法，其中，视频的部分包括视频的立体场景的协同定位的样本。
EEE52.根据EEE40的方法，其中，视频的部分包括具有M×K×N的长方体，其中，M是宽度，K是高度，并且N是时间样本的数量。
EEE53.根据EEE40的方法，其中，视频的部分包括片段和跨越多个帧跟踪的对象之一。
EEE54.根据EEE40的方法，其中，视频的部分通过用户输入、分割、对象跟踪、场景剪辑检测、边缘检测、分水岭、豪斯多夫方法、K均值、运动检测、运动估计、运动分析以及质量评估中的至少一种来确定。
EEE55.根据EEE40的方法，还包括针对视频的第2部分重复选择和打包步骤的步骤。
EEE56.根据EEE55的方法，其中，视频的部分包括规则形状的区域，并且视频的第2部分包括不规则形状的区域。
EEE57.根据EEE55的方法，其中，视频的部分和视频的第2部分重叠。
EEE58.根据EEE57的方法，其中，所选择的机制包括如何对视频重叠中的机制执行的处理进行平均的指令。
EEE59.根据EEE57的方法，其中，所选择的机制包括如何顺序启动视频重叠中的机制的指令。
EEE60.根据EEE57的方法，其中，视频的部分是预先定义的，并且打包不包含标识该部分的信息。
EEE61.根据EEE57的方法，其中，视频的部分是使用长方体描述、基于向量的描述以及基于光栅的描述中的至少一种定义的。
EEE62.根据EEE40的方法，其中，视频的部分是以使用图像格式编码的数据标识的。
EEE63.根据EEE40的方法，其中，视频的部分是以使用如下格式编码的数据标识的：该格式包括CGM、SVG、EPS、WMF、TIFF、BMP、JPEG、JPEG-2000、MPEG-2以及H.264和MPEG4-AVC中的至少一种。
EEE64.根据EEE40的方法，其中，视频的部分包括以过程图标识的区域。
EEE65.根据EEE40的方法，其中，视频的部分包括以图像或图形格式中的至少一种映射的区域。
EEE66.根据EEE40的方法，还包括将序列指令连同指导信号一起打包的步骤。
EEE67.根据EEE40的方法，其中，指导信号包括表示要执行的各种处理的优选顺序的排序。
EEE68.根据EEE40的方法，其中，指导信号包括要至少部分由所选择的机制执行的空间向上采样、时间向上采样以及去块的排序。
EEE69.根据EEE40的方法，其中，视频的部分包括被划分成一系列子区域的区域，其中，所选择的机制包括与第一子区域对应的第1参数以及与第二子区域对应的第2参数。
EEE70.根据EEE40的方法，其中，机制是至少部分基于机制的复杂度而选择的。
EEE71.根据EEE40的方法，其中，所选择的机制具有对于给定质量阈值的最低复杂度。
EEE72.根据EEE40的方法，其中:
所述方法以存储在电可读介质上的一组指令来实施；
所述指令当被加载到处理装置中时，使得处理装置执行所述方法的步骤。
EEE73.根据EEE72的方法，其中，所述指令是作为可执行程序存储在所述电可读介质上的编译计算机指令。
EEE74.根据EEE40的方法，其中，所述方法以存储在电信号中的一组电可读指令来实施。
EEE75.一种后处理装置，包括：
视频输入，被配置成接收解码视频流；
指令机制，被配置成接受来自视频流的辅助信息信道的指导指令以及从解码视频流识别指导指令之一；
后处理器，被配置成基于指导指令对解码视频流进行后处理；以及
视频输出，被配置成输出后处理后的视频流。
EEE76.根据EEE75的后处理装置，其中，后处理装置被集成到显示器、机顶盒以及媒体播放器中的至少一个中。
EEE77.根据EEE75的后处理装置，其中，指导指令包括视频中的至少一个区域和要应用于该区域的至少一种处理方法的标识。
EEE78.根据EEE77的后处理装置，其中，区域包括子区域，并且指导指令包括要应用于对各个子区域进行处理的处理方法的不同参数。
EEE79.根据EEE77的后处理装置，其中，指导信号标识具有不同纹理质量的区域以及专用于各种纹理质量的处理方法。
EEE80.根据EEE75的后处理装置，其中，指导信号包括在对解码视频流测试多个滤波器之后选择的滤波器标识。
EEE81.根据EEE80的后处理装置，其中，滤波器标识包括滤波器的整个类别的标识。
EEE82.根据EEE81的后处理装置，其中，后处理器进一步被配置成根据滤波器类别选择滤波器，并且利用所选择的滤波器来对解码视频流进行后处理。
EEE83.根据EEE82的后处理装置，其中，后处理器进一步被配置成选择其特性最接近滤波器类别的特性的滤波器，并且利用所选择的滤波器作为后处理的至少部分。
EEE84.根据EEE80的后处理装置，其中，后处理器进一步被配置成选择已知为具有如下特性的滤波器：该特性是接近滤波器标识所标识的滤波器的特性、或比滤波器标识所标识的滤波器的特性更好的特性中的至少一种。
EEE85.根据EEE80的后处理装置，其中，滤波器标识是基于失真和复杂度中的至少一个而选择的。
EEE86.根据EEE84的方法，其中，失真经由以下中的至少一种来评估：SAD、SSE、主观评估、块化、方差、频率特性、图像/纹理锐度、边缘质量以及空间或时间上的假象。
EEE87.根据EEE80的后处理装置，其中，测试是在开环类型的测试装置中执行的。
EEE88.根据EEE80的后处理装置，其中，测试是在闭环类型的测试装置中执行的。
EEE89.根据EEE80的后处理装置，其中，测试是针对视频的多个区域而执行的。
EEE90.根据EEE89的后处理装置，其中，多个区域包括视频的时间区域。
EEE91.根据EEE90的后处理装置，其中，多个时间区域包括具有变化形状和尺寸的区域。
EEE92.根据EEE89的方法，其中，视频的区域通过分割、对象跟踪、场景剪辑检测、边缘检测、分水岭、豪斯多夫方法、K均值、运动检测、运动估计以及运动分析中的至少一种来确定。
EEE93.根据EEE75的方法，其中，视频的区域使用CGM、SVG、EPS、WMF、TIFF、BMP、JPEG、JPEG-2000、MPEG-2以及H.264和MPEG4-AVC中的至少一种来标识。
EEE94.一种系统，包括：
编码器，被配置成选择要在解码器中利用的处理技术、处理技术类别以及一系列处理技术中的至少一个，以及在编码视频流和与编码视频流相关的辅助信息中的至少一个中对所选择的技术或所选择的技术的标识符进行编码；以及
解码器，被配置成接收编码视频流，以及使用所选择的技术中的至少一种对视频流进行解码。
EEE95.根据EEE94的系统，其中，所选择的技术是从编码视频流单独识别的。
EEE96.根据EEE94的系统，其中，所选择的技术是由解码器从相关的辅助信息和编码视频流中的至少一个识别的。
EEE97.根据EEE94的系统，其中，技术是基于质量、复杂度以及成本中的至少一个而选择的。
EEE98.根据EEE94的系统，其中，解码器使用所选择的处理技术来选择另一处理技术。
EEE99.根据EEE94的系统，其中，解码器保存处理技术的目录，并且从目录中选择与编码器选择的技术最接近匹配的一种或多种处理技术。
EEE100.根据EEE98的系统，其中，解码器选择的技术是基于复杂度、成本以及质量中的至少一个而选择的。
EEE101.根据EEE98的系统，其中，解码器选择的技术是考虑到解码器中可用的处理功率量而至少部分基于复杂度选择的。
EEE102.一种解码器，被配置成使用在视频流或者经由与视频流相关的辅助信息中标识的解码处理和后处理之一来对编码视频流进行解码，其中，解码器被配置成执行用于为解码处理或后处理提供辅助的、对视频流和解码视频流中的至少一个的附加分析。
EEE103.根据EEE102的解码器，其中，附加分析利用在编码视频流或辅助信息中编码的信息。
EEE104.根据EEE102的解码器，其中，附加分析至少部分由在编码视频流或辅助信息中编码的信息来指导。
EEE105.根据EEE102的解码器，其中，附加分析包括在视频流编码的或在辅助信息中提供的信息的细化。
EEE106.根据EEE105的解码器，其中，细化包括较低成本。
EEE107.根据EEE75的后处理装置，还包括后处理分析器，该后处理分析器被配置成分析解码视频流和解码之前的视频流中的至少一个，以及基于该分析，指导解码处理和后处理器中的至少一个的至少部分。
EEE108.根据EEE107的后处理装置，其中，分析器是基于包含在视频流或与视频流相关的辅助信息中的信息而被指导的。
EEE109.根据EEE40的方法，还包括以下步骤：针对在解码和/或解码之后的视频数据的后处理期间要由解码器和后处理器中的至少一个执行的附加分析而对指导指令进行打包。
EEE110.一种方法，包括以下步骤：
接收表示要用于编码视频数据流的处理技术的信号，该编码视频数据流包括向下采样的复用的视图；以及
执行与所接收的信号一致的编码视频流的解码和后处理中的至少一个；以及
执行编码视频流和解码/经后处理的视频流中的至少一个的进一步分析，以及基于该分析，执行改进解码、改进后处理以及执行第二后处理中的至少一个。
EEE111.根据EEE110的方法，还包括在EEE 2-39中描述的任意步骤。
EEE112.根据EEE110的方法，其中，执行进一步分析的步骤包括所指示的处理技术的细化。
EEE113.根据EEE112的方法，其中，该方法由媒体播放器、机顶盒、转换器盒以及显示装置中的至少一个来执行。
根据上述描述可知，本发明的实施例还公开了以下技术方案，包括但不限于：
方案1.一种方法，包括接收表示要用于数据流的处理技术的信号的步骤，所述数据流包括具有至少两个视图的视频。
方案2.根据方案1所述的方法，其中，所述处理技术包括分辨率转换，所述分辨率转换包括空间分辨率转换和时间分辨率转换中的至少一种。
方案3.根据方案1所述的方法，其中，所述处理技术包括缩放，所述缩放包括解交织、时间内插以及空间内插中的至少一种。
方案4.根据方案1所述的方法，其中，所述处理技术包括错误隐藏，所述错误隐藏包括错误的区域的运动预测。
方案5.根据方案1所述的方法，其中，所述信号还表示要应用所述处理技术的空间和时间范围中的至少一个，并且所述数据流是视频数据流，且所述范围包括所述处理技术是否应用于所述视频的全部、所述视频的部分、所述视频的图片以及所述视频内的区域中的至少一个。
方案6.根据方案1所述的方法，其中，所述视图包括立体画法视图、两个不同的图像、二维图像和深度信息、二维场景的多个视图以及三维场景的多个视图中的至少一个。
方案7.根据方案1所述的方法，其中，以能够实现单个视图视频流的标准化运动图片格式在所述数据流内对所述至少两个视图进行压缩和复用。
方案8.根据方案7所述的方法，其中，所述视图的压缩包括所述视图的采样、滤波以及抽选中的至少一个；以及所述视图的压缩包括水平、垂直滤波以及梅花采样中的至少一个。
方案9.根据方案14所述的方法，其中，所述采样包括水平、垂直、梅花、基于公式的、基于图案的以及任意采样中的至少一种；以及所述复用是以下述格式中的至少一种实现的：棋盘格式、基于象限的格式、列格式、行格式、并排格式、上下格式、基于图案的格式以及替选格式。
方案10.根据方案1所述的方法，其中，所述信号标识要应用于图像或视频场景的区域的解码处理的至少部分和解码后处理的至少部分中的至少一个，所述图像或视频场景的区域具有所标识的处理有效地对其作用的特性；
所述特性包括所述区域的纹理、轮廓、边缘、对比度、动态范围以及亮度中的至少一个；以及
发信号包括要应用于序列、图片组GOP以及具有固定、任意或变化尺寸之一的区域中的至少一个的处理技术。
方案11.根据方案1所述的方法，还包括以下步骤：基于表示信号选择至少一种处理技术，以及将所选择的处理技术应用于所述视频的所述序列、GOP以及区域中的至少一个；以及
其中，所述选择步骤是由解码器执行的，所述解码器被配置成通过对所述序列、图片组GOP以及区域中的至少一个应用所选择的处理技术来对所述数据流进行解码。
方案12.根据方案1所述的方法，其中，所述处理技术包括一系列处理技术，所述一系列处理技术包括内插处理、滤波和去块处理中的至少一种。
方案13.根据方案1所述的方法，其中，所述发信号包括发出一族处理技术的信号，并且所述方法还包括以下步骤：从发出信号的族选择至少一种处理技术，以及将所选择的技术应用于序列、图片组GOP以及具有固定、任意或变化尺寸之一的区域中的至少一个。
方案14.根据方案1所述的方法，其中，所述数据流包括转码编码视频流。
方案15.一种后处理装置，包括：
视频输入，被配置成接收解码视频流；
指令机制，被配置成接受来自所述视频流的辅助信息信道的指导指令以及从所述解码视频流识别指导指令之一；
后处理器，被配置成基于所述指导指令对所述解码视频流进行后处理；以及
视频输出，被配置成输出后处理后的视频流。
方案16.根据方案15所述的后处理装置，其中，所述后处理装置被集成到显示器、机顶盒以及媒体播放器的至少一个中。
方案17.根据方案15所述的后处理装置，其中，所述指导指令包括所述视频中的至少一个区域和要应用于所述区域的至少一种处理方法的标识，以及
所述区域包括子区域，并且所述指导指令包括要应用于对各个子区域进行处理的处理方法的不同参数。
方案18.根据方案17所述的后处理装置，其中，所述指导信号标识具有不同纹理质量的区域和专用于各种纹理质量的处理方法。
方案19.根据方案15所述的后处理装置，其中，所述指导信号包括在对所述解码视频流测试多个滤波器之后选择的滤波器标识。
方案20.根据方案15所述的后处理装置，其中，所述指导信号包括滤波器标识，所述滤波器标识包括滤波器的整个类别的标识，并且所述后处理器进一步被配置成根据所述滤波器类别选择滤波器，并且利用所选择的滤波器对所述解码视频流进行后处理。
方案21.根据方案20所述的后处理装置，其中，所述后处理器进一步被配置成选择其特性最接近所述滤波器类别的特性的滤波器，并且利用所选择的滤波器作为所述后处理的至少部分。
方案22.根据方案19所述的后处理装置，其中，所述后处理器进一步被配置成选择已知为具有以下特性的滤波器：所述特性是接近所述滤波器标识所标识的滤波器的特性、或比所述滤波器标识所标识的滤波器的特性更好的特性中的至少一种。
方案23.根据方案15所述的后处理装置，还包括后处理分析器，所述后处理分析器被配置成分析所述解码视频流和解码之前的所述视频流中的至少一个，以及基于所述分析，指导解码处理和所述后处理器中的至少一个的至少部分。
方案24.一种系统，包括：
编码器，被配置成选择要在解码器中利用的处理技术、处理技术类别以及一系列处理技术中的至少一个，以及在编码视频流和与所述编码视频流相关的辅助信息中的至少一个中对所选择的技术或所选择的技术的标识符进行编码；以及
解码器，被配置成接收所述编码视频流，以及使用所选择的技术中的至少一种对所述视频流进行解码。
方案25.根据方案24所述的系统，其中，所选择的技术是由所述解码器从相关的辅助信息和所述编码视频流中的至少一个识别的。
方案26.根据方案24所述的系统，其中，所述解码器使用所选择的处理技术来选择另一处理技术。
方案27.根据方案24所述的系统，其中，所述解码器保存处理技术的目录，并且从所述目录中选择与所述编码器选择的技术最接近匹配的一种或多种处理技术。
本发明可适当地包括、包含、或者基本上包含如本文所述的元件(本发明的各种部件或特征)和它们的等同方式中的任意。此外，本文说明性地公开的本发明可在不存在任意元件的情况下来实践，不管是否在本文中具体地公开。显然，按照以上教导，本发明的多种修改和变化是可能的。因此，要理解的是，在所附权利要求的范围内，本发明可以以除本文具体描述的方式之外的方式来实践。

Claims (10)

1.一种用于处理从编码视频中解码的视频流的时间长方体区域的方法，所述方法包括以下步骤：
接收表示要应用于解码之后的所述视频流的所述时间长方体区域的后处理技术的信号，其中，所述时间长方体区域的特性包括宽度、高度以及时间信息，其中，在解码之前选择所述后处理技术，其中，所接收的信号包括所选择的后处理技术的标识符，以及其中，所述标识符被打包为所述编码视频和所述编码视频的辅助信息中的至少一个；
将所选择的后处理技术应用于解码的视频流的所述时间长方体区域；
其中，如果所述时间长方体区域不是预定的，则所接收的信号包括关于所述时间长方体区域的特性的信息，
其中，所述视频包括以并排格式布置的至少两个梅花采样的视图。
2.根据权利要求1所述的方法，其中，所述后处理技术包括：
分辨率转换，所述分辨率转换包括空间分辨率转换和时间分辨率转换中的至少一种，和/或
缩放，所述缩放包括解交织、时间内插以及空间内插中的至少一种，和/或
错误隐藏，所述错误隐藏包括错误的时间长方体区域的运动预测。
3.根据权利要求1所述的方法，其中，所述两个视图是二维图像和深度信息。
4.一种后处理装置，包括：
视频输入装置，被配置成接收解码视频流，所述视频流是并排格式的至少两个梅花采样的视图；
指令机构，被配置成执行接受来自所述视频流的辅助信息信道的指导指令以及从所述解码视频流识别指导指令之一；
后处理器，被配置成基于所述指导指令对所述解码视频流进行后处理；以及
视频输出装置，被配置成输出后处理后的视频流，
其中，所述指导指令包括所述视频中的至少一个非预定义的时间长方体区域的标识和要应用于所述时间长方体区域的所选择的后处理技术的标识符，所述时间长方体区域的特性包括宽度、高度以及时间信息，所述标识包括关于非预定义的时间长方体区域的特性的信息，然而，如果所述时间长方体区域是预定义的，则所述指导指令不包括关于所述时间长方体区域的特性的信息。
5.根据权利要求4所述的后处理装置，其中，所述时间长方体区域包括子区域，并且所述指导指令包括要应用于对各个子区域进行处理的后处理技术的不同参数。
6.根据权利要求4所述的后处理装置，其中，所述指导指令标识具有不同纹理质量的时间长方体区域和专用于各种纹理质量的处理方法。
7.根据权利要求4所述的后处理装置，其中，所述指导指令包括当产生编码比特流时，在对所述解码视频流测试多个滤波器之后选择的滤波器标识。
8.根据权利要求4所述的后处理装置，其中，所述指导指令包括滤波器标识，所述滤波器标识包括后处理技术的类或类型的标识，并且所述后处理器进一步被配置成根据后处理技术的类或类型选择后处理技术，并且利用所选择的后处理技术对所述解码视频流进行后处理。
9.根据权利要求8所述的后处理装置，其中，所述后处理器进一步被配置成选择其特性最接近所述滤波器类别的特性的滤波器，并且利用所选择的滤波器作为所述后处理的至少部分。
10.根据权利要求4所述的后处理装置，其中，所述两个视图是二维图像和深度信息。
CN201610127451.0A 2009-04-20 2010-04-20 定向内插和数据后处理 Active CN105791861B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17099509P 2009-04-20 2009-04-20
US61/170,995 2009-04-20
CN2010800130005A CN102450010A (zh) 2009-04-20 2010-04-20 定向内插和数据后处理

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2010800130005A Division CN102450010A (zh) 2009-04-20 2010-04-20 定向内插和数据后处理

Publications (2)

Publication Number Publication Date
CN105791861A CN105791861A (zh) 2016-07-20
CN105791861B true CN105791861B (zh) 2018-12-04

Family

ID=42404298

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610127451.0A Active CN105791861B (zh) 2009-04-20 2010-04-20 定向内插和数据后处理
CN2010800130005A Pending CN102450010A (zh) 2009-04-20 2010-04-20 定向内插和数据后处理

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2010800130005A Pending CN102450010A (zh) 2009-04-20 2010-04-20 定向内插和数据后处理

Country Status (5)

Country Link
US (10) US9729899B2 (zh)
EP (1) EP2422522A1 (zh)
JP (1) JP5562408B2 (zh)
CN (2) CN105791861B (zh)
WO (1) WO2010123909A1 (zh)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2422522A1 (en) 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
WO2010123862A1 (en) 2009-04-20 2010-10-28 Dolby Laboratories Licensing Corporation Adaptive interpolation filters for multi-layered video delivery
WO2011005624A1 (en) 2009-07-04 2011-01-13 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3d video delivery
KR20110011361A (ko) * 2009-07-28 2011-02-08 삼성전자주식회사 샘플링을 이용한 영상 데이터 인코딩／디코딩 장치 및 인코딩／디코딩 방법
JP5916624B2 (ja) 2010-01-06 2016-05-11 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチ−レイヤ化されたビデオシステムのための複雑度を適応的にするスケーラブル復号及びストリーミング
WO2011087932A1 (en) 2010-01-14 2011-07-21 Dolby Laboratories Licensing Corporation Buffered adaptive filters
WO2011094034A2 (en) 2010-01-27 2011-08-04 Dolby Laboratories Licensing Corporation Methods and systems for reference processing in image and video codecs
WO2011094047A1 (en) 2010-02-01 2011-08-04 Dolby Laboratories Licensing Corporation Filtering for image and video enhancement using asymmetric samples
US8483271B2 (en) * 2010-05-06 2013-07-09 Broadcom Corporation Method and system for 3D video pre-processing and post-processing
JP5693716B2 (ja) 2010-07-08 2015-04-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照処理信号を使った多層画像およびビデオ送達のためのシステムおよび方法
WO2012012444A2 (en) 2010-07-19 2012-01-26 Dolby Laboratories Licensing Corporation Enhancement methods for sampled and multiplexed image and video data
WO2012012582A1 (en) 2010-07-21 2012-01-26 Dolby Laboratories Licensing Corporation Reference processing using advanced motion models for video coding
WO2013090923A1 (en) 2011-12-17 2013-06-20 Dolby Laboratories Licensing Corporation Multi-layer interlace frame-compatible enhanced resolution video delivery
US8619852B2 (en) 2010-07-21 2013-12-31 Dolby Laboratories Licensing Corporation Systems and methods for multi-layered frame-compatible video delivery
FR2965444B1 (fr) 2010-09-24 2012-10-05 St Microelectronics Grenoble 2 Transmission de video 3d sur une infrastructure de transport historique
JP5663093B2 (ja) 2010-10-01 2015-02-04 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照ピクチャー処理のための最適化されたフィルタ選択
US9071848B2 (en) * 2011-03-15 2015-06-30 Broadcom Corporation Sub-band video coding architecture for packet based transmission
WO2013009716A2 (en) 2011-07-08 2013-01-17 Dolby Laboratories Licensing Corporation Hybrid encoding and decoding methods for single and multiple layered video coding systems
ITTO20110653A1 (it) * 2011-07-20 2013-01-21 Inst Rundfunktechnik Gmbh Apparecchio visore per la visualizzazione di immagini 3d
EP2752000B1 (en) 2011-08-31 2021-03-17 Dolby Laboratories Licensing Corporation Multiview and bitdepth scalable video delivery
US9025899B2 (en) * 2011-10-14 2015-05-05 Advanced Micro Devices, Inc. Region-based image compression
US9942580B2 (en) * 2011-11-18 2018-04-10 At&T Intellecutal Property I, L.P. System and method for automatically selecting encoding/decoding for streaming media
JP5800362B2 (ja) * 2011-12-27 2015-10-28 Kddi株式会社 動画像送出装置、動画像受信装置、動画像伝送システム、動画像送出方法、動画像受信方法、およびプログラム
WO2013138127A1 (en) 2012-03-12 2013-09-19 Dolby Laboratories Licensing Corporation 3d visual dynamic range coding
WO2013166656A1 (zh) * 2012-05-08 2013-11-14 青岛海信信芯科技有限公司 一种提取及优化图像深度图的方法与装置
US9357197B2 (en) 2012-05-24 2016-05-31 Dolby Laboratories Licensing Corporation Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
TWI521940B (zh) 2012-06-14 2016-02-11 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
JP6002476B2 (ja) * 2012-07-02 2016-10-05 日本放送協会 画像処理比較装置、画像改善装置、画像処理比較プログラム及び画像改善プログラム
BR112015004393B1 (pt) 2012-09-07 2023-01-17 Sony Corporation Dispositivos e métodos de transmissão e recepção
JP6141988B2 (ja) * 2012-09-28 2017-06-07 ヴィド スケール インコーポレイテッド マルチレイヤビデオコーディングの適応型アップサンプリング
US10019457B1 (en) 2013-01-22 2018-07-10 Amazon Technologies, Inc. Multi-level compression for storing data in a data store
US11381816B2 (en) 2013-03-15 2022-07-05 Crunch Mediaworks, Llc Method and system for real-time content-adaptive transcoding of video content on mobile devices to save network bandwidth during video sharing
US10230951B2 (en) 2013-03-15 2019-03-12 Crunch Mediaworks, Llc Method and system for video codec rate-distortion performance by pre and post-processing
US9384204B2 (en) 2013-05-22 2016-07-05 Amazon Technologies, Inc. Efficient data compression and analysis as a service
CN103747269B (zh) * 2013-09-30 2017-09-19 北京大学深圳研究生院 一种滤波器插值方法及滤波器
US11032553B2 (en) 2014-02-26 2021-06-08 Dolby Laboratories Licensing Corporation Luminance based coding tools for video compression
US9660913B2 (en) * 2014-03-14 2017-05-23 Network Critical Solutions Limited Network packet broker
US10432961B2 (en) * 2015-03-10 2019-10-01 Apple Inc. Video encoding optimization of extended spaces including last stage processes
US9877016B2 (en) 2015-05-27 2018-01-23 Google Llc Omnistereo capture and render of panoramic virtual reality content
US10038887B2 (en) 2015-05-27 2018-07-31 Google Llc Capture and render of panoramic virtual reality content
JP6427688B2 (ja) * 2015-05-27 2018-11-21 グーグル エルエルシー パノラマバーチャルリアリティコンテンツの全方位ステレオキャプチャおよびレンダリング
CN107925780B (zh) * 2015-08-20 2021-03-19 Lg 电子株式会社 广播信号发送方法及广播信号接收方法
US20170230612A1 (en) * 2016-02-04 2017-08-10 Shane Ray Thielen Adaptive resolution encoding for streaming data
HK1221373A2 (zh) 2016-03-29 2017-05-26 萬維數碼有限公司 種提升視頻分辨率和視頻質量的方法、編碼器及解碼器
US10805643B2 (en) * 2016-03-30 2020-10-13 Advanced Micro Devices, Inc. Adaptive error-controlled dynamic voltage and frequency scaling for low power video codecs
US11042962B2 (en) * 2016-04-18 2021-06-22 Avago Technologies International Sales Pte. Limited Hardware optimisation for generating 360° images
GB2565043B (en) * 2017-06-22 2022-02-23 Avago Tech Int Sales Pte Lid Apparatus and method for stitching together multiple images
US10574997B2 (en) * 2017-10-27 2020-02-25 Apple Inc. Noise level control in video coding
US10580117B2 (en) 2017-11-20 2020-03-03 Comcast Cable Communications, Llc Method to generate additional level of detail when zooming in on an image
CN114615486B (zh) 2018-08-06 2024-05-07 苹果公司 用于生成合成流的方法、系统和计算机可读存储介质
FR3086831A1 (fr) * 2018-10-01 2020-04-03 Orange Codage et decodage d'une video omnidirectionnelle
WO2020080873A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
WO2020080623A1 (ko) * 2018-10-19 2020-04-23 삼성전자 주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
WO2020080665A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080765A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
US10839565B1 (en) * 2019-08-19 2020-11-17 Samsung Electronics Co., Ltd. Decoding apparatus and operating method of the same, and artificial intelligence (AI) up-scaling apparatus and operating method of the same
US11272212B2 (en) * 2020-05-12 2022-03-08 Tencent America LLC Tuned line graph transforms
CN115428465A (zh) * 2020-05-22 2022-12-02 英特尔公司 用于在后处理操作中使用视频源上下文信息的技术
EP4300963A4 (en) * 2021-03-30 2024-05-08 Panasonic Intellectual Property Corporation of America IMAGE ENCODING METHOD, IMAGE DECODING METHOD, IMAGE PROCESSING METHOD, IMAGE ENCODING DEVICE, AND IMAGE DECODING DEVICE

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1254433A (zh) * 1997-03-03 2000-05-24 艾利森电话股份有限公司 用于语音解码器的高分辨率后处理方法
CN2407534Y (zh) * 2000-03-03 2000-11-22 北京市电信管理局 2兆比特每秒的广播级数字电视传输装置
CN101288303A (zh) * 2005-08-19 2008-10-15 高通股份有限公司 对视频通话的画中画处理

Family Cites Families (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4027333A (en) 1975-12-09 1977-05-31 Cbs Inc. Multiplex color television transmission system
DE3123038A1 (de) 1981-06-10 1982-12-30 Siemens AG, 1000 Berlin und 8000 München Verfahren und anordnung zur regelung des digitalen chrominanzssignales eines farbfernsehempfaengers
US6661463B1 (en) 1983-05-09 2003-12-09 David Michael Geshwind Methods and devices for time-varying selection and arrangement of data points with particular application to the creation of NTSC-compatible HDTV signals
US4942466A (en) 1985-12-24 1990-07-17 British Broadcasting Corporation Bandwidth compression for television signals
IL83752A (en) 1987-09-02 1992-03-29 Ibm Israel Method and apparatus for transmitting and receiving 3-dimensional video images
EP0330279B1 (fr) 1988-02-23 1993-11-24 Laboratoires D'electronique Philips Dispositif de sous-échantillonnage spatio-temporel de signaux vidéo numériques représentatifs d'une suite d'images entrelacées ou séquentielles, système de transmission d'images de télévision à haute définition incluant un tel dispositif, et étages d'émission et de réception pour un tel système
JPH04183186A (ja) 1990-11-19 1992-06-30 Toshiba Corp 画像記録再生装置
US6392689B1 (en) 1991-02-21 2002-05-21 Eugene Dolgoff System for displaying moving images pseudostereoscopically
US5416510A (en) 1991-08-28 1995-05-16 Stereographics Corporation Camera controller for stereoscopic video system
JPH0622290A (ja) 1992-07-03 1994-01-28 Sony Corp 画像信号符号化装置及び復号化装置
JPH0686260A (ja) 1992-08-31 1994-03-25 Victor Co Of Japan Ltd 直交変換符号化方法及び直交変換復号化方法
US5638498A (en) 1992-11-10 1997-06-10 Adobe Systems Incorporated Method and apparatus for reducing storage requirements for display data
US5966468A (en) 1994-08-04 1999-10-12 Canon Kabushiki Kaisha Image processing apparatus and method therefor
US5742346A (en) 1994-08-09 1998-04-21 Picture Tel Corporation Spatially adaptive blur filter
US5742330A (en) * 1994-11-03 1998-04-21 Synthonics Incorporated Methods and apparatus for the creation and transmission of 3-dimensional images
US5661518A (en) * 1994-11-03 1997-08-26 Synthonics Incorporated Methods and apparatus for the creation and transmission of 3-dimensional images
US5915067A (en) 1995-08-21 1999-06-22 Matsushita Electric Industiral Co., Ltd. Multimedia optical disc facilitating branch reproduction to parental lock sections using reduced control information and a reproducing device for said disc
JP3764765B2 (ja) 1995-09-06 2006-04-12 インターナショナル・ビジネス・マシーンズ・コーポレーション ディジタル画像の処理方法及びシステム
US5650860A (en) 1995-12-26 1997-07-22 C-Cube Microsystems, Inc. Adaptive quantization
US6055012A (en) 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US6324301B1 (en) 1996-01-24 2001-11-27 Lucent Technologies Inc. Adaptive postfilter for low bitrate visual telephony noise removal
DE19619598A1 (de) 1996-05-15 1997-11-20 Deutsche Telekom Ag Verfahren zur Speicherung oder Übertragung von stereoskopischen Videosignalen
JPH1070717A (ja) 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
US6134269A (en) 1996-09-25 2000-10-17 At&T Corp Fixed or adaptive deinterleaved transform coding for image coding and intra coding of video
US5818535A (en) 1996-09-30 1998-10-06 Alaris, Inc. Method and apparatus for adaptive hybrid motion video compression and decompression
EP0931420A4 (en) 1996-10-11 2002-06-26 Sarnoff Corp METHOD AND DEVICE FOR CODING AND DECODING STEREOSCOPIC VIDEO SIGNALS
JP4034380B2 (ja) 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
KR100238136B1 (ko) 1996-11-28 2000-01-15 윤종용 디지털 비디오 재생장치
JP3339054B2 (ja) 1997-03-28 2002-10-28 ソニー株式会社 データ符号化方法及び装置、データ復号方法及び装置、並びに記録媒体
JP3454675B2 (ja) 1997-06-20 2003-10-06 三洋電機株式会社 立体映像伝送方法及び装置
KR100295798B1 (ko) 1997-07-11 2001-08-07 전주범 스케일러빌리티를구현한이진현상신호부호화장치
US6118486A (en) 1997-09-26 2000-09-12 Sarnoff Corporation Synchronized multiple format video processing method and apparatus
US6792152B1 (en) * 1998-03-05 2004-09-14 Matsushita Electric Industrial Co., Ltd. Image coding method, image coding/decoding method, image coder, or image recording/reproducing apparatus
US6188730B1 (en) * 1998-03-23 2001-02-13 Internatonal Business Machines Corporation Highly programmable chrominance filter for 4:2:2 to 4:2:0 conversion during MPEG2 video encoding
US6804403B1 (en) 1998-07-15 2004-10-12 Digital Accelerator Corporation Region-based scalable image coding
WO2000023845A2 (en) * 1998-10-20 2000-04-27 Soerensen Svend Erik Boerre A method for recording and viewing stereoscopic images in colour using multichrome filters
US6466624B1 (en) * 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
US20020051491A1 (en) * 1998-11-20 2002-05-02 Kiran Challapali Extraction of foreground information for video conference
US6295089B1 (en) 1999-03-30 2001-09-25 Sony Corporation Unsampled hd MPEG video and half-pel motion compensation
AU2599701A (en) * 1999-12-28 2001-07-09 Vrex, Inc. A 3d camera
US7203234B1 (en) * 2000-03-31 2007-04-10 Sharp Laboratories Of America, Inc. Method of directional filtering for post-processing compressed video
EP1269761A1 (en) 2000-03-31 2003-01-02 Koninklijke Philips Electronics N.V. Encoding of two correlated sequences of data
US20020085219A1 (en) * 2000-08-11 2002-07-04 Victor Ramamoorthy Method of and system for generating and viewing multi-dimensional images
US6944242B2 (en) 2001-01-04 2005-09-13 Comsys Communication & Signal Processing Ltd. Apparatus for and method of converting soft symbol information to soft bit information
CN1367611A (zh) 2001-01-21 2002-09-04 爱尔得资讯股份有限公司 三维视频图像数字编码方法
US7162080B2 (en) 2001-02-23 2007-01-09 Zoran Corporation Graphic image re-encoding and distribution system and method
US6909745B1 (en) 2001-06-05 2005-06-21 At&T Corp. Content adaptive video encoder
US7421127B2 (en) 2001-10-26 2008-09-02 Koninklijke Philips Electronics N.V. Spatial scalable compression scheme using spatial sharpness enhancement techniques
KR100454194B1 (ko) 2001-12-28 2004-10-26 한국전자통신연구원 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법
US20040218269A1 (en) 2002-01-14 2004-11-04 Divelbiss Adam W. General purpose stereoscopic 3D format conversion system and method
JP2005516494A (ja) 2002-01-22 2005-06-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ドリフトフリー映像符合化及び復号化方法並びに対応する装置
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
JP4154569B2 (ja) 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
US7639741B1 (en) * 2002-12-06 2009-12-29 Altera Corporation Temporal filtering using object motion estimation
US7289163B2 (en) * 2003-04-28 2007-10-30 Samsung Electronics Co., Ltd. Method and apparatus for adjusting color edge center in color transient improvement
JP2004336103A (ja) * 2003-04-30 2004-11-25 Texas Instr Japan Ltd 画像情報圧縮装置
JP4406914B2 (ja) 2003-04-30 2010-02-03 日本電気株式会社 立体画像圧縮装置及び立体画像伸長装置
US7480416B2 (en) 2003-05-09 2009-01-20 Telecommunications Research Laboratories Implementation of discrete wavelet transform using lifting steps
WO2005018239A1 (ja) * 2003-08-19 2005-02-24 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法および動画像復号化方法
US7412100B2 (en) * 2003-09-04 2008-08-12 Qualcomm Incorporated Apparatus and method for sub-sampling images in a transform domain
CN1236624C (zh) 2003-09-04 2006-01-11 上海大学 多种块模式的快速整像素运动估计方法
US7650036B2 (en) 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
US7379608B2 (en) 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
US20050200757A1 (en) * 2004-01-23 2005-09-15 Alberta Pica Method and apparatus for digital video reconstruction
US7453938B2 (en) * 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US7986731B2 (en) * 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
GB2414882A (en) 2004-06-02 2005-12-07 Sharp Kk Interlacing/deinterlacing by mapping pixels according to a pattern
US7953152B1 (en) 2004-06-28 2011-05-31 Google Inc. Video compression and encoding method
EP1613091B1 (en) 2004-07-02 2009-08-26 Mitsubishi Electric Information Technology Centre Europe B.V. Intra-frame prediction for high-pass temporal-filtered frames in wavelet video coding
US20060023782A1 (en) 2004-07-27 2006-02-02 Microsoft Corporation System and method for off-line multi-view video compression
KR101166248B1 (ko) 2004-08-17 2012-07-18 코닌클리케 필립스 일렉트로닉스 엔.브이. 수신된 이미지 데이터를 분석하는 방법, 컴퓨터 판독 가능한 저장 매체, 뷰 모드 분석 유닛, 및 디스플레이 디바이스
JP4562774B2 (ja) 2004-10-12 2010-10-13 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 映像合成基盤の多視点動映像の符号化及び復号化を行うための方法及び装置
DE102004059993B4 (de) 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
JP2006180470A (ja) * 2004-11-26 2006-07-06 Canon Inc 画像処理装置及び画像処理方法
US7397959B1 (en) 2005-01-04 2008-07-08 Smith Micro Software, Inc. Detection and recompression of embedded compressed data inside existing data streams
US7672378B2 (en) * 2005-01-21 2010-03-02 Stmicroelectronics, Inc. Spatio-temporal graph-segmentation encoding for multiple video streams
JP2006254230A (ja) * 2005-03-11 2006-09-21 Toshiba Corp 情報処理装置およびプログラム
US7876833B2 (en) 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US20060282855A1 (en) 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
PL1897056T3 (pl) 2005-06-23 2017-01-31 Koninklijke Philips N.V. Połączona wymiana danych obrazu i powiązanych
US7548657B2 (en) 2005-06-25 2009-06-16 General Electric Company Adaptive video compression of graphical user interfaces using application metadata
KR101204801B1 (ko) * 2005-07-15 2012-11-26 삼성전자주식회사 색상계에 적응적인 화소값 보정 방법 및 장치, 그를 이용항영상 부호화/복호화 방법 및 장치
US7804896B2 (en) * 2005-09-19 2010-09-28 Intel Corporation Content adaptive noise reduction filtering for image signals
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US20070110155A1 (en) 2005-11-15 2007-05-17 Sung Chih-Ta S Method and apparatus of high efficiency image and video compression and display
KR100739764B1 (ko) * 2005-11-28 2007-07-13 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
US8023569B2 (en) 2005-12-15 2011-09-20 Sharp Laboratories Of America, Inc. Methods and systems for block-based residual upsampling
US20070160134A1 (en) 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
JP4730141B2 (ja) 2006-03-06 2011-07-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
EP1845729A1 (en) * 2006-04-12 2007-10-17 Matsushita Electric Industrial Co., Ltd. Transmission of post-filter hints
US7881552B1 (en) 2006-05-16 2011-02-01 Adobe Systems Incorporated Anti-flicker filter
CA2653815C (en) 2006-06-23 2016-10-04 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
JP2008017060A (ja) 2006-07-04 2008-01-24 Sony Corp 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
EP2041982A2 (en) 2006-07-11 2009-04-01 Thomson Licensing Methods and apparatus using virtual reference pictures
WO2008010929A2 (en) * 2006-07-18 2008-01-24 Thomson Licensing Methods and apparatus for adaptive reference filtering
US8155454B2 (en) * 2006-07-20 2012-04-10 Qualcomm Incorporated Method and apparatus for encoder assisted post-processing
US20080036854A1 (en) 2006-08-08 2008-02-14 Texas Instruments Incorporated Method and system of communicating and rendering stereoscopic and dual-view images
WO2008023917A1 (en) 2006-08-25 2008-02-28 Enhanced Chip Technology Inc. Method and apparatus for encoding/decoding stereoscopic images/videos
US8594203B2 (en) * 2006-10-16 2013-11-26 Nokia Corporation System and method for using parallelly decodable slices for multi-view video coding
US20080095235A1 (en) 2006-10-20 2008-04-24 Motorola, Inc. Method and apparatus for intra-frame spatial scalable video coding
CN105376574A (zh) * 2006-11-08 2016-03-02 汤姆逊许可证公司 用于环内去伪影滤波的方法和设备
US20080123979A1 (en) * 2006-11-27 2008-05-29 Brian Schoner Method and system for digital image contour removal (dcr)
KR100968204B1 (ko) 2007-01-11 2010-07-06 전자부품연구원 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
SI3758381T1 (sl) 2007-04-12 2021-07-30 Dolby International Ab Razpostavljanje pri kodiranju in dekodiranju videa
WO2008140190A1 (en) 2007-05-14 2008-11-20 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
KR101479185B1 (ko) 2007-05-16 2015-01-06 톰슨 라이센싱 다중-뷰 비디오 코딩(ｍｖｃ) 정보의 인코딩에 슬라이스 그룹들을 이용하기 위한 방법 및 장치
US8749615B2 (en) * 2007-06-07 2014-06-10 Reald Inc. Demultiplexing for stereoplexed film and video applications
US8487982B2 (en) 2007-06-07 2013-07-16 Reald Inc. Stereoplexing for film and video applications
US8373744B2 (en) 2007-06-07 2013-02-12 Reald Inc. Stereoplexing for video and film applications
KR100962696B1 (ko) 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
KR101450670B1 (ko) 2007-06-11 2014-10-15 삼성전자 주식회사 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
US8471893B2 (en) 2007-06-26 2013-06-25 Samsung Electronics Co., Ltd. Method and apparatus for generating stereoscopic image bitstream using block interleaved method
KR20080114388A (ko) 2007-06-27 2008-12-31 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
US8417059B2 (en) * 2007-06-28 2013-04-09 Panasonic Corporation Image processing device, image processing method, and program
JP4897593B2 (ja) * 2007-07-09 2012-03-14 富士フイルム株式会社 複眼撮影装置及びその調節方法
CN201066898Y (zh) 2007-07-17 2008-05-28 西安理工大学 一种实现菱形搜索算法的硬件结构
KR101556134B1 (ko) 2007-08-24 2015-09-30 엘지전자 주식회사 디지털 방송 송신기 및 그 제어 방법
WO2009051704A1 (en) * 2007-10-16 2009-04-23 Thomson Licensing Methods and apparatus for artifact removal for bit depth scalability
US8116381B2 (en) 2007-10-22 2012-02-14 Lg Electronics Inc. Digital broadcasting system and data processing method in digital broadcasting system
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
US20090174704A1 (en) 2008-01-08 2009-07-09 Graham Sellers Graphics Interface And Method For Rasterizing Graphics Data For A Stereoscopic Display
WO2010011557A2 (en) 2008-07-20 2010-01-28 Dolby Laboratories Licensing Corporation Encoder optimization of stereoscopic video delivery systems
ES2629463T3 (es) 2008-07-20 2017-08-09 Dolby Laboratories Licensing Corporation Difusión de video compatible estereoscópicamente
US8629898B2 (en) 2008-09-03 2014-01-14 Sony Corporation Stereoscopic video delivery
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
JP5235035B2 (ja) * 2008-09-23 2013-07-10 ドルビー ラボラトリーズ ライセンシング コーポレイション チェッカーボード多重化したイメージデータのエンコーディング構造及びデコーディング構造
US8675091B2 (en) * 2008-12-15 2014-03-18 Nvidia Corporation Image data processing with multiple cameras
RU2689191C2 (ru) * 2009-01-26 2019-05-24 Томсон Лайсенсинг Упаковка кадров для кодирования видео
CN105357510B (zh) * 2009-01-29 2017-08-11 杜比实验室特许公司 视频编码方法、视频信号解码方法及视频装置
US8253564B2 (en) 2009-02-19 2012-08-28 Panasonic Corporation Predicting a future location of a moving object observed by a surveillance device
WO2010100875A1 (ja) * 2009-03-02 2010-09-10 パナソニック株式会社 記録媒体、再生装置、及び集積回路
JP4993224B2 (ja) * 2009-04-08 2012-08-08 ソニー株式会社 再生装置および再生方法
JP2010263615A (ja) * 2009-04-08 2010-11-18 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法
CN102804785A (zh) 2009-04-13 2012-11-28 瑞尔D股份有限公司 编码、解码和发布增强分辨率的立体视频
EP2422522A1 (en) * 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
US8743176B2 (en) * 2009-05-20 2014-06-03 Advanced Scientific Concepts, Inc. 3-dimensional hybrid camera and production system
WO2011094034A2 (en) 2010-01-27 2011-08-04 Dolby Laboratories Licensing Corporation Methods and systems for reference processing in image and video codecs
US9215445B2 (en) 2010-01-29 2015-12-15 Thomson Licensing Block-based interleaving
EP2752000B1 (en) 2011-08-31 2021-03-17 Dolby Laboratories Licensing Corporation Multiview and bitdepth scalable video delivery
WO2017190995A1 (en) * 2016-05-04 2017-11-09 Thomson Licensing Method and apparatus for encoding/decoding a scalar integer into a parameter representative of a pivot points of a piece-wise linear function.
EP3242482A1 (en) * 2016-05-04 2017-11-08 Thomson Licensing Method and apparatus for encoding/decoding a high dynamic range picture into a coded bitstream
EP3493542A1 (en) * 2017-11-30 2019-06-05 Thomson Licensing Saturation control for high-dynamic range reconstruction
EP4139840A2 (en) * 2020-05-06 2023-03-01 Huawei Technologies Co., Ltd. Joint objects image signal processing in temporal domain
US11887277B2 (en) * 2021-02-23 2024-01-30 Adobe Inc. Removing compression artifacts from digital images and videos utilizing generative machine-learning models

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1254433A (zh) * 1997-03-03 2000-05-24 艾利森电话股份有限公司 用于语音解码器的高分辨率后处理方法
CN2407534Y (zh) * 2000-03-03 2000-11-22 北京市电信管理局 2兆比特每秒的广播级数字电视传输装置
CN101288303A (zh) * 2005-08-19 2008-10-15 高通股份有限公司 对视频通话的画中画处理

Also Published As

Publication number Publication date
US20120026288A1 (en) 2012-02-02
WO2010123909A1 (en) 2010-10-28
US20230224496A1 (en) 2023-07-13
US20230421812A1 (en) 2023-12-28
US20230421811A1 (en) 2023-12-28
US11792429B2 (en) 2023-10-17
JP2012521184A (ja) 2012-09-10
JP5562408B2 (ja) 2014-07-30
US20230224495A1 (en) 2023-07-13
US20200228838A1 (en) 2020-07-16
US9729899B2 (en) 2017-08-08
US20230421813A1 (en) 2023-12-28
US10194172B2 (en) 2019-01-29
US20160094859A1 (en) 2016-03-31
US20190273904A1 (en) 2019-09-05
US11477480B2 (en) 2022-10-18
US11792428B2 (en) 2023-10-17
US20170347125A1 (en) 2017-11-30
EP2422522A1 (en) 2012-02-29
US10609413B2 (en) 2020-03-31
CN102450010A (zh) 2012-05-09
US11677982B2 (en) 2023-06-13
US20230007302A1 (en) 2023-01-05
CN105791861A (zh) 2016-07-20

Similar Documents

Publication Publication Date Title
CN105791861B (zh) 定向内插和数据后处理
RU2518435C2 (ru) Оптимизация кодера в системах доставки стереоскопического видео
KR101768857B1 (ko) 다시야 비디오 코딩에서 로우 다이내믹 레인지 이미지들로부터 하이 다이내믹 레인지 이미지들의 생성
JP5992997B2 (ja) 映像符号化信号を発生する方法及び装置
US9357197B2 (en) Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
JP2011528889A5 (zh)
CN103202019A (zh) 编码装置和编码方法、以及解码装置和解码方法
CN101589626A (zh) 用于处理组合的图像数据和深度数据的图像处理系统
US20160029044A1 (en) 3d visual dynamic range coding
KR102606880B1 (ko) 인터 예측에 관한 인코더, 디코더 및 해당 방법
CN104969556A (zh) 处理视频信号的方法和设备
US12034972B2 (en) Directed interpolation and data post-processing
Wu et al. Differential watermarking scheme of stereo video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20160720

Assignee: Dongguan de video technology Co. Ltd. Kit

Assignor: Dolby International AB|Dolby Laboratories Licensing Corp.

Contract record no.: 2016990000507

Denomination of invention: Directed interpolation and data post-processing

License type: Common License

Record date: 20161216

EE01 Entry into force of recordation of patent licensing contract
GR01 Patent grant
GR01 Patent grant