JP2009510937A - 時間領域境界とのデータアライメントに関する方法及び装置 - Google Patents

時間領域境界とのデータアライメントに関する方法及び装置 Download PDF

Info

Publication number
JP2009510937A
JP2009510937A JP2008533640A JP2008533640A JP2009510937A JP 2009510937 A JP2009510937 A JP 2009510937A JP 2008533640 A JP2008533640 A JP 2008533640A JP 2008533640 A JP2008533640 A JP 2008533640A JP 2009510937 A JP2009510937 A JP 2009510937A
Authority
JP
Japan
Prior art keywords
data
multimedia data
frame
boundary
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008533640A
Other languages
English (en)
Inventor
ラビーンドラン、ビジャヤラクシュミ・アール．
ウォーカー、ゴードン・ケント
ティアン、タオ
バーミディパティ、パニクマー
シ、ファン
チェン、ペイソン
サブラマニア、シタラマン・ガナパシー
オグズ、セイフラー・ハリト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2009510937A publication Critical patent/JP2009510937A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H04N7/0115—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】時間領域境界とのデータアライメントに関する方法及び装置
【解決手段】マルチメディアデータを符号化するためにコンテンツ情報を用いる装置及び方法が説明される。マルチメディアデータを処理する方法は、マルチメディアデータのコンテンツ情報を入手することと、時間領域においてデータ境界をフレーム境界とアライメントさせるために前記マルチメディアデータを符号化すること、とを含み、前記符号化することは、前記コンテンツ情報に基づく。他の側面においては、マルチメディアデータを処理する方法は、前記マルチメディアデータのコンテンツ分類を入手することと、前記コンテンツ分類に基づいて前記マルチメディアデータ内のブロックをイントラコーディングされたブロック及びインターコーディングされたブロックとして符号化して前記符号化されたマルチメディアデータの誤り耐性を向上させること、とを含む。これらの方法において説明されるマルチメディアデータを処理することができる装置も開示される。
【選択図】図１７Ｂ

Description

３５Ｕ．Ｓ．Ｃ．§１１９に基づく優先権の主張
本特許出願は、（ａ）“A VIDEO TRANSCODER FOR REAL-TIME STREAMING AND MOBILE BROADCAST APPLICATIONS”（リアルタイムストリーミング及びモバイル放送用途に関する映像トランスコーダ）という題名を有する仮特許出願番号６０／７２１，４１６（出願日：２００５年９月２７日）、（ｂ）“A VIDEO TRANSCODER FOR REAL-TIME STREAMING AND MOBILE BROADCAST APPLICATIONS”（リアルタイムストリーミング及びモバイル放送用途に関する映像トランスコーダ）という題名を有する仮特許出願番号６０／７８９，３７７（出願日：２００６年４月４日）、（ｃ）“METHOD AND APPARATUS FOR SPATIO-TEMPORAL DEINTERLACING AIDED BY MOTION COMPENSATION FOR FIELD-BASED VIDEO”（フィールドに基づく映像に関する動き補償によって補助された空間−時間的デインターレーシングに関する方法及び装置）という題名を有する仮特許出願番号６０／７２７，６４３（出願日：２００５年１０月１７日）、（ｄ）“METHOD AND APPARATUS FOR SHOT DETECTION IN VIDEO STREAMING”（映像ストリーミングにおけるショット検出に関する方法及び装置）という題名を有する仮特許出願番号６０／７２７，６４４（出願日：２００５年１０月１７日）、（ｅ）“A METHOD AND APPARATUS FOR USING AN ADAPTIVE GOP STRUCTURE IN VIDEO STREAMING”（映像ストリーミングにおいて適応型ＧＯＰを用いるための方法及び装置）という題名を有する仮特許出願番号６０／７２７，６４０（出願日：２００５年１０月１７日）、（ｆ）“INVERSE TELECINE ALGORITHM BASED ON STATE MACHINE”(ステートマシンに基づく逆テレシネアルゴリズム)という題名を有する仮特許出願番号６０／７３０，１４５（２００５年１０月２４日）、及び（ｇ）“SPATIO-TEMPORAL DEINTERLACING AIDED BY MOTION COMPENSATION FOR FIELD-BASED MULTIMEDIA DATA”（フィールドに基づくマルチメディアデータに関する動き補償によって補助された空間−時間的デインターレーシング）という題名を有する仮特許出願番号６０／７８９，０４８（出願日：２００６年４月３日）に対する優先権を主張するものである。これらの７つのすべての仮特許出願は、本特許出願の譲受人に対して譲渡されておりさらに本明細書において参照されることによって明示で本明細書に組み入れられている。
同時係属特許出願の参照
本特許出願は、本特許出願の譲受人に対して譲渡されておりさらに本明細書において参照されることによって明示で本明細書に組み入れられている、“CONTENT CLASSIFICATION FOR MULTIMEDIA PROCESSING”（マルチメディア処理に関するコンテンツ分類）という題名を有する米国特許出願番号１１／３７３，５７７（出願日：２００６年３月１０日）に関連するものである。
本出願は、リアルタイムストリーミングを目的とする映像データの映像トランスコーディングに関する装置及び方法に関するものである。本発明は、特に、モバイル放送用途におけるリアルタイムストリーミングに関する映像データのトランスコーディングに関するものである。
多くのマルチメディア用途、例えば、無線映像ストリーミング及びビデオテレフォニー、においては、限られた帯域幅資源及び利用可能な帯域幅の可変性に起因して効率的な映像圧縮が有用である。一定の映像コーディング基準、例えば、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ）、Ｈ．２６４（ＩＴＵ）、又は同様の映像コーディング基準、は、無線放送等の用途に非常に適した効率の高いコーディングを提供する。幾つかのマルチメディアデータ、例えば、デジタルテレビ放送、は、一般的には、その他の基準、例えば、ＭＰＥＧ−２、に従ってコーディングされる。従って、１つの基準（例えば、ＭＰＥＧ−２）に従ってコーディングされたマルチメディアデータを無線放送前に他の基準（例えば、Ｈ．２６４）にトランスコーディング又は変換するためにトランスコーダが用いられる。
レートが最適化されたコーデックの向上は、誤り耐性、誤り回復、及びスケーラビリティに関する利点をもたらすことが可能である。さらに、マルチメディアデータ自体から決定された情報の使用は、誤り耐性、誤り回復、及びスケーラビリティを含む、符号化に関するさらなる向上をもたらすことが可能である。従って、ストリーミングマルチメディア情報のモバイル放送を含む多くのマルチメディアデータ用途において使用するためにマルチメディアデータ自体から決定された情報を使用し、スケーラブルであり、誤り耐性を有するマルチメディアデータの非常に効率的な処理及び圧縮を提供するトランスコーダが必要である。
発明の概要
説明及び例示されている本発明のコンテンツに基づくトランスコーディング装置及び方法の各々は、幾つかの側面を有しており、いずれの単一の側面も、望ましい属性を確保する役割を単独で果たしているわけではない。以下では、この開示の適用範囲を限定することなしに、本発明のより顕著な特長が簡単に説明される。当業者は、この説明を検討後に、そして特に「発明を実施するための最良の形態」という題名の部分を読んだ後に、このコンテンツ駆動型トランスコーディングの特長がマルチメディアデータ処理装置及び方法に関する改良点をどのようにして提供するかを理解するであろう。
本明細書において説明される発明上の側面は、様々なマルチメディアデータ符号化方法に関して及び符号器、例えば、トランスコーダにおいて用いられる符号器、の様々なモジュール又は構成要素においてコンテンツ情報を用いることに関するものである。トランスコーダは、コンテンツ情報を用いてマルチメディアデータのトランスコーディングを調整することができる。前記コンテンツ情報は、他のソース、例えば、映像とともに受信されるメタデータ、から受信することができる。前記トランスコーダは、様々な異なる処理動作を通じてコンテンツ情報を生成するように構成することができる。幾つかの側面においては、前記トランスコーダは、前記マルチメディアデータのコンテンツ分類を生成し、前記コンテンツ分類は、１つ以上の符号化プロセスにおいて用いられる。幾つかの側面においては、コンテンツによって駆動されるトランスコーダは、前記マルチメディアデータの空間的及び時間的コンテンツ情報を決定し、チャネル間でのコンテンツを認識した均一な品質の符号化、及びコンテンツ分類に基づく圧縮／ビット割り当てに関して前記コンテンツ情報を使用することができる。
幾つかの側面においては、マルチメディアデータのコンテンツ情報（例えば、メタデータ、コンテンツメトリックス及び／又はコンテンツ分類）が入手又は計算され、前記マルチメディアデータを符号化のために処理する際に用いるために前記トランスコーダの構成要素に提供される。例えば、プリプロセッサは、シーンの変化の検出、逆テレシネ（“ＩＶＴＣ”）、デインターレーシング、動き補償及び雑音抑制（例えば、２Ｄウェーブレット変換）及び空間−時間的雑音の低減、例えば、アーティファクト除去、デリンギング、デブロッキング、及び／又は雑音除去、に関して一定のコンテンツ情報を用いることができる。幾つかの側面においては、プリプロセッサは、標準品位（ＳＤ）からクォータービデオグラフィックスアレイ（ＱＶＧＡ）へのダウンサンプリング時に空間解像度ダウンサンプリング、例えば、適切な“安全”な及び“アクション処理”エリアの決定、に関しても前記コンテンツ情報を用いることができる。
幾つかの側面においては、符号器は、コンテンツ情報を計算するように構成されるコンテンツ分類モジュールを含む。前記符号器は、各ＭＢに関する量子化パラメータ（ＱＰ）を決定する際のビットレート制御（例えば、ビット割り当て）に関して、動き推定、例えば、色動き推定（ＭＥ）を行う、動きベクトル（ＭＶ）予測を行うことに関して、基本層及び拡張層を提供する際のスケーラビリティに関して、及び、例えば適応型イントラリフレッシュ、境界アライメントプロセス、及び拡張層において冗長Ｉフレームデータを提供することを含む予測階層及び誤り耐性方式に影響を与えるためにコンテンツ分類を用いることによる誤り耐性に関して、コンテンツ分類を用いることができる。幾つかの側面においては、前記トランスコーダは、チャネル間において最適なマルチメディアデータ品質を維持するためにデータマルチプレクサと調整しながら前記コンテンツ分類を用いる。幾つかの側面においては、前記符号器は、高速チャネル切り換えを可能にするためにＩフレームが符号化されたデータ内において周期的に現れるように強制するために前記コンテンツ分類情報を用いることができる。該実装は、誤り耐性に関して前記符号化されたデータ内において要求されることがあるＩブロックを利用することもでき、このため、予測階層を通じて（例えば、コンテンツ分類に基づいて）ランダムアクセス切り換えと誤り耐性を有効な形で結合させることによって誤りに対する頑健性（ｒｏｂｕｓｔｎｅｓｓ）を向上させながらコーディング効率を向上させることができる。
一側面においては、マルチメディアデータを処理する方法は、マルチメディアデータのコンテンツ情報を入手することと、時間領域においてデータ境界をフレーム境界とアライメントさせるために前記マルチメディアデータを符号化すること、とを含み、前記符号化することは、前記コンテンツ情報に基づく。前記コンテンツは、コンテンツ分類を具備することができる。前記コンテンツ情報を入手することは、前記コンテンツ情報を前記マルチメディアデータから計算することを含むことができる。幾つかの場合においては、前記データ境界は、Ｉフレームデータ境界を具備する。前記データ境界は、前記マルチメディアデータの独立して復号可能な符号化されたデータの境界であることもできる。幾つかの場合においては、前記データ境界は、スライス境界を具備する。前記データ境界は、イントラコーディングされたアクセスユニット境界であることもできる。前記データ境界は、Ｐフレーム境界又はＢフレーム境界であることもできる。前記コンテンツ情報は、前記マルチメディアデータの複雑さを含むことができ、前記複雑さは、時間的複雑さ、空間的複雑さ、又は時間的複雑さと空間的複雑さを具備することができる。
他の側面においては、マルチメディアデータを処理するための装置は、マルチメディアデータのコンテンツ分類を決定するように構成されたコンテンツ分類器と、時間領域においてデータ境界をフレーム境界とアライメントさせるために前記マルチメディアデータを符号化するように構成された符号器と、を含み、前記符号化することは、前記コンテンツ情報に基づく。
他の側面においては、マルチメディアデータを処理するための装置は、マルチメディアデータのコンテンツ情報を入手するための手段と、時間境界においてデータ境界をフレーム境界とアライメントさせるために前記マルチメディアデータを符号化するための手段と、を含み、前記符号化することは、前記コンテンツ情報に基づく。
他の側面においては、プロセッサは、マルチメディアデータのコンテンツ情報を入手し、時間領域においてデータ境界をフレーム境界とアライメントさせるために前記マルチメディアデータを符号化するように構成され、前記符号化することは、前記コンテンツ情報に基づく。
他の側面は、実行時にマルチメディアデータのコンテンツ情報を機械に入手させる命令と、時間領域においてデータ境界をフレーム境界とアライメントさせるために前記マルチメディアデータを機械に符号化させる命令であって、前記符号化することは前記コンテンツ情報に基づく命令と、を具備する機械によって読み取り可能な媒体を含む。
他の側面は、マルチメディアデータを処理する方法であって、前記マルチメディアデータのコンテンツ分類を入手することと、前記コンテンツ分類に基づいて前記マルチメディアデータ内のブロックをイントラコーディングされたブロック又はインターコーディングされたブロックとして符号化して前記符号化されたマルチメディアデータの誤り耐性を向上させること、とを具備する方法、を具備する。
さらに他の側面においては、マルチメディアデータを処理するための装置は、前記マルチメディアデータのコンテンツ分類を入手するように構成されたコンテンツ分類器と、前記コンテンツ分類に基づいて前記マルチメディアデータ内のブロックをイントラコーディングされたブロック又はインターコーディングされたブロックとして符号化して前記符号化されたマルチメディアデータの前記誤り耐性を向上させるように構成された符号器と、を具備する。
他の側面は、前記マルチメディアデータのコンテンツ分類を入手し、前記コンテンツ分類に基づいて前記マルチメディアデータ内のブロックをイントラコーディングされたブロック又はインターコーディングされたブロックとして符号化して前記符号化されたマルチメディアデータの前記誤り耐性を向上させるように構成されたプロセッサを具備する。
他の側面においては、マルチメディアデータを処理するための装置は、前記マルチメディアデータのコンテンツ分類を入手するための手段と、前記コンテンツ分類に基づいて前記マルチメディアデータ内のブロックをイントラコーディングされたブロック又はインターコーディングされたブロックとして符号化して前記符号化されたマルチメディアデータの前記誤り耐性を向上させるための手段と、を具備する。
他の側面は、実行時に前記マルチメディアデータのコンテンツ分類を機械に入手させる命令と、前記コンテンツ分類に基づいて前記マルチメディアデータ内のブロックをイントラコーディングされたブロック又はインターコーディングされたブロックとして機械に符号化させて前記符号化されたマルチメディアデータの前記誤り耐性を向上させる命令と、を具備する機械によって読み取り可能な媒体を具備する。
該当する場合において、同一のものについては図面全体に渡って同一の参照番号を付すことに注意すること。
以下の発明を実施するための最良の形態は、本開示において説明される一定の側面を対象にしたものである。しかしながら、本発明は、多数の異なる方法で具体化することが可能である。本明細書において「１つの側面」又は「側面」を参照しているときには、該側面と関連して説明される特定の特長、構造、又は特徴が少なくとも１つの側面の中に含まれていることを意味する。本明細書の様々な箇所における「一側面において」、「一側面により」、又は「幾つかの側面において」という表現の出現は、必ずしもすべてが同じ側面に言及しているわけではなく、さらに、その他の側面と別個であるか又は互いに排他的であるわけでもない。さらに、幾つかの側面によって示すことができその他の側面によって示すことができない様々な特長が説明される。同様に、幾つかの側面に関する要求であることができその他の側面に関する要求であることができない様々な要求が説明される。
以下の説明は、例を徹底的に理解できるようにするために提供される詳細を含む。しかしながら、これらの例は、１つの例又は側面におけるプロセス又はデバイスに関するすべての詳細が本明細書において説明されていないか又は例示されていない場合でも実践可能であることが当業者によって理解される。例えば、電気的構成要素は、これらの例を不必要に詳細にして不明確にしないようにするために該構成要素のすべての電気的接続又はすべての電気的要素を示していないブロック図において示すことができる。その他の場合においては、該構成要素、その他の構造及び技術は、これらの例をさらに説明するための詳細さで示すことができる。
本開示は、符号化中のマルチメディアデータのコンテンツ情報を用いた符号化及びトランスコーディング装置及び方法を制御することに関するものである。（マルチメディアデータの）“コンテンツ情報”又は“コンテンツ”は、マルチメディアデータのコンテンツに関連する情報を意味する広義の言葉であり、例えば、メタデータと、マルチメディアデータから計算されたメトリックスと、１つ以上のメトリックスと関連づけられたコンテンツ関連情報、例えばコンテンツ分類と、を含むことができる。コンテンツ情報は、特定の用途に依存して、符号器に提供すること又は符号器によって決定することができる。コンテンツ情報は、シーン変化検出、時間的処理、空間−時間的雑音低減、ダウンサンプリング、量子化のためのビットレートの決定、スケーラビリティ、誤り耐性、放送チャネル間での最適なマルチメディア品質の維持、及び高速チャネル切り換えを含むマルチメディアデータ符号化の数多くの側面に関して用いることができる。トランスコーダは、これらの側面のうちの１つ以上を用いて、マルチメディアデータの処理を調整し、コンテンツ関連の符号化されたマルチメディアデータを生成することができる。トランスコーディングの側面について説明する本明細書内の記述及び図は、符号化に関する側面及び復号に関する側面にも適用可能である。
トランスコーダ装置及び方法は、１つの形式から他の形式へのトランスコーディングに関するものであり、本明細書においては、無線チャネルを通じて幾つかの側面の例示であるモバイルデバイスに送信するためにＭＰＥＧ−２映像を拡張されたスケーラブルなＨ．２６４形式にトランスコーディングすることに関連して具体的に説明される。しかしながら、ＭＰＥＧ−２映像をＨ．２６４形式にトランスコーディングすることについての説明は、本発明の適用範囲を限定することは意図されておらず、本発明の幾つかの側面の単なる典型例であるにすぎない。開示される装置及び方法は、ランダムアクセス及び層化能力を備えた誤り耐性の高い符号化をサポートする非常に効率的なアーキテクチャを提供し、ＭＰＥＧ−２及びＨ．２６４以外の映像形式のトランスコーディング及び／又は符号化に対しても適用可能である。
本明細書において用いられる“マルチメディアデータ”又は単に“マルチメディア”は、（音声データを含むことができる）映像データ、音声データ、又は映像データと音声データの両方を含む広義の言葉である。本明細書において用いられる“映像データ”又は“映像”は、１つ以上の画像又は関連する一連の画像を含み、テキスト、画像情報及び／又は音声データを内蔵する、フレームに基づく又はフィールドに基づくデータを意味する広義の言葉であり、別記がないかぎりマルチメディアデータを指すために用いることができる（例えば、これらの言葉は、互換可能な形で用いることができる）。
以下では、トランスコーダの様々な構成要素の例及びマルチメディアデータを符号化するためにコンテンツ情報を用いることができるプロセス例が説明される。
図１Ａは、マルチメディアデータ放送システム１００の幾つかの側面のデータフローを示すブロック図である。システム１００において、マルチメディアデータプロバイダ１０６は、符号化されたマルチメディアデータ１０４をトランスコーダ２００に通信する。符号化されたマルチメディアデータ１０４は、トランスコーダ２００によって受信され、トランスコーダ２００は、ブロック１１０においてマルチメディアデータ１０４を処理して生のマルチメディアデータにする。ブロック１１０における処理は、符号化されたマルチメディアデータ１０４を復号及び構文解析し、他の形式に符号化するための準備としてマルチメディアデータをさらに処理する。復号されたマルチメディアデータは、ブロック１１２に提供され、ブロック１１２において、マルチメディアデータは、予め決められたマルチメディア形式又は基準に符号化される。マルチメディアデータが符号化された時点で、ブロック１１４において、例えば無線放送システム（例えば、携帯電話放送ネットワーク、又は他の通信ネットワーク）を介して、又は他の通信ネットワークを介して送信するための準備が行われる。幾つかの側面においては、受信されたマルチメディアデータ１０４は、ＭＰＥＧ−２基準に従って符号化されている。トランスコーディングされたマルチメディアデータ１０４が復号された後は、トランスコーダ２００は、Ｈ．２６４基準に従ってマルチメディアデータを符号化する。
図１Ｂは、図１Ａのブロック１１０及び１１２において処理を行うように構成することができるトランスコーダ１３０のブロック図である。トランスコーダ１３０は、マルチメディアデータを受信し、マルチメディアデータを復号及び構文解析してパケット化されたエレメンタリストリーム（例えば、サブタイトル、音声、メタデータ、“生”映像、ＣＣデータ、及び表示時刻タイムスタンプ）にし、これらのデータを符号化して希望される形式にし、符号化されたデータをさらなる処理又は送信のために提供するように構成することができる。トランスコーダ１３０は、符号化されたデータを２つ以上のデータグループ、例えば、符号化された第１のデータグループ及び符号化された第２のデータグループで提供するように構成することができ、階層符号化と呼ばれる。幾つかの側面例においては、階層符号化方式における様々なデータグループ（又は層）は、第１のデータグループにおいて符号化されたデータの品質のほうが第２のデータグループにおいて符号化されたデータよりも低くなる（例えば、表示されたときにより低い視覚品質レベルを提供する）ように異なる品質レベルで符号化、及び形式化することができる。
図１Ｃは、マルチメディアデータをトランスコーディングするように構成することができ、及び図１Ａのブロック１１０及び１１２において描かれている処理の一部又は全部を行うように構成することができるプロセッサ１４０のブロック図である。プロセッサ１４０は、本明細書において説明される、復号、構文解析、前処理、及び符号化を含むトランスコーディングプロセスのうちの１つ以上を行い、コンテンツ情報を処理に関して用いるモジュール１２４ａ．．．ｎを含むことができる。プロセッサ１４０は、内部メモリ１２２も含み、直接又は他のデバイスを通じて間接的に外部メモリ１２０と通信するように構成することができる。プロセッサ１４０は、プロセッサ１４０の外部の１つ以上のデバイスと通信するように構成された通信モジュール１２６も含み、マルチメディアデータを受信すること及び符号化されたデータ、例えば、第１のデータグループにおいて符号化されたデータ及び第２のデータグループにおいて符号化されたデータ、を提供することを含む。幾つかの側面例においては、階層符号化方式における様々なデータグループ（又は層）は、第１のデータグループにおいて符号化されたデータの品質のほうが第２のデータグループにおいて符号化されたデータよりも低くなる（表示されたときにより低い視覚品質レベルを提供する）ように、異なる品質レベルで符号化し、形式化することができる。
トランスコーダ１３０又は（トランスコーディング用に構成された）プリプロセッサ１４０、その構成要素、及び内蔵されるプロセスは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、又はその組合せによって実装することができる。例えば、構文解析器、復号器、プリプロセッサ、又は符号器は、独立型構成要素であること、ハードウェア、ファームウェア、ミドルウェアとして他のデバイスの構成要素内に組み込むこと、又はプロセッサにおいて実行されるマイクロコード又はソフトウェア、又はその組合せにおいて実装することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコード内に実装されるときは、動き補償、ショット分類及び符号化プロセスを行うプログラムコード又はコードセグメントは、機械によって読み取り可能な媒体、例えば記憶媒体、に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、命令の組合せ、データ構造、又はプログラム文を表すことができる。コードセグメントは、情報、データ、引数、パラメータ、メモリコンテンツを渡す及び／又は受け取ることによって他のコードセグメント又はハードウェア回路に結合させることができる。
トランスコーダアーキテクチャ例
図２は、図１のマルチメディア放送システム１００において示されるトランスコーダ２００に関して用いることができるトランスコーダ例のブロック図である。トランスコーダ２００は、以下においてさらに説明される構文解析器／復号器２０２と、プリプロセッサ２２６と、符号器２２８と、同期化層２４０と、を具備する。トランスコーダ２００は、本明細書において説明されるように、トランスコーディングプロセスの１つ以上の側面に関するマルチメディアデータ１０４のコンテンツ情報を用いるように構成される。コンテンツ情報は、マルチメディアメタデータを通じてトランスコーダ２００の外部のソースから入手すること、又はトランスコーダによって、例えば、プリプロセッサ２２６又は符号器２２８によって計算することができる。図２に示される構成要素は、１つ以上のトランスコーディングプロセスに関してコンテンツ情報を用いるトランスコーダ内に含めることができる構成要素を例示したものである。特定の実装においては、トランスコーダ２００の構成要素のうちの１つ以上は、除外することができ又は追加の構成要素を含めることができる。さらに、本明細書においてはプロセス又はデバイスのすべての詳細を説明することができないにもかかわらず当業者が本発明を実践するのを可能にするためにトランスコーダ及びトランスコーディングプロセスの一部分が説明される。
図５は、トランスコーダ２００の様々な構成要素の動作及び／又はプロセスの時間的関係を図示したタイミング図である。図５に示されるように、最初に、符号化されたストリーミング映像１０４（符号化されたマルチメディアデータ）、例えば、ＭＰＥＧ−２映像、が、構文解析器２０５（図２）によって任意の時間ゼロ（０）において受信される。次に、映像ストリームは、例えば復号器２１４と組み合わせた構文解析器２０５によって構文解析され５０１、多重分離され５０２、復号される５０３。示されるように、これらのプロセスは、データ処理のストリーム出力をプリプロセッサ２２６に提供するために、わずかなタイミングのオフセットを伴う形で並行して起きることができる（図２）。時間Ｔ１ ５０４において、プリプロセッサ２２６が処理結果の出力を開始する上で十分なデータを復号器２１４から受信した時点で、残りの処理ステップは、性質上順次的になり、前処理後は、時間Ｔｆ ５０８における再符号化が完了するまで第１パス符号化５０５、第２パス符号化５０６、及び再符号化５０７が順に生じる。
本明細書において説明されるトランスコーダ２００は、様々なマルチメディアデータをトランスコーディングするように構成することができ、多くのプロセスは、トランスコーディングされるあらゆる型のマルチメディアデータに適用される。本明細書において提供される例の一部は、ＭＰＥＧ−２データをＨ．２６４データにトランスコーディングすることに特に関するものであるが、これらの例は、本開示を該データに限定することは意味しない。以下において説明される符号化側面は、あらゆる適切なマルチメディアデータ基準を他の適切なマルチメディアデータ基準にトランスコーディングすることに適用することができる。
構文解析器／復号器
再度図２に関して、構文解析器／復号器２０２は、マルチメディアデータ１０４を受信する。構文解析器／復号器２０２は、マルチメディアデータ１０４を受信し、該データを構文解析して映像エレメンタリストリーム（ＥＳ）２０６、音声ＥＳ２０８、表示時刻タイムスタンプ（ＰＴＳ）２１０及びその他のデータ、例えばサブタイトル２１２、にするトランスポートストリーム構文解析器（“構文解析器”）２０５を含む。ＥＳは、１つの型のデータ（映像又は音声）を単一の映像又は音声符号器から搬送する。例えば、映像ＥＳは、シーケンスヘッダー及びすべての小部分を含むデータシーケンスに関する映像データを具備する。パケット化されたエレメンタリストリーム、すなわちＰＥＳ、は、パケット化されている単一のＥＳから成り、典型的には各々が追加されたパケットヘッダーで始まる、ＰＥＳストリームは、１つのソースからの、例えば１つの映像又は音声符号器からの、１つの型のデータのみを含む。ＰＥＳパケットは、トランスポートパケットの固定パケット長に対応しない可変長を有し、トランスポートパケットよりもはるかに長くすることができる。トランスポートパケットがＰＥＳストリームから形成されるときには、ＰＥＳヘッダーは、トランスポートパケットペイロードの始めで、トランスポートパケットヘッダーの直後に配置することができる。残りのＰＥＳパケットコンテンツは、ＰＥＳパケットがすべて用いられるまで後続するトランスポートパケットのペイロードを満たす。最後のトランスポートパケットは、例えばバイト、例えば、バイト＝０ｘＦＦ（すべて１）を詰めることによって、固定長まで満たすことができる。
構文解析器２０５は、ここに示される構文解析器／復号器２０２の一部である復号器２１４に映像ＥＳ ２０６を通信する。その他の構成においては、構文解析器２０５及び復号器２１４は、別個の構成要素である。ＰＴＳ２１０は、トランスコーダＰＴＳ生成器２１５に送信され、トランスコーダＰＴＳ生成器２１５は、トランスコーダ２００から放送システムに送信されるデータを手配する際に用いるためにトランスコーダ２００専用の別個の表示時刻タイムスタンプを生成することができる。トランスコーダＰＴＳ生成器２１５は、データ放送の同期化を調整するためにトランスコーダ２００の同期化層２４０にデータを提供するように構成することができる。
図３は、構文解析器２０５が上述される様々なパケット化されたエレメンタリストリームを構文解析するときに従うことができるプロセス３００の一例の流れ図である。プロセス３００は、ブロック３０２において開始し、マルチメディアデータ１０４がコンテンツプロバイダ１０６から受信される（図１）。プロセス３００は、ブロック３０４に進み、構文解析器２０５の初期設定が行われる。初期設定は、独立して生成された取得コマンド３０６によってトリガーすることができる。例えば、構文解析器２０５から独立していて、外部で受信されたＴＶスケジュール及びチャネルラインアップ情報に基づくプロセスが、取得コマンド３０６を生成することができる。さらに、初期設定及び主処理の両方を援助するためにリアルタイムトランスポートストリーム（ＴＳ）バッファ記述子３０８を入力することができる。
ブロック３０４において例示されるように、初期設定は、コマンド構文検証を取得することと、第１パスＰＳＩ／ＰＳＩＰ／ＳＩ（プログラム専用情報／プログラム及びシステム情報プロトコル／システム情報）の処理を行うことと、取得コマンド又はＰＳＩ／ＰＳＩＰ／ＳＩ一貫性検証のいずれかに特に関連する処理を行うことと、各ＰＥＳに関するＰＥＳバッファを割り当てることと、（例えば、希望される取得開始インスタントとのアライメントに関する）タイミングを設定すること、とを含むことができる。ＰＥＳバッファは、構文解析されたＥＳデータを保持し、各構文解析されたＥＳデータを対応する音声復号器２１６、試験符号器２２０、復号器２１４、又はトランスコーダＰＴＳ生成器２１５に通信する。
初期設定後、プロセス３００は、受信されたマルチメディアデータ１０４の主処理のためにブロック３１０に進む。ブロック３１０における処理は、目標パケット識別子（ＰＩＤ）フィルタリングと、連続的ＰＳＩ／ＰＳＩＰ／ＳＩモニタリング及び処理と、着信したマルチメディアデータが適切なＰＥＳバッファ内に渡されるようにするための（例えば、希望される取得継続時間を達成させるための）タイミングプロセスと、を含むことができる。ブロック３１０におけるマルチメディアデータの処理の結果、ＰＥＳバッファ‘読み取り’のプログラム記述子及び表示が生成され、後述されるように復号器２１４とインタフェースする（図２）。
ブロック３１０後、プロセス３００は、ブロック３１４に進み、タイマー割り込みの生成及びＰＥＳバッファの消費に後続するＰＥＳバッファの解放を含む構文解析動作の終了が起きる。ＰＥＳバッファは、記述子内において引用されたプログラムのすべての関連するエレメンタリストリーム、例えば、音声、映像、及びサブタイトルストリーム、に関して存在することが注記される。
再度図２に関して、構文解析器２０５は、トランスコーダ実装に対応するために音声ＥＳ２０８を音声復号器２１６に送信し、符号化されたテキスト２１６を同期化層２４０及び音声情報の復号に提供する。サブタイトル情報２１２は、テキスト符号器２２０に引き渡される。復号器２１４からのクローズドキャプショニング（ＣＣ）データ２１８は、テキスト符号器２２０に提供することができ、テキスト符号器２２０は、サブタイトル情報２１２及びＣＣデータ２１８をトランスコーダ２２０によって生成された形式で符号化する。
構文解析器／復号器２０２は、映像ＥＳ ２０６を受信する復号器２１４も含む。復号器２１４は、映像データと関連づけられたメタデータを生成することができ、符号化された映像のパケット化されたエレメンタリストリームを復号して（例えば、標準定義形式の）生映像２２４にし、映像ＥＳストリーム内の映像クローズドキャプショニングされたデータを処理する。
図４は、復号器２１４によって行うことができる復号プロセス４００の一例を示す流れ図である。プロセス４００は、ブロック４０２における映像エレメンタリストリームデータ２０６の入力から開始する。プロセス４００は、ブロック４０４に進み、復号器が初期設定される。初期設定は、映像シーケンスヘッダー（ＶＳＨ）の検出と、第１パスＶＨＳ、映像シーケンス（ＶＳ）、及び（映像形式、三原色、及びマトリックス係数を含む）ＶＳ表示拡張処理を行うことと、復号されたピクチャ、関連づけられたメタデータ及びクローズドキャプション（ＣＣ）データを各々バッファリングするためのデータバッファを割り当てること、とを含む幾つかのタスクを含むことができる。さらに、構文解析器２０５によって提供された映像ＰＥＳバッファ‘読み取り’情報４０６が入力される（例えば、図３のブロック３１０においてプロセス３００によって生成することができる）。
ブロック４０４において初期設定後は、プロセス４００は、ブロック４０８に進み、映像ＥＳの主処理が復号器２１４によって行われる。主処理は、新しいデータの利用可能性に関して映像ＰＥＳバッファ‘読み取り’情報又は“インタフェース”をポーリングすることと、映像ＥＳを復号することと、ピクチャ境界における画素データを再構築及び格納することと、映像及びａ／ｖを同期化することと、ピクチャ境界におけるメタデータを生成及び保存することと、ピクチャ境界におけるＣＣデータを保存すること、とを含む。主処理４０８の結果ブロック４１０は、シーケンス記述子、復号されたピクチャバッファ記述子、メタデータバッファ記述子、及びＣＣデータバッファ記述子の生成を含む。
主処理４０８後、プロセス４００は、ブロック４１２に進み、終了プロセスを行う。終了プロセスは、予め決められたしきい値を超える特定の継続時間中に新しいデータが発生しないこと、シーケンス終了符号の検出、及び／又は明示の終了信号の検出を含む終了条件を決定することを含むことができる。終了プロセスは、復号されたピクチャ、関連づけられたメタデータ、及びＣＣデータバッファを後述されるプリプロセッサによる消費後に解放することをさらに含むことができる。プロセス４００は、ブロック４１４において終了し、入力として受信される映像ＥＳを待つ状態に入ることができる。
プリプロセッサ
図２、及びより詳細な図６は、１つ以上の前処理動作に関してコンテンツ情報を用いることができるプリプロセッサ２２６のサンプル側面を示す。プリプロセッサ２２６は、メタデータ２２２及び復号された“生”映像データ２２４を構文解析器／復号器２０２から受信する。プリプロセッサ２２６は、映像データ２２４及びメタデータ２２２に関して一定の型の処理を行い、処理されたマルチメディア（例えば、基本層基準フレーム、拡張層基準フレーム、帯域幅情報、コンテンツ情報）及び映像を符号器２２８に提供するように構成することができる。マルチメディアデータの該前処理は、視覚上の鮮明度、エリアシング対策、及びデータの圧縮効率を向上させることができる。一般的には、プリプロセッサ２２６は、構文解析器復号器２０２内の復号器２１４によって提供される映像シーケンスを受信し、該映像シーケンスを符号器２２８によるさらなる処理（例えば、符号化）のためにプログレッシブ映像シーケンスに変換する。幾つかの側面においては、プリプロセッサ２２６は、逆テレシネと、デインターレーシングと、フィルタリング（例えば、アーティファクト除去、デリンギング、デブロッキング、及び雑音除去）と、リサイジング（例えば、標準品位からクォータービデオグラフィックスアレイ（ＱＶＧＡ）への空間解像度ダウンサンプリング）と、ＧＯＰ構造生成（例えば、複雑さマップ生成の計算、シーン変化検出、及びフェード／フラッシュ検出）と、を含む数多くの動作に関して構成することができる。
プリプロセッサ２２６は、前処理動作のうちの１つ以上に影響を与えるために復号器からのメタデータを用いることができる。メタデータは、マルチメディアデータのコンテンツ（“コンテンツ情報”）に関連する、説明する、又は分類する情報を含むことができ、特に、メタデータは、コンテンツ分類を含むことができる。幾つかの側面においては、メタデータは、符号化動作に関して希望されるコンテンツ情報を含まない。このような場合には、プリプロセッサ２２６は、コンテンツ情報を決定して該コンテンツ情報を前処理動作に関して用いるように構成することができ及び／又はコンテンツ情報をトランスコーダ２００のその他の構成要素、例えば復号器２２８、に提供する。幾つかの側面においては、プリプロセッサ２２６は、ＧＯＰパーティショニングに影響を与え、適切な型のフィルタリングを決定し、及び／又は符号器に通信される符号化パラメータを決定するために該コンテンツ情報を用いることができる。
図６は、プリプロセッサ２２６に含めることができる様々なプロセスブロックの説明例を示し、プリプロセッサ２２６によって行うことができる処理を例示する。この例においては、プリプロセッサ２２６は、メタデータ及び映像２２２、２２４を受信し、（処理された）メタデータ及び映像を具備する出力データ６１４を符号器２２８に提供する。典型的には、受信することができる３つの型の映像が存在する。第１に、受信された映像は、プログレッシブ映像であることができ、この場合は、デインターレーシングは要求されない。第２に、映像データは、テレシネされた映像、２４ｆｐｓムービーシーケンス、この場合は映像、から変換された、インターレーングされた映像であることができる。第３に、映像は、テレシネされない、インターレーシングされた映像であることができる。プリプロセッサ２２６は、後述されるようにこれらの型の映像を処理することができる。
ブロック６０１において、プリプロセッサ２２６は、受信された映像データ２２２、２２４がプログレッシブ映像であるかどうかを決定する。幾つかの場合においては、このことは、メタデータが該情報を含む場合はメタデータから決定すること、又は映像データ自体の処理によって決定することができる。例えば、後述される逆テレシネプロセスは、受信された映像２２２がプログレッシブ映像であるかどうかを決定することができる。受信された映像２２２がプログレッシブ映像である場合は、プロセスはブロック６０７に進み、白色ガウス雑音等の雑音を低減させるためのフィルタリング（又は雑音除去器）動作が映像に関して行われる。ブロック６０１において、映像データ２２２、２２４がプログレッシブ映像でない場合は、プロセスは、位相検出器６０４へのブロック６０４に進む。
位相検出器６０４は、テレシネにおいて発生した映像と標準放送形式で始まった映像を区別する。映像がテレシネされたとする決定が行われた場合は（位相検出器６０６から出る「はい」決定経路）、テレシネされた映像は、逆テレシネ６０６において原形式に戻される。冗長フレームが識別されて除去され、同じ映像フレームから導き出されたフィールドが完全な画像内に再度織り込まれる。再構築されたフィルム画像のシーケンスは、１秒間の１／２４の定期的な間隔で写真記録されたため、ＧＯＰパーティショナ６１２又は復号器２２８において行われた動き推定プロセスは、時間の基礎が不正規であるテレシネされたデータではなく逆テレシネされた画像を用いるほうがより正確である。
一側面においては、位相検出器６０４は、映像フレームを受信後に一定の決定を行う。これらの決定は、（ｉ）現在の映像がテレシネ出力からであり３：２プルダウン位相が図３８に示される５つの位相Ｐ０、Ｐ１、Ｐ２、Ｐ３、及びＰ４のうちの１つであるかどうか、及び（ｉｉ）映像は従来のＮＴＳＣとして生成されたかどうかを含む。その決定は、位相Ｐ５として表される。これらの決定は、図２に示される位相検出器６０４の出力として現れる。“はい”のラベルが付された位相検出器６０４からの経路は、逆テレシネ６０６を作動させ、同じ写真画像から形成されたフィールドを分類して結合させることができるように正確なプルダウン位相が提供されていることを示す。“いいえ”のラベルが付された位相検出器６０４からの経路は、みかけのＮＴＳＣフレームを最適な処理のためにフィールドに分離するためにデインターレーサ６０５を同様に作動させる。異なる型の映像を何時でも受信することができるため、位相検出器６０４は、映像フレームを連続的に解析することができる。一例として、ＮＴＳＣ基準に準拠した映像をコマーシャルとして映像内に挿入することができる。逆テレシネ後、結果的に得られたプログレッシブ映像は、白色ガウス雑音を低減させるために用いることができる雑音除去器（フィルタ）６０７に送られる。
従来のＮＴＳＣ映像が認識されたときには（位相検出器６０１からの「いいえ」経路）、圧縮のためにデインターレーサ６０５に送信される。デインターレーサ６０５は、インターレーシングされたフィールドをプログレッシブ映像に変換し、プログレッシブ映像に関する雑音除去動作を行うことができる。１つのデインターレーシング処理例が以下において説明される。
テレビ等の伝統的なアナログ映像デバイスは、インターレーシングされた方法で映像を提供する。すなわち、該デバイスは、偶数の走査線（偶数フィールド）及び奇数の走査線（奇数フィールド）を提供する。信号サンプリングの観点からは、このことは、以下の式によって表されるパターンでの空間−時間的サブサンプリングに相当する。
Figure 2009510937
ここで、Θは、原フレームピクチャを表し、Ｆは、インターレーシングされたフィールドを表し、（ｘ，ｙ，ｎ）は、画素の水平方向の、垂直方向の、及び時間的位置を表す。
一般性を失うことなしに、本開示全体を通じてｎ＝０は偶数フィールドであると仮定することができ、このため上記の方程式１は以下のように単純化される。
Figure 2009510937
デシメーションは水平次元においては行われないため、サブサンプリングパターンは、次のｎ〜ｙ座標で描くことができる。
デインターレーサの最終目標は、インターレーシングされた映像（フィールドのシーケンス）をインターレーシングされていないプログレッシブフレーム（フレームのシーケンス）に変換することである。換言すると、偶数及び奇数のフィールドを内挿し、全フレームピクチャを“復元”又は生成することである。この動作は、方程式３によって表すことができる。
Figure 2009510937
ここで、Ｆｉは、消失している画素に関するデインターレーシング結果を表す。
図４０は、インターレーシングされたマルチメディアデータからプログレッシブフレームを生成するためにＷｍｅｄフィルタリング及び動き推定を用いるデインターレーサ６０５の側面の一定の側面を示すブロック図である。図４０の上部分は、現在のフィールド、２つの前フィールド（ＰＰフィールド及びＰフィールド）、及び２つの後続フィールド（次のフィールド及び次の次のフィールド）からの情報を用いて生成することができる動き強度マップ４００２を示す。以下においてさらに詳細に説明されるように、動き強度マップ４００２は、現在のフレームを分類するか又は２つ以上の異なる動きレベルに分割することができ、空間−時間的フィルタリングによって生成することができる。幾つかの側面においては、動き強度マップ４００２は、以下の方程式４乃至８を参照しつつ説明されるように、静止エリア、スローモーションエリア、及び高速モーションエリアを識別するために生成される。空間−時間フィルタ、例えば、Ｗｍｅｄフィルタ４００４は、インターレーシングされたマルチメディアデータを動き強度マップに基づいて判定基準を用いてフィルタリングし、空間−時間的な仮のデインターレーシングされたフレームを生成する。幾つかの側面においては、Ｗｍｅｄフィルタリングプロセスは、［−１，１］の水平の近隣エリアと、［−３，３］の垂直の近隣エリアと、図４０に示される５つのフィールド（ＰＰフィールド、Ｐフィールド、現在のフィールド、次のフィールド、次の次のフィールド）によって表される５つの隣接フィールドから成る時間的近隣エリアと、を含み、Ｚ−１は、１つのフィールドの遅延を表す。現在のフィールドに関して、次のフィールド及びＰフィールドは、非パリティフィールドであり、ＰＰフィールド及び次の次のフィールドは、パリティフィールドである。空間−時間的フィルタリングに関して用いられる“近隣エリア”は、フィルタリング動作中に実際に用いられるフィールド及び画素の空間的及び時間的位置を意味し、例えば図６及び７において示されるように「開口」として示すことができる。
デインターレーサ６０５は、Ｗｍｅｄフィルタ４００４によって生成された空間−時間的な仮のデインターレーシングされたフレームをフィルタリングするように構成された雑音除去器（雑音除去フィルタ）４００６を含むこともできる。空間−時間的な仮のデインターレーシングされたフレームの雑音を除去することは、特にソースインターレーシングされたマルチメディアデータシーケンスが白色雑音によって汚染されている場合に、後続する動き探索プロセスをより正確にする。さらに、Ｗｍｅｄピクチャ内の偶数と奇数の行間におけるエリアスを少なくとも部分的に除去することもできる。雑音除去器４００６は、ウェーブレット縮退及びウェーブレットウィーナーフィルタに基づく雑音除去器を含む様々なフィルタとして実装することができる。雑音除去器は、候補のＷｍｅｄフレームが動き補償情報を用いてさらに処理される前に候補のＷｍｅｄフレームから雑音を除去するために用いることができ、Ｗｍｅｄフレーム内に存在する雑音を除去すること及び信号の周波数コンテンツにかかわらず信号の存在を保持することができる。ウェーブレットフィルタを含む様々な型の雑音除去フィルタを用いることができる。ウェーブレットは、空間領域及びスケーリング領域の両方において所定の信号を突き止めるために用いられる１つのクラスの関数である。ウェーブレットに関する基本的な考え方は、ウェーブレット表示の小さい変化が原信号の対応する小さい変化を生み出すように異なるスケール又は解像度において信号を解析することである。
ウェーブレット縮退又はウェーブレットウィーナーフィルタは、雑音除去器として利用することもできる。ウェーブレット縮退は、雑音信号のウェーブレット変換を行い、後続して、大きい係数は影響を受けないようにしながら小さいウェーブレット係数を縮退させてゼロ（又はより小さい値）にすることから成る。最後に、逆変換が行われて推定信号が取得される。
雑音除去フィルタリングは、雑音環境における動き補償精度を向上させる。ウェーブレット縮退雑音除去は、ウェーブレット変換領域の縮退を含むことができ、典型的には、３つのステップ、すなわち、線形順ウェーブレット変換、非線形縮退雑音除去、及び線形逆ウェーブレット変換、を具備する。ウィーナーフィルタは、加法性雑音及びぶれによって劣化された画像を改良するために用いることができるＭＳＥ最適線形フィルタである。該フィルタは、当業において一般的に知られており、例えば、上記の“ウェーブレット縮退による理想的な空間適応”において、及び本明細書において参照されることによってその全体が明示で本明細書に組み入れられている、S.P. Ghael, A. M. Sayeed, and R. G. Baraniuk,“Improvement Wavelet denoising via empirical Wiener filtering,”（経験的ウィーナーフィルタリングによるウェーブレット雑音除去の向上） 、Proceedings of SPIE, vol. 3169, pp. 389−３９９，San Diego, July 1997によって説明されている。
幾つかの側面においては、雑音除去フィルタは、（４，２）双直交立方Ｂスプラインウェーブレットフィルタの側面に基づく。１つの該フィルタは、以下の順及び逆変換によって定義することができる。
Figure 2009510937
及び
Figure 2009510937
雑音除去フィルタの利用は、雑音環境における動き補償精度を向上させることができる。該フィルタの実装は、本明細書において参照されることによってその全体が明示で本明細書に組み入れられている、“Ideal spatial adaptation by wavelet shrinkage,”（ウェーブレット縮退による理想的な空間適応）D.L. Donoho and I.M. Johnstone, Biometrika, vol. 8, pp. 425−455, 1994、においてさらに説明されている。
図４０の下部分は、インターレーシングされたマルチメディアデータの動き情報（例えば、動きベクトル候補、動き推定、動き補償）を決定するための側面を示す。特に、図４０は、選択されたフレームの動き補償された仮のプログレッシブフレームを生成してＷｍｅｄ仮フレームと結合させてその結果得られる、デインターレーシングされた現在のフレーム４０１４として示される、“最終的な”プログレッシブフレームを形成するために用いられる動き推定及び動き補償方式を示す。幾つかの側面においては、インターレーシングされたマルチメディアデータの動きベクトル（“ＭＶ”）候補（又は推定）が、外部の動き推定器からデインターレーサに提供され、双方向動き推定器及び補償器（“ＭＥ／ＭＣ”）４０１８に関する出発点を提供するために用いられる。幾つかの側面においては、ＭＶ候補選択器４０２２は、処理中のブロックのＭＶ候補に関する近隣ブロックに関する以前に決定されたＭＶ、例えば、前の処理されたブロック、例えば、デインターレーシングされた前フレーム４０２０内のブロック例のＭＶ、を使用する。動き補償は、前のデインターレーシングされたフレーム７０及び次の（例えば、将来の）Ｗｍｅｄフレーム４００８に基づいて双方向で行うことができる。現在のＷｍｅｄフレーム４０１０及び動き補償された（“ＭＣ”）現在のフレーム４０１６は、結合器４０１２によってマージ、すなわち結合される。その結果得られたデインターレーシングされた現在のフレーム４０１４、現在はプログレッシブフレーム、は、デインターレーシングされた前フレーム４０２０として用いるためにＭＥ／ＭＣ４０１８に戻され、さらに後続処理のためにデインターレーサ６０５に外部通信される。
インターフィールド補間を具備するデインターレーシング予測方式を、Ｗｍｅｄ＋ＭＣデインターレーシング方式によるイントラフィールド補間から切り離すことが可能である。換言すると、空間−時間的Ｗｍｅｄフィルタリングは、主にイントラフィールド補間目的で用いることができ、インターフィールド補間は、動き補償中に行うことができる。このことは、Ｗｍｅｄ結果のピーク信号・雑音比を小さくするが、不正確なインターフィールド予測モード決定による不良な画素は、Ｗｍｅｄフィルタリングプロセスから除去されるため、動き補償が適用された後の視覚品質のほうが良い。
適切な逆テレシネ又はデインターレーシング処理後は、ブロック６０８において、プログレッシブ映像は、エリアス抑止及びリサンプリング（例えば、リサイジング）に関して処理される。幾つかのリサンプリング側面においては、ピクチャサイズのリサイジングのために多相リサンプラが実装される。ダウンサンプリングの一例においては、原ピクチャとリサイジングされたピクチャの比は、ｐ／ｑであることができ、ｐ及びｑは、相対的に素の整数である。総位相数は、ｐである。幾つかの側面における多相フィルタのカットオフ周波数は、約０．５のリサイジング率に関しては０．６である。リサイジングされたシーケンスの高周波数応答を向上させるために、カットオフ周波数は、リサイジング比とは正確には一致しない。このことは、不可避的に何らかのエリアシングを可能にする。しかしながら、人間の目は、ぶれたエリアスのないピクチャよりも鮮明でエリアスが存在するピクチャを好むことがよく知られている。
図４１は、多相リサンプリング例であり、リサイジング比が３／４である場合の位相を示す。図４１に示されるカットオフ周波数も３／４である。上図においては、原画素は縦軸によって示される。フィルタ波形を表すためにこれらの軸を中心にしたｓｉｎｃ関数も描かれている。選択されたカットオフ周波数は、リサンプリング比とまったく同じであるため、ｓｉｎｃ関数のゼロは、図４１において交差によって示される、リサイジング後の画素の位置と重なり合う。リサイジング後の画素値を見つけるために、貢献度を以下の方程式において示されるように原画素から合計することができる。
Figure 2009510937
ここで、ｆｃは、カットオフ周波数である。上記の１Ｄ多相フィルタは、水平次元及び垂直次元の両方に適用することができる。
他のリサンプリング（リサイジング）側面は、オーバースキャンを説明することである。ＮＴＳＣテレビ信号においては、画像は、４８６本の走査線を有しており、デジタル映像においては、各走査線上に７２０の画素を有することが可能である。しかしながら、テレビ上では、サイズと画面形式との間の不一致に起因して画像全体が見えるわけではない。画像のうちで見えない部分は、オーバースキャンと呼ばれる。
米映画テレビ技術者協会（ＳＭＰＴＥ）では、放送事業者が可能な限り多くのテレビにおいて有用情報を可視エリア内に入れやすいようにするため、セーフアクションエリア（ｓａｆｅ ａｃｔｉｏｎ ａｒｅａ）及びセーフタイトルエリア（ｓａｆｅ ｔｉｔｌｅ ａｒｅａ）と呼ばれる動作フレームの特定の大きさを定めた。ＳＭＰＴＥによって推奨される方法であるＲＰ２７．３−１９８９ on Specification for Safe Action and Safe Title Areas Test Pattern for Television System（テレビシステムに関するセーフアクションエリア及びセーフタイトルエリアテストパターンに関する仕様）を参照すること。セーフアクションエリアは、“すべての意味のある動作が行われなければならない”エリアであるとＳＭＰＴＥによって定義されている。セーフタイトルエリアは、“大部分の家庭用テレビ受像機における可視性を保証するためにすべての有用な情報を入れることができる”エリアであると定義されている。
例えば、図２５に関して、セーフアクションエリア２５１０は、画面の中央の９０％を占め、５％のボーダーが全周囲に存在する。セーフタイトルエリア２５０５は、画面の中央の８０％を占め、１０％のボーダーが存在する。次に図２６に関して、セーフタイトルエリアは非常に小さいため、幾つかの放送局では、画像内においてより多くのコンテンツを追加するため、白色の長方形の窓２６１５の内部に存在するセーフアクションエリア内にテキストを入れる。
通常は、オーバースキャン内には黒のボーダーを見ることができる。例えば、図２６において、画像の上側２６２０及び下側２６２５に黒のボーダーが現れる。Ｈ．２６４映像では動き推定の際に境界拡大を用いるため、これらの黒のボーダーはオーバースキャンで除去することができる。拡大された黒のボーダーは、残留物を増大させる可能性がある。控えめなことに、境界は２％だけカットし、次にリサイジングを行うことができる。リサイジング用フィルタは、適宜生成することができる。多相ダウンサンプリング前にオーバースキャンを除去するための打ち切りが行われる。
再度図６に関して、プログレッシブ映像は、ブロック６１０に進み、デブロッカー及びデリンギング動作が行われる。映像圧縮用途においては、２つの型のアーティファクト、“ブロッキング”及び“リンギング”が共通して発生する。ブロッキングアーティファクトは、圧縮アルゴリズムが各フレームをブロック（例えば、８×８のブロック）に分割することが原因で発生する。各ブロックは、幾つかの小さい誤りが存在する状態で再構築され、ブロックのエッジにおける誤りは、近隣ブロックのエッジにおける誤りとコトンラストを成すことがしばしばあり、ブロック境界を可視にする。対照的に、リンギングアーティファクトは、画像特徴のエッジの周囲における歪みとして現れる。リンギングアーティファクトは、符号器が高周波ＤＣＴ係数を量子化する際に多くの情報を捨てすぎることが原因で発生する。幾つかの説明例においては、デブロッキング及びデリンギングは両方とも、低域ＦＩＲ（有限インパルス応答）を用いてこれらの可視のアーティファクトを隠すことができる。
デブロッキング処理の一例においては、フレームの境界におけるエッジ及びデブロッキングフィルタプロセスが使用不能になるエッジを除くフレームのすべての４×４ブロックエッジにデブロッキングフィルタを適用することができる。このフィルタリングプロセスは、マクロブロックアドレスの昇順で処理されたフレーム内の全マクロブロックによるフレーム構築プロセスが完了後にマクロブロックに基づいて行わなければならない。各マクロブロックに関して、最初に垂直エッジが左から右にフィルタリングされ、その後に水平エッジが上から下にフィルタリングされる。図３９に示されるように、水平方向及び垂直方向に関して、４つの１６サンプルエッジに対してルマデブロッキングフィルタプロセスが行われ、２つの８サンプルエッジに対して各クロマ成分に関するデブロッキングフィルタプロセスが行われる。以前のマクロブロックに対するデブロッキングプロセス作業によって既に修正されている現在のマクロブロックの左上のサンプル値は、現在のマクロブロックに対するデブロッキングフィルタプロセスへの入力として用いなければならず、現在のマクロブロックのフィルタリング中にさらに修正することができる。垂直エッジのフィルタリング中に修正されたサンプル値は、同じブロックに関する水平エッジのフィルタリング用入力として用いることができる。デブロッキングプロセスは、ルマ成分及びクロマ成分に関して別々に呼び出すことができる。
デリンギング処理の一例においては、エッジ付近のエリアを平滑化するために２Ｄフィルタを適応的に用いることができる。エッジ画素は、ぶれを回避するためのフィルタリングがほとんど又はまったく行われない。
ＧＯＰパーティショナ
デブロッキング及びデリンギング後は、プログレッシブ映像は、ＧＯＰパーティショナ６１２によって処理される。ＧＯＰポジショニングは、ショット変化を検出することと、複雑さマップ（例えば、時間的、空間的帯域幅マップ）を生成することと、適応型ＧＯＰパーティショニングと、を含むことができる。これらの各々が以下において説明される。
Ａ．シーン変化検出
ショット検出は、ピクチャグループ（ＧＯＰ）内のフレームがシーンの変化が生じていることを示すデータを提示したときを決定することに関するものである。一般的には、ＧＯＰ内においては、フレームは、２，３（又はそれ以上の）隣接フレーム内では有意な変化はしていない場合があり、又は、低速の変化又は高速の変化が生じている場合もある。当然のことであるが、これらのシーン変化分類は、必要な場合は、特定の用途に依存してより大きな変化レベルに細分することができる。
ショット又はシーンの変化の検出は、映像の効率的な符号化にとって重要である。典型的には、ＧＯＰが有意な変化をしていないときには、ＧＯＰの始めのＩフレームは、幾つかの予測フレームによって後続され、映像の後続する復号及び表示が視覚的に受け入れ可能になるように十分に映像を符号化することができる。しかしながら、突然又はゆっくりにかかわらずシーンが変化中のときには、後続して復号された視覚的に受け入れ可能な結果を生み出すために追加のＩフレーム及びそれよりも予測性が低い符号化（Ｐフレーム及びＢフレーム）が必要になることがある。
既存の符号化システムの性能を向上させるショット検出及び符号化システム及び方法が以下において説明される。該側面は、プリプロセッサ２２６のＧＯＰパーティショナ６１２に実装すること（図７）、又はプリプロセッサとともに又はプリプロセッサなしで動作することができる符号器デバイス内に含めることができる。該側面は、突然のシーン変化が生じているかどうか、シーンがゆっくりと変化しているかどうか、又は映像符号化を特に複雑化するカメラのフラッシュがシーン内に存在するかどうかを決定するために隣接する映像データフレーム間の統計的比較を含む統計値（又はメトリックス）を利用する。これらの統計値は、プリプロセッサから入手して符号化デバイスに送ることができ、又は（例えば、動き補償を行うように構成されたプロセッサによって）符号化デバイス内において生成することができる。結果的に得られた統計値は、シーン変化検出決定に役立つ。トランスコーディングを行うシステムにおいては、適切なプリプロセッサ又は構成可能なプロセッサがしばしば存在する。プリプロセッサがデインターレーシングによって補助された動き補償を行う場合は、動き補償統計値を利用可能であり、直ちに用いることができる。該システムにおいては、ショット検出アルゴリズムは、システムの複雑さをわずかに増大させる可能性がある。
本明細書において説明されるショット検出器例は、前フレーム、現在のフレーム、及び次のフレームからの統計値を利用する必要があるだけであり、従って、非常に低いレーテンシーを有する。ショット検出器は、突然のシーンの変化、クロスフェーディングとその他の低速のシーン変化、及びカメラのフラッシュを含む幾つかの異なる型のショットイベントを区別する。符号器内の異なる戦略を用いて異なる型のショットイベントを決定することによって、符号化効率及び視覚品質が向上される。
シーン変化検出は、映像コーディングシステムがＩフレームを固定された間隔で挿入することによってビットを知的に保存するようにするために用いることができる。幾つかの側面においては、（例えば、メタデータ内に組み込まれた又はプリプロセッサ２２６によって計算された）プリプロセッサによって入手されたコンテンツ情報は、シーン変化検出のために用いることができる。例えば、コンテンツ情報に依存し、後述されるしきい値及びその他の判定基準は、異なる型の映像コンテンツに関して動的に調整することができる。
映像符号化は、通常は、構造化されたピクチャグループ（ＧＯＰ）に対して行われる。ＧＯＰは、通常はイントラコーディングされたフレーム（Ｉフレーム）から開始し、一連のＰ（予測）又はＢ（双方向）フレームが後続する。典型的には、Ｉフレームは、フレームを表示するために要求される全データを保存することができ、Ｂフレームは、（前フレームから変更されたデータを含むだけであるか又は次のフレーム内のデータとは異なる）前フレーム及び後続フレーム内のデータに依存し、Ｐフレームは、前フレームから変化しているデータを含む。共通の使用法においては、符号化された映像においては、Ｉフレームは、Ｐフレーム及びＢフレームとともに散在する。サイズ（例えば、フレームの符号化に用いられるビット数）の点では、Ｉフレームは、典型的には、Ｐフレームよりもはるかに大きく、Ｐフレームは、Ｂフレームよりも大きい。効率的な符号化、送信及び復号処理を行うために、ＧＯＰの長さは、大きなＩフレームからの効率の損失を低減させる上で十分に長く、符号器と復号器との間のミスマッチ、すなわちチャネル損傷、に対処する上で十分に短くすべきである。さらに、Ｐフレーム内のマクロブロック（ＭＢ）は、同じ理由でイントラコーディングすることができる。
シーン変化検出は、映像符号器が適切なＧＯＰ長を決定し、しばしば不要なＩフレームを固定された間隔で挿入する代わりにＧＯＰ長に基づいてＩフレームを挿入するために用いることができる。実際のストリーミング映像システムにおいては、通常は、ビットエラー又はパケット損失によって通信チャネルが損傷される。Ｉフレーム又はＩ ＭＢをどこに配置するかは、復号された映像の品質及び視覚上の経験に有意な影響を与える可能性がある。１つの符号化方式は、共配置されている前ピクチャ又はピクチャ部分からの有意な変化を有するピクチャ又はピクチャ部分に関してイントラコーディングされたフレームを用いることである。通常は、これらの領域は、動き推定では有効に及び効率的に予測することはできず、符号化は、該領域がインターフレームコーディング技術（例えば、Ｂフレーム及びＰフレームを用いた符号化）から免除されている場合により効率的に行うことができる。チャネル損傷の状況においては、これらの領域は、誤り伝播を被る可能性があり、該誤り伝播は、イントラフレーム符号化によって低減又は排除（又はほぼ排除）することができる。
ＧＯＰ映像の一部分は、２つ以上のカテゴリに分類することができ、各領域は、特定の実装に依存する異なるイントラフレーム符号化基準を有することができる。一例として、映像は、３つのカテゴリ、すなわち、突然のシーン変化、クロスフェーディングとその他の低速のシーン変化、及びカメラのフラッシュライト、に分類することができる。
突然のシーンの変化は、通常はカメラの操作に起因する、前フレームとは有意な量だけ異なるフレームを含む。これらのフレームのコンテンツは、前フレームのコンテンツと異なるため、突然のシーン変化のフレームは、Ｉフレームとして符号化すべきである。
クロスフェーディング及びその他の低速のシーンの変化は、通常はコンピュータによるカメラ撮影の処理に起因する、シーンの低速切り換えを含む。２つの異なるシーンを漸次混合することは、人間の目には見やすいように思えるが、映像コーディング上は難題である。動き補償は、これらのフレームのビットレートを有効に低下させることができず、これらのフレームに関してより多くのイントラＭＢを更新することができる。
カメラのフラッシュライト、又はカメラのフラッシュイベントは、フレームのコンテンツがカメラのフラッシュを含むときに発生する。該フラッシュは、継続時間が相対的に短く（例えば、１フレーム）、極端に明るいため、フラッシュを描くフレーム内の画素は、隣接フレーム上の対応するエリアと比較して異常に高い輝度を呈する。カメラのフラッシュライトは、ピクチャの輝度を突然かつ素早く変化させる。通常は、カメラのフラッシュライトの継続時間は、人間の視覚系（ＨＶＳ）の時間的マスキング継続時間よりも短く、典型的には４４ｍｓであると定義されている。人間の目は、これらの短時間の突然の明るさの品質は感じず、このため粗く符号化することができる。フラッシュライトフレームは、動き補償では有効に処理することができず、将来のフレームに関する不良な予測候補であるため、これらのフレームの粗い符号化は、将来のフレームの符号化効率を低下させない。フラッシュライトとして分類されたシーンは、「人工的な」高輝度に起因してその他のフレームを予測するために用いるべきではなく、さらに、その他のフレームも、同じ理由でこれらのフレームを予測するために有効に用いることができない。これらのフレームは、いったん識別された時点で、相対的に大量の処理を要求する可能性があるため取り出すことができる。１つの選択肢は、カメラのフラッシュライトフレームを除去してその代わりにＤＣ係数を符号化することである。該解決方法は単純で、高速計算が可能であり、多くのビットを節約する。
上記のフレームカテゴリのいずれかが検出されたときに、ショットイベントが宣言される。ショット検出は、符号化品質を向上させる上で有用であるだけでなく、映像コンテンツの探索及びインデキシングにおいても役立つことができる。シーン検出プロセスの１つの例示的側面が以下において説明される。この例においては、ショット検出プロセスは、最初に、ショット検出のための処理対象となっている選択されたフレームに関する情報、又はメトリックスを計算する。メトリックスは、映像の双方向動き推定及び補償処理からの情報と、その他の輝度に基づくメトリックスと、を含むことができる。
双方向動き推定／補償を行うためには、現在のフレームのすべての８×８ブロックを、最も近くに隣接するフレームのうちの２つ、過去の１つ、及び将来の１つ、の中のブロックとマッチングさせる双方向動き補償器で映像シーケンスを前処理することができる。動き補償器は、すべてのブロックに関する動きベクトル及び差分メトリックスを生成する。図２９は、現在のフレームＣの画素を過去のフレームＰ及び将来の（又は次の）フレームＮとマッチングさせる例を示し、マッチングされた画素への動きベクトル（過去の動きベクトルＭＶｐ及び将来の動きベクトルＭＶＮ）を描く図である。以下では、双方向動きベクトル生成及び関連する符号化についての一般的説明が図３２を参照しながら一般的に示される。
双方向動き情報、例えば、対応する隣接フレーム内の（最良のマッチングであった）ＭＢを識別する動き情報、を決定後、現在のフレームと次のフレーム及び前フレームとの様々な比較によって（例えば、ＧＯＰパーティショナ６１２内の動き補償器又は他の適切な構成要素によって）追加のメトリックスを生成することができる。動き補償器は、すべてのブロックに関する差分メトリックスを生成することができる。差分メトリックスは、差分二乗和（ＳＳＤ）又は差分絶対値和（ＳＡＤ）であることができる。本明細書においては、一般性を失うことなしに、ＳＡＤが一例として用いられる。
すべてのフレームに関して、ＳＡＤ比、“コントラスト比”とも呼ばれる、は以下のように計算される。
Figure 2009510937
ここで、ＳＡＤＰ及びＳＡＤＮは、前進及び後退差分メトリックスのそれぞれの差分絶対値和である。分母は、「ゼロによる割り算」の誤りを防止するために小さい正数εを含むことに注目すべきである。分子も、分母内の１の影響を均衡化させるためのεを含む。例えば、前フレーム、現在のフレーム、及び次のフレームが同一である場合は、動き探索は、ＳＡＤＰ＝ＳＡＤＮ＝０を生み出すはずである。この場合は、上記計算は、０又は無限大ではなくγ＝１を生成する。
すべてのフレームに関して輝度ヒストグラムを計算することができる。典型的には、マルチメディア画像は、８ビットの輝度深度（例えば、“ビン” 数）を有する。幾つかの側面により輝度ヒストグラムを計算するために用いられる輝度深度は、ヒストグラムを入手するために１６に設定することができる。その他の側面においては、輝度深度は、処理中のデータの型、利用可能な計算能力、又はその他の予め決められた判定基準に依存する適切な数字に設定することができる。幾つかの側面においては、輝度深度は、計算された又は受信されたメトリックス、例えばデータのコンテンツ、に基づいて動的に設定することができる。
以下の方程式は、輝度ヒストグラム差分（ラムダ）の一計算例を示す。
Figure 2009510937
ここで、ＮＰｉは、前フレームに関するｉ番目のビン内のブロック数であり、ＮＣｉは、現在のフレームに関するｉ番目のビン内のブロック数であり、Ｎは、フレーム内の総ブロック数である。前フレーム及び現在のフレームの輝度ヒストグラム差分が完全に異なる（又はばらばらである）場合は、λ＝２である。
この情報を用いて、フレーム差分メトリックス（Ｄ）は、以下のように計算される。
Figure 2009510937
ここで、Ａは、用途別に選択される定数であり、
Figure 2009510937
選択された（現在の）フレームは、フレーム差分メトリックスが方程式９に示される判定基準を満たしている場合は突然のシーン変化として分類される。
Figure 2009510937
ここで、Ａは、用途別に選択される定数であり、Ｔ１は、しきい値である。
一例において、シミュレーションにより、Ａ＝１及びＴ１＝５に設定することは、優れた検出性能を達成させることが示される。現在のフレームが突然のシーン変化フレームである場合は、γＣは大きくすべきであり、γｐは小さくすべきである。比γＣ／γＰは、メトリックスがコンテキストの活動レベルに合わせて正規化されるようにγＣ単独の代わりに用いることができる。
上記判定基準は、輝度ヒストグラム差分（ラムダ）λを非線形で用いることに注目すべきである。図１６は、λ*（２λ＋１）は、凸関数であることを示す。λが小さい（例えば、ゼロに近い）ときは、ほとんどプリエンファシスである。λが大きいほど、より多くのエンファシスが関数によって行われる。このプリエンファシスにより、１．４よりも大きいあらゆるλに関して、しきい値Ｔ１が５に設定されている場合に突然のシーン変化が検出される。
現在のフレームは、シーン強度メトリックスＤが一定数の連続フレームに関して方程式５に示される判定基準を満たしている場合にクロスフェーディング又は低速のシーン変化であると決定される。
Figure 2009510937
ここで、Ｔ１は、上記の同じしきい値であり、Ｔ２は、他のしきい値である。
フラッシュライトイベントは、通常は、輝度ヒストグラムをより明るい側に移動させる。この例示的側面のカメラにおいては、輝度ヒストグラム統計値は、現在のフレームがカメラのフラッシュライトを具備するかどうかを決定するために用いられる。方程式１１及び１２に示されるように、ショット検出プロセスは、現在のフレームマイナスの輝度が前フレームの輝度よりも一定のしきい値Ｔ３だけ大きいかどうか、及び現在のフレームの輝度が次のフレームの輝度よりもしきい値Ｔ３だけ大きいかどうかを決定することができる。
Figure 2009510937
上記の判定基準が満たされない場合は、現在のフレームは、カメラのフラッシュライトを具備するとして分類されない。上記の判定基準が満たされている場合は、以下の方程式において示されるように、ショット検出プロセスは、後退差分メトリックスＳＡＤＰ及び前進差分メトリックスＳＡＤＮが一定のしきい値Ｔ４よりも大きいかどうかを決定する。
Figure 2009510937
ここで、
Figure 2009510937
は、現在のフレームの平均輝度であり、
Figure 2009510937
は、前フレームの平均輝度であり、
Figure 2009510937
は、次のフレームの平均輝度であり、ＳＡＤＰ及びＳＡＤＮは、現在のフレームと関連づけられた前進及び後退差分メトリックスである。
ショット検出プロセスは、現在のフレームの輝度が前フレームの輝度及び次のフレームの輝度よりも大きいかどうかを最初に決定することによってカメラのフラッシュイベントを決定する。より大きくない場合は、フレームはカメラのフラッシュイベントではない。しかしながら、より大きい場合は、フレームはカメラのフラッシュイベントである可能性がある。次に、ショット検出プロセスは、後退差分メトリックスがしきい値Ｔ３よりも大きいかどうか、及び前進差分メトリックスがしきい値Ｔ４よりも大きいかどうかを評価することができる。これらの両方の条件が満たされている場合は、ショット検出プロセスは、現在のフレームがカメラのフラッシュライトを有するとして分類する。判定基準が満たされていない場合は、フレームは、いずれの型のショットイベントとしても分類されず、又は、フレームに関して行うべき符号化を識別するデフォルト分類を与えることができる（例えば、フレームをドロップする、Ｉフレームとして符号化する）。
上記においては、Ｔ１、Ｔ２、Ｔ３、及びＴ４に関する幾つかの典型値が示されている。典型的には、これらのしきい値は、ショット検出の特定の実装の試験を通じて選択される。幾つかの側面においては、しきい値Ｔ１、Ｔ２、Ｔ３、及びＴ４のうちの１つ以上が予め決定され、該値は、符号化デバイス内のショット分類器内に組み入れられる。幾つかの側面においては、しきい値Ｔ１、Ｔ２、Ｔ３、及びＴ４のうちの１つ以上は、ショット分類器に供給された情報（例えば、メタデータ）に基づいて又はショット分類器自体によって計算された情報に基づいて処理中に（例えば、動的に）設定することができる。
ショット検出情報を用いて映像を符号化することは、典型的には符号器内において行われるが、本明細書においては、ショット検出開示を完全にすることを目的として説明される。図３０に関して、符号化プロセス３０１は、ショット検出情報を用いて、フレームシーケンス内の検出されたショットに基づいて映像を符号化することができる。プロセス３０１は、ブロック３０３に進み、現在のフレームが突然のシーン変化として分類されているかどうかを確認する。そのように分類されている場合は、ブロック３０５において、現在のフレームは、Ｉフレームとして符号化することができ、ＧＯＰ境界を決定することができる。そのように分類されていない場合は、プロセス３０１は、ブロック３０７に進む。現在のフレームがブロック３０９においてゆっくりと変化しているシーンの一部として分類されている場合は、現在のフレーム、及びゆっくりと変化しているシーン内のその他のフレームは、予測フレーム（例えば、Ｐフレーム又はＢフレーム）として符号化することができる。次に、プロセス３０１は、ブロック３１１に進み、現在のフレームがカメラのフラッシュを具備するフラッシュライトシーンとして分類されているかどうかを確認する。そのように分類されている場合は、ブロック３１３において、フレームは、特別な処理、例えば、除去又はフレームに関するＤＣ係数の符号化、を目的として識別することができる。そのように分類されていない場合は、現在のフレームの分類は行われておらず、現在のフレームは、その他の判定基準に従って符号化すること、Ｉフレームとして符号化すること、又はドロップすることができる。
上述される側面においては、圧縮すべきフレームと隣接する２つのフレームとの間の差分量は、フレーム差分メトリックスＤによって示される。有意な量の一方向の輝度変化が検出された場合は、フレーム内におけるクロスフェード効果であることを意味する。クロスフェードがより顕著になるほど、Ｂフレームを用いることによってより多くの利得を達成することができる。幾つかの側面においては、以下の方程式において示されるように修正されたフレーム差分メトリックスが用いられる。
Figure 2009510937
ここで、ｄＰ｜ＹＣ−ＹＰ｜及びｄＮ＝｜ＹＣ−ＹＮ｜は、それぞれ、現在のフレームと前フレームとの間のルマ差分、及び現在のフレームと次のフレームとの間のルマ差分であり、Δは、実装に依存することができるため通常の実験において決定することができる定数であり、αは、０乃至１の間の値を有する重み付け変数である。
Ｂ．帯域幅マップ生成
プリプロセッサ２２６（図６）は、マルチメディアデータを符号化するために用いることができる帯域幅マップを生成するように構成することもできる。幾つかの側面においては、符号器２２８（図７）内のコンテンツ分類モジュール７１２が代わりに帯域幅マップを生成する。
人間の視覚品質Ｖは、符号化の複雑さＣ及び割り当てられたビットＢ（帯域幅とも呼ばれる）の両方の関数であることができる。図１５は、この関係を示すグラフである。符号化の複雑さメトリックスＣは、人間の視覚の観点から空間周波数及び時間周波数を考慮することが注目されるべきである。人間の目がより感じやすい歪みに関しては、複雑さ値はそれに対応にして高くなる。典型的には、Ｖは、Ｃにおいては単調減少しており、Ｂにおいては単調増加していると仮定することができる。
一定の目視品質を達成するために、符号化対象であって以下の２つの方程式において表される判定基準を満たしているｉ番目のオブジェクト（フレーム又はＭＢ）に帯域幅（Ｂｉ）が割り当てられる。
Figure 2009510937
上記の２つの方程式において、Ｃｉは、ｉ番目のオブジェクトの符号化の複雑さであり、Ｂは、利用可能な総帯域幅であり、Ｖは、オブジェクトに関する達成された視覚品質である。人間の視覚品質は、方程式として公式化するのは困難である。従って、上記の方程式は、正確には定義されていない。しかしながら、３Ｄモデルがすべての変数において連続的であると仮定した場合、帯域幅比（Ｂｉ／Ｂ）は、（Ｃ，Ｖ）対の近隣においては不変であるとして処理することができる。帯域幅比βｉは、以下の方程式において定義される。
Figure 2009510937
これで、ビット割り当ては、以下の方程式において表されるように定義することができる。
Figure 2009510937
ここで、δは、“近隣”を示す。
符号化の複雑さは、空間及び時間の両方において、人間の視覚感度によって影響される。ジロッドの人間の視力モデルは、空間上の複雑さを定義するために用いることができるモデルの一例である。このモデルは、局部空間周波数及び周囲照明を検討する。その結果得られたメトリックスは、Ｄｃｓａｔと呼ばれる。プロセス内の前処理時点において、ピクチャがイントラコーディングされるか又はインターコーディングされるかは不明であり、両方に関する帯域幅比が生成される。ビットは、異なる映像オブジェクトのβＩＮＴＲＡ間の比に従って割り当てられる。イントラコーディングされたピクチャに関しては、帯域幅比は、以下の方程式で表される。
Figure 2009510937
上記方程式において、Ｙは、マクロブロックの平均輝度成分であり、αＩＮＴＲＡは、二乗輝度に関する重み付け係数であり、Ｄｃｓａｔ項が後続し、β０ＩＮＴＲＡは、
Figure 2009510937
を保証するための正規化係数である。例えば、αＩＮＴＲＡに関する値＝４は、良い視覚品質を達成させる。コンテンツ情報（例えば、コンテンツ分類）は、映像の特定のコンテンツに関する希望される良い視覚品質に対応する値にαＩＮＴＲＡを設定するために用いることができる。一例においては、映像コンテンツが“画面上にアナウンサーが映し出される”ニュース放送を具備する場合は、情報画像及び映像の表示可能な部分は、音声部分よりも重要性が低いとみなすことができるため、視覚品質レベルをより低く設定することができ、データを符号化するためにより少ないビットを割り当てることができる。他の例においては、映像コンテンツがスポーツ行事を具備する場合は、コンテンツ情報は、表示された画像のほうが視聴者にとってより重要である可能性があるためより高い視覚品質に対応する値にαＩＮＴＲＡを設定するために用いることができ、従ってデータを符号化するためにより多くのビットを割り当てることができる。
この関係について理解するために、帯域幅は符号化の複雑さと対数的に割り当てられることが注目されるべきである。二乗輝度項Ｙ２は、規模がより大きい係数はより多くのビットを符号化のために用いるということを反映している。対数が負の値になるのを防止するため、括弧内の項に１が加えられる。その他の基を有する対数も使用可能である。
時間的複雑さは、フレーム差分メトリックス、例えば絶対値差分和（ＳＡＤ）、とともに動き量（例えば、動きベクトル）を考慮に入れて２つの連続するフレーム間の差分を測定するフレーム差分メトリックス評価基準によって決定される。
インターコーディングされたピクチャに関するビット割り当ては、空間的及び時間的複雑さを考慮することができる。このことは、以下のように表される。
Figure 2009510937
上記方程式において、ＭＶＰ及びＭＶＮは、現在のＭＢに関する順方向及び逆方向動きベクトルである（図２９参照）。イントラコーディングされた帯域幅式におけるＹ２は、二乗差分和（ＳＳＤ）によって代えられることを注記することができる。上記方程式における‖ＭＶＰ＋ＭＶＮ‖２の役割について理解するために、人間の視覚系の次の特徴に注目すること。すなわち、スムーズで予測可能な動き（小さい‖ＭＶＰ＋ＭＶＮ‖２）が生じるエリアは、目を引き、目によって追跡することができ、典型的には、静止領域よりも多くの歪みを許容することができない。しかしながら、高速の又は予測不能な動き（大きい‖ＭＶＰ＋ＭＶＮ‖２）が生じるエリアは、追跡することができず、有意な量子化を許容することができる。実験では、αＩＮＴＥＲ＝１、γ＝０．００１が良い視覚品質を達成させることを示している。
Ｃ．適応型ＧＯＰパーティショニング
プリプロセッサ２２６によって行うことができる他の処理例においては、図６のＧＯＰパーティショナ６１２は、いっしょにコーディングされたピクチャグループの構成を適応的に変えることができ、ＭＰＥＧ２を用いる例を参照しながら説明される。幾つかのこれまでの映像圧縮基準（例えば、ＭＰＥＧ２）は、正規の構造を課すことはできるがＧＯＰが正規の構造を有することを要求しない。ＭＰＥＧ２シーケンスは、常にＩフレーム、すなわち、以前のピクチャを基準にせずに符号化されているフレーム、から始まる。ＭＰＥＧ２ ＧＯＰ形式は、通常は、Ｉフレームに後続するＰ又は予測ピクチャのＧＯＰ内のスペースを固定することによって符号器において予め手配されている。Ｐフレームは、一部分が以前のＩ又はＰフレームから予測されているピクチャである。開始Ｉフレームと後続するＰフレームとの間のフレームは、Ｂフレームとして符号化される。“Ｂ”フレーム（Ｂは双方向を表す）は、前の及び次のＩ又はＰピクチャを基準として個々に又は同時に用いることができる。Ｉフレームを符号化するために必要なビット数は、平均すると、Ｐフレームを符号化するために必要なビット数を上回り、同様に、Ｐフレームを符号化するために必要なビット数は、平均すると、Ｂフレームに関して要求されるビット数を上回る。スキップされたフレームは、使用される場合は、表示するためのビットは必要ない。
Ｐ及びＢフレームを使用する上での基本概念は、さらにはより最近の圧縮アルゴリズムにおいては、映像を表現するために必要なデータのレートを低くするためにフレームをスキップすることは、時間的冗長性を排除することである。時間的冗長性が高い、すなわちピクチャ間での変化がほとんどない、ときには、以前に復号されたＩ又はＰピクチャはのちにその他のＰ又はＢピクチャを復号するための基準として用いられるため、Ｐ、Ｂ、又はスキップされたピクチャの使用は、映像ストリームを効率的に表現する。
適応型ＧＯＰパーティショニングは、この概念を適応的に用いることに基づく。フレーム間の差分は定量化され、ピクチャをＩ、Ｐ、Ｂ、又はスキップされたフレームによって表す決定は、定量化された差分に関する適切な試験が行われた後に自動的に実施される。適応型構造は、固定型ＧＯＰ構造では入手できない利点を有する。固定された構造は、コンテンツの変化がほとんど起こっていない可能性を無視し、適応型手順は、それよりもはるかに多くのＢフレームを各ＩとＰとの間、又は２つのＰの間に挿入するのを可能にし、それによって、フレームシーケンスを適切に表現するために必要なビット数を少なくする。逆に、映像コンテンツの変化が有意であるときには、予測されたフレームと基準フレームとの間の差分が大きすぎるため、Ｐフレームの効率は大幅に低下される。これらの状態下においては、マッチングオブジェクト（ｍａｔｃｈｉｎｇ ｏｂｊｅｃｔ）が動き探索領域から外れる可能性があり、又はカメラの角度の変化による歪みに起因してマッチングオブジェクト間の類似性が低下する。その時点において、Ｐフレーム又はＩ及びその隣接するＰフレームは、互いにより接近しているものを選択すべきであり、より少ない数のＢフレームを挿入すべきである。固定されたＧＯＰは、その調整を行うことができない。
本明細書において開示されるシステムにおいては、これらの状態は自動的に検知される。ＧＯＰ構造は柔軟であり、これらのコンテンツの変化に適応するように構築される。システムは、距離に関して同じ追加性質を有する、フレーム間の距離の評価基準であると考えることができるフレーム差分メトリックスを評価する。概念上は、フレーム間の距離ｄ１２及びｄ２３を有するフレームＦ１、Ｆ２、及びＦ３が与えられている場合、Ｆ１とＦ３との間の距離は、少なくてもｄ１２＋ｄ２３であるとされる。この距離に関するメトリックスに基づいてフレーム割り当てが行われる。
ＧＯＰパーティショナは、受信されたフレームにピクチャ型を割り当てることによって動作する。ピクチャ型は、各ブロックをコーディングする際に要求される予測方法を示す。
Ｉピクチャは、その他のピクチャを基準にせずにコーディングされる。これらのピクチャは独立型であるため、復号が開始することができるデータストリーム内においてアクセスポイントを提供する。前フレームまでの“距離”がシーン変化しきい値を超える場合は、Ｉ符号化型がフレームに割り当てられる。
Ｐピクチャは、動き補償予測に関して前のＩ又はＰピクチャを用いることができる。これらのピクチャは、予測対象となっているブロックから変位する（ｄｉｓｐｌａｃｅ）ことができる以前のフィールド又はフレーム内のブロックを符号化のための基礎として用いる。基準ブロックが考慮対象ブロックから減じられた後に、残留ブロックは、典型的には空間的冗長性の除去に関する離散コサイン変換を用いて符号化される。フレームとＰフレームになるために割り当てられた最後のフレームとの間の“距離”が、典型的には第１のしきい値よりも小さい第２のしきい値を超える場合は、Ｐ符号化型がフレームに割り当てられる。
Ｂフレームピクチャは、上述されるように、前の及び次のＰ又はＩピクチャを動き補償に関して用いることができる。Ｂピクチャ内のブロックは、前方、後方又は双方向に予測することができ、又は、その他のフレームを基準にせずにイントラコーディングすることが可能である。Ｈ．２６４においては、基準ブロックは、３２のフレームからの３２のブロックの線形的組合せであることができる。フレームをＩ又はＰ型に割り当てることができない場合は、該フレームとその直前のフレームとの間の“距離”が、典型的には第２のしきい値よりも小さい第３のしきい値よりも大きい場合に、Ｂ型として割り当てられる。
フレームが符号化されたＢフレームになるために割り当てることができない場合は、“スキップフレーム”状態に割り当てられる。このフレームは、実質的には前フレームのコピーであるためスキップすることができる。
表示順の点で隣接するフレーム間の差分を定量化するメトリックスを評価することは、行われるこの処理の第１の部分である。このメトリックスは、上述される距離であり、このメトリックスを用いてすべてのフレームの適切な型を評価することができる。従って、Ｉと隣接するＰとの間、又は２つの連続するＰフレーム間のスペースは、可変であることができる。メトリックスの計算は、ブロックに基づく動き補償器によって映像フレームを処理することから開始し、ブロックは、映像圧縮の基本単位であり、通常は１６×１６画素から成るが、８×８、４×４及び８×１６等のその他のブロックサイズも可能である。２つのデインターレーシングされたフィールドから成るフレームに関しては、動き補償は、フィールドごとに行うことができ、基準ブロックの探索は、フレーム内ではなくフィールド内において行われる。現在のフレームの第１のフィールド内のブロックに関しては、後続するフレームのフィールドに順方向基準ブロックが存在し、同様に、現在のフレームの直前のフレームのフィールドにおいて逆方向基準ブロックが存在する。現在のブロックは、組み立てられて補償されたフィールドに入れられる。プロセスは、フレームの第２のフィールドが続く。２つの補償されたフィールドが結合されて、順方向及び逆方向補償フレームを形成する。
逆テレシネにおいて生成されたフレーム６０６に関しては、基準ブロックの探索は、再構築されたフィルムフレームだけであるためフレームのみに基づく。２つの基準ブロック及び２つの差分、前進及び後退、が見つけ出され、さらに順方向及び逆方向補償フレームにも至る。要約すると、動き補償器は、すべてのブロックに関する動きベクトル及び差分メトリックスを生成するが、ブロックは、デインターレーサ６０５の出力が処理される場合はＮＴＳＣフィールドの一部であり、逆テレシネの出力が処理される場合はフィルムフレームの一部である。メトリックスの差分は、考慮中のフィールド又はフレーム内のブロックと、前進差分又は後退差分のいずれを評価中であるかに依存して、前のフィールド又はフレーム又は直後のフィールド又はフレーム内における前記ブロックと最も良くマッチするブロックとの間におけるメトリックスの差分が評価されることに注目すること。この計算には、輝度値のみが含められる。
動き補償ステップは、２組の差分を生成する。これらは、現在の輝度値のブロックと、時間的に現在のフレームの直前及び直後のフレームから取り出された基準ブロックにおける輝度値との間の差分である。各前進差分及び各後退差分の絶対値は、各画素に関して決定され、各々がフレーム全体に関して別々に合計される。フレームを具備するデインターレーシングされたＮＴＳＣフィールドが処理されるときには両フィールドが２つの合計計算の中に含められる。この方法により、前進差分及び後退差分の合計された絶対値ＳＡＤＰ及びＳＡＤＮが見つけ出される。
すべてのフレームに関して、この関係を用いてＳＡＤ比が計算される。
Figure 2009510937
ここで、ＳＡＤＰ及びＳＡＤＮは、前進差分及び後退差分のそれぞれの合計された絶対値である。“ゼロによる割り算”の誤りを防止するために小さい正数が分子εに加えられる。同様のε項が分母に加えられ、ＳＡＤＰ又はＳＡＤＮのいずれかがゼロに近いときにγの感度をさらに低下させる。
代替側面においては、差分は、ＳＳＤ、二乗差分の和、及びＳＡＤ、絶対値差分和、又はＳＡＴＤであることができ、ブロック要素の差分が取られる前に二次元離散コサイン変換を適用することによって画素値ブロックが変換される。これらの和は、アクティブ映像のエリア全体にわたって評価されるが、その他の側面においてはより小さいエリアを用いることができる。
受信された状態の（動き補償されない）すべてのフレームの輝度ヒストグラムも計算される。ヒストグラムは、輝度値ブロックが利用可能な場合に二次元離散コサイン変換を輝度値ブロックに適用した結果である１６×１６の係数配列内のＤＣ係数、すなわち（０，０）係数、に基づいて動作する。同様に、ヒストグラムでは、１６×１６ブロック内の２５６の輝度値の平均値を用いることができる。輝度深度が８ビットである画像に関しては、ビン数は１６に設定される。次のメトリックスは、ヒストグラム差分を評価する。
Figure 2009510937
上記方程式において、ＮＰｉは、ｉ番目のビン内の前フレームからのブロック数であり、Ｎｃｉは、ｉ番目のビン内に属する現在のフレームからのブロック数であり、Ｎは、フレーム内の総ブロック数である。
これらの中間結果が組み立てられて現在のフレームの差分メトリックスが以下のように形成される。
Figure 2009510937
ここで、γＣは、現在のフレームに基づくＳＡＤ比であり、γＰは、前フレームに基づくＳＡＤ比である。シーンがスムーズな動きを有し、そのルマヒストグラムがほんのわずかに変化する場合は、Ｄはほぼ１に等しい。現在のフレームが突然のシーン変化を表示する場合は、γＣは大きくなり、γＰは小さくすべきである。メトリックスがコンテキストの活動レベルに合わせて正規化されるようにするためγＣ単独の代わりに比
Figure 2009510937
が用いられる。
図４２は、圧縮型をフレームに割り当てるプロセスを示す。方程式１９において定義される現在のフレームの差分Ｄが、フレーム割り当てに関して行われる決定のための基礎である。決定ブロック４２０２が示すように、考慮中のフレームがシーケンス内の第１のフレームである場合は、はいと記された決定経路をたどってブロック４２０６に進み、それによってフレームはＩフレームである宣言する。ブロック４２０８において、累積されたフレーム差分がゼロに設定され、プロセスは（ブロック４２１０において）開始ブロックに戻る。考慮中のフレームがシーケンス内の第１のフレームでない場合は、決定が行われたブロック４２０２からいいえと記された経路をたどり、テストブロック４２０４において、現在のフレーム差分がシーン変化しきい値に照らして試験される。現在のフレームの差分がそのしきい値よりも大きい場合は、はいと記された決定経路をたどってブロック４２０６に進み、Ｉフレームの割り当てが再度行われる。
現在のフレームの差分が、シーン変化しきい値よりも小さい場合は、いいえ経路をたどってブロック４２１２に進み、現在のフレームの差分が累積フレーム差分に加えられる。流れ図をさらにたどり決定ブロック４２１４において、累積されたフレーム差分が、一般的にはシーン変化しきい値よりも小さいしきい値ｔと比較される。累積されたフレーム差分がｔよりも大きい場合は、制御はブロック４１２６に移行し、フレームはＰフレームになるために割り当てられ、ステップ４２１８において累積されたフレーム差分がゼロに設定される。累積されたフレーム差分がｔよりも小さい場合は、制御は、ブロック４２１４からブロック４２２０に移行する。ブロック４２２０において、現在のフレームの差分がｔよりも小さいτと比較される。現在のフレームの差分がτよりも小さい場合は、該フレームは、ブロック４２２２においてスキップすることが割り当てられ、プロセスが戻る。現在のフレームの差分がτよりも大きい場合は、該フレームは、ブロック４２２６においてＢフレームとなることが割り当てられる。
符号器
再度図２に関して、トランスコーダ２００は、処理されたメタデータ及び生映像をプリプロセッサ２２６から受信する符号器２２８を含む。メタデータは、ソース映像１０４において最初に受け取られた情報と、プリプロセッサ２２６によって計算された情報と、を含むことができる。符号器２２８は、第１パス符号器２３０と、第２パス符号器２３２と、再符号器２３４と、を含む。符号器２２８は、第２パス符号器２３２から、プリプロセッサ２２６と同様に第１パス符号器２３０、及び再符号器２３４に情報（例えば、メタデータ、誤り耐性情報、コンテンツ情報、符号化されたビットレート情報、基本層及び拡張層のバランス情報、及び量子化情報）を提供することができるトランスコーダ制御２３１からの入力を受信する。符号器２２８は、プリプロセッサ２２６から受信されたコンテンツ情報及び／又は符号器２２８自体によって、例えば、コンテンツ分類モジュール７１２（図７）によって生成されるコンテンツ情報を用いて、受信された映像を符号化する。
図７は、図２に示される符号器２２８に関して用いることができる典型的な２パス符号器に含めることができる機能モジュールのブロック図である。図７には機能モジュールの様々な側面が示されるが、図７及び本明細書における説明は、符号器内に組み込むことができる全機能に必ずしも対処しているわけではない。従って、以下においては、機能モジュールの一定の側面は、後述される基本層及び拡張層の符号化に関する解説に沿って説明される。
基本層及び拡張層の符号化
符号器２２８は、ＳＮＲスケーラブル符号器であることができ、ＳＮＲスケーラブル符号器は、プリプロセッサ２２６からの生映像及びメタデータを符号化し、本明細書においては基本層とも呼ばれる第１の符号化データグループ、及び本明細書においては拡張層とも呼ばれる１つ以上の追加の符号化データグループに分けることができる。符号化アルゴリズムは、基本層係数及び拡張層係数を生成し、これらの係数は、復号時に、両層が復号に関して利用可能なときに復号器において結合することができる。両層が利用可能でないときには、基本層の符号化は、基本層を単一層として復号することを可能にする。
該多層符号化プロセスの一側面が、図３１を参照しながら説明される。ブロック３２１において、完全にイントラコーディングされたマクロブロック（イントラコーディングされたＭＢ）によってＩフレームが符号化される。Ｈ．２６４においては、Ｉフレーム内のイントラコーディングされたＭＢは、有意な量のコーディング利得を提供する完全に利用された空間予測によって符号化される。２つのサブモード、すなわち、イントラ４×４及びイントラ１６×１６が存在する。基本層が空間予測によって提供されたコーディング利得を利用する場合は、基本層は、拡張層を符号化及び復号する前に符号化及び復号する必要がある。Ｉフレームの２パス符号化及び復号が用いられる。基本層において、基本層量子化パラメータＱＰｂは、粗い量子化ステップサイズを変換係数に提供する。拡張層では、原フレームと再構築された基本層フレームとの間の画素に関する差分が符号化される。拡張層は、より微細な量子化ステップサイズを提供する量子化パラメータＱＰｅを用いる。符号化手段、例えば図２の符号器２２８、は、ブロック３２１において符号化を行う。
ブロック３２３において、符号器は、処理中のＧＯＰ内のＰ及び／又はＢフレームに関する基本層データ及び拡張層データを符号化する。符号化手段、例えば符号器２２８は、ブロック３２３において符号化を行うことができる。ブロック３２５において、符号化プロセスは、符号化すべきさらなるＰ又はＢフレームが存在するかどうか確認する。符号化手段、例えばＳＮＲスケーラブル符号器２２８は、３２５において動作することができる。より多くのＰ又はＢフレームが残っている場合は、ＧＯＰ内の全フレームの符号化が終了するまでステップ３２３が繰り返される。Ｐ及びＢフレームは、インターコーディングされたマクロブロック（インターコーディングされたＭＢ）から成るが、Ｐ及びＢフレーム内には後述されるようにイントラコーディングされたＭＢが存在することができる。
復号器が基本層データと拡張層データを区別するようにするために、符号器２２８は、ブロック３２７においてオーバーヘッド情報を符号化する。オーバーヘッド情報の型は、例えば、層数を識別するデータ、層を基本層として識別するデータ、層を拡張層として識別するデータ、層間の関係を識別するデータ（例えば、層２は、基本層１に関する拡張層であり、層３は、拡張層２に関する拡張層である）、又は層を一連の拡張層における最後の拡張層として識別するデータを含む。オーバーヘッド情報は、関係する基本層及び／又は拡張層データと結びつけられたヘッダー内に含めること、又は別個のデータメッセージ内に含めることができる。符号化手段、例えば図２の符号器２２８、は、ブロック３２７においてプロセスを実行することができる。
単層復号を有するようにするためには、２つの層の係数を逆量子化前に結合させなければならない。従って、これらの２つの層の係数は、対話形式で生成しなければならない。その他の場合は、有意な量のオーバーヘッドを導入する可能性がある。オーバーヘッドが増大する１つの理由は、基本層符号化及び拡張層符号化が異なる時間的基準を用いることが可能なためである。基本層及び拡張層の係数を生成するためにはアルゴリズムが必要であり、これらの係数は、両層が利用可能なときに逆量子化前に復号器において結合させることができる。同時に、アルゴリズムは、拡張層が利用可能でないときに又は復号器が例えば電力節約等の理由で拡張層を復号しないことに決定したときに受け入れ可能な基本層映像に対応すべきである。以下では、該プロセスの一例の詳細が、直下における標準的な予測コーディングに関する概要を示しつつ説明される。
Ｐフレーム（又はインターコーディングされたセクション）は、現在のピクチャ内の領域と基準ピクチャ内の最もマッチングしている予測領域との間の時間的冗長性を利用することができる。基準フレーム内の最もマッチングする予測領域の位置は、動きベクトルで符号化することができる。現在の領域フレームと最もマッチングしている基準予測領域との間の差分は、残留誤り（又は予測誤り）と呼ばれる。
図３２は、例えばＭＰＥＧ−４でのＰフレーム構築プロセス例を示す。プロセス３３１は、図３１のブロック３２３において生じる可能性があるプロセス例をより詳細に示す。プロセス３３１は、５×５マクロブロックから成る現在のピクチャ３３３を含み、ここで、この例におけるマクロブロック数は任意である。マクロブロックは、１６×１６画素から成る。画素は、８ビット輝度値（Ｙ）及び２つの８ビット色差値（Ｃｒ及びＣｂ）によって定義することができる。ＭＰＥＧにおいては、Ｙ、Ｃｒ及びＣｂ成分は、４：２：０：形式で格納することができ、Ｃｒ及びＣｂ成分は、Ｘ方向及びＹ方向に２だけダウンサンプリングされる。従って、各マクロブロックは、２５６のＹ成分、６４のＣｒ成分及び６４のＣｂ成分から成ることになる。現在のピクチャ３３３のマクロブロック３３５は、現在のピクチャ３３３とは異なる時点において基準ピクチャ３３７から予測される。Ｙ、Ｃｒ及びＣｂ値の点で符号化中の現在のマクロブロック３３５に最も近い最もマッチングしているマクロブロック３３９の位置を突き止めるための探索が基準ピクチャ３３７において行われる。基準ピクチャ３３７内の最もマッチングしているマクロブロック３３９の位置は、動きベクトル３４１において符号化される。基準ピクチャ３３７は、復号器が現在のピクチャ３３３の構築前に再構築していることになるＩフレーム又はＰフレームであることができる。最もマッチングしているマクロブロック３３９が現在のマクロブロック３３５から減じられ（Ｙ、Ｃｒ及びＣｂ成分の各々に関する差分が計算され）その結果残留誤り３４３が発生する。残留誤り３４３は、２Ｄ離散コサイン変換（ＤＣＴ）３４５によって符号化され、次に量子化される３４７。量子化３４７は、例えば、より少ないビットを高周波数係数に割り当てより多くのビットを低周波数係数に割り当てることによって空間圧縮を提供するために行うことができる。残留誤り３４３の量子化された係数は、動きベクトル３４１及び基準ピクチャ３３３識別情報とともに、現在のマクロブロック３３５を表す符号化された情報である。符号化され情報は、将来用いるためにメモリに格納するか又は例えば誤り訂正又は画像拡張を目的として作業を行うこと、又はネットワーク３４９を通じて送信することができる。
残留誤り３４３の符号化された量子化された係数は、符号化された動きベクトル３４１とともに、後続する動き推定及び補償に関する基準フレームの一部として用いるために符号器内において現在のマクロブロック３３５を再構築するために用いることができる。符号器は、このＰフレーム再構築に関して復号器の手順をエミュレーションすることができる。復号器のエミュレーションは、符号器及び復号器の両方が同じ基準ピクチャに関して作業をすることになる。本明細書においては、再構築プロセスは、符号器内において行われるか、さらなるインターコーディングのために行われるか、又は復号器において行われるかに関わらず提示される。Ｐフレームの再構築は、基準フレーム（又は参照中のピクチャ又はフレームの一部分）が再構築された後に開始することができる。符号化された量子化された係数は、逆量子化３５１され、次に、２Ｄ逆ＤＣＴ、又はＩＤＣＴ ３５３が行われ、その結果復号された又は再構築された残留誤り３５５が生じる。符号化された動きベクトル３４１は、復号され、既に再構築されている基準ピクチャ３３７内の既に再構築されている最もマッチングしているマクロブロック３５７を突き止めるために用いられる。次に、再構築された残留誤り３５５が再構築された最もマッチングするマクロブロック３５７に加えられて再構築されたマクロブロック３５９が形成される。再構築されたマクロブロック３５９は、メモリに格納すること、独立して又はその他の再構築されたマクロブロックとともにピクチャ内に表示すること、又は画像エンハンスメントのためにさらに処理することができる。
Ｂフレーム（双方向予測でコーディングされたセクション）は、現在のピクチャ内の領域、前フレーム内の最もマッチングしている予測領域及び後続ピクチャ内の最もマッチングしている予測領域の間における時間的冗長性を利用することができる。後続する最もマッチングしている予測領域及び前の最もマッチングしている予測領域が結合されて、結合された双方向の予測された領域が形成される。現在のピクチャ領域と最もマッチングしている結合された双方向予測領域との間の差分が残留誤差（又は予測誤差）である。後続する基準ピクチャ内の最もマッチングしている予測領域及び前基準ピクチャ内の最もマッチングしている予測領域の位置は、２つの動きベクトルで符号化することができる。
図３３は、符号器２２８によって行うことができる基本層及び拡張層の係数の符号化に関する符号器プロセス例を示す。基本層及び拡張層が符号化されてＳＮＲスケーラブルビットストリームが提供される。図３３は、図３１のステップ３２３において行われるようなインターＭＢ残留誤り係数符号化例を示す。しかしながら、イントラＭＢ係数を符号化するために同様の方法を用いることも可能ある。符号化手段、例えば図２の符号器構成要素２２８、は、図３３に示されるプロセス及び図３２のステップ３２３を実行することができる。（符号化される）原映像データ４０６（映像データは、この例においてはルマ及びクロマ情報を具備する）は、基本層の最もマッチングしているマクロブロックループ３０２及び拡張層の最もマッチングしているマクロブロックループ３６５に入力される。両ループ３６３及び３６５の目的は、加算器３６７及び３６９においてそれぞれ計算される残留誤りを最小にすることである。ループ３６３及び３６５は、示されるように並行して、又は順次で実行することができる。ループ３６３及び３６５は、最もマッチングしているマクロブロックと原データ３６１との間の残留誤りを最小にする最もマッチングしているマクロブロックを識別するために、基準フレームを含むバッファ３７１及び３７３をそれぞれ探索するための論理を含む（バッファ３７１及び３７３は、同じバッファであることができる）。基本層ループ３６３は一般的には拡張層ループ３６５よりも粗い量子化ステップサイズ（より高いＱＰ値）を利用するため、ループ３６３及びループ３６５の残留誤りは異なることになる。変換ブロック３７５及び３７７は、各ループの残留誤りを変換する。
次に、変換された係数は、選択器３７９において構文解析されて基本層係数および拡張層係数になる。選択器３７９の構文解析は、後述されるように幾つかの形態をとることができる。構文解析技術の１つの共通する特長は、拡張層係数Ｃ’ｅｎｈは、基本層係数Ｃ’ｂａｓｅの微分精細化になるような形で計算されることである。基本層の精細化になるような形で拡張層を計算することは、復号器がそれ自体によって基本層係数を復号して画像の妥当な表現を有すること、又は基本層係数と拡張層係数を結合して画像の精細化された表現を有することを可能にする。次に、選択器３７９によって選択された係数が量子化器３８１および３８３によって量子化される。（量子器３８１及び３８３によってそれぞれ計算された）量子化された係数
Figure 2009510937
は、メモリに格納するか又はネットワークを通じて復号器に送信することができる。
復号器内のマクロブロックの再構築とマッチングさせるために、逆量子化器３８５は、基本層残留誤り係数を逆量子化する。逆量子化された残留誤り係数は、逆変換され３８７、バッファ３７１内で見つけ出された最もマッチングするマクロブロックに追加され３８９、その結果復号器内において再構築されるものとマッチングする再構築されたマクロブロックが得られる。量子化器３８３、逆量子化器３９１、逆変換器３９３、加算器３９７及びバッファ３７３は、基本層ループ３６３において行われたのと同様の計算を拡張ループ３６５において行う。さらに、加算器３９３は、拡張層の再構築において用いられた逆量子化された拡張層係数及び基本層係数を結合させるために用いられる。拡張層量子化器及び逆量子化器は、一般的には、基本層よりも微細な量子化器ステップサイズ（より低いＱＰ）を利用する。
図３４、３５及び３６は、図３３の選択器３７９において採用することができる基本層係数及び拡張層係数の選択器プロセスの例を示す。図２の符号器２２８等の選択する手段は、図３４、３５及び３５において描かれるプロセスを実行することができる。図３４を一例として用いて、変換された係数は、構文解析され、以下の方程式において示されるように基本層係数及び拡張層係数に分けられる。
Figure 2009510937
ここで、“ｍｉｎ”関数は、２つの引数の数学上の最小値又は最小の大きさであることができる。方程式２５は、ブロック４０１として描かれ、方程式２６は、図３４の加算器５１０として描かれている。方程式２６において、Ｑｂは、基本層量子化器３８１を表し、Ｑｂ −１は、基本層の逆量子化器３８５を表す。方程式２６は、拡張層係数を、方程式２５を用いて計算された基本層係数の微分精細化に変換する。
図３５は、基本層及び拡張層係数選択器３７９の他の例を示す。この例においては、ブロック４０５に含まれている方程式（．）は、以下を表す。
Figure 2009510937
加算器４０７は、以下の２つの方程式において示されるように拡張層係数を計算する。
Figure 2009510937
ここで、Ｃ’ｂａｓｅは、方程式２７によって与えられる。
図３６は、基本層及び拡張層選択器３７９の他の例を示す。この例においては、基本層係数は不変であり、拡張層は、量子化／逆量子化された基本層係数と原拡張層係数との間の差に等しい。
基本層及び拡張層の残留誤り係数に加えて、復号器は、ＭＢがどのように符号化されているかを識別する情報が必要である。符号化手段、例えば図２の符号器構成要素２２８、は、イントラコーディング及びインターコーディングされた部分のマップ、例えば、マクロブロック（又はサブマクロブロック）がイントラコーディング又はインターコーディングされているとして識別され（さらに、例えば、順方向、逆方向又は双方向を含むいずれの型のインターコーディングであるか及びインターコーディングされた部分がいずれのフレームを基準にしているかも識別する）ＭＢマップ、を含むことができるオーバーヘッド情報を符号化することができる。一側面例においては、ＭＢマップ及び基本層係数は、基本層において符号化され、拡張層係数は、拡張層において符号化される。
Ｐフレーム及びＢフレームは、インターＭＢと同様にイントラＭＢも含むことができる。ハイブリッド映像符号器は、Ｐ又はＢフレーム内の一定のマクロブロックをイントラコーディングされたＭＢとして符号化することを決定するためにレート歪み（ＲＤ）最適化を用いるのが一般的である。イントラコーディングされたＭＢが拡張層インターＭＢに依存しない単層復号を有するために、近隣のインターＭＢは、基本層イントラコーディングされたＭＢの空間予測に関しては用いられない。計算の複雑さが拡張層復号に関して常に不変であるようにするために、基本層のＰ又はＢフレーム内のイントラコーディングされたＭＢに関して、拡張層における精細化をスキップをことが可能である。
Ｐ又はＢフレーム内のイントラコーディングされたＭＢは、インターＭＢよりも多くのビットを要求する。この理由により、Ｐ又はＢフレーム内のイントラコーディングされたＭＢは、より高いＱＰで基本層品質のみで符号化可能である。このことは、映像品質のある程度の劣化をもたらすことになるが、この劣化は、上述されるように基本層及び拡張層においてインターＭＢ係数を用いてのちのフレーム内において精細化される場合は目立たないはずである。２つの理由がこの劣化を目立たなくする。第１の理由は、人間の視覚系（ＨＶＳ）の特徴であり、他方の理由は、インターＭＢがイントラＭＢを精細化することである。第１のフレームから第２のフレームに位置を変化させるオブジェクトの場合は、第１のフレーム内の幾つかの画素は、第２のフレームでは見ることができず（カバーされる情報）、第２のフレーム内の幾つかの画素は、初めて見ることができる（カバーされない情報）。人間の目は、カバーされない及びカバーされる視覚情報に対して敏感でない。このため、カバーされていない情報に関しては、より低い品質で符号化されるにもかかわらず、目は違いを見分けることができない。同じ情報が後続するＰフレーム内にとどまっている場合は、拡張層はより低いＱＰを有するため拡張層における後続Ｐフレームがその情報を精細化できる確率が高くなる。
Ｐ又はＢフレームにおいてイントラコーディングされたＭＢを導入する他の共通技術は、イントラリフレッシュと呼ばれる。この場合は、幾つかのＭＢは、標準Ｒ−Ｄ最適化ではインターコーディングされたＭＢであることが要求されるが、イントラコーディングされたＭＢとしてコーディングされる。基本層に含められているこれらのイントラコーディングされたＭＢは、ＱＰｂ又はＱＰｅのいずれかによって符号化することができる。ＱＰｅが基本層に関して用いられる場合は、ＱＰｂ又はＱＰｅのいずれかで符号化することができる。ＱＰｅが基本層に関して用いられる場合は、拡張層においては精細化は不要である。ＱＰｂが基本層に関して用いられる場合は、精細化が必要な場合があり、その他の場合は、拡張層において品質低下に気づくことが可能になる。インターコーディングは、コーディング効率という意味ではイントラコーディングよりも効率的であるため、拡張層におけるこれらの精細化は、インターコーディングされる。この方法により、基本層係数は、拡張層に関して用いられない。従って、品質は、拡張層において新たな動作を導入せずに向上される。
拡張層では、提供する高い圧縮品質に起因してＢフレームが一般的に用いられる。しかしながら、Ｂフレームは、ＰフレームのイントラコーディングされたＭＢを基準にしなければならないことがある。Ｂフレームの画素が拡張層品質で符号化される場合は、上述されるように、ＰフレームのイントラコーディングされたＭＢの品質がより低いことに起因してあまりにも多いビットを要求する可能性がある。上述されるように、ＨＶＳの品質を利用することによって、Ｐフレームのより低い品質のイントラコーディングされたＭＢを基準にするときにはＢフレームＭＢをより低い品質で符号化することができる。
Ｐ又はＢフレーム内のイントラコーディングされたＭＢの１つの極端な事例は、符号化中の映像内におけるシーンの変化の存在に起因してＰ又はＢフレーム内の全ＭＢがイントラモードで符号化されるときである。この場合は、フレーム全体を基本層品質でコーディングすることができ、拡張層における精細化は行われない。Ｂフレームにおいてシーンの変化が生じた場合で、Ｂフレームは拡張層でしか符号化されないと仮定した場合は、Ｂフレームは、基本層品質で符号化するか又は単純にドロップすることが可能である。Ｐフレームにおいてシーンの変化が生じた場合は、変更は必要でなく、Ｐフレームをドロップするか又は基本層品質で符号化することができる。“SCALABLE VIDEO CODING WITH TWO LAYER ENCODING AND SINGLE LAYER DECODING”（２層符号化及び単層復号を有するスケーラブルな映像コーディング）という題名を有する米国特許出願番号［Ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ／ｒｅｆ． ｎｏ． ０５００７８］において、スケーラブル層符号化がさらに説明されている。
符号器第１パス部分
図７は、図２の符号器２２８の説明例を示す。示されているブロックは、符号器２２８内に含めることができる様々な符号器処理を示す。この例においては、符号器２２８は、区分線７０４上方の第１パス部分７０６と、線７０４下方の第２パス部分７０６（図２の第２パス符号器２３２及び再符号器２３４の機能を含む）と、を含む。
符号器２２８は、メタデータ及び生映像をプリプロセッサ２２６から受信する。メタデータは、プリプロセッサ２２６によって受信された又は計算されたメタデータを含み、映像のコンテンツ情報に関連するメタデータを含む。符号器２２８の第１パス部分７０２は、機能に関して後述される第１パス符号化７０２に含めることができる典型的プロセスを示す。当業者が知ることになるように、該機能は様々な形態で（例えば、ハードウェア、ソフトウェア、ファームウェア、又はその組合せ内に）実装することができる。
図７は、適応型イントラリフレッシュ（ＡＩＲ）モジュールを示す。ＡＩＲモジュール７１０は、メタデータに基づいてＩフレームをインスタンス化するＩフレームインスタンス化モジュール７０８に入力を提供する。第１パス部分７０２は、メタデータ及び映像を受信し、映像に関連するコンテンツ情報を決定するように構成されたコンテンツ分類モジュール７１２を含むことも可能である。コンテンツ情報は、メタデータ及び映像も受信するレート制御ビット割り当てモジュール７１４に提供することができる。制御ビット割り当てモジュール７１４は、レートビット制御情報を決定し、該情報をモード決定モジュール７１５に提供する。コンテンツ情報及び映像は、イントラモデル（歪み）モジュール７１６に提供することができ、イントラモデル（歪み）モジュール７１６は、イントラコーディング歪み情報をモード決定モジュール７１５及び基本層及び拡張層に関するスケーラビリティレート−歪みモジュール７１８に提供する。基本層及び拡張層に関するスケーラビリティレート−歪みモジュール７１８にインターコーディング歪み情報を提供する動き推定（歪み）モジュール７２０に映像及びメタデータが提供される。基本層及び拡張層に関するスケーラビリティレート−歪みモジュール７１８は、モード決定モジュール７１５に提供される動き推定モジュール７２０及びイントラモデル歪みモジュール７１６からの歪み推定を用いてスケーラビリティレート−歪み情報を決定する。モード決定モジュール７１５は、スライス／ＭＢ順序設定（ｏｒｄｅｒｉｎｇ）モジュール７２２からの入力も受け取る。スライス／ＭＢ順序設定モジュール７２２は、（第２パス部分７０６に示される）誤り耐性モジュール７４０から入力を受け取り、映像の独立して符号化可能な部分（スライス）を誤り耐性に関するアクセスユニット境界とアライメントさせることに関する情報をモード決定モジュール７１５に提供する。モード決定モジュール７１５は、入力に基づいて符号化モード情報を決定し、“最良の”コーディングモードを第２パス部分７０６に提供する。該第１パス部分７０２符号化の幾つかの例に関するさらなる例示的説明が以下に示される。
上述されるように、コンテンツ分類モジュール７１２は、プリプロセッサ２２６によって供給されたメタデータ及び生映像を受信する。幾つかの例においては、プリプロセッサ２２６は、マルチメディアデータからコンテンツ情報を計算し、該コンテンツ情報を（例えば、メタデータ内の）コンテンツ分類モジュール７１２に提供し、コンテンツ分類モジュール７１２は、コンテンツ情報を用いてマルチメディアデータに関するコンテンツ分類を決定することができる。幾つかのその他の側面においては、コンテンツ分類モジュール７１２は、マルチメディアデータから様々なコンテンツ情報を決定するように構成され、さらにコンテンツ情報を決定するように構成することもできる。
コンテンツ分類モジュール７１２は、異なる型のコンテンツを有する映像に関する異なるコンテンツ分類を決定するように構成することができる。異なるコンテンツ分類は、マルチメディアデータを符号化する側面、例えば、量子化パラメータを決定するためのビットレート（例えば、ビット割り当て）を決定する、動き推定、スケーラビリティ、誤り耐性、チャネル間での最適なマルチメディアデータ品質を維持する、及び高速チャネル切り換え方式（例えば、Ｉフレームが高速チャネル切り換えを許容するように定期的に強制する）に関して用いられる異なるパラメータを得ることが可能になる。一例により、符号器２２８は、コンテンツ分類に基づいてレート−歪み（Ｒ−Ｄ）最適化及びビットレート割り当てを決定するように構成される。コンテンツ分類を決定することは、コンテンツ分類に基づいて希望されるビットレートに対応する所定の品質レベルにマルチメディアデータを圧縮することを可能にする。さらに、マルチメディアデータのコンテンツを分類する（例えば、人間の視覚系に基づいてコンテンツ分類を決定する）ことによって、その結果受信デバイスのディスプレイ上において得られる通信されたマルチメディアデータの知覚品質（ｐｅｒｃｅｐｔｉｖｅ ｑｕａｌｉｔｙ）は、映像コンテンツに依存して作られる。
コンテンツ分類モジュール７１２がコンテンツを分類するために行う手順の一例として、図９は、コンテンツ分類モジュール７１２が動作する際に従うことができる典型的プロセスを例示するプロセス９００を示す。示されるように、プロセス９００は、入力ブロック９０２において開始し、コンテンツ分類モジュール７１２は、生のマルチメディアデータ及びメタデータを受信する。次に、プロセス９００は、ブロック９０４に進み、コンテンツ分類モジュール７１２は、マルチメディアデータの空間情報及び時間情報を決定する。幾つかの側面においては、空間情報及び時間情報は、空間的マスキング及び時間的マスキング（例えば、フィルタリング）によって決定される。空間情報及び時間情報は、シーン変化データ及び動きベクトル（ＭＶ）平滑化を含むメタデータに基づいて決定することができる。次に、プロセス９００は、ブロック９１２に進み、空間的複雑さ、時間的複雑さ、及び感度の推定を行う。次に、プロセス９００はブロック９１６に進み、ブロック９０４及び９１２において、決定された空間データ、時間データ及び感度データの結果に基づいてマルチメディアデータのコンテンツが分類される。さらにブロック９１６において、特定のレート−歪み（Ｒ−Ｄ）曲線を選択することができ及び／又はＲ−Ｄ曲線データを更新することができる。次に、プロセス９００は、出力ブロック９１８に進み、出力は、複雑さ−歪みマップ又は空間的活動及び時間的活動（例えば、コンテンツ分類）を示す値及び／又は選択されたＲ−Ｄ曲線を含むことができる。再度図７に関して、コンテンツ分類モジュール７１２は、上述される、レート制御ビット割り当てモジュール７１４、イントラモデル（歪み）モジュール７１６、及びＩフレームインスタンス化モジュール７０８に出力を提供する。
コンテンツ情報
コンテンツ分類モジュール７１２は、以下においてさらに説明される、空間的複雑さ、時間的複雑さ、コントラスト比値、標準偏差、及びフレーム差分メトリックスを含む様々なコンテンツ関連メトリックスを含む様々なコンテンツ情報をマルチメディアデータから計算するように構成することができる。
コンテンツ分類モジュール７１２は、マルチメディアデータの空間的複雑さ及び時間的複雑さを決定するように、及びテクスチャ値を空間的複雑さと、動き値を時間的複雑さと関連づけるように構成することができる。コンテンツ分類モジュール７１２は、符号化中のマルチメディアデータのコンテンツに関連する前処理されたコンテンツ情報をプリプロセッサ２２６から受信し、又は代替として、プリプロセッサ２２６は、コンテンツ情報を計算するように構成することができる。上述されるように、コンテンツ情報は、例えば、１つ以上のＤｃａｓｔ値と、コントラスト比値と、動きベクトル（ＭＶ）と、絶対値差分和（ＳＡＤ）と、を含むことができる。
一般的には、マルチメディアデータは、１つ以上の画像シーケンス、又はフレームシーケンスを含む。各フレームは、処理のために画素ブロックに分割することができる。空間的複雑さは、フレーム内における空間的詳細レベルの評価基準について一般的に説明する広義の用語である。主に無地（ｐｌａｉｎ）の又は変化しない又は変化が小さい輝度及び色差エリアを有するシーンは、小さい空間的複雑さを有することになる。空間的複雑さは、映像データのテクスチャと関連づけられる。空間的複雑さは、この側面においては、Ｄｃｓａｔと呼ばれる人間の視覚感度メトリックスに基づき、前記人間の視覚感度メトリックスは、局所空間周波数及び周囲照明の関数として各ブロックに関して計算される。当業者は、ビジュアル画像の空間周波数パターン及び照明とコントラストに関する特徴を用いて人間の視覚系を利用するための技術を認識している。人間の視覚系の遠近法上の制限を利用するための幾つかの感度メトリックスが知られており、本明細書において説明される方法とともに用いることが可能である。
時間的複雑さは、フレームシーケンス内のフレーム間で基準とされるマルチメディアデータにおける動きレベルの評価基準を一般的に説明するために用いられる広義の用語である。動きがほとんど又はまったくないシーン（例えば、映像データのフレームシーケンス）は、時間的複雑さが小さい。時間的複雑さは、各マクロブロックに関して計算することができ、Ｄｃｓａｔ値、動きベクトル及び１つのフレームと他のフレーム（例えば、基準フレーム）との間の絶対画素差分和に基づくことができる。
フレーム差分メトリックスは、動き量（例えば、動きベクトル又はＭＶ）及び予測子と現在のマクロブロックとの間の絶対値差分和（ＳＡＤ）として表される残留エネルギーを考慮した２つの連続フレーム間の差分の評価基準となる。フレーム差分は、双方向又は単一方向の予測効率の評価基準も提供する。
動きが補償されたデインターレーシングを行うことが可能なプリプロセッサから受信された動き情報に基づいたフレーム差分メトリックスの一例は以下のとおりである。デインターレーサは、双方向動き推定を行い、従って、双方向動きベクトル及びＳＡＤ情報を利用可能である。各マクロブロックに関してＳＡＤ＿ＭＶによって表されるフレーム差分は、以下のように導き出すことができる。
Figure 2009510937
ここで、
Figure 2009510937
であり、ＳＡＤＮは、逆方向基準フレームから計算されたＳＡＤであり、ＳＡＤＰは、順方向基準フレームから計算されたＳＡＤである。
フレーム差分を推定する他の手法が方程式６乃至８を参照しながら上述されている。ＳＡＤ比（又はコントラスト比）γは、方程式６において上述のように計算することができる。すべてのフレームの輝度ヒストグラムも決定することができ、ヒストグラム差分λは、方程式７を用いて計算される。フレーム差分メトリックスＤは、方程式８に示されるように計算することができる。
一例においては、コントラスト比及びフレーム差分メトリックスは、映像コンテンツ分類を入手するために次の方法で利用され、所定の映像シーケンス内の特徴を信頼できる形で予測可能である。本明細書においては符号器２２８において生じる状況が説明されているが、プリプロセッサ２２６は、コンテンツ分類（又はその他のコンテンツ情報）を決定し、メタデータを介してコンテンツ分類を符号器２２８に渡すように構成することもできる。以下の例において説明されるプロセスは、Ｒ−Ｄ曲線に基づく解析から得られた分類と同様に、コンテンツを８つの可能なクラスに分類する。分類プロセスは、シーンの複雑さ及び各スーパーフレーム内でのシーン変化発生数に依存して各スーパーフレームに関して０乃至１の範囲内の値を出力する。プリプロセッサ内のコンテンツ分類モジュールは、フレームコントラスト及びフレーム差分値からコンテンツ分類メトリックスを入手するために各スーパーフレームに関して以下のステップ（１）乃至（５）を実行することができる。
１．平均フレームコントラスト及びフレームコントラスト偏差をマクロブロックコントラスト値から計算する。
２．シミュレーションから得られた値を用いてフレームコントラスト及びフレーム差分値、それぞれ４０及び５、を正規化する。
３．例えば一般化された方程式を用いてコンテンツ分類メトリックスを計算する。
Figure 2009510937
ここで、ＣＣＷ１、ＣＣＷ２、ＣＣＷ３及びＣＣＷ４は、重み付け係数である。この例においては、値は、ＣＣＷ１に関しては０．２、ＣＣＷ２に関しては０．９、ＣＣＷ３に関しては０．１、ＣＣＷ４に関しては−０．００００９が選択される。
４．スーパーフレーム内でのシーン変化数を決定する。一般的には、スーパーフレームは、特定の期間において表示することができるピクチャ又はフレームのグループを意味する。典型的には、期間は１秒である。幾つかの側面においては、スーパーフレームは、（３０／ｆｐｓ映像の場合は）３０フレームを具備する。その他の側面においては、スーパーフレームは、２４フレーム（２４／ｆｐｓ映像）を具備する。シーン変化数に依存して、以下の事例のうちの１つが実行される。
（ａ）シーン変化なし：スーパーフレーム内においてシーン変化がないときには、メトリックスは、以下の方程式において示されるようにフレーム差分値のみに完全に依存する。
Figure 2009510937
（ｂ）単一のシーン変化：スーパーフレーム内において単一のシーン変化フレームが観察されたときには、以下のようにデフォルト方程式を用いてメトリックスが計算される。
Figure 2009510937
（ｃ）２つのシーン変化：所定のスーパーフレーム内において多くて２つのシーン変化が存在することが観察されたときには、以下の方程式において示されるように、最初のスーパーフレームは後のスーパーフレームによって素早くリフレッシュされるため、最後のスーパーフレームは、最初のスーパーフレームよりも大きい重みが与えられる。
Figure 2009510937
（ｄ）３つ以上のシーン変化：所定のスーパーフレームが３つ以上のＩフレーム（例えばＮ）を有することが観察される場合は、以下の方程式において示されるように、最後のＩフレームはより大きい重みが与えられ、その他のすべてのＩフレームは０．０５の重みが与えられる。
Figure 2009510937
５．フレーム差分平均が０．０５よりも小さいときに動きが少ないシーンの場合はメトリックスに関して補正を用いることができる。（ＣＣＯＦＦＳＥＴ）０．３３のオフセットがＣＣＭｅｔｒｉｃに加えられる。
コンテンツ分類モジュール７１２は、Ｄｃｓａｔ値、動きベクトル及び／又は絶対値差分和を用いて、マクロブロッに関する空間的複雑さ（又は指定された映像データ量）を決定する。時間的複雑さは、フレーム差分メトリックスの評価基準（動きベクトルを有する動き量、及びフレーム間の絶対値差分和を考慮した２つの連続フレーム間の差分）によって決定される。
幾つかの側面においては、コンテンツ分類モジュール７１２は、帯域幅マップを生成するように構成することができる。例えば、帯域幅マップ生成は、プリプロセッサ２２６が帯域幅マップを生成しない場合にコンテンツ分類モジュール７１２によって行うことができる。
テクスチャ値及び動き値の決定
マルチメディアデータ内の各マクロブロックに関して、コンテンツ分類モジュール７１２は、テクスチャ値を空間的複雑さと、動き値を時間的複雑さと関連づける。テクスチャ値は、マルチメディアデータの輝度値と関連し、低いテクスチャ値は、データの近隣画素の輝度値の変化が小さいことを示し、高いテクスチャ値は、データの近隣画素の輝度値の変化が大きいことを示す。テクスチャ値及び動き値が計算された時点で、コンテンツ分類モジュール７１２は、動き情報及びテクスチャ情報の両方を考慮することによってコンテンツ分類を決定する。コンテンツ分類モジュール７１２は、分類中である映像データに関するテクスチャを、マクロブロックの輝度値の複雑さを一般的に示す相対的テクスチャ値、例えば、“低”テクスチャ、“中”テクスチャ、又は“高”テクスチャ、と関連づける。さらに、コンテンツ分類モジュール７１２は、分類中の映像データに関して計算された動き値を、マクロブロックの動き量を一般的に示す相対的動き値、例えば、“少ない”動き、“中度の”動き、又は“多い”動き、と関連づける。代替側面においては、動き及びテクスチャに関してより少ない又はより多いカテゴリを用いることができる。次に、関連づけられたテクスチャ値及び動き値を考慮することによってコンテンツ分類メトリックスが決定される。本特許出願の譲受人に対して譲渡されておりさらに本明細書において参照されることによって明示で本明細書に組み入れられている、“CONTENT CLASSIFICATION FOR MULTIMEDIA PROCESSING”（マルチメディア処理に関するコンテンツ分類）という題名を有する同時係属米国特許出願番号１１／３７３，５７７（出願日：２００６年３月１０日）においてコンテンツ分類の例示的側面のさらなる説明が開示されている。
図８は、テクスチャ値及び動き値がコンテンツ分類とどのように関連づけられているかを示す分類チャート例を示す。当業者は、該分類チャートを例えばルックアップテーブル又はデータベース内に実装するための数多く方法に精通する。分類チャートは、映像データコンテンツに関する予め決められた評価に基づいて生成される。映像データ分類を決定するために、（“ｘ軸”上の）“低”、“中”、又は“高”のテクスチャ値が、（“ｙ軸”上の）“少ない”、“中度の”、又は“多い”の動き値と相互参照される。交差ブロックにおいて示されるコンテンツ分類が映像データに割り当てられる。例えば、“高”のテクスチャ値及び“中度の”動き値は、７の分類になる。図８は、この例においては、８つの異なるコンテンツ分類と関連づけられている相対的なテクスチャ値及び動き値の様々な組合せを示す。幾つかのその他の側面においては、より多い又はより少ない分類を用いることができる。“CONTENT CLASSIFICATION FOR MULTIMEDIA PROCESSING”（マルチメディアデータ処理に関するコンテンツ分類）という題名を有し、本特許出願の譲受人に譲渡され、本明細書において参照されることによって明示で本明細書に組み入れられている、同時係属米国特許出願番号１１／３７３，５７７（出願日：２００６年３月１０日）においてコンテンツ分類の例示的側面のさらなる説明が開示されている。
レート制御ビット割り当て
本明細書において説明されるように、マルチメディアデータコンテンツ分類は、映像の知覚品質を一定に維持しながらビット管理を有効に向上させるために符号化アルゴリズムにおいて用いることができる。例えば、分類メトリックスは、シーン変化検出、ビットレート割り当て制御、及びフレームレートアップコンバージョン（ＦＲＵＣ）に関するアルゴリズムにおいて用いることができる。映像データ通信においては圧縮器／伸長器（コーデック）システム及びデジタル信号処理アルゴリズムが共通して用いられ、帯域幅を保全するように構成することができるが、品質と帯域幅保全との間には相反する関係がある。最良のコーデックは、映像の品質低下を最小にしながら最大の帯域幅保全を提供する。
一説明例においては、レート制御ビット割り当てモジュール７１４は、コンテンツ分類を用いてビットレート（例えば、マルチメディアデータを符号化するために割り当てられるビット数）を決定し、符号器２２８のその他のプロセス及び構成要素によって用いるためにビットレートをメモリに格納する。映像データの分類から決定されたビットレートは、一貫した品質レベルでマルチメディアデータを提供する一方で帯域幅の保全を援助することができる。一側面においては、異なるビットレートを８つの異なるコンテンツ分類の各々と関連づけることができ、そのビットレートがマルチメディアデータを符号化するために用いられる。その結果得られる効果は、マルチメディアデータの異なるコンテンツ分類に異なるビット数が符号化のために割り当てられるが、知覚品質は、ディスプレイ上で見たときには類似している又は一貫していることである。
一般的には、より高いコンテンツ分類を有するマルチメディアデータは、より多いレベルの動き及び／又はより高いレベルのテクスチャを示しており、符号化時により多くのビットが割り当てられる。より低い分類（テクスチャがより低く動きがより小さいことを示す）を有するマルチメディアデータは、より少ないビットが割り当てられる。特定のコンテンツ分類のマルチメディアデータに関しては、ビットレートは、マルチメディアデータを見るための選択された目標知覚品質レベルに基づいて決定することができる。マルチメディアデータ品質を決定することは、人間がマルチメディアデータを見て等級を付けることによって決定することができる。幾つかの代替側面においては、マルチメディアデータ品質の推定は、例えば信号・雑音比アルゴリズムを用いた自動試験システムによって行うことができる。一側面においては、各特定の品質レベルを達成するために必要な一組の標準品質レベル（例えば、５つ）及び対応するビットレートが、各コンテンツ分類のマルチメディアデータに関して予め決定される。一組の品質レベルを決定するために、特定のコンテンツ分類のマルチメディアデータは、マルチメディアデータが一定のビットレートを用いて符号化されるときにマルチメディアデータの目で知覚された品質の数値による表示を提供する平均意見点数（ＭＯＳ）を生成することによって評価することができる。ＭＯＳは、１乃至５の範囲内の単一の数として表すことができ、１は、最低の知覚品質であり、５は、最高の知覚品質である。その他の側面においては、ＭＯＳは、５つよりも多い又は少ない品質レベルを有することができ、各品質レベルに関して異なる記述を用いることができる。
マルチメディアデータ品質を決定することは、人間がマルチメディアデータを見て等級を付けることによって決定することができる。幾つかの代替側面においては、マルチメディアデータ品質の推定は、例えば信号・雑音比アルゴリズムを用いた自動試験システムによって行うことができる。一側面においては、各特定の品質レベルを達成するために必要な一組の標準品質レベル（例えば、５つ）及び対応するビットレートが、各コンテンツ分類のマルチメディアデータに関して予め決定される。
一定のコンテンツ分類のマルチメディアデータに関する目で知覚された品質レベルとビットレートとの間の関係を知ることは、目標の（例えば、希望される）品質レベルを選択することによって決定することができる。ビットレートを決定するために用いられる目標品質レベルは、予め選択する、ユーザーが選択する、ユーザーからの又は他のプロセスからの入力を要する自動プロセス又は半自動プロセスを通じて選択する、又は予め決められた判定基準に基づいて符号化デバイス又はシステムによって動的に選択することができる。目標品質レベルは、例えば、符号化アプリケーションの型、又はマルチメディアデータを受信するクライアントデバイスの型に基づいて選択することができる。
図７の説明例においては、レート制御ビット割り当てモジュール７１４は、コンテンツ分類モジュール７１２から両方のデータを受信し、プリプロセッサ２２６から直接メタデータを受信する。レート制御ビット割り当てモジュール７１４は、符号器２２８の第１パス部分に常駐し、レート制御微調整７３８は、第２パス部分７０６に常駐する。この２パスレート制御側面は、第１パス（レート制御ビット割り当てモジュール７１４）が（例えば、２５６ｋｂｐｓ）の長期平均ビットレートを目標とする）１つのスーパーフレームルックアヘッドによるコンテキスト適応型ビット割り当てを行い、ピークレートを制限し、第２パス（レート制御微調整モジュール７３８）は、２層スケーラビリティに関して第１パスの結果を精細化し、レート適応化を行う。レート制御は、４つのレベル、すなわち、（１）ＧＯＰレベル−Ｉ、Ｐ、Ｂ、及びＦフレームのビット分布がＧＯＰ内部において一様にならないように制御する、（２）スーパーフレームレベル−最大のスーパーフレームサイズに関する厳格な限度を制御する、（３）フレームレベル−コンテンツ情報（例えば、コンテンツ分類）に基づく、マルチメディアデータフレームの空間的及び時間的複雑さに従ってビット要求を制御する、及び（４）マクロブロックレベル−コンテンツ情報（例えば、コンテンツ分類）に基づく、空間的及び時間的複雑さマップに基づいてマクロブロックのビット割り当てを制御する、に対して作用する。
レート制御モジュール７１４の動作の典型的流れ図が図１０に示される。図１０に示されるように、プロセス１０００は、入力ブロック１００２において開始する。レート制御モジュール７１４は、様々な入力を受信し、図７にはこれらの様々な入力がすべて示されているわけではない。例えば、入力情報は、プリプロセッサ２２６からのメタデータと、目標ビットレートと、符号器バッファサイズ（又は、同等として、レート制御に関する最大遅延時間）と、初期レート制御遅延と、フレームレート情報と、を含むことができる。さらなる入力情報は、ピクチャグループ（ＧＯＰ）レベルにおける入力を含むことができ、例えば、最大スーパーフレームサイズ、ＧＯＰの長さ及びＰ／Ｂフレーム分布（シーン変化情報を含む）、希望される基本層及び拡張層の手配、将来の３０フレームに関するＧＯＰ内のピクチャに関する複雑さ−歪みメトリックスを含む。その他の入力情報は、ピクチャレベルにおける入力を含み、（コンテンツ分類モジュール７１２から受信された）現在のピクチャに関する複雑さ−歪みマップと、量子化パラメータ（ＱＰ）と、（スライディングウィンドーにわたって当てはめられた）過去の３０フレームのビット細分化と、を含む。最後に、マクロブロック（ＭＢ）レベルにおける入力情報は、例えば、基準ピクチャ内の共配置されたマクロブロック（ＭＢ）の平均絶対値差分（ＭＡＤ）と、（スキップされたかどうかにかかわらず）量子化後のマクロブロックのコーディングされたブロックパターン（ＣＢＰ）と、を含む。
ブロック１００２における入力後、プロセス１０００は、ビットストリームを符号化するための初期設定に関するブロック１００４に進む。同時並行して、バッファ初期設定１００６が行われる。次に、ブロック１００８において示されるようにＧＯＰが初期設定され、ＧＯＰビット割り当て１０１０が初期設定の一部として受信される。ＧＯＰ初期設定後は、流れはブロック１０１２に進み、スライスが初期設定される。この初期設定は、ブロック１０１４によって示されるようにヘッダービットの更新を含む。ブロック１００４、１００８及び１０１２の初期設定が行われた後は、ブロック１０１６によって示されるように基本単位又はマクロブロック（ＭＢ）に関するレート制御（ＲＣ）が行われる。ブロック１０１６におけるマクロブロックのレート制御決定の一環として、符号器２２８内のインタフェースを介して入力が受信される。これらの入力は、マクロブロック（ＭＢ）ビット割り当て１０１８と、二次モデルパラメータの更新１０２０と、メジアンからのメジアン絶対偏差（“ＭＡＤ”、頑健な分散推定値）パラメータの更新１０２２と、を含むことができる。次に、プロセス１０００は、１つのピクチャ１０２４を符号化後の動作の実行のためにブロック１０２４に進む。この手順は、ブロック１０２６によって示されるようにバッファパラメータの更新を受信することを含む。次に、プロセス１０００は、出力ブロック１０２８に進み、レート制御モジュール７１４は、図７に示されるようにモード決定モジュール７１５によって用いられる各マクロブロックＭＢに関する量子化パラメータＱＰを出力する。
動き推定
動き推定モジュール７２０は、メタデータ及び生映像の入力をプリプロセッサ２２６から受信し、ブロックサイズ、動きベクトル歪みメトリックス、及び基準フレーム識別子を含むことができる出力をモード決定モジュール７１５に提供する。図１１は、動き推定モジュール７２０の典型的動作を示す。示されるように、プロセス１１００は、入力１１０２から開始する。フレームレベルにおいて、モジュール７２０は、基準フレームＩＤ及び動きベクトルの入力を受信する。マクロブロックレベルにおいて、入力１１０２は、入力画素及び基準フレーム画素を含む。プロセス１１００は、ステップ１１０４に続き、色動き推定（ＭＥ）及び動きベクトル予測が行われる。このプロセスを実行するために、ＭＰＥＧ−２動きベクトル、ルマ動きベクトルＭＶ １１０６、動きベクトル平滑化１１０８、及び非因果動きベクトル１１１０を含む様々な入力が受信される。次に、プロセス１１００は、ブロック１１１２に進み、動きベクトル探索アルゴリズム又は方法、例えばヘキサゴナル又はダイヤモンド探索方法、が実行される。ブロック１１１２におけるプロセスへの入力は、ブロック１１１４によって示されるように絶対値差分和（ＳＡＤ）、二乗差分和（ＳＳＤ）、及び／又はその他のメトリックスを含むことができる。動きベクトル探索が行われた時点で、プロセス１１００は、終了ブロック１１１６に進み、終了処理が行われる。次に、プロセス１００は、出力ブロック１１１８において終了し、ブロックサイズ、動きベクトル（ＭＶ）、歪みメトリックス、及び基準フレーム識別子の出力を生み出す。
基本層及び拡張層に関するスケーラビリティＲ−Ｄ
図１３は、スケーラビリティＲ−Ｄモジュール７１８によって実行することができるスケーラビリティプロセス１３００の典型的流れ図を示す。プロセス１３００は、開始ブロック１３０２において開始し、ブロック１３０４に進み、スケーラビリティＲ−Ｄモジュール７１８は、動き推定モジュール７２０から入力を受信し、動き推定を行う。動き推定は、ブロック１３０６によって示されるように基本層基準フレーム、拡張層基準フレーム、及びコーディング対象となる原フレームの入力に依存する。該情報は、ＧＯＰパーティショナ６１２によって計算し、例えばメタデータを介してスケーラビリティＲ−Ｄモジュール７１８に通信することができる。プロセス１３００は、ブロック１３０８に進み、データ基本層及び拡張層データのスケーラビリティ情報を決定する。次に、ブロック１３１０において示されるように基本層符号化が行われ、その後にブロック１３１２における拡張層符号化が続く。拡張層の符号化は、ブロック１３１４によって示されるように、層間予測に関する基本層コーディング結果を入力として用いることができ、従って、基本層符号化後に一時的に実行される。この件は、“SCALABLE VIDEO CODING WITH TWO LAYER ENCODING AND SINGLE LAYER DECODING”（２層符号化及び単層復号を有するスケーラブルな映像コーディング）という題名を有する同時係属米国特許出願番号［Ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ／ｒｅｆ． ｎｏ． ０５００７８］においてさらに説明されている。符号化が完了後は、プロセス１３００は、ブロック１３１６において終了する。
スライス／マクロブロック順序設定
第１パス部分７０２は、スライス／マクロブロック順序設定モジュール７２２も含み、スライス／マクロブロック順序設定モジュール７２２は、第２パス部分において誤り耐性モジュール７４０から入力を受信し、スライスアライメント情報をモード決定モジュール７１５に提供する。スライスは、独立して復号可能な（エントロピー復号）コーディングされた映像データの塊である。アクセスユニット（ＡＵ）は、正確に１つの主のコーディングされたピクチャを常に含む一組のＮＡＬユニットを各々具備するコーディングされた映像フレームである。主のコーディングされたピクチャに加えて、アクセスユニットは、１つ以上の冗長なコーディングされたピクチャ又コーディングされたピクチャのスライス又はスライスデータパーティションを含まないその他のＮＡＬユニットを内蔵することもできる。アクセスユニットの復号の結果、復号されたピクチャが常に得られる。
フレームは、最高の時間ダイバーシティを提供する物理層パケットの時分割多重化ブロック（ＴＤＭカプセルと呼ばれる）であることができる。スーパーフレームは、１つの時間単位（例えば、１ｓｅｃ）に対応し、４つのフレームを含む。時間領域においてスライス及びＡＵ境界をフレーム境界にアライメントさせることは、壊れたデータの最も効率的な分離及び局在化が得られる。深いフェード中には、ＴＤＭカプセル内の隣接データのほとんどが誤りによる影響を受ける。時間的ダイバーシティに起因して、残りのＴＤＭカプセルは、無傷の状態になる確率が非常に高い。壊れていないデータは、影響を受けたＴＤＭカプセルから失われたデータを復元する及び隠すために利用することができる。データシンボルが変調する周波数副搬送波における分離を通じて周波数ダイバーシティが達成される周波数領域多重化（ＦＤＭ）に対しても同様の論理が適用される。さらに、無線ネットワークにおいてしばしば適用される（送信機アンテナ及び受信機アンテナにおける分離を通じての）空間ダイバーシティ及びその他の形態のダイバーシティに対しても同様の論理が適用される。
スライス及びＡＵをフレームにアライメントさせるために、アウターコード（ＦＥＣ）コードブロック生成及びＭＡＣ層カプセル化も同様にアライメントすべきである。図２０は、スライス及びＡＵにおけるコーディングされた映像データ又は映像ビットストリームの構成を示す。コーディングされた映像は、層化された映像コーディングが適用される１つ以上のビットストリーム、例えば、基本層ビットストリーム及び拡張層ビットストリーム、において構築することができる。
映像ビットストリームは、図２０においてフレームＩ’２００５、フレーム３’２０１０及びフレームＭ’２０１５によって示されるＡＵを具備する。ＡＵは、スライス１ ２０２０、スライス２ ２０２５、及びスライスＮ ２０３０によって示されるように、データスライスを具備する。スライスの各始まりは、開始符号によって識別され、ネットワーク適応化に提供される。一般的には、Ｉフレーム又はイントラコーディングされたＡＵは大きく、Ｐフレーム又は順方向の予測されたフレームが後続し、Ｂフレームが後続する。ＡＵを複数のスライスにコーディングすることは、スライス間での空間予測が制限されていること及びスライスヘッダーもオーバーヘッドの一因であることに起因して、コーディングされたビットレートの点で有意なオーバーヘッドコストを発生させる。スライス境界は再同期化地点であり、ＰＬＰが破壊されているときはＰＬＰ内のスライスに誤りが限定され、他方、ＰＬＰが複数のスライス又は複数のスライスの一部を含む場合は、誤りはＰＬＰ内の全スライス又はスライスの一部分に対して影響を及ぼすことになるため、隣接する物理層パケットをスライスに制限することは誤りを制御する。
Ｉフレームは典型的に大きく、例えば数十キロビット程度であるため、複数のスライスに起因するオーバーヘッドは、Ｉフレームのサイズ全体又は総ビットレートの大きな割合ではない。さらに、イントラコーディングされたＡＵ内により多くのスライスを有することは、より良い及びより頻繁な再同期化及びより効率的な空間的誤りの隠蔽を可能にする。さらに、Ｐ及びＢフレームは、Ｉフレームから予測されるため、Ｉフレームは、映像ビットストリームにおいて最も重要な情報を搬送する。Ｉフレームは、チャネル取得に関するランダムアクセスポイントとしての働きもする。
次に図２１に関して、Ｉフレームをフレーム境界に慎重にアライメントさせ、Ｉ ＡＵを有するスライスを同じくフレーム境界に慎重にアライメントさせることは、最も効率的な誤り制御、誤り保護を可能にする（フレーム１ ２１０５に属する１つのスライスが失われた場合、フレーム２ ２１１０はフレーム１ ２１０５から有意な時間だけ分離されているので無傷の状態である確率が高いため、再同期化及び誤り隠蔽を通じて誤りからの回復を行うことができる）。
Ｐフレームは、典型的には、数キロビット程度の大きさが設定されているため、Ｐフレームのスライス及び整数のＰフレーム数をフレーム境界にアライメントさせることは、（Ｉフレームに関する理由と同様の理由で）悪影響を及ぼすような効率損失のない誤り耐性を可能にする。該側面においては時間的誤り隠蔽を採用することができる。代替として、連続するＰフレームが異なるフレームで到着するように分散させることは、Ｐフレーム間における追加の時間的ダイバーシティを提供し、このことは、時間的隠蔽が以前に再構築されたＩ又はＰフレームからの動きベクトル及びデータに基づくことに起因して可能になる。Ｂフレームは、極端に小さい（数百ビット）から中程度（数千ビット）であることができる。従って、整悪影響を及ぼす効率損失なしで誤り耐性を達成させるためには整数のＢフレームをフレーム境界にアライメントさせることが望ましい。
モード決定モジュール
図１２は、モード決定モジュール７１５の幾つかの動作例を示す。示されるように、プロセス１２００は、入力ブロック１２０２において開始する。一説明例においては、モード決定モジュール７１５に入力される様々な情報は、スライス型と、Ｉｎｔｒａ４×４ｃｏｓｔと、Ｉｎｔｒａ１６×１６ｃｏｓｔと、ＩｎｔｒａＵＶ８×８ｃｏｓｔと、ＩｎｔｒａＹ １６×１６モードと、ＩｎｔｒａＵＶモードと、動きベクトルデータ（ＭＶＤ）と、量子化パラメータ（ＱＰ）と、ＳｐＰｒｅｄＭＢ４×４Ｙと、ＳｐＰｒｅｄＭＢ１６×１６Ｙと、ＳｐＰｒｅｄＭＢ８×８Ｕと、ＳｐＰｒｅｄＭＢ８×８Ｖと、レート歪みフラッグと、生ＹＭＢ画素と、生ＵＭＢ画素と、生ＶＭＢ画素と、を含む。次に、プロセス１２００は、ブロック１２０４符号化初期設定に進み、ブロック１２０４符号化初期設定は、ブロック１２０６によって示されるように符号器初期設定を指示する入力信号又はインタフェースによって開始させることができる。初期設定は、許容されたモード（スキップ、指示を含む）を設定することと、モード重みを設定することと（要求される場合であり、デフォルトは、全モードに関して等しい重みになる）、バッファを設定すること、とを含むことができる。初期設定後は、プロセス１２００は、ブロック１２０８に進み、モード決定に関する主処理が行われ、各々の許容されたモードに関するマクロブロック（ＭＢ）モードコストの計算、重み付け係数による各ＭＢモードコストの重み付け、及び最低ＭＢモードコストモードを選択することを含む。これらの動作に関わる入力は、ブロック１２１０及び１２１２によって示されるように、動き推定（例えば、ＭＶＤ及び予測）と、空間的予測（例えば、すべてのイントラコスト及び予測）と、を含む。モード決定モジュール７１５には、特に圧縮率を向上させるブロック１２１４のエントロピー符号化がインタフェースされている。次に、プロセス１２００は、ブロック１２１６に進み、符号器第２パス部分７０６に情報を渡すようにバッファが更新される。最後に、プロセス１２００は、ブロック１２１８に進み、“最良の”符号化モードを符号器第２パス部分７０６に通信することができる。
符号器第２パス部分
再度図７に関して、符号器２２８の第２パス部分７０６は、符号化の第２パスを行うための第２パス符号器モジュール２３２を含む。第２パス符号器２３２は、モード決定モジュール７１５から出力を受信する。第２パス符号器２３２は、ＭＣ／変換量子化モジュール７２６と、ジグザグ（ＺＺ）／エントロピー符号器７２８と、を含む。第２パス符号器２３２の結果は、スケーラビリティモジュール７３０及びビットストリームパッキングモジュール７３１に出力され、該モジュールは、符号化された基本層及び拡張層を（図２に示される）同期化層２４０を介してトランスコーダ２００による送信のために出力する。図２に示されるように、第２パス符号器２３２及び再符号器２３４からの基本層及び拡張層が同期化層２４０によってアセンブルされ、基本層と、拡張層と、データＰＥＳ２４４（例えば、ＣＣ及びその他のテキストデータ）と、音声ＰＥＳ２４６と、を含むパケット化されたＰＥＳ２４２になることが注記される。音声符号器２３６は、復号された音声情報２１８を受信し、代わりに、情報を符号化して符号化された情報２３８を同期化層２４０に出力する。
再符号器
再度図７に関して、符号器第２パス部分７０６は、図２の再符号器２３４に対応する再符号器２３４も含む。再符号器２３４は、第１パス部分７０２の出力も受信し、ＭＣ／変換量子化７２６及びＺＺ／エントロピーコーディング７２８部分を含む。さらに、スケーラビリティモジュール７３０は、再符号器２３４に出力する。再符号器２３４は、再符号化の結果得られた基本層及び拡張層を、シンクロナイザ（例えば、図２に示される同期化層２４０）への送信のためにビットストリームパッキングモジュール７３１に出力する。図７の符号器２２８例は、（例えば、圧縮効率を向上させるために）第２パス符号化を微調整するのを援助するために第２パス符号器２３２内のＭＣ／変換量子化モジュール２３４及び再符号器２３４内のＺＺ／エントロピーモジュール７３６の両方にビットストリームパッキングフィードバックを提供するレート制御微調整モジュール７３８も含む。
誤り耐性モジュール
図７に示される符号器２２８例は、第２パス部分７０６内の誤り耐性モジュール７４０も含む。誤り耐性モジュール７４０は、ビットストリームパッキングモジュール７３１及びスライス／ＭＢ順序設定モジュール７２２と通信する。誤り耐性モジュール７４０は、プリプロセッサ２２８からメタデータを受信し、誤り耐性方式、例えば、スライス及びアクセスユニットをフレーム境界にアライメントさせること、予測階層及び選択的イントラリフレッシュ、を選択する。誤り耐性方式の選択は、メタデータ内で受信された情報、又はビットストリームパッキングモジュール７３１及びスライス／ＭＢ順序設定モジュール７２２から誤り耐性モジュールに通信された情報に基づくことができる。誤り耐性モジュール７４０は、選択された誤り耐性プロセスを実装するために第１パス部分７０２内のスライス／マクロブロック（ＭＢ）順序設定モジュールに情報を提供する。誤りが発生しやすい環境を通じての映像送信は、より明瞭でより少ない誤りを含むデータを視聴者に提示することができる誤り耐性戦略及びアルゴリズムを採用することができる。以下の誤り耐性に関する説明は、個々の既存の又は将来の用途、トランスポート及び物理層又はその他の技術、又はその組合せに対して適用することができる。有効な誤り頑健性アルゴリズムは、ＯＳＩ層間での誤りが発生しやすい性質及び誤り保護能力に関する理解を、通信システムの望ましい性質、例えば低レーテンシー及び高スループットと関連して統合したものである。誤り耐性処理は、マルチメディアデータのコンテンツ情報、例えば、マルチメディアデータのコンテンツ分類に基づくことができる。主な利点の１つは、フェーディング及びマルチパスチャネルに関する誤りからの回復力である。後述される誤り耐性手法は、符号器２２８内に（特に、誤り耐性モジュール７４０及びスライス／ＭＢ順序設定モジュール７２２内に）組み込むことができるプロセスに特に関連するものであり、誤りが発生しやすい環境におけるデータ通信に一般的に拡大することができる。
誤り耐性
予測に基づくハイブリッド圧縮システムに関して、イントラコーディングされたフレームは、時間的な予測なしで独立してコーディングされる。インターコーディングされたフレームは、過去のフレーム（Ｐフレーム）及び将来のフレーム（Ｂフレーム）から時間的に予測することができる。最良の予測子（ｐｒｅｄｉｃｔｏｒ）は、基準フレーム（１つ以上）内での探索プロセスを通じて識別することができ、最良のマッチを識別するためにＳＡＤ等の歪み評価基準が用いられる。現在のフレームの予測コーディングされた領域は、様々なサイズ及び形状のブロック（１６×１６、３２×３２、８×４等）又は例えばセグメンテーションを通じてオブジェクトとして識別された画素グループであることができる。
時間的予測は、典型的には数多くのフレーム（例えば、１０乃至数１０のフレーム）にわたって拡大し、フレームがＩフレームとしてコーディングされたときに終了され、ＧＯＰは、典型的にはＩフレーム周波数によって定義される。最高のコーディング効率を達成させるためには、例えばＧＯＰはシーンであり、ＧＯＰ境界がシーンの境界とアライメントされ、シーン変化フレームがＩフレームとしてコーディングされる。動きが少ないシーケンスは、相対的に静止した背景を具備し、動きは、一般的には前景オブジェクトに制限される。該少ない動きのシーケンスのコンテンツ例は、最も視聴されているコンテンツの３０％超がこの性質を有するニュース番組及び天気予報番組を含む。動きが少ないシーケンスにおいては、領域のほとんどがインターコーディングされ、予測されたフレームは、中間の予測されたフレームを通じてＩフレームを再参照する。
図２２に関して、Ｉフレーム内のイントラコーディングされたブロック２２０５は、コーディングされたフレーム（又はＡＵ）Ｐ１内のインターコーディングされたブロック２２１０に関する予測子である。この例においては、これらのブロックの領域は、背景の静止部分である。イントラコーディングされたブロック２２０５の誤りに対する感度は、その“重要度”がより高いことも意味する“優れた”予測子であるため、連続的な時間的予測を通じて上昇する。さらに、イントラコーディングされたブロック２２０５は、予測チェーンと呼ばれるこの時間的予測チェーンのおかげで、ディスプレイ内により長い時間（図内の例におけるシーンの継続時間）持続する。
予測階層は、この重要度レベル又は持続性評価基準に基づいて生成され、親（イントラコーディングされたブロック２２０５）が最上部、子供が最下部に位置するブロックツリーであると定義される。Ｐ１内のインターコーディングされたブロック２１５は、予測階層の第２のレベル上にあり、以下同様であることに注目すること。葉は、予測チェーンを終了させるブロックである。
予測階層は、コンテンツの種類（ニュースだけでなく、例えば音楽及びスポーツ）に関わりなく映像シーケンスに関して生成することができ、予測に基づく映像（及びデータ）圧縮全般に適用可能である（このことは、本特許出願において説明される全発明に適用される）。予測階層が構築された時点で、後述される誤り耐性アルゴリズム、例えば適応型イントラリフレッシュ、は、より効果的に適用することができる。重要度評価基準は、例えば隠蔽動作及び適応型イントラリフレッシュを適用してコーディングされたビットストリームの誤り耐性を向上させることを通じての所定のブロックの誤りからの回復能力に基づくことができる。重要度評価基準に関する推定は、ブロックが持続性メトリックスとも呼ばれる予測子として用いられる回数に基づくことができる。持続性メトリックスは、予測誤りの伝播を抑止することによってコーディング効率を向上させるためにも用いられる。持続性メトリックスは、より高い重要度を有するブロックに関するビット割り当ても増大させる。

適応型イントラリフレッシュ
適応型イントラリフレッシュは、マルチメディアデータのコンテンツ情報に基づくことができる誤り耐性技術である。イントラリフレッシュプロセスにおいては、幾つかのＭＢは、標準的なＲ−Ｄ最適化がインターコーディングされたＭＢであることを要求するにもかかわらずイントラコーディングされる。ＡＩＲは、イントラコーディングされたＭＢをＰ又はＢフレーム内に導入するために動き重み付きイントラリフレッシュを採用する。これらのイントラコーディングされたＭＢは、基本層内に含まれ、ＱＰｂ又はＱＰｅのいずれかによって符号化することができる。ＱＰｅが基本層に関して用いられる場合は、拡張層では精細化は行われるべきではない。ＱＰｂが基本層に関して用いられる場合は、精細化が適しており、精細化が行われない場合は、拡張層において品質低下が顕著になる。インターコーディングは、コーディング効率の点でイントラコーディングよりも効率的であるため、拡張層におけるこれらの精細化は、インターコーディングされる。この方法により、基本層係数は拡張層に関しては用いられず、拡張層においては新たな動作を導入せずに品質が向上される。
幾つかの側面においては、適応型イントラリフレッシュは、動き重み付きの代わりに又は動き重み付きに加えてマルチメディアデータのコンテンツ情報（例えば、コンテンツ分類）に基づくことができる。例えば、コンテンツ分類が相対的に高い（例えば、シーンが大きい空間的及び時間的複雑さを有する）場合は、適応型イントラリフレッシュは、相対的により多くのイントラコーディングされたＭＢをＰ又はＢフレーム内に導入することができる。代替として、コンテンツ分類が相対的に低い（動きがより少なく、小さい空間的及び／又は時間的複雑さを有するシーンであることを示す）場合は、適応型イントラリフラッシュは、より少ないイントラコーディングされたＭＢをＰ又はＢフレーム内に導入することができる。誤り耐性を向上させるための該メトリックス及び方法は、無線マルチメディア通信の状況のみではなく、（例えば、グラフィックスレンダリングにおける）データ圧縮及びマルチメディア処理全般に関しても適用することができる。
チャネルスイッチフレーム
本明細書において定義されるチャネルスイッチフレーム（ＣＳＦ）は、高速チャネル取得及び放送マルチプレックス内のストリーム間での高速チャネル変更を目的として放送ストリーム内の該当位置に挿入されたランダムアクセスフレームを表す広義の用語である。チャネルスイッチフレームは、主フレームが誤りを有する状態で送信された場合に用いることができる冗長データを提供するため、誤り頑健性も向上させる。典型的には、Ｉフレーム又はプログレッシブＩフレーム、例えば、Ｈ．２６４内のプログレッシブ復号器リフレッシュフレームがランダムアクセスポイントとして機能する。しかしながら、頻繁なＩフレーム（又はシーン継続時間よりも短い、短いＧＯＰ）は、圧縮効率の有意な低下に至る。イントラコーディングされたブロックは誤り耐性に関して用いることができるため、ランダムアクセス及び誤り耐性を予測階層を通じて実効的に結合させることで誤り頑健性を向上させる一方でコーディング効率を向上させることができる。
ランダムアクセス切り換え及び誤り頑健性の向上は、協調して達成させることができ、コンテンツ分類等のコンテンツ情報に基づくことができる。少ない動きのシーケンスに関しては、予測チェーンは長く、スーパーフレーム又はシーンを再構築するのに必要な情報の有意な部分は、そのシーンの開始時に生じたＩフレームに内蔵されている。チャネルの誤りはバースト性になる傾向があり、フェードが著しくＦＥＣ及びチャネルコーディングが失敗したときには、隠蔽することができない大きな残留誤りが存在する。この状態は少ない動き（従って低ビットレート）のシーケンスの場合に特に激しく、その理由は、コーディングされたデータ量が映像ビットストリーム内において良好な時間ダイバーシティを提供する上で十分でないこと及びこれらのシーケンスはすべてのビットが再構築に役立つようにする圧縮可能性が高いシーケンスであることである。多い動きのシーケンスは、コンテンツの性質に起因して誤りに対する頑健性がより高く、すべてのフレーム内のより多くの新しい情報が、独立して復号可能であって誤り耐性が本質的により高いコーディングされたイントラブロック数を増加させる。予測階層に基づく適応型イントラリフレッシュは、動きが多いシーケンスに関して高い性能を達成させ、少ない動きのーケンスに関しては性能の向上はそれほどではない。従って、少ない動きのシーケンスに関しては、Ｉフレームのうちのほとんどを含むチャネルスイッチフレームが優れたダイバーシティ源である。誤りがスーパーフレームに悪影響を与えた場合は、後続フレーム内での復号は、予測に起因する失われた情報を復元させるＣＳＦから開始し、誤り耐性が達成される。
多い動きのシーケンス、例えば相対的に高いコンテンツ分類（例えば、６乃至８）を有するシーケンス、の場合は、ＣＳＦは、ＳＦ内において持続するブロック−優れた予測子であるブロックから成ることができる。ＣＳＦのその他のすべての領域は、イントラブロックで終了されることを意味する短い予測チェーンを有するブロックであるためコーディングする必要がない。従って、ＣＳＦは、誤り発生時に予測に起因する失われた情報から回復する働きを依然として行う。少ない動きのシーケンスに関するＣＳＦは、Ｉフレームの大きさと同等であり、より大きな量子化を通じてより低いビットレートでコーディングすることができ、多い動きのシーケンスに関するＣＳＦは、対応するＩフレームよりもはるかに小さい。
予測階層に基づく誤り耐性は、スケーラビリティに関して適切に機能し、効率の高い階層化コーディングを達成することができる。物理層技術における階層的変調をサポートするスケーラビリティは、特定の帯域幅比による映像ビットストリームのデータパーティショニングを要求することがある。これらの帯域幅比は、（例えば、最低のオーバーヘッドを有する）最適なスケーラビリティに関する常に理想的な比であるわけではない。幾つかの側面においては、１：１の帯域幅比を有する２層スケーラビリティが用いられる。映像ビットストリームを等しい大きさの２層にパーティショニングすることは、少ない動きのシーケンスに関しては効率的でない場合がある。少ない動きのシーケンスの場合は、すべてのヘッダー情報及びメタデータ情報を含む基本層は、拡張層よりも大きい。しかしながら、少ない動きのシーケンスに関するＣＳＦのほうが大きいため、拡張層内の残りの帯域幅内に適切に納まる。
多い動きのシーケンスは、１：１までのデータパーティショニングを最低のオーバーヘッドで達成することができる十分な残存情報を有する。さらに、該シーケンスに関するチャネル切り換えフレームは、 多い動きのシーケンスに関するほうがはるかに小さい。従って、予測階層に基づく誤り耐性は、多い動きのシーケンスに関するスケーラビリティに関しても同様に適切に機能する。これらのアルゴリズムに関する説明に基づき、中度動きクリップに関して上述される概念を拡大させることが可能であり、提案される概念は、映像コーディング全般に関して適用される。
マルチプレクサ
幾つかの符号器側面においては、符号器によって生成されて符号化されたビットを放送用に準備するために用いられる複数のマルチメディアストリームを符号化するためにマルチプレクサを用いることができる。例えば、図２に示される符号器２２８の例示的側面においては、同期化層２４０は、マルチプレクサを具備する。マルチプレクサは、ビットレート割り当て制御を提供するために実装することができる。推定される複雑さをマルチプレクサに提供することができ、マルチプレクサは、多重化された映像チャネルの集合に関して予想される符号化の複雑さに従ってこれらの多重化された映像チャネルに関して利用可能な帯域幅を割り当てることができ、多重化された映像ストリームの集合に関する帯域幅が相対的に一定である場合でも特定のチャネルの品質を相対的に一定に維持するのを可能にする。このことは、チャネルの集合内のチャネルが、相対的に一定のビットレート及び可変の視覚品質ではなく、可変のビットレート及び相対的に一定の視覚品質を有するようにする。
図１８は、複数のマルチメディアストリーム又はチャネル１８０２を符号化するシステムを示すブロック図である。マルチメディアストリーム１８０２は、マルチプレクサ（ＭＵＸ）１８０６と通信状態にある各々の符号器１８０４によって符号化され、マルチプレクサ（ＭＵＸ）１８０６は、送信媒体１８０８と通信状態にある。例えば、マルチメディアストリーム１８０２は、様々なコンテンツチャネル、例えば、ニュースチャネル、スポーツチャネル、映画チャネル等に対応することができる。符号器１８０４は、システムに関して規定された符号化形式に従ってマルチメディアストリーム１８０２を符号化する。開示される技術の原理及び利点は、映像ストリームの符号化に関して説明されている一方で、例えば音声ストリームを含むマルチメディアストリームに対しても一般的に適用可能である。符号化されたマルチメディアストリームは、マルチプレクサ１８０６に提供され、マルチプレクサ１８０６は、様々な符号化されたマルチメディアストリームを結合させて結合されたストリームを送信のために送信媒体１８０８に送信する。
送信媒体１８０８は、様々な媒体、例えば、限定することなしに、デジタル衛星通信、例えば、ＤｉｒｅｃｔＴＶ（登録商標）、デジタルケーブル、有線及び無線のインターネット通信、光ネットワーク、携帯電話ネットワーク等に対応することができる。送信媒体１８０８は、例えば、無線周波数（ＲＦ）への変調を含むことができる。典型的には、スペクトル上の制約等に起因して、送信媒体は、制限された帯域幅を有し、マルチプレクサ１８０６から送信媒体へのデータは、相対的に一定のビットレート（ＣＢＲ）で維持される。
従来のシステムにおいては、マルチプレクサ１８０６の出力部において一定のビットレート（ＣＢＲ）を使用することは、マルチプレクサ１８０６に入力される符号化されたマルチメディア又は映像ストリームもＣＢＲであることを要求することがある。背景技術において説明されるように、映像コンテンツを符号化時におけるＣＢＲの使用は、結果的に可変の視覚品質が得られる可能性があり、典型的には望ましくない。
例示されるシステムにおいては、符号器１８０４のうちの２つ以上は、入力データの予想される符号化上の複雑さを通信する。符号器１８０４のうちの１つ以上は、それに応答して、適応されたビットレート制御をマルチプレクサ１８０６から受信する。このことは、相対的に複雑な映像を符号化することを予想する符号器１８０４がこれらの映像フレームに関するより高いビットレート又はより高い帯域幅（１フレーム当たりより多くのビット）を疑似可変ビットレートの形で受信することを可能にする。このことは、マルチメディアストリーム１８０２を一貫した視覚品質で符号化するのを可能にする。相対的に複雑な映像を符号化する特定の符号器１８０４によって用いられる余分の帯域幅は、本来であれば符号器が一定のビットレートで動作するために実装された場合にその他の映像ストリーム１８０４を符号化するために用いられていたことになるビットから得られる。このことは、マルチプレクサ１８０６の出力を一定のビットレート（ＣＢＲ）に維持する。
個々のマルチメディアストリーム１８０２は、相対的に“バースト性”を有する可能性がある、すなわち使用される帯域幅が変動する可能性がある一方で、複数の映像ストリームの累積和は、それよりもバースト性が低くなることができる。複雑さがより小さい映像を符号化中のチャネルからのビットレートは、例えばマルチプレクサ１８０６によって、相対的に複雑な映像を符号化中のチャネルに再割り当てすることができ、このことは、結合された映像ストリーム全体の視覚品質を向上させることができる。
符号器１８０４は、符号化してひとつに多重化すべき一組の映像フレームの複雑さの表示をマルチプレクサ１８０６に提供する。マルチプレクサ１８０６の出力は、送信媒体１８０８に関して規定されるビットレートよりも高くない出力を提供すべきである。複雑さの表示は、上述されるコンテンツ分類に基づき、選択されたレベルの品質を提供することができる。マルチプレクサ１００６は、複雑さの表示を解析し、割り当てられたビット数又は帯域幅を様々な符号器１００４に提供し、符号器１８０４は、この情報を用いて組内の映像フレームを符号化する。このことは、一組の映像フレームを個々に可変ビットレートにし、その一方でグループとして一定のビットレートを達成するのを可能にする。
コンテンツ分類は、品質に基づくマルチメディアの圧縮全般をあらゆる一般的圧縮器に関して可能にする際に用いることができる。本明細書において説明されるコンテンツ分類及び方法及び装置は、品質に基づく及び／又はコンテンツに基づくマルチメディアデータ処理の際に用いることができる。一例は、一般的圧縮器に関するマルチメディア全般の圧縮において使用することである。他の例は、伸長器又は復号器又はポストプロセッサにおける伸長又は復号、例えば、補間、リサンプリング、拡張、回復及び提示動作、における使用である。
次に図１９に関して、典型的映像通信システムは、通信ネットワークによって接続された映像符号器及び映像復号器からなる映像圧縮システムを含む。無線ネットワークは、通信チャネルが経路損失に加えて移動シナリオにおける対数正規フェーディング又はシャドーイング及び多経路フェーディングを呈する１つのクラスの誤りが発生しやすいネットワークである。チャネル上の誤りに対処してアプリケーション層データに関して信頼できる通信を提供するため、ＲＦ変調器は、インターリーバーを含む順方向誤り訂正と、畳み込み又はターボ符号化等のチャネルコーディングと、を含む。
映像圧縮は、ソース映像における冗長性を低下させ、コーディングされた映像データの各ビットにおいて搬送される情報量を増大させる。このことは、コーディングされた映像のうちの小さい部分さえも失われたときに品質上の影響を増大させる。映像圧縮システムに内在する空間的及び時間的予測は、損失を悪化させて誤りを伝搬させ、その結果、再構築された映像内において可視のアーティファクトを発生させる。映像符号器における誤り耐性アルゴリズム及び映像復号器における誤り回復アルゴリズムは、映像圧縮システムの誤り頑健性を向上させる。
典型的には、映像圧縮システムは、基礎となるネットワークにとらわれない。しかしながら、誤りが発生しやすいネットワークにおいては、アプリケーション層における誤り保護アルゴリズムをリンク／物理層におけるＦＥＣ及びチャネルコーディングと統合するか又は整合させることが非常に望ましく、システムの誤り性能を向上させる際に最も高い効率を提供する。
図１４は、フレームを符号化するために符号器２２８において発生する可能性があるレート−歪みデータフローの一例を示す。プロセス１４００は、開始１４０２において開始し、決定ブロック１４０４に進み、決定ブロック１４０４において、シーン変化検出器入力１４１０を（例えば、メタデータを介して）プリプロセッサ２２６から受信し、誤り耐性入力１４０６が取得される。選択されたフレームがＩフレームであることを情報が示す場合は、プロセスは、フレームをイントラ符号化する。選択されたフレームがＰ又はＢフレームであることを情報が示す場合は、プロセスは、イントラコーディング及び動き推定（インター）コーディングを用いてフレームを符号化する。
ブロック１４０４の条件に関して肯定的な状態が生じた後に、プロセス１４００は、準備ブロック１４１４に進み、レートＲは、Ｒ−Ｄ曲線に基づく希望される目標品質である値 Ｒ＝Ｒｑｕａｌに設定される。この設定は、Ｒ−Ｄ曲線を具備するデータブロック１４１６から受信される。次に、プロセス１４００は、ブロック１４１８に進み、ブロック１４２０のコンテンツ分類プロセスからの画像／映像活動情報（例えば、コンテンツ分類）に基づいてレート制御ビット割り当て｛Ｑｐｉ｝が行われる。
レート制御ビット割り当てブロック１４１８は、ブロック１４２２において動き推定のために用いられる。動き推定１４２２は、プリプロセッサ１４１２からメタデータの入力を、ブロック１４２４から動きベクトル平滑化（ＭＰＥＧ−２＋履歴）を、ブロック１４２６から複数の基準フレーム（因果＋非因果マクロブロックＭＢ）を受信することもできる。次に、プロセス１４００は、ブロック１４２８に進み、レート制御ビット割り当て（Ｑｐｉ）に関してイントラコーディングされたモードに関するレート計算が決定される。次に、プロセス１４００はブロック１４３０に進み、モード及び量子化パラメータが決定される。ブロック１４３０のモード決定は、ブロック１４２２の入力、誤り耐性１４０６入力、及びブロック１４３２において決定されるスケーラビリティＲ−Ｄに基づいて行われる。モードが決定された時点で、フローはブロック１４３２に進む。ブロック１４３０から１４３２への流れは、データが符号器の第１パス部分から第２パス部分に渡されるときに発生することが注記される。
ブロック１４３２において、変換及び量子化が符号器２２８の第２のパスによって行われる。変換／量子化プロセスは、ブロック１４４４によって示されるように調整又は微調整される。この変換／量子化プロセスは、レート制御微調整モジュール（図７）による影響を受ける可能性がある。次に、プロセス１４００は、ジグザグソーティング及びエントロピーコーディングを行って符号化された基本層を生成するためにブロック１４３４に進む。ジグザグソーティングは、量子化されたデータを符号化のために効率的な形式で準備する。エントロピーコーディングは、一連のビット符号を用いて一組の可能なシンボルを表す圧縮技術である。図３１乃至３６を参照して前述されるように、変換／量子化ブロック１４３２の拡張層の結果は加算器１４３６にも送信され、加算器１４３６は、基本層を減じてその結果を拡張層に関するＺＺ／エントロピーコーダー１４３８に送信する。追記すると、拡張層は、真のレートのコンテンツ分類１４２０を更新するために及びレート制御によって用いられるビットレートの長期及び短期の履歴を決定する動作のためにフィードバックされる（ライン１４４０の真のレートの更新を参照）。
図１７Ａは、時間領域においてデータ境界をフレーム境界とアライメントさせるためにマルチメディアデータを符号化するためのプロセスの流れ図であり、符号化することは、コンテンツ情報に基づく。プロセス１７００は、図１７Ｂに示される装置及び本明細書において開示されるトランスコーダ２００を含むその他の構成要素によって実行することができる。プロセス１７００が開始し、ブロック１７０２においてマルチメディアデータのコンテンツ情報を入手する。この入手は、コンテンツ分類器１７１２（図１７Ｂ）又は他の構成要素、例えば図７のコンテンツ分類器７１２、によって行うことができる。次に、プロセス１７００は、ブロック１７０４に進み、時間領域においてデータ境界をフレーム境界とアライメントさせるためにマルチメディアデータを符号化し、符号化することは、ブロック１７０２において入手されたコンテンツ情報に基づく。このことは、符号器１７１４（図１７Ｂ）によって、又は他の例においてはトランスコーダ２００（図７）によって行うことができる。データ境界を時間境界とアライメントさせることは、誤り耐性を得ることができる。
図１７Ｂは、図１７Ａ及び１７Ｃに示されるプロセスを実行することができる符号化装置１７１０の高位ブロック図である。装置１７１０は、コンテンツ分類手段、例えばマルチメディアデータのコンテンツ情報を入手するためのモジュール１７１２、を含むことができる。コンテンツ分類手段の例も図７を参照して例示及び説明されており、例えば、コンテンツ分類モジュール、符号器、プリプロセッサ、又はトランスコーダを含むことができる。装置１７１０は、時間領域においてデータ境界をフレーム境界とアライメントさせるためにマルチメディアデータを符号化するための手段、例えばマルチメディアデータを符号化するためのモジュール１７１４、も含む。該手段の例は、符号器（例えば、符号器２２８）又はトランスコーダ（例えば、トランスコーダ２００）を含む。
図１７Ｃは、マルチメディアデータを符号化するためのプロセス１７５０の流れ図である。プロセス１７５０が開始し、ブロック１７５２においてマルチメディアデータのコンテンツ分類を入手する。この入手は、コンテンツ分類器１７１２（図１７Ｂ）又は他の構成要素、例えば図７のコンテンツ分類器７１２、によって行うことができる。プロセス１７５０はブロック１７５４に進み、マルチメディアデータは、コンテンツ分類に基づいてイントラコーディングされたブロック又はインターコーディングされたブロックとして符号化される。このことは、符号器１７１４（ステップ１７Ｂ）によって、又は他の例においてはトランスコーダ２００（図７）によって行うことができる。次に、プロセス１７５０は、さらなるマルチメディアデータ処理が必要になるまで終了する。
図２３、２４、２７及び２８は、本明細書において説明される側面を具体化するマルチメディアデータ符号化方法の典型例を示すプロセス流れ図である。図２３は、コンテンツ情報に基づいてマルチメディアデータを符号化するプロセス２３００を示すプロセス流れ図である。ブロック２３０５において、プロセス２３００は、符号化されたマルチメディアデータを受信し、ブロック２３１０において、プロセス２３００は、マルチメディアデータを復号する。ブロック２３１５において、プロセス２３００は、復号されたマルチメディアデータと関連づけられたコンテンツ情報を決定する。ブロック２３２０において、プロセス２３００は、コンテンツ情報に基づいてマルチメディアデータを符号化する。
図２４は、コンテンツ情報レベルに基づいてデータ境界をアライメントさせるためにマルチメディアデータを符号化するプロセス２４００を示すプロセス流れ図である。ブロック２４０５において、プロセス２４００は、マルチメディアデータと関連づけられたコンテンツ情報を入手し、このことは、例えばプリプロセッサ２２６又は図７に示されるコンテンツ分類モジュール７１２によって行うことができる。ブロック２４１０において、プロセス２４００は、コンテンツ情報に基づいてデータ境界をアライメントさせるためにマルチメディアデータを符号化する。例えば、スライス境界及びアクセスユニット境界は、符号化中のマルチメディアデータのコンテンツ分類に基づいてフレーム境界とアライメントされる。符号化されたデータは、後続する処理及び／又はモバイルデバイスへの送信のために利用可能であり、プロセス２４００が終了する。
図２７は、コンテンツ情報に基づいて適応型イントラリフレッシュ方式を用いてデータを符号化するプロセス２７００を示すプロセス流れ図である。プロセス２７００が開始するときには、マルチメディアデータが入手されている。ブロック２７０５において、プロセス２７００は、マルチメディアデータのコンテンツ情報を入手する。コンテンツ情報を入手することは、例えば、プリプロセッサ２２６又は上述されるコンテンツ分類モジュール７１２によって行うことができる。プロセス２７００は、ブロック２７１０に進み、適応型イントラリフレッシュ誤り耐性方式を用いてマルチメディアデータを符号化し、適応型イントラリフレッシュ誤り耐性方式は、コンテンツ情報に基づく。ブロック２７１０の機能は、符号器２２８によって行うことができる。符号化されたデータは、後続する処理及び送信に関して利用可能になり、プロセス２７００が終了する。
図２８は、マルチメディアコンテンツ情報に基づいて冗長Ｉフレームを用いてマルチメディアデータを符号化するプロセスを示すプロセス流れ図である。プロセス２８００が開始する時点で、マルチメディアデータを処理に関して利用可能である。ブロック２８０５において、プロセス２８００は、マルチメディアデータのコンテンツ情報を入手する。上述されるように、このことは、例えば、プリプロセッサ２２６及び／又は符号器２２８によって行うことができる。ブロック２８１０において、プロセス２８００は、コンテンツ情報に基づいて１つ以上の追加のＩフレームを符号化されたデータ内に挿入するためにマルチメディアデータを符号化する。この符号化は、誤り耐性方式と関連して上述されるように符号器２２８によって行うことができ、採用された誤り耐性方式に依存して基本層又は拡張層内にＩフレームを挿入する。ブロック２８１０後は、符号化されたデータは、後続する処理及び／又はモバイルデバイスへの送信に関して利用可能である。
本明細書において説明される方法は、当業者によって知られる様々な通信ハードウェア、プロセッサ及びシステムにおいて実装できることが注目されるべきである。例えば、クライアントが本明細書において説明されるように動作するための一般要件は、クライアントが、コンテンツ及び情報を表示するためのディスプレイと、クライアントの動作を制御するためのプロセッサと、クライアントの動作に関連するデータ及びプログラムを格納するためのメモリと、を有することである。一側面においては、クライアントは、携帯電話である。他の側面においては、クライアントは、通信能力を有するハンドヘルドコンピュータである。さらに他の側面においては、クライアントは、通信能力を有するパソコンである。さらに、様々な側面を実装するためにＧＰＳ受信機等のハードウェアをクライアント内に組み入れることができる。本明細書において開示される側面に関連して説明される様々な例示的な論理、論理ブロック、モジュール、及び回路は、本明細書において説明されている機能を果たすように設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、その他のプログラミング可能な論理デバイス、ディスクリートゲートロジック、ディスクリートトランジスタロジック、ディスクリートハードウェア構成品、又はそのあらゆる組合せ、とともに実装又は実行することができる。汎用プロセッサはマイクロプロセッサであることができるが、代替として、従来のどのようなプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。さらに、プロセッサは、計算装置の組合せ、例えば、ＤＳＰと、１つのマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと関連する1つ以上のマイクロプロセッサ、又はその他のあらゆる該コンフィギュレーションとの組合せ、として実装することもできる。
本明細書において開示される側面に関連して説明される様々な例示的な論理、論理ブロック、モジュール、及び回路は、本明細書において説明される機能を果たすように設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、その他のプログラミング可能な論理デバイス、ディスクリートゲートロジック、ディスクリートトランジスタロジック、ディスクリートハードウェア構成品、又はそのあらゆる組合せ、とともに実装又は実行することができる。汎用プロセッサはマイクロプロセッサであることができるが、代替として、従来のどのようなプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。さらに、プロセッサは、計算装置の組合せ、例えば、ＤＳＰと、１つのマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと関連する1つ以上のマイクロプロセッサ、又はその他のあらゆる該コンフィギュレーションとの組合せ、として実装することもできる。
開示される方法及び装置は、１つの形式で符号化された映像データを、符号化が映像データのコンテンツに基づいており符号化が誤りに対する耐性を有する他の形式に符号化された映像データにトランスコーディングすることを提供する。本明細書において開示される例に関連して説明される方法又はアルゴリズムは、ハードウェア内において直接具体化させること、プロセッサによって実行されるソフトウェアモジュール内において具体化させること、又はこれらの２つの組合せにおいて具体化させることができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取り外し可能なディスク、ＣＤ−ＲＯＭ、又は当業において既知であるその他のあらゆる形態の記憶媒体に常駐することができる。１つの典型的な記憶媒体をプロセッサに結合させ、プロセッサが記憶媒体から情報を読み出すようにすること及び記憶媒体に情報を書き込むようにすることができる。代替として、記憶媒体は、プロセッサと一体化させることができる。プロセッサ及び記憶媒体は、ＡＳＩＣ内に常駐することができる。ＡＳＩＣは、ユーザー端末内に常駐することができる。代替として、プロセッサ及び記憶媒体は、ユーザー端末内において個別構成要素として常駐することができる。
上述される例は、単なる典型例であるにすぎず、当業者は、本明細書において開示される発明概念から逸脱せずに上述される例を数多く利用すること及び逸脱することができる。これらの例に対する様々な修正は、当業者にとっては容易に明確になるであろう。本明細書において定められている一般原理は、本発明において説明される斬新な側面の精神及び適用範囲を逸脱しない形で例えば瞬時メッセージ送信サービス又は一般的な無線データ通信用途におけるその他の例に対しても適用可能である。以上のように、本開示の適用範囲は、本明細書において示される例に限定されることを意図するものではなく、本明細書において開示される原理及び斬新な特長に一致する限りにおいて最も広範な適用範囲が認められるべきである。本明細書において用いられている“典型的な”という表現は、“1つの例、事例、又は実例”を示すことのみを目的とするものである。このため、本明細書において“典型的な”例として説明されているいずれの例も、その他の例よりも好ましい又は有利であるとは必ずしも解釈すべきではない。従って、本明細書において説明される斬新な側面は、以下の請求項の適用範囲のみによって定義されるべきである。
異なる映像形式間のトランスコーディングのためのトランスコーダを含むメディア放送システムのブロック図である。 マルチメディアデータを符号化し、符号化された第１のデータグループ及び符号化された第２の符号化グループを提供するように構成された符号器のブロック図である。 マルチメディアデータを符号化するように構成されたプロセッサのブロック図である。 図１のシステムのトランスコーダの例のブロック図である。 図２のトランスコーダ内において用いられる構文解析器の動作を示す流れ図である。 図２のトランスコーダ内において用いられる復号器の動作を示す流れ図である。 図２のトランスコーダによって行われる一連の動作を示す流れ図である。 図２のトランスコーダにおいて用いることができるプリプロセッサの一連の動作及び機能を示す流れ図である。 図２のトランスコーダにおいて用いることができる典型的２パス符号器のブロック図である。 テクスチャ値及び動き値をコンテンツ分類とどのように関連づけるかの一側面を示す分類図例を示した図である。 例えば図７の符号器内において用いるためのコンテンツ分類に関する典型的動作を示す流れ図である。 例えば図７の符号器とともに用いるためのレート制御の動作を示した流れ図である。 例えば図７の符号器とともに用いるための典型的動き推定器の動作を示す流れ図である。 例えば図７の符号器とともに用いるための典型的モード決定符号器機能の動作を示す流れ図である。 図７の符号器において用いるためのスケーラビリティに影響を与える典型的動作を示す流れ図である。 例えば図７の符号器において発生するレート歪みデータフローに影響を与える典型的動作を示す流れ図である。 符号化の複雑さと、割り当てられたビットと、人間の視覚品質との間の関係を示すグラフである。 非線形シーン検出公式を示すグラフである。 時間領域においてデータ境界をフレーム境界とアライメントさせるためにマルチメディアデータを符号化するためのプロセスの流れ図であり、符号化することは、コンテンツ情報に基づく。 図１７Ａ及び図１７Ｃに示されるプロセスを実行することができる符号化装置の高位ブロック図である。 マルチメディアデータを符号化するためのプロセスの流れ図であり、前記マルチメディアデータは、コンテンツ分類に基づいてイントラコーディングされたブロック又はインターコーディングされたブロックとして符号化される。 動き推定／補償を用いたデインターレーシングプロセスを示した図である。 マルチメディア通信システムのブロック図である。 拡張層及び基本層における映像ビットストリームの構成を示した図である。 映像フレーム境界へのスライスのアライメントを示した図である。 予測階層を示すブロック図である。 コンテンツ情報に基づいてマルチメディアデータを符号化する方法を示すプロセス流れ図である。 コンテンツ情報レベルに基づいてデータ境界をアライメントさせるためにマルチメディアデータを符号化する方法を示すプロセス流れ図である。 データフレームのセーフアクションエリア及びセーフタイトルエリアを示した図である。 データフレームのセーフアクションエリアを示した図である。 マルチメディアコンテンツ情報に基づいて適応型イントラリフレッシュを用いてマルチメディアデータを符号化するプロセスを示すプロセス流れ図である。 マルチメディアコンテンツ情報に基づいて冗長なＩフレームを用いてマルチメディアデータを符号化するプロセスを示すプロセス流れ図である。 現在のフレームと前フレームＭＶＰ及び現在のフレームと次のフレームＭＶＮの間における動き補償ベクトルを示した図である。 ショット検出を示すプロセス流れ図である。 基本層及び拡張層を示すプロセス流れ図である。 マクロブロックの符号化を示す概略図である。 基本層及び拡張層を符号化するためのモジュールを示す概略図である。 基本層及び拡張層の係数選択器プロセスの例を示した図である。 基本層及び拡張層の係数選択器プロセスの他の例を示した図である。 基本層及び拡張層の係数選択器プロセスの他の例を示した図である。 コンテンツ情報に基づくマルチメディアデータの符号化を示すプロセス流れ図である。 逆テレシネプロセスにおける可能なシステム決定を示した図である。 デブロッキングプロセスによってフィルタリングされるマクロブロック内の境界を示した図である。 空間−時間的デインターレーシングプロセスを示した図である。 １Ｄ多相リサンプリングの例を示した図である。 映像ストリーミングにおける適応型ＧＯＰ構造の例を示す流れ図である。

Claims (54)

  1. マルチメディアデータを処理する方法であって、
    マルチメディアデータのコンテンツ情報を入手することと、
    時間領域においてデータ境界をフレーム境界とアライメントさせるために前記マルチメディアデータを符号化することであって、前記符号化することは、前記コンテンツ情報に基づくこと、とを具備する、方法。
  2. 前期コンテンツは、コンテンツ分類を具備する請求項１に記載の方法。
  3. 前期コンテンツ情報を入手することは、前記コンテンツ情報を前記マルチメディアデータから計算することを具備する請求項１に記載の方法。
  4. 前記データ境界は、Ｉフレームデータ境界を具備する請求項１に記載の方法。
  5. 前記データ境界は、前記マルチメディアデータの独立して復号可能な符号化されたデータの境界を具備する請求項１に記載の方法。
  6. 前記データ境界は、スライス境界を具備する請求項１に記載の方法。
  7. 符号化されたデータの前記境界は、イントラコーディングされたアクセスユニット境界である請求項１に記載の方法。
  8. 前記データ境界は、Ｐフレーム境界を具備する請求項１に記載の方法。
  9. 前記データ境界は、Ｂフレーム境界を具備する請求項１に記載の方法。
  10. 前記コンテンツ情報は、前記マルチメディアデータの複雑さを具備する請求項１に記載の方法。
  11. 前記複雑さは、時間的複雑さ、空間的複雑さ、又は時間的複雑さと空間的複雑さを具備する請求項１０に記載の方法。
  12. マルチメディアデータを処理するための装置であって、
    マルチメディアデータのコンテンツ分類を決定するように構成されたコンテンツ分類器と、
    時間領域においてデータ境界をフレーム境界とアライメントさせるために前記マルチメディアデータを符号化するように構成された符号器であって、前記符号化することは、前記コンテンツ情報に基づく符号器と、を具備する、装置。
  13. 前記コンテンツ情報は、コンテンツ分類を具備する請求項１２に記載の装置。
  14. 前記コンテンツ分類器は、前記コンテンツ情報を前記マルチメディアデータから計算することによって前記コンテンツ情報を入手するように構成される請求項１２に記載の装置。
  15. 前記データ境界は、Ｉフレームデータ境界を具備する請求項１２に記載の装置。
  16. 前記データ境界は、前記マルチメディアデータの独立して復号可能な符号化されたデータの境界を具備する請求項１２に記載の装置。
  17. 前記データ境界は、スライス境界を具備する請求項１２に記載の装置。
  18. 符号化されたデータの前記境界は、イントラコーディングされたアクセスユニット境界である請求項１２に記載の装置。
  19. 前記データ境界は、Ｐフレーム境界を具備する請求項１２に記載の装置。
  20. 前記データ境界は、Ｂフレーム境界を具備する請求項１２に記載の装置。
  21. 前記コンテンツ情報は、前記マルチメディアデータの複雑さを具備する請求項１２に記載の装置。
  22. 前記複雑さは、時間的複雑さ、空間的複雑さ、又は時間的複雑さと空間的複雑さを具備する請求項２１に記載の装置。
  23. マルチメディアデータを処理するための装置であって、
    マルチメディアデータのコンテンツ情報を入手するための手段と、
    時間領域においてデータ境界をフレーム境界とアライメントさせるために前記マルチメディアデータを符号化するための手段であって、前記符号化することは、前記コンテンツ情報に基づく手段と、を具備する、装置。
  24. プロセッサであって、
    マルチメディアデータのコンテンツ情報を入手し、
    時間領域においてデータ境界をフレーム境界とアライメントさせるために前記マルチメディアデータを符号化するように構成され、前記符号化することは、前記コンテンツ情報に基づく、プロセッサ。
  25. 前記コンテンツ情報は、コンテンツ分類を具備する請求項２４に記載のプロセッサ。
  26. 前記コンテンツ分類器は、前記コンテンツ情報を前記マルチメディアデータから計算することによって前記コンテンツ情報を入手するように構成される請求項２４に記載のプロセッサ。
  27. 前記データ境界は、Ｉフレームデータ境界を具備する請求項２４に記載のプロセッサ。
  28. 前記データ境界は、前記マルチメディアデータの独立して復号可能な符号化されたデータの境界を具備する請求項２４に記載のプロセッサ。
  29. 前記データ境界は、スライス境界を具備する請求項２４に記載のプロセッサ。
  30. 符号化されたデータの前記境界は、イントラコーディングされたアクセスユニット境界である請求項２４に記載のプロセッサ。
  31. 前記データ境界は、Ｐフレーム境界を具備する請求項２４に記載のプロセッサ。
  32. 前記データ境界は、Ｂフレーム境界を具備する請求項２４に記載のプロセッサ。
  33. 機械によって読み取り可能な媒体であって、
    実行時にマルチメディアデータのコンテンツ情報を機械に入手させる命令と、
    実行時に時間領域においてデータ境界をフレーム境界とアライメントさせるために前記マルチメディアデータを機械に符号化させる命令であって、前記符号化することは、前記コンテンツ情報に基づく命令と、を具備する、機械によって読み取り可能な媒体。
  34. 前記コンテンツ情報は、コンテンツ分類を具備する請求項３３に記載の機械によって読み取り可能な媒体。
  35. 命令をさらに具備し、前記コンテンツ分類器は、前記コンテンツ情報を前記マルチメディアデータから計算することによって前記コンテンツ情報を入手するように構成される請求項３３に記載の機械によって読み取り可能な媒体。
  36. 前記データ境界は、Ｉフレームデータ境界を具備する請求項３３に記載の機械によって読み取り可能な媒体。
  37. 前記データ境界は、前記マルチメディアデータの独立して復号可能な符号化されたデータの境界を具備する請求項３３に記載の機械によって読み取り可能な媒体。
  38. 前記データ境界は、スライス境界を具備する請求項３３に記載の機械によって読み取り可能な媒体。
  39. 符号化されたデータの前記境界は、イントラコーディングされたアクセスユニット境界である請求項３３に記載の機械によって読み取り可能な媒体。
  40. マルチメディアデータを処理する方法であって、
    前記マルチメディアデータのコンテンツ分類を入手することと、
    前記コンテンツ分類に基づいて前記マルチメディアデータ内のブロックをイントラコーディングされたブロック又はインターコーディングされたブロックとして符号化して前記符号化されたマルチメディアデータの前記誤り耐性を向上させること、とを具備する、方法。
  41. 前記符号化することは、イントラコーディングされたマクロブロックとして符号化されたマクロブロック数を前記コンテンツ分類の減少に対応して増加させることを具備する請求項３９に記載の方法。
  42. 前記コンテンツ分類は、前記マルチメディアデータの空間的複雑さ、時間的複雑さ又は空間的複雑さと時間的複雑さに基づく請求項３９に記載の方法。
  43. マルチメディアデータを処理するための装置であって、
    前記マルチメディアデータのコンテンツ分類を入手するように構成されたコンテンツ分類器と、
    前記コンテンツ分類に基づいて前記マルチメディアデータ内のブロックをイントラコーディングされたブロック又はインターコーディングされたブロックとして符号化して前記符号化されたマルチメディアデータの前記誤り耐性を向上させるように構成された符号器と、を具備する、装置。
  44. 前記符号器は、イントラコーディングされたマクロブロックとして符号化された前記マクロブロック数を前記コンテンツ分類の減少に対応して増加させるようにさらに構成される請求項４３に記載の装置。
  45. 前記コンテンツ分類は、前記マルチメディアデータの空間的複雑さ、時間的複雑さ又は空間的複雑さと時間的複雑さに基づく請求項４３に記載の装置。
  46. プロセッサであって、
    前記マルチメディアデータのコンテンツ分類を入手し、
    前記コンテンツ分類に基づいて前記マルチメディアデータ内のブロックをイントラコーディングされたブロック又はインターコーディングされたブロックとして符号化して前記符号化されたマルチメディアデータの前記誤り耐性を向上させるように構成される、プロセッサ。
  47. 前記符号化構成は、イントラコーディングされたマクロブロックとして符号化された前記マクロブロック数を前記コンテンツ分類の減少に対応して増加させることを具備する請求項４６に記載のプロセッサ。
  48. 前記コンテンツ分類は、前記マルチメディアデータの空間的複雑さ、時間的複雑さ又は空間的複雑さと時間的複雑さに基づく請求項４６に記載のプロセッサ。
  49. マルチメディアデータを処理するための装置であって、
    前記マルチメディアデータのコンテンツ分類を入手するための手段と、
    前記コンテンツ分類に基づいて前記マルチメディアデータ内のブロックをイントラコーディングされたブロック又はインターコーディングされたブロックとして符号化して前記符号化されたマルチメディアデータの前記誤り耐性を向上させるための手段と、を具備する、装置。
  50. 前記符号化する手段は、イントラコーディングされたマクロブロックとして符号化された前記マクロブロック数を前記コンテンツ分類の減少に対応して増加させることを具備する請求項４９に記載の装置。
  51. 前記コンテンツ分類手段は、前記マルチメディアデータの空間的複雑さ、時間的複雑さ又は空間的複雑さと時間的複雑さに基づく請求項４９記載の装置。
  52. 機械によって読み取り可能な媒体であって、
    実行時に前記マルチメディアデータのコンテンツ分類を機械に入手させる命令と、
    前記コンテンツ分類に基づいて前記マルチメディアデータ内のブロックをイントラコーディングされたブロック又はインターコーディングされたブロックとして機械に符号化させて前記符号化されたマルチメディアデータの前記誤り耐性を向上させる命令と、を具備する、機械によって読み取り可能な媒体。
  53. 符号化する前記命令は、イントラコーディングされたマクロブロックとして符号化された前記マクロブロック数を前記コンテンツ分類の減少に対応して増加させる命令を具備する請求項５２に記載の機械によって読み取り可能な媒体。
  54. 前記コンテンツ分類は、前記マルチメディアデータの空間的複雑さ、時間的複雑さ又は空間的複雑さと時間的複雑さに基づく請求項５２に記載の装置。
JP2008533640A 2005-09-27 2006-09-27 時間領域境界とのデータアライメントに関する方法及び装置 Withdrawn JP2009510937A (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US72141605P 2005-09-27 2005-09-27
US72764305P 2005-10-17 2005-10-17
US72764005P 2005-10-17 2005-10-17
US72764405P 2005-10-17 2005-10-17
US73014505P 2005-10-24 2005-10-24
US78904806P 2006-04-03 2006-04-03
US78937706P 2006-04-04 2006-04-04
PCT/US2006/037994 WO2007038725A2 (en) 2005-09-27 2006-09-27 Methods and device for data alignment with time domain boundary

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2012028724A Division JP5677992B2 (ja) 2005-09-27 2012-02-13 時間領域境界とのデータアライメントに関する方法及び装置
JP2012028725A Division JP5562989B2 (ja) 2005-09-27 2012-02-13 時間領域境界とのデータアライメントに関する方法及び装置

Publications (1)

Publication Number Publication Date
JP2009510937A true JP2009510937A (ja) 2009-03-12

Family

ID=37719458

Family Applications (9)

Application Number Title Priority Date Filing Date
JP2008533622A Expired - Fee Related JP5289959B2 (ja) 2005-09-27 2006-09-27 コンテンツ情報に基づくスケーラビリティ技術
JP2008533640A Withdrawn JP2009510937A (ja) 2005-09-27 2006-09-27 時間領域境界とのデータアライメントに関する方法及び装置
JP2008533623A Active JP5149188B2 (ja) 2005-09-27 2006-09-27 コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ
JP2008533639A Expired - Fee Related JP5139303B2 (ja) 2005-09-27 2006-09-27 冗長データ符号化方法及びデバイス
JP2012028725A Expired - Fee Related JP5562989B2 (ja) 2005-09-27 2012-02-13 時間領域境界とのデータアライメントに関する方法及び装置
JP2012028724A Active JP5677992B2 (ja) 2005-09-27 2012-02-13 時間領域境界とのデータアライメントに関する方法及び装置
JP2012113427A Pending JP2012199961A (ja) 2005-09-27 2012-05-17 コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ
JP2013034669A Pending JP2013157994A (ja) 2005-09-27 2013-02-25 コンテンツ情報に基づくスケーラビリティ技術
JP2013128473A Pending JP2013232935A (ja) 2005-09-27 2013-06-19 時間領域境界とのデータアライメントに関する方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2008533622A Expired - Fee Related JP5289959B2 (ja) 2005-09-27 2006-09-27 コンテンツ情報に基づくスケーラビリティ技術

Family Applications After (7)

Application Number Title Priority Date Filing Date
JP2008533623A Active JP5149188B2 (ja) 2005-09-27 2006-09-27 コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ
JP2008533639A Expired - Fee Related JP5139303B2 (ja) 2005-09-27 2006-09-27 冗長データ符号化方法及びデバイス
JP2012028725A Expired - Fee Related JP5562989B2 (ja) 2005-09-27 2012-02-13 時間領域境界とのデータアライメントに関する方法及び装置
JP2012028724A Active JP5677992B2 (ja) 2005-09-27 2012-02-13 時間領域境界とのデータアライメントに関する方法及び装置
JP2012113427A Pending JP2012199961A (ja) 2005-09-27 2012-05-17 コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ
JP2013034669A Pending JP2013157994A (ja) 2005-09-27 2013-02-25 コンテンツ情報に基づくスケーラビリティ技術
JP2013128473A Pending JP2013232935A (ja) 2005-09-27 2013-06-19 時間領域境界とのデータアライメントに関する方法及び装置

Country Status (14)

Country Link
US (6) US8879635B2 (ja)
EP (9) EP2302932A1 (ja)
JP (9) JP5289959B2 (ja)
KR (7) KR100989534B1 (ja)
CN (2) CN101982977B (ja)
AR (3) AR055665A1 (ja)
AT (1) ATE524926T1 (ja)
AU (1) AU2006294509B2 (ja)
BR (1) BRPI0616426A2 (ja)
CA (2) CA2805916A1 (ja)
IL (1) IL190457A0 (ja)
NO (1) NO20081605L (ja)
TW (4) TWI376952B (ja)
WO (4) WO2007038724A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374246B2 (en) 2004-07-20 2013-02-12 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US8634463B2 (en) 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8948262B2 (en) 2004-07-01 2015-02-03 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
JP2017507533A (ja) * 2013-12-30 2017-03-16 グーグル インコーポレイテッド 分散トランスコーディングのためのコンテンツ適応的なチャンキング
JP7502568B2 (ja) 2021-03-19 2024-06-18 杭州海康威視数字技術股▲フン▼有限公司 適応型イントラリフレッシュメカニズムに基づく復号化、符号化

Families Citing this family (452)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) * 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7425545B2 (en) 2001-07-25 2008-09-16 Isis Pharmaceuticals, Inc. Modulation of C-reactive protein expression
DE10218812A1 (de) * 2002-04-26 2003-11-20 Siemens Ag Generische Datenstrombeschreibung
US9240810B2 (en) * 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
WO2004034589A2 (en) 2002-10-05 2004-04-22 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
US8179954B2 (en) 2007-10-30 2012-05-15 Sony Corporation Odd interleaving only of an odd-even interleaver when half or less data subcarriers are active in a digital video broadcasting (DVB) standard
JP4414904B2 (ja) * 2004-04-16 2010-02-17 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
KR101161193B1 (ko) * 2004-05-07 2012-07-02 디지털 파운튼, 인크. 파일 다운로드 및 스트리밍 시스템
US7801383B2 (en) * 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
CN100534196C (zh) * 2004-05-25 2009-08-26 Nxp股份有限公司 用于编码数字视频数据的方法和设备
US7512182B2 (en) * 2004-08-30 2009-03-31 General Instrument Corporation Method and apparatus for performing motion compensated temporal filtering in video encoding
US7271749B2 (en) * 2004-09-14 2007-09-18 Hewlett-Packard Development Company, L.P. Context-based denoiser that simultaneously updates probabilities for multiple contexts
US8868555B2 (en) * 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US8780957B2 (en) * 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
CN101171843B (zh) * 2005-03-10 2010-10-13 高通股份有限公司 用于多媒体处理的内容分类
EP1884028A2 (en) * 2005-05-11 2008-02-06 QUALCOMM Incorporated A method and apparatus for unified error concealment framework
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
US8879635B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
KR20070038396A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US8948260B2 (en) * 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US20070206117A1 (en) * 2005-10-17 2007-09-06 Qualcomm Incorporated Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video
US20070171280A1 (en) * 2005-10-24 2007-07-26 Qualcomm Incorporated Inverse telecine algorithm based on state machine
US7734053B2 (en) * 2005-12-06 2010-06-08 Fujitsu Limited Encoding apparatus, encoding method, and computer product
JP2007174196A (ja) * 2005-12-21 2007-07-05 Toshiba Corp 情報処理装置、制御方法およびプログラム
US7693219B2 (en) * 2006-01-04 2010-04-06 Freescale Semiconductor, Inc. System and method for fast motion estimation
US7965774B2 (en) * 2006-01-06 2011-06-21 International Business Machines Corporation Method for visual signal extrapolation or interpolation
US9270414B2 (en) * 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
FR2898757A1 (fr) * 2006-03-14 2007-09-21 Canon Kk Procede et dispositif d'adaptation d'une frequence temporelle d'une sequence d'images video
US9131164B2 (en) * 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
US8503536B2 (en) * 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US20070237237A1 (en) * 2006-04-07 2007-10-11 Microsoft Corporation Gradient slope detection for video compression
US7974340B2 (en) * 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US8130828B2 (en) * 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US8548063B2 (en) * 2006-04-13 2013-10-01 Broadcom Corporation Video receiver providing video attributes with video data
US8711925B2 (en) * 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9178535B2 (en) * 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9386064B2 (en) * 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US20100211690A1 (en) * 2009-02-13 2010-08-19 Digital Fountain, Inc. Block partitioning for a data stream
US7659897B1 (en) * 2006-06-30 2010-02-09 Nvidia Corporation System, method, and computer program product for video benchmarking
KR100841317B1 (ko) * 2006-07-14 2008-06-26 엘지전자 주식회사 텔레비젼의 시스템 구동과 관련된 소프트웨어를 송수신하는 방법 및 그 장치
KR20080008137A (ko) * 2006-07-19 2008-01-23 삼성전자주식회사 영상 복원 장치 및 방법
KR20080032947A (ko) * 2006-10-12 2008-04-16 삼성전자주식회사 디지털 방송 데이터 처리 방법 및 장치
US9872045B2 (en) * 2006-10-16 2018-01-16 Conversant Wireless Licensing S.A R.L. Method, electronic device, system, computer program product and circuit assembly for reducing error in video coding
WO2008050220A1 (en) * 2006-10-25 2008-05-02 Nokia Corporation Layered coded streaming control for unicast/mbms interaction
US20080107108A1 (en) * 2006-11-03 2008-05-08 Nokia Corporation System and method for enabling fast switching between psse channels
US20080144505A1 (en) * 2006-11-03 2008-06-19 Michael Anthony Isnardi Method and Apparatus for Bitrate Reduction
US8873932B2 (en) 2007-12-11 2014-10-28 Cisco Technology, Inc. Inferential processing to ascertain plural levels of picture interdependencies
US8155207B2 (en) 2008-01-09 2012-04-10 Cisco Technology, Inc. Processing and managing pictures at the concatenation of two video streams
US20090100482A1 (en) * 2007-10-16 2009-04-16 Rodriguez Arturo A Conveyance of Concatenation Properties and Picture Orderness in a Video Stream
US8875199B2 (en) * 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US20080115175A1 (en) * 2006-11-13 2008-05-15 Rodriguez Arturo A System and method for signaling characteristics of pictures' interdependencies
US9445128B2 (en) 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
US9961372B2 (en) * 2006-12-08 2018-05-01 Nxp Usa, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information
US9124650B2 (en) * 2006-12-13 2015-09-01 Quickplay Media Inc. Digital rights management in a mobile environment
CA2672735A1 (en) 2006-12-13 2008-06-19 Quickplay Media Inc. Mobile media platform
US9571902B2 (en) 2006-12-13 2017-02-14 Quickplay Media Inc. Time synchronizing of distinct video and data feeds that are delivered in a single mobile IP data network compatible stream
US8892761B1 (en) 2008-04-04 2014-11-18 Quickplay Media Inc. Progressive download playback
US8184943B2 (en) 2007-01-08 2012-05-22 Apple Inc. Transport controls for a media device
US8243638B2 (en) * 2007-01-08 2012-08-14 Hellosoft, Inc. Passive listening in wireless communication
US9760146B2 (en) * 2007-01-08 2017-09-12 Imagination Technologies Limited Conditional activation and deactivation of a microprocessor
US8238278B2 (en) 2007-01-08 2012-08-07 Hellosoft, Inc. Hardware-based beacon processing
US7792141B2 (en) * 2007-01-08 2010-09-07 Hellosoft, Inc. Hardware-centric medium access control (MAC) device
US20080174662A1 (en) * 2007-01-23 2008-07-24 Won-Gue Choi System and method for digital type wireless monitoring
US20080181298A1 (en) * 2007-01-26 2008-07-31 Apple Computer, Inc. Hybrid scalable coding
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8553757B2 (en) * 2007-02-14 2013-10-08 Microsoft Corporation Forward error correction for media transmission
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
US8767834B2 (en) * 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8774283B2 (en) * 2007-03-30 2014-07-08 Sony Corporation Information processing device and method
US8566695B2 (en) * 2007-03-30 2013-10-22 Sandisk Technologies Inc. Controlling access to digital content
US8243797B2 (en) * 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8582647B2 (en) 2007-04-23 2013-11-12 Qualcomm Incorporated Methods and systems for quality controlled encoding
WO2008137432A2 (en) * 2007-05-01 2008-11-13 Dyyno Sharing of information and formatting information for transmission over a communication network
CN101690200B (zh) * 2007-05-04 2012-06-20 韩国电子通信研究院 用于在数字多媒体广播系统中提供高质量多媒体服务的方法和设备
US8396082B2 (en) * 2007-06-05 2013-03-12 Core Wireless Licensing S.A.R.L. Time-interleaved simulcast for tune-in reduction
US8331438B2 (en) * 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
JP2009010586A (ja) * 2007-06-27 2009-01-15 Fujitsu Microelectronics Ltd トランスコーダおよびトランスコード方法
US9426522B2 (en) * 2007-07-10 2016-08-23 Qualcomm Incorporated Early rendering for fast channel switching
US8958486B2 (en) * 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8804845B2 (en) * 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
ATE496490T1 (de) * 2007-08-09 2011-02-15 Inlet Technologies Bewahrung von untertiteln durch videotranskodierung
JP2009055416A (ja) * 2007-08-28 2009-03-12 Nec Corp 映像再符号化方法、映像再符号化装置及び映像再符号化プログラム
US8023562B2 (en) * 2007-09-07 2011-09-20 Vanguard Software Solutions, Inc. Real-time video coding/decoding
US9237101B2 (en) * 2007-09-12 2016-01-12 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
HUE037450T2 (hu) * 2007-09-28 2018-09-28 Dolby Laboratories Licensing Corp Videó információ kezelése
EP2198376B1 (en) 2007-10-05 2016-01-27 Dolby Laboratories Licensing Corp. Media fingerprints that reliably correspond to media content
KR100939435B1 (ko) * 2007-10-29 2010-01-28 에스케이 텔레콤주식회사 영상 분석 장치 및 방법
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
JP5269088B2 (ja) * 2007-11-16 2013-08-21 トムソン ライセンシング ビデオをエンコードするシステムおよび方法
KR20090050994A (ko) 2007-11-16 2009-05-20 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
WO2009071115A1 (en) * 2007-12-03 2009-06-11 Nokia Corporation A packet generator
US8218086B2 (en) * 2007-12-11 2012-07-10 Ericsson Television Inc. Flash detection
FR2925819A1 (fr) * 2007-12-21 2009-06-26 Thomson Licensing Sas Procede de codage double passe par macrobloc
US8594191B2 (en) * 2008-01-03 2013-11-26 Broadcom Corporation Video processing system and transcoder for use with layered video coding and methods for use therewith
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8174621B2 (en) * 2008-01-12 2012-05-08 Huaya Microelectronics Digital video decoder architecture
TWI357263B (en) 2008-02-22 2012-01-21 Novatek Microelectronics Corp Method and related device for converting transport
US8045810B2 (en) 2008-02-28 2011-10-25 Research In Motion Limited Method and system for decoding encoded images and reducing the size of said images
KR101656091B1 (ko) * 2008-03-10 2016-09-08 톰슨 라이센싱 효율성과 주관적 품질의 개선을 지원하는 예측 프레임 선택을 위한 방법 및 장치
US8276182B2 (en) * 2008-03-13 2012-09-25 Microsoft Corporation Television content from multiple sources
EP2107811A1 (en) * 2008-03-31 2009-10-07 British Telecmmunications public limited campany Encoder
US8189933B2 (en) * 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
FR2929736A1 (fr) * 2008-04-02 2009-10-09 Thomson Licensing Sas Procede de detection de changement de scene dans une sequence d'images video.
US20090262838A1 (en) * 2008-04-21 2009-10-22 Qualcomm Incorporated Method and apparatus for encoding transmission data blocks for enhanced switching performance
US8249142B2 (en) * 2008-04-24 2012-08-21 Motorola Mobility Llc Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques
US8325800B2 (en) 2008-05-07 2012-12-04 Microsoft Corporation Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers
US8379851B2 (en) 2008-05-12 2013-02-19 Microsoft Corporation Optimized client side rate control and indexed file layout for streaming media
US8179983B2 (en) * 2008-05-20 2012-05-15 Broadcom Corporation Video processing system with layered video coding for fast channel change and methods for use therewith
US8370887B2 (en) 2008-05-30 2013-02-05 Microsoft Corporation Media streaming with enhanced seek operation
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
WO2009152450A1 (en) 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8705631B2 (en) * 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
DE102008029102A1 (de) * 2008-06-20 2009-12-24 Micronas Gmbh Audio- und/oder Video-Datenverarbeitungsvorrichtung, Kommunikations- oder Datennetz zum Umkodieren von Audio- und/oder Video-Daten bzw. Verfahren zum Dekodieren von Audio- und/oder Video-Daten
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
US20090317062A1 (en) * 2008-06-24 2009-12-24 Samsung Electronics Co., Ltd. Image processing method and apparatus
US20090315981A1 (en) * 2008-06-24 2009-12-24 Samsung Electronics Co., Ltd. Image processing method and apparatus
US20090315980A1 (en) * 2008-06-24 2009-12-24 Samsung Electronics Co., Image processing method and apparatus
EP2297964A4 (en) * 2008-06-25 2017-01-18 Cisco Technology, Inc. Support for blocking trick mode operations
US8724705B2 (en) * 2008-06-26 2014-05-13 Telefonaktiebolaget Lm Ericsson (Publ) Detecting repetition in digital video
JP4996554B2 (ja) * 2008-06-30 2012-08-08 株式会社東芝 画像高画質化装置、方法およびプログラム
TWI425440B (zh) * 2008-07-03 2014-02-01 Nvidia Corp 複合多重樣本/超樣本抗頻疊
JP4986243B2 (ja) * 2008-07-04 2012-07-25 Ｋｄｄｉ株式会社 メディアストリームの階層数を制御する送信装置、方法及びプログラム
US20100232521A1 (en) * 2008-07-10 2010-09-16 Pierre Hagendorf Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding
US8108361B2 (en) 2008-07-31 2012-01-31 Microsoft Corporation Efficient column based data encoding for large-scale data storage
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
WO2010025458A1 (en) * 2008-08-31 2010-03-04 Mitsubishi Digital Electronics America, Inc. Transforming 3d video content to match viewer position
US8509315B1 (en) * 2008-09-23 2013-08-13 Viasat, Inc. Maintaining synchronization of compressed data and associated metadata
US8913668B2 (en) * 2008-09-29 2014-12-16 Microsoft Corporation Perceptual mechanism for the selection of residues in video coders
US8457194B2 (en) * 2008-09-29 2013-06-04 Microsoft Corporation Processing real-time video
JP5201408B2 (ja) * 2008-09-30 2013-06-05 ソニー株式会社 フレーム周波数変換装置、フレーム周波数変換方法、その方法を実行するためのプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びに動きベクトル検出装置及び予測係数生成装置
US8265140B2 (en) * 2008-09-30 2012-09-11 Microsoft Corporation Fine-grained client-side control of scalable media delivery
WO2010038212A2 (en) * 2008-10-01 2010-04-08 Nxp B.V. Embedded video compression for hybrid contents
KR20100046584A (ko) * 2008-10-27 2010-05-07 삼성전자주식회사 영상 디코딩 방법, 영상 출력 방법, 영상 처리 방법 및 그 장치
US9407925B2 (en) * 2008-10-30 2016-08-02 Vixs Systems, Inc. Video transcoding system with quality readjustment based on high scene cost detection and method for use therewith
US8787447B2 (en) * 2008-10-30 2014-07-22 Vixs Systems, Inc Video transcoding system with drastic scene change detection and method for use therewith
KR101279573B1 (ko) 2008-10-31 2013-06-27 에스케이텔레콤 주식회사 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
DK2347599T3 (en) * 2008-11-04 2015-05-11 Ericsson Telefon Ab L M METHOD AND SYSTEM FOR DETERMINING A QUALITY VALUE OF A VIDEO FLOW
CN102210147B (zh) * 2008-11-12 2014-07-02 思科技术公司 处理具有[aar]单个视频信号的多个处理后的表示的视频[aar]节目以用于重建和输出
US8374462B2 (en) * 2008-11-14 2013-02-12 Seiko Epson Corporation Content-aware image and video resizing by anchor point sampling and mapping
US20100128181A1 (en) * 2008-11-25 2010-05-27 Advanced Micro Devices, Inc. Seam Based Scaling of Video Content
JP5277257B2 (ja) * 2008-12-03 2013-08-28 株式会社日立製作所 動画像復号化方法および動画像符号化方法
US8051223B1 (en) * 2008-12-09 2011-11-01 Calos Fund Limited Liability Company System and method for managing memory using multi-state buffer representations
US8542732B1 (en) 2008-12-23 2013-09-24 Elemental Technologies, Inc. Video encoder using GPU
US20100161779A1 (en) * 2008-12-24 2010-06-24 Verizon Services Organization Inc System and method for providing quality-referenced multimedia
TW201026065A (en) * 2008-12-26 2010-07-01 Ind Tech Res Inst Method for packing bitstream of scalable video coding
US8903191B2 (en) * 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
KR20100084115A (ko) * 2009-01-15 2010-07-23 한국전자통신연구원 방송 서비스 제공 방법 및 장치
CN104780385B (zh) 2009-01-29 2018-01-16 杜比实验室特许公司 视频装置、用于将多视图帧的序列编码为比特流的装置
KR101675555B1 (ko) * 2009-01-30 2016-11-11 톰슨 라이센싱 깊이 맵의 코딩
KR20100094709A (ko) * 2009-02-19 2010-08-27 (주)휴맥스 부호화/복호화 방법 및 장치
US20100218232A1 (en) * 2009-02-25 2010-08-26 Cisco Technology, Inc. Signalling of auxiliary information that assists processing of video according to various formats
US20100254453A1 (en) * 2009-04-02 2010-10-07 Qualcomm Incorporated Inverse telecine techniques
US8687685B2 (en) 2009-04-14 2014-04-01 Qualcomm Incorporated Efficient transcoding of B-frames to P-frames
CN105791861B (zh) 2009-04-20 2018-12-04 杜比实验室特许公司 定向内插和数据后处理
US8346984B2 (en) * 2009-05-05 2013-01-01 Jeffrey Huang Apparatus and method for intelligent analysis of device compatibility and adaptive processing of multimedia data
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US20100309987A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Image acquisition and encoding system
US8345070B2 (en) * 2009-06-10 2013-01-01 Himax Media Solutions, Inc. Apparatus and method for frame rate up conversion
TWI400942B (zh) * 2009-06-17 2013-07-01 Himax Media Solutions Inc 畫面速率轉換之裝置及方法
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
US8942215B2 (en) 2010-07-15 2015-01-27 Dejero Labs Inc. System and method for transmission of data from a wireless mobile device over a multipath wireless router
US9756468B2 (en) 2009-07-08 2017-09-05 Dejero Labs Inc. System and method for providing data services on vehicles
US10165286B2 (en) 2009-07-08 2018-12-25 Dejero Labs Inc. System and method for automatic encoder adjustment based on transport data
KR20110017719A (ko) 2009-08-14 2011-02-22 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
TWI392373B (zh) * 2009-09-04 2013-04-01 Nat Univ Chung Cheng The Method of Reverse Conversion and Sub - sampling of Low Computational Complexity
CN102025892A (zh) * 2009-09-16 2011-04-20 索尼株式会社 镜头转换检测方法及装置
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
KR101418101B1 (ko) 2009-09-23 2014-07-16 에스케이 텔레콤주식회사 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
US8340191B2 (en) * 2009-09-25 2012-12-25 General Instrument Corporation Transcoder from first MPEG stream to second MPEG stream
JP2011109469A (ja) * 2009-11-18 2011-06-02 Canon Inc コンテンツ受信装置及びコンテンツ受信装置の制御方法
WO2011065230A1 (en) 2009-11-30 2011-06-03 Semiconductor Energy Laboratory Co., Ltd. Liquid crystal display device, method for driving the same, and electronic device including the same
TW201121335A (en) * 2009-12-02 2011-06-16 Sunplus Core Technology Co Ltd Method and apparatus for adaptively determining compression modes to compress frames
KR101902933B1 (ko) * 2009-12-16 2018-10-01 한국전자통신연구원 영상 부호화/복호화 장치 및 방법
US8638851B2 (en) * 2009-12-23 2014-01-28 Apple Inc. Joint bandwidth detection algorithm for real-time communication
US8526488B2 (en) 2010-02-09 2013-09-03 Vanguard Software Solutions, Inc. Video sequence encoding system and algorithms
WO2011099254A1 (ja) 2010-02-15 2011-08-18 パナソニック株式会社 データ処理装置及びデータ符号化装置
CN102783167B (zh) 2010-03-05 2015-10-14 三星电子株式会社 基于文件格式生成和再现自适应流的方法和装置
JP2011199414A (ja) * 2010-03-17 2011-10-06 Toshiba Corp 素材収録装置及び素材収録方法
TW201134223A (en) * 2010-03-29 2011-10-01 Univ Nat Taiwan Perceptual video encoding system and circuit thereof
JP5553663B2 (ja) * 2010-03-31 2014-07-16 日立コンシューマエレクトロニクス株式会社 映像送信装置、映像受信装置、映像伝送システム
WO2011120221A1 (en) * 2010-03-31 2011-10-06 Intel Corporation Power efficient motion estimation techniques for video encoding
KR101584480B1 (ko) 2010-04-13 2016-01-14 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
ES2549734T3 (es) 2010-04-13 2015-11-02 Ge Video Compression, Llc Codificación de vídeo que usa subdivisiones multi-árbol de imágenes
CN106454371B (zh) 2010-04-13 2020-03-20 Ge视频压缩有限责任公司 解码器、数组重建方法、编码器、编码方法及存储介质
KR102166520B1 (ko) 2010-04-13 2020-10-16 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
US20110255596A1 (en) * 2010-04-15 2011-10-20 Himax Technologies Limited Frame rate up conversion system and method
US20110255594A1 (en) * 2010-04-15 2011-10-20 Soyeb Nagori Rate Control in Video Coding
WO2011138900A1 (ja) 2010-05-06 2011-11-10 日本電信電話株式会社 映像符号化制御方法および装置
TWI428024B (zh) * 2010-05-06 2014-02-21 Himax Media Solutions Inc 提升圖框速率的系統與方法
BR112012028184A2 (pt) * 2010-05-07 2016-08-02 Nippon Telegraph & Telephone método de controle de codificação de vídeo, aparelho de codificação de vídeo e programa de codificação de vídeo
CA2798354C (en) 2010-05-12 2016-01-26 Nippon Telegraph And Telephone Corporation A video encoding bit rate control technique using a quantization statistic threshold to determine whether re-encoding of an encoding-order picture group is required
US9225961B2 (en) 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
US9693110B2 (en) 2010-06-03 2017-06-27 Cox Communications, Inc Dynamic content stream management
JP5625512B2 (ja) * 2010-06-09 2014-11-19 ソニー株式会社 符号化装置、符号化方法、プログラム、および記録媒体
EP2395505A1 (en) * 2010-06-11 2011-12-14 Thomson Licensing Method and apparatus for searching in a layered hierarchical bit stream followed by replay, said bit stream including a base layer and at least one enhancement layer
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US8755432B2 (en) 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
US8917774B2 (en) * 2010-06-30 2014-12-23 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion
US9591374B2 (en) 2010-06-30 2017-03-07 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies
US8930562B2 (en) 2010-07-20 2015-01-06 Qualcomm Incorporated Arranging sub-track fragments for streaming video data
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9357229B2 (en) 2010-07-28 2016-05-31 Qualcomm Incorporated Coding motion vectors in video coding
US9456015B2 (en) 2010-08-10 2016-09-27 Qualcomm Incorporated Representation groups for network streaming of coded multimedia data
US8533166B1 (en) * 2010-08-20 2013-09-10 Brevity Ventures LLC Methods and systems for encoding/decoding files and transmission thereof
US20120057629A1 (en) * 2010-09-02 2012-03-08 Fang Shi Rho-domain Metrics
RU2010144450A (ru) * 2010-10-29 2012-05-10 ЭлЭсАй Корпорейшн (US) Оценка движения для видео транскодера
US9432678B2 (en) * 2010-10-30 2016-08-30 Hewlett-Packard Development Company, L.P. Adapting a video stream
US9066102B2 (en) 2010-11-17 2015-06-23 Qualcomm Incorporated Reference picture list construction for generalized P/B frames in video coding
US9547911B2 (en) 2010-12-14 2017-01-17 The United States Of America, As Represented By The Secretary Of The Navy Velocity estimation from imagery using symmetric displaced frame difference equation
US8891831B2 (en) * 2010-12-14 2014-11-18 The United States Of America, As Represented By The Secretary Of The Navy Method and apparatus for conservative motion estimation from multi-image sequences
US9832540B2 (en) 2010-12-15 2017-11-28 Hulu, LLC Method and apparatus for hybrid transcoding of a media program
US8842723B2 (en) * 2011-01-03 2014-09-23 Apple Inc. Video coding system using implied reference frames
GB2487200A (en) 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
US9307262B2 (en) * 2011-01-13 2016-04-05 Texas Instruments Incorporated Methods and systems for facilitating multimedia data encoding utilizing configured buffer information
CN107071448B (zh) * 2011-01-14 2020-04-28 太阳专利托管公司 图像编码解码装置
KR102013461B1 (ko) * 2011-01-21 2019-08-22 인터디지탈 매디슨 페이튼트 홀딩스 콘텐츠 프로파일링을 사용한 강화된 원격 트랜스코딩을 위한 시스템 및 방법
US8548057B2 (en) 2011-01-25 2013-10-01 Microsoft Corporation Video coding redundancy reduction
MX2013008757A (es) * 2011-01-28 2014-02-28 Eye Io Llc Control de velocidad de bits adaptativa basado en escenas.
US10165274B2 (en) * 2011-01-28 2018-12-25 Eye IO, LLC Encoding of video stream based on scene type
JP2014511138A (ja) * 2011-01-28 2014-05-08 アイ アイオー，リミテッド・ライアビリティ・カンパニー シーンタイプに基づくビデオストリームのエンコーディング
US8838680B1 (en) 2011-02-08 2014-09-16 Google Inc. Buffer objects for web-based configurable pipeline media processing
KR20140119200A (ko) * 2011-02-11 2014-10-08 인터디지탈 패튼 홀딩스, 인크 콘텐츠 배포 및 수신 방법 및 장치
US9866877B2 (en) * 2011-03-08 2018-01-09 Cox Communications, Inc. Transparent scalable video coding
GB2488830B (en) * 2011-03-10 2015-07-29 Canon Kk Method and device for encoding image data and method and device for decoding image data
US8644383B2 (en) * 2011-03-10 2014-02-04 Microsoft Corporation Mean absolute difference prediction for video encoding rate control
GB2488829A (en) * 2011-03-10 2012-09-12 Canon Kk Encoding and decoding image data
US8510326B2 (en) 2011-04-11 2013-08-13 Google Inc. Priority dimensional data conversion path reporting
US8620933B2 (en) 2011-04-11 2013-12-31 Google Inc. Illustrating cross channel conversion paths
US20120260185A1 (en) * 2011-04-11 2012-10-11 Google Inc. Path length selector
KR101894420B1 (ko) * 2011-04-15 2018-09-03 에스케이플래닛 주식회사 적응적 비디오 트랜스코딩 방법 및 시스템
US8681866B1 (en) 2011-04-28 2014-03-25 Google Inc. Method and apparatus for encoding video by downsampling frame resolution
US20120281748A1 (en) * 2011-05-02 2012-11-08 Futurewei Technologies, Inc. Rate Control for Cloud Transcoding
US9106787B1 (en) 2011-05-09 2015-08-11 Google Inc. Apparatus and method for media transmission bandwidth control using bandwidth estimation
PL3879831T3 (pl) 2011-05-31 2024-07-29 Jvckenwood Corporation Urządzenie do kodowania ruchomego obrazu wizyjnego, sposób kodowania ruchomego obrazu wizyjnego i program do kodowania ruchomego obrazu wizyjnego, a także urządzenie do dekodowania ruchomego obrazu wizyjnego, sposób dekodowania ruchomego obrazu wizyjnego i program do dekodowania ruchomego obrazu wizyjnego
GB2491589B (en) 2011-06-06 2015-12-16 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of image
KR20120138319A (ko) * 2011-06-14 2012-12-26 삼성전자주식회사 멀티미디어 데이터 특징 정보를 이용하여 멀티미디어 서비스 데이터 패킷을 송신하는 방법 및 장치
EP2723079A4 (en) * 2011-06-15 2015-03-04 Korea Electronics Telecomm MODULABLE VIDEO ENCODING AND DECODING METHOD AND DEVICE APPLYING THE SAME
EP2536143B1 (en) * 2011-06-16 2015-01-14 Axis AB Method and a digital video encoder system for encoding digital video data
MX2013014857A (es) * 2011-06-30 2014-03-26 Ericsson Telefon Ab L M Señalizacion de imagenes de referencia.
US9369723B2 (en) 2011-07-14 2016-06-14 Comcast Cable Communications, Llc Preserving image quality in temporally compressed video streams
US8655907B2 (en) 2011-07-18 2014-02-18 Google Inc. Multi-channel conversion path position reporting
KR20130011994A (ko) * 2011-07-22 2013-01-30 삼성전자주식회사 송신 장치, 수신 장치 및 그 송수신 방법
US8959450B2 (en) 2011-08-22 2015-02-17 Google Inc. Path explorer visualization
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9237356B2 (en) * 2011-09-23 2016-01-12 Qualcomm Incorporated Reference picture list construction for video coding
US9456212B2 (en) * 2011-09-30 2016-09-27 Broadcom Corporation Video coding sub-block sizing based on infrastructure capabilities and current conditions
WO2013048521A1 (en) * 2011-10-01 2013-04-04 Intel Corporation Systems, methods and computer program products for integrated post-processing and pre-processing in video transcoding
US20130083859A1 (en) * 2011-10-04 2013-04-04 General Instrument Corporation Method to match input and output timestamps in a video encoder and advertisement inserter
US9253508B2 (en) 2011-11-04 2016-02-02 Futurewei Technologies, Inc. Differential pulse code modulation intra prediction for high efficiency video coding
US9432704B2 (en) * 2011-11-06 2016-08-30 Akamai Technologies Inc. Segmented parallel encoding with frame-aware, variable-size chunking
JP5871628B2 (ja) 2011-11-07 2016-03-01 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2013102295A (ja) * 2011-11-07 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
US10277915B2 (en) 2011-11-07 2019-04-30 Qualcomm Incorporated Signaling quantization matrices for video coding
KR20130050149A (ko) 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
JP2013102297A (ja) * 2011-11-07 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
WO2013074964A1 (en) 2011-11-16 2013-05-23 Vanguard Software Solutions, Inc. Video compression for high efficiency video coding
US9277230B2 (en) * 2011-11-23 2016-03-01 Qualcomm Incorporated Display mode-based video encoding in wireless display devices
TWI448125B (zh) * 2011-11-25 2014-08-01 Ind Tech Res Inst 多媒體檔案分享方法及系統
US9589540B2 (en) 2011-12-05 2017-03-07 Microsoft Technology Licensing, Llc Adaptive control of display refresh rate based on video frame rate and power efficiency
US9008177B2 (en) 2011-12-12 2015-04-14 Qualcomm Incorporated Selective mirroring of media output
US9497241B2 (en) * 2011-12-23 2016-11-15 Intel Corporation Content adaptive high precision macroblock rate control
PL3917140T3 (pl) 2012-01-19 2023-12-04 Vid Scale, Inc. Sposób i urządzenie do sygnalizacji i tworzenia spisów obrazów odniesienia kodowania wideo
EP2805523B1 (en) * 2012-01-19 2019-03-27 VID SCALE, Inc. Methods and systems for video delivery supporting adaption to viewing conditions
US9538200B2 (en) 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
US20130208809A1 (en) * 2012-02-14 2013-08-15 Microsoft Corporation Multi-layer rate control
US9386267B1 (en) * 2012-02-14 2016-07-05 Arris Enterprises, Inc. Cooperative transcoding to multiple streams
US9241167B2 (en) 2012-02-17 2016-01-19 Microsoft Technology Licensing, Llc Metadata assisted video decoding
KR20130098122A (ko) 2012-02-27 2013-09-04 세종대학교산학협력단 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
WO2013129822A1 (ko) 2012-02-27 2013-09-06 세종대학교산학협력단 영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법
JP6272819B2 (ja) * 2012-03-20 2018-01-31 サムスン エレクトロニクス カンパニー リミテッド スケーラブルビデオ符号化方法、復号化方法、符号化装置及び記録媒体
US9031378B2 (en) * 2012-04-03 2015-05-12 Via Technologies, Inc. Method of managing multiple wireless video traffic and electronic device thereof
WO2013150838A1 (ja) * 2012-04-05 2013-10-10 ソニー株式会社 画像処理装置及び画像処理方法
PL3716621T3 (pl) * 2012-04-12 2022-01-24 Jvckenwood Corporation Urządzenie do kodowania ruchomych obrazów, sposób kodowania ruchomych obrazów, program kodujący ruchome obrazy oraz urządzenie do dekodowania ruchomych obrazów, sposób dekodowania ruchomych obrazów, program dekodujący ruchome obrazy
US9071842B2 (en) * 2012-04-19 2015-06-30 Vixs Systems Inc. Detection of video feature based on variance metric
US20130279882A1 (en) 2012-04-23 2013-10-24 Apple Inc. Coding of Video and Audio with Initialization Fragments
US9042441B2 (en) 2012-04-25 2015-05-26 At&T Intellectual Property I, Lp Apparatus and method for media streaming
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
WO2013164922A1 (ja) * 2012-05-02 2013-11-07 ソニー株式会社 画像処理装置及び画像処理方法
EP2670151A1 (en) * 2012-05-28 2013-12-04 Tektronix Inc. Heuristic method for drop frame detection in digital baseband video
US9532080B2 (en) * 2012-05-31 2016-12-27 Sonic Ip, Inc. Systems and methods for the reuse of encoding information in encoding alternative streams of video data
JP6247286B2 (ja) * 2012-06-12 2017-12-13 コーヒレント・ロジックス・インコーポレーテッド ビデオコンテンツの符号化及び配信のための分散アーキテクチャ
US9749645B2 (en) 2012-06-22 2017-08-29 Microsoft Technology Licensing, Llc Coded-block-flag coding and derivation
US8949240B2 (en) * 2012-07-03 2015-02-03 General Instrument Corporation System for correlating metadata
US9854259B2 (en) 2012-07-09 2017-12-26 Qualcomm Incorporated Smoothing of difference reference picture
US9420289B2 (en) 2012-07-09 2016-08-16 Qualcomm Incorporated Most probable mode order extension for difference domain intra prediction
US9030571B2 (en) * 2012-07-11 2015-05-12 Google Inc. Abstract camera pipeline for uniform cross-device control of image capture and processing
EP2875640B1 (en) * 2012-07-17 2017-11-08 Thomson Licensing Video quality assessment at a bitstream level
US9357195B2 (en) 2012-08-16 2016-05-31 Qualcomm Incorporated Inter-view predicted motion vector for 3D video
SG11201500316PA (en) * 2012-09-28 2015-02-27 Intel Corp Inter-layer intra mode prediction
WO2014049398A1 (en) * 2012-09-28 2014-04-03 Nokia Corporation Apparatus displaying animated image combined with tactile output
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9355613B2 (en) 2012-10-09 2016-05-31 Mediatek Inc. Data processing apparatus for transmitting/receiving compression-related indication information via display interface and related data processing method
CN110545421B (zh) 2012-10-12 2022-11-22 韩国电子通信研究院 图像编码/解码方法和使用其的装置
US9661340B2 (en) * 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
US10708335B2 (en) * 2012-11-16 2020-07-07 Time Warner Cable Enterprises Llc Situation-dependent dynamic bit rate encoding and distribution of content
US9106922B2 (en) 2012-12-19 2015-08-11 Vanguard Software Solutions, Inc. Motion estimation engine for video encoding
TWI669950B (zh) * 2012-12-21 2019-08-21 日商新力股份有限公司 影像處理裝置及方法
TWI478554B (zh) * 2013-01-08 2015-03-21 Altek Semiconductor Corp 影像雜訊消除方法及其產生移動向量資料結構之方法
US9172740B1 (en) 2013-01-15 2015-10-27 Google Inc. Adjustable buffer remote access
CN108924593B (zh) * 2013-01-18 2021-07-06 弗劳恩霍夫应用研究促进协会 前向纠错数据生成器、生成方法，前向纠错解码器、解码方法，以及存储介质
US9311692B1 (en) 2013-01-25 2016-04-12 Google Inc. Scalable buffer remote access
US9225979B1 (en) 2013-01-30 2015-12-29 Google Inc. Remote access encoding
US9357210B2 (en) 2013-02-28 2016-05-31 Sonic Ip, Inc. Systems and methods of encoding multiple video streams for adaptive bitrate streaming
US9350990B2 (en) 2013-02-28 2016-05-24 Sonic Ip, Inc. Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming
US9743097B2 (en) * 2013-03-01 2017-08-22 Qualcomm Incorporated Spatial motion vector scaling for scalable video coding
US9607003B2 (en) * 2013-03-14 2017-03-28 Massachusetts Institute Of Technology Network coded storage with multi-resolution codes
GB2513112B (en) * 2013-04-08 2020-01-08 Snell Advanced Media Ltd Video sequence processing
US9462283B2 (en) * 2013-04-18 2016-10-04 Spotlight Technologies Ltd. Efficient compression of Bayer images
US9436877B2 (en) * 2013-04-19 2016-09-06 Polaris Sensor Technologies, Inc. Pedestrian right of way monitoring and reporting system and method
US9191705B1 (en) * 2013-05-01 2015-11-17 Google Inc. Managing media quality
US9710894B2 (en) * 2013-06-04 2017-07-18 Nvidia Corporation System and method for enhanced multi-sample anti-aliasing
DE102013211571B4 (de) 2013-06-19 2016-02-11 Opticom Dipl.-Ing. Michael Keyhl Gmbh Konzept zur bestimmung der qualität eines mediadatenstroms mit variierender qualität-zu-bitrate
US9578342B2 (en) * 2013-06-24 2017-02-21 Dialogic Corporation Rate control algorithm for scalable video encoding with disposable P-frames
US9501360B2 (en) 2013-07-01 2016-11-22 International Business Machines Corporation Rebuilding data while reading data in a dispersed storage network
US10133635B2 (en) 2013-07-01 2018-11-20 International Business Machines Corporation Low-width vault in distributed storage system
KR101586367B1 (ko) * 2013-08-07 2016-01-18 주식회사 더블유코퍼레이션 단일 소스를 통한 다채널 대체광고 처리 및 스케줄 관리 방법
CN105519115A (zh) 2013-09-10 2016-04-20 株式会社Kt 用于对可扩展视频信号进行编码/解码的方法及装置
WO2015053673A1 (en) * 2013-10-11 2015-04-16 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for video transcoding using mode or motion or in-loop filter information
ITMI20131710A1 (it) 2013-10-15 2015-04-16 Sky Italia S R L "sistema di cloud encoding"
US20150117515A1 (en) * 2013-10-25 2015-04-30 Microsoft Corporation Layered Encoding Using Spatial and Temporal Analysis
US9609338B2 (en) 2013-10-25 2017-03-28 Microsoft Technology Licensing, Llc Layered video encoding and decoding
GB2521352B (en) * 2013-12-16 2015-11-04 Imagination Tech Ltd Encoder configuration
US9967558B1 (en) 2013-12-17 2018-05-08 Google Llc Adaptive motion search control for variable block size partitions in video coding
US10779035B2 (en) * 2014-01-09 2020-09-15 Samsung Electronics Co., Ltd. Method and apparatus of transmitting media data related information in multimedia transmission system
JP6344800B2 (ja) * 2014-01-09 2018-06-20 株式会社日立国際電気 画像処理装置及び動画像伝送方法
US20150215621A1 (en) * 2014-01-30 2015-07-30 Qualcomm Incorporated Rate control using complexity in video coding
CN105981373A (zh) * 2014-02-10 2016-09-28 交互数字专利控股公司 逆电视电影滤波器
WO2015134835A1 (en) * 2014-03-07 2015-09-11 Remote Media, Llc Virtual file system and method with bi-directional media file synchronization
CN106170988A (zh) 2014-03-13 2016-11-30 凡瑞斯公司 使用嵌入式代码的交互式内容获取
US9992500B2 (en) * 2014-03-18 2018-06-05 Intel Corporation Techniques for evaluating compressed motion video quality
KR102249147B1 (ko) * 2014-03-29 2021-05-07 삼성전자주식회사 복합 네트워크에서 멀티미디어 데이터 관련 정보를 송수신하기 위한 장치 및 방법과 그 구조
US10560514B2 (en) * 2014-03-29 2020-02-11 Samsung Electronics Co., Ltd. Apparatus and method for transmitting and receiving information related to multimedia data in a hybrid network and structure thereof
US9414100B2 (en) 2014-03-31 2016-08-09 Arris Enterprises, Inc. Adaptive streaming transcoder synchronization
EP3076674B1 (en) * 2014-05-08 2018-09-05 Huawei Device (Dongguan) Co., Ltd. Video quality detection method and device
US9794313B2 (en) 2014-05-09 2017-10-17 Cisco Technology, Inc. Methods and systems to facilitate synchronization of multiple media streams
US9392272B1 (en) * 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US10664687B2 (en) 2014-06-12 2020-05-26 Microsoft Technology Licensing, Llc Rule-based video importance analysis
US9787986B2 (en) * 2014-06-30 2017-10-10 Intel Corporation Techniques for parallel video transcoding
WO2016002496A1 (ja) * 2014-06-30 2016-01-07 ソニー株式会社 情報処理装置および方法
EP3183883A4 (en) * 2014-08-20 2018-03-28 Verance Corporation Watermark detection using a multiplicity of predicted patterns
JP6497874B2 (ja) * 2014-08-28 2019-04-10 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR102190233B1 (ko) 2014-10-06 2020-12-11 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
DE102014220428A1 (de) * 2014-10-08 2016-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Einstellen von Datenraten in einem Videokamerasystem
US10264269B2 (en) 2014-10-13 2019-04-16 Apple Inc. Metadata hints to support best effort decoding for green MPEG applications
US20160127728A1 (en) * 2014-10-30 2016-05-05 Kabushiki Kaisha Toshiba Video compression apparatus, video playback apparatus and video delivery system
US9311735B1 (en) * 2014-11-21 2016-04-12 Adobe Systems Incorporated Cloud based content aware fill for images
FR3030977B1 (fr) * 2014-12-19 2017-01-27 Sagemcom Broadband Sas Procede d'annonce de services dans un reseau de communication
US11356709B2 (en) * 2015-01-05 2022-06-07 Arris Enterprises Llc Using motion compensated temporal filter (MCTF) statistics for scene change detection when a fade, dissolve or cut occurs
US9749646B2 (en) 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
KR102553320B1 (ko) * 2015-03-05 2023-07-10 한국전자통신연구원 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법
WO2016140445A1 (ko) * 2015-03-05 2016-09-09 한국전자통신연구원 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법
KR102553316B1 (ko) 2015-03-06 2023-07-10 한국전자통신연구원 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법
KR101754527B1 (ko) * 2015-03-09 2017-07-06 한국항공우주연구원 패킷 부호화 장치 및 방법
US10356428B2 (en) 2015-04-13 2019-07-16 Qualcomm Incorporated Quantization parameter (QP) update classification for display stream compression (DSC)
US10284849B2 (en) 2015-04-13 2019-05-07 Qualcomm Incorporated Quantization parameter (QP) calculation for display stream compression (DSC) based on complexity measure
US10244255B2 (en) 2015-04-13 2019-03-26 Qualcomm Incorporated Rate-constrained fallback mode for display stream compression
US9936203B2 (en) * 2015-04-13 2018-04-03 Qualcomm Incorporated Complex region detection for display stream compression
KR102553322B1 (ko) * 2015-04-20 2023-07-10 한국전자통신연구원 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법
US10735773B2 (en) * 2015-06-04 2020-08-04 Apple Inc. Video coding techniques for high quality coding of low motion content
WO2016209132A1 (en) * 2015-06-25 2016-12-29 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for encoding an input video stream into a compressed output video stream with parallel encoding
US9955191B2 (en) 2015-07-01 2018-04-24 At&T Intellectual Property I, L.P. Method and apparatus for managing bandwidth in providing communication services
US10133934B2 (en) * 2015-09-30 2018-11-20 Apple Inc. Systems and methods for post processing time-lapse videos
KR101780444B1 (ko) * 2015-10-29 2017-09-21 삼성에스디에스 주식회사 영상 신호의 노이즈 제거 방법
CN105306934A (zh) * 2015-11-10 2016-02-03 深圳市云宙多媒体技术有限公司 一种低复杂度片源的编码方法及系统
RU2610686C1 (ru) * 2015-11-17 2017-02-14 федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный университет имени С.А. Есенина" Способ адаптивной передачи информации по каналу связи в реальном времени и система для его осуществления
GB2544800A (en) * 2015-11-27 2017-05-31 V-Nova Ltd Adaptive bit rate ratio control
CN105898531A (zh) * 2015-12-07 2016-08-24 乐视云计算有限公司 视频缓存文件的封装方法和系统
US10136134B2 (en) * 2015-12-14 2018-11-20 Arris Enterprises Llc Method to encode video with close multiple scene changes
US10652298B2 (en) * 2015-12-17 2020-05-12 Intel Corporation Media streaming through section change detection markers
US10368074B2 (en) 2016-03-18 2019-07-30 Microsoft Technology Licensing, Llc Opportunistic frame dropping for variable-frame-rate encoding
JP6168671B1 (ja) * 2016-03-24 2017-07-26 株式会社日立国際電気 映像切替装置を備えた符号化装置および映像切替検知方法を含む符号化方法
US10958695B2 (en) * 2016-06-21 2021-03-23 Google Llc Methods, systems, and media for recommending content based on network conditions
US10491963B1 (en) * 2016-06-28 2019-11-26 Amazon Technologies, Inc. Use video codecs to deliver images
US10440366B2 (en) * 2016-07-01 2019-10-08 Intel Corporation Method and system of video coding using content based metadata
US10686969B2 (en) * 2016-07-08 2020-06-16 NETFLIX Inc. Detecting shot changes in a video
WO2018012366A1 (ja) * 2016-07-13 2018-01-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 復号装置、符号化装置、復号方法及び符号化方法
US10931980B2 (en) 2016-07-19 2021-02-23 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 degree virtual reality broadcasting service
WO2018016879A1 (ko) * 2016-07-19 2018-01-25 한국전자통신연구원 360도 가상현실 방송 서비스 제공 방법 및 장치
US10367865B2 (en) 2016-07-28 2019-07-30 Verizon Digital Media Services Inc. Encodingless transmuxing
WO2018023554A1 (en) * 2016-08-04 2018-02-08 SZ DJI Technology Co., Ltd. System and methods for bit rate control
US10708666B2 (en) * 2016-08-29 2020-07-07 Qualcomm Incorporated Terrestrial broadcast television services over a cellular broadcast system
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
US10565305B2 (en) * 2016-11-18 2020-02-18 Salesforce.Com, Inc. Adaptive attention model for image captioning
CN114115609B (zh) 2016-11-25 2024-09-03 株式会社半导体能源研究所 显示装置及其工作方法
US10121337B2 (en) * 2016-12-30 2018-11-06 Axis Ab Gaze controlled bit rate
US10123020B2 (en) 2016-12-30 2018-11-06 Axis Ab Block level update rate control based on gaze sensing
US10897618B2 (en) * 2017-02-23 2021-01-19 Netflix, Inc. Techniques for positioning key frames within encoded video sequences
US10199270B2 (en) 2017-05-25 2019-02-05 Globalfoundries Inc. Multi-directional self-aligned multiple patterning
US10701364B2 (en) * 2017-10-26 2020-06-30 Google Llc Golden-frame group structure design using stillness detection
KR102480310B1 (ko) * 2017-11-06 2022-12-23 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10798399B1 (en) * 2017-12-11 2020-10-06 Amazon Technologies, Inc. Adaptive video compression
CN108875525A (zh) * 2018-01-04 2018-11-23 北京旷视科技有限公司 行为预测方法、装置、系统和存储介质
WO2019148117A1 (en) * 2018-01-29 2019-08-01 Vid Scale, Inc. Frame-rate up conversion with low complexity
CN108460523B (zh) * 2018-02-12 2020-08-21 阿里巴巴集团控股有限公司 一种风控规则生成方法和装置
US10593257B2 (en) 2018-03-15 2020-03-17 Samsung Display Co., Ltd. Stress profile compression
TW201942870A (zh) 2018-04-03 2019-11-01 香港商科科串流股份有限公司 位元率優化系統及方法
AU2018417653C1 (en) 2018-04-05 2022-11-03 Telefonaktiebolaget Lm Ericsson (Publ) Multi-stage sidelink control information
US10880550B2 (en) * 2018-04-06 2020-12-29 Comcast Cable Communications, Llc Systems and methods for compressing video
KR102495915B1 (ko) * 2018-04-30 2023-02-03 삼성전자 주식회사 스토리지 장치 및 상기 스토리지 장치를 포함하는 서버
US10630748B1 (en) * 2018-05-01 2020-04-21 Amazon Technologies, Inc. Video-based encoder alignment
US10630990B1 (en) 2018-05-01 2020-04-21 Amazon Technologies, Inc. Encoder output responsive to quality metric information
US10958987B1 (en) 2018-05-01 2021-03-23 Amazon Technologies, Inc. Matching based on video data
US10522108B2 (en) * 2018-05-23 2019-12-31 Qualcomm Incorporated Optimized histogram reads for efficient display post processing and improved power gains
US20210377330A1 (en) * 2018-10-22 2021-12-02 Radiant Communications Corporation Low-latency video internet streaming for management and transmission of multiple data streams
US11272185B2 (en) * 2018-10-31 2022-03-08 Ati Technologies Ulc Hierarchical measurement of spatial activity for text/edge detection
CN109286825B (zh) * 2018-12-14 2021-04-30 北京百度网讯科技有限公司 用于处理视频的方法和装置
US11166028B2 (en) * 2019-02-01 2021-11-02 Comcast Cable Communications, Llc Methods and systems for providing variable bitrate content
US11019374B2 (en) 2019-02-04 2021-05-25 Netflix, Inc. Techniques for efficiently performing subsequence-based encoding for a media title
CN113491117A (zh) 2019-03-08 2021-10-08 北京达佳互联信息技术有限公司 用于处理不同图片尺寸的视频编解码
CN111698509B (zh) 2019-03-11 2022-09-30 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
WO2020200235A1 (en) 2019-04-01 2020-10-08 Beijing Bytedance Network Technology Co., Ltd. Half-pel interpolation filter in intra block copy coding mode
US20200364585A1 (en) * 2019-05-17 2020-11-19 Oracle International Corporation Modular feature extraction from parsed log data
US11276419B2 (en) 2019-07-30 2022-03-15 International Business Machines Corporation Synchronized sound generation from videos
BR112022002480A2 (pt) 2019-08-20 2022-04-26 Beijing Bytedance Network Tech Co Ltd Método para processamento de vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador armazenado em uma mídia legível por computador não transitória
KR20210022841A (ko) 2019-08-21 2021-03-04 (주)코위 멀티플렉서와 ｐｓｉｐ 생성기를 이용한 다중 출력 인코더
US11132944B2 (en) 2019-09-18 2021-09-28 Samsung Display Co., Ltd. Unbiased iterative compression on additive data using dither
JP7370047B2 (ja) 2019-10-29 2023-10-27 株式会社ニッキ エンジンの失火診断検出方法
CN112788198B (zh) * 2019-11-11 2024-04-23 株式会社理光 摄影装置、传送系统及方法、记录介质和计算机装置
EP3829169B1 (en) * 2019-11-29 2021-10-13 Axis AB Method for intra refresh encoding of a plurality of image frames using convex and concave distribution functions
US11843772B2 (en) * 2019-12-06 2023-12-12 Ati Technologies Ulc Video encode pre-analysis bit budgeting based on context and features
US11284074B2 (en) * 2019-12-20 2022-03-22 Intel Corporation Cross-channel look ahead rate control for multi-channel video encoding
JP2021103875A (ja) * 2019-12-25 2021-07-15 キヤノン株式会社 画像符号化装置及び画像復号装置、並びにそれらの制御方法及びプログラム、及び、撮像装置
US11962781B2 (en) * 2020-02-13 2024-04-16 Ssimwave Inc. Video encoding complexity measure system
CN113411584A (zh) * 2020-03-17 2021-09-17 北京三星通信技术研究有限公司 视频编解码的方法和装置
TWI747236B (zh) * 2020-04-17 2021-11-21 倚天酷碁股份有限公司 音源訊號調整方法及電子裝置
CN111680548A (zh) * 2020-04-27 2020-09-18 哈尔滨工程大学 一种小波在线去噪的无失真边界延拓方法
CN111310744B (zh) * 2020-05-11 2020-08-11 腾讯科技（深圳）有限公司 图像识别方法、视频播放方法、相关设备及介质
US11388415B2 (en) * 2020-05-12 2022-07-12 Tencent America LLC Substitutional end-to-end video coding
CN111901666B (zh) * 2020-07-01 2021-05-11 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备以及存储介质
US20230370676A1 (en) * 2020-10-07 2023-11-16 Telefonaktiebolaget Lm Ericsson (Publ) A System and Method to Minimize Repetitive Flashes in Streaming Media Content
EP3985974B1 (en) * 2020-10-13 2023-05-10 Axis AB An image processing device, a camera and a method for encoding a sequence of video images
JP2022119628A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 符号化装置、撮像装置、符号化方法、及びプログラム
EP4364425A1 (en) * 2021-06-29 2024-05-08 Sharp Kabushiki Kaisha Systems and methods for compressing feature data in coding of multi-dimensional data
US12106645B2 (en) * 2022-01-04 2024-10-01 Google Llc Batch size adjustment using latency-critical event recognition
CN114640852B (zh) * 2022-03-21 2024-08-23 湖南快乐阳光互动娱乐传媒有限公司 视频帧对齐方法及装置
US12022086B2 (en) * 2022-08-24 2024-06-25 Synamedia Vividtec Holdings, Inc. Content-adaptive encoder configuration
CN116260973B (zh) * 2023-03-31 2024-03-19 北京百度网讯科技有限公司 一种时域滤波方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0564175A (ja) * 1991-09-03 1993-03-12 Nec Corp 適応多重化方式
WO2000019726A1 (en) * 1998-09-29 2000-04-06 General Instrument Corporation Method and apparatus for detecting scene changes and adjusting picture coding type in a high definition television encoder
JP2004140488A (ja) * 2002-10-16 2004-05-13 Fujitsu Ltd マルチメディアコンテンツ編集装置およびマルチメディアコンテンツ再生装置
WO2004057460A2 (en) * 2002-12-20 2004-07-08 Koninklijke Philips Electronics N.V. Segment-based motion estimation

Family Cites Families (288)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US674474A (en) * 1901-02-04 1901-05-21 Henry D Schutte Placket-closure.
EP0102267B1 (en) 1982-07-21 1988-01-20 Mathys Marthinus Venter Implement for depositing an agricultural material in the soil
FR2646047B1 (fr) 1989-04-13 1995-08-04 Telediffusion Fse Procede et installation de codage et de transmission d'images animees sous forme numerique a bas debit
JP2909239B2 (ja) 1991-03-27 1999-06-23 株式会社東芝 高能率符号化記録再生装置
JP3189292B2 (ja) 1991-05-09 2001-07-16 松下電器産業株式会社 走査線補間装置
KR0121328B1 (ko) 1991-12-13 1997-11-17 사또오 후미오 디지탈 신호 기록 재생 장치
IT1252546B (it) 1991-12-18 1995-06-19 Alcatel Italia Metodo e sistema per adattare il ciclo di frequenza di refresh alla complessita' dell'immagine
JPH05344492A (ja) 1992-06-11 1993-12-24 Ricoh Co Ltd フレーム間予測符号化方式
US5289276A (en) * 1992-06-19 1994-02-22 General Electric Company Method and apparatus for conveying compressed video data over a noisy communication channel
JP2611607B2 (ja) 1992-06-29 1997-05-21 日本ビクター株式会社 シーンチェンジ検出装置
FR2700090B1 (fr) 1992-12-30 1995-01-27 Thomson Csf Procédé de désentrelacement de trames d'une séquence d'images animées.
JP2979900B2 (ja) 1993-05-26 1999-11-15 日本ビクター株式会社 記録媒体
EP0627853B1 (en) 1993-06-03 2000-11-15 Matsushita Electric Industrial Co., Ltd. Picture reproduction apparatus and picture decoding apparatus
KR960704440A (ko) 1993-07-19 1996-08-31 베리 조지 윌리엄 로이드 비디오 영상에서의 에러를 검출하는 방법과 에러 검출장치(detecting errors in video images)
CA2127151A1 (en) 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
US5991502A (en) * 1993-10-04 1999-11-23 Matsushita Electric Industrial Co., Ltd. Optical recording device which calculates distances between I-frames and records I-frame addresses in a sector
AU681185B2 (en) * 1993-10-22 1997-08-21 Sony Corporation apparatus and method for recording and reproducing digital video data
JP3173257B2 (ja) 1993-11-09 2001-06-04 松下電器産業株式会社 符号化方法と符号化装置
JP2734953B2 (ja) 1993-12-16 1998-04-02 日本電気株式会社 Ｃｄｍａ受信装置
JP2839132B2 (ja) 1993-12-17 1998-12-16 日本電信電話株式会社 映像カット点検出方法及び装置
US5642294A (en) 1993-12-17 1997-06-24 Nippon Telegraph And Telephone Corporation Method and apparatus for video cut detection
US5446491A (en) 1993-12-21 1995-08-29 Hitachi, Ltd. Multi-point video conference system wherein each terminal comprises a shared frame memory to store information from other terminals
JP3149303B2 (ja) 1993-12-29 2001-03-26 松下電器産業株式会社 デジタル画像符号化方法及びデジタル画像復号化方法
US5592226A (en) 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
US6798834B1 (en) 1996-08-15 2004-09-28 Mitsubishi Denki Kabushiki Kaisha Image coding apparatus with segment classification and segmentation-type motion prediction circuit
KR100213015B1 (ko) 1994-03-31 1999-08-02 윤종용 양자화 방법 및 회로
US6091460A (en) 1994-03-31 2000-07-18 Mitsubishi Denki Kabushiki Kaisha Video signal encoding method and system
JPH0846969A (ja) * 1994-07-26 1996-02-16 Mitsubishi Electric Corp 映像信号符号化方式
US5508752A (en) 1994-04-12 1996-04-16 Lg Electronics Inc. Partial response trellis decoder for high definition television (HDTV) system
JPH07298272A (ja) * 1994-04-28 1995-11-10 Canon Inc 映像符号化装置
US5706386A (en) 1994-05-24 1998-01-06 Sony Corporation Image information recording method and apparatus, image information reproducing method and apparatus and editing method and system
EP0845908B1 (en) 1994-06-17 2003-02-05 Snell & Wilcox Limited Compressing a signal combined from compression encoded video signals after partial decoding thereof
US5521644A (en) 1994-06-30 1996-05-28 Eastman Kodak Company Mechanism for controllably deinterlacing sequential lines of video data field based upon pixel signals associated with four successive interlaced video fields
KR100213018B1 (ko) 1994-07-30 1999-08-02 윤종용 동화상 부호화장치
JP3755155B2 (ja) 1994-09-30 2006-03-15 ソニー株式会社 画像符号化装置
JPH0918782A (ja) 1995-06-29 1997-01-17 Sony Corp 映像信号処理方法及び装置
SG74566A1 (en) 1995-08-23 2000-08-22 Sony Corp Encoding/decoding fields of predetermined field polarity apparatus and method
JPH0974566A (ja) * 1995-09-04 1997-03-18 Sony Corp 圧縮符号化装置及び圧縮符号化データの記録装置
WO1997013362A1 (en) * 1995-09-29 1997-04-10 Matsushita Electric Industrial Co., Ltd. Method and device for encoding seamless-connection of telecine-converted video data
JPH09130732A (ja) 1995-11-01 1997-05-16 Matsushita Electric Ind Co Ltd シーンチェンジ検出方法および動画像編集装置
US5835163A (en) 1995-12-21 1998-11-10 Siemens Corporate Research, Inc. Apparatus for detecting a cut in a video
US5682204A (en) 1995-12-26 1997-10-28 C Cube Microsystems, Inc. Video encoder which uses intra-coding when an activity level of a current macro-block is smaller than a threshold level
US5929902A (en) 1996-02-28 1999-07-27 C-Cube Microsystems Method and apparatus for inverse telecine processing by fitting 3:2 pull-down patterns
US5821991A (en) 1996-02-28 1998-10-13 C-Cube Microsystems, Inc. Method and apparatus for inverse telecine process by correlating vectors of pixel differences
US6157674A (en) * 1996-03-21 2000-12-05 Sony Corporation Audio and video data transmitting apparatus, system, and method thereof
GB9607645D0 (en) 1996-04-12 1996-06-12 Snell & Wilcox Ltd Processing of video signals prior to compression
JPH09284770A (ja) 1996-04-13 1997-10-31 Sony Corp 画像符号化装置および方法
JPH1013826A (ja) 1996-06-21 1998-01-16 Sony Corp 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像送信装置、画像受信装置、並びに記録媒体
US7095874B2 (en) 1996-07-02 2006-08-22 Wistaria Trading, Inc. Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data
US6643506B1 (en) * 1996-08-07 2003-11-04 Telxon Corporation Wireless software upgrades with version control
US5793895A (en) 1996-08-28 1998-08-11 International Business Machines Corporation Intelligent error resilient video encoder
KR100389893B1 (ko) 1996-11-09 2003-09-19 삼성전자주식회사 영상 특성 분류법을 이용한 영상 부호화 장치
FR2756399B1 (fr) 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
DE69835058D1 (de) * 1997-03-12 2006-08-10 Matsushita Electric Ind Co Ltd Verfahren und vorrichtung zur videosignalkodierung
JPH10313463A (ja) 1997-03-12 1998-11-24 Matsushita Electric Ind Co Ltd 映像信号符号化方法及び符号化装置
JP3679606B2 (ja) 1997-04-18 2005-08-03 キヤノン株式会社 符号化装置及び方法並びに符号化プログラムが記録されたコンピュータ可読記録媒体
US6333950B1 (en) 1997-04-18 2001-12-25 Canon Kabushiki Kaisha Encoding apparatus and method and computer readable recording medium in which encoding program has been recorded
JP3588970B2 (ja) 1997-04-30 2004-11-17 ソニー株式会社 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法
FR2764156B1 (fr) 1997-05-27 1999-11-05 Thomson Broadcast Systems Dispositif de pretraitement pour codage mpeg ii
US5864369A (en) 1997-06-16 1999-01-26 Ati International Srl Method and apparatus for providing interlaced video on a progressive display
US6012091A (en) 1997-06-30 2000-01-04 At&T Corporation Video telecommunications server and method of providing video fast forward and reverse
KR100226722B1 (ko) * 1997-07-30 1999-10-15 구자홍 동영상 움직임 벡터 추정 방법
US5978029A (en) 1997-10-10 1999-11-02 International Business Machines Corporation Real-time encoding of video sequence employing two encoders and statistical analysis
US6574211B2 (en) 1997-11-03 2003-06-03 Qualcomm Incorporated Method and apparatus for high rate packet data transmission
US5956026A (en) 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
US6115499A (en) 1998-01-14 2000-09-05 C-Cube Semiconductor Ii, Inc. Repeat field detection using checkerboard pattern
US6175650B1 (en) 1998-01-26 2001-01-16 Xerox Corporation Adaptive quantization compatible with the JPEG baseline sequential mode
AU2582499A (en) 1998-02-19 1999-09-06 Motorola, Inc. System and method for non-causal encoding of video information for improved streaming thereof
JP3649370B2 (ja) 1998-02-25 2005-05-18 日本ビクター株式会社 動き補償符号化装置及び動き補償符号化方法
JP3738939B2 (ja) 1998-03-05 2006-01-25 Ｋｄｄｉ株式会社 動画像のカット点検出装置
DE69830471T2 (de) 1998-03-09 2006-08-10 Sony Deutschland Gmbh Interpolator mit einem gewichteten Medianfilter
US6895048B2 (en) * 1998-03-20 2005-05-17 International Business Machines Corporation Adaptive encoding of a sequence of still frames or partially still frames within motion video
US6538688B1 (en) 1998-07-02 2003-03-25 Terran Interactive Method and apparatus for performing an automated inverse telecine process
JP2000032474A (ja) 1998-07-08 2000-01-28 Sharp Corp 動画像符号化装置
JP2000059774A (ja) 1998-08-06 2000-02-25 Nippon Telegr & Teleph Corp <Ntt> 映像符号化制御装置
US6580829B1 (en) 1998-09-25 2003-06-17 Sarnoff Corporation Detecting and coding flash frames in video data
JP3921841B2 (ja) 1998-10-16 2007-05-30 ソニー株式会社 信号処理装置および方法、ならびに、記録装置、再生装置および記録再生装置
JP2000209553A (ja) 1998-11-13 2000-07-28 Victor Co Of Japan Ltd 情報信号記録装置及び再生装置
US6297848B1 (en) 1998-11-25 2001-10-02 Sharp Laboratories Of America, Inc. Low-delay conversion of 3:2 pulldown video to progressive format with field averaging
JP3260713B2 (ja) 1998-12-21 2002-02-25 日本電気株式会社 無線基地局のプログラムダウンロード方式
US6618507B1 (en) 1999-01-25 2003-09-09 Mitsubishi Electric Research Laboratories, Inc Methods of feature extraction of video sequences
JP3588564B2 (ja) 1999-03-31 2004-11-10 株式会社東芝 映像データ記録装置
EP1041827B1 (en) * 1999-04-02 2006-11-22 Matsushita Electric Industrial Co., Ltd. Moving picture transmission apparatus, reception apparatus and recording medium
JP3591712B2 (ja) 1999-04-02 2004-11-24 松下電器産業株式会社 動画送信装置及び動画受信装置
JP2000295626A (ja) 1999-04-08 2000-10-20 Mitsubishi Electric Corp 多段画像符号化装置
US6325805B1 (en) 1999-04-23 2001-12-04 Sdgi Holdings, Inc. Shape memory alloy staple
JP4287538B2 (ja) 1999-04-30 2009-07-01 パナソニック株式会社 画像信号切替方法及び装置並びにこれを用いたデジタル撮像カメラ及び監視システム
JP2002543714A (ja) 1999-04-30 2002-12-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｂフレーム・エンコーディング・モードを有するビデオ・エンコーディング方法
GB2352350B (en) 1999-07-19 2003-11-05 Nokia Mobile Phones Ltd Video coding
JP3669619B2 (ja) * 1999-09-06 2005-07-13 富士通株式会社 無線端末装置のソフトウェア更新方法及びその装置
DE19951324C2 (de) * 1999-10-20 2003-07-17 Atotech Deutschland Gmbh Verfahren und Vorrichtung zum elektrolytischen Behandeln von elektrisch leitfähigen Oberflächen von gegeneinander vereinzelten Platten- und Folienmaterialstücken sowie Anwendung des Verfahrens
US6370672B1 (en) 1999-11-01 2002-04-09 Lsi Logic Corporation Determining the received data rate in a variable rate communications system
GB2359918A (en) 2000-03-01 2001-09-05 Sony Uk Ltd Audio and/or video generation apparatus having a metadata generator
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
JP2001169251A (ja) 1999-12-03 2001-06-22 Sony Corp 記録装置および方法、ならびに、再生装置および方法
US7093028B1 (en) 1999-12-15 2006-08-15 Microsoft Corporation User and content aware object-based data stream transmission methods and arrangements
US7116717B1 (en) 1999-12-15 2006-10-03 Bigband Networks, Inc. Method and system for scalable representation, storage, transmission and reconstruction of media streams
US6449002B1 (en) 1999-12-21 2002-09-10 Thomson Licensing S.A. Truncated metric for NTSC interference rejection in the ATSC-HDTV trellis decoder
JP2001045494A (ja) 2000-01-01 2001-02-16 Mitsubishi Electric Corp 画像符号化装置
US6912528B2 (en) 2000-01-18 2005-06-28 Gregg S. Homer Rechargeable media distribution and play system
JP2001204026A (ja) 2000-01-21 2001-07-27 Sony Corp 画像情報変換装置及び方法
IL134182A (en) 2000-01-23 2006-08-01 Vls Com Ltd Method and apparatus for visual lossless pre-processing
US6600836B1 (en) 2000-01-28 2003-07-29 Qualcomm, Incorporated Quality based image compression
JP2003522486A (ja) 2000-02-01 2003-07-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｐフレームに対する２ステップ動き推定を伴なうビデオ符号化
US6542546B1 (en) 2000-02-02 2003-04-01 Mitsubishi Electric Research Laboratories, Inc. Adaptable compressed bitstream transcoder
US6490320B1 (en) 2000-02-02 2002-12-03 Mitsubishi Electric Research Laboratories Inc. Adaptable bitstream video delivery system
US6574279B1 (en) 2000-02-02 2003-06-03 Mitsubishi Electric Research Laboratories, Inc. Video transcoding using syntactic and semantic clues
JP3960451B2 (ja) 2000-03-06 2007-08-15 Ｋｄｄｉ株式会社 シーン特性検出型動画像符号化装置
SE0000766L (sv) 2000-03-08 2001-06-25 Sem Ab Krets för tändförställning, varvtalsbegränsning och förhindrande av baklängesgång i magnettändsystem
KR100776529B1 (ko) 2000-03-13 2007-11-16 소니 가부시끼 가이샤 간결한 트랜스코딩 힌트 메타데이터를 생성하는 방법 및 장치
US20020154705A1 (en) 2000-03-22 2002-10-24 Walton Jay R. High efficiency high performance communications system employing multi-carrier modulation
ATE336142T1 (de) 2000-04-07 2006-09-15 Snell & Wilcox Ltd Videosignalverarbeitung
US6867814B2 (en) 2000-04-18 2005-03-15 Silicon Image, Inc. Method, system and article of manufacture for identifying the source type and quality level of a video sequence
US6507618B1 (en) * 2000-04-25 2003-01-14 Hewlett-Packard Company Compressed video signal including independently coded regions
EP1152621A1 (en) * 2000-05-05 2001-11-07 STMicroelectronics S.r.l. Motion estimation process and system.
JP4517453B2 (ja) 2000-05-30 2010-08-04 ソニー株式会社 画像情報変換装置及び方法並びに符号化装置及び方法
JP2001346214A (ja) 2000-06-05 2001-12-14 Sony Corp 画像情報変換装置及び方法
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
KR100708091B1 (ko) 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
JP2002010259A (ja) 2000-06-21 2002-01-11 Mitsubishi Electric Corp 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体
CA2352729A1 (en) 2000-07-13 2002-01-13 Creoscitex Corporation Ltd. Blazed micro-mechanical light modulator and array thereof
US20040125877A1 (en) 2000-07-17 2004-07-01 Shin-Fu Chang Method and system for indexing and content-based adaptive streaming of digital video content
JP4517475B2 (ja) 2000-07-26 2010-08-04 ソニー株式会社 画像情報変換装置及び方法並びに符号化装置及び方法
KR20020010171A (ko) 2000-07-27 2002-02-04 오길록 블록 정합 움직임 추정을 위한 적응적 예측 방향성 탐색방법
FI120125B (fi) 2000-08-21 2009-06-30 Nokia Corp Kuvankoodaus
JP2002064817A (ja) 2000-08-21 2002-02-28 Kddi Research & Development Laboratories Inc オブジェクトスケーラブル符号化装置
JP3903703B2 (ja) 2000-09-01 2007-04-11 株式会社日立製作所 順次走査変換回路
JP2002094994A (ja) 2000-09-19 2002-03-29 Nec Corp 動画再生処理装置および動画再生処理方法
US7038736B2 (en) 2000-09-21 2006-05-02 Canon Kabushiki Kaisha Moving image processing apparatus and method, and computer readable memory
KR20020064904A (ko) 2000-09-22 2002-08-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 파인-입상 스케일러빌리티의 바람직한 전송/스트리밍 오더
JP2002101416A (ja) 2000-09-25 2002-04-05 Fujitsu Ltd 画像制御装置
US7095814B2 (en) 2000-10-11 2006-08-22 Electronics And Telecommunications Research Institute Apparatus and method for very high performance space-time array reception processing using chip-level beamforming and fading rate adaptation
JP2002125227A (ja) 2000-10-11 2002-04-26 Sony Corp 画像情報変換装置及び方法
CN1248508C (zh) 2000-11-23 2006-03-29 皇家菲利浦电子有限公司 视频解码方法
EP1209624A1 (en) 2000-11-27 2002-05-29 Sony International (Europe) GmbH Method for compressed imaging artefact reduction
US7058130B2 (en) 2000-12-11 2006-06-06 Sony Corporation Scene change detection
US6934335B2 (en) 2000-12-11 2005-08-23 Sony Corporation Video encoder with embedded scene change and 3:2 pull-down detections
US7203238B2 (en) * 2000-12-11 2007-04-10 Sony Corporation 3:2 Pull-down detection
US6744474B2 (en) * 2000-12-13 2004-06-01 Thomson Licensing S.A. Recursive metric for NTSC interference rejection in the ATSC-HDTV trellis decoder
US6807234B2 (en) 2000-12-19 2004-10-19 Intel Corporation Method and apparatus for constellation mapping and bitloading in multi-carrier transceivers, such as DMT-based DSL transceivers
GB2372394B (en) 2000-12-22 2004-09-22 Matsushita Electric Ind Co Ltd Interpolation apparatus and video signal processing apparatus including the same
CA2330854A1 (en) 2001-01-11 2002-07-11 Jaldi Semiconductor Corp. A system and method for detecting a non-video source in video signals
US6987728B2 (en) 2001-01-23 2006-01-17 Sharp Laboratories Of America, Inc. Bandwidth allocation system
JP4336051B2 (ja) 2001-01-31 2009-09-30 株式会社エヌ・ティ・ティ・ドコモ 無線通信端末、発呼制限方法及びプログラム
US6721361B1 (en) 2001-02-23 2004-04-13 Yesvideo.Com Video processing system including advanced scene break detection methods for fades, dissolves and flashes
US20030012287A1 (en) 2001-03-05 2003-01-16 Ioannis Katsavounidis Systems and methods for decoding of systematic forward error correction (FEC) codes of selected data in a video bitstream
KR100783396B1 (ko) 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
US6947598B2 (en) 2001-04-20 2005-09-20 Front Porch Digital Inc. Methods and apparatus for generating, including and using information relating to archived audio/video data
US7072975B2 (en) 2001-04-24 2006-07-04 Wideray Corporation Apparatus and method for communicating information to portable computing devices
US20020163964A1 (en) 2001-05-02 2002-11-07 Nichols James B. Apparatus and method for compressing video
US6909745B1 (en) 2001-06-05 2005-06-21 At&T Corp. Content adaptive video encoder
KR100803115B1 (ko) 2001-06-07 2008-02-14 엘지전자 주식회사 적응 안테나 어레이가 구비된 wｃｄｍａ 시스템에서의 신호 처리 방법 이를 위한 시스템
KR100393066B1 (ko) * 2001-06-11 2003-07-31 삼성전자주식회사 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법
JP2002051336A (ja) 2001-06-15 2002-02-15 Sharp Corp 画像符号化装置及び画像復号装置
US7483581B2 (en) 2001-07-02 2009-01-27 Qualcomm Incorporated Apparatus and method for encoding digital image data in a lossless manner
JP2003037844A (ja) 2001-07-23 2003-02-07 Sharp Corp 動画像符号化装置
JP3820937B2 (ja) 2001-08-06 2006-09-13 株式会社島津製作所 Ｘ線検査装置
KR100440953B1 (ko) 2001-08-18 2004-07-21 삼성전자주식회사 영상 압축 비트 스트림의 트랜스코딩 방법
US6959044B1 (en) 2001-08-21 2005-10-25 Cisco Systems Canada Co. Dynamic GOP system and method for digital video encoding
US7359466B2 (en) 2001-08-24 2008-04-15 Lucent Technologies Inc. Signal detection by a receiver in a multiple antenna time-dispersive system
US6784942B2 (en) 2001-10-05 2004-08-31 Genesis Microchip, Inc. Motion adaptive de-interlacing method and apparatus
TW536918B (en) 2001-11-01 2003-06-11 Aiptek Int Inc Method to increase the temporal resolution of continuous image series
JP2003209837A (ja) 2001-11-09 2003-07-25 Matsushita Electric Ind Co Ltd 動画像符号化方法及び動画像符号化装置
WO2003041326A2 (en) 2001-11-09 2003-05-15 Matsushita Electric Industrial Co., Ltd. Moving picture coding method and apparatus
US6847680B2 (en) 2001-12-17 2005-01-25 Mitsubishi Electric Research Laboratories, Inc. Method for detecting talking heads in a compressed video
US20030118097A1 (en) 2001-12-21 2003-06-26 Koninklijke Philips Electronics N.V. System for realization of complexity scalability in a layered video coding framework
KR100446083B1 (ko) 2002-01-02 2004-08-30 삼성전자주식회사 움직임 추정 및 모드 결정 장치 및 방법
US20030142762A1 (en) 2002-01-11 2003-07-31 Burke Joseph P. Wireless receiver method and apparatus using space-cover-time equalization
US7139551B2 (en) 2002-01-19 2006-11-21 Sasken Communication Technologies Ltd. System and method for automatically downloading software applications to a remote terminal
JP2003224847A (ja) 2002-01-29 2003-08-08 Sony Corp 画像符号化装置とその方法、および、画像復号化装置とその方法
US6700935B2 (en) 2002-02-08 2004-03-02 Sony Electronics, Inc. Stream based bitrate transcoder for MPEG coded video
US6996186B2 (en) 2002-02-22 2006-02-07 International Business Machines Corporation Programmable horizontal filter with noise reduction and image scaling for video encoding system
KR100850705B1 (ko) 2002-03-09 2008-08-06 삼성전자주식회사 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치
EP1488645B1 (en) 2002-03-27 2010-12-01 BRITISH TELECOMMUNICATIONS public limited company Video coding and transmission
US20030185302A1 (en) 2002-04-02 2003-10-02 Abrams Thomas Algie Camera and/or camera converter
CA2380105A1 (en) 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
KR100468726B1 (ko) 2002-04-18 2005-01-29 삼성전자주식회사 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법
US6985635B2 (en) * 2002-04-22 2006-01-10 Koninklijke Philips Electronics N.V. System and method for providing a single-layer video encoded bitstreams suitable for reduced-complexity decoding
JP4135395B2 (ja) 2002-04-26 2008-08-20 日本電気株式会社 符号化パケット伝送受信方法およびその装置ならびにプログラム
JP3926203B2 (ja) 2002-05-15 2007-06-06 シャープ株式会社 コンテンツ表示装置、コンテンツ表示プログラム、該プログラムを記録した記録媒体、およびコンテンツ表示方法
KR100850706B1 (ko) 2002-05-22 2008-08-06 삼성전자주식회사 적응적 동영상 부호화 및 복호화 방법과 그 장치
US6536688B1 (en) * 2002-05-24 2003-03-25 Success & Tech Industrial Co., Ltd. Two-piece hand grip structure of pistol nozzle with flow regulating control knob
FR2840495B1 (fr) 2002-05-29 2004-07-30 Canon Kk Procede et dispositif de selection d'une methode de transcodage parmi un ensemble de methodes de transcodage
US7436890B2 (en) 2002-06-05 2008-10-14 Kddi R&D Laboratories, Inc. Quantization control system for video coding
JP2004023288A (ja) 2002-06-13 2004-01-22 Kddi R & D Laboratories Inc 動画像符号化のための前処理方式
CN1231055C (zh) 2002-06-10 2005-12-07 成都威斯达芯片有限责任公司 电视中传送电影场景的数字检测装置
KR100553082B1 (ko) 2002-06-20 2006-02-15 엘지전자 주식회사 이동통신 단말기의 무선 데이터 다운로드 이어받기 장치및 방법
US7167507B2 (en) 2002-07-01 2007-01-23 Lucent Technologies Inc. Equalizer and method for performing equalization in a wireless communications system
US7136417B2 (en) 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
JP2005533336A (ja) 2002-07-16 2005-11-04 トムソン ライセンシング Ｈｄ−ｄｖｄのための基本層と拡張層のインターリーブ
KR100500196B1 (ko) 2002-07-20 2005-07-12 학교법인 한국정보통신학원 멀티미디어 메타데이터의 오류 내성 부호화/복호화 장치및 방법
US7089313B2 (en) 2002-07-25 2006-08-08 Matsushita Electric Industrial Co., Ltd. Protocol independent communication system for mobile devices
MXPA05002002A (es) 2002-08-21 2005-04-28 Thomson Licensing Sa Datos digitales de marca de agua en un dispositivo del usuario.
US20040045038A1 (en) 2002-08-29 2004-03-04 Duff John F. System and method for the synchronized activation of external devices in association with video programs
US6904081B2 (en) 2002-08-30 2005-06-07 Motorola, Inc. Spread spectrum receiver apparatus and method
GB0222562D0 (en) 2002-09-28 2002-11-06 Koninkl Philips Electronics Nv Method and apparatus for encoding image and or audio data
JPWO2004033538A1 (ja) * 2002-10-10 2006-03-02 fA.M株式会社 樹脂組成物の製造方法
CN100438609C (zh) 2002-10-22 2008-11-26 皇家飞利浦电子股份有限公司 带有降质的图像处理单元
KR100501933B1 (ko) * 2002-11-21 2005-07-18 삼성전자주식회사 멀티미디어 데이터 암호화 압축방법 및 장치
CN1714576A (zh) 2002-11-22 2005-12-28 皇家飞利浦电子股份有限公司 用于可变长度编码数据流的转码器
US8009731B2 (en) 2002-11-25 2011-08-30 Panasonic Corporation Motion compensation method, picture coding method and picture decoding method
KR20040046320A (ko) 2002-11-27 2004-06-05 엘지전자 주식회사 동영상 부호화 방법
EP1574070A1 (en) 2002-12-10 2005-09-14 Koninklijke Philips Electronics N.V. A unified metric for digital video processing (umdvp)
US7154555B2 (en) 2003-01-10 2006-12-26 Realnetworks, Inc. Automatic deinterlacing and inverse telecine
US7039855B2 (en) 2003-01-22 2006-05-02 Lsi Logic Corporation Decision function generator for a Viterbi decoder
KR101006851B1 (ko) 2003-01-28 2011-01-12 톰슨 라이센싱 강력한 모드의 스태거캐스팅
JP2004248124A (ja) 2003-02-17 2004-09-02 Nippon Telegr & Teleph Corp <Ntt> 階層的画像符号化装置および階層的画像復号装置
KR20040079084A (ko) 2003-03-06 2004-09-14 삼성전자주식회사 시간적 복잡도를 고려한 적응적 동영상 부호화와 그 장치
US7062260B2 (en) 2003-03-27 2006-06-13 Nokia Corporation Fetching application and driver for extension device from network
US7075581B1 (en) 2003-06-03 2006-07-11 Zoran Corporation Interlaced-to-progressive scan conversion based on film source detection
KR100518580B1 (ko) 2003-06-10 2005-10-04 삼성전자주식회사 인버스 텔레시네 변환장치 및 변환방법
EP1634457B9 (en) 2003-06-16 2019-05-08 Thomson Licensing Encoding method and apparatus enabling fast channel change of compressed video
EP1634461A2 (en) 2003-06-19 2006-03-15 THOMSON Licensing Method and apparatus for low-complexity spatial scalable decoding
KR100505694B1 (ko) 2003-07-09 2005-08-02 삼성전자주식회사 직접 계산 방식에 의한 코드화 직교 주파수 분할 다중화수신기의 채널 상태 평가 장치 및 그 방법
US7406123B2 (en) 2003-07-10 2008-07-29 Mitsubishi Electric Research Laboratories, Inc. Visual complexity measure for playing videos adaptively
GB0316387D0 (en) 2003-07-12 2003-08-13 Ncr Int Inc Software updates
TWI357728B (en) 2003-07-14 2012-02-01 Interdigital Tech Corp High performance wireless receiver with cluster mu
US7356073B2 (en) 2003-09-10 2008-04-08 Nokia Corporation Method and apparatus providing an advanced MIMO receiver that includes a signal-plus-residual-interference (SPRI) detector
US7332120B2 (en) 2003-09-30 2008-02-19 Salflex Polymers Ltd. Method for molding running board with step plate
US20050076057A1 (en) 2003-10-03 2005-04-07 Puneet Sharma Method and system for transferring video and audio files to portable computing devices
US7840112B2 (en) 2003-10-08 2010-11-23 Intel Corporation Gradually degrading multimedia recordings
JP2005123732A (ja) 2003-10-14 2005-05-12 Matsushita Electric Ind Co Ltd デブロックフィルタ処理装置およびデブロックフィルタ処理方法
KR20050037293A (ko) 2003-10-18 2005-04-21 삼성전자주식회사 영상신호의 아티팩트 억제장치 및 그 방법
US7780886B2 (en) 2003-10-21 2010-08-24 Certainteed Corporation Insulation product having directional facing layer thereon and method of making the same
EP2051510B1 (en) 2003-10-30 2013-08-14 Panasonic Corporation Mobile-terminal-orientated transmission method and apparatus
US9351013B2 (en) * 2003-11-13 2016-05-24 Qualcomm Incorporated Selective and/or scalable complexity control for video codecs
US7420618B2 (en) 2003-12-23 2008-09-02 Genesis Microchip Inc. Single chip multi-function display controller and method of use thereof
AU2005206954A1 (en) 2004-01-21 2005-08-04 Qualcomm Incorporated Application-based value billing in a wireless subscriber network
EP1557835B1 (en) 2004-01-21 2009-06-24 FUJIFILM Corporation Recording tape cartridge
US20050168656A1 (en) 2004-01-30 2005-08-04 Wyman Richard H. Method and system for quantized historical motion for motion detection in motion adaptive deinterlacer
US7483077B2 (en) 2004-01-30 2009-01-27 Broadcom Corporation Method and system for control of a multi-field deinterlacer including providing visually pleasing start-up and shut-down
US7529426B2 (en) 2004-01-30 2009-05-05 Broadcom Corporation Correlation function for signal detection, match filters, and 3:2 pulldown detection
US7557861B2 (en) 2004-01-30 2009-07-07 Broadcom Corporation Reverse pull-down video using corrective techniques
EP1709745A4 (en) 2004-01-30 2012-03-14 Univ Laval MULTI-USER ADAPTIVE NETWORK RECEIVER AND CORRESPONDING METHOD
US7324583B2 (en) 2004-02-13 2008-01-29 Nokia Corporation Chip-level or symbol-level equalizer structure for multiple transmit and receiver antenna configurations
KR100596705B1 (ko) 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
KR100586883B1 (ko) 2004-03-04 2006-06-08 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법
US7339980B2 (en) 2004-03-05 2008-03-04 Telefonaktiebolaget Lm Ericsson (Publ) Successive interference cancellation in a generalized RAKE receiver architecture
US20050201478A1 (en) 2004-03-10 2005-09-15 Holger Claussen Modulation in a mobile telecommunications system
US20050222961A1 (en) 2004-04-05 2005-10-06 Philippe Staib System and method of facilitating contactless payment transactions across different payment systems using a common mobile device acting as a stored value device
US20050231635A1 (en) 2004-04-16 2005-10-20 Lin Ken K Automated inverse telecine process
EP1592250A1 (en) 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Film-mode detection in video sequences
US7991053B2 (en) 2004-05-04 2011-08-02 Qualcomm Incorporated Method and apparatus to enable acquisition of media in streaming applications
US7430336B2 (en) 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
DE102004026433A1 (de) 2004-05-29 2005-12-22 Schott Ag Nanoglaspulver und deren Verwendung
CA2566867C (en) * 2004-06-01 2014-05-27 Exxonmobil Upstream Research Company Kalman filter approach to processing electromagnetic data
US7536626B2 (en) 2004-06-18 2009-05-19 Qualcomm Incorporated Power control using erasure techniques
EP1615447B1 (en) 2004-07-09 2016-03-09 STMicroelectronics Srl Method and system for delivery of coded information streams, related network and computer program product therefor
JP4145275B2 (ja) 2004-07-27 2008-09-03 富士通株式会社 動きベクトル検出・補償装置
KR20060011281A (ko) 2004-07-30 2006-02-03 한종기 트랜스코더에 적용되는 해상도 변환장치 및 방법
JP2006074684A (ja) 2004-09-06 2006-03-16 Matsushita Electric Ind Co Ltd 画像処理方法及び装置
US7474701B2 (en) * 2004-09-23 2009-01-06 International Business Machines Corporation Single pass variable bit rate control strategy and encoder for processing a video frame of a sequence of video frames
US7528887B2 (en) 2004-10-08 2009-05-05 Broadcom Corporation System and method for performing inverse telecine deinterlacing of video by bypassing data present in vertical blanking intervals
US7660987B2 (en) 2004-10-29 2010-02-09 Baylis Stephen W Method of establishing a secure e-mail transmission link
KR100592882B1 (ko) 2004-12-13 2006-06-26 한국전자통신연구원 세션 초기화 프로토콜(ｓｉｐ) 기능이 없는 이동 단말에인터넷 프로토콜 멀티미디어 서브시스템을 통한 세션초기화 프로토콜 기반 인스턴스 메시징 서비스 제공방법,시스템 및 이를 위한 인스턴스 메시징 프록시 서버
US20060153294A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Inter-layer coefficient coding for scalable video coding
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
US20060166739A1 (en) 2005-01-25 2006-07-27 Jeng-Tay Lin Operating method for a wireless recreation system
KR20060088461A (ko) * 2005-02-01 2006-08-04 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
US8165167B2 (en) 2005-03-10 2012-04-24 Qualcomm Incorporated Time tracking for a communication system
CN101171843B (zh) 2005-03-10 2010-10-13 高通股份有限公司 用于多媒体处理的内容分类
US7929776B2 (en) 2005-03-10 2011-04-19 Qualcomm, Incorporated Method and apparatus for error recovery using intra-slice resynchronization points
TWI424750B (zh) 2005-03-10 2014-01-21 Qualcomm Inc 用於在串流式多媒體中最佳化錯誤管理之解碼器結構
US8693540B2 (en) 2005-03-10 2014-04-08 Qualcomm Incorporated Method and apparatus of temporal error concealment for P-frame
US7995656B2 (en) 2005-03-10 2011-08-09 Qualcomm Incorporated Scalable video coding with two layer encoding and single layer decoding
CN101662683B (zh) 2005-04-14 2012-05-30 汤姆森特许公司 空间可缩放视频解码方法和空间可缩放视频解码器
US20060239347A1 (en) 2005-04-25 2006-10-26 Ashish Koul Method and system for scene change detection in a video encoder
US20060271990A1 (en) 2005-05-18 2006-11-30 Rodriguez Arturo A Higher picture rate HD encoding and transmission with legacy HD backward compatibility
KR100716998B1 (ko) * 2005-05-24 2007-05-10 삼성전자주식회사 블록화 현상을 감소시키기 위한 부호화 및 복호화 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체
US8879635B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
AT502881B1 (de) * 2005-10-05 2007-08-15 Pirker Wolfgang Ddr Zahnimplantat
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US20070206117A1 (en) 2005-10-17 2007-09-06 Qualcomm Incorporated Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video
US9521584B2 (en) 2005-10-17 2016-12-13 Qualcomm Incorporated Method and apparatus for managing data flow through a mesh network
US8948260B2 (en) * 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US7916784B2 (en) 2005-10-20 2011-03-29 Broadcom Corporation Method and system for inverse telecine and field pairing
US7433982B2 (en) 2005-10-21 2008-10-07 Microsoft Corporation Transferable component that effectuates plug-and-play
US20070171280A1 (en) * 2005-10-24 2007-07-26 Qualcomm Incorporated Inverse telecine algorithm based on state machine
JP4984503B2 (ja) 2005-11-28 2012-07-25 富士通株式会社 携帯端末装置およびソフトウェアインストール方法
US7587569B2 (en) 2005-12-19 2009-09-08 Yahoo! Inc. System and method for removing a storage server in a distributed column chunk data store
US7705913B2 (en) 2005-12-20 2010-04-27 Lsi Corporation Unified approach to film mode detection
KR101153562B1 (ko) * 2006-01-26 2012-06-11 삼성전기주식회사 압전 방식의 잉크젯 프린트헤드 및 그 제조방법
US7835904B2 (en) 2006-03-03 2010-11-16 Microsoft Corp. Perceptual, scalable audio compression
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
JP4929819B2 (ja) 2006-04-27 2012-05-09 富士通株式会社 映像信号の変換装置及び方法
US8774269B2 (en) * 2006-10-25 2014-07-08 Franuhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Quality scalable coding with mapping different ranges of bit depths
FR2925980B1 (fr) 2007-12-28 2010-06-04 St Microelectronics Sa Plot de contact electrique
JP5412739B2 (ja) * 2008-03-26 2014-02-12 富士通株式会社 光増幅装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0564175A (ja) * 1991-09-03 1993-03-12 Nec Corp 適応多重化方式
WO2000019726A1 (en) * 1998-09-29 2000-04-06 General Instrument Corporation Method and apparatus for detecting scene changes and adjusting picture coding type in a high definition television encoder
JP2004140488A (ja) * 2002-10-16 2004-05-13 Fujitsu Ltd マルチメディアコンテンツ編集装置およびマルチメディアコンテンツ再生装置
WO2004057460A2 (en) * 2002-12-20 2004-07-08 Koninklijke Philips Electronics N.V. Segment-based motion estimation

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948262B2 (en) 2004-07-01 2015-02-03 Qualcomm Incorporated Method and apparatus for using frame rate up conversion techniques in scalable video coding
US8374246B2 (en) 2004-07-20 2013-02-12 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US8634463B2 (en) 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
JP2017507533A (ja) * 2013-12-30 2017-03-16 グーグル インコーポレイテッド 分散トランスコーディングのためのコンテンツ適応的なチャンキング
JP7502568B2 (ja) 2021-03-19 2024-06-18 杭州海康威視数字技術股▲フン▼有限公司 適応型イントラリフレッシュメカニズムに基づく復号化、符号化
US12088825B2 (en) 2021-03-19 2024-09-10 Hangzhou Hikvision Digital Technology Co., Ltd. Decoding and encoding based on adaptive intra refresh mechanism

Also Published As

Publication number Publication date
TW200726254A (en) 2007-07-01
US20070081587A1 (en) 2007-04-12
JP5289959B2 (ja) 2013-09-11
US9088776B2 (en) 2015-07-21
TWI376952B (en) 2012-11-11
EP2302932A1 (en) 2011-03-30
WO2007038702A1 (en) 2007-04-05
CN102724498B (zh) 2015-12-09
ATE524926T1 (de) 2011-09-15
CN102724498A (zh) 2012-10-10
KR20080066717A (ko) 2008-07-16
CA2805916A1 (en) 2007-04-05
EP2293539A3 (en) 2013-03-20
TWI348866B (en) 2011-09-11
US8879635B2 (en) 2014-11-04
AU2006294509B2 (en) 2010-12-02
US20070074266A1 (en) 2007-03-29
WO2007038725A3 (en) 2007-05-18
EP1929784A1 (en) 2008-06-11
CN101982977B (zh) 2016-07-06
US8879856B2 (en) 2014-11-04
KR20080066719A (ko) 2008-07-16
US20070081586A1 (en) 2007-04-12
NO20081605L (no) 2008-06-25
EP2945363B1 (en) 2017-08-23
JP5149188B2 (ja) 2013-02-20
TWI341097B (en) 2011-04-21
EP2293570A1 (en) 2011-03-09
AR056100A1 (es) 2007-09-19
JP2009510933A (ja) 2009-03-12
JP2012110039A (ja) 2012-06-07
JP2012199961A (ja) 2012-10-18
JP5562989B2 (ja) 2014-07-30
KR100989534B1 (ko) 2010-10-25
EP1929784B1 (en) 2011-09-14
EP1932362A1 (en) 2008-06-18
EP1938621A2 (en) 2008-07-02
KR101242292B1 (ko) 2013-03-12
TW200803517A (en) 2008-01-01
KR100968106B1 (ko) 2010-07-06
WO2007038724A1 (en) 2007-04-05
KR101326443B1 (ko) 2013-11-08
EP2293539A2 (en) 2011-03-09
WO2007038725A2 (en) 2007-04-05
JP5677992B2 (ja) 2015-02-25
AU2006294509A1 (en) 2007-04-05
IL190457A0 (en) 2008-11-03
BRPI0616426A2 (pt) 2011-06-21
AR055665A1 (es) 2007-08-29
AR056102A1 (es) 2007-09-19
KR20080066718A (ko) 2008-07-16
CN101982977A (zh) 2011-03-02
US9113147B2 (en) 2015-08-18
TW200727603A (en) 2007-07-16
US9071822B2 (en) 2015-06-30
JP5139303B2 (ja) 2013-02-06
EP2227019B1 (en) 2014-08-27
KR100988753B1 (ko) 2010-10-20
TW200742442A (en) 2007-11-01
EP1941741A1 (en) 2008-07-09
EP1941741B1 (en) 2012-07-25
JP2013157994A (ja) 2013-08-15
KR20120099806A (ko) 2012-09-11
US8879857B2 (en) 2014-11-04
KR20080066716A (ko) 2008-07-16
JP2009510936A (ja) 2009-03-12
KR20100081369A (ko) 2010-07-14
CA2623929C (en) 2013-04-30
JP2009510932A (ja) 2009-03-12
JP2012110038A (ja) 2012-06-07
US20070081588A1 (en) 2007-04-12
US20130308707A1 (en) 2013-11-21
EP2227019A1 (en) 2010-09-08
JP2013232935A (ja) 2013-11-14
EP2945363A1 (en) 2015-11-18
KR20100101707A (ko) 2010-09-17
KR101197508B1 (ko) 2012-11-12
US20100020886A1 (en) 2010-01-28
TWI350108B (en) 2011-10-01
WO2007038701A1 (en) 2007-04-05
CA2623929A1 (en) 2007-04-05

Similar Documents

Publication Publication Date Title
JP5562989B2 (ja) 時間領域境界とのデータアライメントに関する方法及び装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120213

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120224

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20120316

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20120515