JP2002517142A - 内容適応圧縮符号化 - Google Patents

内容適応圧縮符号化

Info

Publication number
JP2002517142A
JP2002517142A JP2000551549A JP2000551549A JP2002517142A JP 2002517142 A JP2002517142 A JP 2002517142A JP 2000551549 A JP2000551549 A JP 2000551549A JP 2000551549 A JP2000551549 A JP 2000551549A JP 2002517142 A JP2002517142 A JP 2002517142A
Authority
JP
Japan
Prior art keywords
information
mask
encoding
frame
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000551549A
Other languages
English (en)
Inventor
チャールズ， マーティン ワイン，
グレン， アーサー レイトメイヤー，
トーマス， マイケル スティラー，
マイケル ティンカー，
Original Assignee
サーノフ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サーノフ コーポレイション filed Critical サーノフ コーポレイション
Publication of JP2002517142A publication Critical patent/JP2002517142A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 主観的評価部は、質を優先させるか、もしくは、非優先で符号化される情報空間領域を輪郭づけることによって、符号化情報空間に１つ以上の標準、強調、非強調の情報内容を備えさせる。

Description

【発明の詳細な説明】
【０００１】 本発明は情報ストリームの圧縮符号化に関する。特に、本発明は選択的に情報
を強調／非強調するための情報ストリームの内容適応圧縮符号化（content-adap
tive compression encoding)に関する。
【０００２】 開示の背景 通信システムの幾つかでは、転送されるデータを圧縮して利用可能な帯域幅を
効率的に使う。例えば、動画エキスパートグループ（ＭＰＥＧ）では、デジタル
データ転送システムに関する複数の規格を公表している。ＭＰＥＧ−１として知
られている第１のものはＩＳＯ／ＩＥＣ規格１１１７２に関し、本件の援用文献
である。ＭＰＥＧ−２として知られている第２のものはＩＳＯ／ＩＥＣ規格１３
８１８に関し、本件の援用文献である。圧縮デジタル映像システムについては高
品位テレビシステム委員会（ＡＴＳＣ）デジタルテレビ規格文書Ａ／５３で説明
されており、本件の援用文献である。
【０００３】 上で引用された規格では、固定長／可変長デジタル通信システムを用いて映像
、音声、その他の情報の圧縮／転送によく適したデータ処理／操作を行う技術に
ついて記述している。特に、上で引用された規格とその他の"ＭＰＥＧ準拠"の規
格や技術では、一例としてフレーム内符号化技術（ランレングス符号化やハフマ
ン符号化等）とフレーム間符号化技術（フォワード／バックワード予測符号化、
動き補償等）を使って映像情報を圧縮する。特に、映像処理システムの場合では
、ＭＰＥＧ／ＭＰＥＧ準拠（ｌｉｋｅ）の映像処理システムがフレーム内／フレ
ーム間動き補償符号化を使って、もしくは、使わないで映像フレームを予測ベー
ス圧縮符号化することが特徴である。
【０００４】 ＭＰＥＧ準拠の動画圧縮処理では、Ｍｑｕａｎｔと呼ばれる量を使って映像フ
レーム、即ち、ピクチャ内の１６ピクチャ要素（画素）ｘ１６画素のマクロブロ
ックの各々を符号化する品質を確定することが知られている。即ち、レート制御
処理によってピクチャ内の各マクロブロックに対するＭｑｕａｎｔ値を決定して
、利用可能なビット量を越えることなしに（デコーダで）最高品質のピクチャを
生成する。小さいＭｑｕａｎｔ値では高次のビット割り当てとなるため、よいピ
クチャ品質が得られるが、その値は、典型的には、低活性度（即ち、低輝度周波
数）領域内のマクロブロックに割り当てられる。何故ならば、人間の目は低周波
数の映像情報に対する感度がよいからである。同様に、大きなＭｑｕａｎｔ値で
は低次のビット割り当てとなるためピクチャ品質は落ちるが、その値は、典型的
には、高活性度（即ち、高輝度の周波数）領域内のマクロブロックに割り当てら
れる。何故ならば、人間の目は高周波数の映像情報に対する感度が低いからであ
る。
【０００５】 Ｍｑｕａｎｔとその他の質的パラメータを機械的に割り当てると、残念ながら
、必要な品質より低く符号化されてしまう特定の注目領域をもつ符号化ピクチャ
が生成されることがある。例えば、石鹸製造業者の広告に石鹸を持ち上げている
人の画像が含まれる場合である。石鹸製造業者の観点から石鹸を詳細に示すこと
は重要であるが、石鹸を持ち上げている人を詳細に示すことは重要ではない。従
って、重要な画像領域とは人を含む画像領域ではなく石鹸を含む画像領域である
。しかしながら、もし上述したようにＭｑｕａｎｔ値を機械的に割り当てると、
石鹸ではなく人を誤って質的に強調してしまうことがある。
【０００６】 従って、映像情報等の情報を内容適応符号化することが望まれる。特に、情報
を内容適応符号化して、映像情報品質等の情報品質を選択的に向上させたり、劣
化させたりすることが望まれる。
【０００７】 本発明の概要 本発明は、内容ベースの領域分析技術を使って情報フレームを選択的に向上さ
せるか、もしくは、劣化させる方法とそれに付随する装置を備える。一般的に、
本発明によれば、符号化情報空間が１つ以上の標準、強調、非強調の情報内容を
備えることができるように、質を優先させるか、もしくは、非優先で符号化され
る情報空間領域を輪郭づけする主観的評価部が提供される。
【０００８】 特に、本発明は複数の情報フレームを含む情報ストリームを選択的に符号化す
る方法を備え、情報フレームの内容の主観的評価に対応して、前記情報フレーム
内の１つ以上の情報領域に対する必要な符号化品質調整を示すマスクを生成する
工程と、前記１つ以上の情報領域の各々をそれぞれの符号化品質調整のしるしを
関連づける工程と、前記符号化品質調整のしるしに基づいて前記情報フレームを
符号化する工程とを備える。
【０００９】 本発明の一実施形態によれば、オペレータは、情報フレーム、例えば、映像フ
レームの高レベル値領域や低レベル値領域を輪郭づける。情報フレームの高レベ
ル値部分は高品質レベルで符号化され、情報フレームの低レベル値部分は劣化品
質レベルで符号化される。
【００１０】 本発明の別な実施形態では、ビット割り当て方法と領域／サブ領域フィルタ処
理方法を含む１つ以上の技術を使って、品質を向上させたり、劣化させたりする
。
【００１１】 添付の図面とともに以下の詳細な記述を検討することによって本発明で教唆す
るところを容易に理解することができる。
【００１２】 理解を容易にするために、複数の図に共通な同じ要素を示す部分には同じ参照
暗号を用いる。
【００１３】 詳細な説明 図１は、本発明の教唆を取り入れたシステムの高レベルのブロック図を示す。
特に、システム１００は、第１の表現部１０、オーバレイ生成部２０、主観的評
価部３０、領域連想及びフロー演算部４０、エンコーダ５０、オプションとして
の第２の表現部６０を備える。システム１００は、例えば映像情報ストリームな
どの複数の情報フレームを備える情報ストリームＩＮを受信する。情報ストリー
ムＩＮ内の１つ以上のフレーム内情報領域の相対値の主観的評価値に対応して、
システム１００は情報ストリームを以下のように符号化する。即ち、１つ以上の
フレーム内情報領域を選択的に向上させるか劣化させて符号化出力ストリームＯ
ＵＴを生成する。
【００１４】 図１の実施形態では、入力情報ストリームＩＮ、例えば、映像情報ストリーム
が、第１の表現部１０、領域連想及びフロー演算部４０、エンコーダ５０に与え
られる。第１の表現部１０は、主観的評価部３０に供給される表現信号Ｐを生成
する。映像情報ストリームの場合は、表現信号Ｐは、例えば、１つの映像フレー
ムを表示させるものである。主観的評価部３０は、提供された情報フレーム内の
情報を内容ベースで評価し、オーバレイ生成部２０、例えば、オンスクリーング
ラフィック表示生成部に供給される出力信号ＤＲＡＷを生成する。
【００１５】 評価出力信号ＤＲＡＷに対応して、オーバレイ生成部２０は、第１の表現部１
０と領域連想及びフロー演算部４０に供給されるマスク信号ＭＡＳＫを生成する
。映像情報入力信号ＩＮの場合は、第１の表現部１０はマスク信号ＭＡＳＫに対
応して、映像情報フレームと、映像情報フレーム内の１つ以上のフレーム内情報
領域の輪郭を示すマスクオーバレイをもつ画像を生成する。主観的評価部３０は
、主観的評価入力信号Ｐに応答して主観的評価出力信号ＤＲＡＷを修正すること
によって、マスクの位置決めパラメータや質的影響パラメータを対話的に修正す
る。
【００１６】 マスクの位置決めパラメータは、マスクの幾何学様式と、その幾何学様式によ
って目標とされる必要なフレーム内情報領域を関連づけるパラメータを備える。
映像情報ストリームに対する位置決めパラメータは、画素、ブロック、マクロブ
ロック、スライス、情報セグメントや、クロミナンス、即ち、輝度の周波数帯域
、高輝度の変化（即ち、"対象のエッジ"）等に関する記述である。その他の情報
ストリームに対する適切な位置決めパラメータを容易に定義することができる。
例えば、音声情報ストリームの場合は、高価なスピーカを呼び物にする広告キャ
ンペーンに必要なスピーカに関連する音声周波数帯域値が位置決めパラメータに
含まれていてもよい。３次元（３Ｄ）音声ストリームの場合は、位置決めパラメ
ータは意図された聴覚空間の体積測定用パラメータ（例えば、顧客の居間、スタ
ンドアロン型映像ゲームの範囲等の情報）を備えることができる。
【００１７】 マスクの質的影響パラメータには、符号化時に輪郭づけされた領域を符号化す
る品質、もしくは、忠実度を定義するパラメータが含まれる。例えば、ＭＰＥＧ
符号化される映像情報ストリームの場合は、質的影響パラメータには、量子化レ
ベル（即ち、領域に割り当てられたビット密度）、解像度、色の濃さ、動ベクト
ルの正確さ、符号化の正確さ等が含まれる。その他の情報ストリームに対しては
、適切な質的パラメータを容易に定義することができる。例えば、音声情報スト
リームの場合は、質的パラメータはビット割り当て値、有効なサンプリングレー
ト等を備えてもよい。３Ｄ音声の場合は、質的パラメータには位置決めの正確さ
（即ち、位相の正確さ）、有効なサンプリングレート、サラウンド音響チャネル
割り当て値等を備えてもよい。
【００１８】 輪郭づけされた各フレーム内情報領域は、質的向上、もしくは、質的劣化のし
るしと関連づけられる。映像情報フレームの場合は、例えば、オーバレイ生成部
２０によって生成され、第１の表現部１０によって表示されたオンスクリーング
ラフィクスレイヤの様々な色を、質的向上又は劣化の印が備えてもよい。例えば
、第１の選択色、もしくは、複数の色の組みで輪郭付けられる、即ち、描かれる
注目の領域は比較的重要であると考えられるので、内容ベースの目的（例えば、
視覚的、もしくは、聴覚的に広告の製品を強調する）を達成するために、質的に
強調すべき情報がその領域に含まれる。第２の選択色、もしくは、複数の色の組
みで描かれる注目領域は比較的に重要でないと考えることができるので、内容ベ
ースの目的（例えば、視覚的に、もしくは、聴覚的に広告の非製品、即ち、背景
情報を強調しない）に実質的な影響を与えることなく質的に劣化させるべき情報
がその領域に含まれる。
【００１９】 領域連想及びフロー演算部４０は、入力情報ストリームＩＮと関連するマスク
信号ＭＡＳＫに応答して、エンコーダ５０に供給する質的パラメータ修正信号Ｍ
Ｑを生成する。領域連想及びフロー演算部４０は領域連想機能を実行し、もし適
用可能ならば、動ベクトル演算機能を実行する。
【００２０】 領域連想機能に関しては、映像情報フレームの場合は、輪郭付けされたフレー
ム内領域に関連する画素、ブロック、マクロブロック等を領域連想及びフロー演
算部４０が識別する。このように、輪郭付けられた領域に関する質的影響パラメ
ータに基づいて次の符号化、もしくは、処理を実行可能にするために、特に、輪
郭づけられた領域に関連するフレーム内情報が識別される。従って、ＭＰＥＧ映
像符号化システム等のブロックベース符号化システムの場合は、"質的向上"領域
、もしくは、"質的劣化"領域内の各マクロブロックが、質的向上因子、もしくは
、質的劣化因子のそれぞれに関連づけられる。ここで、この質的向上又は劣化因
子によって、それぞれの領域に関する質的パラメータの増大又は減少が操作され
る。
【００２１】 量子化パラメータ、即ち、ブロックベース符号化処理時にマクロブロックに割
り当てられたビット数を質的パラメータが備える場合について検討する。質的向
上因子によって、"質的向上"領域内のマクロブロックへのビット割り当てを増や
すことができる。同様に、この質的劣化因子によって、"質的劣化"領域内のマク
ロブロックへのビット割り当てを減らすことができる。
【００２２】 動ベクトル演算機能については、オプションとして、領域連想及びフロー演算
部４０は、入力情報フレームと次の情報フレーム間の差に対応して、例えば、各
フレーム内輪郭情報領域にある映像情報のフレーム間の動きを示す出力信号ＦＬ
ＯＷを生成する。マスクの位置決めパラメータを調整するオーバレイ生成部に本
出力信号ＦＬＯＷが供給される。このように、元マスクによって輪郭づけられる
フレーム内情報領域に対して与えられる品質パラメータを向上させたり、劣化さ
せることで、適切な情報領域を保持することができる。例えば、石鹸の広告の場
合は、石鹸が動くにつれて（例えば、カメラのパン）石鹸を含む輪郭づけされた
高品位領域が移動する。
【００２３】 エンコーダ５０は、量子化制御及びフィルタ処理等の標準のエンコーダがもつ
処理を行う。エンコーダ５０は質的パラメータ修正信号ＭＱと、それに関連する
サブ領域、例えば、入力情報ストリームＩＮからの関連する入力映像マクロブロ
ックを受信する。エンコーダ５０は、関連する質的パラメータ修正子に基づいて
マクロブロックを符号化して、出力情報ストリームＯＵＴを生成する。本発明の
実施形態では、質的パラメータ修正信号ＭＱにはパーセンテージ増大（向上）又
は減少（劣化）因子が含まれる。これは、マクロブロックに"標準"ビット割り当
てるときに適用される。即ち、Ｎビット（どのビット割り当てアルゴリズムが機
械的に"標準"割り当てを行うかに依存する）を使ってマクロブロックを標準的に
符号化する場合は、代わりにＮ±（ＭＱ＊Ｎ）ビットを使ってマクロブロックを
符号化することができる。オプションとして、符号化マクロブロックがモニタ出
力ＭＯＮＩＴＯＲに供給される。
【００２４】 動ベクトル演算部４０の出力信号ＦＬＯＷは領域の情報フローの示値を含んで
もよい。例えば、映像処理システムの場合、オプティカルフローは一対のピクチ
ャ間での動きの部分的画素推定を画素毎に行うものとして定義される。従って、
インターピクチャ、もしくは、フレーム間画素レベルの動きの推定は、１つ以上
のマクロブロック、もしくは、複数の領域に関連するが、これによって質的向上
領域、もしくは、質的劣化領域を定義することができる。この方法では、"ボッ
クス"、もしくは、その他の所定の動き領域を使うことなしにフレーム間動き補
償を行うことができる。バーゲン(Bergen)他の"階層モデルベースの動き推定"と
いうタイトルの論文、１９９２年３月２３日、コンピュータビジョン欧州会議(E
uropean Conference on computer Vision)（ＥＣＣＶ'９２）、は本件の援用文
献であるが、これにオプティカルフロー技術が開示されている。当業者であれば
、ＥＣＣＶ'９２の論文で記述されているオプティカルフロー技術を本発明の中
でどのように実行させることができるかを理解している。
【００２５】 オプションとして、領域連想及びフロー演算部４０から供給される出力信号Ｆ
ＬＯＷと機能的に同じで、それと同様に使われる出力信号ＦＬＯＷをエンコーダ
５０が生成する。もしエンコーダ５０が上述のブロックベースのエンコーダを備
えるならば、エンコーダ５０のフレーム間動き予測部で生成される動きベクトル
が出力信号ＦＬＯＷに含まれていてもよい。質的パラメータ修正信号ＭＱが動ベ
クトルを劣化させるものを含む限り、その結果としての出力信号ＦＬＯＷもまた
劣化する。しかしながら、もしマスク形成／編集時にさらに対話できれば、この
劣化も受け入れることができる。
【００２６】 オプションとしての第２の表現部６０を使って、符号化結果を主観的評価部３
０に供給できる。もし符号化結果が満足のいくものでなければ、主観的評価部は
出力信号ＤＲＡＷを調整して、輪郭づけられた領域の位置決めと質的パラメータ
を調整することができる。
【００２７】 本発明の別の実施形態では、主観的評価部３０によって、５種類の色を使って
注目領域の輪郭をとることができる。第１の色を使って非変化領域を輪郭づける
。周波数内容を測定基準として使ったアルゴリズム等の"標準"ビット割り当てア
ルゴリズムによって通常割り当てられるビットを第１の領域内のマクロブロック
に正確に割り当てることができる。第２の色を使って、量子化して品位を上げる
領域を輪郭づけることができる。例えば、パーセンテージ、もしくは、所定の増
分に基づいて、符号化時により多くのビットを第２の領域内のマクロブロックに
対して割り当てることができる。量子化を行って劣化させる領域の輪郭づけを第
３の色を使って行うことができる。例えば、パーセンテージ、もしくは、所定の
増分に基づいて、符号化時により少ないビットを第３の領域のマクロブロックに
対して割り当てることができる。前空間フィルタ処理を行って情報帯域幅を狭め
ることによって劣化される領域の輪郭づけを第４の色を使って行うことができる
。マクロブロックの情報量を減らすために符号化する前に、第４の領域内の複数
のマクロブロックをサブサンプリングすることができる。量子化によって劣化し
、また、前空間フィルタ処理を行うことによってさらに劣化する領域の輪郭づけ
を第５の色を使って行うことができる。符号化処理前に第５の領域内の複数のマ
クロブロックをサブサンプリングすることで、符号化時に少ないビットを割り当
てることができる。
【００２８】 第１の表現部１０、オーバレイ生成部２０、主観的評価部３０は、オンスクリ
ーン描画プログラムをもつ映像ワークステーション６０で実行可能である。この
場合、ワークステーションの人間オペレータ（もしくは、ワークステーション内
で実行されるソフトウエア）は、入力映像ストリームを主観的に評価し、上述の
フレーム内領域を輪郭づけるマスクを提供する。映像情報ストリームの場合は、
人間のオペレータ、もしくは、エキスパートシステム等の評価部によって、映像
情報フレームのどの一部分、もしくは、どの複数の部分を異なる品質レベルで符
号化すべきかが決定される。即ち、評価部は映像情報フレームの内容の相対値を
所定の目的のために評価する。広告の製品を強調する場合は、例えば、色彩表、
パタンマッチング、その他の周知の技術を利用するエキスパートソフトウエアに
よって、"鮮明な"製品を識別することができる。
【００２９】 図２は、本発明に係る内容ベース符号化ルーチンのフロー図２００を示す。例
えば、図１を参照して上述されたシステム、即ち、領域連想及びフロー演算部４
０とエンコーダ５０とワークステーション６０を使った場合に本ルーチンは適し
ている。
【００３０】 図２のルーチン２００では、例えば、ワークステーション６０が入力映像スト
リームＩＮを受信すると、工程２１０に入る。ルーチン２００は工程２１５に進
む。ここで、例えば、ワークステーションのオペレータによって、現在表示中の
情報フレームに対するマスクが作られたり編集されたりする。上述したが、マス
クを使ってフレーム内情報領域を輪郭づけることができる。この情報領域は、符
号化処理時に質的向上又は劣化処理が施される。次に、ルーチン２００は工程２
２０へ進む。
【００３１】 工程２２０では、マスクによって識別された、輪郭づけられた領域の各々の品
質影響値がそれぞれの領域内の映像情報と関連づけられる。例えば、領域を輪郭
づけるために使われる色等によって定義される輪郭づけられた領域の質的影響パ
ラメータに特定の領域内のマクロブロックが関連づけられる。次に、ルーチン２
００は工程２２５に進む。
【００３２】 ルーチン２００の工程２２５では、オプションとして、マスク（即ち、マスク
を構成する輪郭づけられた領域）を１つ以上の情報フロー領域に関連づける。フ
ロー領域には、フレーム間動き推定値等の時空間オフセット値に関連づけられた
情報空間のエリアや領域（即ち、映像、音声等）が含まれる。時間のオフセット
値によって、輪郭づけられた領域の情報空間の幾何学様式をその情報空間内の時
空間の変化に合わせるために適した情報が供給される。マクロブロック、画素領
域、周波数帯域等のフレーム内領域要素に関連づけられたフロー領域記述子とし
てオプティカルフロー及び動き推定値を効果的に使うことができる。次に、ルー
チン２００は工程２３０に進む。
【００３３】 工程２３０では、輪郭づけられた領域の各サブ領域（例えば、マクロブロック
）の品質のしるしが定義される。例えば、量子化向上，量子化劣化及び／又は前
空間フィルタパラメータが各サブ領域に対して定義される。次に、ルーチン２０
０は工程２３５に進む。
【００３４】 工程２３５では、全情報フレームを構成するサブ領域を符号化する。輪郭づけ
られた領域に関連づけられるサブ領域が、それぞれに定義された品質のしるしに
基づいて符号化される。符号化情報フレームは、全ての符号化サブ領域、品質向
上領域、品質劣化領域、品質中性領域を備える。工程２３５を実行する際の使用
に適した符号化ルーチンの一部については、図３のルーチンを参照して以下で詳
細に説明される。次に、ルーチン２００は工程２４０に進む。
【００３５】 工程２４０では、結果としての符号化情報フレームが意図する内容ベースの結
果を満足させるものであるかどうかを問い合わせる。もし工程２４０での問い合
わせに対する答えが否定であれば、ルーチン２００は工程２１５に進む。ここで
、より満足のいく結果を得るために、現在表示された情報フレームに対するマス
クが編集される。次に、工程２２０から工程２４０が繰返される。もし工程２４
０での問い合わせに対する答えが肯定であれば、ルーチン２００は工程２４５へ
進む。ここで、次の情報フレームが入力情報ストリーム（例えば、ＩＮ）から検
索されて、工程２５０へ進む。
【００３６】 ルーチン２００の工程２５０では、オプションとして、工程２１５で生成され
たマスクを輪郭づけられた領域内の基本的情報のフロー領域記述子（例えば、オ
プティカルフロー、もしくは、動きフロー）に適合させる。次に、ルーチン２０
０は工程２５５に進む。ここで、適合されたマスクを調整すべきかどうか（即ち
、マスクが適切な品質向上又は劣化領域を輪郭づけているかどうか？）を問い合
わせる。例えば、多くのフレームのあとでは、動きに対応してマスクの修正を行
っても満足した結果が得られない。さらに、映像ストリーム内で場面カットを行
う場合は（即ち、フレームＮはフレームＮ＋１と共通性がない）、マスクはほと
んど役に立たない。
【００３７】 もし工程２５５での問い合わせに対する答えが否定であれば（即ち、調整は不
要）、ルーチン２００は工程２２０へ進む。ここで、修正されたマスクによって
識別された各輪郭づけられた領域の品質影響値がそれぞれの領域内の映像情報に
関連づけられる。次に、工程２２５から工程２５５が繰返される。
【００３８】 もし工程２５５の問い合わせに対する答えが肯定であれば（即ち、少なくとも
幾分かの調整が必要である）、ルーチン２００は工程２１５に進む。ここで、例
えば、ワークステーションのオペレータによって、修正されたマスクが現在の情
報フレーム（即ち、"調整"フレーム）に適用され編集される（即ち、置換される
）。次に、工程２２０から工程２５５が繰返される。上述したように、入力情報
ストリーム全体が申し分なく処理されるまでルーチン２００の処理は続く。
【００３９】 上の工程２５０では、元画像の動きに対応してマスク画像が "ドラッグ"され
る。これは、例えば、元画像の連続する複数のフレーム間のオプティカルフロー
領域の計算を行うことによってなされる。次に、フロー領域ベクトルを使ってマ
スクが歪ませられる。歪み処理には、単純な幾何学的歪みではなくフロー値に基
づいて次のマスク内の各画素を第１のマスクから取りこむ処理が含まれる。例え
ば、もしオペレータが映像シーケンスのフレーム１５に対するマスクを生成した
ならば、そのシーケンス内のフレーム１５からフレーム１６でのフローが計算さ
れる。このフローを使ってマスクを歪ませて、フレーム１６に対するマスクを生
成する。次に、フレーム１６からフレーム１７についての動き処理が繰返される
。画像の動きに協調して妥当な数のフレームがドラッグされたあとで、新たなフ
レームがオペレータによって作られる。この処理が行われる区間は、工程２５５
で、オペレータによって以下の方法で決定される。即ち、動き補償されたマスク
の対応する入力フレームに対する適合度を評価することによって決定される。
【００４０】 前空間フィルタ処理を使う品質劣化領域の場合は、符号化される画像の前フィ
ルタ処理が符号化工程２３５に含まれる。例えば、前空間フィルタ処理を使う品
質劣化領域に関連する各画素を２次元低域フィルタによって処理する。この低域
フィルタの一例としては、水平／垂直の両方向に適用される簡単に分離可能な１
／４、１／２、１／４の３タップ三角形要素がある。より多くのタップをもつ鋭
い低域フィルタ要素も適用可能であることは当業者にとって周知のことである。
【００４１】 量子化によって劣化させる処理を使う品質劣化領域の場合は、Ｍｑｕａｎｔに
対する変化のマップを生成するためにマスク画像を処理する。本処理には、マス
クの平均値を求め、オフセットとゲインを調整して平均値ゼロを維持し、Ｍｑｕ
ａｎｔ値の大きさをユーザが選択した最大値にスケーリングし、また、例えば、
１６Ｘ１６のマクロブロック領域の各々の全値の平均をとる処理が含まれる。
【００４２】 前空間フィルタ処理や量子化劣化処理を選択的に適用したあとで、その結果の
サブ領域（例えば、マクロブロック）を符号化する。符号化処理では、各マクロ
ブロックに対して活性度値を使い、また、標準周波数分析アルゴリズムを使って
複数のビットを選択的に割り当てることができる。活性度値を使って複数のビッ
トを低周波数の映像情報（即ち、人間が視覚可能な映像情報）に優先的に割り当
てることができる。質が上げられるマクロブロックの全てに対する活性度値に最
小値が設定される。マクロブロックに割り当てられる最小値は、質的向上のため
に多くのビットをマクロブロックに割り当てるようにレート制御アルゴリズムに
対して指示するものである。この指示は重要である。何故ならば、情報フレーム
に対して与えられる総ビット数を越えないことをレート制御アルゴリズムが保証
する手助けとなるからである。末端のデコーダがオーバフローやアンダーフロー
状態になることを防ぐために周知の方法で利用される映像バッファ検査器によっ
て、ＭＰＥＧシステムの情報フレームに与えられる総ビット数が決定されること
に注目されたい。
【００４３】 レート制御アルゴリズムによって各ブロックに対するＭｑｕａｎｔ値が計算さ
れると、マスク処理工程２３０で計算された量子化調整値（もし、あれば）がＭ
ｑｕａｎｔ値に加算される。これによって、選択されたピクチャ領域の符号化品
質を向上、もしくは、劣化させる。
【００４４】 図３は、図２の内容ベース符号化ルーチン２００での使用に適したブロック符
号化ルーチン２３５のフロー図を示す。
【００４５】 例えば、符号化されるマクロブロックとそれに関連する質的影響パラメータを
エンコーダ５０が受信すると、図３のルーチン２３５は工程３０５に入る。上述
したように、符号化されるマクロブロックを含む輪郭づけられた領域に関連する
質的影響パラメータを決定する。次に、ルーチン２３５は工程３１０に進む。
【００４６】 工程３１０では、前空間フィルタ処理をマクロブロックに施すべきかどうかを
問い合わせる。マクロブロックに関連する質的影響パラメータを調べることによ
って、この問い合わせがなされる。もし工程３１０での問い合わせに対する答え
が否定であれば、ルーチン２３５は工程３２０に進む。もし工程３１０での問い
合わせに対する答えが肯定であれば、ルーチン２３５は工程３１５へ進む。ここ
で、周知の空間フィルタ処理技術を使ってフィルタ処理が実行される。次に、ル
ーチン２３５は工程３２０に進む。
【００４７】 工程３２０では、量子化劣化処理、もしくは、量子化向上処理を使ってマクロ
ブロックを符号化すべきかどうかを問い合わせる。マクロブロックに関連する質
的影響パラメータを調べることによってこの問い合わせがなされる。もし工程３
２０での問い合わせに対する答えが否定であれば、ルーチン２３５は工程３３０
に進む。もし工程３２０での問い合わせが肯定であれば、ルーチン２３５は工程
３２５に進む。ここで、関連する質的影響パラメータによって指示される必要な
レベルの量子化劣化／量子化向上処理に合わせてＭｑｕａｎｔ値が調整される。
次に、ルーチン２３５は工程３３０に進む。
【００４８】 工程３３０では、オプションとして、マクロブロックの活性度値が周知の方法
で生成される。本発明の実施にあたってはこの活性度値を生成する必要は必ずし
もないが、その処理は、映像マクロブロック内の輝度周波数の内容（もしくは、
"細かさ"のその他の測定値）に基づいて機械的にビット割り当てを行う典型的な
レート制御アルゴリズムを代表するものである。ルーチン２３５は工程３４０に
進む。
【００４９】 工程３４０では、ビット割り当てプロファイルに基づいてマクロブロックを符
号化する。ここで、このプロファイルは、Ｍｑｕａｎｔ値、マクロブロックに関
連づけられたその他の質的影響パラメータ、生成された活性度値（もし使われる
なら）に基づいて決定される。次に、ルーチン２３５は工程３４５に進み、符号
化される次のマクロブロックとそれに関連する質的影響パラメータを待つ。本情
報を受信すると、ルーチン２３５は工程３１０に進む。ここで、処理全体が繰返
される。
【００５０】 説明を明快にするために、ルーチン２３５では符号化処理の周知の様々な工程
を省いていることに注意されたい。しかしながら、当業者であれば、本発明の符
号化処理とここで省かれた従来の工程の影響を容易に理解することができる。
【００５１】 図４は、図１のシステムの一部分の別の実施形態を示す。特に、図４は、図１
のシステム１００のオーバレイ生成部２０、領域連想及びフロー演算部４０、エ
ンコーダ５０の代わりに使うことができる制御装置４００を示す。
【００５２】 制御装置４００は、内容ベース符号化ルーチン２００と、内容ベース符号化ル
ーチン２００での使用に適するブロック符号化ルーチン３００を格納するメモリ
４３０はもとより、マイクロプロセッサ４２０を備える。マイクロプロセッサ４
３０は、ソフトウエアルーチンの実行を支援する回路はもとより、例えば、電源
、クロック回路、キャッシュメモリ等の従来の支援回路４４０と協調動作する。
そのため、ソフトウエア処理としてここで説明される処理の幾つかを、ハードウ
エア、例えば、様々な工程を実行するマイクロプロセッサ４２０と協調動作する
回路で実行できると考えられる。
【００５３】 また、制御装置４００は、図１のシステム１００の主観的評価部３０と第１の
表現部１０とオプションとしての第２の表現部６０間のインターフェイスを構成
する入力／出力（Ｉ／Ｏ）回路４１０を備える。制御装置４００は、本発明に係
る符号化処理を実行するようにプログラムされた汎用コンピュータとして描かれ
ているが、本発明は特定用途向け集積回路（ＡＳＩＣ）等のハードウエアでも実
行可能である。そのため、ここで説明される処理はソフトウエア、ハードウエア
、もしくは、その組み合わせで同様に実行されるものとして広く解釈されるべき
である。当業者であれば、図示されたハードウエアはもとより、ソフトウエアに
よる方法で上述の実施形態を実行できることを理解している。この実行方法では
、図１の各ブロックでの処理は、コンピュータシステムやその他の処理部で実行
可能なルーチンでよい。
【００５４】 本発明の教唆を組み入れた様々な実施形態が示され詳述されたが、当業者であ
ればこれらの教唆を組み込んだその他の多くの変更を行った実施形態を容易に考
えつくことができる。
【図面の簡単な説明】
【図１】 図１は本発明の教唆を取り入れたシステムの高レベルのブロック図を示す。
【図２】 図２は、本発明の内容ベース符号化ルーチンのフロー図を示す。
【図３】 図３は、図２の内容ベース符号化ルーチンでの使用に適したブロック符号化ル
ーチンのフロー図を示す。
【図４】 図４は、図１のシステムの一部の別な実施形態を示す図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 スティラー， トーマス， マイケル アメリカ合衆国， ニュー ジャージー 州， エウィング， ウィリス ドライヴ 56 (72)発明者 ティンカー， マイケル アメリカ合衆国， ペンシルヴェニア州， ヤードレイ， ハイランド ドライヴ 35 Ｆターム(参考） 5C059 MA00 MC11 NN01 PP16 PP22 PP28 TA36 TA57 TB07 TC34 UA02 UA12

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】 情報ストリームを選択的に符号化する方法であって、前記情
    報ストリームは複数の情報フレームを備え、 （ａ）情報フレームの内容の主観的評価に対応して、前記情報フレーム内の１
    つ以上の情報領域に対する必要な符号化品質調整を示すマスクを生成する工程と
    、 （ｂ）前記１つ以上の情報領域の各々をそれぞれの符号化品質調整のしるしを
    関連づける工程と、 （ｃ）前記符号化品質調整のしるしに基づいて前記情報フレームを符号化する
    工程と を備える方法。
  2. 【請求項２】 （ｄ）前記マスクを次の情報フレームに適合させる工程をさ
    らに備える請求項１の方法。
  3. 【請求項３】 前記適応させる工程は、 前記情報フレームと前記次の情報フレームを比較して差情報を生成する工程と
    、 前記差情報から、前記情報領域の各々内の情報サブ領域のフレーム間の動きの
    徴候を抽出する工程と、 前記抽出されたフレーム間の動きの徴候に基づき前記マスクを歪ませる工程と
    を備える請求項２の方法。
  4. 【請求項４】 前記情報ストリームは映像情報ストリームを備え、前記マス
    クはグラフィックオーバレイを備える請求項１の方法。
  5. 【請求項５】 前記適応させる工程は、 情報フレームマスクの幾何学様式と次の情報フレームマスクの幾何学様式を関
    係づけるフレーム間フロー記述子を計算する工程と、 前記計算されたフレーム間フロー記述子に基づき前記マスクを歪ませる工程と
    を備える請求項２の方法。
  6. 【請求項６】 少なくとも１つのビット割り当て処理／領域フィルタ処理／
    サブ領域フィルタ処理の方法を使って前記必要な符号化品質を達成する請求項１
    の方法。
  7. 【請求項７】 コンピュータによって実行されるときに情報ストリームを選
    択的に符号化する方法を実行するコンピュータプログラムを格納するコンピュー
    タ読み取り可能な媒体であって、前記情報ストリームは、複数の情報フレームを
    備え、前記方法は、 （ａ）情報フレームの内容の主観的評価に対応して、前記情報フレーム内の１
    つ以上の情報領域に対して必要な符号化品質調整を指示するマスクを生成する工
    程と、 （ｂ）前記１つ以上の情報領域の各々とそれぞれの符号化品質調整のしるしを
    関連づける工程と、 （ｃ）前記符号化品質調整のしるしに基づいて前記情報フレームを符号化する
    工程とを備える、コンピュータ読み取り可能な媒体。
  8. 【請求項８】 前記格納されたコンピュータプログラムによって実行される
    方法は、 （ｄ）前記マスクを次の情報フレームに適応させる工程を備える、請求項７の
    コンピュータ読み取り可能な媒体。
  9. 【請求項９】 前記適応させる工程は、 前記情報フレームと前記次の情報フレームを比較して、差情報を生成する工程
    と、 前記差情報から前記情報領域の各々内の情報サブ領域のフレーム間の動きの徴
    候を抽出する工程と、 前記抽出されたフレーム間の動きの徴候に基づいて前記マスクを歪ませる工程
    とを備える請求項８のコンピュータ読み取り可能な媒体。
  10. 【請求項１０】 複数の情報フレームを備える情報ストリームを選択的に符
    号化する装置であって、 前記情報ストリームを受信するために接続され、少なくとも１つの情報フレー
    ムを主観的に評価し、非標準符号化を優先させて符号化される前記情報フレーム
    領域を指示する信号を生成する主観的評価部と、 前記情報ストリームを受信するために接続され、前記主観的評価部に接続され
    、非標準符号化を優先させて符号化される前記情報フレーム領域を輪郭づけるマ
    スクを生成するマスク生成部と、 前記情報ストリームを受信するために接続され、前記マスク生成部に接続され
    、前記情報ストリームを符号化するエンコーダであって、非標準符号化を優先さ
    せて符号化される前記情報フレーム領域は、前記非標準符号化を優先させること
    で符号化される、当該エンコーダとを備える装置。
  11. 【請求項１１】 前記非標準符号化を優先させることは、質的符号化して質
    的に向上させることを優先させるか、もしくは、符号化して質的に劣化させるこ
    とを優先させるかのいずれか一方である、請求項１０の装置。
  12. 【請求項１２】 前記情報ストリームを受信するために接続され、前記マス
    ク生成部に接続され、前記マスクによって輪郭づけられる前記情報フレーム領域
    内の情報要素を連続する情報フレームの情報要素に関連づけて、フレーム間の情
    報フローを示す出力信号を生成する領域連想及びフロー演算部をさらに備える請
    求項１０の装置。
JP2000551549A 1998-05-22 1999-05-21 内容適応圧縮符号化 Pending JP2002517142A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/083,451 1998-05-22
US09/083,451 US6477201B1 (en) 1998-05-22 1998-05-22 Content-adaptive compression encoding
PCT/US1999/011316 WO1999062265A1 (en) 1998-05-22 1999-05-21 Content-adaptive compression encoding

Publications (1)

Publication Number Publication Date
JP2002517142A true JP2002517142A (ja) 2002-06-11

Family

ID=22178424

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000551549A Pending JP2002517142A (ja) 1998-05-22 1999-05-21 内容適応圧縮符号化

Country Status (5)

Country Link
US (1) US6477201B1 (ja)
EP (1) EP1078530A1 (ja)
JP (1) JP2002517142A (ja)
KR (1) KR20010043760A (ja)
WO (1) WO1999062265A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017123071A1 (en) * 2016-01-14 2017-07-20 Samsung Electronics Co., Ltd. A mobile device and a method for texture memory optimization thereof

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9832244B2 (en) * 1995-07-14 2017-11-28 Arris Enterprises Llc Dynamic quality adjustment based on changing streaming constraints
US7512698B1 (en) * 1995-07-14 2009-03-31 Broadband Royalty Corporation Dynamic quality adjustment based on changing streaming constraints
GB2350512A (en) * 1999-05-24 2000-11-29 Motorola Ltd Video encoder
US6968088B2 (en) * 2000-03-28 2005-11-22 Canon Kabushiki Kaisha Modification of detected quantization step size from the encoded bitstream based on a region of interest (ROI) bitmask
US7095444B1 (en) * 2000-11-06 2006-08-22 Sri International Method and apparatus for generating, distributing and reconstructing deconstructed video
US6909745B1 (en) * 2001-06-05 2005-06-21 At&T Corp. Content adaptive video encoder
US6810086B1 (en) 2001-06-05 2004-10-26 At&T Corp. System and method of filtering noise
US7773670B1 (en) * 2001-06-05 2010-08-10 At+T Intellectual Property Ii, L.P. Method of content adaptive video encoding
US6968006B1 (en) 2001-06-05 2005-11-22 At&T Corp. Method of content adaptive video decoding
US6970513B1 (en) 2001-06-05 2005-11-29 At&T Corp. System for content adaptive video decoding
US7126955B2 (en) 2003-01-29 2006-10-24 F5 Networks, Inc. Architecture for efficient utilization and optimum performance of a network
US8159940B1 (en) 2004-11-11 2012-04-17 F5 Networks, Inc. Obtaining high availability using TCP proxy devices
US7783781B1 (en) * 2005-08-05 2010-08-24 F5 Networks, Inc. Adaptive compression
US8275909B1 (en) 2005-12-07 2012-09-25 F5 Networks, Inc. Adaptive compression
US7882084B1 (en) 2005-12-30 2011-02-01 F5 Networks, Inc. Compression of data transmitted over a network
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US8265349B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
US8265392B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
US8417833B1 (en) 2006-11-29 2013-04-09 F5 Networks, Inc. Metacodec for optimizing network data compression based on comparison of write and read rates
WO2008127319A2 (en) * 2007-01-31 2008-10-23 Thomson Licensing Method and apparatus for automatically categorizing potential shot and scene detection information
US20100080286A1 (en) * 2008-07-22 2010-04-01 Sunghoon Hong Compression-aware, video pre-processor working with standard video decompressors
US9036693B2 (en) * 2009-01-08 2015-05-19 Sri International Method and system for providing region-of-interest video compression
US8860781B2 (en) * 2009-06-30 2014-10-14 Qualcomm Incorporated Texture compression in a video decoder for efficient 2D-3D rendering
US20110122224A1 (en) * 2009-11-20 2011-05-26 Wang-He Lou Adaptive compression of background image (acbi) based on segmentation of three dimentional objects
US9131913B2 (en) * 2012-06-14 2015-09-15 Carestream Health, Inc. Region-selective fluoroscopic image compression
KR101724555B1 (ko) * 2014-12-22 2017-04-18 삼성전자주식회사 부호화 방법 및 장치와 복호화 방법 및 장치
US9690656B2 (en) * 2015-02-27 2017-06-27 Microsoft Technology Licensing, Llc Data encoding on single-level and variable multi-level cell storage
KR102511705B1 (ko) 2015-11-16 2023-03-20 삼성전자주식회사 비디오 인코딩 방법, 이를 수행하는 비디오 인코더 및 이를 포함하는 전자 시스템
US11445222B1 (en) * 2019-09-30 2022-09-13 Isize Limited Preprocessing image data
EP3846476B1 (en) 2020-01-05 2023-09-20 Isize Limited Image data processing

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5512939A (en) 1994-04-06 1996-04-30 At&T Corp. Low bit rate audio-visual communication system having integrated perceptual speech and video coding
JPH08294119A (ja) 1995-04-21 1996-11-05 Toshiba Corp 画像符号化／復号化装置
EP0790741B1 (en) 1995-10-27 2007-04-04 Texas Instruments Incorporated Video compression method using sub-band decomposition
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017123071A1 (en) * 2016-01-14 2017-07-20 Samsung Electronics Co., Ltd. A mobile device and a method for texture memory optimization thereof
US10719959B2 (en) 2016-01-14 2020-07-21 Samsung Electronics Co., Ltd. Mobile device and a method for texture memory optimization thereof

Also Published As

Publication number Publication date
KR20010043760A (ko) 2001-05-25
WO1999062265A1 (en) 1999-12-02
US6477201B1 (en) 2002-11-05
EP1078530A1 (en) 2001-02-28

Similar Documents

Publication Publication Date Title
JP2002517142A (ja) 内容適応圧縮符号化
US5974197A (en) Loop filter and loop filtering method
JP4004089B2 (ja) ビデオ信号復号化システムおよびノイズ抑圧方法
KR100524077B1 (ko) 중간 영상 합성을 위한 시간적 평활화 장치 및 방법
US7035334B2 (en) Device and method for controlling image encoding, encoding system, transmission system and broadcast system
JP2008527827A (ja) 垂線流れに動的に基づいた量子化ステップ・サイズを用いてビデオ信号を処理する方法
JPH08237669A (ja) 画像信号処理装置、画像信号処理方法および画像信号復号化装置
JP3386603B2 (ja) 輝度信号適応動き評価方法
KR20080053873A (ko) 입체 영상의 화질 향상을 위한 영상 부호화에서의 적응양자화 방법 및 그 장치
JP2006005650A (ja) 画像符号化装置及び方法
Lee et al. Efficient color artifact removal algorithm based on high-efficiency video coding (HEVC) for high-dynamic range video sequences
JP2004023288A (ja) 動画像符号化のための前処理方式
US5905812A (en) Perceptual error processing method and image coding device using the same
JP4243218B2 (ja) 量子化制御装置、その方法及びそのプログラム、並びに、適応量子化符号化装置
KR20030014898A (ko) 블록화현상 제거장치 및 제거방법, 블록화현상 제거장치가구비된 디스플레이장치
KR100265721B1 (ko) 2차원삼각형조각선격자모델을이용한동영상의움직임추정방법
JP4033292B2 (ja) 動画像符号化のための量子化制御方式
JP3081658B2 (ja) 画像信号符号化装置及び画像信号復号化装置
JP3211778B2 (ja) 改良された適応性のあるビデオ符号化方法
JP2000092489A (ja) 画像符号化装置および画像符号化方法およびプログラムを記録した媒体
JPH07221993A (ja) カラー画像データの間引き方法及び装置、並びにカラー画像データの圧縮方法
JP3517455B2 (ja) 画像符号化方法及び装置
KR100772402B1 (ko) 공간 영역에서의 내용 적응성 블로킹 아티팩트 제거기
JP4325536B2 (ja) 動画像符号化装置及び方法
JP2005197879A (ja) 映像信号符号化装置