JP2002519914A - ブロック分類と適用ビット割当て方法および装置 - Google Patents

ブロック分類と適用ビット割当て方法および装置

Info

Publication number
JP2002519914A
JP2002519914A JP2000557432A JP2000557432A JP2002519914A JP 2002519914 A JP2002519914 A JP 2002519914A JP 2000557432 A JP2000557432 A JP 2000557432A JP 2000557432 A JP2000557432 A JP 2000557432A JP 2002519914 A JP2002519914 A JP 2002519914A
Authority
JP
Japan
Prior art keywords
block
image
blocks
important
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000557432A
Other languages
English (en)
Inventor
ラヴィ クリシュナムルシー，
スリラム セテューラマン，
Original Assignee
サーノフ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サーノフ コーポレイション filed Critical サーノフ コーポレイション
Publication of JP2002519914A publication Critical patent/JP2002519914A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 種々のエリアの相対的「重要性」に基づき、また重要情報を適応するように使用して、例えばエンコーディング環境のような処理リソースに割り当てる画像の領域を分類する。（ａ）クロミナンス平面中で現画像内のブロックのクロミナンス成分をマッピングするステップと；（ｂ）前記クロミナンス平面中で４本の直線による決定領域を規定するステップと；（ｃ）前記クロミナンス成分が前記決定領域内に存在すれば、肌色ブロックとして前記ブロックを分類する現在画像内でブロックを分類する。

Description

【発明の詳細な説明】
【０００１】 本願は、１９９８年６月２６日に出願された米国暫定出願６０／０９０，８１
３号の特権を主張するものであって、ここでは参考文献として取り入れる。
【０００２】 本発明は概して画像を処理するためのシステムに関し、より詳しくは種々の領
域の相対的「重要度」に基づいて画像の領域（例えば、ブロックまたはマクロブ
ロック）を分類するための装置および方法に関する。次いで、重要な情報がエン
コーディング環境内に適応性のあるビット割当てを実行するのに使用される。
【０００３】 （発明の背景） ビデオ画像シーケンスのような画像シーケンスは、一般的に画像フレームまた
は映像（ピクセル）のシーケンスを含んでいる。動きオブジェクトを含むビデオ
の再生は、一般的に１秒当り３０画像フレームのフレーム速度を必要とし、各フ
レームはメガバイトを越える情報を含んでいることもある。その結果、このよう
な画像シーケンスを伝送または記憶するには伝送バンド幅または記憶容量として
大きい容量が必要である。必要とする伝送バンド幅または記憶容量を縮小するた
めに、フレーム・シーケンスが、シーケンス内の凡長な情報が記憶されたり伝送
されないように圧縮される。テレビ、ビデオ会議およびＣＤ−ＲＯＭ公文書は、
有効なビデオ・シーケンスのエンコーディングから利益を得ることのできる適用
例である。
【０００４】 さらに、処理リソースが特定適用例の必要条件によって限定または制限されて
いる画像処理環境において、利用可能なコーディング・ビットを注意して割当て
る必要がある。例えば、ビデオ電話のような実時間適用例において、話し中の人
の顔は普通画像シーケンスの最も重要な部分の一つである。さらなる「重要」な
領域には、区別されるオブジェクト間、あるいはフレームからフレームに移動す
るオブジェクト間のエッジまたは境界線が含まれる。このような重要な領域を検
出し、活用する能力はエンコーディング・システムを大きく高揚させる。
【０００５】 例えば、低いビット・レートによる適用例（例えば、実時間適用）におけるエ
ンコーディング・システムは、制限されたビットを種々の要求事項に有効に割当
て、すなわち、ビットをコード・モーション情報への割当て、ビットをコード・
テクスチャ情報に割当て、ビットをコード形状情報に割当て、ビットをコード・
ヘッダー情報に割当てする等アドレスしなければならない。時々、一つのパラメ
ータが他のパラメータを犠牲にして活用されるようにして利用可能なビットを割
当てる必要がある。すなわち、より多くのビットが使用されて正確な動き情報が
提供され、この犠牲でより少ないビットが使用されてテクスチャ情報が提供され
る。現在フレームが特に重要である領域に関する情報なしに、すなわち、制限さ
れたビット・プールからのより多くのビットが受けられるので、エンコーダは最
も有効な方法で利用可能なビットを割当てることができない。
【０００６】 従って、種々の領域の相対的「重要度」に基づいて、画像の領域を分類するた
めの装置および方法に関する技術が必要であり、また、エンコーディング環境内
でビット割当てを実行するのに重要な情報が適応するようにして使用される。
【０００７】 （発明の概要） 本発明の実施形態は、人の肌色の存在に基づく重要事項となる画像の領域を分
類するための装置および方法、すなわち、肌色検出器である。例えば、ビデオ電
話の適用例において、話し中の人の顔は画像シーケンス内のフレームの重要領域
として識別される。フレーム内の「顔面ブロック」の検出はクロミナンス平面内
で実行される。次に全画像のために得られた重要な情報が、収集され、「重要マ
ップ」または「クラス・マップ」内で表わされる。
【０００８】 さらに、他のパラメータが重要なマップの形成または改善において肌色検出器
で使用されるか、または併用される。すなわち、フレーム内のオブジェクトのエ
ッジを検出するためのエッジ検出器と、フレーム内のブロックの動きを検出する
ための動き検出器が集合的に評価して重要マップを生成することができる。さら
に、さらなる重要情報がその時点の重要情報を含んでいる、すなわち、前回フレ
ームの重要マップを使用する。
【０００９】 一度、重要情報が利用可能になれば、本発明は重要情報に基づいてコーティン
グ・ビットを割り当てる。一実施形態において、より多くのビットがより低い「
重要」領域と比較して「重要」領域に割り当てられるので、重要な領域がより高
い品質でコード化される。従って、フレームの種々のエリアの相対的「重要度」
が高速で分類され、またエンコーディング環境、例えば画像エンコーダ内でビッ
ト割り当てに適応できるように使用される。
【００１０】 本発明の教示は添付図面に関して次なる詳細な説明を考慮することによって容
易に理解することができいる。
【００１１】 理解しやすくするために、全図を通して同じ要素を示すに、可能な場合、同じ
参照番号を使用する。
【００１２】 （詳細な説明） 図１は種々のエリアの相対的「重要度」に基づいて、画像の領域を分類し、ま
たコーディング・ビットを割り当てる重要な情報を適応するようにして使用する
本発明の装置１００のブロック図を示す。本発明の好ましい実施形態はエンコー
ダを使用して下記に説明しているが、本発明は一般的に画像処理システムに使用
することができることが理解できる。さらに、本発明は種々のコーディング標準
装置と適応させてエンコーダに使用することができる。これらの標準装置には、
これに限定するものではないが、動画専門家グループ規格（例えば、ＭＰＥＧ−
１（１１１７２−*）、ＭＰＥＧ−２（１３８１８−*）およびＭＰＥＧ−４）、
Ｈ．２６１とＨ．２６３が含まれる。
【００１３】 装置１００はエンコーダ、すなわち、より複雑なブロックをベースとする動き
補償コーディング・システムの一部である。装置１００は事前処理モジュール１
２０、動き推定モジュール１４０、動き補償モジュール１５０、レート制御モジ
ュール１３０、変換モジュール（例えば、離散コサイン変換（ＤＣＴ）モジュー
ルまたはウエーブレット変換モジュール）１６０、量子化モジュール（Ｑ）１７
０、コーダー（例えば、可変長コーディング（ＶＬＣ）モジュール）１８０、バ
ッファ１９０、反転量子化モジュール（Ｑ-1）１７５、反転変換モジュール（例
えば、反転ＤＣＴモジュールまたは反転ウエーブレット変換）１６５、減算器１
１５および加算器１５５からなる。エンコーダ１００は複数のモジュールからな
るが、当該技術において明白なように、種々のモジュールによって実行される機
能は図１に示したように別体モジュールに分離される必要はない。例えば、動き
補償モジュール１５０、反転量子化モジュール１７５および、反転ＤＣＴモジュ
ール１６５からなる一連のモジュールが、一般的に「埋設デコーダ」として知ら
れている。
【００１４】 図１はＭＰＥＧ規格に基づくルミナンス信号と二つの異なる色信号（Ｙ，Ｃr
，Ｃb）としてデジタル化され、表されるパス１１０上の入力画像（画像シーケ
ンス）を示している。これらの信号はさらに、各映像（フレーム）が複数のマク
ロブロックによって表されるような複数の層に分割される。各マクロブロックは
四つ（４）のルミナンス・ブロックと、一つのＣrブロックと一つのＣbブロック
からなり、各ブロックは８個ｘ８個のサンプル・アレイとして規定されている。
【００１５】 次の説明はＭＰＥＧ規格の用語を使用しているが、用語のマクロブロックまた
はブロックは、エンコーディングの基本として使用されるあらゆるサイズまたは
形状の画素のブロックを説明することを意図していることに注意しなければなら
ない。大まかに言えば、「マクロブロック」または「ブロック」は、単一画素く
らいに小さく、また全ビデオ・フレームくらいに大きい。
【００１６】 好ましい実施形態において、デジタル化入力画像信号は事前処理モジュール１
２０内で一つまたはそれ以上の事前処理ステップを受ける。より詳しく説明する
と、事前処理モジュール１２０は、フレーム内の比較的重要なブロックを分類す
るためのブロック分類器１２１からなる。このブロック分類器１２１は、一つま
たはそれ以上の検出器を使用する高い重要度または低い重要度のエリアとして迅
速にエリア（例えば、ブロック）を分類し、「重要マップ」または「クラス・マ
ップ」を発生するように使用される。重要マップはコーディング・ビットを割り
当てるのに使用することができる。
【００１７】 図１に戻って、パス１１０上の入力画像は動きベクトルを評価するために動き
推定モジュール１４０でも受信される。動きベクトルは２次元ベクトルであって
、動き補正によって使用され、現在映像中のブロックの座標位置から標準フレー
ム中の座標までのオフセットを提供する。動きベクトルの使用は、現在フレーム
内の変化のみがコード化され伝送されるために、チャネル上に伝送された情報量
を縮小することによって画像圧縮を大きく高める。
【００１８】 動き推定モジュール１４０からの動きベクトルが、サンプル値の推定の効率を
改善するために動き補正モジュール１５０によって受けられる。すなわち、動き
補正モジュール１５０は、前回デコードされたフレームと動きベクトルとを使用
して、パス１５２上に現在フレームの評価（動き補正予想または予想画像）を構
成する。この動き補正予想は減算器１１５を介して、現在のマクロブロック内の
パス１１０の入力画像から減算してパス１５３上のエラー信号（ｅ）または予想
残量を形成する。
【００１９】 予想残量信号が変換モジュール、例えばＤＣＴモジュール１６０または離散ウ
エーブレット変換（ＤＷＴ）のような変換モジュールを通過する。次にＤＣＴモ
ジュールが、順方向離散コサイン変換処理を予想残留信号の各ブロックに適用し
てＤＣＴ係数の一連の８×８ブロックを生成する。
【００２０】 ＤＣＴ係数の得られた８×８ブロックが量子化（Ｑ）モジュール１７０によっ
て受けられ、ここでＤＣＴ係数が量子化される。量子化の処理が、正確さを低下
させ、これによってＤＣＴ係数がＤＣＴ係数で分割することによって適切な丸め
で量子化値またはスケールで表され、整数値が形成される。ＤＣＴ係数をこの値
で量子化することによって、多くのＤＣＴ係数がゼロに変換され、これによって
画像圧縮効率が改善される。
【００２１】 次に、量子化ＤＣＴ係数の結果としての８×８ブロックが信号接続部１７１を
介してコーダー、例えば可変長コーディング・モジュール１８０によって受けら
れ、ここで量子化係数の２次元ブロックが「ジグザグ」オーダーで走査され、こ
れが量子化ＤＣＴ係数の１次元ストリングに変換される。次に可変長コーディン
グ（ＶＬＣ）モジュール１８０が、マクロブロック・タイプと動きベクトルのよ
うなマクロブロックのための量子化ＤＣＴ係数列と全てのサイド情報を有効デー
タ・ストリームにエンコードする。
【００２２】 データ・ストリームがバッファ、例えば「先入れ先だし」（ＦＩＦＯ）バッフ
ァ１９０で受け入れ、エンコーダ出力をチャネルとマッチさせビット・レートを
平滑にする。従って、ＦＩＦＯバッファ１９０からのパス１９５上の出力信号が
入力画像１１０の圧縮表現となり、ここで信号が記憶媒体または通信チャネルに
送られる。
【００２３】 定格制御モジュール１３０がＦＩＦＯバッファ１９０へ入るデータ・ストリー
ムのビット・レートをモニターし調整する作用をして、データ・ストリームの送
信後、デコーダ・サイド（受信機またはターゲット記憶装置（図示省略）内にあ
る）におけるオーバーフローとアンダーフローを阻止する。本発明の一実施形態
において、量子化の処理はブロック分類器１２１から受信された重要情報に基づ
いて調整され、ビット割り当てを実行する。すなわち、量子化はエンコーダを制
御してその出力を所与のビット・レートにマッチさせる（レート制御）効果的な
ツールである。すなわち、より高い量子化スケールが多数のコーディング・ビッ
トを減少させる一方で、より低い量子化スケールが多数のコーディング・ビット
を増大させる。異なる量子化値が、各マクロブロックのために、各サブ−ブロッ
クのために、あるいはそれぞれのＤＣＴ係数のためにも選択できるので、コーデ
ィング・ビットの量が量子化スケールの適切な選択によって厳密に制御できる。
【００２４】 すなわち、共通の画像コーディング標準において、量子化パラメータまたはス
ケールＱの変更は、画像のあらゆる部分の品質を制御する。従って、種々のエリ
アの重要性における差がビューアに反映されるために、フレームの異なるエリア
を異なるＱでコード化できる。本発明において、一つの方法が提示され、厳密な
制御がフレームに割り当てられたビット上に維持されるようにして、フレームを
横切ってＱを変化させ、またＱがブロックの比較的重要性を反映する。この順応
性のあるビット割当方法の詳細な説明を以下に示す。
【００２５】 図１を再度参照して、量子化モジュール１７０からの量子化ＤＣＴ係数の結果
としての８×８ブロックが、信号接続部１７２を介して反転量子化モジュール１
７５と反転ＤＣＴモジュール１６５によって受信される。簡単に説明すると、こ
の段階で、エンコーダがデータをデコードすることによって画像シーケンスのＩ
−フレームとＰ−フレームを調整し、これによってフレームが続くエンコーディ
ングのための基準フレームとして使用される。
【００２６】 本発明において、ブロック分類器１２１は肌色検出器１２２、エッジ検出器１
２３、動き検出器１２４、重要度マップまたはクラス・マップ発生器１２７およ
び、例えば前のフレームの重要マップを記憶するためのメモリのような記憶装置
１２５からなる。一実施形態において、重要マップ発生器１２７は全ての検出器
またはモジュール１２２〜１２５からの情報を使用して、重要マップを生成する
。しかし、このブロック分類器はこれに限定されず、また前記検出器またはモジ
ュール１２２〜１２５の組み合わせが重要マップを発生させるのに使用できるこ
とを理解しなければならない。
【００２７】 肌色検出器１２２は、画像中の肌色エリア（例えば、顔、手および脚等のよう
な肌色情報）を検出する方法を使用し、マクロブロック分類のためにこのような
検出を適用する。より詳しく説明すると、この肌色検出方法は、肌色が極めて区
別しやすいこと、色および彩度の局部的測定によって検出できるような観察に基
づいている。特に、Ｃｒ−Ｃｂ平面（クロミナンス平面）の肌色の分布は（図３
に示すように）使用される。これはデータがほとんどのソース・データ（ＹＣｒ
・Ｃｂフォーマットに記憶された）で直接利用可能だからである。
【００２８】 より詳しく説明すると、図３はハッチングで表わしたように決定領域３５０の
図を示す。すなわち、この決定領域３５０は、クロミナンス平面中のあるエリア
を包含する多数の直線３１０、３２０、３３０および３４０によって規定されて
いる。傾斜線と切片３１０、３２０、３３０および３４０がいくつかのトレーニ
ング画像シーケンスで引かれており、また肌色検出器が他の画像について試験さ
れる。この決定領域内にある対応するクロミナンス値を有するブロックはしばし
ば顔面情報を含んでいることが観測され、これによってこの肌色検出方法で、こ
のようなブロックが肌色ブロックとして分類される。より詳しくは、直線３１０
、３２０、３３０および３４０は、次のように表わすことができる： Ｃb≦−５．７Ｃｒ＋２２７（線３１０に関し） （１） Ｃb≧−Ｃr−１０ （線３２０に関し） （２） Ｃr≧３ （線３３０に関し） （３） Ｃb＜−１ （線３４０に関し） （４） 規定された決定領域３５０は、異なる人種の肌色を包含し、また多数の異なる
照明（照度）を含むことを意図している。これらの４本の傾斜線と切片は、わず
かに変化し、一方ではなおも決定領域を適切に規定することに注意しなければな
らない。Ｒ、Ｇ、Ｂ、ＣrおよびＣb値は、Ｍ×Ｍブロックに渡る平均として得る
ことができ、各ブロックは肌色（Ｓ）として、あるいは肌色（ＮＳ）ではないよ
うに分類される。典型的なブロック−サイズは８×８と４×４である。クロマ−
フォーマットが４：２：０であれば、Ｃr、Ｃbデータ内の対応するブロック−サ
イズはそれぞれ４×４と２×２であることに注意しなければならない。これは低
いビット−レートＨ．２６３／Ｈ．２６３＋コーダーを伴う普通の状態の場合で
ある。
【００２９】 一実施形態において、機能を改善するために、彩度に基づく制限が付加され、
Ｒ成分が制限され小さい要素によってＧ成分とＢ成分が大きくされる。
【００３０】 この要素は次のように表わされる： Ｒ≧１．０５Ｇ （５） Ｒ＞１．２５Ｂ （６） これは肌色が、多い赤の量を有しているという事実に反映している。Ｃr−Ｃb 平面内の分布も、肌色が極めて少ない青を有していることを表している。このさ
らなる修正は肌色検出器内にルミナンス情報を陰関数表示で使用することに注意
しなければならない。
【００３１】 一度フレーム内の全てのブロックが、「肌色ブロック」または「非肌色ブロッ
ク」として分類されると、次に肌色検出器１２２が、より高いレベル、すなわち
、マクロブロック・レベルでさらなる分類を適用する。すなわち、マクロブロッ
クは、サブブロックの少なくとも一つが肌色ブロックとして分類されれば、「重
要」と宣言される。
【００３２】 さらに、一度マクロブロックが分類されると、分類の改善が適用される。顔の
ある特徴、例えば顔の目は肌色として分類されない。このような「充填」または
「除去」は、図５に示したように肌色ブロック分類処理を改善するのに適用され
る。
【００３３】 例えば、マクロブロックの列内で、「非肌色（ＮＳ）」マクロブロック５１２
が二つの近接「肌色（Ｓ）マクロブロック５１１と５１３（左と右）を有してお
れば、マクロブロック５１２が「肌色」マクロブロックを宣言する。同様にして
、「非肌色」マクロブロック（例えば、５１５）が、肌色マクロブロックとして
４個の近接ブロック（例えば、５１３、５１４および５１６）（上、下、左およ
び右）の内３個を有しておれば、「肌色」マクロブロックとして宣言する。
【００３４】 「充填」処理が二つの重要な目的で機能する。第１に、上述したように、肌色
検出器１２２が目のような顔のある部分を検出しなければ、メガネ等のような顔
に関して着けるられた他の物品の可能性がある。従って、これらのブロックは重
要としても分類される。
【００３５】 第２に、充填処理は映像またはフレーム内の量子化器の数も最少にする。量子
化器の変化が、その内部およびそれ自体の変化が低いビット・レートにおいて極
めて高価であることに注意しなければならない。すなわち、ビットは量子化スケ
ール変化をデコーダに知らせることに費やされる。
【００３６】 これに反して、「除去」処理はマクロブロックの誤分類を排除するのに展開さ
れる。例えば、非肌色マクロブロックによって取り巻かれた分離された肌色ブロ
ック５１７が、非肌色ブロックとして再分類されることになる。
【００３７】 最終的に、充填と排除処理はマクロブロック・レベルの代わりにブロック・レ
ベルで実行される。さらに、より高いレベルの顔面分類が、例えばスライス・レ
ベル等に使用できる。
【００３８】 要約すると、図２は肌色ブロックまたは非肌色ブロックとしてブロックを検出
し、分類するための本発明の方法２００のフローチャートを示す。より詳しく説
明すると、方法２００はステップ２０５で開始され、ステップ２１０に進行し、
ここで方法２００が、顔面分類のためのフレームから第１ブロックを選択する。
【００３９】 ステップ２２０において、方法２００は、上述したように決定領域に基づいて
肌色ブロックか、または非肌色ブロックとして選択されたブロックを分類する。
すなわち、選択されたブロックの対応するクロミナンス成分が決定領域内にあれ
ば、次にブロックが肌色ブロックとして分類される。そうでなければ、ブロック
は非肌色ブロックとして分類される。
【００４０】 ステップ２３０において、方法２００は現在フレーム内に付加的ブロックがあ
るか否かの質問をする。この質問に対して肯定的な回答があれば、次に方法２０
０がステップ２１０に進行し、次のブロックが選択される。質問に対して否定的
な回答があれば、次に方法２００がステップ２４０に進行し、ここでブロックの
分類が上述したように充填および／または除去クリテリアに基づいて再度修正さ
れる。さらに、より高いオーダーの分類、例えば、マクロブロック分類もこのス
テップで実行できる。次に方法２００がステップ２４５で終了する。
【００４１】 図１に戻って、ブロック分類器１２１が、オブジェクトのエッジを保有してい
るフレーム内でブロックを検出するための検出器１２３からなる。「エッジ・ブ
ロック」の位置の識別が種々の画像処理機能、例えば動きの推定の改善に利用で
きるので、このような「エッジ・ブロック」も重要であると考えられる。エッジ
・ブロックの検出方法については、「Ｍ−Ａｒｙピラミッドを使用して特性を基
本とする分類および動きを推定する装置および方法」と称する本願と同じ出願人
による１９９７年１２月３１日出願の米国特許願第０９／００２，２５８号に開
示されており、ここでは参考例として取り入れる。従って、ブロック分類器の全
体的重要マップは、次にさらに詳しく説明するようにエッジ検出器１２３からの
エッジ・ブロック情報を使用して発生または細分化される。
【００４２】 ブロック分類器１２１は、前回フレームに相対して移動するフレーム内のブロ
ックを検出するための動き検出器１２４からなる。この種の動き認識は種々の画
像処理機能、例えば、より多くのビットを動きブロックに割り当てするために活
用できる。動きブロックを検出する方法についても、「Ｍ−Ａｒｙピラミッドを
使用して特性を基本とする分類および動き推定する装置および方法」と称する米
国特許出願に開示されている。再度、ブロック分類器の全体的重要マップは、次
にさらに詳しく説明するように動き検出器１２４からの動きブロック情報を使用
して発生または細分化される。
【００４３】 ブロック分類器１２１は、前回フレームの重要マップを記憶するための記憶装
置１２５からなる。このブロック分類器１２１は重要マップを細分化するための
前回フレームの重要マップを活用できる。すなわち、重要マップのこの一時的組
み合わせが、顔のエッジ知覚のカバーされていないエリア、または動きエリアの
検出を許容し、改善された視覚的実行の結果となる。例えば、連続するフレーム
間の内容に関連するために、重要なブロックが現在のフレームに現れそうである
かどうか予想することが時々可能である。一つの有効な例は部分的に閉じ込めら
れた重要なオブジェクトの出現である。オブジェクトの一部がすでに重要として
分類され、また動き情報が利用可能であるので、閉じ込められたオブジェクトの
さらなるブロックが、他のオブジェクトの背後から見えるように移動する閉じ込
められたオブジェクトのように重要として分類できる。従って、前回の重要マッ
プを使用する他の利点は品質的に一時的な「滑らかさ」を保証する能力である。
再度、ブロック分類器の全体的重要マップが、次により詳しく説明するように、
記憶モジュール１２５からの前回フレームの重要マップを使用して発生または細
分化できる。
【００４４】 最終的に、ブロック分類器１２１は、重要なマップを発生するためのマップ発
生器または分別器１２７からなる。マップ発生器１２７が検出器とモジュール１
２２〜１２５からの情報に関係するブロック分類を受信し、次に全体的重要マッ
プを発生する。一実施形態において、検出器からの種々の入力が表１に示したよ
うに重り付けされる。
【００４５】
【表１】
【００４６】 すなわち、表１の有効値の決定は一般的に次のように表わされる：
【００４７】 特定する適用に依存して、上述の検出器のいずれの組み合わせも使用できるこ
とに注意しなければならない。そういうものとして、上述したような有効値の割
り当てスキームが例として提供される。
【００４８】 例えば、肌色検出器およびエッジ検出器のみが使用されれば、実例となる有効
値割り当てスキームは次のようになる：
【００４９】 一度、全重要マップがブロック分類器によって発生されると、重要マップがエ
ンコーダによって実行適用ビット割り当てに適用される。より詳しく説明すると
、各マクロブロックのための量子化スケールＱが、次のようなにマクロブロック
の重要度に基づいて調整される：
【００５０】 ここに、Ｑｉは現在のマクロブロックｉにおける量子化スケール、Ｑpは前回映
像またはフレームに対する平均量子化スケール、ｇｌｏｂａｌ＿ａｄｊは全体的
調整、ｌｏｃａｌ＿ａｄｊはローカル調整、またＩｍｐ＿ｆａｃｔｏｒは、次に
説明するように重要マップから導出された現在のマクロブロックにおける重要要
素である。ｇｌｏｂａｌ＿ａｄｊは、次のように表わされる：
【００５１】 ここに、Ｂｐｒｅｖは前回フレームをエンコードするのに使用されるビット、ま
たＴは現在フレームのためのターゲット・ビット・レートである。
【００５２】 ｌｏｃａｌ＿ａｄｊは、この現在フレームでこれまでに使われた実際のビット
数と、これまでに使われたと推定される計画されたビット数との間の偏差に基づ
いて算出される。従って、現在フレームに対してターゲット・ビット・レートに
達するために、使い過ぎ条件が存在すれば、Ｑは増大し、一方使い方が少なけれ
ば、Ｑが減少する。従って、 ｌｏｃａｌ＿ａｄｊは次のように表わされる：
【００５３】 ここに、ｋは経験的定数（例えば１２）、ａｃｔｕａｌ＿ｂｉｔｓ＿ｓｐｅｎ
ｔ＿ｓｏ＿ｆａｒは現在のマクロブロックまでに使われたビット数、「プロジェ
クション」は現在のマクロブロックまでに使われるように計画されたビット数、
ｂｉｔ−ｒａｔｅはシーケンスをエンコードするために使用された１秒当りのビ
ットにおける率である。「プロジェクション」を決定する一つの方法は次の通り
である：
【００５４】 ここに、ｗiはマクロブロックｉの重さ（ここではｗiは重要なクラス（例えば、
０．６より大きいＳＶで）約１．２または１．３、また、あまり重要でないクラ
ス（例えば、０．６に等しいＳＶで）１．０であり、またクラス−マップまたは
有効マップから導出されたものであり、ｄiはマクロブロックｉのゆがみ（動き
補正とイントラ／インター・モード決定の後）である。
【００５５】 そのうちにコード化されるマクロブロックと比較したときに、重要要素がこの
マクロブロックの相対的重要性に反映するように使用される。重要要素の決定に
使用される一つの方法は、次の通りである：
【００５６】 ここにεは０よりも大きい（ほぼ０．０１）、μは１よりも大きい（ほぼ１．２
）、Ｎremは現在フレーム中の残りのマクロブロック、Ｂiはｉ番目のマクロブロ
ックの有効値、また、Ｂcurrは例えば重要マップに記憶された現在のマクロブロ
ックの有効値である。上述の量子化器の更新は各マクロブロックにおいて実行す
る必要はないことに注意しなければならない。その代わりに、量子化器は、マク
ロブロックがラスター走査されてブロック分類器が一つのクラスから他のクラス
に移動されたときにのみ変更される。
【００５７】 しかし、上述の量子化更新方法は、例えば２の閾値よりも大きいＱで変更を必
要とする場合は、このような変更は一つより大きいマクロブロックに渡り分布し
なければならない。これはある標準、例えばＨ−２６３が、両方向にせいぜい２
だけ量子化スケールで変えることができる。しかし、この制限は適用例と適切な
適用可能な標準例に依存して存在するものではない。それにもかかわらず、この
選択的な更新は映像内で量子化変更の回数を最少にし、また低いビット−レート
で有効になるオーバーヘッド情報を縮小する働きがある。
【００５８】 要約すると、図４は重要情報を印加して量子化レベルに、またはブロックのた
めのスケールに適切に調整する方法４００のフローチャートを示す。方法４００
はステップ４０５で開始され、ステップ４１０へ進行し、ここで方法４００がビ
ット割り当てのためにフレームから第１ブロックを選択する。
【００５９】 ステップ４２０において、上述したように選択されたマクロブロックのための
重要情報を得る。すなわち、有効値が現在選択されたマクロブロックのために重
要マップから得られる。
【００６０】 ステップ４３０において、量子化Ｑが重要情報に基づいて現在のマクロブロッ
クのために選択される。すなわち、量子化Ｑが上述の式（９）に基づいて選択さ
れる。
【００６１】 ステップ４４０において、方法４００が現在フレーム中に付加的ブロックがあ
るか否かを質問する。この質問に対して肯定的な回答であれば、方法４００はス
テップ４１０に進行し、次のブロックが選択される。質問に対して否定的な回答
であれば、方法４００はステップ４４５で終了する。
【００６２】 図６は本発明のエンコーディング・システム６００を示す。このエンコーディ
ング・システムは汎用コンピュータ６１０と種々の入力／出力デバイス６２０か
らなる。汎用コンピュータは中央処理装置（ＣＰＵ）６１２、メモリ６１４およ
び一連の画像を受信しエンコードするためのエンコーダ６１６とからなる。
【００６３】 好ましい実施形態において、エンコーダ６１６は上述した単なるエンコーダ１
００である。このエンコーダ６１６は物理的デバイスで、中心チャネルを介して
ＣＰＵ６１２に接続されている。別の方法として、エンコーダ６１６は例えば磁
気ディスクまたは光ディスクの記憶デバイスからロードされ、またコンピュータ
のメモリ６１４に入っているソフトウエア・アプリケーションに代えることもで
きる。このようにして、本発明のエンコーダ１００はコンピュータ読取可能媒体
に記憶することができる。
【００６４】 コンピュータ６１０は、複数の入力／出力デバイス６２０に接続することがで
き、このデバイスはキーボード、マウス、カメラ、カムコーダ、ビデオ・モニタ
ーのような複数の入力／出力デバイス６２０に接続することができ、多数の画像
デバイスまたは記憶デバイスにはこれに限定するものではないが、テープ・ドラ
イブ、フロッピー・ドライブ、ハードディスク・ドライブまたはコンパクト・デ
ィスク・ドライブが含まれる。入力デバイスは入力をコンピュータに提供してエ
ンコードされたビデオ・ビットストリームを生成するか、または記憶デバイスま
たは画像デバイスから一連のビデオ画像を受信する働きをする。最終的に、通信
チャネル６３０を示す。ここでエンコーディング・システムからのエンコード化
信号がデコーディング・システム（図示省略）に送られる。
【００６５】 本発明の教示を取り入れた種々の実施形態を示して詳細に説明したが、当該技
術においてはこれらの技術をなおも取り入れて多くの他の変形実施形態も容易に
発明することが可能である。
【図面の簡単な説明】
【図１】 種々のエリアの相対的「重要性」に基づき、また重要情報を適応するようにし
て使用して、画像の領域を分類しコード化ビットを割り当てするための本発明の
エンコーダのブロック図である。
【図２】 肌色ブロックまたは非肌色ブロックを検出するとともに分類するための方法の
フローチャートである。
【図３】 肌色ブロックが現れそうな規定された領域を有するクロミナンス平面を示す図
である。
【図４】 重要な情報を適用してブロックのための量子化レベルまたはスケールを適用可
能に調整する方法のフローチャートである。
【図５】 肌色ブロックおよび非肌色ブロックとして分類されるブロックを有するフレー
ムの一部のブロック図である。
【図６】 本発明のエンコーディング・システムを示す図である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＢＲ，ＣＡ，Ｃ Ｎ，ＩＮ，ＪＰ (72)発明者 セテューラマン， スリラム アメリカ合衆国， ニュー ジャージー 州， ハイツタウン， ケンジントン ア ームズ アパートメンツ ナンバー28−ビ ー Ｆターム(参考） 5C059 KK00 MA00 MA05 MA14 MA23 MC11 MC38 ME01 NN01 NN21 PP04 PP16 SS06 SS11 SS20 TA46 TA60 TB07 TC02 TC13 TC41 TD08 TD15 UA02 UA32

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 現画像内でブロックを分類する方法であって、 （ａ）クロミナンス平面中で現画像内のブロックのクロミナンス成分をマッピ
    ングするステップと； （ｂ）前記クロミナンス平面中で４本の直線による決定領域を規定するステッ
    プと； （ｃ）前記クロミナンス成分が前記決定領域内に存在すれば、肌色ブロックと
    して前記ブロックを分類する現在画像内でブロックを分類する方法。
  2. 【請求項２】 （ｃ）前記肌色ブロックを加えて重要なマップを形成する印
    加ステップをさらに含む請求項１に記載の方法。
  3. 【請求項３】 前記印加ステップ（ｃ）が、 （ｃ１）エッジ・ブロックを使用して前記重要なマップを発生するステップを
    さらに含む請求項２に記載の方法。
  4. 【請求項４】 前記印加ステップ（ｃ）が、 （ｃ１）動きブロックを使用して前記重要なマップを発生するステップをさら
    に含む請求項２に記載の方法。
  5. 【請求項５】 前記印加ステップ（ｃ）が、 （ｃ１）前回画像の重要な画像マップを使用して現画像の重要なマップを発生
    するステップをさらに含む請求項２に記載の方法。
  6. 【請求項６】 画像内のブロックにコーディング・ビットを割当てる方法で
    あって、 （ａ）画像内のブロックのための重要な情報を得るステップと； （ｂ）前記重要な情報に基づいて前記ブロックにコーディング・ビットを割当
    てるステップと； とからなる画像内のブロックにコーディング・ビットを割当てる方法。
  7. 【請求項７】 重要な情報を得る前記ステップ（ａ）が、 （ａ１）肌色ブロックを検出するためにブロック分類器から重大な情報を受信
    するステップからなる請求項６に記載の方法。
  8. 【請求項８】 前記割当てステップ（ｂ）が、 （ｂ１）ブロックの有効（重大）性を考慮して重要要素に基づいてコーティン
    グ・ビットを割当てるステップからなる請求項６に記載の方法。
  9. 【請求項９】 画像内のブロックにコーディング・ビットを割当てるための
    装置（１００、６１０）であって、 画像内に少なくとも一つのブロックの重要情報を示すために重要マップを発生
    させるブロック分類器（１２１）と； 前記ブロック分類装置に接続され、前記重要情報に基づいて前記ブロックにコ
    ーディング・ビットを割当てるためのコントローラ（１３０）と； からなる画像内のブロックにコーディング・ビットを割当てるための装置（１
    ００、６１０）。
  10. 【請求項１０】 複数の命令をその上に記憶されたコンピュータ読取可能
    媒体において、複数の命令が、プロセッサによって実行されたときに、プロセッ
    サをして： （ａ）クロミナンス平面内の現画像中にブロックのクロミナンス成分をマッピン
    グするステップと； （ｂ）前記クロミナンス平面内に４本の直線によって決定領域を規定するステ
    ップと； （ｃ）前記クロミナンス成分が前記決定領域内にあれば、肌色ブロックとして
    前記ブロックを分類するステップと； からなるステップを実行せしめる複数の命令をその上に記憶されたコンピュー
    タ読取可能媒体。
JP2000557432A 1998-06-26 1999-06-25 ブロック分類と適用ビット割当て方法および装置 Pending JP2002519914A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US9081398P 1998-06-26 1998-06-26
US60/090,813 1998-06-26
US09/295,878 US6275614B1 (en) 1998-06-26 1999-04-21 Method and apparatus for block classification and adaptive bit allocation
US09/295,878 1999-04-21
PCT/US1999/014508 WO2000000932A1 (en) 1998-06-26 1999-06-25 Method and apparatus for block classification and adaptive bit allocation

Publications (1)

Publication Number Publication Date
JP2002519914A true JP2002519914A (ja) 2002-07-02

Family

ID=26782661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000557432A Pending JP2002519914A (ja) 1998-06-26 1999-06-25 ブロック分類と適用ビット割当て方法および装置

Country Status (5)

Country Link
US (1) US6275614B1 (ja)
EP (1) EP1092209A1 (ja)
JP (1) JP2002519914A (ja)
KR (1) KR100298416B1 (ja)
WO (1) WO2000000932A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009087323A (ja) * 2007-09-14 2009-04-23 Canon Inc 画像処理装置、及び、特定領域検出方法
JP2013524682A (ja) * 2010-04-07 2013-06-17 アップル インコーポレイテッド ビデオ会議圧縮のための皮膚トーンおよび特徴検出
US8538092B2 (en) 2007-09-14 2013-09-17 Canon Kabushiki Kaisha Image processing apparatus

Families Citing this family (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US7352394B1 (en) 1997-10-09 2008-04-01 Fotonation Vision Limited Image modification based on red-eye filter analysis
US7630006B2 (en) * 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US6731807B1 (en) * 1998-09-11 2004-05-04 Intel Corporation Method of compressing and/or decompressing a data set using significance mapping
US7057636B1 (en) * 1998-12-22 2006-06-06 Koninklijke Philips Electronics N.V. Conferencing system and method for the automatic determination of preset positions corresponding to participants in video-mediated communications
JP2000197050A (ja) * 1998-12-25 2000-07-14 Canon Inc 画像処理装置及び方法
US6754389B1 (en) * 1999-12-01 2004-06-22 Koninklijke Philips Electronics N.V. Program classification using object tracking
JP2002238060A (ja) * 2001-02-07 2002-08-23 Sony Corp 画像符号化方法、画像符号化装置、プログラムおよび記録媒体
WO2003015423A1 (en) * 2001-08-02 2003-02-20 Sony Corporation Image processing apparatus and method, and image processing program
US20030123538A1 (en) * 2001-12-21 2003-07-03 Michael Krause Video recording and encoding in devices with limited processing capabilities
WO2003063506A1 (en) * 2002-01-22 2003-07-31 Koninklijke Philips Electronics N.V. Computation of compressed video information
AU2003239255A1 (en) * 2002-06-28 2004-01-19 Koninklijke Philips Electronics N.V. Spatial scalable compression
AU2003280512A1 (en) * 2002-07-01 2004-01-19 E G Technology Inc. Efficient compression and transport of video over a network
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US7587085B2 (en) 2004-10-28 2009-09-08 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7471846B2 (en) * 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US8036458B2 (en) 2007-11-08 2011-10-11 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US7689009B2 (en) 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7536036B2 (en) 2004-10-28 2009-05-19 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US7970182B2 (en) 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US8494286B2 (en) * 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US7920723B2 (en) 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US8218624B2 (en) * 2003-07-18 2012-07-10 Microsoft Corporation Fractional quantization step sizes for high bit rates
US7580584B2 (en) * 2003-07-18 2009-08-25 Microsoft Corporation Adaptive multiple quantization
US7602851B2 (en) * 2003-07-18 2009-10-13 Microsoft Corporation Intelligent differential quantization of video coding
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US9412007B2 (en) 2003-08-05 2016-08-09 Fotonation Limited Partial face detector red-eye filter method and apparatus
US8520093B2 (en) 2003-08-05 2013-08-27 DigitalOptics Corporation Europe Limited Face tracker and partial face tracker for red-eye filter method and apparatus
US20050031224A1 (en) * 2003-08-05 2005-02-10 Yury Prilutsky Detecting red eye filter and apparatus using meta-data
KR100601933B1 (ko) * 2003-11-18 2006-07-14 삼성전자주식회사 사람검출방법 및 장치와 이를 이용한 사생활 보호방법 및 시스템
US7801383B2 (en) 2004-05-15 2010-09-21 Microsoft Corporation Embedded scalar quantizers with arbitrary dead-zone ratios
US7668376B2 (en) * 2004-06-30 2010-02-23 National Instruments Corporation Shape feature extraction and classification
US7724959B2 (en) * 2004-09-23 2010-05-25 Fuji Xerox Co., Ltd. Determining regions of interest in photographs and images
US7848567B2 (en) * 2004-09-23 2010-12-07 Fuji Xerox Co., Ltd. Determining regions of interest in synthetic images
US7403562B2 (en) * 2005-03-09 2008-07-22 Eg Technology, Inc. Model based rate control for predictive video encoder
US8422546B2 (en) 2005-05-25 2013-04-16 Microsoft Corporation Adaptive video encoding using a perceptual model
US8019170B2 (en) 2005-10-05 2011-09-13 Qualcomm, Incorporated Video frame motion-based automatic region-of-interest detection
US8208758B2 (en) * 2005-10-05 2012-06-26 Qualcomm Incorporated Video sensor-based automatic region-of-interest detection
US7904455B2 (en) * 2005-11-03 2011-03-08 Fuji Xerox Co., Ltd. Cascading cluster collages: visualization of image search results on small displays
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
JP4643715B2 (ja) 2006-02-14 2011-03-02 テセラ テクノロジーズ アイルランド リミテッド 赤目ではない目の閃光による不良の自動的な検知および補正
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US7974340B2 (en) 2006-04-07 2011-07-05 Microsoft Corporation Adaptive B-picture quantization control
US8130828B2 (en) 2006-04-07 2012-03-06 Microsoft Corporation Adjusting quantization to preserve non-zero AC coefficients
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
DE602007012246D1 (de) 2006-06-12 2011-03-10 Tessera Tech Ireland Ltd Fortschritte bei der erweiterung der aam-techniken aus grauskalen- zu farbbildern
US8050496B2 (en) * 2007-01-09 2011-11-01 Sharp Laboratories Of America, Inc. Color gamut mapping/enhancement technique using skin color detection
US8055067B2 (en) * 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US8238424B2 (en) 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
JP2010520567A (ja) 2007-03-05 2010-06-10 フォトネーション ビジョン リミテッド 顔の位置および向きを用いた赤目の誤検出フィルタリング
US8498335B2 (en) 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
US8331438B2 (en) 2007-06-05 2012-12-11 Microsoft Corporation Adaptive selection of picture-level quantization parameters for predicted video pictures
US8503818B2 (en) 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
GB2455142A (en) * 2007-11-30 2009-06-03 Tandberg Television Asa Pre-processing of image data by marking of macroblocks
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
US8189933B2 (en) 2008-03-31 2012-05-29 Microsoft Corporation Classifying and controlling encoding quality for textured, dark smooth and smooth video content
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US20100014715A1 (en) * 2008-07-17 2010-01-21 Siou-Shen Lin Image processing apparatus having texture information consideration and method thereof
US8570359B2 (en) * 2008-08-04 2013-10-29 Microsoft Corporation Video region of interest features
US8081254B2 (en) 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
US8730332B2 (en) 2010-09-29 2014-05-20 Digitaloptics Corporation Systems and methods for ergonomic measurement
US8538164B2 (en) 2010-10-25 2013-09-17 Microsoft Corporation Image patch descriptors
CN103404138B (zh) * 2011-01-05 2017-01-18 皇家飞利浦电子股份有限公司 保留ppg相关信息的视频编码与解码设备及方法
EP2661885A2 (en) * 2011-01-05 2013-11-13 Koninklijke Philips N.V. Video coding and decoding devices and methods preserving ppg relevant information
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8913005B2 (en) 2011-04-08 2014-12-16 Fotonation Limited Methods and systems for ergonomic feedback using an image analysis module
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US20140341302A1 (en) * 2013-05-15 2014-11-20 Ce Wang Slice level bit rate control for video coding
CN104349171B (zh) * 2013-07-31 2018-03-13 上海通途半导体科技有限公司 一种视觉无损的图像压缩编、解码装置及编、解码方法
TWI538487B (zh) 2013-12-05 2016-06-11 財團法人工業技術研究院 螢幕視訊之預測編碼的方法與系統
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
KR20180053028A (ko) 2016-11-11 2018-05-21 삼성전자주식회사 계층 구조를 구성하는 프레임들에 대한 인코딩을 수행하는 비디오 처리 장치
GB2563037A (en) * 2017-05-31 2018-12-05 Nokia Technologies Oy Method and apparatus for image compression

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2088082C (en) * 1992-02-07 1999-01-19 John Hartung Dynamic bit allocation for three-dimensional subband video coding
IT1257073B (it) * 1992-08-11 1996-01-05 Ist Trentino Di Cultura Sistema di riconoscimento, particolarmente per il riconoscimento di persone.
US5512939A (en) * 1994-04-06 1996-04-30 At&T Corp. Low bit rate audio-visual communication system having integrated perceptual speech and video coding
JP2000511363A (ja) 1994-07-14 2000-08-29 ジョンソン、グレイス、カンパニー 画像を圧縮するための方法及び装置
WO1998037811A1 (en) 1997-02-28 1998-09-03 Electro-Optical Sciences, Inc. Systems and methods for the multispectral imaging and characterization of skin tissue

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009087323A (ja) * 2007-09-14 2009-04-23 Canon Inc 画像処理装置、及び、特定領域検出方法
US8538092B2 (en) 2007-09-14 2013-09-17 Canon Kabushiki Kaisha Image processing apparatus
JP2013524682A (ja) * 2010-04-07 2013-06-17 アップル インコーポレイテッド ビデオ会議圧縮のための皮膚トーンおよび特徴検出

Also Published As

Publication number Publication date
KR100298416B1 (ko) 2001-11-14
WO2000000932A1 (en) 2000-01-06
EP1092209A1 (en) 2001-04-18
KR20000006504A (ko) 2000-01-25
US6275614B1 (en) 2001-08-14

Similar Documents

Publication Publication Date Title
JP2002519914A (ja) ブロック分類と適用ビット割当て方法および装置
US6917719B2 (en) Method and apparatus for region-based allocation of processing resources and control of input image formation
KR100578682B1 (ko) 가변 블록 크기를 이용한 계층적 움직임 추정 장치 및방법
JP3365730B2 (ja) 映像符号化のためのビット発生量調節装置及び方法
US5729295A (en) Image sequence encoding device and area extracting device
KR100539923B1 (ko) 화상통화시 화자의 영상을 구분하여 차등적 부호화할 수있는 비디오 엔코더 및 이를 이용한 비디오신호의 압축방법
US6208692B1 (en) Apparatus and method for performing scalable hierarchical motion estimation
EP1138152B8 (en) Method and apparatus for performing hierarchical motion estimation using nonlinear pyramid
JP4187405B2 (ja) 符号化方式におけるオブジェクトベースのレート制御装置及びその方法
US5832115A (en) Ternary image templates for improved semantic compression
EP2076045B1 (en) Method and system for real-time adaptive quantization control
KR100961760B1 (ko) 이산코사인변환 계수를 참조하는 움직임 추정 방법 및 장치
KR100204069B1 (ko) 적응적인 양자화 조절 기능을 갖는 개선된 영상 부호화 시스템 및 그 양자화 제어방법
JP2002223443A (ja) トランスコーディング方法およびトランスコーディング装置
US6408101B1 (en) Apparatus and method for employing M-ary pyramids to enhance feature-based classification and motion estimation
JP2005530423A (ja) 画像鮮鋭度を符号化中に最適化する方法及びシステム
JP4341078B2 (ja) 動画像情報の符号化装置
KR970060938A (ko) 인간의 시각특성을 이용한 영상신호 압축 부호화 방법 및 그 장치
JP3005147B2 (ja) 動画像符号化装置
JP2002369206A (ja) 動領域および静止領域の選択的符号化装置および方法
Choi et al. Adaptive image quantization using total variation classification
JPH07222165A (ja) ビデオ信号符号化方法
JP2003009152A (ja) ビデオ符号化におけるエッジブロックを検出して利用する方法および装置