JP2002525928A - デジタル・ビデオに対して単純形状コード化を行うための修正彩度キー技術 - Google Patents

デジタル・ビデオに対して単純形状コード化を行うための修正彩度キー技術

Info

Publication number
JP2002525928A
JP2002525928A JP2000570976A JP2000570976A JP2002525928A JP 2002525928 A JP2002525928 A JP 2002525928A JP 2000570976 A JP2000570976 A JP 2000570976A JP 2000570976 A JP2000570976 A JP 2000570976A JP 2002525928 A JP2002525928 A JP 2002525928A
Authority
JP
Japan
Prior art keywords
image area
output
color data
encoded
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000570976A
Other languages
English (en)
Inventor
パヌソポン，クリット
チェン，キュエミン
Original Assignee
ジェネラル・インスツルメント・コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジェネラル・インスツルメント・コーポレイション filed Critical ジェネラル・インスツルメント・コーポレイション
Publication of JP2002525928A publication Critical patent/JP2002525928A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Of Color Television Signals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Circuits (AREA)
  • Color Television Systems (AREA)

Abstract

(57)【要約】 【解決手段】最適化されたスイッチ閾値をもつ，デジタル・ビデオに対する，効果的な彩度キーイング基準コード化技術である。最適化された二進キーイング閾値（T）が第一のイメージ領域（バックグランド領域のような）（B）および第二のイメージ領域（前景オブジェクトのような）（A）ビデオ画像の間をスイッチするために与えられる。閾値は，キー・カラーKの量子化エラーQのPSNRを最適化する。彩度キー技術もまた，ビデオオブジェクトの形状を表示するために与えられ，ここで前景の形状情報（アルファ・プレーン）はキー出力に埋め込まれ，そのため明示のアルファ・プレーンを運び，またはアルファ・プレーン・コード化を使用する必要がない。彩度キー形状表示技術は，一般的なグレースケール形状コード化ツールのような特別なスイッチング・パターンの必要なしで，または後処理をすることなく，たとえばフェザーリング・フィルターを使用することなく，オブジェクト間の境界（500，506）でスムーズな遷移を与える。

Description

【発明の詳細な説明】
【０００１】 本発明は，最適化された，スイッチング閾値をもつ，デジタル・ビデオのため
の有効な彩度キー基準コード化のための方法および装置に関する。
【０００２】 オブジェクト操作は，マルチメディア応用例に対する望ましい特徴の一つであ
る。この機能性は，H.263+およびMPEG‐4のような開発中のデジタル・ビデオ圧
縮標準において有用である。H.263に対して，ITU-T研究グループ16，コントリビ
ューション999，決定に対する推奨H.263バージョン（“H.263+”）のドラフトテ
キスト（1997年9月）（参考文献としてここに組み入れられる）を参照。MPEG‐4
に対しては，ISO/IEC14496-2委員会ドラフト（MPEG‐4），“情報技術‐オーデ
ィオ‐ビジュアルオブジェクト：ビジュアルのコード化”（1997年10つき）（参
考文献としてここに組み入れられる）を参照。
【０００３】 MPEG‐4はビデオオブジェクトプレーン（VOP）として知られている，任意に形
状つけられたオブジェクトを処理するための形状コード化ツールを使用する。形
状コード化とともに，アルファ・プレーンとして参照される形状情報が得られる
。二進アルファ・プレーンは，修正コンテント基準算術エンコード化（CAE）に
よりエンコード化される一方で，動き補償離散グレースケール・アルファ・プレ
ーンはテクスチャーコード化と似た余弦変換（DCT）によりエンコード化される
。アルファ・プレーンが，VOPの形状を含む矩形の境界をもつ。VOPの境界をなす
矩形は，右底側において，16×16ブロックの倍数まで伸長し，伸長したアルファ
・サンプルはゼロにセットされる。伸長したアルファ・プレーンは16×16個のサ
ンプルのブロックに区分され，エンコード化/デコード化処理は各アルファ・ブ
ロックにおいて実行される。
【０００４】 しかし，このような形状コード化ツールは複雑で，低ビットレート環境下で使
用するのに適していない。特に，明示のアルファ・プレーン・データの処理およ
び伝送は，計算資源およびチャネル帯域を消費する。
【０００５】 したがって，明示のアルファ・プレーンの使用を必要としない，VOPの形状情報
および他のビデオオブジェクトをエンコード化するシステムを提供することが望
まれていよう。
【０００６】 彩度キー基準コード化は，ビデオオブジェクトを処理するためのより単純な代
替操作で，ことにエンコーダにおける形状コード化よりも，顕著に少ない処理労
力およびオーバーヘッドを必要とするにすぎない。最近，この特定の技術はH.26
3+に含まれる。
【０００７】 キーイング（keying）は，一つのビデオ信号がフレーム（たとえば画像）の一
部またはフィールドを，異なるイメージで置き換えるために，他のものに混合さ
れるという処理である。たとえば，新しい放送において，アナウンサーの頭およ
び上半身のような前景ビデオオブジェクトが，ニュートラルなカラーとなった背
景幕のような背景オブジェクトにおかれてもよい。アナウンサーが実際に背景幕
の前にいるという効果を達成するために，表示されたイメージは，テレビスクリ
ーンの各水平走査ラインの間，前景オブジェクトと背景オブジェクトとの間でス
イッチしなければならない。
【０００８】 このような効果は，種々の異なるスイッチング・パターンの一つを使用して，
一つの入力から他のものへふき取る（wipe）スイッチにより達成することができ
る。たとえば，二進スイッチング・パターンが使用できるが，表示されたイメー
ジは，工程の変化において，一つのイメージから他のものへ突然に移る。また，
ソフトキーイング技術が使用できるが，ここで，混合されまたはクロス・フェー
ド領域が二つの異なるイメージの間で，形成される，比較的漸次ランプのように
，生じる。
【０００９】 ソフトキーイングは一般的に，二進スイッチングよりもよりリアルな効果を与
える。しかし，イメージの特徴は，混合領域があまりにも大きいと減衰または失
われるである。
【００１０】 さらに，スイッチングに対して，カラーの違いの閾値を決定する際に困難なこ
とが生じる。閾値があまりにも高いとまたはあまりにも低いと，背景イメージと
前景イメージとの間のスイッチングが適正なとき時に生じない。
【００１１】 したがって，ビデオ画像（たとえば，フレーム）において，背景と前景オブジ
ェクトの間のスイッチングのための最適化された閾値を与える彩度キーイングシ
ステムを提供することが望ましい。
【００１２】 彩度キーイングシステムは，MPEG‐4およびH.263+，ならびにMPEG‐2を含む，
他のフレーム基準のビデオ圧縮標準のような既存のビデオ標準と両立すべきであ
る。
【００１３】 彩度キーイングシステムは，計算上効率的で，最小のオーバーヘッドを使用す
べきである。
【００１４】 彩度キーイングシステムは，VOPならびに他のビデオオブジェクトおよびイメ
ージと両立すべきである。
【００１５】 ビデオオブジェクトの形状を表す彩度キー技術を提供することがさらに望まし
く，ここで，前景オブジェクトの形状情報（アルファ・プレーン）はキー（keye
d）出力に埋め込まれ，したがって明示のアルファ・プレーンを運ぶ必要，または
アルファ・プレーン・コード化を使用する必要がない。
【００１６】 彩度キーソフト形状表示技術は，一般的なグレー・スケール形状コード化ツー
ルのような特別なスイッチング・パターンの必要性なく，またはたとえばフェザ
ーリング・フィルターを使用することなく，オブジェクト間の境界においてスム
ーズな遷移を与えるべきである。
【００１７】 さらに，彩度キー技術は，最小のオーバーヘッドを使用するフレーム基準圧縮
標準とともに働くべきである。
【００１８】 彩度キー技術は，一定または可変のレートエンコード化と両立すべきである。
【００１９】 彩度キー技術は，最小のキーイング閾値を決定する際に，続く使用のために，
キー・カラー・データ（たとえば，エンコード化の前に）前処理するエンコーダ
を提供しなければならない。彩度キーイング技術はこれに代えて，リアルタイム
（たとえば，イメージがエンコード化されるとき）で，最適なキーイング閾値を
決定するエンコーダを提供しなければならない。
【００２０】 本発明は，上記および他の利点をもつ彩度キーイングシステムを提供する。
【００２１】 発明の要約 本発明は，最適化されたスイッチング閾値をもつ，デジタル・ビデオ用の効率
的な彩度キー基準コード化システムのための方法および装置を提供する。
【００２２】 デジタル・ビデオ画像のラインにおいて，第一のイメージ領域（背景領域のよ
うな）と第二のイメージ領域（前景領域のような）の間の遷移をエンコード化す
るための彩度キーイングが示される。本方法は，ソフトキー（keyed）出力を得
るために，前景オブジェクトのアルファ・プレーン情報にしたがって，前景オブ
ジェクトのカラーデータとともに，背景領域の，予めエンコード化されたキー・
カラー・データ（K）をクロス・フェードする工程を含む。ソフトキー出力は，
エンコード化されたソフトキー出力を得るために，第一の量子化パラメータ（QP
）にしたがって，エンコード化される。
【００２３】 本発明はさらに，デコードされたキー・カラー・データを得るために，予めエ
ンコード化されたキー・カラー・データをコード化またはデコード化する工程，
デコード化されたキー・カー・データの量子化エラー（Q）を計算する工程，お
よび第一の量子化パラメータ（QP）および量子化エラー（Q）にしたがって，最
適なキーイング閾値（T）を決定する工程を含む。
【００２４】 リアルタイムの実施例において，予めエンコード化されたキー・カラー・デー
タのコード化およびデコードかは，エンコード化工程において使用される第一の
量子化パラメータ（QP）に応答する。
【００２５】 予め処理する実施例において，デコード化されたキー・カラー・データの量子
化エラーの範囲は，量子化パラメータの対応する範囲にしたがって計算され，量
子化エラーの範囲のデータ指示および量子化パラメータの対応する範囲が，たと
えばルックアップテーブルに記憶される。最適なキーイング閾値（T）の決定は
，記憶されたデータに応答する。特に，計算および記憶工程は，ソフトキー出力
のエンコード化の前に生じる。したがって，量子化エラーの範囲のデータ指示お
よび量子化パラメータの対応する範囲は，ソフトキー出力が，エンコーダにおい
て使用される特別なQPにしたがってエンコード化される。
【００２６】 本発明はさらに，エンコード化されたソフトキー出力，最適なキーイング閾値
（T），および予めエンコード化されたキー・カラー・データ（K）を，通信チャ
ネルを通して，デコード化機能へ伝送する工程と，再構成されたソフトキー出力
を得るために，エンコード化されたソフトキー出力をデコード化する工程と，最
適なキーイング閾値（T）および予めエンコード化されたキー・カラー・データ
（K）にしたがって，再構成されたソフトキー出力から，デコード化されたアル
ファ・プレーン・データおよび前景オブジェクトの画素データを回復する工程と
を含む。
【００２７】 回復工程は，前景オブジェクトに対して，デコード化されたアルファ・プレー
ン・データおよびオブジェクト画素データYUVを得るために，最適なキーイング
閾値（T）でもって閾を形成することにより，再構成されたソフトキー出力を，
予めエンコード化されたキー・カラー・データ（K）に分割する工程を含んでも
よい。特に，再構成されたソフトキー出力とエンコード化されたキー・カラー・
データ（K）の間の距離が決定される。再構成されたソフトキー出力は，その距
離が最適なキーイング閾値（T）よりも大きいとき，前景オブジェクトとしてク
ラス分けされる。または，再構成されたソフトキー出力は，その距離が（T）よ
りも大きくないとき，背景イメージ領域としてクラス分けされる。
【００２８】 都合よく，前景オブジェクトのアルファ・プレーン情報は，前景オブジェクト
のソフトキー出力内に埋め込まれる。
【００２９】 本方法は，前景オブジェクトと背景領域のとの間の遷移をエンコード化する際
に，等しく使用に適している。
【００３０】 さらに，本発明は，最適なキーイング閾値（T）は，第一の量子化の際に，キ
ーイング閾値の範囲に対して，量子化エラー（Q）の程度を観測することにより
，決定工程において決定される。その程度は，予めエンコード化されたキー・カ
ラー・データ（K）の量子化エラー（Q）に対する，ピーク信号対ノイズ（PSNR）
比であってもよい。特に，最適なキーイング閾値（T）は，PSNRにおいて急速な
増加が観測されるところの，Tの最低値で見つけられる。
【００３１】 彩度キーイング方法がまた表される。本発明は，通信チャネルからエンコード
化されたソフトキー出力を受信する工程を含み，ここで，エンコード化されたソ
フトキーイング閾値データ（T）は，エンコーダにおいて，デコード化されたキ
ー・カラー・データを得るために，予めエンコード化されたキー・カラー・デー
タをコード化およびデコード化し，デコード化されたキー・カラー・データの量
子化エラー（Q）を計算し，そして第一の量子化にしたがって最適なキーイング
閾値データ（T）を決定することにより，得られる。
【００３２】 エンコード化されたソフトキー出力は，再構成されたソフトキー出力を得るた
めにデコード化され，前景オブジェクトの，デコード化されたアルファ・プレー
ン・データおよびオブジェクト画素データは，最適なキーイング閾値（T）およ
びキー・カラー・データ（K）にしたがって再構成されたソフトキー出力から，
回復される。
【００３３】 本発明は，再構成されたソフトキー出力とエンコード化されたキー・カラー・
データ（K）との間の距離を決定すること，その距離が最適なキーイング閾値（T
）よりも大きいとき，前景オブジェクトとして再構成されたソフトキー出力をク
ラス分けし，またはその距離が最適なキーイング閾値（T）よりも大きくないと
き，背景イメージ領域として再構成されたソフトキー出力をクラス分けすること
を含む。
【００３４】 本方法は，前景オブジェクトと背景領域との間の遷移をエンコード化する際に
等しく使用に適している。
【００３５】 対応する装置もまた示される。
【００３６】 発明の詳細な説明 本発明は，最適化されたスイッチング閾値で，デジタル・ビデオ用の効果的な
彩度キー基準コード化するシステムのための方法および装置に関する。
【００３７】 図１（a）は，前景および背景ビデオオブジェクトならびにサンプルビデオラ
インをもつビデオフレームを示す。用語“ビデオオブジェクト”は，ここで，限
定するわけではないがMPEG‐4標準において使用されるようなVOPを含み，矩形な
らびに任意に形状付けられたビデオイメージを含む，ビデオイメージを指定する
ために使用される。
【００３８】 前記したように，キーイングは，一つのビデオ信号が異なるイメージをもつ，
フレームまたはフィールドの一部を置き換えるために，他のものに混合されると
ころの処理である。このような効果は，特別なスイッチング・パターンを使用し
て，一方のビデオイメージを他方にスイッチするための，ビデオエンコーダまた
はデコーダにあるスイッチにより達成される。
【００３９】 一般的に，一つのビデオフレームは，サブフレーム部分を処理することは可能
ではあるが，一度の処理される。たとえば，フレーム100が背景幕イメージB（た
とえば，第一のイメージ領域）および前景イメージA（たとえば，第二のイメー
ジ領域）を含む。もちろん，ただ一つの前景イメージが本例において与えられる
と，重なり合うイメージが多数存在し得る。エンコーダおよびデコーダにおいて
，両イメージAおよびBから画素データが利用できる。イメージデータは，たとえ
ば，ケーブルテレビ，衛星またはコンピュータネットワークのような通信路を経
て，エンコーダまたはデコーダへ伝送されて得る。または，イメージAおよびBの
いずれかまたは両方が，地域の図書館のビデオデータから検索（retrieve）され
てもよい。
【００４０】 ニュース放送において，たとえば，前景オブジェクト（イメージA）はリアル
タイムで得られるアナウンサーの頭部および上体であってもよく，一方，背景幕
オブジェクト（イメージE）はニュートラルな背景幕および/またはコンピュータ
形成グラフィックであってもよい。たとえば，気象情報に対して，地図のグラフ
ィックがしばしば，地図の前に立っているようにみえるが，実際は硬いブルース
クリーンのようなブランク壁の前に立っているアナウンサーに対する，背景幕と
して与えられる。二つのイメージの間のスイッチングまたはキーイングはしたが
って，複合イメージをデコーダの集団に伝送される前に，エンコーダで行われる
。
【００４１】 しかし，キーイングはまた，ユーザーの制御のもとで，デコーダで行われても
よい。たとえば，MPEG‐4標準で使用されるようなVOPでは，ユーザーが，エンコ
ーダからおよび/または図書館から受信したVOPを組み立てることにより，および
重ね合わせることにより，ビデオエディターのようになす，地域のビデオ図書館
とインターフェイスするコンポジッターを使用することができる。
【００４２】 例示のビデオラインが，フレーム100を横切って伸長する水平ラインである。
フレームは，たとえば，代表的なライン110を含む，ラインずつ処理されてもよ
い。フレーム100の頂部において，背景幕Bからの画素のみが現れ，そのため他の
オブジェクトにスイッチする必要がない。しかし，ライン110のような重なり合
うオブジェクトを横切るビデオラインに対して，エンコード化またはディスプレ
ーのために，適切な画素カラー情報を得るべく，適切な時間に，一方のオブジェ
クトから他方へスイッチする必要がある。
【００４３】 各ビデオラインに対して，任意のラインが，オブジェクトA内の画素位置に対
して値“255”（または，たとえば0と255に間の他の一定値），およびオブジェ
クトB内の画素位置に対して値“0”をもつように生成される。このような任意の
ラインは，図１（d）のビデオスイッチに制御信号を与える。すべての任意のラ
インが二進のスイッチング・パターンを形成する。オブジェクトの間のビデオス
イッチングは実際に，画素の各ラインの間で行われる。
【００４４】 図１（b）は，図１（a）のビデオフレームに対して二進の制御信号を示す。制
御信号11は，二つの値，たとえば“0”および“255”をもつ。ビデオライン110
に対して，制御信号は，背景イメージBから前景イメージAへの遷移に対応する，
水平画素座標XBAにおいて，“0”から“255”に即時に遷移する。前景イメージA
の長い画素データが出力されるとき，“255”のままである。同様に，制御信号
は，前景イメージAから背景イメージBへの遷移に対応する，水平画素座標XABに
おいて，“255”から“0”に即時に遷移する。背景イメージBの長い画素データ
が出力されるとき，“0”のままである。
【００４５】 適切な制御信号が，いろいろな方法で発生させることができる。たとえば，カ
ラー差信号を分析することにより，ビデオラインにおいて，特定のカラーまたは
カラー差が生じるところを決定することができる。キー信号がこの方法で発生さ
れるとき，その処理は彩度キーイングとして知られ，これはフィルムにおけるつ
やけし（matting）と電子的に同等である。
【００４６】 彩度キーイングは，前景ビデオ信号において識別されたキー・カラーに基づい
て，前景信号の代わりに背景信号を，またはその逆に置き換えることからなる。
彩度キーイングはまた，背景信号のキーイングのために，明るいブルーカラーが
しばしば選択されることから，“ブルースクリーン”として一般的に知られてい
る。
【００４７】 図１（c）は，図１（a）のビデオフレームに対する二進スイッチング・パター
ンを示す。図１（a）からのオブジェクトAおよびBがそれぞれ，いろいろなカラ
ーおよびパターンをもつことができる一方，図１（c）の二進スイッチング・パ
ターンは，オブジェクトAに対応する値“255”をもつ面積135，およびオブジェ
クトBに対応する“0”をもつ面積140を有するのみである。二進スイッチング・
パターン130は，図１（d）のスイッチに対して，スイッチング・パターン信号に
，情報を与える。
【００４８】 図１（d）は図１（c）の二進スイッチング・パターンで使用するための二進ス
イッチを示す。スイッチ150は，各ビデオラインのスイッチングパターンにした
がって，ターミナル155を選択することにより，オブジェクトAから，またはター
ミナル160を選択することによりオブジェクトBから，画素データを出力する。と
くに，スイッチ150はビデオラインの現在値が“255”であるとき，オブジェクト
Aから画素データを出力する一方で，オブジェクトBからの画素データは，ビデオ
ラインの現在値が“0”であるとき出力される。
【００４９】 彩度キーイング（または他のキーイング）が前景と背景のソースの間のフレー
ム内のスイッチとして実行されるならば，スイッチング端部は正確に位置付けら
れなければならない。ソフトキーイング技術はしばしば，二進スイッチングより
もよりリアルな効果を生成するために使用されている。この場合，二進スイッチ
150は以下で説明するように，クロス・フェーダにより置き換えられる。
【００５０】 図２（a）は，前景および背景オブジェクトならびに例示のビデオラインをも
つビデオフレームを示す。ビデオフレーム100および例示のビデオライン110は図
１（a）のものに対応する。
【００５１】 図２（b）は，図２（a）のビデオフレームに対するクロス・フェーダ制御信号
を示す。ここで，ビデオライン110のオブジェクトAおよびBの間での二進スイッ
チングを使用する代わりに，混合（bleeded）スイッチングが使用される。オブ
ジェクトAの左端の近くで，制御信号215は，座標X0およびX1により表すことがで
きる水平な画素の間で“0”から“255”に遷移する。同様に，オブジェクトAの
右端の近くで，制御信号は，座標X2およびX3により表すことができる水平な画素
の間で“255”から“0”に遷移する。
【００５２】 図２（c）は図２（a）のビデオフレームに対する混合スイッチング・パターン
を示す。アルファ（α）・プレーン・スイッチング・パターン260は，ビデオラ
イン110で座標X1とX2との間に渡る値“255”をもつ面積230，ビデオライン110で
，座標X0とX1との間および座標X2とX3との間に渡る値“0”および“255”をもつ
混合面積240，混合面積240の外側に伸長する値“0”をもつ面積250を含む。アル
ファ・プレーン・スイッチング・パターン260は，図４（c）のデジタル・クロス
・フェーダに，クロス・フェード係数を与えるために使用される。アルファ・プ
レーン・スイッチング・パターン260は，各水平ビデオラインに対して二つのオ
ブジェクトまたはイメージの間で傾斜するグレーレベルのアルファ・プレーンで
ある。
【００５３】 図３（a）は，図２（c）のアルファ・プレーン・スイッチング・パターンに対
するスティープ・クロス・フェードを示す。例示のビデオライン110において，
画素座標x0のオブジェクトBから画素座標x1のオブジェクトAへのフェードが示さ
れている。ここで，フェードは，x0からx1に七つの画素位置を通して伸長してい
る。各画像位置に対して，対応するクロス・フェード係数が，x0で“0”からx1
で“1”までの範囲で決定される。50％のフェードレベルが，x0からx1の間のほ
ぼ中間の画素位置で生じる。曲線315が係数値に整合され得る。
【００５４】 図３（b）は図２（c）のアルファ・プレーン・スイッチング・パターンに対す
る漸次クロス・フェードを示す。同様に，例示のビデオライン110において，画
素座標x0のオブジェクトBから画素座標x1のオブジェクトAへのフェードが示され
ている。ここで，フェードは，x0からx1の九つの画素位置を通し伸長しているこ
とから，図３（a）の場合よりもより漸次的である。曲線325が係数値に整合され
得る。
【００５５】 図３（c）は図２（c）のアルファ・プレーン・スイッチング・パターンをもっ
て使用するためのクロス・フェーダを示す。クロス・フェーダ350は，たとえば
各ビデオラインに対して，オブジェクトAおよびB画素データとともに，図３（a
）または図３（b）から，クロス・フェード係数を受信し，対応するソフトキー
出力を与える。出力（out）は，前景（オブジェクトA）および背景（オブジェク
トB），ならびにアルファ・プレーン（α）によって，以下のように特徴付けら
れる。 out＝(α)(オブジェクトA)+(1‐α)(オブジェクトB)
【００５６】 本発明にしたがって，彩度キー技術がビデオオブジェクトの形状を表すために
使用される。また，前景の形状情報（アルファ・プレーン）はキー出力に埋め込
まれ，そのため，明示のアルファ・プレーンを運ぶこと，または，たとえばMPEG
‐4の形状コード化ツールにおいて使用されるように，アルファ・プレーン・コ
ード化を使用することが不要となる。したがって，アルファ・プレーン・データ
が，エンコーダにおいて計算されことも，またチャネルに渡ってデコーダに伝送
される必要もないことから，結果として重要な計算係数が生じる。
【００５７】 さらに，本発明の彩度キー形状表現技術は，たとえば，フェザーリング・フィ
ルターを使用して，一般的なグレースケール形状コード化ツールのような特別な
スイッチング・パターンの必要性，または前処理の必要性がなく，二つのオブジ
ェクトの境界で円滑な遷移を与える。さらに，彩度キー技術は，最小のオーバー
ヘッドを使用して，どのフレーム基準圧縮標準とも共同して働くことができる。
彩度キー技術はまた，背景面積において，動き補償処理を単純化することにより
デコーダの複雑さを減少させる。
【００５８】 サンプル形状コード化ツールのための彩度キー形状コード化がこれから説明さ
れる。このツールは二つのサブシステムをもつ。
【００５９】 第一のサブシステムにおいて，改良された彩度キー形状表示が与えられる。こ
のサブシステムの主要な目的は，キー出力に基づいてアルファ・プレーンを再構
成することである。あるオブジェクトに対して，キー出力は，オブジェクト外の
境界マクロブロック上の面積にキー・カラーKを詰め込むことにより，生成され
る。圧縮が解かれたテクスチャー・データ（たとえば，DCT係数）が，距離d，た
とえば，デコード化された画素（X）とキー・カラー（K）との間のユークリッド
距離に基づいて形状情報を回復するために使用される。各画素Xは三つの要素，
すなわち輝度要素X（Y），ならびにクロミナンス要素X（Cr）およびX（Cb）によ
り表示される。
【００６０】 再構成されたアルファ・プレーンは，つぎに，以下の規準に基づいた各画素に
対して計算される。 (d＜T1)のとき，α＝0， (T1＜d＜T2)のとき，α＝((d‐T1)/(T2‐T1))×255 また，(d＞T2)のとき，α＝255 ここで，d＝(K(Y)‐X(Y))2+(K(Cb9‐X(Cb))2+(K(Cr)‐X(Cr))2で，Y，CbおよびC
rは色空間を表す。さらに，T1およびT2は，それぞれ以下で説明するように下方
および情報キーイング閾値である。距離と再構成されたアルファ・プレーン値と
の間の関連は，図４に示されている。
【００６１】 平方したユークリッド距離dは，距離測定のまさに一例である。彩度キー形状
コード化は，計算を減らす意味で，よりよい絶対距離またはハミング距離のよう
な他の度合いを選択できる。絶対距離は次のとおりに定義される。 Dabs＝｜K(Y)‐X(Y)｜+｜K(Cb)‐X(Cb)｜+｜K(Cr)‐Ｘ(Cr)｜
【００６２】 ハミング距離は，二つの入力が異なり，以下のとおりに計算される座標の数で
ある。 Dhamming(Y)＝｜[ i｜K(Y)i≠X(Y)i，i=0,1,…,n‐1]｜ Dhamming(Cb)＝｜[ i｜K(Cb)i≠X(Cb)i，i=0,1,…,n‐1]｜ Dhamming(Cr)＝｜[ i｜K(Cr)i≠X(Cr)i，i=0,1,…,n‐1]｜
【００６３】 他のどの適切な距離度合いも使用できる。
【００６４】 図４は，(a)アルファ・プレーン値と，(b)デコーダ化された画素カラーとキー
・カラーKとの間のユークリッド距離dとの間の関係を示す。ユークリッド距離に
対する値は，水平軸410にそってとられる一方で，αに対する値は垂直軸420にそ
ってとられる。
【００６５】 T1＝T2ならば，アルファ・プレーンは二進になることに注意。したがって，い
かなる効果もなく，たとえば遷移パターンも存在しない。要素Y＝135，Cb＝160
，およびCr＝110，ならびにT1＝60およびT2＝70の閾値をもつキー・カラーKはT.
Chen，A. PuriおよびR. L. Schmidtの，“Improved Chroma-Key Shape Represe
ntation”（ISO/IEC JTC1/SC29/WG11 MPEG97/2490，1997年7月）に提示されて
いる。
【００６６】 コード化ツールの第二のサブシステムにおいて，彩度キー基準形状コード化が
提供される。彩度キー形状表示は，MPEG‐4において使用されているように，既
存の形状コード化ツールに容易に統合され得る。カラー・キーおよび閾値情報は
，システム・シンタックスに加えられなければならない。コード化は，MPEG‐4
の“intelligent VOP formation”標準（section 3.1.1 "VOP formation"として
参照されることが各VOPに対して知られているので，境界ボックス内でのみ実行
される。さらに，すべての背景マクロブロックの処理が，三つの方式の一つ，す
なわちインター・モード（動き補償を使用），イントラ・モード（DC予想を使用
），またはスキッピング・モード（基準マクロブロックを使用）に続く。動き補
償に対して，基準フレームは，再構成された前の形状を使用して，キー・カラー
が詰め込まれる。残余およびイントラ・マイクロブロックは，MPEG‐4のように
，コード化されデコード化される。
【００６７】 しかし，多くの問題がこれら二つのサブシステムとともの発生する。第一に，
たとえば，DCT係数のような，変換された係数の量子化エラーにより生じるエラ
ーにように，系統的エラーに対する防護がない。たとえば，オブジェクションの
境界に近接した背景カラーが通常，DCT係数の量子化エラーの結果として，境界
の内の（たとえば，境界の他の側で）オブジェクト・テクスチャーに近接し，オ
ブジェクトに，境界をさらにシフトする。
【００６８】 第二に，再構成されたアルファ・プレーンは，遷移またはキー領域のオブジェ
クト・テクスチャーが同じ特徴をもつことを保障しないことから，元々のアルフ
ァ・プレーンに続く。さらに，閾値範囲は，テクスチャーのランダム度に応答す
るのに十分広くなければならない。しかし，閾値が広がると，オブジェクト内の
テクスチャーは，オブジェクトの距離が遷移領域のものよりも非常に大きくない
と，減衰され，または壊される。したがって，オブジェクトの特徴は，遷移領域
が非常に大きいときは，明らかとならなくともよい。
【００６９】 特に，本発明者は，クロス・フェーディング効果が，T1とT2との間，たとてば
，T1＜100とT2＞10,000との間の大きなギャップを使用するとき，生じることを
見出した。残念ながら，内側アルファ・オブジェクトは，これら閾値で改ざんさ
れる。対照的に，小さな閾値のギャップは単に境界遷移を形成する。それにもか
かわらず，再構成されたアルファ・プレーンと混合した後の最終出力は，大きな
閾値のギャップが使用されるときよりもより正確である。
【００７０】 本発明者は，本質的にアルファとテクスチャー情報の間につながりがないこと
を見出した。したがって，アルファ・プレーンをテクスチャー・データから生成
することは，信頼のおけるものではない。以下で説明する実験に基づいて，オブ
ジェクトの境界を決定する二進遷移が，高PSNRによって最適な結果を与えること
が分かった。したがって，彩度キー処理が正確な境界の配置に集中するならば，
単に，一つの最適な閾値が要求される。このことは，エンコード化処理を単純化
する。さらに，デコーダの複雑さもまた，アルファ計算のための規準が，多数の
比較に代わり唯一一つの比較，および多分割り算（たとえば，上記の式の割り算
，“α＝((d‐T)/(T2‐T1))×255”）に係ることから減少する。
【００７１】 しかし，この処理の結果は，オブジェクト間の遷移におけるファルファ・プレ
ーンについての情報を含まない。したがって，修正されて彩度キー技術が与えら
れ，ここで有用なアルファ情報がキー出力に埋め込まれる。本発明にしたがった
完全な形状コード化システムが以下のとおりのように，修正のある彩度キー基準
形状コード化技術を含む。
【００７２】 エンコーダは境界とオブジェクトとの間の遷移を形成するために，ソフトキー
出力をクロス・フェーダに送る。彩度キー技術が，コード化エラーがない限り，
最適な（たとえば，最高のPSNP，または最良の質）最終出力を得るために，T＝0
を使用することができることは明白である。現実的に，デコード化された出力は
，ソフトキー出力と同じでなく，彩度キー形状コード化はエラーを発生するであ
ろう。基本的にエラーは，二つのソース，すなわち（1）キー・カラーの量子化
エラー，および（2）背景へのしみだしカラーからによる。これらのエラーは，
図５（a）および５（b）に示されている。
【００７３】 図５（a）は，本発明にしたがった，キー・カラーの埋め込まれたアルファ情
報を前景オブジェクトのオブジェクト・テクスチャーとともに示す。前景オブジ
ェクトAおよび背景オブジェクトBがオブジェクト境界500により分離されている
。背景オブジェクトAに対するキー・カラー510の量子化エラーQが，カラーしみ
だし出力530（たとえば，ソフトキー出力），オブジェクト・テクスチャー520，
ならびにオブジェクト境界500およびカラーしみだし出力530の交差点を示す閾値
（T）540とともに，示されている。両オブジェクトAおよびBに対するオブジェク
ト・テクスチャーおよびキー・カラーがあることに注意。図５（b）は，オブジ
ェクトBに対するオブジェクト・テクスチャーおよびオブジェクトAに対するキー
・カラーを示す。
【００７４】 キー・カラーが，カラー座標において，可能な限り最小であるとすると，コー
ド化エラーをもつ最適な閾値は，最大のデコード化されたキー・カラーよりも高
くならなければならず，内側オブジェクト，たとえば前景オブジェクトAの最小
の，デコード化されたテクスチャーよりも低くなければならない。用語“オブジ
ェクト”が一般的に前景オブジェクトと参照するために使用される一方，背景オ
ブジェクトがしばしば単に背景として参照されることに注意。一般的な用語“イ
メージ領域”もまた使用され得る。
【００７５】 再構成された入力のキー・カラーを元々のキー・カラーと比較することにより
，キー・カラーの量子化エラーQを計算することが可能である。残念ながら，カ
ラーしみだし（BL）の量を見出すことは，内容に依存するために，実際的ではな
い。最大の，デコード化されたキー・カラーは次のとおりである。 max(K)＝K + Q + max(BL) ここで，max(K)は好適に，閾値（T）540で固定される。
【００７６】 図５（b）は，本発明にしたがって，キー・カラー出力の埋め込まれたアルフ
ァ情報を，背景オブジェクトのオブジェクト・テクスチャーとともに示す。ここ
で，背景オブジェクトBのオブジェクト・テクスチャー580，および前景オブジェ
クトAのキー・カラー560が示されている。背景オブジェクトBに対するキー・カ
ラー560の量子化エラーQが，カラーしみだし出力570（たとえば，ソフトキー出
力），およびオブジェクト境界505およびカラーしみだし出力570の交差点を示す
閾値（T）545とともに，示されている。背景オブジェクトBに対するカラーしみ
だし（BL）の量もまた示されている。
【００７７】 図６（a）は，本発明にしたがった，エンコード化機能をルックアップテーブ
ルに対する前処理とともに示し，さらにデコード化機能を示す。デコード化機能
600は前エンコード化されたキー・カラー・データK，アルファ・プレーン・デー
タα，およびオブジェクト画素データYUVを受信する。
【００７８】 前処理工程において，デコーダへの伝送のために前景および背景イメージデー
タをエンコード化する前に，キー・カラーKの量子化エラーQの範囲が，量子化パ
ラメータQPの範囲とともに，コーディク（codec）605において，Kをコード化ま
たはデコード化することにより計算される。減算器610が各QPに対して量子化エ
ラーQを計算するために，量子化されていないKとともに，コーディク605から量
子化されたK出力を受信する。ルックアップテーブル620は，QPの範囲および対応
するQの範囲を記憶する。別個のルックアップテーブル入口（entries）が，Kの
各カラー成分，たとえば，Y，CrおよびCbに対して与えられ得る。
【００７９】 ルックアップテーブルに代えて，QPの範囲とQの対応する範囲の間の関係が既
知の曲線整合法（fitting scheme）を使用して，方程式に表すことができること
に注意。この場合，方程式の係数のみが記憶される。
【００８０】 ルックアップテーブル620が形成された後，前景および背景オブジェクトのエ
ンコード化が行われてもよい。クロス・フェーダ615において，オブジェクト・
アルファ情報に基づいて前景オブジェクトとともに，キー・カラーKのデジタル
・クロス・フェーディングが，ソフトキー出力をエンコーダ625に与えるために
実行される。エンコーダ625は，たとえば，エンコード化されたビットストリー
ムを得るために，所望のQPレベルでもって，ソフトキー出力をエンコード化すべ
く，MPEG‐2，MPEG‐4またはH.263+を使用することができる。所望のQPレベルは
，エンコーダ625の出力において，一定のビットレートを維持するために，変化
させてもよく，または，エンコーダ625のビットレートが変化する場合に，固定
したQPが使用されてもよい。一定のビットレートに対し，一つの可能な方法は，
すべての背景マクロブロックに対するQPを一定値（たとえば，31）に固定し，レ
ート制御機構に追随する前景マクロブロックに対してQPを調節することである。
【００８１】 特定のイメージ領域，たとえば，マクロブロックまたは同じQPが使用される他
の領域をエンコード化するために，エンコーダ625において使用されるQP値は，Q
の対応する値を決定するために，ルックアップテーブル620に与えられる。次に
，最適なTプロセッサ622において，最適なTが，KおよびQの関数として決定され
る。とくに，PSNRが，Tの異なる値に対して，K/Qに基づいて，決定される。最適
なTが，図８‐10に関連して説明されるように，比較的低いTで，比較的高いPSNR
をもたらす。エンコード化されたソフトキー出力（たとえば，コード化されてビ
ットストリーム），TおよびKは，マルチプレクサ（MUX）660に与えられ，ケーブ
ルテレビ・プラント，衛星ネットワークまたは他のリンクにようなチャネル662
を通って伝送される。
【００８２】 前記した処理と同じにして，デコーダにおいて，前処理工程を実行することも
可能である。この場合，デコーダは，現QPの知識に基づいて，自らTを決定する
ことになる。
【００８３】 デコード化機能670において，エンコーダ化されたソフトキー出力，TおよびK
は，デマルチプレクサ（DEMUX）665において受信され，コード化されたビットス
トリームは，再構成されたソフトキー出力を得るために，エンコーダ625により
使用された標準を使用して，デコーダ675において，デコード化される。閾値機
能680において，再構成されたキー出力（アルファ埋め込み前景オブジェクト・
データおよびキー・カラー背景を含む）は，再構成されたソフトキー出力とDEMU
Xから受信したキー・カラーとの間の距離が閾値Tより大きいときに，前景オブジ
ェクトまたは領域としてクラス分けされる。この距離が閾値Tよりも大きくない
と，再構成されたソフトキー出力は背景オブジェクトまたは領域としてクラス分
けされる。
【００８４】 本技術を証明するために，MPEG‐4 I-VOPテクスチャーを使用して，彩度キー
形状コード化で広範囲なシミュレーションが行われた。
【００８５】 図６（b）は，本発明にしたがった，リアルタイム処理をもつエンコード化機
能およびデコード化機能を示す。ここで，量子化エラーQは，リアルタイムで決
定され，Q対QP値の範囲を記憶するためのルックアップテーブルがない。この実
施例は，図６（a）の前処理の必要性を回避する。
【００８６】 特に，エンコーダ625において使用された所望のQP値は，Kをコード化し，デコ
ード化するために，コーディク605に与えられる。対応する量子化エラーQが減算
器610から出力され，最適Tプロセッサ622に与えられる。
【００８７】 図７は，本発明にしたがった，シミュレーション処理を示す。アルファ・プレ
ーン・データαおよびオブジェクト画素データYUVは，ソフトキーデータ（基準
値として参照され，またMPEG‐4コーディク720に与えられた）を得るために，ク
ロス・フェーダ710に与えられた。コーディク720からの，コード化されたビット
ストリームは，基準値との比較のために，出力を得るべく，彩度キー処理機能73
0に与えられる。
【００８８】 表１に示されているように，Y＝135，Cb＝160，Cr＝110のキー・カラーがシミ
ュレーションにおいて使用された。表１は量子化パラメータの範囲に対して，量
子化エラーQを示す。Y’，Cb’，Cr’は，予めエンコード化された値から僅かに
異なってもよい，デコード化の後の値を示す。
【表１】
【００８９】 図８‐１０は，QP＝10，20および30をそれぞれ使用する，Y，CbおよびCr要素
に対する，MPEG“気象”テストシーケンスからのシミュレーション結果を示す。
これら図において，Tは各テストに対して三単位だけ増加した。したがって，各
曲線の分解能は三単位である。PSNRはデシベルにより，ピーク信号対ノイズ比を
示し，ここで，色空間要素Y，CbおよびCrはそれぞれの信号を示し，どの偏差も
ノイズである。
【００９０】 図８は，本発明にしたがった，オブジェクトの輝度（Y）要素に対するPSNR対
閾値のシミュレーション結果を示す。
【００９１】 最も大きな量子化パラメータ（たとえば，粗いコード化），QP＝30に対して，
PSNRはT＝9‐12から急激に増加する。したがって，小さなTをもつPSNRを達成す
るために，T＝12はカラー・キーイングに対して選択されるべきである。QP＝20
に対して，PSNRはT＝3‐6から急激に増加する。したがって，T＝6がカラー・キ
ーイングに対して選択されるべきである。最も小さな量子化パラメータ（たとえ
ば，微細なコード化），QP＝10に対して，PSNRはTが変化するとき，急激な増加
を呈さず，そのためT＝0はカラー・キーイングのために選択されなければならな
い。
【００９２】 PSNRにおける急激な増加を検出するために，種々の手順が使用することができ
る。たとえば，Tはゼロから始まり，固定した間隔で増加し，PSNRはTの各値に対
して決定された。PSNRの急激な増加は，最適なTを示す。これに代わり，PSNR対T
の傾斜は調査されてもよく，ここで，傾斜のピークが最適なTを示す。量子化エ
ラーQを使用するように，計算処理上の効果的な手順は，特に，リアルタイムの
エンコード化および伝送に対して好適である。
【００９３】 図９は，本発明にしたがった，オブジェクトのクロミナンス（Cb）要素に対す
るPSNR対閾値のシミュレーション結果を示す。QP＝30に対して，PSNRはT＝9‐12
から急激に増加する。したがって，小さなTをもつPSNRを達成するために，T＝12
はカラー・キーイングに対して選択されるべきである。QP＝20およびQP＝10に対
して，Tが変化するとき，急激な増加を呈さず，そのためT＝0はカラー・キーイ
ングのために選択されなければならない。
【００９４】 図１０は，本発明にしたがった，オブジェクトのクロミナンス（Cr）に対する
PSNR対閾値のシミュレーション結果を示す。QP＝30に対して，PSNRはT＝9‐12か
ら急激に増加する。したがって，最も小さなTをもつPSNRを達成するために，T＝
12はカラー・キーイングに対して選択されるべきである。QP＝20およびQP＝10に
対して，Tが変化するとき，急激な増加を呈さず，そのためT＝0はカラー・キー
イングのために選択されなければならない。
【００９５】 表２‐４は，本発明のキーイング閾値選択手法との比較のための，種々の既存
のキーイング閾値手法に対するシミュレーション結果を与える。第一の欄は，セ
ットまたは測定された関連パラメータを示す。T1，T2は非二進キーイング手法に
対する，低および高キーイング閾値である。第二欄は，T. Chen等の前記論文に
示されたT1＝60，T2＝70に対するPSNR結果を与える。第三欄は，大きなキャップ
の閾値を使用するときのPSNR結果を与える。
【００９６】 本発明にしたがった最適なTおよび対応するPSNRは第四欄に示されている。多
くの場合，最適なPSNRが本発明にしたがって，最適なPSNRを選択することにより
達成される。さらに，T. Chen等の技術に対する改良は，輝度（Y）要素に対して
，ほとんどよいものと判断される。
【００９７】 表２，３および４はQP＝10，20および30のそれぞれの比較結果を示す。
【００９８】
【表２】
【表３】
【表４】
【００９９】 一般的に，実験結果は，キーイング閾値Tが増加すると，再構成されたビデオ
の質（たとえば，PSNR）がよりよくなることを示す。しかし，閾値が特定のQP値
を超えて過ぎると，性能が飽和してしまう。このQP値を超えると，より高い閾値
は，カラーしみだしにより影響をうける背景オブジェクトをよりよく位置付ける
。しかし，この影響はカラーのしみだし後キーにより接近するようになることか
ら，オブジェクト境界の位置付けに対して働く。したがって，最適な閾値TはQP
にしたがって選択されなけばならない。
【０１００】 提案のシステム，低い複雑さおよび低ビットレートが最も重要な要素である，
単純な形状コード化に対して有用である。
【０１０１】 したがって，本発明が，ビデオ画像において，背景オブジェクトと前景オブジ
ェクトとの間でスイッチングするための最適な閾値を与える彩度キーイングシス
テムを提供することが分かるであろう。彩度キーイングシステムは，MPEG‐2，M
PEG‐4およびH.263+のような既存のビデオ標準，ならびに他のフレーム基準ビデ
オ圧縮標準と両立する。
【０１０２】 さらに，彩度キーイングシステムは，計算上効果的で，最小のオーバーヘッド
を使用する。
【０１０３】 彩度キーイングシステムは，VOPならびに他のビデオオブジェクトおよびイメ
ージと両立する。
【０１０４】 さらにまた，彩度キー技術がビデオオブジェクトの形状を表すために提供され
，ここで，前景オブジェクトの形状情報（アルファ・プレーン）はキー出力に埋
め込まれ，そのため明示のアルファ・プレーンを運ぶ必要性，またはアルファ・
プレーン・でコード化を使用する必要性がない。
【０１０５】 彩度キー形状表示技術は，一般的なグレースケール形状コード化ツールのよう
な特別なスイッチング・パターンの必要性，またはフェザーリング・フィルター
を使用する，前処理もなく，オブジェクト間の境界において円滑な遷移を提供す
る。
【０１０６】 本発明が，種々の特定の実施例に関連して説明されているが，当業者であれば
，請求の範囲の発明の思想および範囲を逸脱することなく，多くの調節および修
正をなし得るだろう。
【０１０７】 たとえば，水平ビデオラインに対する彩度キーイングが例示して説明されてい
るが，本発明は，ビデオ画像の他のレインまたは曲線路に対する使用のために適
合され得る。
【０１０８】 さらに，本発明は，前景オブジェクトから背景領域のように，背景領域から前
景オブジェクトへの遷移のために使用することにも同様に適している。
【図面の簡単な説明】
【図１】 図１（a）は，前景および背景ビデオオブジェクトならびに例示のビデオライ
ンとともにビデオフレームを示す。 図１（b）は，図１（a）のビデオフレームに対する二進制御信号を示す。 図１（c）は，図１（a）のビデオフレームに対する二進スイッチング・パター
ンを示す。 図１（d）は，図１（a）のビデオフレームの二進制御信号とともに使用するた
めの二進スイッチを示す。
【図２】 図２（a）は，前景および背景ビデオオブジェクトならびに例示のビデオライ
ンとともにビデオフレームを示す。 図２（b）は，図２（a）のビデオフレームに対するクロス・フェード制御信号
を示す。 図２（c）は，図１（a）のビデオフレームに対する混合スイッチング・パター
ンを示す。
【図３】 図３（a）は，図２（c）のアルファ・プレーン・スイッチング・パターンに対
する，スティープ・クロスフェードを示す。 図３（b）は，図２（c）のアルファ・プレーン・スイッチング・パターンに対
する，漸次クロス・フェードを示す。 図３（c）は，図２（c）のアルファ・プレーン・スイッチング・パターンとと
もに使用するためのクロス・フェードを示す。
【図４】 図４は，アルファ・プレーンと，デコード化された画素カラーとキー・カラー
Kとの間のユークリッド距離との間の関係を示す。
【図５】 図５（a）は，本発明にしたがった，前景オブジェクトのオブジェクト・テク
スチャーとともに，キー・カラー出力の埋め込まれたアルファ情報を示す。 図５（b）は，本発明にしたがった，前景オブジェクトのオブジェクト・テク
スチャーとともに，キー・カラー出力の埋め込まれたアルファ情報を示す。
【図６】 図６（a）は，本発明にしたがった，ルックアップテープルに対して予め処理
を行うことをともなうエンコード化機能およびデコード化機能を示す。 図６（c）は，本発明にしたがった，リアルタイム処理をともなうエンコード
化機能およびデコード化機能を示す。
【図７】 図７は，本発明にしたがったシミュレーション処理を示す。
【図８】 図８は，本発明にしたがった，オブジェクトの輝度（Y）要素に対するPSNR対
カラー閾値のシミュレーション結果を示す。
【図９】 図９は，本発明にしたがった，オブジェクトのクロミナンス（Cb）要素に対す
るPSNR対カラー閾値のシミュレーション結果を示す。
【図１０】 図１０は，本発明にしたがった，オブジェクトのクロミナンス（Cr）要素に対
するPSNR対カラー閾値のシミュレーション結果を示す。
【手続補正書】
【提出日】平成１３年７月１７日（２００１．７．１７）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＵＧ，ＺＷ)，Ｅ Ａ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ， ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，Ｇ Ｅ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ， ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，Ｍ Ｎ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ， ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，Ｚ Ｗ (71)出願人 101 Ｔｏｕｒｎａｍｅｎｔ Ｄｒｉｖｅ Ｈｏｒｓｈａｍ，Ｐｅｎｎｓｙｌｖａｎ ｉａ，Ｔｈｅ Ｕｎｉｔｅｄ Ｓｔａｔｅ ｓ ｏｆ Ａｍｅｒｉｃａ Ｆターム(参考） 5C057 AA03 BA01 EM00 EM16 5C059 MB00 MB14 MB16 MB23 MD02 PP14 PP28 PP29 SS06 UA02 UA05 UA38 5C066 AA12 BA01 CA21 ED02 ED06 EE04 GA01 GA31 HA03

Claims (32)

    【特許請求の範囲】
  1. 【請求項１】デジタル・ビデオ画像のラインにおいて第一のイメージ領域と
    第二のイメージ領域との間の遷移をエンコード化する彩度キーイング方法であっ
    て， ソフトキー出力を得るために，前記第二のイメージ領域のアルファ・プレーン
    情報にしたがって，前記第二のイメージ領域のカラーデータとともに，前記第一
    のイメージ領域の，予めエンコード化されたキー・カラー・データ（K）をクロ
    ス・フェーディングする工程と， エンコード化されたソフトキー出力を得るために，第一の量子化パラメータ（
    QP）にしたがって，前記ソフトキー出力をエンコード化する工程と， デコード化されたキー・カラー・データを得るために前記予めエンコード化さ
    れたキー・カラー・データをコード化し，デコード化する工程と， 前記デコード化されたキー・カラー・データの量子化エラー（Q）を計算する
    工程と， 前記第一の量子化パラメータ（QP）および前記量子化エラー（Q）にしたがっ
    て最適なキーイング閾値（T）を決定する工程と， を含む方法。
  2. 【請求項２】請求項１に記載の方法であって， 前記予めエンコード化されたキー・カラー・データの前記コード化およびデコ
    ード化工程は，前記エンコード化工程において使用された前記第一の量子化パラ
    メータ（QP）に応答する，ところの方法。
  3. 【請求項３】請求項１に記載の方法であって，さらに， 量子化パラメータの対応する範囲にしたがって，前記デコード化されたキー・
    カラー・データの量子化エラーの範囲を計算する工程と， 前記量子化エラーの前記範囲および量子化パラメータの前記対応する範囲を示
    すデータを記憶する工程と， を含み， 前記決定工程は，前記記憶工程に応答する，ところの方法。
  4. 【請求項４】請求項３に記載の方法であって， 前記計算工程および記憶工程は，前記ソフトキー出力の前記エンコーダ化の前
    に行われる，ところの方法。
  5. 【請求項５】請求項１に記載の方法であって，さらに， エンコーダ化されたソフトキー出力，前記最適なキーイング閾値（T），およ
    び前記予めエンコード化されたキー・カラー・データ（K）を，通信チャネルを
    通してデコード化機能へ伝送する工程と， 再構成されたソフトキー出力を得るために，デコード化機能において，エンコ
    ード化されたソフトキー出力をデコード化する工程と， 前記最適なキーイング閾値（T）および前記予めエンコード化されたキー・カ
    ラー・データ（K）にしたがって，前記再構成されたソフトキー出力から，前記
    第二のイメージ領域の，デコード化されたアルファ・プレーン・データおよびオ
    ブジェクト画素データを回復する工程と， を含む，ところの方法。
  6. 【請求項６】請求項５に記載の方法であって，さらに， 前記再構成されたソフトキー出力と前記エンコード化されたキー・カラー・デ
    ータ（K）の間の距離を決定する工程と， 前記距離が前記最適なキーイング閾値（T）よりも大きいとき，再構成された
    ソフトキー出力を，前記第二のイメージ領域としてクラス分けする工程と， 前記距離が前記最適なキーイング閾値（T）よりも大きくないとき，再構成さ
    れたソフトキー出力を，前記第一のイメージ領域としてクラス分けする工程と，
    を含む，ところの方法。
  7. 【請求項７】請求項１に記載の方法であって， 前記第二のイメージ領域の前記アルファ・プレーン情報は，ソフトキー出力に
    埋め込まれる，ところの方法。
  8. 【請求項８】請求項１に記載の方法であって， 前記第一のイメージ領域は背景領域からなり，前記第二のイメージ領域は前景
    領域からなる，ところの方法。
  9. 【請求項９】請求項１に記載の方法であって， 前記第一のイメージ領域は前景領域からなり，前記第二のイメージ領域は背景
    領域からなる，ところの方法。
  10. 【請求項１０】請求項１に記載の方法であって， 前記最適なキーイング閾値（T）は，前記第一の量子化パラメータ（QP）にお
    いて，キーイング閾値の範囲に対して，前記量子化エラー（Q）の度合いを観測
    することにより，前記決定工程において決定される，ところの方法。
  11. 【請求項１１】請求項１０に記載の方法であって， 前記度合いは，前記予めエンコード化されたキー・カラー・データ（K）の，
    前記量子化エラー（Q）のピーク信号対ノイズ（PSNR）である，ところの方法。
  12. 【請求項１２】デジタル・ビデオ画像のラインにおいて，第一のイメージ領
    域と第二のイメージ領域との間の遷移をデコード化する彩度キーイング方法であ
    って， 当該ソフトキー出力を得るために，前記第二のイメージ領域のアルファ・プレ
    ーン情報にしたがって，前記第二のイメージ領域のカラーデータとともに，前記
    第一のイメージ領域の，予めエンコード化されたキー・カラー・データ（K）を
    クロス・フェーディングし，第一の量子化パラメータ（QP）にしたがって，前記
    ソフトキー出力をエンコード化することにより，エンコーダにおいて得られる，
    エンンコード化されたソフトキー出力を，通信チャネルから受信する工程 デコード化されたキー・カラー・データを得るために前記予めエンコード化さ
    れたキー・カラー・データをコード化し，デコード化し，前記デコード化された
    キー・カラー・データの量子化エラー（Q）を計算し，前記第一の量子化パラメ
    ータ（QP）および前記量子化エラー（Q）にしたがって最適なキーイング閾値（T
    ）を決定することにより，前記エンコーダにおいて得られる最適なキーイング閾
    値データ（T）および前記予めエンコード化されたキー・カラー・データ（K）を
    ，前記通信チャネルから受信する工程と， 前記再構成されたソフトキー出力を得るために，エンコード化されたソフトキ
    ー出力をデコード化する工程と， 前記最適なキーイング閾値（T）および前記キー・カラー・データ（K）にした
    がって，前記再構成されたソフトキー出力から，前記第二のイメージ領域の，デ
    コード化されたアルファ・プレーンおよびオブジェクト画素データを回復する工
    程と， を含む方法。
  13. 【請求項１３】請求項１２に記載の方法であって，さらに， 前記再構成されたソフトキー出力と前記エンコード化されたキー・カラー・デ
    ータ（K）の間の距離を決定する工程と， 前記距離が前記最適なキーイング閾値（T）よりも大きいとき，再構成された
    ソフトキー出力を，前記第二のイメージ領域としてクラス分けする工程と， 前記距離が前記最適なキーイング閾値（T）よりも大きくないとき，再構成さ
    れたソフトキー出力を，前記第一のイメージ領域としてクラス分けする工程と，
    を含む，ところの方法。
  14. 【請求項１４】請求項１２に記載の方法であって， 前記第二のイメージ領域の前記アルファ・プレーン情報は，ソフトキー出力に
    埋め込まれる，ところの方法。
  15. 【請求項１５】請求項１２に記載の方法であって， 前記第一のイメージ領域は背景領域からなり，前記第二のイメージ領域は前景
    領域からなる，ところの方法。
  16. 【請求項１６】請求項１２に記載の方法であって， 前記第一のイメージ領域は前景領域からなり，前記第二のイメージ領域は背景
    領域からなる，ところの方法。
  17. 【請求項１７】デジタル・ビデオ画像のラインにおいて第一のイメージ領域
    と第二のイメージ領域との間の遷移をエンコード化する彩度キーイング装置であ
    って， クロス・フェーダと， 該クロス・フェーダからの出力を受信するために結合されたエンコーダと， コーダ/デコーダ（コーデック）と， 該コーデックからの出力を受信するために結合された減算器と， 該減算器からの出力を受信するために結合された最適閾値プロセッサと， を含み， 前記クロス・フェーダは，ソフトキー出力を得るべく，前記第二のイメージ領
    域のアルファ・プレーン情報にしたがって，前記第二のイメージ領域のカラーデ
    ータとともに，前記第一のイメージ領域の，予めエンコード化されたキー・カラ
    ー・データ（K）をクロス・フェードするために適合され， 前記エンコーダは，エンコード化されたソフトキー出力を得るべく，第一の量
    子化パラメータ（QP）にしたがって，前記ソフトキー出力をエンコード化するた
    めに適合され， 前記コーデックは，デコード化されたキー・カラー・データを得るべく，前記
    予めエンコード化されたキー・カラー・データをコード化し，デコード化するた
    めに適合され， 前記減算器は，前記デコード化されたキー・カラー・データの量子化エラー（
    Q）を計算するために使用され， 前記最適な閾値プロセッサは，前記第一の量子化パラメータ（QP）および前記
    量子化エラー（Q）にしたがって最適なキーイング閾値（T）を決定するために使
    用される， ところの装置。
  18. 【請求項１８】請求項１７に記載の装置あって， 前記コーデックは，前記予めエンコード化されたキー・カラー・データの前記
    コード化およびデコード化するために，前記第一の量子化パラメータ（QP）に応
    答する，ところの装置。
  19. 【請求項１９】請求項１７に記載の装置であって， 前記コーデックは，デコード化されたキー・カラー・データの対応する範囲を
    得るために，量子化パラメータの範囲にしたがって，予めエンコード化されたキ
    ー・カラー・データをコード化し，デコード化するために適合され， 前記減算器は，前記デコード化されたキー・カラー・データの前記範囲の量子
    化エラーの範囲を計算するために使用され， さらに，当該装置は，前記量子化エラーの前記範囲および量子化パラメータの
    前記対応する範囲を示すデータを記憶するメモリーを含み， 前記最適な閾値プロセッサは，前記最適なキーイング閾値（T）を決定するた
    めに，前記メモリーに応答する，ところの装置。
  20. 【請求項２０】請求項１９に記載の装置であって， 前記コーデックは，量子化パラメータの前記範囲にしたがって，前記予めエン
    コード化されたキー・カラー・データをコード化し，デコード化し，さらに 前記減算器は，前記エンコーダが前記ソフトキー出力をエンコーダ化する前に
    量子化エラーの前記範囲を計算するために使用される，ところの装置。
  21. 【請求項２１】請求項１７に記載の装置であって，さらに， 送信機と， 該送信機の出力を受信するためのデコード化機能と， 該デコード化機能は，デコーダ，および該デコーダからの出力を受信するため
    の閾値機能を含み， 前記送信機は，エンコーダ化されたソフトキー出力，前記最適なキーイング閾
    値（T），および前記予めエンコード化されたキー・カラー・データ（K）を，通
    信チャネルを通してデコード化機能へ送信し， 前記デコーダは，再構成されたソフトキー出力を得るために，デコード化機能
    において，エンコード化されたソフトキー出力をデコード化し， 前記閾値機能は，前記最適なキーイング閾値（T）および前記予めエンコード
    化されたキー・カラー・データ（K）にしたがって，前記再構成されたソフトキ
    ー出力から，前記第二のイメージ領域の，デコード化されたアルファ・プレーン
    ・データおよびオブジェクト画素データを回復する， ところの装置。
  22. 【請求項２２】請求項２１に記載の装置であって， 前記閾値機能は，前記再構成されたソフトキー出力と前記エンコード化された
    キー・カラー・データ（K）の間の距離を決定し， 前記距離が前記最適なキーイング閾値（T）よりも大きいとき，再構成された
    ソフトキー出力を，前記第二のイメージ領域としてクラス分けし， 前記距離が前記最適なキーイング閾値（T）よりも大きくないとき，再構成さ
    れたソフトキー出力を，前記第一のイメージ領域としてクラス分けする， ところの装置。
  23. 【請求項２３】請求項１７に記載の装置であって， 前記第二のイメージ領域の前記アルファ・プレーン情報は，ソフトキー出力に
    埋め込まれる，ところの装置。
  24. 【請求項２４】請求項１７に記載の装置であって， 前記第一のイメージ領域は背景領域からなり，前記第二のイメージ領域は前景
    領域からなる，ところの装置。
  25. 【請求項２５】請求項１７に記載の装置であって， 前記第一のイメージ領域は前景領域からなり，前記第二のイメージ領域は背景
    領域からなる，ところの装置。
  26. 【請求項２６】請求項１７に記載の装置であって， 前記最適な閾値プロセッサは，前記第一の量子化パラメータ（QP）において，
    キーイング閾値の範囲に対して，前記量子化エラー（Q）の度合いを観測するこ
    とにより，前記最適なキーイング閾値（T）を決定する，ところの装置。
  27. 【請求項２７】請求項２６に記載の装置であって， 前記度合いは，前記予めエンコード化されたキー・カラー・データ（K）の，
    前記量子化エラー（Q）のピーク信号対ノイズ（PSNR）である，ところの装置。
  28. 【請求項２８】デジタル・ビデオ画像のラインにおいて，第一のイメージ領
    域と第二のイメージ領域との間の遷移をデコード化する彩度キーイング装置であ
    って， エンンコード化されたソフトキー出力を，通信チャネルから受信するデコード
    化機能を含み， 前記デコード化機能は，デコーダ，および該デコーダの出力を受信するための
    閾値機能を含み， 前記エンコード化されたソフトキー出力は，前記ソフトキー出力を得るために
    ，前記第二のイメージ領域のアルファ・プレーン情報にしたがって，前記第二の
    イメージ領域のカラーデータとともに，前記第一のイメージ領域の，予めエンコ
    ード化されたキー・カラー・データ（K）をクロス・フェーディングし，第一の
    量子化パラメータ（QP）にしたがって，前記ソフトキー出力をエンコード化する
    ことにより，エンコーダにおいて得られ， 前記閾値機能は，最適なキーイング閾値データ（T）および前記予めエンコー
    ド化されたキー・カラー・データ（K）を前記通信チャネルから受信し， 前記最適なキーイング閾値データ（T）は，デコード化されたキー・カラー・
    データを得るために前記予めエンコード化されたキー・カラー・データをコード
    化し，デコード化し，前記デコード化されたキー・カラー・データの量子化エラ
    ー（Q）を計算し，前記第一の量子化パラメータ（QP）および前記量子化エラー
    （Q）にしたがって前記最適なキーイング閾値（T）を決定することにより，前記
    エンコーダにおいて得られ， 前記デコーダは，前記再構成されたソフトキー出力を得るために，エンコード
    化されたソフトキー出力をデコード化し 前記閾値機能は，前記最適なキーイング閾値（T）および前記キー・カラー・
    データ（K）にしたがって，前記再構成されたソフトキー出力から，前記第二の
    イメージ領域の，デコード化されたアルファ・プレーンおよびオブジェクト画素
    データを回復する， ところの装置。
  29. 【請求項２９】請求項２８に記載の装置であって， 前記閾値機能は， 前記再構成されたソフトキー出力と前記エンコード化されたキー・カラー・デ
    ータ（K）の間の距離を決定し， 前記距離が前記最適なキーイング閾値（T）よりも大きいとき，再構成された
    ソフトキー出力を，前記第二のイメージ領域としてクラス分けし， 前記距離が前記最適なキーイング閾値（T）よりも大きくないとき，再構成さ
    れたソフトキー出力を，前記第一のイメージ領域としてクラス分けする， ところの装置。
  30. 【請求項３０】請求項２８に記載の装置であって， 前記第二のイメージ領域の前記アルファ・プレーン情報は，ソフトキー出力に
    埋め込まれる，ところの装置。
  31. 【請求項３１】請求項２８に記載の装置であって， 前記第一のイメージ領域は背景領域からなり，前記第二のイメージ領域は前景
    領域からなる，ところの装置。
  32. 【請求項３２】請求項２８に記載の装置方法であって， 前記第一のイメージ領域は前景領域からなり，前記第二のイメージ領域は背景
    領域からなる，ところの装置。
JP2000570976A 1998-09-17 1999-08-23 デジタル・ビデオに対して単純形状コード化を行うための修正彩度キー技術 Pending JP2002525928A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/156,790 US6122014A (en) 1998-09-17 1998-09-17 Modified chroma keyed technique for simple shape coding for digital video
US09/156,790 1998-09-17
PCT/US1999/018310 WO2000016562A1 (en) 1998-09-17 1999-08-23 Modified chroma keyed technique for simple shape coding for digital video

Publications (1)

Publication Number Publication Date
JP2002525928A true JP2002525928A (ja) 2002-08-13

Family

ID=22561103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000570976A Pending JP2002525928A (ja) 1998-09-17 1999-08-23 デジタル・ビデオに対して単純形状コード化を行うための修正彩度キー技術

Country Status (8)

Country Link
US (1) US6122014A (ja)
EP (1) EP1114556A1 (ja)
JP (1) JP2002525928A (ja)
KR (1) KR20010075163A (ja)
CN (1) CN1120630C (ja)
AU (1) AU755247B2 (ja)
CA (1) CA2343031A1 (ja)
WO (1) WO2000016562A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100524835B1 (ko) * 1999-12-28 2005-10-28 타이코 일렉트로닉스 에이엠피 케이.케이. 암형 콘택트 및 그것을 사용한 전기 커넥터

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2305050A (en) * 1995-09-08 1997-03-26 Orad Hi Tec Systems Ltd Determining the position of a television camera for use in a virtual studio employing chroma keying
US6201570B1 (en) * 1996-09-13 2001-03-13 Hitachi Denshi Kabushiki Kaisha Digital television camera apparatus provided with camera head unit and camera control unit, independently
US6208693B1 (en) * 1997-02-14 2001-03-27 At&T Corp Chroma-key for efficient and low complexity shape representation of coded arbitrary video objects
US6618444B1 (en) * 1997-02-14 2003-09-09 At&T Corp. Scene description nodes to support improved chroma-key shape representation of coded arbitrary images and video objects
US6754277B1 (en) * 1998-10-06 2004-06-22 Texas Instruments Incorporated Error protection for compressed video
US6934906B1 (en) 1999-07-08 2005-08-23 At&T Corp. Methods and apparatus for integrating external applications into an MPEG-4 scene
GB9920929D0 (en) * 1999-09-03 1999-11-10 Sony Uk Ltd Video signal processor
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US6714257B2 (en) * 2001-06-29 2004-03-30 Koninklijke Philips Electronics N.V. Color key preservation during sample rate conversion
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
AU2003301043A1 (en) 2002-12-13 2004-07-09 Reactrix Systems Interactive directed light/sound system
CN1902930B (zh) 2003-10-24 2010-12-15 瑞克楚斯系统公司 管理交互式视频显示系统的方法和系统
US7889792B2 (en) 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7394471B2 (en) * 2004-04-05 2008-07-01 Seiko Epson Corporation Dynamic cross fading method and apparatus
US20060184462A1 (en) * 2004-12-10 2006-08-17 Hawkins Jeffrey C Methods, architecture, and apparatus for implementing machine intelligence and hierarchical memory systems
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US7739208B2 (en) * 2005-06-06 2010-06-15 Numenta, Inc. Trainable hierarchical memory system and method
US20070011718A1 (en) * 2005-07-08 2007-01-11 Nee Patrick W Jr Efficient customized media creation through pre-encoding of common elements
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
US20070192267A1 (en) * 2006-02-10 2007-08-16 Numenta, Inc. Architecture of a hierarchical temporal memory based system
US7941389B2 (en) * 2006-02-10 2011-05-10 Numenta, Inc. Hierarchical temporal memory based system including nodes with input or output variables of disparate properties
US20080208966A1 (en) * 2007-02-28 2008-08-28 Numenta, Inc. Hierarchical Temporal Memory (HTM) System Deployed as Web Service
US8732098B2 (en) 2006-02-10 2014-05-20 Numenta, Inc. Hierarchical temporal memory (HTM) system deployed as web service
US7937342B2 (en) * 2006-11-28 2011-05-03 Numenta, Inc. Method and apparatus for detecting spatial patterns
US8037010B2 (en) 2007-02-28 2011-10-11 Numenta, Inc. Spatio-temporal learning algorithms in hierarchical temporal networks
US7941392B2 (en) * 2007-02-28 2011-05-10 Numenta, Inc. Scheduling system and method in a hierarchical temporal memory based system
WO2008106623A2 (en) * 2007-02-28 2008-09-04 Numenta, Inc. Episodic memory with a hierarchical temporal memory based system
WO2009006231A1 (en) * 2007-06-29 2009-01-08 Numenta, Inc. Hierarchical temporal memory system with enhanced inference capability
US8456577B2 (en) * 2007-06-29 2013-06-04 Gvbb Holdings S.A.R.L. Method and apparatus for chroma key production
US8155437B2 (en) * 2007-09-07 2012-04-10 CVISION Technologies, Inc. Perceptually lossless color compression
KR101141087B1 (ko) 2007-09-14 2012-07-12 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
US20090116413A1 (en) * 2007-10-18 2009-05-07 Dileep George System and method for automatic topology determination in a hierarchical-temporal network
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US8175984B2 (en) * 2007-12-05 2012-05-08 Numenta, Inc. Action based learning
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8175985B2 (en) 2008-03-19 2012-05-08 Numenta, Inc. Plugin infrastructure for hierarchical temporal memory (HTM) system
US7983998B2 (en) * 2008-03-21 2011-07-19 Numenta, Inc. Feedback in group based hierarchical temporal memory system
US8407166B2 (en) * 2008-06-12 2013-03-26 Numenta, Inc. Hierarchical temporal memory system with higher-order temporal pooling capability
US8595218B2 (en) 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
US7924164B1 (en) 2008-11-05 2011-04-12 Brunswick Corporation Method for sensing the presence of a human body part within a region of a machine tool
CN101764911B (zh) * 2008-12-08 2013-05-01 新奥特（北京）视频技术有限公司 一种抑制前景颜色溢出和控制混合亮度的方法
US8195582B2 (en) * 2009-01-16 2012-06-05 Numenta, Inc. Supervision based grouping of patterns in hierarchical temporal memory (HTM)
US8477149B2 (en) * 2009-04-01 2013-07-02 University Of Central Florida Research Foundation, Inc. Real-time chromakey matting using image statistics
WO2011115854A1 (en) * 2010-03-15 2011-09-22 Numenta, Inc. Temporal memory using sparse distributed representation
US11651277B2 (en) 2010-03-15 2023-05-16 Numenta, Inc. Sparse distributed representation for networked processing in predictive system
US8294822B2 (en) 2010-08-17 2012-10-23 Broadcom Corporation Method and system for key aware scaling
US8645291B2 (en) 2011-08-25 2014-02-04 Numenta, Inc. Encoding of data for processing in a spatial and temporal memory system
US8504570B2 (en) 2011-08-25 2013-08-06 Numenta, Inc. Automated search for detecting patterns and sequences in data using a spatial and temporal memory system
US8825565B2 (en) 2011-08-25 2014-09-02 Numenta, Inc. Assessing performance in a spatial and temporal memory system
CN102752544B (zh) * 2011-11-21 2017-06-13 新奥特（北京）视频技术有限公司 一种利用色键进行图像校色选区的方法
US9764523B2 (en) 2011-11-29 2017-09-19 Smith International, Inc. High pressure carbide component with surfaces incorporating gradient structures
US9159021B2 (en) 2012-10-23 2015-10-13 Numenta, Inc. Performing multistep prediction using spatial and temporal memory system
US9386303B2 (en) * 2013-12-31 2016-07-05 Personify, Inc. Transmitting video and sharing content via a network using multiple encoding techniques
US10318878B2 (en) 2014-03-19 2019-06-11 Numenta, Inc. Temporal processing scheme and sensorimotor information processing
US10142642B2 (en) * 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding
US9473191B1 (en) 2015-08-28 2016-10-18 Kevin Lee Raymond Portable handheld container
US11681922B2 (en) 2019-11-26 2023-06-20 Numenta, Inc. Performing inference and training using sparse neural network

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3143653A1 (de) * 1981-11-04 1983-05-11 Robert Bosch Gmbh, 7000 Stuttgart Verfahren zum mischen zweier farbfernsehsignale
US5384912A (en) * 1987-10-30 1995-01-24 New Microtime Inc. Real time video image processing system
DE4143180A1 (de) * 1991-12-30 1993-07-01 Broadcast Television Syst Verfahren und anordnung zur einblendung eines hintergrundsignals in durch eine vorgegebene stanzfarbe festgelegte teile eines vordergrundsignals
GB9217098D0 (en) * 1992-08-12 1992-09-23 British Broadcasting Corp Derivation of studio camera position and motion from the camera image
DE4229377B4 (de) * 1992-09-03 2006-03-23 Bts Holding International Bv Farbstanzverfahren für Bildsignale
DE4432788B4 (de) * 1994-09-15 2006-04-06 Bts Holding International Bv Verfahren und Schaltung zur Erzeugung eines zusammengesetzten Videosignals
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
JP3255022B2 (ja) * 1996-07-01 2002-02-12 日本電気株式会社 適応変換符号化方式および適応変換復号方式
US5974172A (en) * 1997-02-14 1999-10-26 At&T Corp Method and apparatus for coding segmented regions which may be transparent in video sequences for content-based scalability

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100524835B1 (ko) * 1999-12-28 2005-10-28 타이코 일렉트로닉스 에이엠피 케이.케이. 암형 콘택트 및 그것을 사용한 전기 커넥터

Also Published As

Publication number Publication date
AU5557199A (en) 2000-04-03
CN1318258A (zh) 2001-10-17
AU755247B2 (en) 2002-12-05
KR20010075163A (ko) 2001-08-09
US6122014A (en) 2000-09-19
CN1120630C (zh) 2003-09-03
WO2000016562A1 (en) 2000-03-23
CA2343031A1 (en) 2000-03-23
EP1114556A1 (en) 2001-07-11

Similar Documents

Publication Publication Date Title
JP2002525928A (ja) デジタル・ビデオに対して単純形状コード化を行うための修正彩度キー技術
US6314209B1 (en) Video information coding method using object boundary block merging/splitting technique
US6404814B1 (en) Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
US6618444B1 (en) Scene description nodes to support improved chroma-key shape representation of coded arbitrary images and video objects
US6466624B1 (en) Video decoder with bit stream based enhancements
US6324215B1 (en) Motion picture coding and decoding apparatus
EP0833503A2 (en) Scene change detector for digital video
JPH09214970A (ja) 画像符号変換方式
JPH1155664A (ja) 二値形状信号符号化装置
JP2001128184A (ja) 映像信号処理装置
JP2003509915A (ja) 一連のエンコードされたビデオ画像の各画像を各領域にフォーマットする回路及び方法
US11290735B1 (en) Visual element encoding parameter tuning
JP2001211453A (ja) 映像信号処理装置及び映像信号処理方法
JPH10336673A (ja) 映像信号符号化システムにおける縁部検出方法及びその装置
WO2003107678A1 (en) Video encoding method and corresponding encoding and decoding devices
US7899112B1 (en) Method and apparatus for extracting chrominance shape information for interlaced scan type image
JP4133581B2 (ja) テロップ合成装置、テロップ合成方法及びテロップ合成プログラム
JP2001197505A (ja) 映像信号処理装置及び映像信号処理方法
MXPA01002776A (en) Modified chroma keyed technique for simple shape coding for digital video
Masala et al. Perceptually optimized MPEG compression of synthetic video sequences
KR100208010B1 (ko) 스펙트럴 중복성을 이용한 영상 부호화 방법
Jang Low‐Complexity MPEG‐4 Shape Encoding towards Realtime Object‐Based Applications
JP2001008210A (ja) ビデオ信号処理装置、コンピュータプログラム製品及びビデオ信号処理方法
WO1999059342A1 (en) Method and system for mpeg-2 encoding with frame partitioning
Boroczyky et al. Sharpness enhancement for MPEG-2 encoded/transcoded video sources

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060823

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A073

Effective date: 20070201