JP2001509325A

JP2001509325A - ３次元深度情報を利用したデジタル画像と動画像の分割と圧縮を行う方法及び装置

Info

Publication number: JP2001509325A
Application number: JP51775998A
Authority: JP
Inventors: アレクサンドロスエレフセリアディス; ディミトリスアナスタシア; シ―フチャン; シュリーナイヤ
Original assignee: トラスティースオブコロンビアユニヴァーシティインザシティオブニューヨーク
Priority date: 1996-10-09
Filing date: 1997-10-09
Publication date: 2001-07-10
Also published as: EP1012776A4; WO1998015915A1; KR20000049031A; EP1012776A1; CA2268191A1; US6055330A

Abstract

(57)【要約】ビデオ情報のフィールド又はフレームに対応する深さ情報内の１個以上の個別のオブジェクトを識別する装置及び方法が開示されている。好適例において、装置は、深さ情報を受信するとともに、ビデオ情報のフレーム内の各画素を変動する知覚的な重要度の１個以上の領域に関連させるために深さ情報をオブジェクトマップに変換するオブジェクトマップ発生回路（５００）を有する。この好適な装置は、予め選択された深さの領域にほぼ対応するフレーム内の画素を表す１個以上の深さ領域マスクを民制させるめたにオブジェクトマップをマスクする領域マスク回路と、ＣＢＲエンコーダ（４００）と、１個以上の領域マスクの各々によって識別された１個以上の予め選択された領域の各々の範囲内の１個以上の個別のオブジェクトを識別して、各深さ領域に関連した各オブジェクトを個別のオブジェクトとして識別するビデオオブジェクト選択回路とをも有する。

Description

【発明の詳細な説明】３次元深度情報を利用したデジタル画像と動画像の分割と圧縮を行う方法及び装置発明の背景Ｉ．発明の分野本発明は、デジタル画像、動画像分割と圧縮のための技術に関し、より具体的には、動画像分割／圧縮処理の部分として、３次元型情報を利用するデジタル画像と動画像圧縮技術に関するものである。 II．従来技術の説明近年、デジタル画像と動画像圧縮技術には非常に多くの技術が紹介されている。最近の画像／動画像圧縮の標準には、JPEG、H.261、MPEG-1、MPEG-2、H.263などがあり、これらは、本来の能力である、異なる視覚オブジェクトを別々に分割符号化する能力を持たず、冗長性を除去する技術を適用した２次元もしくは３次元（二次元空間に時間を加えた）画素列として、コンテンツを取り扱う。このような標準的技術においては、画素データ８ｘ８ブロックを、より簡単に量子化が行われるDCT領域へ変換するために、離散コサイン変換（「DCT」）が利用されている。ラン長符号化とエントロピー符号化（例えば、ハフマン符号化）は、本来の非圧縮の元の信号よりかなり削減されたビット・レートをもつ圧縮ビット・ストリーム生成のための量子化ビット・ストリームに適用されている。この処理は、顕著に現われる内部フレームの動きもしくは内部フィールドの動きを考慮し、近傍フレームか近傍フィールドからのフレームかフィールドに基づく予測に利用する動きベクトルの形態である、付加的な側面情報で促進する。本特許書類の準備日付のひとつとして、サテライト・テレビ、デジタル・ビデオ・ディスク（DV D）、コンピュータ・ビデオ・アダプタなど、数多くの個人のおよび商業的適用において、一もしくはより多くの上記記載の技術を利用し、その適用におけるビデオ能力を高めようとするものである。数多くの付加的適用が考案されているが、特にMPEG-２のケースにおいて、それが言える。ごく最近開発された他の画像／動画像圧縮技術として、ISO/IEC JTC1/SC29/WG 11グループの奮闘によってなされたMPEG-４標準化のような、意味的にも異なる視覚オブジェクトを分離して符号化する本来の能力も持ち合わせている。同フレームかシーケンスのオブジェクトの独立的な符号化、合成音声・図形オブジェクトを含む能力に対し与えられるオブジェクトを基本にしたの構造をMPEG-4は利用している。MPEG-4圧縮技術の完全な説明においては、MPEG-4システム記述言語（MSDL）を含むが、これはここでの引用で記載されるISOドキュメントISO/IEC JTC1/SC29/WG11N1277（1996年６月）に含まれている。現在、ほとんどのビデオ圧縮技術がフレームもしくはフィールドを基本にしたものである一方、MPEG-４は、フィールドもしくはフレームを基本にしたの圧縮に限定されない柔軟性と拡張性をもつ圧縮技術を提供している。結果、MPEG-2のようなフレームもしくはフィールドを基本にした圧縮技術および MPEG-4のようなオブジェクトを基本にした圧縮技術の出現により、1990年代はじめから半ばにおいて、動画圧縮技術の変革が行われている。その結果、動画圧縮技術の変革により、動画技術の取得では、大きく進歩している。殊に、景色の深度情報をリアル・タイムに得ることが可能な光学的センサ、例えば、深度カメラが現在利用可能である。このようなデバイスは、１秒当たり30フレームか25フレームのデジタル・フォーマットで通常のビデオ信号を生成可能で、また同フレーム・レートで、カメラの中心焦点のように、固定地点か固定面から取得した画像画素の距離を評価することもできる。この距離または３次元型情報はデジタル・フォームのセンサで得られる。このようなセンサのひとつが、特殊な明るさのパターンが要求される能動的立体配置と本引用でも含まれる開示、シュレー・ネイヤー他(Shree Nayer et al.,)「リアルタイム焦点範囲センサ(Real Time Focus Range Sensor)」Int'l Conf．議事録（Proceedings Int'l C onf.）コンピュータヴィジョン（Computer Vision）pp.995-1001（1995年、米国電気電子技術者協会）での受動的立体配置で開示されいる。動画像圧縮処理の一部である３次元型情報利用に対し、いくつかの試みが行われている。例えば、シャークウィック他（J.J.D．van Schalkwyk et al.,）「深度圧縮を伴った低ビットレート動画像符号化」("Low Bitrate Video Coding wit h Depth Compression,")米国電気電子技術者協会議事録動画像信号処理第141巻N o.3 149〜153ページ（1994年）（IEEE Proceedings Vision，Image and Signal Processing，Vol．141，No．3，pp．149-53(1994)"において、動くオブジェクトを静止している背景から分離するための深度感知アルゴリズムにより生成される３次元深度情報を利用した動画像圧縮技術が発表されている。この記載技術では、景色から深度情報を抽出し、その景色内にオブジェクトの端を位置するのに、ステレオ・アルゴリズムが利用されている。そのオブジェクトの形態は、そのオブジェクト全体をカバーする領域としてサブ・ブロックを基本としている。全体的な動きベクトルは、一つのフレームから他のフレームへの動きあるいは変位を全体として表し、前のフレームと現在のフレームのオブジェクトの位置ベクトルを相関して生成される。予測処理の間、全体の動きベクトルは、現フレームの第一順予測として使用してもよいデータの「全体補償フレーム」生成のため、前のデータのフレームにおけるオブジェクトを変位するのに使用する。より正確な景色表現を行うため、標準的フィールドかフレームを基本にした圧縮処理において、全体補償フレームは、過去のデータ・フレームを交換する。ベンテル他（M．A．H．Venter et al.）の「低ビット・レートの動画像符号化における立体画像」("Stereo Imagingin Low Bitrate Video Coding")COMSIG 19 89年，通信信号処理の南アフリカ会議議事録115-118ページ米国電気電子技術者協会1989年６月23日（Proceeding South Africa Conference[of]Communication Signal Processing，pp115-118 IEEE）において、立体画像カメラで検索する３次元深度情報を利用した２つの動画像圧縮技術が開示されている。第一の技術として、ベンテル他（Venter et al.）が開示する、動きベクトルの正確さ検査としての「オブジェクト動きベクトル」を生成する深度情報を利用したものである。正確さ検査における動きベクトルは、通常の符号化アルゴリズムにおいて生成されるもので、例えば、生成した動きベクトルが、実質的にオブジェクト動きベクトルとことなる場合、それは誤りで、それ故にオブジェクト動きベクトルに交換とする。第二の技術において、その記載において、一景色内の動く対象物、例えば、人間の頭や肩など、３次元モデルを２次元画像の平面に投影して元に戻し、画像予測するのに利用可能で、３次元モデルをつくるのに深度情報が利用可能とすることが提案されている。ベルンジロッド（Bernd Girod），「画像連続符号化を利用した3D場面モデル」（"Image Sequence Coding Using 3D Scene Models"）、SPIE議事録（Proceed ings of SPIE）、光学技術に対する国際学会（The international Society for Optical Engineering），第2308巻，1576‐1591ページ（SPIE 1994年）においても、深度感知カメラによる検索される３次元深度情報を利用した２つの動画像圧縮技術が開示されている。第一の技術では、ジロッド（Girod）では以下のとおり開示している。厳密なボディの換言的で循環的な動き表現するマトリックスを生成する深度情報を「絶対に」利用するもので、これは、より精密な動き補償を行う動きベクトル・フィールド上で強制的にブロック整合中に利用するものである。第二の技術は、深度情報を、顔の動画をつくるのに、動く対象物、例えば、事前に選択の顔の動きのパラメータ（口を開く、頭を回すなど）によって、受信者に送信される頭、のモデル生成に、明らかに使用するものである。上述従来技術では、現フィールドもちくは現フレームを基本にした動画像圧縮技術と３次元動画像検索技術間のギャップを十分に橋渡しすることができない。何故なら、各従来技術において、３次元型情報は、直接的な方法というよりは寧ろ、例えば、動画像データ・フレームの第一順予測を行うあるいは動きベクトルの精密さの検査を目的とした間接的な方法にしか利用できないからである。更に、従来技術では、オブジェクトを基本にした圧縮という内容での３次元型情報を議論している。圧縮処理を支援する直接的方法よりも寧ろ、動く対象物の三次元モデル生成のためだけに３次元型情報を利用するのである。その結果、動画像圧縮処理において、フィールドもしくはフレームを基本にした圧縮技術の場合とオブジェクトを基本にした圧縮技術の場合のふたつの場合において、３次元型情報を直接利用する技術が必要である。発明の要約本発明の目的は、フィールドもしくはフレームを基本にした圧縮技術の場合とオブジェクトを基本にした圧縮技術の両方の場合において、動画像圧縮処理に直接、型情報を利用する技術を提供することにある。本発明の更なる目的は、圧縮処理中、選択的ビット配置が可能になって、フィールドもしくはフレームを基本にした動画像処理における深度感知カメラで生成する深度情報を利用する技術を提供することにある。本発明の更なる目的は、圧縮処理中、そのオブジェクトを精密に表すオブジェクトを基本にした動画像圧縮技術において、深度情報を利用する技術を提供することにある。本発明の更なる目的は、空間内のオブジェクトの位置にしたがって、フレーム中の異なるオブジェクトに知覚的な重要性を割り当てる深度情報を利用する技術を提供することにある。本発明の更なる目的は、知覚的には重要性は低く、高い粒状度でオブジェクトを量子化して３次元型情報を利用する、変形されたMPEG-2符号器を提供することにある。発明の更なる目的は、内容を分離して、個々のオブジェクトにする粒状化手段としての３次元型情報を利用する、変形されたMPEG-4符号器を提供することにある。本発明の上記及び他の目的は、以下の更なる記載を参照して明らかとなるであろう。本発明は、動画像情報のフレームに対応する深度情報を受信し、動画像情報フレーム内でひとつもしくは複数の分離オブジェクトを確認するオブジェクト分離回路を提供する。また、本発明は、各画素をフレーム内の知覚上の重要性を変化するひとつまたは複数の領域と関連づけるため、深度情報をオブジェクト・マップに変換する、オブジェクト・マップ生成回路を含む。オブジェクト分離回路は、事前に選択された深度の領域に大体相当するフレーム内の画素を示すひとつまたは複数の深度領域マスクを生成するオブジェクト・マップをマスクする、領域マスキング回路と、ひとつまたは複数の領域マスクの各々が示すひとつまたは複数の各領域内のひとつまたは複数の分離オブジェクトを確認する動画像オブジェクト選択回路を含む。好適には、上記オブジェクト・マップ生成回路は、所定の深度値を持つ画素数を所定の値の範囲に提供するために深度情報のヒストグラムを計算するヒストグラム発生回路と、切り抜かれたヒストグラムを生成するために、ヒストグラム中の所定のしきい値以下のあらゆる値をゼロに設定する第一論理回路と、ｎ個の異なる深度しきい値と共にｎ個の領域の境界を見つけ出すための切り抜かれたヒストグラムを走査する第二論理回路と、オブジェクト・マップを生成するためにｎ個の異なるしきい値を基本にした深度情報を量子化する可変ステップ量子化回路を含む。上記ヒストグラム生成回路自身が、深度情報を受け取り一時的に保存するバッファと、バッファから深度情報をメモリ・アドレスとして受け取り、メモリ・アドレスとしてのヒストグラム値を格納するメモリと、アドレス位置のヒストグラム値を上記メモリから読み出し、そのヒストグラム値を更新し、更新されたヒストグラム値をそのアドレス位置のメモリに提供する論理回路とを含んでもよい。好適な一実施例において、本発明は、符号化をすすめるため、各画素の深度構成要素を利用して、２次元の画素列形態の動画像情報のフィールドまたはフレームを符号化する装置を提供し、動画像情報のフレームまたはフィールドを受け取り、受け取った動画像情報のフィールドまたはフレームから圧縮された画像信号を生成する符号化器を含む。この符号化器は、動画像情報のフレームまたはフィールドの、マクロ・ブロックのような位置に対応するデータを量子化するマルチモード量子化器を含む。このような装置において、動画像情報のフレームまたはフィールドもしくは動画像情報に対応する深度情報の両方をリアル・タイムに生成できる深度感知カメラが、含まれる。本実施例においては、有効には、選択された量子化モードが、オブジェクト・マップが示す領域の知覚上の重要性を反映する量子化モードを選択するマルチモード量子化器に、オブジェクト・マップ生成回路によって生成されたオブジェクト・マップに応答する信号を供給するレート制御器と同様なオブジェクト・マップ生成回路を含む。本実施例では、オブジェクト・マップ生成回路とレート制御器間に接続され、動画像データの現在のマクロ・ブロックを、知覚上の重要性を可変する領域のひとつに割り当て、上記割り当てられた領域の示す信号をレート制御器に提供するマクロ・ブロック分類回路によって支援されてもよい。生成された圧縮動画像信号を受け取り一時的に記憶するため、オーバー・フロー条件を示す信号を上記レート制御器に供給するために、事前に選択された記憶容量をもつ動画像バッファは、上記符号化器とレート制御器に結合されてもよい。その結果、上記レート制御器によってマルチモード量子化器に提供された信号は、オーバー・フロー信号にも応答する。特に好適な一実施例において、符号化器は、圧縮された動画像データがビデオ・バッファに出力された場合、出力信号を生成し、マクロ・ブロック分類回路は、割り当てられた領域に関連した対象ビット・レートを示す信号を生成する。この調整は、有益には、クロック信号に応答して、所定量の圧縮された動画像信号をバッファが出力するように、クロック信号をバッファに供給するクロック信号生成回路と、符号化器出力信号に応答してカウントを付加し、そのクロック信号と仮想バッファの占有を決定するための対象ビット・レート信号に応答してそのカウントから差し引いて動画像バッファに関連した仮想バッファにあるビット数をカウントするカウンタを含む。また、上記カウンタは、レート制御器によってマルチモード量子化器に供給された信号が仮想バッファ占有信号に応答するよう、カウントを示す仮想バッファ占有信号をレート制御器に供給する。代替的に好適な調整において、本発明は、動画像情報符号化を促進する動画像情報の深度構成要素を利用した、オブジェクトを基本にした動画像情報の符号化を行う装置を提供し、オブジェクト分離回路とオブジェクトを基本にした符号化器を含む。符号化器は、受け取った深度情報と、オブジェクト分離回路によって生成されたひとつもしくは複数のオブジェクト認証信号に対応する動画像情報のフレームを受け取り、ひとつもしくは複数のオブジェクト認証信号によって認証されたひとつもしくは複数のオブジェクトに大体対応する動画像情報の部分を表す圧縮された動画像信号を生成する。本発明は、動画像情報のフレームに対応する深度情報内のひとつもしくは複数の分離オブジェクトを認証する方法を提供する。本方法は、深度情報を受け取るステップと、動画像フレーム内の各画素を可変するフレーム内の知覚上の重要性を可変するひとつもしくは複数の領域に関連づけりために、受け取った深度情報をオブジェクト・マップに変換するステップと、事前に選択された深度の領域に大体対応するフレーム内の画素を示すひとつもしくは複数の深度領域マスクを発生させるためのオブジェクト・マップをマスクするステップと、ひとつもしくは複数の領域マスクが示すひとつもしくは複数の事前に選択した各領域内のひとつもしくは複数の分離オブジェクトを認証するステップとを含むべきである。好適には、変換ステップは、受け取った深度情報のヒストグラムを計算し、所定値の範囲に対し所定の深度値をもつ画素数を提供し、クリップされたヒストグラムを生成するために、所定のしきい値以下のヒストグラムのあらゆる値をゼロに設定し、ｎ個の異なるしきい値に基づく深度情報を量子化することを含む。好適には、上記認証ステップは事前に選択した深度領域マスクを、マスクしていない値を発見するまで走査し、他に近傍画素を発見するためにマスクしていない値とともにマスク内の近傍画素を検索し、深度領域内のオブジェクトに対応する動画像オブジェクト面としてのマスク化されていない値と共に、発見されたあらゆる近傍画素を認証するためのマスク化されていない値を持つ近傍が疎なくなるまで検索ステップを繰り返し、深度領域マスクからオブジェクトをマスクし、深度領域マスク内の全画素がマスクされるまで上記を繰り返し、ひとつもしくは複数の動画像情報の受け取ったフレーム内のひとつもしくは複数の動画像オブジェクト面を認証し、ひとつもしくは複数の動画像オブジェクト面のうちのひとつと、動画像情報の最も先に続くフレームと関連したひとつもしくは複数の動画像オブジェクト面を選択し、選択された動画像オブジェクト面と、深度の違いを決定するための選択された前のフレーム動画像オブジェクト面を比較し、ひとつもしくは複数の前のフレームの動画像オブジェクト面のすべてが選択されなければ、ひとつもしくは複数の前のフレームの動画像オブジェクト面の異なるひとつを選択後の比較ステップを繰り返し、決定した深度の違い全てと比較して、深度の違いが最小化されたひとつもしくは複数の前のフレームの動画像オブジェクト面のひとつに対応する動画像オブジェクトに、選択された動画像オブジェクト面を割り当てる。添付図面は本開示部分を含まれ、構成し本発明の好適な実施例を図示し、本発明の原理を説明するのに役立つ。簡単な図面の説明図１は、深度感知カメラの概略図である。図２は、典型的なMPEG-２タイプの符号化器のシステム図である。図３は、可変的ビット・レート符号化器の、一定のビット・レートへの符号化器の変換を示すシステム図である。図４は、本発明による一定のビット・レートの符号化のシステム図である。図５は、図４の符号化器において有効なオブジェクト・マップ生成回路を示す。図６は、図５のオブジェクト・マップ生成回路において有効なヒストグラム生成回路を示す。図７は、図５のオブジェクト・マップ生成回路において有効なヒストグラム・クリップ回路を示す。図８は、図５のオブジェクト・マップ生成回路において有効な境界検索回路を示す。図９は、図５のオブジェクト・マップ生成回路において有効な量子化回路を示す。図10は、本発明の好適なアスペクトにおける一定のビット・レート符号化器のシステム図である。図11は、図10の符号化器において有効な、マクロ・ブロック分類回路を示す。図12は、図10の符号化器において有効な対象ビット・レート生成回路を示す。図13は、図10の符号化器において有効なバッファ・サイズ変調信号生成回路を示す。図14は、動画像情報のフレーム内の動画像オブジェクトと動画像オブジェクト面の概略図である。図15は、本発明による、オブジェクトを基本にした符号化器のシステム図である。図16は、典型的なMPEG-4タイプの符号化器のシステム図である。図17は、図15の符号化器において有効な動画像オブジェクト分離回路を示す。図18は、本発明の−アスペクトに従った、レート制御を行う好適なステップを含む動画像情報符号化方法のフローチャートである。図19aと図19bは、本発明の−アスペクトに従った、動画像オブジェクト分離を行う好適なステップを含む動画像情報符号化方法のフローチャートである。実施例の説明図１を参照すると、深度感知カメラ100の操作モデルが示されてしいる。深度感知カメラ100は、異なる距離と深度においてオブジェクト111と112を含む３次元の景色110を見ている。カメラ100は、２つのデジタル出力、１つは標準的デジタル・ビデオまたは画像信号Vから構成されるデジタル出力101と、１つは通常のビデオ信号101に含まれる画素に対する深度情報Dから構成されるデジタル出力10 2を生成する。カメラ100は、上記論議したネイヤー他の論説に従って構成されてよいし、または標準的デジタル・ビデオ出力と深度情報出力の両方を生成する他の市販カメラでもよい。好適には、信号101が、Y:U:V=4:2:0の色フォーマットにおいて、１構成要素につき各画素毎に８ビットで構成されるが、その他の色空間または色フォーマットも同様に利用可能である。好適には、信号102は、深度情報を16ビットの線形PCM 表示であるが、浮動点または対数PCMを含むその他のフォーマットが利用可能で、複雑性と精密性という異なるトレードオフを行う。図１では、通常、オブジェクト111は、オブジェクト112に比べカメラより離れた所に位置するほど、オブジェクト112中の画素に対して生成される値より高い値であるオブジェクト111中の画素に対して生成される値Dを、カメラ100が出力する。その際、フレームｋに対するカメラの出力は、２つの信号により数学的に示すことができる。但し、NとMは、それぞれ、１フレームの幅と高さである。式(1)においては、表記を簡単にするため、色構成要素は無視している。異なる構成要素がほとんど同じ処理方法を受けているからであり（動き評価は、除外する）、それと同時にそれらが同じである必要はないからである。図２は、標準的フィールドまたはフレームを基本にした、H.261．MPEG-1、MPE G-2、H.263のような動画像圧縮技術のシステム200を示す。通常の非圧縮ビデオ信号は、マクロ・ブロック分離器／加算器240と動き評価回路210に入力される。離散コサイン変換（「DCT」）250は、マクロ・ブロック分離器／加算器240からマクロ・ブロック・データに適用される。より大きな圧縮効果を上げるため、この場合、DCT係数を251にて量子化し、252にてジグザグ状のラン長符号化を行う。253にて、可変長符号化する。量子化されたDCT係数は、255にて逆量子化し、現在のフレーム・ビデオ・データと同時に動き評価回路210に過去のフレーム・ビデオ・データを供給するために、256にて逆離散コサイン変換を行う。動き評価回路210は、211、212で符号化され、260にて圧縮されたDCT係数とともに多重化される動きベクトルを生成するため、フレーム格納220に格納される過去と現在のフレーム・ビデオ・データを利用する。MPRG-2の場合、符号化器のアーキテクチャは、米国特許35,093号にて十分に記載されており、ここに、その開示は参照として組み入れている。どんな場合でも、ビデオ・データの特殊ブロックの圧縮に利用する量子化器25 1の量子化モードを、符号化器200は柔軟に選択する。精密な量子化モードの選択により、圧縮されるブロックを表示する精密なビット・ストリームを生成する一方、粗いモードでは、そのブロックをよりざらざらした表示を生成する。ここでの決定は、輝度信号ブロックの２ｘ２列と輝度ブロック例えばマクロ・ブロックの２ｘ８列に影響する。精密な大きさで量子化モードを柔軟に選択するのが、符号化器がレート制御に影響を与えることが可能で、その結果エントロピ（可変長）符号化を動画像圧縮処理に利用しても一定のビット・レート（「CBR」）を生成する手段なのである。データの各マクロ・ブロックは、当該輝度・色ブロックに対するPCT係数に加え、ヘッダを含むので、異なる量子化ステップサイズの利用が、各マクロ・ブロックに関連したヘッダの圧縮されたビット・ストリームにて示すことが可能である。図３を参照すると、可変ビット・レート（VBR）符号化器200の出力300にて、バッファ320を置き換えて、レート制御を行ってもよい。次に、バッファからデータを受け取っているチャンネルのバンド幅に依存する一定レートにおいて、圧縮されたデータをバッファ320は出力する。バッファの占有B_max、とその他はどうしても信号に依存する。パラメータは、バッファにおけるオーバーフローまたはアンダーフローが起こらないよう、続くマクロ・ブロックに使用する量子化器 251の量子化ステップサイズを決定するため、レート制御器340によって判断される。バッファ規定関数f(・)は、レート制御340が計算するが、さまざまなフォーマットをとることができる。最も簡単なものは、バッファ占有Bとの「線形」関係である。量子化ファクタQは、セット{1,2,...，31}において値を決めることができるとすれば、この関係は次のフォーマット、さらに精巧な関数は、当業者に周知のもので、例えば、H.261で実用化されているRX-8レート制御またはH.261で実用化されているTMN-5レート制御がる。上記は一定のレート制御に注目してきたが、知覚上の重要性（例えば、顔）のいくつかの画像領域に対してはより高い品質を供給し、重要性のより小さな領域（例えば、背景）においては、品質を落とすVBR符号化器にも、レート制御は、非常に有益である。本明細書の残りの部分では、CBR符号化器かVBR符号化器を使用するか否かを決めないで、表現レート制御を使用する。VBR符号化器では、バッファは除去できレート制御関数は、バッファ占有以外にパラメータのみに依存する。代わりに、バッファ出力レートは、時間関数にすることが可能で、演繹的に知ることができ、またはネットワークから動的に与えられることが可能である。本発明の一実施形態によれば、異なるオブジェクトに関連するいくつかの異なる領域に入力フレームを区切るレート制御回路340が、カメラ100により供給される深度情報を利用する。このオブジェクトは、そのサイズとともに空間の位置に従って、割り当てられた知覚上の重要性である。次に、さらに最上位オブジェクトではより多くのビットを使って、高い視覚上の品質を得、背景のような最下位オブジェクトではより少ないビットを使うよう、この情報を利用する。図４を参照して本発明のこのような実施形態を以下説明する。深度感知カメラ 100は、ケーブル101を介してビデオ・データの連続的なフレームをCBR符号化器4 00に供給し、ビデオ・データの各フレームにはケーブル102を介して深度値の列をオブジェクト分割回路500に供給する。列中の各値は、ビデオ信号の対応画素の深度（またはその測定）に対応する。オブジェクト分割回路500は深度信号をオブジェクト・マップ(0)、例えば、後に詳細に説明する、特殊なオブジェクト（あうれいは背景）に関連した各ピクセルにおいて同じサイズの列に変換し、CB Rのレート制御器440にオブジェクト・マップを供給する。以下、説明するように、レート制御器440は、量子化モード選択信号をVBR符号化器200に、データが符号化されつつあるオブジェクトの知覚上の重要性とバッファ410の現在の占有の両方に依存する量子化ステップサイズを選択するために、供給する。図５を参照して、図４の利用に適合するオブジェクト分離回路500は、をこれから説明する。この回路は、ヒストグラム生成回路510、ヒストグラムクリップ回路520、境界計算回路530、可変ステップ量子化器550を含む。ヒストグラム生成回路510は、図６において更に詳しく示す。カメラ100が生成した深度値または深度マップの列は、バス511を介して16ビット・ワイド・バッファ512に供給される。その列の各画素における深度値を、この場合、バス513を介してヒストグラム値を含む16x64K RAM 514のアドレスとして、入力する。加算器516はデータ・ライン515を介して、示されたRAMアドレスに対する現在値を読み込み、RAM 514に修正値を格納する。（読込み／書込み段階の計時の詳細については、ここでは示さない）これにより、深度マップ内にある各深度値に対する確かな深度値の深度マップ画素数示す機能が、作り出される。図７は、ヒストグラム・クリップ回路520の構造を示す。クリップ回路520は、しきい値T未満のヒストグラム値をOに設定し、他のTよりも高い値は変化させないように、しきい値Tにおいて、クリップ・ヒストグラム登録に、ヒストグラムR AM5I4をアクセスさせる。しきい値は、カメラ100の見る景色内にあるオブジェクト距離によって、実験的に決めるべきである。RAM514の各アドレスは、アドレス生成器527によって、アドレスを生成してアクセスされる。アドレス生成器527は、システム・クロック信号526（クロックは、不図示）に応答する。そのアドレスにおける格納されたヒストグラム値は、ライン512を介して比較器 522に供給され、レジスタ523に格納さえれたしきい値Tと比較し、ライン524を介し、アクセスする。値がTよりも高ければ、その値は変化していないRAMに戻される。値が、Tに等しいかTよりも小さい場合、ゼロが出力され、同じ位置のRAMに格納される。境界計算回路530の詳細は、図８において示す。この回路は、カメラ100に見たオブジェクト間の領域を指定する深度点を認証するために、しきい値のヒストグラムを利用する。回路530は、深度点を、しきい値のヒストグラム中のゼロ値のあらゆる領域の中点とする。 RAM514のデータは、再びアドレス生成器527によってアドレス化され、ライン5 31を介し比較器533に送られる。比較器533では、そのデータがゼロ値と比較される。データがゼロであれば、論理値１が比較器533によって出力される。データがゼロでなければ、論理値０が出力される。出力値は、その場合、レジスタA534 に格納され、レジスタAに格納された前の値は、レジスタB535にシストする。レジスタAが論理値１を含み、レジスタBが論理値０を含む場合、ヒストグラム領域中のゼロ値が認証される。インバータ537とANDゲート538を介し、レジスタT 1540に対するライト・イネーブル信号を生成するよう、その値を組み合わせる。レジスタT 1540は、ヒストグラム中の現在のゼロ値領域のはじめに対する深度値を保持する。レジスタAが論理値０を、レジスタBが論理値１を含む場合、その領域の最後のゼロ値が認証される。このような場合、インバータ537とANDゲート 539は、レジスタT 2541に対するライト・イネーブル信号を生成する。レジスタT 2541は、次の段階に移行し境界値を計算できる回路を示す。境界値は、T1とT2 とシフト器543の内容を加算し、T1とT2とシフト器543によりその結果を割る加算器542によって計算する。境界値は、境界値RAM551（図9）に格納される。T2に対するライト・イネーブル信号は、以下説明する境界値RAMに対するライト・イネーブル信号となる。このように、クリップされたヒストグラムは、クリップされたヒストグラムがゼロ値を持つ連続した領域を発見するよう、走査される。ｉ番目の領域に対し、しきい値t_iがその領域の中点として設定される。このプロセスの最後では、n個の異なるしきい値があり、それは、背景とみなされたn個のオブジェクトに分離される。図９では、可変ステップ量子か器550を詳しく示している。深度フレームバッファ（不図示）から深度値501が、比較器553に供給され、境界値RAM55lから検索した境界値に対応する境界値と、アドレス生成器552によって比較する。深度値が境界値未満の場合、比較器は、１を出力し、その他の場合は０を出力する。比較器出力である、サイン・ビットは量子化値レジスタ554に対するライト・イネーブル信号として使用する。レジスタ554は、例えばオブジェクト認証として使用してもよい所望の量子化値など、現在の深度値がそれよりも小さい、第一境界値のアドレスと共にロードされる。レジスタ55 4の内容は、その場合、オブジェクト・マップRAM1101（図11）にロードし、深度値を特殊オブジェクトと関連させる。現在の深度値サイクル中、量子化値レジスタ554の書込みをすすめるために、比較器553のサイン・ビット出力を、アドレス生成器552に対するリセット信号とする。リセット時には、アドレス生成器は、比較器553の対応する深度値との比較のため、RAM551中の次のアドレスを生成する。このように、量子化器550は、境界計算回路530が認証し、境界値RAM551に格納した決定レベルt₁と共に可変ステップ量子化器を利用して元の深度画素マップを量子化する。この処理が、「オブジェクト・マップ」を生成する。この「オブジェクト・マップ」は、例えば、各画素を特殊オブジェクトに関連させたもので、 n個を介し、最近傍オブジェクトに対応するゼロとし、nは最も離れたところ（背景）にある。オブジェクト・マップ記録を表す16ビット値の利用によって、最大 65,536までの異なるオブジェクトが同じ画像に存在することができる。もちろん、もっと長いワードサイズ（例えば、24ビット以上）に、より多くのビット値を対応させることもできる。現在のフレームに対する量子化決定が行えるよう、このオブジェクト・マップがレート制御回路440に供給される。上記処理は、カメラ100から同距離にあり画素が同じオブジェクトに属するとすると、より洗練された技術を利用でき、例えば、カメラから同じ距離（深度）にある画像領域間の空間分離を考慮することも可能である。更に、ここで述べる簡単な技術が、精密さと複雑さの良好なトレードオフ関係をもたらしながら、深度情報が簡単な画像それ自身であり、それ故に数多くの伝統的な画像分離技術が、本発明に適用可能である。ゴンザレス他（R．C．Gonzal ezetal.，）の「デジタル画像処理」（アディション・ウェスレイ1991年）、ホン（B．K．P．Hom）の「ロボット視覚」（MITプレス1986年）、プラット(W．K． Pratt)の「デジタル画像処理」（レイ・インターサイエンス1991年）この技術に相当する。当業者は、深度マップにおけるオブジェクト分離を行うために、代替的にこの技術を利用してもよい。図10は、本発明の好適な一側面に対応した一定のビット・レート符号化器のシステム図を示す。オブジェクト分離回路500が生成したオブジェクト・マップは、マクロ・ブロック・ラベル回路1100において受け取る。符号化器200は、カメラ100から受け取った動画像情報の各フレームを分割してマクロ・ブロックとし、マクロ・ブロックを基本にしたDCT係数を量子化するので、ビデオ・データの各マクロ・ブロックを特定のオブジェクトに、または上記簡単な分離技術の場合にはカメラ100からの同深度におけるひとつもしくは複数のオブジェクトを含む領域に割り当てるのが望ましい。マクロ・ブロックが、１以上のオブジェクトまたは領域からの画素を含む場合にも、マクロ・ブロックをひとつのオブジェクトまたは領域に割り当てる。例えば、カメラ100に最近傍のオブジェクトまたは領域に、それ故に知覚上最も重要なオブジェクトまたは領域に割り当てる。このような割当てを一旦マクロ・ブロック・ラベル回路1100で行うと、レート制御器1040は、現在のマクロ・ブロック全体に対する適切な量子化ステップサイズを選択できる。図11を参照すると、マクロ・ブロック・ラベル回路1100はマクロ・ブロック（ 16x16列の画素）中の各画素に対しオブジェクトの認証を含むオブジェクト・マップRAM1101を含む。オブジェクトの認証性が最も低いものを、最近傍のオブジェクトに割り当てて、オブジェクト・マップは構成されるので、回路は単にそのマクロ・ブロックに対するオブジェクトの認証性が最も低いもの、例えば、RAM1 101中に保持する16x16列の数のうち最小のものを、検索のみ行わなければならない。これを達成するため、最小値レジスタ1120は各サイクルのはじめにその最大値（16ビットのワードに対しては16の1を）設定する。比較器1110は、アドレス生成器1102がアドレスを生成する際オブジェクト・マップRAM1101から検索した各画素の認証を、最小値レジスタ1120に格納する値と比較する。現在の値が、レジスタ1120に保持する値よりも小さい場合、レジスタ1120に現在値を格納するようレジスタ1120にライト・イネーブル信号とする論理値１を比較器1110は出力する。論理値が比較器1110に格納した値以上の場合、ライト・イネーブル信号は生成しない。このサイクルの最後に、最小値レジスタがマクロ・ブロックにおけるオブジェクトの認証性の最も低いものの値を含む。 VBR符号化の場合、マクロ・ブロック・ラベルは、特殊な量子化ステップサイズを各オブジェクトにに関連させて、レート制御に利用できる。典型的には、最近傍オブジェクトが、より精密な量子化器（より多くのビットを持つ、それ故により高品質）に割当てられ、一方、背景は（最も遠くにあるオブジェクト）は、きめの粗い量子化器（少ないビットを持ち、低い品質）に割当てられる。この場合、マクロ・ブロック・ラベル回路1100が生成する可能なオブジェクト認証の索引付けを行うテーブルを単に調べる操作が、量子化選択である。オブジェクトを挿入し存在させながら、徐々に量子化ステップを行い、オブジェクト境界の「平滑化する」量子化器の相違に、符号化器は、技術を使うこともできる。模範的平滑処理は、CBR符号化器とつなげて以下概説する。 CBR符号化に対し、上述のとおり、レート制御器1040が付加的に、出力バッファ1020がオーバーフローもアンダーフローもしないよう、量子化器の選択を調整しなければばらばい。出力する１秒毎のビット合計が、現在固定されているので、オブジェクトサイズが重要になってくる。オブジェクト位置がわかっている場合、領域選択レート制御を行う技術が、エルザリード他の「比較可能な動画符号化のH.261におけるモデル割当てレート制御のための、顔の位置の自動的検知」7 信号処理：画像通信435-455ページ（1995年）が開示されている。ここでは、この開示を参照として含んでいる。この技術に伴い、背景（オブジェクトn）は除いた特殊な目標平均ビット・レートR_iti＝1，...，n-1に、各オブジェクトを関連させる。バッファにおけるオーバーフローを避けるのに必要な与えられた合計平均レートRを維持するために、背景レートを次の公式に従って決定する。但し、a_iはオブジェクトtに属するフレーム中の画素の0.0から1.0の割合であり、以下の定義、ここで、Rnはマイナス値をとることができ、この簡略化によって、背景でできる限り粗い量子化を割当てる効果が得られる。また、オブジェクト毎の１秒単位の平均ビットが目標ビット・レートRtが示すものより低くなる結果となってもよい。図12は、図10の符号化器において有効な目標ビット・レート生成回路を示す。目標ビット・レート生成回路1200のハードウェアは、マクロ・ブロック・ラベル 1130がRAM1210に送られるよう、オブジェクト・ビット・レートRAM1210に図11の最小値レジスタ1120を結合して、マクロブロック・ラベル回路1100に含まれてもよい。RAM1210は、所望の目標ビット。レートR_iをそれぞれ含む。RAM1210のサイズは、マクロ・ブロック・ラベルに利用できるビット数に依存し、その結果、例えば、８ビットのマクロ・ブロック・ラベルをしようすれば、RAM1210は、２⁸のメモリ位置が必要となる（カメラ100からの異なる深度における場面110の多くのオブジェクトがある場合に限り、メモリ位置の全てが、必要となる）。浮動点計算を避けるため、続いて調整する整数値として、ビット・レートを示す。RAM12l0の各アドレスは、特殊オブジェクト・ラベルに対応し、その結果、マクロ・ラベル1130を、RAM1210に対してアドレス化されたメモリとしてしようする。マクロ・ブロック・ラベル1130でアクセスされている時、RAM1210は、122 0である、対応目標ビット・レートR_iを出力する。図10を参照すると、レートR_iを、バッファ・レートとバッファ・サイズの変調技術を利用するバッファ調整処理において利用する。この技術を実現するために、物理バッファ1020に加え、仮想バッファ・カウンタ1030によって決定される占有を行う「仮想バッファ」がこの回路に加えられる。物理バッファ1020が、圧縮化されたビデオデータを出力し、オーバーフローを迫跡する機能を継続し（マクロ・ブロック・スキップ・フラグ1021を、バッファのオーバーフローを避けるのに必要ならば、符号化器200に送ることができように）、仮想バッファを、量子化器選択処理において利用する。物理バッファ1020の調整処理は、次の式によって決定する。但し、B_iはマクロ・ブロックを符号化した後のバッファ占有であり、b₁はマクロ・ブロックi_n，rwo符号化するのに使用するビット数であり、マクロ・ブロック毎１秒ずつのビット数である。Q _iは、量子化するマクロ・ブロックiのために選択された量子化ステップサイズである。上記のとおり、いくつかのフォーマットが、関数f(・)に対して可能であり、そのうちのひとつが、式(3)にて与えられる。図10で示す実施例において、式(6)は、マクロ・スキップがフラグ1021を符号化器200に送ることによって影響を受けることができるよう、実際のバッファ102 0のモニタのみに使用する。量子化器選択は、以下記載する仮想バッファに従って、行われる。システム・クロック1050は、バッファ1020が所定量の圧縮されたビデオ・データを出力するよう、システム・クロック信号を生成する。仮想バッファカウンタ1030が所定量インクリメントを減らすことができるよう、クロック信号がカウンタ1030に適用される。同様に、カウンタ1030がマクロ・ブロック・カウントによってインクリメントしていけるよう、ビデオ・データが符号化され、バッファ 1020を通過した際は必ず、符号化器200はマクロ・ブロック・ビット・カウント信号をカウンタ1030に送る。カウンタ1030は、上述マクロ・ブロックラベル回路1100によって生成した目標ビット・レート信号を受け取る。バッファ．レート変調は、以下の仮想バッファ占有を操作して行える。オブジェクト１に割当てられたマクロ・ブロックが符号化されている時に、仮想バッファの占有はカウンタ1030で決定されるように、比率R/Rにより変調される。これは、符号化器を表示するフォーマットとしてのデータ出力比率を増加／減少する効果を持ち、適当な量子化変調という結果をもたらす。（精密／粗い、各々において）。それ故に、現在のマクロ・ブロック(i)がオブジェクトｋに割り当てられると、式(6)は、以下のようになる。但し、Bは、仮想バッファのためのバッファ占有を示し、は、現在のマクロ・ブロック（マクロ・ブロック・ビット・カウント信号で示されるように）を符号化するのに使用するビット数に等しく、ｒは、物理バッファ1020によるビット出力数に等しい。R_kは目標ビット・レート信号で示す目標ビット・レートで、Rはバッファ1020によって維持する平均出力ビット・レートである。仮想バッファカウンタ1030が、この計算を行い、レート制御器1040に仮想バッファ占有信号Bを供給する。式(4)で実行される長期間特性に影響を及ぼすことなく、技術の短期間収束を助けるために、バッファサイズ変調を量子化境界を平滑化するのに利用する。オブジェクトの境界の仮想バッファ占有は、符号化器が精密／粗い量子化のオブジェクト領域に入っているか否かによって、１よりも大きい／小さいフアクタでレート制御器1040によって変調される。そのファクタは、数少ないマクロ・ブロックで（例えば、その影響が消えてしまう）で１に進む。この技術は、低い／高いレベルで量子化ステップサイズを即座にブーストする影響を及ぼす。変調ファクタの適当な選択によって、近傍のマクロ・ブロック間のはっきりとした品質の違いが取り除かれ、オブジェクi₁に関連したマクロ・ブロックを符号化する間、平均ビット・レートR₁を維持しながら、量子化ステップサイズのスムーズだが、速い変化を所望のレベルにまで達成することができる。量子化器選択は、次の公式に従って、レート制御1040によって行われる。但し、s_iはマクロ・ブロックｉに対するバッファサイズ変調ファクタであり、このファクタは、異なる量子化器ステップサイズをもつオブジェクトに割当てられたマクロブロック間の領域をクロスする場合を除き、１に設定される。低いステップサイズに入った場合、そのファクタは、1.4に設定され、この場合、符号化器200が0.2のステップを持つ同じオブジェクトの、その値が１になるまで、マクロ・ブロックを処理しながら、決定する。同様に、もっと高いステップサイズの領域に入る場合、このフアクタは、0,6に設定し、この場合、符号化器200が0.2 のステップを持つ同じオブジェクトの、その値が１になるまで、マクロ・ブロックを処理しながら、インクリメントする。図13は、バッファサイズ変調信号生成回路を示す。これは、ファクタs_iを生成するレート制御器1040に含まれてもよい。マクロ・ブロック・レベル1130は、レジスタ1310に入力する。レジスタ1310が新しいマクロ・ブロック・レベルを受け取るときにはいつぃでも、レジスタ1310の内容がレジスタ1320にシフトし、レジスタ1310と1320の内容を比較器1330と1340内で比較する。レジスタ1310の内容が、レジスタ1320の内容よりも大きい場合、比較器1330は「1」を出力し、他の場合、比較器1330が「0」を出力する。レジスタ1310の内容が、レジスタ1320の内容よりも小さい場合、比較器1340が「1」を出力し、その他の場合、比較器1330 が０を出力する。レジスタ1310と1320が同じ値を持つ場合、比較器1330と1340は、０を出力する。比較器1330と1340の出力を、アドレス生成器1350に対するトリガとして使用する。アドレス生成器1350は、変調ファクタRAM1360内のアドレスを生成し、バッファサイズ変調ファクタs_iを含む。オブジェクト・ビット・レートRAMl210と共に、RAM1360の内容は、好適には、レート制御器1040の量子化器選択部分128で次に調整する整数である。これは、端数または浮動点計算を避けるためである。バッファサイズ変調信号生回路1300は共通のシステムクロック（不図示）で駆動する。アドレス生成器は、以下の状態推移表のもと動作する。表１の示すように、トリガ1331の値が０になるよう、比較器1330が０を出力し、トリガ1341の値が１となるように、比較器1340が１を出力する場合、符号化器 200は、カメラ100により近い場面110の領域に相当するデータのマクロ・ブロックを圧縮しており、より多くのビットを、上述のように、より高い目標ビット・レートR値により、データのマクロ・ブロックに割当てる。粒状のい量子化の飛躍を避けるため、アドレス生成器がsi-0.6に相当するアドレス値４を生成する。次のクロック・サイクルでは、符号化器200が同じオブジェクトに属するマクロ・ブロックを圧縮する場合、トリガ1331と1341は共に、値０を持つことになり、表１の示すように、アドレス生成器は、アドレス４からアドレス5、アドレス6、アドレス０へと動く。値s_iは0.6から0.8、1.0と増加し、次第に消えていく。同様に、トリガ1331の値が１となるように、比較器1330が１を出力し、トリガ 1341の値が０となるように、比較器1140が０を出力する際、符号化器200がカメラ100から遠い位置にある場面110の領域に相当するデータのマクロ・ブロックを圧縮しており、少ないビットが、少ない目標ビット・レートR値により、データのそのマクロ・ブロックに割当てられる。このような状況で、アドレス生成器は、値s_i=1.4に相当するアドレス値１を生成する。次のクロック・サイクルでは、符号化器200が、同じオブジェクトに属するマクロ・ブロックを圧縮し続けると、表１の示すとおり、トリガ1331と1341は共に、値０をとり、アドレス生成器は、アドレス１からアドレス2、アドレス3、アドレス０と動く。図13を参照して、記載の回路につき、カメラ100により近い位置にあるオブジェクトに相当するマクロ・ブロックをより高い目標ビット・レートRに割当てると、他のビット・レート割当てスキームが採用できる。異なる状態推移表は、このような状況の下で採用できる。代わって、回路1300のアーキテクチャは、比較器1330、1340が、マクロ・ラベル自身よりも寧ろオブジェクトに割当てた実際のビット・レート値を比較するよう、変形可能である。この変形例では、２つの連続するクロック・サイクル上のRAM1210に個々のオブジェクト・ラベルによって、比較器1330と1340に直接供給する２つの出力と共にアクセスし、オブジェクト・ビット・レートRAM1210を直接使える。図11を再び参照すると、レート制御器1040が式(9)を計算可能で量子化選択信号Qを生成できるよう、ファクタs_iをライン1370を介し、供給する。当業者が認めるように、式(9)の計算は、レート制御器1040内のRAM（不図示）で実行される簡単なソフトウエアルーティンによってか、または適当なマイクロ・コードのハードウェアによって、行ってもよい。このように、レート制御器1040は、量子化選択信号Qを生成する。符号化器200で現在符号化が行われつつあるビデオ・データのオブジェクトの知覚上の重要性を反映した適当な量子化モードを選択するよう、信号Qを符号化器200に適用する。このように、レート制御器1040で供給した量子化ステップサイズを利用して、符号化器200は、左右、上下(H．261の場合、 GOB構造は以下のとおりでなくてはならない）のフレーム内の各マクロ・ブロックを処理する。上述では、MPEG-2のような、フィールドまたはフレームを基本にした符号化技術において深度情報の利用に注目してきたが、本発明では、MPEG-4のようなオブジェクトを基本にした動画像圧縮技術にも同等に適用可能である。MPEG-4はこの能力において独自のものではないが、MPEG-4のスキーム利用にふさわしい本発明の一実施例を、同様に周知のオブジェクトを基本にした圧縮技術への発明の適用を説明するため、供与する。MPEG-４の標準は、本明細書記載時、さらに変形されており、ここでの議論は、最も最近の符号器設計のバージョン、ベリフィケーション・モデル3.0に基づくものである。 MPEG-4の基本的構造は、ビデオ・オブジェクト（VO）とビデオ・オブジェクト面（VOP）を除けば、国際電気通信連合のH.263と同様である。図14の説明のように、VOは一場面に存在しうる独立的オブジェクト1410、1420、1430であり、一方、VOPは、任意の型1411、1421、1431に２次元画像である。フレームは、VOPを重ねて構成される。一シークエンスが、フレーム毎に一VOPからなるVOから構成される。 VO圧縮は、各オブジェクト毎に個々行われる。VOのVOPは任意の型をとるので、テクスチャ圧縮と型圧縮の両方を利用しなければならない。型圧縮では、VOP の境界を定義する輪郭を符号化する。いくつかの周知の型符号化技術は、鎖状の符号化を含み、利用されてもよい。テクスチャ符号化については、この技術は、国際電気通信連合の仕263仕様で使われているものとほぼ同一であり、低いビット・レート適用に対する特定の変形と共に、MPEG-2とにている。符号化器は、マクロ・ブロックモードで動作し、上述良く似た動き補償DCT構造を利用している。型輪郭がマクロ・ブロックをふやす場合、そのマクロ・ブロックを、圧縮を改善するための型輪郭の外側のマクロ・ブロック位置で、充填画素値を挿入して、「貼り付ける」。貼り付けられた画素は、同時に送信する型情報に従って、表示前に受信者で破棄される。本発明による深度感知カメラを利用したオブジェクトを基本にした符号化器のアーキテクチャを、図15に示す。深度感知カメラ100は、標準デジタル・ビデオまたは画像信号101をMPEG-４符号化器1600に供給し、通常のビデオ・信号101に含まれる画素に対する深度情報を構成する第二の標準デジタル・ビデオまたは画像信号102を映像オブジェクト分離回路1500に供給する。映像オブジェクト分離回路1500は、深度情報を粗っぽく映像オブジェクト（「VO」）に利用し、それらを分離して符号化するMPEG-４符号化器1600に、映像オブジェクト型情報を供給する。いくつかのVOは完全な画像を形成するため、同じビット・ストリーム内で 1550にて多重化される。図16では、MPEG-４符号化器が示されている。映像オブジェクト分離回路1500 で生成した映像オブジェクト型情報を、型符号化器1600に供給し、一方、標準的デジタル・ビデオまたは画像信号101を受け取り、フレーム・メモリ1601に格納される。型符号化器は、高さと奥行きの両方が、16の倍数であるよう、また結合矩形がマクロ・ブロックの整数値を含むことを保証するよう、底辺の右側で、現在のVOP結合矩形を拡張する。例えば、完全なVOPを含む最小の矩形）VOP内の個々のマクロ・ブロックを、MMR技術を変形したもので処理する。もちろん、符号化された情報は、実際の画素値を表してはおらず、与えられたが画素が現在のVO P属するか否かを表す。符号化したVOP型情報を、貼り付け回路1620に貼り付ける。貼り付け回路1620 は、符号化VOP型情報が認証した1601の格納した標準画像からの画素を検索し、V OP型の外側にあるマクロ・ブロック内の画素を線形補間してこの画素を貼り付ける操作を行う。張り付け操作は、VOPに対する完全なマクロ・ブロックを生成して符号化性能を改善する効果を持つ。VOPは、DCT圧縮技術において、一層容易に扱えるものである。 VOPに対する貼り付けたマクロ・ブロックを、マクロブロック分離器／加算器1 630と動き評価回路1640に入力する。離散コサイン変換（「DCT」）1650は、1630 からのマクロ・ブロック・データに適用する。より大きな圧縮効果を得るために、DCT係数は、1651において量子化し、ジグザグ状のラン長符号化を1652にて行い、1653にて可変長符号化を行う。量子化された係数は、1655にて逆量子化し、現ビデオ・データと共に動き評価回路1640に過去のビデオ・データを供給するよう、逆離散コサイン変換を1656にて行う。1641と 1642で符号化された動きベクトルを生成し、圧縮されたDCT係数と共に1660で多重化するために、動き評価回路1640は、過去と現在ののビデオ・データを利用し、それらをフレーム・メモリ1641に格納する。図４を参照して述べた分離処理と対比し、オブジェクトを基本にした圧縮は、潜在的に知覚上重要な領域の認証のみならず、個々のオブジェクト領域の認証を必要とする。図４を参照して記載したアプローチにおいて、カメラからの位置が同じ範囲内にあったオブジェクト分離回路500によって、あらゆるオブジェクトが同じように取り扱われ、その技術は、レート制御に影響を及ぼすだけになる。以下の説明は、個々のオブジェクトの認証を含む技術について付け加えてある。図17では、映像オブジェクト分離回路1500をさらに詳しく示している。回路は、オブジェクト・マップ・生成回路1710と領域セレクタ1720と、映像オブジェクト・セレクタ1730とデマルチプレクサ1740を含む。オブジェクト・マップ生成回路1710は、オブジェクト分離回路500と同様にオブジェクト・マップを生成し、この回路のハードウェアは、オブジェクト・マップ生成回路1710としての利用にふさわしい。領域セレクタ720は、どの画素が各深度範囲（しきい値t_iとt_i+1の範囲の領域）にあるかを認証するため、オブジェクト・マップを前処理する。この画素は1s とマークされ、残りの画素には0sとマークされる。これは、深度領域マークと呼ばれる。映像オブジェクト・セレクタ1730は、ふさわしいソフトウェアと共に、 RAMに単に前もってロードされてもよく、その領域に存在するひとつまたは複数の映像オブジェクトを認証を始める。映像オブジェクトセレクタ1730によって位置が決まった映像オブジェクトのためのVOP型情報は、DMUX（デマルチプレクサ）1740を通過し、型符号化器1610に供給される。映像オブジェクトセレクタ1730 の行う処理ステップを以下に示す。図16では、VBR符号化に対し、出力バッファはなく、VOは量子化器1651中、独立的に割当てられたデフォルト量子化レベルとなりうる。しかし、CBR符号化に対しては、量子化器選択は、生成ビット・レートを調整する手段として再び重要になってくる。図17では、VOP型情報はバッファ1750とレート制御を実行するレート制御器176 0に送る。レート制御器1760は、マクロ・ブロックのラベル化の必要は生じないという以外、量子化モード選択信号を前に記した図10で示したように生成する。即ち、同じ映像オブジェクトからのデータは常に同じ目標ビット・レートBに割当てられるのであある。仮想バッファ・カウンタ（図17では不図示）で利用する目標ビット・レート信号とバッファサイズ変調ファクタを生成するための図12と図13のマクロ・ブロック・レベルではなく、映像オブジェクトの認証を直接利用する。レート制御器1760で生成した量子化モード選択信号は、物理バッファ（図16では、不図示）がオーバーフローをおこしていないことを確認するための量子化器1651に適用する。図18では、本発明によって行われるレート制御ステップを記したフローチャートを示す。映像と深度情報1810を受信の際、一定の範囲値に対する所定の深度値をもつ画素数を提供する受信した深度情報のヒストグラム1821を計算し、クリップしたヒストグラム1822を生成するために所定のしきい値t未満のヒストグラム中の全値をゼロとし、n個の異なる深度値のしきい値と共にn個の領域の境界を発見するためにクリップしたヒストグラム1823を走査し、n個の異なるしきい値に基づく深度情報を量子化し、1820にてオブジェクト・マップを生成する。次に、1830にて、ビデオ・データの現在のマクロ・ブロックを知覚上の重要性を可変する領域のひとつに割当て、割当てられた領域に関連する目標ビット・レートを示す信号を1840で生成する。割当てられた領域がすぐに続く割当て領域と異なる時はいつでも、仮想バッファ占有信号1841を生成し、次にバッファサイズ変調信号1851を生成するのに利用する目標ビット・レートを利用する。オブジェクト・マップの領域の知覚上の重要性を反映した量子化モードを選択するために、オブジェクト・マップとバッファ・サイズ変調信号に基づき、1850にて量子化モード信号を生成する。最後に、1860で圧縮化されたビデオ信号を生成し、1870でバッファに格納し、 1880で出力する。バッファがいっぱいになると、バッファのオーバーフロー条件を示す信号を1871にて生成し、ステップ1850に戻る。圧縮化されたビデオ信号情報がバッファに格納される際は必ず、1861にて仮想バッファカウントを増加し、バッファに格納されたビデオ信号情報が出力の際は必ず、1871にて減らす。図19では、映像オブジェクト分離回路1500にて行われるステップを記したフローチャートを示している。映像と深度情報1910を受信する際、1920では、図18で説明したように、オブジェクト・マップを生成する。オブジェクト・マップは19 20にてオブジェクト・マスクを生成するために前処理される。マスク化された領域内のひとつもしくは複数のオブジェクトを以下のとおり認証する。左上の角から始まって1940にて、領域マスクを、値「1」を持った画素を発見するまで、左右に上下に走査する。オブジェクト・マスクの画素の位置をマークする。その画素の近傍を、他に値１の画素が1960で存在するか否かを見るために、領域マスク内で（上下に、左右に、同様に、斜めに）、1950にて検索する。近傍に値１の画素が存在する場合、オブジェクト・マスクの位置をマークする。まだ検索していない更に近傍の画素がある場合、1961ではその処理を繰り返し（前に見た画素は無視する）。1962で、非検索の近傍画素がある場合、アルゴリズムは終わり、そのオブジェクト・マスクが、元の開始画素を含んだ接続したオブジェクト領域を含むようになるこのオブジェクト・マスクは、符号化器1600に供給するこの特殊なオブジェクトに対する型情報である。次に、新たに形成されたオブジェクト・マスクに属する領域マスク中の画素を、1970にてそれ自身をマスクする（例えば、その値を０と設定する）。この処理を1980と1981で繰り返す。同じ深度領域に多くのオブジェクトが存在すれば、ひとつまたは複数の付加的オブジェクトとして認証する残された画素をマークする。全てのオブジェクトがこのように処理された後、1980と1982にてゼロ値化された画素と共に、領域マスクが残される。各オブジェクト・マスクは、深度範囲IDと共に異なった番号でラベル化される。その番号は、一意にオブジェクトを認証するものである。例えば、最初の深度範囲認証と、第二にその範囲内のオブジェクト番号を認証するのに、２バイトが利用可能である。範囲毎に、より多くの範囲またはオブジェクトを使うために、長いコードを利用できる。ヒエラルヒー的オブジェクトIDを使用する利は、前景にどんなオブジェクトがあるか、背景にどんなオブジェクトがあるかを容易に認証できることである。一時的構成要素を考慮するために、VOPをひとつのフレームから次のフレームに追跡し、ひとつのフレームから次のフレームの型の相違、ひとつのフレームから次のフレームの深度範囲の相違の両方を考慮して、VOPが同じVOに属すか否かを決定する。小さな形と深度の相違を持つVOPは、同じVOの一部分とみなされる。バンド幅の必要条件を最小化するための低いフレーム・レートで、符号化器は動作するが、オブジェクトを十分に追跡するよう、オブジェクト検知サブシステムは１秒あたり最高30フレームで動作可能である。再び、図19では、1990で、すぐに続くフレームからの格納されたVOPのひとつとして、現在のフレームからのVOPのひとつを選択する。２つのVOPの型の違いを 2000にて、前のフレームからのVOPの最近傍の画素と共に、現在のVOPの境界画素の座標の違いを絶対値の合計として、計算する。水平・垂直方向に違いを合計して、深度差異の絶対値も合計して、２つのVOPの違いの評価を行う。すぐ次に続くフレームに対し、2010と2011にてもっと多くのVOPがある場合、2 012で、異なる過去のVOPを選択し、２つのVOPの型の違いを計算する。2010と201 3にて過去のフレームがもうなければ、2020にて前のフレームで最近傍のVOPを供給するVOに現在のVOPを割当てる。前のフレームにもうVOPがなければ、新しいVO をつくる。 2030，2031にて、現在のVOPに追加的なものがあれば、2032で新しい現在のフレームを選択し、2000から2030のステップを繰り返し、この処理を繰り返す。マスク中の全てのVOPが映像オブジェクトに割当てた場合、新しいマスクを2040と2 041にて生成してもよく、この処理ステップ1930から2030までを繰り返す。2040 、2042で、全ての映像オブジェクトが認証されると、2050にてオブジェクト認証信号を生成し、マルチプレクサ1740に送る（図17）。上述は、単に本発明の原理を示すもである。出願人の示唆の観点にて、記載の実施例に対する様々な形が、当業者にとって明らかである。例えば、図15に示す実施例にて生成された映像オブジェクト情報が二次元である一方、カメラ100で直接生成し、復号器に送られる３次元深度情報を符号化することも可能である。この符号化によって、回転、カスタム・ライティングのようなオブジェクトの取扱いが、圧縮後にも行うことができる。更に、より洗練されたレート制御技術を使うこともできる。例えば、システムが異なるオブジェクト（例えば、人間の顔、紙など）の意味を認証でき、それらに自動的に適当なビット・レートか品質レベルを割当てる。意味は、２次元型情報、または深度感知カメラによって供給される３次元深度情報から得ることができる。このように、本発明の精神および範囲において、本発明の精神および範囲において当業者は、ここでは明示しないが、数多くのシステムと方法を提案し、本発明の原理を具現化できることが、認められよう。

【手続補正書】【提出日】平成１１年４月１６日（１９９９．４．１６）【補正内容】１．画素の２次元情報を具えるビデオ情報のフィールド又はフレームを符号化するとともに符号化を向上させるために前記画素の各々の深さ成分を利用する装置であって、（ａ）前記ビデオ情報のフレーム又はフィールドを受信するとともに、受信した前記ビテオ情報のフレーム又はフィールドから圧縮ビデオ信号を発生させ、前記ビテオ情報のフィールド又はフレームの一部に対応するデータを量子化するマルチモード量子化器を有するエンコーダと、（ｂ）受信した前記ビデオ情報に対応する深さ情報を受信するとともに、受信した前記フィールド又はフレームの各画素を、前記受信したフレーム又はフィールド内の変動する知覚的な重要度の１個以上の領域のうちの１個に関連させるオブジェクトマップを発生させるオブジェクトセグメント化回路と、（ｃ）前記オブジェクトセグメント化回路及びマルチモード量子化器に結合され、前記オブジェクトマップを受信するとともに、前記オブジェクトマップに応答して前記マルチモード量子化器に信号を供給し、前記オブジェクトマップによって表される前記領域の知覚的な重要度を反映するような量子化モードを選択するレートコントローラとを具えることを特徴とする装置。２．前記エンコーダを、ＭＰＥＧ−２に従うビットストリームを発生させることができる可変ビットレートエンコーダとしたことを特徴とする請求の範囲１記載の装置。３．前記オブジェクトセグメント化回路が、（１）前記深さ情報を受信するとともに、前記深さ情報のヒストグラムを演算して、予め設定された値の範囲に対して予め設定された深さ値を有する画素数を発生させるヒストグラム発生回路と、（２）このヒストグラム発生回路に結合され、発生した前記ヒストグラムを受信するとともに、予め設定された値より下の前記ヒストグラムの全ての値を零に設定して、クリップされたヒストグラムを発生させる第１論理回路と、（３）この第１論理回路に結合され、前記クリップされたヒストグラムを受信するとともに、前記クリップされたヒストグラムを操作して、ｎ個の相違する深さのしきい値を有するｎ領域の境界を見つける第２論理回路と、（４）この第２論理回路に結合され、前記ｎ個の相違するしきい値を受信するとともに、前記ｎ個の相違するしきい値に基づいて前記深さ情報を量子化して、前記オブジェクトマップを発生させる可変ステップ量子化回路とを具えることを特徴とする請求の範囲１記載の装置。４．前記ヒストグラム発生回路が、（ｉ）前記深さ情報を受信するとともにそれを一時的に格納するバッファと、（ii）このバッファに結合され、前記深さ情報をメモリアドレスとして前記バッファから受信するとともに、ヒストグラム値を前記メモリアドレスとして格納するメモリと、（iii）このメモリに結合され、前記メモリのアドレスロケーションからヒストグラム値を読出し、前記ヒストグラム値を更新し、更新された前記ヒストグラム値を前記メモリのアドレスロケーションに供給する論理回路とを具えることを特徴とする請求の範囲１記載の装置。５．前記エンコーダを可変ビットレートエンコーダとし、（ｄ）予め選択された記憶容量を有し、発生した前記圧縮ビデオ信号を受信し及びそれを一時的に格納するとともに、オーバーフロー状態を表す信号を前記レートコントローラに供給するビデオバッファを更に具え、前記レートコントローラから前記マルチモード量子化器に供給された信号が前記オーバフロー状態を表す信号に応答して、選択された前記量子化モードが、前記記憶容量によって制限される前記領域の知覚的な重要度を反映するようにしたことを特徴とする請求の範囲１記載の装置。６．（ｅ）前記オブジェクトセグメント化回路及びレートコントローラに結合され、ビデオデータの現在のマクロブロックを変動する知覚的な重要度の領域の１個に割当てるとともに、割り当てられた前記領域を表す信号を前記レートコントローラに供給するマクロブロックラベリング回路を更に具え、前記レートコントローラから前記マルチモード量子化器に供給される信号が、割り当てられた前記領域を反映するようにしたことを特徴とする請求の範囲６記載の装置。７．前記ビデオデータの現在のマクロブロックを、前記ビデオデータのマクロブロックに対応する前記オブジェクトマップのロケーションによって識別された１個以上の領域の最高の知覚的な重要度を有する領域に割り当てたことを特徴とする請求の範囲６記載の装置。８．前記エンコーダが、圧縮ビデオデータを前記ビデオバッファに出力する際に出力信号を発生させ、前記マクロブロックラベリング回路が、割り当てられた前記領域に関連するターゲットビットレートを表す信号を発生させ、（ｆ）前記ビデオバッファに結合され、クロック信号を前記バッファに供給するクロック信号発生回路を更に具え、前記ビデオバッファが、前記クロック信号に応答して予め設定された量の前記圧縮ビデオ信号を出力し、（ｇ）前記エンコーダ、前記クロック信号発生回路、前記マイクロブロックラベリング回路及び前記レートコントローラに結合され、前記クロック信号、ターゲットビットレート信号及びエンコーダ出力信号を受信し、前記エンコーダ出力信号に応答して計数を加算するとともに前記クロック信号及びターゲットビットレート信号に応答して計数を減算することによって前記ビデオバッファに関連した仮想バッファのビット数を計数し、前記計数を表す仮想バッファ占有信号を前記レートコントローラに供給するカウンタを更に具え、前記レートコントローラから前記マルチモード量子化器に供給される信号が前記仮想バッファ占有信号にも応答し、前記量子化モードが、前記ビデオバッファの記憶容量によって制限される前記仮想バッファキャパシティによって表された前記領域の知覚的な重要度を反映するようにしたことを特徴とする請求の範囲６記載の装置。９．前記仮想バッファ占有量Ｂ₁を、式Ｂ_i＝Ｂ_i-1−ｂ_i−ｒ（Ｒ_k／Ｒ）によって決定し、ｂ_iを、前記エンコーダ出力信号によって表された現在のマクロブロックを符号化するのに用いられるビット数に等しくし、ｒを、前記クロック信号によって表された前記ビデオバッファによって出力されたビット数に等しくし、Ｒ_kを、前記ターゲットビットレート信号によって表されたターゲットビットレートとし、Ｒを、前記ビテオバッファによって維持すべき平均出力ビットレートとしたことを特徴とする請求の範囲８記載の装置。１０．前記レートコントローラが、前記マクロブロックラベリング回路に結合され、割り当てられた前記領域を受信するとともに、割り当てられた前記領域が直前に割り当てられた領域と異なるときには常にバッファサイズ変調信号を発生させるバッファサイズ論理回路を更に具え、前記レートコントローラから前記マルチモード量子化器に供給された新香う゛が前記バッファサイズ変調信号にも応答し、選択された前記量子化モードが、前記バッファサイズ変調信号によって変調されるとともに前記ビデオバッファの記憶容量によって制限される仮想バッファ容量によって表される前記領域の知覚的な重要度を反映するようにしたことを特徴とする請求の範囲８記載の装置。１１．画素の２次元情報を具えるビテオ情報のフィールド又はフレームを符号化するとともに符号化を向上させるために前記画素の各々の深さ成分を利用する装置であって、（ａ）前記ビデオ情報のフレーム又はフィールドと前記ビデオ情報に対応する深さ情報の両方を発生させることができる深さ検知カメラと、（ｂ）この深さ検知カメラに結合され、発生した前記ビデオ情報のフレーム又はフィールドを受信するとともに、前記ビテオ情報のフレーム又はフィールドから圧縮ビデオ信号を発生させ、前記ビデオ情報のフィールド又はフレームの一部に対応するデータを量子化するマルチモード量子化器を有するエンコーダと、（ｃ）前記深さ検知カメラに結合され、発生した前記深さ情報を受信するとともに、受信した前記フレーム又はフィールド内の変動する知覚的な重要度の１個以上の領域のうちの１個を有する受信した前記フィールド又はフレームの各画素に関連するオブジェクトマップを発生させるオブジェクトセグメント化回路と、（ｄ）前記オブジェクトセグメント化回路及びマルチモード量子化器に結合され、前記オブジェクトマップを受信するとともに、前記オブジェクトマップに応答して、前記マルチモード量子化器に信号を供給して量子化モードを選択し、選択した前記量子化モードが、前記オブジェクトマップによって表された前記領域の知覚的な重要度を反映するようにしたことを特徴とする装置。１２．画素の２次元情報を具えるビデオ情報のフィールド又はフレームを符号化するとともに符号化を向上させるために前記画素の各々の深さ成分を利用するに当たり、（ａ）前記ビデオ情報のフレーム又はフィールド及び受信した前記ビテオ情報に対応する深さ情報を受信するステップと、（ｂ）受信した３個の情報をオブジェクトマップに変換して、受信した前記フィールド又はフレームの各画素を、受信した前記フレーム又はフィールド内の変動する知覚的な重要度の１個以上の領域に関連させるステップと、（ｃ）前記オブジェクトマップによって表された前記領域の前記知覚的な重要度を反映する量子化モードを選択するために前記オブジェクトマップに基づく量子化モード信号を発生させるステップと、（ｄ）前記量子化モード信号によって選択された前記量子化モードに従って受信した前記ビデオ情報のフィールド又はフレームの一部に対応するデータを量子化することによって、受信した前記ビデオ情報のフレーム又はフィールドに対応する圧縮ビデオ信号を発生させるステップとを具えることを特徴とする方法。１３．前記ステップ（ｄ）で発生した圧縮ビデオ信号を、ＭＰＥＧ−２に従うビットストリームとすることを特徴とする請求の範囲１２記載の方法。１４．前記変換ステップが、（１）受信した前記深さ情報のヒストグラムを算出して、予め設定された値の範囲に対する予め設定された深さ値を有する画素数を発生させること、（２）予め設定されたしきい値より下の前記ヒストグラムの全ての値を零にセットして、クリップされたヒストグラムを発生させること、（３）ｎ個の相違する深さのしきい値を有するｎ個の領域の境界を見つけるためにクリップされた前記ヒストグラムを操作すること、（４）前記ｎ個の相違するしきい値に基づく前記深さ情報を量子化することを具えることを特徴とする請求の範囲１２記載の方法。１５．発生した前記圧縮ビデオ信号を可変ビットレート信号とし、（ｅ）発生した前記圧縮ビデオ信号をバッファリングするステップと、（ｆ）オーバーフロー状態のバッファリングを表す信号を発生させるステップとを更に具え、前記量子化モード信号が前記オーバーフロー信号にも応答して、選択した前記量子化モードが、バッファリング制限によって制約される前記領域の前記知覚的な情報を反映させることを特徴とする請求の範囲１２記載の方法。１６．前記量子化モード信号を発生させる前に、受信した前記ビデオ情報のフレーム又はフィールド内のビデオデータの現在のマクロブロックを、変動する知覚的な重要度の前記領域の１個に割り当て、前記量子化モード信号が、割り当てられた前記情報を反映することを特徴とする請求の範囲１５記載の方法。１７．前記割当てステップが、前記ビデオデータの現在のマクロブロックを、前記ビデオデータのマクロブロックに対応する前記オブジェクトマップのロケーションによって識別された１個以上の領域の最高の知覚的な重要度を有する領域に割り当てることを具えることを特徴とする請求の範囲１６記載の方法。１８．前記量子かモード信号を発生させる前に割り当てられた前記情報に関連するターゲットビットレートを表す信号を発生させるステップを更に具えることを特徴とする請求の範囲１６記載の方法。１９．（ｉ）前記圧縮ビテオ信号情報がバッファリングされると常に仮想バッファの占有量を表す仮想バッファ計数を加算するステップと、（ii）バッファリングされた前記圧縮ビデオ信号情報が前記ターゲットビットレート信号に依存する量を出力すると常に、前記計数を減算するステップと、（iii）前記計数を表す仮想バッファ占有信号を発生させるステップとを更に具え、前記量子化モード信号が前記仮想バッファ占有信号にも応答し、選択した前記量子化モードが、バッファリング制限によって限定される前記仮想バッファ占有量によって表された前記領域の知覚的な重要度を反映することを特徴とする請求の範囲１８記載の方法。２０．前記仮想バッファ占有量Ｂ₁を、式Ｂ_i＝Ｂ_i-1−ｂ_i−ｒ（Ｒ_k／Ｒ）によって決定し、ｂ_iを、前記エンコーダ出力信号によって表された現在のマクロブロックを符号化するのに用いられるビット数に等しくし、ｒを、前記クロック信号によって表された前記ビデオバッファによって出力されたビット数に等しくし、Ｒ_kを、前記ターゲットビットレート信号によって表されたターゲットビットレートとし、Ｒを、前記バッファリング制限を防止するのに要求される平均出力ビットレートとしたことを特徴とする請求の範囲１９記載の方法。２１．割り当てられた前記領域が直前に割り当てられた領域と異なる場合には常に、前記量子化モード信号を発生させる前にバッファサイズ変調信号を発生させるステップを更に具え、前記量子化モード信号が前記バッファサイズ変調信号にも応答し、選択した前記量子化モードが、前記バッファサイズ変調信号によって変調されるとともに前記バッファリング制限によって制限される前記仮想バッファ容量によって表された前記領域の知覚的な重要度を反映することを特徴とする請求の範囲１６記載の方法。２２．符号化を向上させるためにビデオ情報の深さ成分を用いて前記ビデオ情報のオブジェクトに基づく符号化を実行する装置であって、（ａ）前記ビデオ情報のフレームに対する深さ情報を受信するとともに、前記ビデオ情報のフレーム内で１個以上のオブジェクトの形状を表す受信した前記深さ情報に基づいて１個以上のオブジェクト識別信号を発生させるオブジェクトセグメント化回路と、（ｂ）このオブジェクトセグメント化回路に結合され、受信した前記深さ情報信号及び１個以上のオブジェクト識別信号に対応する前記ビデオ情報のフレームを受信するとともに、前記１個以上のオブジェクト識別信号によって識別された前記１個以上のオブジェクトにほぼ対応する前記ビデオ情報の一部を表す圧縮ビテオ信号を発生させるエンコーダとを具えることを特徴とする装置。２３．前記オブジェクトセグメント化回路が、（１）前記深さ情報を受信するとともに、前記深さ情報をオブジェクトマップに変換して、前記ビテオ情報のフレーム内の各画素を、前記フレーム内の変動する知覚的な重要度の１個以上の領域に関連させるオブジェクトマップ発生回路と、（２）前記オブジェクトマップ発生回路に結合され、前記オブジェクトマップを受信するとともに、選択された領域にほぼ対応する前記フレーム内の画素を表す深さ領域マスクを発生させるために前記オブジェクトマップをマスクする領域マスク回路と、（３）前記領域マスク回路に結合され、発生した前記領域マスクを受信し、前記領域マスクによって表された選択された前記領域内の１個以上の個別のオブジェクトを識別し、前記１個以上のオブジェクト識別信号を発生させて、前記オブジェクト識別情報の各々が１個以上の識別された前記個別のオブジェクトを識別するビデオオブジェクト選択回路手とを具えることを特徴とする請求の範囲２２記載の装置。２４．前記オブジェクトマップ発生回路が、（ｉ）前記深さ情報を受信するとともに、前記深さ情報のヒストグラムを演算して、予め設定された値の範囲に対する予め設定された深さ値を有する画素数を発生させるヒストグラム発生回路と、（ii）このヒストグラム発生回路に結合され、発生した前記ヒストグラムを受信するとともに、予め設定されたしきい値より下の前記ヒストグラムの全ての値を零に設定して、クリップされたヒストグラムを発生させる第１論理回路と、（iii）この第１論理回路に結合され、クリップされた前記ヒストグラムを受信するとともに、ｎ個の相違する深さのしきい値を有するｎ個の領域の境界を見つけるためにクリップされた前記ヒストグラムを走査する第２論理回路と、（iv）この第２論理回路に結合され、前記ｎ個の相違するしきい値及び前記深さ情報を受信するとともに、前記ｎ個の相違するしきい値に基づいて前記深さ情報を量子化して、前記オブジェクトマップを発生させる可変ステップ量子化回路とを具えることを特徴とする請求の範囲２３記載の装置。２５．前記ヒストグラム発生回路が、（Ａ）前記深さ情報を受信し及び一時的に格納するバッファと、（Ｂ）このバッファに結合され、前記深さ情報をメモリアドレスとして前記バッファから受信するとともに、ヒストグラム値を前記メモリアドレスとして格納するメモリと、（Ｃ）このメモリに結合され、前記メモリのアドレスロケーションからヒストグラム値を読出し、このヒストグラム値を更新し、更新された前記ヒストグラム値を前記メモリのアドレスロケーションに供給する論理回路とを具えることを特徴とする請求の範囲２４記載の装置。２６．前記エンコーダが、受信した前記ビデオ情報のフィールドの一部に対応するデータを量子化するマルチモード量子化器を有し、（ｃ）前記オブジェクトセグメント化回路及びマルチモード量子化器に結合され、前記１個以上のオブジェクト識別信号を受信するとともに、前記オブジェクト識別信号に応答して、前記マルチモード量子化器に信号を供給して量子化モードを選択し、量子化すべきデータの一部の各々に対して、選択した前記量子化モードが、量子化すべき前記データの一部に関連する前記１個以上のオブジェクト識別信号のうちの１個によって識別されたオブジェクトの知覚的な重要度を反映するようにしたことを特徴とする請求の範囲２１記載の装置。２７．前記エンコーダを可変ビットレートエンコーダとし、（ｄ）予め選択された記憶容量を有し、前記エンコーダ及びレートコントローラに結合され、発生した前記圧縮ビデオ信号を受信し及び一時的に格納するとともに、オーバーフロー状態を表す新香う゛を前記レートコントローラに供給するビデオバッファを更に具え、前記レートコントローラから前記マルチモード量子化器に供給される信号が、前記オーバーフロー信号にも応答し、選択した前記量子化モードが、前記ビテオバッファの記憶容量によって制限される前記オブジェクトの知覚的な重要度を反映するようにしたことを特徴とする請求の範囲２６記載の装置。２８．量子化すべき前記データの一部をマクロブロックとし、（ｅ）前記オブジェクトセグメント化回路及びレートコントローラに結合され、前記ビデオデータの現在のマクロブロックを前記オブジェクトのうちの１個に割り当てるとともに、割り当てられた前記オブジェクトを表す信号を前記レートコントローラに割り当てるマクロブロックラベリング回路を更に具え、前記レートコントローラから前記マルチモード量子化器に供給される信号が、割り当てられた前記オブジェクトを反映するようにしたことを特徴とする請求の範囲２７記載の装置。２９．前記エンコーダが、前記圧縮ビデオデータを前記ビデオバッファに出力する際に出力信号を発生させ、前記マクロブロックラベリング回路が、割り当てられた前記オブジェクトに関連したターゲットビットレートを表す信号を発生させ、（ｆ）前記ビデオバッファに結合されるとともに前記バッファにクロック信号を供給するクロック信号発生回路を更に具え、前記ビデオバッファが、前記クロック信号に応答して予め設定された量の前記圧縮ビデオ信号を出力し、（ｇ）前記エンコーダ、クロック信号発生回路、マクロブロックラベリング回路及びレートコントローラに結合され、前記クロック信号、ターゲットビットレート信号及びエンコーダ出力信号を受信し、前記エンコーダ出力信号に応答して計数を加算し及び前記クロック信号及びターゲットビットレート信号に応答して計数を減算することによって前記ビテオバッファに関連した仮想バッファ内のビット数を計数して、前記仮想バッファの占有量を決定し、かつ、前記計数を表す仮想バッファ占有信号を前記レートコントローラに供給するカウンタを更に具え、前記レートコントローラから前記マルチモード量子化器に供給された信号が、前記仮想バッファ占有信号にも応答し、選択した前記量子化モードが、前記ビデオバッファの記憶容量によって制限された前記仮想バッファ容量によって表された前記オブジェクトの知覚的な重要度を反映するようにしたことを特徴とする請求の範囲２８記載の装置。３０．前記仮想バッファ占有量Ｂ₁を、式Ｂ_i＝Ｂ_i-1−ｂ_i−_r（Ｒ_k／Ｒ）によって決定し、ｂ_iを、前記エンコーダ出力信号によって表された現在のマクロブロックを符号化するのに用いられるビット数に等しくし、ｒを、前記クロック信号によって表された前記ビデオバッファによって出力されたビット数に等しくし、Ｒ_kを、前記ターゲットビットレート信号によって表されたターゲットビットレートとし、Ｒを、前記ビデオバッファによって維持すべき平均出力ビットレートとしたことを特徴とする請求の範囲２９記載の装置。３１．前記レートコントローラが、前記マクロブロックラベリング回路に結合され、割り当てられた前記オブジェクトを受信するとともに、割り当てられた前記オブジェクトが直前に割り当てられたオブジェクトと相違する場合には常にバッファサイズ変調信号を発生させるバッファサイズ論理回路を更に具え、前記レートコントローラから前記マルチモード量子化器に供給される信号が、前記バッファサイズ変調信号にも応答し、選択された前記量子化モードが、前記バッファサイズ変調信号によって変調されるとともに前記ビデオバッファの記憶容量によって制限される前記仮想バッファ容量によって表された前記オブジェクトの知覚的な重要度を反映するようにしたことを特徴とする請求の範囲２９記載の装置。３２．符号化を向上させるためにビデオ情報の深さ成分を用いて前記ビデオ情報のオブジェクトに基づく符号化を実行する装置であって、（ａ）前記ビデオ情報のフレームと前記ビテオ情報に対応する深さ情報の両方をリアルタイムで発生させることができる深さ検知カメラと、（ｂ）この深さ検知カメラに結合され、発生した前記深さ情報を受信し、かつ、前記ビデオ情報の前記フレーム内の１個以上のオブジェクトの形状を表す受信した前記深さ情報に基づいて１個以上のオブジェクト識別信号を発生させるオブジェクトセグメント化回路と、（ｃ）前記オブジェクトセグメント化回路及び深さ検知カメラに結合され、受信した深さ情報に対応する発生したビデオ情報のフレーム及び１個以上のオブジェクト識別信号を受信し、かつ、前記１個以上のオブジェクト識別信号によって識別された前記１個以上のオブジェクトにほぼ対応する前記ビデオ情報の一部を表す圧縮ビデオ信号を発生させるエンコーダとを具えることを特徴とする装置。３３．符号化を増強させるためにビデオ信号の深さ成分を用いてビデオ情報のオブジェクトに基づく符号化を実行するに当たり、（ａ）ビデオ情報のフレーム及び受信した前記ビデオ情報に対応する深さ情報を受信するステップと、（ｂ）前記ビデオ情報のフレーム内で１個以上のオブジェクトの形状を表す受信した前記深さ情報に基づいて１個以上のオブジェクト識別信号を発生させるステップと、（ｃ）前記１個以上のオブジェクト識別信号によって識別された１個以上のオブジェクトにほぼ対応する受信した前記ビデオ情報の一部を表す圧縮ビデオ信号を発生させるステップとを具えることを特徴とする方法。３４．前記ステップ（ｂ）が、（１）受信した前記深さ情報をオブジェクトマップに変換して、前記ビデオ情報のフレーム内の各画素を、前記フレームの変動する知覚的な重要度の１個以上の領域のうちの１個に関連させるステップと、（２）予め選択した領域にほぼ対応する前記フレーム内の画素を表す深さ領域マスクを発生させるために前記オブジェクトマップをマスキングするステップと、（３）前記深さ領域マスクによって表された予め選択された前記領域内で１個以上の個別のオブジェクトを識別するステップと、（４）前記１個以上のオブジェクト識別信号を発生させて、前記オブジェクト識別信号の各々が、識別された前記１個以上の個別のオブジェクトのうちの１個を識別するステップとを具えることを特徴とする請求の範囲３３記載の方法。３５．前記変換ステップが、（ｉ）受信した前記深さ情報のヒストグラムを算出して、予め設定された値の範囲に対する予め設定された深さ値を有する画素数を発生させるステップと、（ii）予め設定されたしきい値より下の前記ヒストグラムの全ての値を零に設定して、クリップされたヒストグラムを発生させるステップと、（iii）ｎ個の相違する深さのしきい値を有するｎ個の領域の境界を見つけるためにクリップした前記ヒストグラムを走査するステップと、（iv）前記ｎ個の相違するしきい値に基づいて前記深さ情報を量子化するステップとを具えることを特徴とする請求の範囲３４記載の方法。」３６．前記識別ステップが、（ｉ）マスクされていない値を有する画素を見つけるまで前記深さ領域マスクを走査するステップと、（ii）前記マスクされていない値を有する他の任意の隣接する画素を見つけるために前記マスク内の隣接する画素を検索するステップと、（iii）前記深さ領域内のオブジェクトに対応するビデオオブジェクト面としてマスクされていない値を有する隣接する見つけられた全ての画素を識別するために、隣接する画素がマスクされない値を有する用になるまで、前記検索ステップを繰り返すステップと、（iv）前記深さ領域マスクから前記オブジェクトをマスクするステップと、（ｖ）前記深さ領域マスク内の全ての画素がマスクされるまで、ステップ（ｉ）〜（iv）を繰り返して、受信したビデオ情報のフレーム内の１個以上のビデオオブジェクト面を識別するステップとを具えることを特徴とする請求の範囲３４記載の方法。３７．前記識別ステップが、（vi）前記１個以上のビデオオブジェクト面のうちの１個及び前記ビデオ情報の直前のフレームに関連ずる１個以上のオブジェクト面のうちの１個を選択するステップと、（vii）選択した前記ビデオオブジェクト面と選択した以前のフレームビデオオブジェクト面とを比較して、それらの間の深さの差を決定するステップと、（viii）１個以上の以前の前記フレームビデオオブシェクト面の相違するものを選択した後、１個以上の以前の前記フレームビデオオブジェクト面が選択されるまでステップ（vii）を繰り返すステップと、（ix）選択した前記ビデオオブジェクト面を、決定された前記深さの差の全てよりも深さの差が小さくなる１個以上の以前の前記フレームビデオオブジェクト面の１個に対応するビテオオブジェクトに割り当てるステップと、（ｘ）前記１個以上のビデオオブジェクト面の全てを選択しない場合、前記１個以上のビデオオブジェクト面のうちの相違するものを選択した後にステップ（vii）〜（ix）を繰り返して、前記１個以上のビデオオブジェクト面の各々がオブジェクトを選択するステップとを具えることを特徴とする請求の範囲３６記載の方法。３８．前記ステップ（ｃ）が、受信した前記ビデオ情報のフィールドの一部に対応するデータを量子化することを有し、（ｄ）前記オブジェクト識別信号によって識別されたオブジェクトの知覚的な次希有用度を反映する量子化モードを選択するために、前記データに対応するオブジェクト識別信号に基づく量子化モード信号を発生させ、前記データを、選択した前記量子化モードに基づいて量子化するステップを更に具えることを特徴とする請求の範囲３３記載の方法。３９．発生した前記圧縮ビデオ信号を可変ビットレート信号とし、（ｅ）発生した前記圧縮ビデオ信号をバッファリングするステップと、（ｆ）バッファリングオーバーフロー状態を表す信号を発生させるステップとを更に具え、前記量子化モード信号が前記オーバーフロー信号にも応答し、選択した前記量子化モードが、バッファリング制限によって限定された前記オブジェクトの知覚的な重要度を反映するようにしたことを特徴とする請求の範囲３８記載の方法。４０．前記量子化モード信号を発生させる前に、受信した前記ビテオ情報のフレーム又はフィールド内のビデオデータの現在のマクロブロックを前記オブジェクトの１個に割り当てるステップを更に具え、前記量子化モード信号が、割り当てられた前記オブジェクトを反映することを特徴とする請求の範囲３９記載の方法。４１．前記量子化モード信号を発生させる前に、割り当てられた前記オブジェクトに関連したターゲットビットレートを反映する信号を発生させるステップを更に具えることを特徴とする請求の範囲４０記載の方法。４２．（ｉ）前記圧縮ビデオ信号情報がバッファリングされると常に仮想バッファ占有量を表す仮想バッファ計数を加算するステップと、（ii）バッファリングされた前記圧縮ビデオ信号情報を前記ビットレート信号に依存する量だけ出力すると常に、前記計数を減算するステップと、（iii）前記計数を表す仮想バッファ占有信号を発生させるステップとを更に具え、前記量子化モード信号が、前記仮想バッファ占有信号にも応答し、選択した前記量子化モードが、前記バッファリング制限によって制約される前記仮想バッファ占有量によって表される前記オブジェクトを反映することを特徴とする請求の範囲４１記載の方法。４３．前記仮想バッファ占有量Ｂ₁を、式Ｂ_i＝Ｂ_i-1−ｂ_i−ｒ（Ｒ_k／Ｒ）によって決定し、ｂ_iを、前記エンコーダ出力信号によって表された現在のマクロブロックを符号化するのに用いられるビット数に等しくし、ｒを、前記クロック信号によって表された前記ビデオバッファによって出力されたビット数に等しくし、Ｒ_kを、前記ターゲットビットレート信号によって表されたターゲットビットレートとし、Ｒを、前記バッファリング制限が発生するのを防止するのに要求される平均出力ビットレートとしたことを特徴とする請求の範囲４２記載の方法。４４．割り当てられた前記オブジェクトが以前に割り当てられたオブジェクトと異なる場合には常に、前記量子化モード信号を発生させる前にバッファサイズ変調信号を発生させるステップを更に具え、前記量子化モード信号が、前記バッファサイズ変調信号にも応答し、選択した前記量子化モードが、前記バッファサイズ変調信号によって変調されるとともに前記バッファリング制限によって制約される前記仮想バッファ容量によって表される前記オブジェクトを反映することを特徴とする請求の範囲４０記載の方法。４５．ビデオ情報のフレームに対応する深さ情報を受信するとともに、そのビデオ情報のフレーム内の１個以上の個別のオブジェクトを識別するオブジェクトセグメント化回路であって、（ａ）前記深さ情報を受信するとともに前記深さ情報をオブジェクトマップに変換して、前記ビデオ情報のフレーム内の各画素を、前記フレーム内の変動する知覚的な重要度の１個以上の領域に関連させるオブジェクトマップ発生回路を具え、前記オブジェクトマップ発生回路が、（１）前記深さ情報を受信するとともに前記深さ情報のヒストグラムを演算して、予め決定された値の範囲に対する予め決定された深さ値を有する画素数を発生させるヒストグラム発生回路と、（２）このヒストグラム発生回路に結合され、発生した前記ヒストグラムを受信し、予め決定されたしきい値より下の前記ヒストグラムの全ての値を零に設定して、クリップされたヒストグラムを発生させる第１論理回路と、（３）この第１論理回路に結合され、クリップされた前記ヒストグラムを受信するとともに、ｎ個の相違する深さのしきい値を有するｎ個の領域の境界を見つけるためにクリップされた前記ヒストグラムを走査する第２論理回路と、（４）この第２論理回路に結合され、前記ｎ個の相違するしきい値及び深さ情報を受信し、前記ｎ個の相違するしきい値に基づいて前記深さ情報を量子化して、前記オブジェクトマップを発生させる可変ステップ量子化回路とを具え、（ｂ）前記オブジェクトマップ発生回路に結台され、前記オブジェクトマップを受信するとともに、選択した深さの領域にほぼ対応する前記フレーム内の画素を表す１個以上の深さ領域マスクを発生させるために前記オブジェクトマップをマスクする領域マスク回路と、（ｃ）前記領域マスキング回路に結合され、発生した前記１個以上のマスクを受信するとともに、前記１個以上の領域マスクの各々によって表された選択した前記１個以上の領域の各々の範囲内の１個以上の個別のオブジェクトを識別して、各深さ領域に関連したオブジェクトの各々を個別のオブジェクトとして識別するビデオオブジェクト選択回路とを更に具えることを特徴とするオブジェクトセグメント化回路。４６．前記ヒストグラム発生回路が、（ｉ）前記深さ情報を受信するとともにそれを一時的に格納するバッファと、（ii）前記バッファに結合され、前記深さ情報をメモリアドレスとして前記バッファから受信し、かつ、ヒストグラム値を前記メモリアドレスとして記憶するメモリと、（iii）前記メモリに結合され、前記メモリのアドレスロケーションからヒストグラム値を読み出し、前記ヒストグラム値を更新し、かつ、更新した前記ヒストグラム値を前記メモリのアドレスロケーションに供給する論理回路とを具えることを特徴とする請求の範囲４５記載のオブジェクトセグメント化回路。４７．ビデオ情報のフレームに対応する深さ情報内の１個以上の個別のオブジェクトを識別する方法であって、（ａ）前記深さ領域を受信するステップと、（ｂ）受信した前記深さ領域をオブジェクトマップに変換して、前記ビデオ情報のフレーム内の各画素を、前記フレーム内の変動する知覚的な重要度の１個以上の領域のうちの１個に関連させるステップとを具え、前記変換ステップが、（１）受信した前記深さ情報のヒストグラムを算出して、予め設定された値の範囲に対する予め設定された深さ値を有する画素数を発生させるステップと、（２）予め設定されたしきい値より下の前記ヒストグラムの全ての値を零に設定して、クリップされたヒストグラムを発生させるステップと、（３）ｎ個の相違する深さのしきい値を有するｎ個の領域の境界を見つけるためにクリップされた前記ヒストグラムを走査するステップと、（４）前記ｎ個の相違するしきい値に基づいて前記深さ情報を量子化するステップとを具え、（ｃ）選択した深さの領域にほぼ対応する前記フレーム内の画素を表す１個以上の深さ領域マスクを発生させるために前記オブジェクトマップをマスキングするステップと、（ｄ）前記１個以上の領域マスクによって表された前記１個以上の深さ領域の各々の範囲内の１個以上のオブジェクトを識別して、各深さ領域に関連した深さ領域の各々を個別のオブジェクトとして識別することを特徴とする方法。４８．前記識別ステップが、（ｉ）マスクされていない値を有する画素を見つけるまで、予め選択された深さ領域マスクを走査するステップと、（ii）マスクされていない値を有する他の任意の隣接する画素を見つけるために、前記マスク内の隣接する画素を探索するステップと、（iii）マスクされていない値を有する見つけられた隣接する全ての画素を、前記深さ領域内のオブジェクトに対応するビデオオブジェクト面として識別するまで、前記探索ステップを繰り返すステップと、（iv）前記深さ領域マスクから前記オブジェクトをマスキングするステップと、（ｖ）前記深さ領域マスク内の全ての画素をマスキングするまでステップ（ ii）〜（iv）を繰り返して、受信した前記ビデオ情報のフレーム内の１個以上のビデオオブジェクト面を識別するステップとを具えることを特徴とする請求の範囲４７記載の方法。４９．前記識別ステップが、（vi）前記１個以上のビデオオブジェクト面のうちの１個及び前記ビデオ情報の以前のフレームに関連した前記１個以上のビテオオブジェクト面のうちの１個を選択するステップと、（vii）選択した前記ビデオオブジェクト面及び選択した以前のフレームビデオオブジェクト面とを比較して、それらの間の深さの差を決定するステップと、（viii）１個以上の前記以前のフレームビデオオブジェクト面の全てを選択しない場合、前記１個以上の以前のフレームビデオオブジェクト面のうちの相違するものを選択した後にステップ（vii）を繰り返すステップと、（ix）選択した前記ビデオオブジェクト面を、設定された前記深さの差の全てよりも深さの差が小さい前記１個以上の以前のフレームビデオオブジェクト面の１個に対応するビデオオブジェクトに割り当てるステップと、（ｘ）前記１個以上のビデオオブジェクト面の全てを選択しない場合、前記１個以上のビデオオブジェクト面の相違するものを選択した後ステップ（vii ）〜（ix）を繰り返し、前記１個以上のビデオオブジェクト面の各々がオブジェクトを識別するステップとを具えることを特徴とする請求の範囲４７記載の方法。

───────────────────────────────────────────────────── フロントページの続き (72)発明者アナスタシアディミトリスアメリカ合衆国ニュージャージー州 07670 テナフライイングルストリート 286 (72)発明者チャンシ―フアメリカ合衆国ニューヨーク州 10027 ニューヨークリヴァーサイドドライヴ 560 アパートメント 18ケイ (72)発明者ナイヤシュリーアメリカ合衆国ニューヨーク州 10027 ニューヨークリヴァーサイドドライヴ 560 アパートメント 15ディー

Claims

【特許請求の範囲】１．画素の２次元情報を具えるビデオ情報のフィールド又はフレームを符号化するとともに符号化を向上させるために前記画素の各々の深さ成分を利用する装置であって、（ａ）前記ビデオ情報のフレーム又はフィールドを受信するとともに、受信した前記ビデオ情報のフレーム又はフィールドから圧縮ビデオ信号を発生させ、前記ビデオ情報のフィールド又はフレームの一部に対応するデータを量子化するマルチモード量子化器を有するエンコーダと、（ｂ）受信した前記ビデオ情報に対応する深さ情報を受信するとともに、受信した前記フィールド又はフレームの各画素を、前記受信したフレーム又はフィールド内の変動する知覚的な重要度の１個以上の領域のうちの１個に関連させるオブジェクトマップを発生させるオブジェクトセグメント化回路と、（ｃ）前記オブジェクトセグメント化回路及びマルチモード量子化器に結合され、前記オブジェクトマップを受信するとともに、前記オブジェクトマップに応答して前記マルチモード量子化器に信号を供給し、前記オブジェクトマップによって表される前記領域の知覚的な重要度を反映するような量子化モードを選択するレートコントローラとを具えることを特徴とする装置。２．前記エンコーダを、ＭＰＥＧ−２に従うビットストリームを発生させることができる可変ビットレートエンコーダとしたことを特徴とする請求の範囲１記載の装置。３．前記オブジェクトセグメント化回路が、（１）前記深さ情報を受信するとともに、前記深さ情報のヒストグラムを演算して、予め設定された値の範囲に対して予め設定された深さ値を有する画素数を発生させるヒストグラム発生回路と、（２）このヒストグラム発生回路に結合され、発生した前記ヒストグラムを受信するとともに、予め設定された値より下の前記ヒストグラムの全ての値を零に設定して、クリップされたヒストグラムを発生させる第１論理回路と、（３）この第１論理回路に結合され、前記クリップされたヒストグラムを受信するとともに、前記クリップされたヒストグラムを操作して、ｎ個の相違する深さのしきい値を有するｎ領域の境界を見つける第２論理回路と、（４）この第２論理回路に結合され、前記ｎ個の相違するしきい値を受信するとともに、前記ｎ個の相違するしきい値に基づいて前記深さ情報を量子化して、前記オブジェクトマップを発生させる可変ステップ量子化回路とを具えることを特徴とする請求の範囲１記載の装置。４．前記ヒストグラム発生回路が、（ｉ）前記深さ情報を受信するとともにそれを一時的に格納するバッファと、（ii）このバッファに結合され、前記深さ情報をメモリアドレスとして前記バッファから受信するとともに、ヒストグラム値を前記メモリアドレスとして格納するメモリと、（iii）このメモリに結合され、前記メモリのアドレスロケーションからヒストグラム値を読出し、前記ヒストグラム値を更新し、更新された前記ヒストグラム値を前記メモリのアドレスロケーションに供給する論理回路とを具えることを特徴とする請求の範囲１記載の装置。５．前記エンコーダを可変ビットレートエンコーダとし、（ｄ）予め選択された記憶容量を有し、発生した前記圧縮ビデオ信号を受信し及びそれを一時的に格納するとともに、オーバーフロー状態を表す信号を前記レートコントローラに供給するビデオバッファを更に具え、前記レートコントローラから前記マルチモード量子化器に供給された信号が前記オーバフロー状態を表す信号に応答して、選択された前記量子化モードが、前記記憶容量によって制限される前記領域の知覚的な重要度を反映するようにしたことを特徴とする請求の範囲１記載の装置。６．（ｅ）前記オブジェクトセグメント化回路及びレートコントローラに結合され、ビデオデータの現在のマクロブロックを変動する知覚的な重要度の領域の１個に割当てるとともに、割り当てられた前記領域を表す信号を前記レートコントローラに供給するマクロブロックラベリング回路を更に具え、前記レートコントローラから前記マルチモード量子化器に供給される信号が、割り当てられた前記領域を反映するようにしたことを特徴とする請求の範囲６記載の装置。７．前記ビデオデータの現在のマクロブロックを、前記ビデオデータのマクロブロックに対応する前記オブジェクトマップのロケーションによって識別された１個以上の領域の最高の知覚的な重要度を有する領域に割り当てたことを特徴とする請求の範囲６記載の装置。８．前記エンコーダが、圧縮ビデオデータを前記ビデオバッファに出力する際に出力信号を発生させ、前記マクロブロックラベリング回路が、割り当てられた前記領域に関連するターゲットビットレートを表す信号を発生させ、（ｆ）前記ビデオバッファに結合され、クロック信号を前記バッファに供給するクロック信号発生回路を更に具え、前記ビデオバッファが、前記クロック信号に応答して予め設定された量の前記圧縮ビデオ信号を出力し、（ｇ）前記エンコーダ、前記クロック信号発生回路、前記マイクロブロックラベリング回路及び前記レートコントローラに結合され、前記クロック信号、ターゲットビットレート信号及びエンコーダ出力信号を受信し、前記エンコーダ出力信号に応答して計数を加算するとともに前記クロック信号及びターゲットビットレート信号に応答して計数を減算することによって前記ビデオバッファに関連した仮想バッファのビット数を計数し、前記計数を表す仮想バッファ占有信号を前記レートコントローラに供給するカウンタを更に具え、前記レートコントローラから前記マルチモード量子化器に供給される信号が前記仮想バッファ占有信号にも応答し、前記量子化モードが、前記ビデオバッファの記憶容量によって制限される前記仮想バッファキャパシティによって表された前記領域の知覚的な重要度を反映するようにしたことを特徴とする請求の範囲６記載の装置。９．前記仮想バッファ占有量Ｂ₁を、式Ｂ_i＝Ｂ_i-1−ｂ_i−ｒ（Ｒ_k／Ｒ）によって決定し、ｂ_iを、前記エンコーダ出力信号によって表された現在のマクロブロックを符号化するのに用いられるビット数に等しくし、ｒを、前記クロック信号によって表された前記ビデオバッファによって出力されたビット数に等しくし、Ｒ_kを、前記ターゲットビットレート信号によって表されたターゲットビットレートとし、Ｒを、前記ビデオバッファによって維持すべき平均出力ビットレートとしたことを特徴とする請求の範囲８記載の装置。１０．前記レートコントローラが、前記マクロブロックラベリング回路に結合され、割り当てられた前記領域を受信するとともに、割り当てられた前記領域が直前に割り当てられた領域と異なるときには常にバッファサイズ変調信号を発生させるバッファサイズ論理回路を更に具え、前記レートコントローラから前記マルチモード量子化器に供給された新香う゛が前記バッファサイズ変調信号にも応答し、選択された前記量子化モードが、前記バッファサイズ変調信号によって変調されるとともに前記ビデオバッファの記憶容量によって制限される仮想バッファ容量によって表される前記領域の知覚的な重要度を反映するようにしたことを特徴とする請求の範囲８記載の装置。１１．画素の２次元情報を具えるビデオ情報のフィールド又はフレームを符号化するとともに符号化を向上させるために前記画素の各々の深さ成分を利用する装置であって、（ａ）前記ビデオ情報のフレーム又はフィールドと前記ビデオ情報に対応する深さ情報の両方を発生させることができる深さ検知カメラと、（ｂ）この深さ検知カメラに結合され、発生した前記ビデオ情報のフレーム又はフィールドを受信するとともに、前記ビデオ情報のフレーム又はフィールドから圧縮ビデオ信号を発生させ、前記ビデオ情報のフィールド又はフレームの一部に対応するデータを量子化するマルチモード量子化器を有するエンコーダと、（ｃ）前記深さ検知カメラに結合され、発生した前記深さ情報を受信するとともに、受信した前記フレーム又はフィールド内の変動する知覚的な重要度の１個以上の領域のうちの１個を有する受信した前記フィールド又はフレームの各画素に関連するオブジェクトマップを発生させるオブジェクトセグメント化回路と、（ｄ）前記オブジェクトセグメント化回路及びマルチモード量子化器に結合され、前記オブジェクトマップを受信するとともに、前記オブジェクトマップに応答して、前記マルチモード量子化器に信号を供給して量子化モードを選択し、選択した前記量子化モードが、前記オブジェクトマップによって表された前記領域の知覚的な重要度を反映するようにしたことを特徴とする装置。１２．画素の２次元情報を具えるビデオ情報のフィールド又はフレームを符号化するとともに符号化を向上させるために前記画素の各々の深さ成分を利用するに当たり、（ａ）前記ビデオ情報のフレーム又はフィールド及び受信した前記ビデオ情報に対応する深さ情報を受信するステップと、（ｂ）受信した３個の情報をオブジェクトマップに変換して、受信した前記フィールド又はフレームの各画素を、受信した前記フレーム又はフィールド内の変動する知覚的な重要度の１個以上の領域に関連させるステップと、（ｃ）前記オブジェクトマップによって表された前記領域の前記知覚的な重要度を反映する量子化モードを選択するために前記オブジェクトマップに基づく量子化モード信号を発生させるステップと、（ｄ）前記量子化モード信号によって選択された前記量子化モードに従って受信した前記ビデオ情報のフィールド又はフレームの一部に対応するデータを量子化することによって、受信した前記ビデオ情報のフレーム又はフィールドに対応する圧縮ビテオ信号を発生させるステップとを具えることを特徴とする方法。１３．前記ステップ（ｄ）で発生した圧縮ビデオ信号を、ＭＰＥＧ−２に従うビットストリームとすることを特徴とする請求の範囲１２記載の方法。１４．前記変換ステップが、（１）受信した前記深さ情報のヒストグラムを算出して、予め設定された値の範囲に対する予め設定された深さ値を有する画素数を発生させること、（２）予め設定されたしきい値より下の前記ヒストグラムの全ての値を零にセットして、クリップされたヒストグラムを発生させること、（３）ｎ個の相違する深さのしきい値を有するｎ個の領域の境界を見つけるためにクリップされた前記ヒストグラムを操作すること、（４）前記ｎ個の相違するしきい値に基づく前記深さ情報を量子化することを具えることを特徴とする請求の範囲１２記載の方法。１５．発生した前記圧縮ビデオ信号を可変ビットレート信号とし、（ｅ）発生した前記圧縮ビデオ信号をバッファリングするステップと、（ｆ）オーバーフロー状態のバッファリングを表す信号を発生させるステップとを更に具え、前記量子化モード信号が前記オーバーフロー信号にも応答して、選択した前記量子化モードが、バッファリング制限によって制約される前記領域の前記知覚的な情報を反映させることを特徴とする請求の範囲１２記載の方法。１６．前記量子化モード信号を発生させる前に、受信した前記ビデオ情報のフレーム又はフィールド内のビデオデータの現在のマクロブロックを、変動する知覚的な重要度の前記領域の１個に割り当て、前記量子化モード信号が、割り当てられた前記情報を反映することを特徴とする請求の範囲１５記載の方法。１７．前記割当てステップが、前記ビデオデータの現在のマクロブロックを、前記ビデオデータのマクロブロックに対応する前記オブジェクトマップのロケーションによって識別された１個以上の領域の最高の知覚的な重要度を有する領域に割り当てることを具えることを特徴とする請求の範囲１６記載の方法。１８．前記量子かモード信号を発生させる前に割り当てられた前記情報に関連するターゲットビットレートを表す信号を発生させるステップを更に具えることを特徴とする請求の範囲１６記載の方法。１９．（ｉ）前記圧縮ビデオ信号情報がバッファリングされると常に仮想バッファの占有量を表す仮想バッファ計数を加算するステップと、（ii）バッファリングされた前記圧縮ビデオ信号情報が前記ターゲットビットレート信号に依存する量を出力すると常に、前記計数を減算するステップと、（iii）前記計数を表す仮想バッファ占有信号を発生させるステップとを更に具え、前記量子化モード信号が前記仮想バッファ占有信号にも応答し、選択した前記量子化モードが、バッファリング制限によって限定される前記仮想バッファ占有量によって表された前記領域の知覚的な重要度を反映することを特徴とする請求の範囲１８記載の方法。２０．前記仮想バッファ占有量Ｂ₁を、式Ｂ_i＝Ｂ_i-1−ｂ_i−ｒ（Ｒ_k／Ｒ）によって決定し、ｂ_iを、前記エンコーダ出力信号によって表された現在のマクロブロックを符号化するのに用いられるビット数に等しくし、ｒを、前記クロック信号によって表された前記ビデオバッファによって出力されたビット数に等しくし、Ｒ_kを、前記ターゲットビットレート信号によって表されたターゲットビットレートとし、Ｒを、前記バッファリング制限を防止するのに要求される平均出力ビットレートとしたことを特徴とする請求の範囲１９記載の方法。２１．割り当てられた前記領域が直前に割り当てられた領域と異なる場合には常に、前記量子化モード信号を発生させる前にバッファサイズ変調信号を発生させるステップを更に具え、前記量子化モード信号が前記バッファサイズ変調信号にも応答し、選択した前記量子化モードが、前記バッファサイズ変調信号によって変調されるとともに前記バッファリング制限によって制限される前記仮想バッファ容量によって表された前記領域の知覚的な重要度を反映することを特徴とする請求の範囲１６記載の方法。２２．符号化を向上させるためにビデオ情報の深さ成分を用いて前記ビデオ情報のオブジェクトに基づく符号化を実行する装置であって、（ａ）前記ビデオ情報のフレームに対する深さ情報を受信するとともに、前記ビデオ情報のフレーム内で１個以上のオブジェクトの形状を表す受信した前記深さ情報に基づいて１個以上のオブジェクト識別信号を発生させるオブジェクトセグメント化回路と、（ｂ）受信した前記深さ情報信号及び１個以上のオブジェクト識別信号に対応する前記ビデオ情報のフレームを受信するとともに、前記１個以上のオブジェクト識別信号によって識別された前記１個以上のオブジェクトにほぼ対応する前記ビデオ情報の一部を表す圧縮ビデオ信号を発生させるエンコーダとを具えることを特徴とする装置。２３．前記オブジェクトセグメント化回路が、（１）前記深さ情報を受信するとともに、前記深さ情報をオブジェクトマップに変換して、前記ビデオ情報のフレーム内の各画素を、前記フレーム内の変動する知覚的な重要度の１個以上の領域に関連させるオブジェクトマップ発生回路と、（２）前記オブジェクトマップ発生回路に結合され、前記オブジェクトマップを受信するとともに、選択された領域にほぼ対応する前記フレーム内の画素を表す深さ領域マスクを発生させるために前記オブジェクトマップをマスクする領域マスク回路と、（３）前記領域マスク回路に結合され、発生した前記領域マスクを受信し、前記領域マスクによって表された選択された前記領域内の１個以上の個別のオブジェクトを識別し、前記１個以上のオブジェクト識別信号を発生させて、前記オブジェクト識別情報の各々が１個以上の識別された前記個別のオブジェクトを識別するビデオオブジェクト選択回路手とを具えることを特徴とする請求の範囲２２記載の装置。２４．前記オブジェクトマップ発生回路が、（ｉ）前記深さ情報を受信するとともに、前記深さ情報のヒストグラムを演算して、予め設定された値の範囲に対する予め設定された深さ値を有する画素数を発生させるヒストグラム発生回路と、（ii）このヒストグラム発生回路に結合され、発生した前記ヒストグラムを受信するとともに、予め設定されたしきい値より下の前記ヒストグラムの全ての値を零に設定して、クリップされたヒストグラムを発生させる第１論理回路と、（iii）この第１論理回路に結合され、クリップされた前記ヒストグラムを受信するとともに、ｎ個の相違する深さのしきい値を有するｎ個の領域の境界を見つけるためにクリップされた前記ヒストグラムを走査する第２論理回路と、（iv）この第２論理回路に結合され、前記ｎ個の相違するしきい値及び前記深さ情報を受信するとともに、前記ｎ個の相違するしきい値に基づいて前記深さ情報を量子化して、前記オブジエクトマップを発生させる可変ステップ量子化回路とを具えることを特徴とする請求の範囲２３記載の装置。２５．前記ヒストグラム発生回路が、（Ａ）前記深さ情報を受信し及び一時的に格納するバッファと、（Ｂ）このバッファに結合され、前記深さ情報をメモリアドレスとして前記バッファから受信するとともに、ヒストグラム値を前記メモリアドレスとして格納するメモリと、（Ｃ）このメモリに結合され、前記メモリのアドレスロケーションからヒストグラム値を読出し、このヒストグラム値を更新し、更新された前記ヒストグラム値を前記メモリのアドレスロケーションに供給する論理回路とを具えることを特徴とする請求の範囲２４記載の装置。２６．前記エンコーダが、受信した前記ビデオ情報の一部に対応するデータを量子化するマルチモード量子化器を有し、（ｃ）前記オブジェクトセグメント化回路及びマルチモード量子化器に結合され、前記１個以上のオブジェクト識別信号を受信するとともに、前記オブジェクト識別信号に応答して、前記マルチモード量子化器に信号を供給して量子化モードを選択し、量子化すべきデータの一部の各々に対して、選択した前記量子化モードが、量子化すべき前記データの一部に関連する前記１個以上のオブジェクト識別信号のうちの１個によって識別されたオブジェクトの知覚的な重要度を反映するようにしたことを特徴とする請求の範囲２１記載の装置。２７．前記エンコーダを可変ビットレートエンコーダとし、（ｄ）予め選択された記憶容量を有し、前記エンコーダ及びレートコントローラに結合され、発生した前記圧縮ビデオ信号を受信し及び一時的に格納するとともに、オーバーフロー状態を表す新香う゛を前記レートコントローラに供給するビデオバッファを更に具え、前記レートコントローラから前記マルチモード量子化器に供給される信号が、前記オーバーフロー信号にも応答し、選択した前記量子化モードが、前記ビデオバッファの記憶容量によって制限される前記オブシェクトの知覚的な重要度を反映するようにしたことを特徴とする請求の範囲２６記載の装置。２８．量子化すべき前記データの一部をマクロブロックとし、（ｅ）前記オブジェクトセグメント化回路及びレートコントローラに結合され、前記ビデオデータの現在のマクロブロックを前記オブジェクトのうちの１個に割り当てるとともに、割り当てられた前記オブジェクトを表す信号を前記レートコントローラに割り当てるマクロブロックラベリング回路を更に具え、前記レートコントローラから前記マルチモード量子化器に供給される信号が、割り当てられた前記オブジェクトを反映するようにしたことを特徴とする請求の範囲２７記載の装置。２９．前記エンコーダが、前記圧縮ビデオデータを前記ビデオバッファに出力する際に出力信号を発生させ、前記マクロブロックラベリング回路が、割り当てられた前記オブジェクトに関連したターゲットビットレートを表す信号を発生させ、（ｆ）前記ビデオバッファに結合されるとともに前記バッファにクロック信号を供給するクロック信号発生回路を更に具え、前記ビデオバッファが、前記クロック信号に応答して予め設定された量の前記圧縮ビデオ信号を出力し、（ｇ）前記エンコーダ、クロック信号発生回路、マクロブロックラベリング回路及びレートコントローラに結合され、前記クロック信号、ターゲットビットレート信号及びエンコーダ出力信号を受信し、前記エンコーダ出力信号に応答して計数を加算し及び前記クロック信号及びターゲットビットレート信号に応答して計数を減算することによって前記ビデオバッファに関連した仮想バッファ内のビット数を計数して、前記仮想バッファの占有量を決定し、かつ、前記計数を表す仮想バッファ占有信号を前記レートコントローラに供給するカウンタを更に具え、前記レートコントローラから前記マルチモード量子化器に供給された信号が、前記仮想バッファ占有信号にも応答し、選択した前記量子化モードが、前記ビデオバッファの記憶容量によって制限された前記仮想バッファ容量によって表された前記オブジェクトの知覚的な重要度を反映するようにしたことを特徴とする請求の範囲２８記載の装置。３０．前記仮想バッファ占有量Ｂ₁を、式Ｂ_i＝Ｂ_i-1−ｂ_i−ｒ（Ｒ_k／Ｒ）によって決定し、ｂ_iを、前記エンコーダ出力信号によって表された現在のマクロブロックを符号化するのに用いられるビット数に等しくし、ｒを、前記クロック信号によって表された前記ビデオバッファによって出力されたビット数に等しくし、Ｒ_kを、前記ターゲットビットレート信号によって表されたターゲットビットレートとし、Ｒを、前記ビデオバッファによって維持すべき平均出力ビットレートとしたことを特徴とする請求の範囲２９記載の装置。３１．前記レートコントローラが、前記マクロブロックラベリング回路に結合され、割り当てられた前記オブジェクトを受信するとともに、割り当てられた前記オブジェクトが直前に割り当てられたオブジェクトと相違する場合には常にバッファサイズ変調信号を発生させるバッファサイズ論理回路を更に具え、前記レートコントローラから前記マルチモード量子化器に供給される信号が、前記バッファサイズ変調信号にも応答し、選択された前記量子化モードが、前記バッファサイズ変調信号によって変調されるとともに前記ビデオバッファの記憶容量によって制限される前記仮想バッファ容量によって表された前記オブジェクトの知覚的な重要度を反映するようにしたことを特徴とする請求の範囲２９記載の装置。３２．符号化を向上させるためにビデオ情報の深さ成分を用いて前記ビデオ情報のオブジェクトに基づく符号化を実行する装置であって、（ａ）前記ビデオ情報のフレームと前記ビデオ情報に対応する深さ情報の両方をリアルタイムで発生させることがてのる深さ検知カメラと、（ｂ）この深さ検知カメラに結合され、発生した前記深さ情報を受信し、かつ、前記ビデオ情報の前記フレーム内の１個以上のオブジェクトの形状を表す受信した前記深さ情報に基づいて１個以上のオブジェクト識別信号を発生させるオブジェクトセグメント化回路と、（ｃ）前記オブジェクトセグメント化回路及び深さ検知カメラに結合され、受信した深さ情報に対応する発生したビデオ情報のフレーム及び１個以上のオブジェクト識別信号を受信し、かつ、前記１個以上のオブジェクト識別信号によって識別された前記１個以上のオブジェクトにほぼ対応する前記ビデオ情報の一部を表す圧縮ビデオ信号を発生させるエンコーダとを具えることを特徴とする装置。３３．符号化を増強させるためにビデオ信号の深さ成分を用いてビデオ情報のオブジェクトに基づく符号化を実行するに当たり、（ａ）ビデオ情報のフレーム及び受信した前記ビデオ情報に対応する深さ情報を受信するステップと、（ｂ）前記ビデオ情報のフレーム内で１個以上のオブジェクトの形状を表す受信した前記深さ情報に基づいて１個以上のオブジェクト識別信号を発生させるステップと、（ｃ）前記１個以上のオブジェクト識別信号によって識別された１個以上のオブジェクトにほぼ対応する受信した前記ビデオ情報の一部を表す圧縮ビデオ信号を発生させるステップとを具えることを特徴とする方法。３４．前記ステップ（ｂ）が、（１）受信した前記深さ情報をオブジェクトに変換して、前記ビデオ情報のフレーム内の各画素を、前記フレームの変動する知覚的な重要度の１個以上の領域のうちの１個に関連させるステップと、（２）予め選択した領域にほぼ対応する前記フレーム内の画素を表す深さ領域マスクを発生させるために前記オブジェクトマップをマスキングするステップと、（３）前記深さ領域マスクによって表された予め選択された前記領域内で１個以上の個別のオブジェクトを識別するステップと、（４）前記１個以上のオブジェクト識別信号を発生させて、前記オブジェクト識別信号の各々が、識別された前記１個以上の個別のオブジェクトのうちの１個を識別するステップとを具えることを特徴とする請求の範囲３３記載の方法。３５．前記変換ステップが、（ｉ）受信した前記深さ情報をヒストグラムを算出して、予め設定された値の範囲に対する予め設定された深さ値を有する画素数を発生させるステップと、（ii）予め設定されたしきい値より下の前記ヒストグラムの全ての値を零に設定して、クリップされたヒストグラムを発生させるステップと、（iii）ｎ個の相違する深さのしきい値を有するｎ個の領域の境界を見つけるためにクリップした前記ヒストグラムを走査するステップと、（iv）前記ｎ個の相違するしきい値に基づいて前記深さ情報を量子化するステップとを具えることを特徴とする請求の範囲３４記載の方法。３６．前記識別ステップが、（ｉ）マスクされていない値を有する画素を見つけるまで前記深さ領域マスクを走査するステップと、（ii）前記マスクされていない値を有する他の任意の隣接する画素を見つけるために前記マスク内の隣接する画素を検索するステップと、（iii）前記深さ領域内のオブジェクトに対応するビデオオブジェクト面としてマスクされていない値を有する隣接する見つけられた全ての画素を識別するために、隣接する画素がマスクされない値を有する用になるまで、前記検索ステップを繰り返すステップと、（iv）前記深さ領域マスクから前記オブジェクトをマスクするステップと、（ｖ）前記深さ領域マスク内の全ての画素がマスクされるまで、ステップ（ｉ）〜（iv）を繰り返して、受信したビデオ情報のフレーム内の１個以上のビデオオブジェクト面を識別するステップとを具えることを特徴とする請求の範囲３４記載の方法。３７．前記識別ステップが、（vi）前記１個以上のビデオオブジェクト面のうちの１個及び前記ビデオ情報の直前のフレームに関連する１個以上のオブジェクト面のうちの１個を選択するステップと、（vii）選択した前記ビデオオブジェクト面と選択した以前のフレームビデオオブジェクト面とを比較して、それらの間の深さの差を決定するステップと、（viii）１個以上の以前の前記フレームビデオオブジェクト面の相違するものを選択した後、１個以上の以前の前記フレームビデオオブジェクト面が選択されるまでステップ（vii）を繰り返すステップと、（ix）選択した前記ビデオオブジェクト面を、決定された前記深さの差の全てよりも深さの差が小さくなる１個以上の以前の前記フレームビデオオブジェクト面の１個に対応するビデオオブジェクトに割り当てるステップと、（ｘ）前記１個以上のビデオオブジェクト面の全てを選択しない場合、前記１個以上のビデオオブジェクト面のうちの相違するものを選択した後にステップ（vii）〜（ix）を繰り返して、前記１個以上のビデオオブジェクト面の各々がオブジェクトを選択するステップとを具えることを特徴とする請求の範囲３６記載の方法。３８．前記ステップ（ｃ）が、受信した前記ビテオ情報のフィールドの一部に対応するデータを量子化することを有し、（ｄ）前記オブジェクト識別信号によって識別されたオブジェクトの知覚的な次希有用度を反映する量子化モードを選択するために、前記データに対応するオブジェクト識別信号に基づく量子化モード信号を発生させ、前記データを、選択した前記量子化モードに基づいて量子化するステップを更に具えることを特徴とする請求の範囲３３記載の方法。３９．発生した前記圧縮ビデオ信号を可変ビットレート信号とし、（ｅ）発生した前記圧縮ビデオ信号をバッファリングするステップと、（ｆ）バッファリングオーバーフロー状態を表す信号を発生させるステップとを更に具え、前記量子化モード信号が前記オーバーフロー信号にも応答し、選択した前記量子化モードが、バッファリング制限によって限定された前記オブジェクトの知覚的な重要度を反映するようにしたことを特徴とする請求の範囲３８記載の方法。４０．前記量子化モード信号を発生させる前に、受信した前記ビデオ情報のフレーム又はフィールド内のビデオデータの現在のマクロブロックを前記オブジェクトの１個に割り当てるステップを更に具え、前記量子化モード信号が、割り当てられた前記オブジェクトを反映することを特徴とする請求の範囲３９記載の方法。４１．前記量子化モード信号を発生させる前に、割り当てられた前記オブジェクトに関連したターゲットビットレートを反映する信号を発生させるステップを更に具えることを特徴とする請求の範囲４０記載の方法。４２．（ｉ）前記圧縮ビデオ信号情報がバッファリングされると常に仮想バッファ占有量を表す仮想バッファ計数を加算するステップと、（ii）バッファリングされた前記圧縮ビデオ信号情報を前記ビットレート信号に依存する量だけ出力すると常に、前記計数を減算するステップと、（iii）前記計数を表す仮想バッファ占有信号を発生させるステップとを更に具え、前記量子化モード信号が、前記仮想バッファ占有信号にも応答し、選択した前記量子化モードが、前記バッファリング制限によって制約される前記仮想バッファ占有量によって表される前記オブジェクトを反映することを特徴とする請求の範囲４１記載の方法。４３．前記仮想バッファ占有量Ｂ₁を、式Ｂ_i＝Ｂ_i-1−ｂ_i−ｒ（Ｒ_k／Ｒ）によって決定し、ｂ_iを、前記エンコーダ出力信号によって表された現在のマクロブロックを符号化するのに用いられるビット数に等しくし、ｒを、前記クロック信号によって表された前記ビデオバッファによって出力されたビット数に等しくし、Ｒ_kを、前記ターゲットビットレート信号によって表されたターゲットビットレートとし、Ｒを、前記バッファリング制限が発生するのを防止するのに要求される平均出力ビットレートとしたことを特徴とする請求の範囲４２記載の方法。４４．割り当てられた前記オブジェクトが以前に割り当てられたオブジェクトと異なる場合には常に、前記量子化モード信号を発生させる前にバッファサイズ変調信号を発生させるステップを更に具え、前記量子化モード信号が、前記バッファサイズ変調信号にも応答し、選択した前記量子化モードが、前記バッファサイズ変調信号によって変調されるとともに前記バッファリング制限によって制約される前記仮想バッファ容量によって表される前記オブジェクトを反映することを特徴とする請求の範囲４０記載の方法。４５．ビデオ情報のフレームに対応する深さ情報を受信するとともに前記ビデオ情報のフレーム内の１個以上の個別のオブジェクトを識別するオブジェクトセグメント化回路であって、（ａ）前記深さ情報を受信するとともに前記深さ情報をオブジェクトに変換して、前記ビデオ情報のフレーム内の各画素を、前記フレーム内の変動する知覚的な重要度の１個以上の領域を有する前記ビデオ情報のフレームに割り当てるオブジェクトマップ発生回路と、（ｂ）前記オブジェクトマップ発生回路に結合され、前記オブジェクトマップを受信し、予め設定された深さの領域にほぼ対応する前記フレーム内の画素を表す１個以上の深さ領域マスクを発生させるために、前記オブジェクトマップをマスクする領域マスキング回路と、（ｃ）前記領域マスキング回路に結合され、発生した前記１個以上の領域マスクを受信し、前記１個以上の領域マスクの各々によって識別された選択された前記１個以上の領域の各々の範囲内の１個以上の個別のオブジェクトを識別し、各深さ領域に関連した各オブジェクトを個別のオブジェクトとして識別するビデオオブジェクト選択回路とを具えることを特徴とするオブジェクトセグメント化回路。４６．前記オブジェクトマップ発生回路が、（１）前記深さ情報を受信するとともに前記深さ情報のヒストグラムを演算して、予め決定された値の範囲に対する予め決定された深さ値を有する画素数を発生させるヒストグラム発生回路と、（２）このヒストグラム発生回路に結合され、発生した前記ヒストグラムを受信し、予め決定されたしきい値より下の前記ヒストグラムの全ての値を零に設定して、クリップされたヒストグラムを発生させる第１論理回路と、（３）この第１論理回路に結合され、クリップされた前記ヒストグラムを受信するとともに、ｎ個の相違する深さのしきい値を有するｎ個の領域の境界を見つけるためにクリップされた前記ヒストグラムを走査する第２論理回路と、（４）この第２論理回路に結合され、前記ｎ個の相違するしきい値及び深さ情報を受信し、前記ｎ個の相違するしきい値に基づいて前記深さ情報を量子化して、前記オブジェクトマップを発生させる可変ステップ量子化回路とを具えることを特徴とする請求の範囲４５記載の装置。４７．前記ヒストグラム発生回路が、（ｉ）前記深さ情報を受信するとともにそれを一時的に格納するバッファと、（ii）前記バッファに結合され、前記深さ情報をメモリアドレスとして前記バッファから受信し、かつ、ヒストグラム値を前記メモリアドレスとして記憶するメモリと、（iii）前記メモリに結合され、前記メモリのアドレスロケーションからヒストグラム値を読み出し、前記ヒストグラム値を更新し、かつ、更新した前記ヒストグラム値を前記メモリのアドレスロケーションに供給する論理回路とを具えることを特徴とする請求の範囲４６記載の装置。４８．ビデオ情報のフレームに対応する深さ情報内の１個以上のオブジェクトを識別するに当たり、（ａ）前記深さ情報を受信するステップと、（ｂ）受信した前記深さ情報をオブジェクトマップに変換して、前記ビデオ情報のフレーム内の各画素を、前記フレーム内の変動する知覚的な重要度の１個以上の領域に関連させるステップと、（ｃ）選択した深さの領域にほぼ対応する前記フレーム内の画素を表す１個以上の深さ領域を発生させるために前記オブジェクトマップをマスキングするステップと、（ｄ）前記１個以上の領域マスクによって表された予め選択された前記１個以上の領域の各々の範囲内の１個以上の個別のオブジェクトを識別し、各深さ領域に関連する各オブジェクトを個別のオブジェクトとして識別するステップとを具えることを特徴とする方法。４９．前記変換ステップが、（１）受信した前記深さ情報のヒストグラムを算出して、予め設定された値の範囲に対する予め設定された深さ値を有する画素数を発生させるステップと、（２）予め設定されたしきい値より下の前記ヒストグラムの全ての値を零に設定して、クリップされたヒストグラムを発生させるステップと、（３）ｎ個の相違する深さのしきい値を有するｎ個の領域の境界を見つけるためにクリップされた前記ヒストグラムを走査するステップと、（４）前記ｎ個の相違するしきい値に基づいて前記深さ情報を量子化するステップとを具えることを特徴とする請求の範囲４８記載の方法。５０．前記識別ステップが、（ｉ）マスクされていない値を有する画素を見つけるまで、予め選択された深さ領域マスクを走査するステップと、（ii）マスクされていない値を有する他の任意の隣接する画素を見つけるために、前記マスク内の隣接する画素を探索するステップと、（iii）マスクされていない値を有する見つけられた隣接する全ての画素を、前記深さ領域内のオブジェクトに対応するビデオオブジェクト面として識別するまで、前記探索ステップを繰り返すステップと、（iv）前記深さ領域マスクから前記オブジェクトをマスキングするステップと、（ｖ）前記深さ領域マスク内の全ての画素をマスキングするまでステップ（ｉ）〜（iv）を繰り返して、受信した前記ビデオ情報のフレーム内の１個以上のビデオオブジェクト面を識別するステップとを具えることを特徴とする請求の範囲４８記載の方法。５１．前記識別ステップが、（vi）前記１個以上のビデオオブジェクト面のうちの１個及び前記ビデオ情報の以前のフレームに関連した前記１個以上のビデオオブジェクト面のうちの１個を選択するステップと、（vii）選択した前記ビデオオブジェクト面及び選択した以前のフレームビデオオブジェクト面とを比較して、それらの間の深さの差を決定するステップと、（viii）１個以上の前記以前のフレームビデオオブジェクト面の全てを選択しない場合、前記１個以上の以前のフレームビデオオブジェクト面のうちの相違するものを選択した後にステップ（vii）を繰り返すステップと、（ix）選択した前記ビデオオブジェクト面を、設定された前記深さの差の全てよりも深さの差が小さい前記１個以上の以前のフレームビデオオブジェクト面の１個に対応するビデオオブジェクトに割り当てるステップと、（ｘ）前記１個以上のビデオオブジェクト面の全てを選択しない場合、前記１個以上のビデオオブジェクト面の相違するものを選択した後ステップ（vii ）〜（ix）を繰り返し、前記１個以上のビデオオブジェクト面の各々がオブジェクトを識別するステップとを具えることを特徴とする請求の範囲５０記載の方法。