JP2003515830A

JP2003515830A - 深度マップ圧縮技術

Info

Publication number: JP2003515830A
Application number: JP2001540717A
Authority: JP
Inventors: ハーマンフィル; ミランアンドリュー
Original assignee: ダイナミックディジタルデプスリサーチプロプライエタリーリミテッド
Priority date: 1999-11-19
Filing date: 2000-11-17
Publication date: 2003-05-07
Also published as: KR20030007379A; AU1372301A; WO2001039125A8; EP1232481A1; AUPQ416699A0; WO2001039125A1; CA2392280A1; CN1409852A; US7245768B1

Abstract

(57)【要約】深度マップを圧縮する方法であって、深度マップの範囲内で少なくとも１つのオブジェクトの境界を決定するステップと、曲線を各オブジェクトの境界に適用するステップと、前記曲線によって仕切られた領域の範囲内で連続的な奥行きデータを少なくとも１つのランプ関数に変換するステップと、を含む。

Description

【発明の詳細な説明】

【０００１】（発明の属する技術分野）本発明は、深度マップ（Depth Map）を圧縮する方法、特に、リアルタイムあ
るいはセミリアルタイム処理に最適な、ベジェ（bezier）曲線等の曲線およびラ
ンプ（ramp）関数についての深度マップを表示する方法に関する。

【０００２】（背景技術）立体視のために２Ｄ画像を左右目視画像に変換する際において、３Ｄ画像の送
信および生成を助けるために深度マップを生成することは周知である。一般的に
、深度マップの生成は、シーン内の各オブジェクトに、そのオブジェクトから基
準点、例えばカメラレンズへの相対的あるいは絶対的な距離に依存する固有の属
性（一般的に灰色のシェード）を割り当てる技術を指す。

【０００３】２Ｄ画像から立体画像（stereoscopic images）を生成しようとするシステム
について、この深度マップの生成は、すべてでないにしても、ほとんどの場合、
この変換過程における中間階段である。オペレータまたはシステムは、２Ｄ画像
を分析して、固有の深度マップを生成する。そして、それから、左右目視画像を
生成することによって、プロセスを完成させる。環境によって、この最終のプロ
セスは、深度マップの生成後に起こる可能性がある。

【０００４】２Ｄ画像を立体画像に変換しようとする数多くのシステムが実在する。これら
のシステム各々が効果的に深度マップを生成する可能性がある。しかしながら、
それらの深度マップを得るプロセス、また同様にそれらの深度マップが利用され
るプロセスは異なる。画像の範囲内でオブジェクトの奥行き、および、それによ
って深度マップを決定するために、複数のカメラ、レーザ距離計、レーダイメー
ジングの使用、および、反射放射強度検出器（reflected radiation intensitys
detectors）と連結した変調放射源（modulated radiation sources）を使用す
る技術の使用を含む、多くの技術が使用される。

【０００５】例えば、その内容が参照により本願明細書に引用されている出願人の先の出願
PCT/AU96/00820において、可変フォーカス技術を使用してカメラからオブジェク
トへの距離を決定することを含む多くの技術が開示されている。あるいは、カメ
ラからオブジェクトへの距離を決定するために、２つのカメラおよび自己相関器
（autocorrelator）の使用もまた開示されている。

【０００６】これらの様々な技術の結果、深度マップは様々なフォーマットとなっている。
最も共通のフォーマットは、グレースケール画像、カラーエンコードされた奥行
き画像(depth images）、または、浮動小数点距離行列（floating point distan
ce matrix）を含んでいる。

【０００７】多数の技術が２Ｄ画像を立体画像に変換するために、および、深度マップを作
るプロセスに存在する。しかしながら、現在まで、一つの技術が深度マップを作
るために利用され、他の異なる技術が立体画像を作るために使用されるといった
ように、これらのプロセスを組み合わせることは不可能であった。すなわち、実
在しているシステムは、異なるプロセスによって生成された深度マップを処理す
ることができない。このため、様々な技術を統合することは不可能であった。

【０００８】プロセスを組み合わせることができないため、同じ２Ｄ画像が多くの異なる技
術によって処理されることになった。それにより、それぞれのプロセスによる深
度マップ作り出すことになった。深度マップへの変換のために２Ｄ画像を分析す
る作業は複雑で、場合によっては時間がかかることもあり、選択された、全ての
２Ｄから３Ｄへの変換プロセスに対して、この作業を繰り返す必要性を避けるこ
とが望ましい。

【０００９】（発明の目的）したがって、本発明の目的は、深度マップを圧縮する方法、特に、リアルタイ
ムまたはセミリアルタイム変換に好適な、例えばベジェ曲線のような曲線および
ランプ関数についての深度マップを表示するための、比較的シンプルな技術を提
供することにある。

【００１０】（発明の概要）上記の目的に鑑み、本発明は、一態様において次を含む深度マップを圧縮する
方法を提供する。

【００１１】深度マップ内で少なくとも１つのオブジェクトの境界を決定する; 前記少なくとも１つのオブジェクト各々の境界（boundary）に曲線を適用す
る; 前記カーブによって仕切られた（bounded）領域の範囲内で、連続的な奥行
データ（continuous depth data）を少なくとも１つのランプ関数に変換する。

【００１２】更なる態様において、本発明は次のステップを含む深度マップを圧縮する方法
を提供する。

【００１３】深度マップの範囲内で、少なくとも１つのオブジェクトを識別するステップ
; 前記少なくとも１つのオブジェクト各々の輪郭（outline）を決定するステ
ップ;および前記少なくとも１つのオブジェクト各々の奥行きを表示するために少なくと
も１つのランプ関数を決定するステップ。

【００１４】好適な実施例において、使用される前記曲線はベジェ曲線である。（詳細な説明）出願人は、先の出願AU10884/97、PCT/AU98/01005、および、オーストラリアの
Provisional PQ1197において、２Ｄ画像を立体画像へ変換するために使用される
様々な技術を開示しており、その全ての内容は参照によって本願明細書に組み入
れられる。これらの技術は、部分的には深度マップの生成およびこれらの深度マ
ップの符号化を開示するものである。しかし、これらの技術は、それぞれのプロ
セスの一部としてしか、生成された深度マップの使用を考慮しなかった。それら
は、異なるプロセスによって生成された深度マップを取扱わなかった。

【００１５】したがって、深度マップが単独でおよび変換過程の一部としてのいずれかで生
成され、その深度マップが送信されて、何らかの方法で保持されるかあるいは記
録されたと仮定する。すると、本発明は、立体画像を表示するための送信および
／または更なる処理のために、深度マップを変換するために採用することも可能
である。

【００１６】ここで、図１を参照すると、２Ｄ画像を表現する深度マップの単一ビデオフレ
ームが例示されている。説明のみの目的のため、実現可能な２５６の離散奥行き
レベル（descrete depth levels）を許す８ビットの奥行き解像度を持つ、８０
０×６００画素で、ビデオ画像がデジタル化されたと仮定する。

【００１７】図１は、示されるように、３つのオブジェクト、つまり、オブジェクト１とし
て識別されるディスク、オブジェクト２として識別される三角形、および、オブ
ジェクト３として認識される長方形を含んでいる。これらの３つのオブジェクト
の各々は、ビデオカメラからある距離をおいて位置している。この距離は、深度
マップにおいて着色された灰色（図１のクロスハッチングで示されるように）の
シェードにより便宜的に表示されている。一般に、より明るい灰色であればある
ほど、オブジェクトはビデオカメラにより近い。この例では、オブジェクト１は
、カメラに最も近く位置し、ビューワ（viewer）からの距離ｄ１を有する。そし
て、オブジェクト２、３は、距離ｄ２、ｄ３をそれぞれを有し、オブジェクト３
がカメラから最も遠くに位置する。

【００１８】深度マップを変換するために、深度マップの範囲内のオブジェクトは、最初に
識別される。すなわち、現在の例で、オブジェクト１、２および３は、異なった
オブジェクトとして各々識別される。従い、一旦オブジェクトが識別されたなら
ば、エッジ検出技術は、各々のオブジェクトの輪郭を決定するために利用可能で
ある。

【００１９】図１はまた、レンジファインダ（range finder）から、例えばリアルタイムに
生成される深度マップを図示している。そのような場合、人間は各オブジェクト
の輪郭を見ることができるが、プロセッサは、各々の形状が何を表しているのか
を区別することができない。したがって、我々が知るすべては灰色の異なるシェ
ードにより画像内の各オブジェクトの奥行きを表示する２Ｄ画像であるので、個
々のオブジェクトはわからない。

【００２０】オブジェクトのエッジ、あるいはセグメントエッジを決定するため、当業者に
なじみがある、ゾーベル（Sobel）、Marr-Hildreth、Canny、導関数でのゼロク
ロッシング（zero crossing in derivatives）および局所エネルギー/位相一致
技術（local energy/phase congruency techniques）を含む従来のエッジ検出方
法を適用することも可能であるが、これらに限定されるものではない。このよう
なエッジ検出技術を用いて、各オブジェクトの輪郭が、図２に図示するように検
出可能である。

【００２１】各々のオブジェクトの輪郭が一旦識別されれば、更なる処理を支援するため、
ベジエ曲線を使用することにより各々の輪郭を表示することができる。その他の
曲線もまた、使用可能であると理解されているが、オブジェクトの輪郭を表示す
るために要求されるデータ量のためにベジエ曲線が好まれている。当業者に知ら
れている標準カーブマッチング技術を達成するために、図３に示すように、輪郭
をベジエ曲線に変換するように適用することが可能である。深度マップの範囲内
でオブジェクトの輪郭にベジエ曲線を適用すること（それは、手動的に、あるい
は、半自動的に、もしくは自動的に適用でき得る）は、深度マップの連続的性質
（continuous nature）に依存する。すなわち、奥行きは、オブジェクトのいず
れのセグメントの範囲内でも連続的に変化すると仮定される。

【００２２】奥行きの不連続性がある場合、オブジェクトのエッジまたはオブジェクトのセ
グメントエッジが存在する。すなわち、更なるオブジェクトが存在し、そのよう
に識別されなければならない。

【００２３】このプロセスによって深度マップの範囲内のオブジェクトが識別され、境界は
ベジエr曲線として便宜的に表示される。それから、各オブジェクトの様々な奥
行きを考慮する（account）ことが必要である。

【００２４】一旦、各オブジェクトの輪郭が決定され、便宜的なフォーマット、好ましくは
ベジエ曲線で表示されれば、１または複数のランプ（ramp）関数によって境界の
範囲内での連続的な奥行き値を表示することが必要である。出願人は、そのラン
プ関数は、奥行きデータを圧縮するのに非常に有効な方法であることを発見した
。例えば、点Ａおよび点Ｂ間のリニアな奥行き傾斜（linear depth ramp）に沿
った全ての点をＡ１、Ａ２、Ａ３、．．．Ｂとして記憶するよりもむしろ、Ａお
よびＢの個々の奥行きを設定して、その２つの点間の奥行きのリニアな変化を仮
定することが可能である。同じアプローチは、奥行きの他の形状に適用すること
が可能である。一般に、実際の奥行きよりもむしろ奥行き（depth）関数を記述
する数式が使用されるため、非常に有効な圧縮形式を形成する。このようなラン
プ関数は、線形、指数関数、２乗規則（square law）および放射状を含むが、こ
れらに限定されるものではない。

【００２５】適切なランプ関数を選択する多くの方法が、当業者に知られている。各オブジ
ェクトの境界の範囲内で適用されるこのような技術は、選択した奥行きデータを
ランプ関数のセットに適合させ、そして、誤差値を最小にすることを含む。ある
いは、ランプ関数は、奥行きデータの定数領域およびゼロ、第１、第２のオーダ
導関数（zero, first and second order derivatives）におけるゼロ交差（zero
crossings）をテストすることによって決定されてもよい。これは、フラットな
、リニアな、そして、曲がった領域をそれぞれ示す。

【００２６】オブジェクトの範囲内で連続的な奥行き値を表示するのに使用可能なランプ関
数の最も低い数を決定することが望ましい。ランプ関数の最も低い数を決定する
ためには、その奥行き関数を既存の奥行き関数のライブラリ（線状、放射状その
他）と比較して、最適合(best fit）を見つけ出すことが可能である。例えば、
最小自乗適合は、ライブラリにおける最も適切な関数を決定するために使用可能
である。

【００２７】深度マップ内のオブジェクトがベジエ曲線およびランプ関数によって表示可能
であるので、このデータは、出願人の前の開示PCT/AU98/01005、および、PQ1197
.に記載されている技術を使用することによって、表示され、エンコードされ、
および圧縮されることが可能である。このような方法で、様々な技術によって生
成された深度マップは、固有の深度マップを生成するためにオリジナルの２Ｄ画
像を分析する必要なしに、立体画像を生成するために、変換でき、そして、利用
できる。

【００２８】過去において、ベジエ曲線は、実在していない深度マップを生成するために使
用されてきた。しかし、深度マップを、ベジエ曲線、および、オブジェクトの奥
行きに変換することは考慮されていなかった。深度マップを一連のベジエ点およ
びオブジェクトの奥行きとして表示することにより、深度マップを圧縮すること
の非常に有効な方法ができた。深度マップを非常に能率的に圧縮することによっ
て、本来の２Ｄ画像に付加し２Ｄ画像と共に送信することも可能である。非常に
高度に圧縮されているので、わずかの余分のバンド幅しか必要としない。このた
め、現存のビデオやインターネットのシステムによって送信可能である。

【００２９】前述のプロセスがいずれのハードウェア、またはソフトウェアあるいは両方の
組合わせにおける完全自動（full automatic）の実現に、最適であることはいう
までもない。これにより、適切な装置から得られるライブ（live）の深度マップ
が次の放送または記録のために、リアルタイムで適切なフォーマットに変換され
てエンコードされるのが可能になる。

【００３０】前述のプロセスが完全な手動により行われてもよいことはいうまでもない。こ
の実施例では、オペレータが手動により各オブジェクトの輪郭を選択し、ベジエ
曲線を記述する。同様に、オペレータはランプ関数を所定の関数ライブラリから
選択するか、および／または、必要に応じて新規なランプ関数を作ることができ
る。

【００３１】また、プロセスは、プロセスの性能がオペレータによって監視され、プロセス
が自動的にオブジェクトの輪郭を決定したり、または適切なランプ関数を選択す
ることができないときに、オペレータによる援助が与えらるようにするような、
半自動式（semi automatic）で実行されてもよい。

【００３２】代わりの実施例において、ベジエ曲線によって仕切られた（bounded）領域の
範囲内で奥行きを表示するために、ランプ関数を、メッシュ（Meshes）、メタボ
ール（Metaballs）、NURBS（Non Uniform Rational B-Splines）、CSG（Constru
ctive Solid Geometry）、および、TIN（Triangulated Irregular Networks）な
ど当業者に周知の他の方法で置き換えてもよいが、これに限定されるものではな
い。

【００３３】本発明の変換技術に対する修正および変更は、この開示を読むことにより当業
者にとって明らかであり、このような修正および変更は本発明の有効範囲の一部
を形成するものである。

【図面の簡単な説明】

【図１】図１は、三つのオブジェクトを表している深度マップを示す。

【図２】図２は、図１の３つのオブジェクトのエッジがどのように検出され得るかを示
す。

【図３】図３は、図２の３つのオブジェクトのアウトラインがベジェ曲線を使用して、
どのように表示されるかを示す。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ，ＴＲ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＢＺ，ＣＡ，ＣＨ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＤＺ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＭＺ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ (72)発明者アンドリューミランアメリカ合衆国、カルフォルニア 90405 サンタモニカパシフィックストリート１番 328 Ｆターム(参考） 5B050 BA09 EA06 EA10 EA28

Claims

【特許請求の範囲】

【請求項１】深度マップを圧縮する方法であって、深度マップの範囲内で少なくとも１つのオブジェクトの境界を決定することと
、曲線を前記少なくとも１つのオブジェクト各々の境界に適用することと、前記曲線によって仕切られた領域の範囲内で連続的な奥行きデータを少なくと
も１つのランプ関数に変換することと、を含む方法。
【請求項２】請求項１に記載の方法であって、前記曲線がベジエ曲線である方法。
【請求項３】請求項１または２に記載の方法であって、奥行き不連続性が処理の間に検出された場合に、さらなる境界が検出されるよ
うにその処理が中段される方法。
【請求項４】請求項１乃至３のいずれかの請求項に記載の方法であって、前記少なくとも１つのオブジェクトのそれぞれに奥行きを割り当てることを更
に含む方法。
【請求項５】請求項１乃至４のいずれかの請求項に記載の方法であって、前記ランプ関数が少なくとも１つの算出法（アルゴリズム）によって表示され
る方法。
【請求項６】請求項５に記載の方法であって、前記ランプ関数は少なくとも１つの線形、指数、自乗規則（square law）また
は放射を含む方法。
【請求項７】請求項１乃至６のいずれかの請求項に記載の方法であって、前記ランプ関数が既存のランプ関数のライブラリから選択される方法。
【請求項８】請求項７に記載の方法であって、最小自乗適合（at least square fit）が、ライブラリから選択されるランプ
関数を決定するために使用される方法。
【請求項９】請求項１乃至８のいずれかの請求項に記載の方法であって、圧縮データをエンコードすることをさらに含む方法。
【請求項１０】深度マップを圧縮する方法であって、深度マップの範囲内で少なくとも１つのオブジェクトを識別するステップと、前記少なくとも１つのオブジェクト各々の輪郭を決定するステップと、前記少なくとも１つのオブジェクト各々の奥行きを表示するために少なくとも
１つのランプ関数を決定するステップと、を有する方法。
【請求項１１】請求項１０に記載の方法であって、前記輪郭を表示するために少なくとも１つの曲線を決定するステップをさらに
含む方法。
【請求項１２】請求項１１に記載の方法であって、前記曲線がベジエ曲線である方法。
【請求項１３】請求項１０乃至１２のいずれかの請求項に記載の方法であって、奥行き不連続性が処理の間に検出された場合、付加的なオブジェクトを決定す
るために、更なるオブジェクトの識別が行われる方法。
【請求項１４】請求項１０乃至１３のいずれかの請求項に記載の方法であって、前記少なくとも１つのオブジェクト各々に奥行きを割り当てるステップをさら
に含む方法。
【請求項１５】請求項１０乃至１４のいずれかの請求項に記載の方法であって、前記ランプ関数が少なくとも１つの算出法（アルゴリズム）によって表示され
る方法。
【請求項１６】請求項１５に記載の方法であって、前記ランプ関数が少なくとも１つの線形、指数関数、自乗規則（square law）
または放射状を含む方法。
【請求項１７】請求項１０乃至１６のいずれかの請求項に記載の方法であって、前記ランプ関数は、既存のランプ関数のライブラリから選択される方法。
【請求項１８】請求項１７に記載の方法であって、最小自乗適合（at least square fit）が、ライブラリから選択されるランプ
関数を決定するために使用される方法。
【請求項１９】請求項１０乃至１８のいずれかの請求項に記載の方法であって、圧縮データをエンコードすることを含む方法。
【請求項２０】請求項９または請求項１９に記載の方法であって、前記エンコードされたデータは、深度マップまたは深度マップが由来する原画
像と組み合わせられる方法。
【請求項２１】請求項１乃至２０のいずれかの請求項に記載の方法であって、前記ランプ関数は、メッシュ（Meshes）、メタボール（Metaballs）、NURBS（
Non Uniform Rational B-Splines）、CSG（Constructive Solid Geometry）、お
よび、TIN（Triangulated Irregular Networks）で置き換えられる方法。
【請求項２２】添付の図面を参照にして、実質的に発明の詳細な説明に記述された方法。