JP2009064421A - 深度データの符号化方法、深度マップ生成装置及び電子装置 - Google Patents

Abstract

【課題】取り込み画像データから深度データを計算し符号化する方法を提供する。
【解決手段】単一の画像取り込み装置により画像データの連続した２フレームを取り込む
。次いで、画像データの第１フレームおよび画像データの第２フレーム間の差異が判定さ
れる。次いで、画像データの第１フレームにおけるピクセル・データが画像データの第２
フレームにおけるピクセル・データに比較されると深度マップが計算される。次いで、深
度マップは画像データの第１フレームのヘッダに符号化される。
【選択図】図２

Description

本発明は、例えば、デジタル画像に関し、デジタル画像内の要素に結び付いた深度デー
タを計算し保存する方法および装置に関する。

記憶媒体のコスト低減とともに、デジタル・カメラの市場が拡大している。加えてデジ
タル・カメラ・ハードウェアのサイズおよびコストの削減により、デジタル・カメラを携
帯電話、無線式高度自動機能電話、およびノートブック・コンピュータなど多くのモバイ
ル電子機器に組み入れることが可能になった。この急速かつ広範な普及により、デジタル
・カメラ・ハードウェアに対し競争の激しい事業環境が発達している。このような競争の
激しい環境においては、ある製品を類似製品と差別化できる機能を含むことが有利であり
得る。

深度データは画像のリアル感を向上させるために用い、写真編集ソフトウェアを用いて
写真に人工的に深度データを加えることができる。深度データを取り込む１つの方法はス
テレオ・カメラまたは他の深度感知用特殊カメラなど特殊な機器を用いる。このような特
殊カメラがない場合、写真編集ソフトウェアを用いて既存の写真に深度のある被写界を作
り出して深度データの作成またはシミュレーションを行うことができる。深度のある被写
界の作成はしばしば高価で使用が難しい写真操作ソフトウェアとのユーザ・インタラクシ
ョンをかなり必要とする。

前述に鑑み、比較的安価なデジタル・カメラ・ハートウェアでデジタル写真を撮る際、
自動的に深度データを取り込む必要性がある。本発明の目的は、例えば、取り込み画像デ
ータから深度データを計算し符号化する方法および装置を提供することにある。

本発明において、一実施形態で、取り込み画像データから深度データを計算し符号化す
るコンピュータ実施方法が開示される。一操作において、コンピュータ実施方法は単一の
画像取り込み装置により画像データを連続２フレーム取り込む。別の操作において、画像
データの第１フレームおよび画像データの第２フレーム間の差異が判定される。さらに別
の操作において、画像データの第１フレームのピクセル・データが画像データの第２フレ
ームのピクセル・データと比較されると深度マップが計算される。別の操作において、深
度マップが画像データの第１フレームのヘッダに符号化される。

別の実施形態で、取り込み画像データから深度マップを生成するよう構成される画像取
り込み装置が開示される。画像取り込み装置はカメラ・インタフェースおよびカメラ・イ
ンタフェースに接続される画像格納コントローラを含むことができる。加えて、画像格納
コントローラはカメラ・インタフェースから連続する２フレームの画像データを格納する
よう構成され得る。深度マスク取り込みモジュールも画像取り込み装置に含まれることが
できる。深度マスク取り込みモジュールは連続する２フレームの画像データ間の差異に基
づき深度マスクを作成するよう構成され得る。さらに深度マスクを処理し、取り込み画像
における要素に対し深度レベルを特定する深度マップを生成するよう構成される深度エン
ジンも画像取り込み装置に含まれる。

発明の他の態様および利点は発明の原理を例示する添付図面と併せて以下の詳細な説明
から明らかになろう。

さらに上述した目的は、下記の本発明により達成される。

本発明の取り込み画像データから深度を計算し符号化する深度データの符号化方法は、
画像取り込み装置より第１フレームを取り込み、前記第１フレームより後又は前記第１フ
レームより前に、前記画像取り込み装置より第２フレームを取り込み、前記第１フレーム
と前記第２フレームとを比較することによって、前記第１フレームの深度マップを作成し
、前記深度マップを前記画像データの前記第１フレームのヘッダに符号化する。

また、本発明の深度データの符号化方法は、前記第１フレームに含まれる第１画像要素
と第２画像要素とを特定し、前記第２フレームに含まれる前記第１画像要素に対応する第
３画像要素と前記第２画像要素に対応する第４画像要素とを特定し、前記第１画像要素と
前記第３画像要素との間の移動量と前記第２画像要素と前記第４画像要素との間の移動量
とを計算し、深度マスクを生成することが好ましい。

また、本発明の深度データの符号化方法は、複数の深度レベルを生成し、前記深度マス
クに基づいて、前記第１フレームの各ピクセルの深度レベルを特定し、前記深度レベルに
基づいて前記深度マップを生成することが好ましい。

また、本発明の深度データの符号化方法として、前記深度マップは、画像データのファ
イルのヘッダとして保存されることが好ましい。

本発明の画像データから深度マップを生成する深度マップ生成装置は、前記画像データ
を取り込むインタフェースと、前記インタフェースに接続され、前記インタフェースから
受信した画像データのうち第１フレームおよび第２フレームを格納する画像格納コントロ
ーラと、前記第１フレームに含まれる第１画像要素および第２画像要素を特定し、第２フ
レームに含まれる第３画像要素および第４画像要素を特定し、前記第１画像要素と前記第
３画像要素の間の移動量と前記第２画像要素と前記第４画像要素の間の移動量とを比較す
ることで深度マスクを作成する深度マスク取り込みモジュールと、前記深度マスクを処理
し、前記第１画像要素と前記第２画像要素の相対的な深度レベルを特定する深度マップを
生成する深度エンジンと、を含むことを特徴とする。

本発明の前記深度マスク取り込みモジュールは、前記第１画像要素の特徴点と、前記第
２画像要素の特徴点と、前記第１画像要素の特徴点に対応する第３画像要素の特徴点と、
前記第２画像要素の特徴点に対応する第４画像要素の特徴点と、を検出する論理を含むこ
とが好ましい。

本発明の電子装置は、上述の深度マップ生成装置と、前記深度マップを含む画像データ
を格納するメモリを、を含む。

また、本発明の電子装置において、前記深度マップは、前記格納された画像データのヘ
ッダに格納されることが好ましい。

以下、本発明の実施形態を図面に基づいて詳細に説明する。

デジタル画像内の要素に結び付いた深度データを計算し保存するための発明が開示され
る。以下の説明において、本発明の十分な理解を提供すべく数多くの具体的な詳細が記載
される。しかし当業者であれば、これらの具体的な詳細の一部なしでも発明を実施できる
ことが明らかであろう。他方、本発明を不必要に分かり難くしないよう周知のプロセス工
程は詳細に説明していない。

図１は、装置１００のアーキテクチャの概略図である。装置１００は、２つの取り込み
フレーム、例えば連続した取り込みフレームの分析結果を用いて、画像の深度マップを生
成し、深度マップを符号化する装置である。装置１００は、プロセッサ１０２、モバイル
・グラフィック・エンジン（以降、ＭＧＥという）１０６、メモリ１０８、および入出力
（Ｉ／Ｏ）インタフェース１１０を含み、これらはバス１０４を用いて互いに通信するこ
とができる。

装置１００の外部又は内部に、用途に応じた追加の構成要素を設けることもできる。入
出力（Ｉ／Ｏ）インタフェース１１０は、図１に図示されている構成要素と追加した構成
要素との通信を可能にする。例えば、装置１００が携帯電話などの携帯電子装置である場
合、無線ネットワーク・インタフェース、ランダムアクセス・メモリ（ＲＡＭ）、デジタ
ル・アナロクおよびアナログ・デジタル変換器、増幅器、キーパッド入力、等々が備わっ
ている。同様に装置１００が携帯端末（ＰＤＡ）である場合、ＰＤＡに呼応した各種ハー
ドウェアが装置１００に含まれる。

本発明は画像をデジタル形式で取り込むことができる装置に用いることができる。この
ような装置の例として、デジタル・カメラ、デジタル・ビデオ・レコーダ、並びに携帯電
話および携帯型コンピュータなど、デジタル・カメラおよびデジタル・ビデオ・レコーダ
を組み入れた電子装置が含まれる。画像を撮影して取り込む機能を有していなくとも、本
発明は、画像を撮影して取り込む機能を有する撮像装置からデジタル形式の画像データを
受信して表示する装置における、後処理手法としても用いることができる。さらに、撮像
装置と表示装置との間に設けられた画像処理装置としても用いることができる。本発明を
用いて生成された画像データを用いる携帯電子機器の例として、携帯ゲーム装置、携帯デ
ジタル・オーディオ・プレヤー、携帯ビデオ・システム、テレビ、および手持ち式のコン
ピュータ装置が含まれる。

本発明は、図１の構成に限定することを意図しておらず、本発明の装置の新規な態様に
直接関係するコンポーネントを開示している。

プロセッサ１０２はデジタル処理操作を行い、バス１０４を介してＭＧＥ１０６と通信
する。プロセッサ１０２はメモリ１０８から取り出した命令を実行する集積回路である。
これらの命令はプロセッサ１０２で実行されることで装置１００が機能する。プロセッサ
１０２はデジタル信号プロセッサ（ＤＳＰ）または他の処理装置であっても良い。

メモリ１０８は、ランダムアクセス・メモリまたは不揮発性メモリである。メモリ１０
８は、プロセッサ１０２で実行する命令を格納している。また、メモリ１０８は、ＭＧＥ
１０６で処理する画像データや、ＭＧＥで処理した画像データを保存してもよい。

メモリ１０８は、埋め込みフラッシュ・メモリまたは他のＥＥＰＲＯＭ、または磁気媒
体など取り外し不能なメモリでも良い。あるいはメモリ１０８は「ｍｉｃｒｏ ＳＤ」、
「ｍｉｎｉ ＳＤ」、「ＳＤ Ｃａｒｄ」、「Ｃｏｍｐａｃｔ Ｆｌａｓｈ（登録商標）
」、および「Ｍｅｍｏｒｙ Ｓｔｉｃｋ（登録商標）」などの商用名の下で広く市販され
る取り外し可能なメモリ・カードであっても良い。

さらにメモリ１０８は、その他任意の種類の取り外し可能または取り外し不能な媒体で
あっても良い。加えて、メモリ１０８は装置１００から空間的に分離していても良い。例
えば、メモリ１０８はＢＬＵＥＴＯＯＴＨ（登録商標）インタフェースまたは通常「Ｗｉ
−Ｆｉ」と呼ばれるＩＥＥＥ ８０２．１１インタフェースが含まれる場合、通信ポート
（図示せず）経由で装置１００に接続されていても良い。このようなインタフェースはホ
ストとデータのやりとりをするために装置１００をホスト（図示せず）に接続する。装置
１００が携帯電話のような通信機器である場合、装置１００は回線業者への無線通信リン
クを含み、回線業者は顧客へのサービスとして機械読み取り可能な媒体にデータを格納し
、またはデータを別の携帯電話または電子メール・アドレスに伝送する。さらに、メモリ
１０８は複数のメモリの組み合わせであっても良い。例えば、音楽、ビデオ、または画像
データなどメディア・ファイルを格納する取り外し可能なメモリ、およびプロセッサ１０
２が実行するソフトウェアなどのデータを格納する取り外し不能なメモリ双方を含むこと
ができる。

図２は本発明の一実施形態によるＭＧＥ１０６の高位レベルなアーキテクチャを示す概
略図である。ＭＧＥ１０６は、カメラ・インタフェース２００、画像格納コントローラ２
０２、深度マスク取り込みモジュール２０４、メモリ２０６、深度エンジン２０８、深度
マップ保存メモリ２１０、画像プロセッサ２１２を含む。

カメラ・インタフェース２００は、ハードウェアおよびソフトウェアを含む。そのハー
ドウェアおよびソフトウェアは、デジタル画像と関連付けられたデータを取り込み、操作
することができる。

一実施形態で、ユーザが写真を撮影すると、カメラ・インタフェースは１つの像取り込
み装置から連続して２つの写真を取り込む。単一の画像取り込み装置への言及は本開示の
範囲を単一の画像、または静止画像を取り込める画像取り込み装置に限定すると解釈され
るものではない。ある実施形態では１つのレンズで取り込んだ連続静止画像を用いること
ができ、他の実施形態では１つのレンズで取り込んだ連続ビデオ・フレームを用いること
ができる。また、本実施形態では連続した２つの画像を用いて説明しているが、所定のフ
レーム数を挟んだ２つの画像を用いてもよい。また、保存するフレームの前後のフレーム
を取り込むことで、３つの画像データを用いてもよい。

本実施形態では、１つの画像を取り込む画像取り込み装置を用いて説明しているが、動
画を取り込む動画取り込み装置またはスチール・カメラのどちらにも利用できる。つまり
、本発明は、複数のレンズではなく、例え１つのレンズのみを有する画像取り込み装置で
あっても、深度の測定を容易にできることを意図している。

連続した２つの画像におけるピクセル・データを比較することにより、ＭＧＥ１０６の
要素は第１画像において取り込まれた要素の深度データを判定することができる。

カメラ・インタフェース２００は、デジタル画像をＭＧＥ１０６に取り込む。さらに、
カメラ・インタフェース２００は、ＭＧＥ１０６の後続モジュールに対しデジタル画像デ
ータを処理／準備するために用い得るハードウェアおよびソフトウェアを含む。カメラ・
インタフェース２００には、画像格納コントローラ２０２および深度マスク取り込みモジ
ュール２０４が接続されている。画像格納コントローラ２０２は、連続した２つの画像に
関する画像データをメモリ２０６に格納するために使用することができる。

深度マスク取り込みモジュール２０４は、連続した２つの画像におけるピクセル値を比
較するロジックを含む。一実施形態で、深度マスク取り込みモジュール２０４は連続した
２つの画像に対しピクセル毎の比較を行い、連続した２つの画像内での要素のピクセル移
動を判定することができる。つまり、２つの画像のうち、先の画像内での被写体の位置と
後の画像内での被写体の位置とのずれ量を検出することができる。ピクセル毎の比較はさ
らに明度などのピクセル・データに基づき画像データ内における要素のエッジを判定する
ために用いることもできる。連続した２つの画像間で同一ピクセルの明度変化を検出する
ことにより、深度取り込みマスクは連続した２つの画像間のピクセル移動を判定する。つ
まり、２つの画像のうち、先の画像内での特徴点の座標と、後の画像内での同じ特徴点の
座標とのずれを検出することができる。連続した２つの画像間のピクセル移動に基づき、
深度マスク取り込みモジュール２０４は深度マスクを作成できる追加論理を含むことがで
きる。

一実施形態で、深度マスクは、連続した２つの画像内における同一要素のエッジのピク
セル移動として定義される。他の実施形態では、深度マスク取り込みモジュールは、ピク
セル毎の比較の代わりに、連続した２つの画像内における要素間のピクセル移動を判定す
るために画像の所定領域を調べることができる。例えば、連続した２つの画像のうち前の
画像と後の画像とに共通に含まれる画像要素において、それぞれの特徴点を検出し、前の
画像の特徴点と後の画像の特徴点との座標を比較して移動量を求めることもできる。また
、移動量の計算に用いる画像は、最終的に画像プロセッサ２１２から出力される画像デー
タより低解像度の画像を用いてもよい。

深度マスク取り込みモジュール２０４は、深度マスクをメモリ２０６に保存する。図２
に示すように、メモリ２０６は、画像格納コントローラ２０２および深度マスク取り込み
モジュール２０４双方に接続されている。メモリ２０６は、画像保存メモリ２０６ａと深
度マスク保存メモリ２０６ｂを含む。この実施形態でメモリ２０６は深度マスク取り込み
モジュール２０４からの深度マスクとともに画像格納コントローラ２０２からの画像を格
納することができる。深度マスクは深度マスク保存メモリ２０６ｂに保存され、画像は画
像保存メモリ２０６ａに保存される。他の実施形態で、画像および深度マスクは分離され
た別個のメモリに格納することもできる。

一実施形態で、深度エンジン２０８がメモリ２０６に接続されている。深度エンジン２
０８は、メモリ２０６の深度マスク保存メモリ２０６ｂから深度マスクを読み出し、読み
出した深度マスクを利用して深度マップを出力する論理を含む。深度マップは、深度エン
ジン２０８に接続された深度マップ保存メモリ２１０に格納される。深度マップは、複数
のピクセルの各々に一対一で対応するよう設定する。別の実施形態として、深度マップは
画像要素ごとに設定してもよい。

深度エンジン２０８は、深度マスクを入力して連続した２つの画像内における複数の要
素の相対深度を判断する。連続した２つの画像内における複数の要素の相対深度の判定は
、カメラから遠い要素に比べカメラに近い要素においてのピクセル移動がより大きくなる
ことから判定できる。深度マスクにおいて定義される相対ピクセル移動に基づき、深度エ
ンジン２０８は各種の深度レベル（depth plane）を定義することができる。各種の実施
形態は深度レベルを定義する手助けとなるピクセル閾値を含むことができる。例えば、深
度レベルの種類として、前景および背景を含むように定義することができる。ピクセル閾
値を超える移動量の画像要素は、撮像装置から近距離に位置する前景として特定される。
ピクセル閾値以下の移動量の画像要素は、ピクセル閾値を超える移動量の画素よりも、撮
像装置からの距離が遠い背景として特定される。深度レベルの計算は、ピクセル閾値を超
える移動量の画像要素のみについて行い、ピクセル閾値以下の移動量の画素については深
度レベルの計算を省略してもよい。一実施形態で、深度エンジン２０８は第１画像におけ
る各ピクセルの深度値を計算し、深度マップは第１画像のすべてのピクセルに対する深度
値の集計である。

画像プロセッサ２１２は、画像保存メモリ２０６ａに保存された複数の画像のうちの一
部である第１画像及び深度マップ保存メモリ２１０に保存された深度マップを受信する。
また、画像プロセッサ２１２は、表示用の画像をＭＧＥ１０６から出力したり、受信した
深度マップとともに第１画像を図１のメモリ１０８に保存したりすることができる。画像
プロセッサ２１２は、深度マップのデータを効率的に格納するため、深度マップを圧縮ま
たは符号化する論理を含むことができる。加えて画像プロセッサ２１２は各種一般的に用
いられるグラフィック・ファイル・フォーマットでヘッダ情報として深度マップを保存す
る論理を含むことができる。例えば、画像プロセッサ２１２はＪＰＥＧ（Joint Photogra
phic Experts Group）、ＧＩＦ（Graphics Interchange Format）、ＴＩＦＦ（Tagged Im
age File Format）などのフォーマット、またはそのままの画像データでも深度マップを
第１画像を含む画像データのヘッダ情報として加えることができる。前記記載の画像デー
タの種類は限定することを意図しておらず、むしろ画像プロセッサ２１２により書き込み
が可能な異なったフォーマットの例として意図される。当業者であれば、画像プロセッサ
２１２は同様に深度マップを含む他の画像データ・フォーマットを出力するよう構成でき
る。

図３Ａは、本発明の一実施形態によりＭＧＥを用いて取り込まれた第１画像３００を図
示する。第１画像３００内には第１画像要素３０２および第２画像要素３０４がある。第
１画像要素３０２および第２画像要素３０４は、例えば、ピクセルごとの明度によって特
定される。さらに、第１画像要素３０２および第２画像要素３０４の特徴点を検出しても
よい。例えば、第１画像要素３０２および第２画像要素３０４のエッジとして角部や辺（
図示なし）を検出してもよい。

図３Ｂは本発明の一実施形態により同様にＭＧＥを用いて取り込まれた第２画像３００
’を図示する。第２画像３００’内には、第１画像要素３０２に対応する第３画像要素３
０２’および第２画像要素３０４に対応する第４画像要素３０４’がある。第３画像要素
３０２’および第４画像要素３０４’も同様に、例えば、ピクセルごとの明度によって特
定される。さらに、第３画像要素３０２’および第２画像要素３０４の特徴点を検出して
もよい。例えば、第３画像要素３０２’および第２画像要素３０４のエッジとして、第１
画像要素３０２および第２画像要素３０４で検出した角部や辺に対応する角部や辺を検出
してもよい。

本発明の一実施形態により、第１画像３００および第２画像３００’は、例えば三脚ま
たは他の安定化装置に搭載されていない手持ち式カメラを用いて撮影されている。第２画
像３００’は、第１画像３００の後に撮影されている。人間の手は動き易いため、画像取
り込み装置が移動する。その移動により、第２画像３００’の撮影範囲は、第１画像３０
０の撮影範囲から多少移動している。そのため、第２画像３００’上における第３画像要
素３０２’および第４画像要素３０４’は、第１画像３００の第１画像要素３０２および
第２画像要素３０４とは同じ位置にない。つまり、第３画像要素３０２’および第４画像
要素３０４’の第２画像３００’での座標は、第１画像要素３０２および第２画像要素３
０４の第１画像３００画像での座標から移動している。

また、本実施形態において、第１画像要素３０２および第３画像要素３０２’の被写体
および第２画像要素３０４および第４画像要素３０４’の被写体は、画像取り込み装置か
らの位置が同じではない。例えば、第１画像要素３０２および第３画像要素３０２’の被
写体と画像取り込み装置との間の距離は、第２画像要素３０４および第４画像要素３０４
’の被写体と画像取り込み装置との間の距離より遠い。第１画像３００および第２画像３
００’間における画像要素の移動を検出し、移動距離を格納した前述の深度マスクを生成
できる。また、画素要素の移動を含む深度マスクは、前述の深度マップを作成するために
用いることができる。

図３Ｃは本発明の一実施形態により、第１画像の上に第２画像を重ねることによって画
像要素の移動を図示する。前述の通り、カメラにより近い画像要素はカメラからより離れ
た画像要素に対しピクセル移動がより大きくなる。従って、図３Ｃに図示するように第１
画像要素３０２および第３画像要素３０２’間の移動は第２画像要素３０４および第４画
像要素３０４’間の移動より小さい。この相対的移動を用い、画像要素の相対深度に基づ
き深度マップを作成することができる。

例えば、各画像要素の特徴点を抽出し、第１画像要素３０２の特徴点と第３画像要素３
０２’の特徴点との距離と、第２画像要素３０４の特徴点と第４画像要素３０４’の特徴
点との距離とを比較する。特徴点が複数存在する場合は、距離の平均値を求めても良い。
例えば、特徴点として、それぞれの画像要素の角部を用いることができる。

また、画像解析や各速度センサにより著しい回転が検出された場合は、背景を基準にし
て第１画像と第２画像が平行になるよう、第２画像を補正をしてから移動距離の計算を行
ってもよい。また、別の実施形態として、著しい回転が検出された場合に、第２画像の後
に取り込まれ第１画像と比較した回転角度が所定の範囲内である第３画像を用いて、第３
画像に含まれ、第１画像要素３０２に対応する第５画像要素と第２画像要素３０４に対応
する第６画像要素とを用いて移動距離の計算を行ってもよい。

本実施形態では、第１画像と第１画像に連続する第２画像を用いて深度マップを生成し
ているが、別の実施形態として、第１画像の取り込みから所定の期間を空けた後に取り込
まれた画像を第１画像と比較することで深度マップを生成しても良い。また、第１画像と
比較する画像として、第１画像の取り込み直前に取り込まれた画像を用いてもよいし、第
１画像の取り込みより所定の期間前に取り込まれた画像を用いてもよい。さらに、別の実
施形態として、３つの画像を用いて深度マップを生成してもよい。例えば、第１画像の次
に取り込まれる第２画像と、第２画像の次に取り込まれる第３画像を用いてもよいし、第
１画像取り込みの前に取り込まれる第４画像と第１画像取り込みの後に取り込まれる第２
画像とを用いて、第１画像の深度マップを生成してもよい。

図４は本発明の一実施形態により深度マップを符号化する手順のフローチャートである
。「開始」操作を実行後、手順はステップＳ４００を実行し、画像データの連続した２フ
レームが単一の画像取り込み装置により取り込まれる。連続した２フレームの画像データ
の第２フレームは画像データの第１画像にすぐ続き連続して取り込まれる。

ステップＳ４０２において、画像データの連続した２フレームに基づき深度マスクが作
成される。連続した２フレームのピクセル毎の比較を用い、連続した２フレーム間で同じ
要素のピクセルの相対的移動を記録する深度マスクを作成することができる。一実施形態
で、深度マスクは連続した２フレーム内の要素に対するピクセルの量的移動を表す。

ステップＳ４０４において，深度マスクは深度マップを生成すべくデータを処理するた
めに用いられる。深度マップは第１画像における各ピクセルに対する深度値を含む。深度
値はステップＳ４０２で作成された深度マスクに基づき判定することができる。カメラに
より近い要素はカメラからより離れた要素に比べ相対的により大きなピクセル移動がある
ので、深度マスクを用いて連続した２つの画像内における要素の相対深度を判定できる。
次に相対深度を用い各ピクセルに対する深度値を判定することができる。

ステップＳ４０６は深度マップを画像データと共に保存されるヘッダ・ファイルに符号
化する。各種実施形態はメモリの割り当てを最小限にするために深度マップを圧縮するこ
とを含み得る。別の実施形態は深度マップを第１画像に符号化することができ、さらに別
の実施形態は深度マップを第２画像に符号化することができる。ステップＳ４０８は深度
マップを画像データのヘッダに保存する。前述の通り、画像データは各種異なった画像フ
ォーマットで保存することができ、ＪＰＥＧ、ＧＩＦ、ＴＩＦＦ、および生の画像データ
が含まれるがこれらに限定されない。

当業者であれば、本明細書で説明される機能は適切なハードウェア記述言語（ＨＤＬ）
によりファームウェアに合成し得ることが明らかであろう。例えば、ＶＥＲＩＬＯＧなど
のＨＤＬを用いてファームウェアおよび本明細書で説明される必要な機能を提供するため
の論理ゲートのレイアウトを合成し、深度マッピング手法および関連機能のハードウェア
実施を提供することができる。

前記の発明は明快な理解の目的から詳細に説明されたが、添付クレームの範囲内でいく
らかの変更および修正を実施し得ることは明らかであろう。従って、本実施形態は限定的
ではなく例示的とみなされ、発明は本明細書に記載される詳細に限定されず、添付クレー
ムの範囲および同等のもの中で修正が可能である。

は本発明の一実施形態により、連続した２つの取り込みフレームの分析を用い画像に深度マップを符号化する装置の高位レベルなアーキテクチャを図示する簡単な概略図。 は本発明の一実施形態によるグラフィックス・コントローラの高位レベルなアーキテクチャを図示する簡単な概略図。 （ａ）は本発明の一実施形態によりＭＧＥを用いて取り込まれた第１画像を示す図、（ｂ）は本発明の一実施形態により同様にＭＧＥを用いて取り込まれた第２画像３００’を示す図、（ｃ）は本発明の一実施形態により、第１画像の上に第２画像を重ねることによって画像要素の移動を示す図。 は本発明の一実施形態により深度マップを符号化する手順の代表的なフローチャート。

符号の説明

１００…装置、１０２…プロセッサ、１０４…バス、１０６…ＭＧＥ、１０８，２０６
…メモリ、１１０…入出力（Ｉ／Ｏ）インタフェース、２００…カメラ・インタフェース
、２０２…画像格納コントローラ、２０４…深度マスク取り込みモジュール、２０６ａ…
画像保存メモリ、２０６ｂ…深度マスク保存メモリ、２０８…深度エンジン、２１０…深
度マップ保存メモリ、２１２…画像プロセッサ、３００…第１画像、３００’…第２画像
、３０２…第１画像要素、３０２’…第３画像要素、３０４…第２画像要素、３０４’…
第４画像要素。

Claims (8)

1. 取り込み画像データから深度を計算し符号化する深度データの符号化方法であって、
   画像取り込み装置より第１フレームを取り込み、
   前記第１フレームより後又は前記第１フレームより前に、前記画像取り込み装置より第
   ２フレームを取り込み、
   前記第１フレームと前記第２フレームとを比較することによって、前記第１フレームの
   深度マップを作成し、
   前記深度マップを前記画像データの前記第１フレームのヘッダに符号化することを特徴
   とする深度データの符号化方法。
2. 前記第１フレームに含まれる第１画像要素と第２画像要素とを特定し、前記第２フレー
   ムに含まれる前記第１画像要素に対応する第３画像要素と前記第２画像要素に対応する第
   ４画像要素とを特定し、前記第１画像要素と前記第３画像要素との間の移動量と前記第２
   画像要素と前記第４画像要素との間の移動量とを計算し、深度マスクを生成することを特
   徴とする請求項１に記載の深度データの符号化方法。
3. 複数の深度レベルを生成し、
   前記深度マスクに基づいて、前記第１フレームの各ピクセルの深度レベルを特定し、
   前記深度レベルに基づいて前記深度マップを生成することを特徴とする請求項２に記載
   の深度データの符号化方法。
4. 前記深度マップは、画像データのファイルのヘッダとして保存されることを特徴とする
   請求項１乃至請求項３のいずれか一項に記載の深度データの符号化方法。
5. 画像データから深度マップを生成する深度マップ生成装置であって、
   前記画像データを取り込むインタフェースと、
   前記インタフェースに接続され、前記インタフェースから受信した画像データのうち第
   １フレームおよび第２フレームを格納する画像格納コントローラと、
   前記第１フレームに含まれる第１画像要素および第２画像要素を特定し、第２フレーム
   に含まれる第３画像要素および第４画像要素を特定し、前記第１画像要素と前記第３画像
   要素の間の移動量と前記第２画像要素と前記第４画像要素の間の移動量とを比較すること
   で深度マスクを作成する深度マスク取り込みモジュールと、
   前記深度マスクを処理し、前記第１画像要素と前記第２画像要素の相対的な深度レベル
   を特定する深度マップを生成する深度エンジンと、を含むことを特徴とする深度マップ生
   成装置。
6. 前記深度マスク取り込みモジュールは、
   前記第１画像要素の特徴点と、前記第２画像要素の特徴点と、前記第１画像要素の特徴
   点に対応する第３画像要素の特徴点と、前記第２画像要素の特徴点に対応する第４画像要
   素の特徴点と、を検出する論理を含むことを特徴とする請求項５に記載の深度マップ生成
   装置。
7. 請求項５又は請求項６に記載の深度マップ生成装置と、
   前記深度マップを含む画像データを格納するメモリを、を含むことを特徴とする電子装
   置。
8. 前記深度マップは、前記格納された画像データのヘッダに格納されることを特徴とする
   請求項７に記載の電子装置。

Images