JP2013535120A - 立体的フレームのためのオートフォーカスポイントに基づくオート・コンバージェンスのための方法及び装置 - Google Patents

Abstract

少なくとも１つのオートフォーカスポイントに基づき立体的画像又は映像のフレームにオート・コンバージェンスを実施するための方法及び装置。この方法は、画像からフォーカスポイントの位置を検索すること（１０４）、画像内のフォーカスポイントの不一致を推定すること（１０６）、立体的画像又は映像のためのフレームの不一致を確定すること（１０８）、及び立体的画像又は映像のためのフレームのコンバージェンスを自動的に調節するよう前記フレームをシフトすること（１１０）を含む。

Description

本発明の実施例は、全般的に、立体的フレームのオートフォーカスポイントに基づくオート・コンバージェンスのための方法及び装置に関連する。

人間の視覚的システム又は立体的カメラシステムにおいて、２つの眼軸又は２つのカメラ軸の交差点は、コンバージェンスポイントである。コンバージェンスポイントから目又はカメラまでの距離は、コンバージェンス距離である。人間の目の場合、コンバージェンスポイントは任意の距離であり得る。これは、目が、自分が見ているものに自ら向かうためである。立体的カメラの場合、コンバージェンスポイントは、無限の距離又は固定の距離のいずれかである。人が立体的ディスプレイで立体的画像又は映像を見ようとするとき、その人の目は、そのディスプレイスクリーンに自然に収束する。ディスプレイスクリーンから目までの距離が自然コンバージェンス距離（natural
convergence distance）である。３Ｄ効果を正しく見るために、視聴者は、カメラと同じコンバージェンス距離を有するよう自然に自身の目を調節する。主な興味対象がコンバージェンス距離とは大きく異なる場合、目は、その対象に焦点を合わせるようにディスプレイに収束することができないであろう（コンバージェンス面は、ディスプレイ面となり得る）。このような一定のコンバージェンス距離調節は、時間が経つにつれ、不快さや、頭痛や、目の筋肉の痛みを引き起こし得る。

そのため、改善されたオート・コンバージェンス方法、及び視覚的快適さを改善するための装置が求められている。

本発明の実施例は、少なくとも１つのオートフォーカスポイントに基づき、立体的画像又は映像のフレームにオート・コンバージェンスを実施するための方法及び装置に関連する。この方法は、画像のフォーカスポイントの位置を検索すること、画像内のフォーカスポイントの不一致を推定すること、立体的画像又は映像のフレームの不一致を確定すること、及び立体的画像又は映像のフレームのコンバージェンスを自動的に調節するようフレームをシフトすることを含む。

例示の実施例を添付の図面を参照して説明する。

図１は、立体的フレームのためのオートフォーカスに基づくオート・コンバージェンスのための方法の一実施例を図示する。

図２は、オートフォーカス・ウィンドウ及びフォーカスポイントを示す。

図３は、図２の各ブロックの不一致及びフォーカスポイントの不一致を示す。

図４Ａは、提案するオート・コンバージェンスの前の立体的画像の一実施例を図示する。 図４Ｂ、提案するオート・コンバージェンスの後の立体的画像の一実施例を図示する。 画像取り込みデバイス５００の一実施例である。

視覚的快適さを改善するため、立体的画像／映像のコンバージェンス距離は、通常、立体画像／映像のコンバージェンス距離が、快適な視聴を確実にするため人間の目の自然コンバージェンス距離と同じに又はそれに近くなるように調節される。コンバージェンス距離を調節するため、左のフレーム及び右のフレームは、或る量だけシフトされる必要がある。本発明において我々が提案するオート・コンバージェンス方法は、自動でシフトの量を確定する。

人が或る対象を見るとき、人は通常或る対象に焦点を合わせ、その人の目はその同じ対象に収束する。そのため、目のコンバージェンス距離は、目の焦点距離と同じである。コンバージェンス距離の対象は当然不一致ゼロであるため、焦点距離にある対象も人間の目にとって当然不一致ゼロである。しかし、カメラにより取り込まれた立体的画像又は映像の場合、焦点距離にある対象は、ノンゼロの不一致を有する可能性がある。これは、カメラのコンバージェンスポイントは、無限の距離又は或る距離で固定されるためである。従って、焦点合わせされた対象の不一致がゼロとなるようにコンバージェンスを調節することが必要となる。

図１は、立体的フレームのためのオートフォーカスに基づくオート・コンバージェンスのための方法１００の一実施例を図示する。方法１００は工程１０２で開始する。工程１０４で、方法１００はフォーカスポイントの位置を検索する。工程１０６で、方法１００はフォーカスポイントの不一致を推定する。工程１０８で、方法１００はそのフレームの不一致を確定する。工程１１０で、方法１００は、立体的画像又は映像のフレームのコンバージェンスを自動で調節するようにフレームを水平にシフトする。

第１の工程は、フォーカスポイントの位置を検索することである。例えば、方法１００は、オートフォーカスシステムから左のフレームのフォーカスポイントの位置を検索し得る。図２は、オートフォーカス・ウィンドウ及びフォーカスポイントを示す。フォーカスポイントは、カメラが焦点合わせしている対象の位置である。通例、左のカメラのオートフォーカスは、左のフレームを等しいサイズのマトリックスグリッドのオートフォーカス・ウィンドウに分割する。フォーカスポイントの位置は、オートフォーカスウィンドウ（ＡＦウィンドウ）のインデックスとして表される。図２に示すように、この例では５×５グリッドの２５個のオートフォーカス・ウィンドウがある。フレームに多数のフォーカスポイントがある場合、焦点合わせされたオートフォーカス・ウィンドウの多数のインデックスが得られる。図２は、２つのフォーカスポイントを有する、５×５オートフォーカス・ウィンドウの一例を示す。また、右のフレームから又は左及び右両方のフレームから、フォーカスポイントの位置を得ることもできる。

次の工程は、フォーカスポイントの不一致を推定することである。図３は、図２の各ブロックの不一致及びフォーカスポイントの不一致を示す。フォーカスポイントの不一致値は、任意のブロックベースの不一致推定方法を用いて推定され得る。ブロックベースの不一致推定のブロックの数及びサイズは、工程１において用いたオートフォーカス・ウィンドウの数及びサイズと等しくてもよく、又は等しくなくてもよい。不一致推定の後、ブロック毎に不一致値Ｄ及び信頼値Ｃを得る。各ブロックの信頼値は、このブロックにおいて不一致推定がどの程度正確であるかを表し、０〜１で変動する。フォーカスポイントがブロックの中心ではない場合、フォーカスポイントの不一致値及び信頼値を得るために最近傍又は双線形補間が用いられる。図２の例において、フォーカスポイント１及びフォーカスポイント２は、それぞれ、不一致値Ｄ＿ｌ及びＤ＿２、及び信頼値Ｃ＿ｌ及びＣ＿２を受け取る。

次の工程は、フレームの不一致を確定することである。１つのフォーカスポイントしかない場合、フレームの不一致は、フォーカスポイントＤの不一致である。多数のフォーカスポイントがある場合（ｍはフォーカスポイントの数である）、フレームの不一致は、全てのフォーカスポイントの不一致の重み付された平均である。
Ｄ＝ｓｕｍ（Ｄ＿ｉ×Ｃ＿ｉ）／ｍ
図３の例の場合、フレーム不一致Ｄ＝（Ｄ＿１×Ｃ＿１＋Ｄ＿２×Ｃ＿２）／２である。

その後、方法１００はフレームがシフトされる工程４を実行する。例えば、フレームは左及び右にシフトされ得る。フレーム不一致が確定されると、左のフレームを水平にＤ／２だけ及び右のフレームを−Ｄ／２だけシフトし得る。このシフトの後、コンバージェンス距離は焦点距離と同じになる。焦点合わせされた対象の不一致はゼロとなる。図４Ａ及び図４Ｂは、提案するオート・コンバージェンス方法の前及び後の立体的画像を示す。

方法１００を利用し得る装置は、例えば、画像取り込みデバイス、カメラ、カムコーダー、映像を含むハンドヘルドデバイス、又は画像取り込みデバイス及び同様のもの、である。図５は、画像取り込みデバイス５００の一実施例である。画像取り込みデバイス５００は、フォーカスポイントの位置を検索するための手段５０２、フォーカスポイントの不一致を推定するための手段５０４、フレームの不一致を確定するための手段５０６、フレームをシフトするための手段５０８、メモリ５１０、処理ユニット５１２、入力／出力デバイス５１４及びオートフォーカスシステム５１６を含む。フォーカスポイントの位置を検索するための手段５０２、フォーカスポイントの不一致を推定するための手段５０４、フレームの不一致を確定するための手段５０６、及びフレームをシフトするための手段５０８の各々は、上述で概要を述べた関連する工程を実行する。

メモリ５１０は、非一時的（non-transitory）コンピュータ可読媒体、ランダムアクセスメモリ、読み出し専用メモリ、取り外し可能なディスクメモリ、フラッシュメモリ、及びこれらのメモリのタイプの種々の組合せを更に含み得る。メモリ５１０は、メインメモリと呼ぶことがあり、部分的に、キャッシュメモリ又はバッファメモリとして用いられ得る。メモリ５１０は、オペレーティング・システム、データベースソフトウェア、種々の形式のアプリケーションソフトウェアをストアし得る。処理ユニット５１２は、オート・コンバージェンスを実施するために必要とされる任意のプロセスを実行するためにメモリ５１０を利用し得る。入力／出力デバイス５１４は、例えば、画像又は映像を取り込むこと又は取り込まれた画像又は映像を検索することが可能な任意のデバイスであり得る。処理ユニット５１２及び入力／出力デバイス５１４は、無線で通信するよう結合されてもよく、又は画像取り込みデバイス５００内に含まれてもよい。オートフォーカスシステム５１６は、フォーカスポイントを確定するシステム又はフォーカスポイントに関するデータを維持するシステムであり得る。

当業者であれば、多くの他の実施例及び変形が特許請求の範囲に記載されている発明内で可能であることを理解するであろう。

Claims (9)

1. 少なくとも１つのオートフォーカスポイントに基づき立体的画像又は映像のフレームにオート・コンバージェンスを実施するための方法であって、
   前記画像内のフォーカスポイントの位置を検索すること、
   前記画像のフォーカスポイントの不一致を推定すること、
   前記立体的画像又は映像の前記フレームの不一致を確定すること、及び
   前記立体的画像又は映像の前記フレームのコンバージェンスを自動的に調節するよう前記フレームをシフトすること、
   を含む、方法。
2. 請求項１に記載の方法であって、前記フォーカスポイントの検索が、オートフォーカスシステムから左のフレームのフォーカスポイントを検索する、方法。
3. 請求項１に記載の方法であって、前記フレームのシフトが右及び左シフトである、方法。
4. 画像を取り込むため、及び少なくとも１つのオートフォーカスポイントに基づき立体的画像又は映像のフレームにオート・コンバージェンスを実施するための装置であって、
   前記画像のフォーカスポイントの位置を検索するための手段、
   前記画像のフォーカスポイントの不一致を推定することための手段、
   前記立体的画像又は映像の前記フレームの不一致を確定するための手段、及び
   前記立体的画像又は映像の前記フレームのコンバージェンスを自動的に調節するように前記フレームをシフトするための手段、
   を含む、装置。
5. 請求項３に記載の装置であって、前記フォーカスポイントの検索が、オートフォーカスシステムから左のフレームのフォーカスポイントを検索する、装置。
6. 請求項３に記載の装置であって、前記フレームのシフトが右及び左シフトである、装置。
7. プロセッサにより実行されるとき、そのプロセッサに、少なくとも１つのオートフォーカスポイントに基づき立体的画像又は映像のフレームにオート・コンバージェンスを実施させるソフトウェアを含む、非一時的（non-transitory）コンピュータ可読媒体であって、
   前記画像内のフォーカスポイントの位置を検索すること、
   前記画像のフォーカスポイントの不一致を推定すること、
   前記立体的画像又は映像の前記フレームの不一致を確定すること、及び
   前記立体的画像又は映像の前記フレームのコンバージェンスを自動的に調節するよう前記フレームをシフトすること、
   を含む、媒体。
8. 請求項７に記載の非一時的コンピュータ可読媒体であって、前記フォーカスポイントの検索が、オートフォーカスシステムから左のフレームのフォーカスポイントを検索する、媒体。
9. 請求項７に記載の非一時的コンピュータ可読媒体であって、前記フレームのシフトが右及び左シフトである、媒体。