JP2012227924A - 画像解析装置、画像解析方法及びプログラム - Google Patents
画像解析装置、画像解析方法及びプログラム Download PDFInfo
- Publication number
- JP2012227924A JP2012227924A JP2012085594A JP2012085594A JP2012227924A JP 2012227924 A JP2012227924 A JP 2012227924A JP 2012085594 A JP2012085594 A JP 2012085594A JP 2012085594 A JP2012085594 A JP 2012085594A JP 2012227924 A JP2012227924 A JP 2012227924A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image analysis
- images
- analysis apparatus
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/18—Focusing aids
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Abstract
【課題】3Dカメラ装置の設定を容易にすること。
【解決手段】あるシーンのそれぞれ異なるビューを表す一連のペア画像を含む3Dビデオ信号を処理して画像の奥行き指標を生成するための画像解析装置を提供する。当該画像解析装置は、あるペア画像を構成する2つの画像のうち一方における画像領域と他方における画像領域とを相関させ、前記2つの画像間で対応する画像領域の変位を検出する相関器と、前記ペア画像の全域において、想定される範囲の変位値について、前記変位の分布を示すグラフィックスを生成するグラフィックス生成器生成器と、現在のペア画像の現在の表示位置に関する前記グラフィックスと、複数の先行するペア画像の他の表示位置に関する前記グラフィックスとを表示のために生成することで、前記変位の分布における変動を時間ベースで表示する表示生成器とを具備する。
【選択図】図6
【解決手段】あるシーンのそれぞれ異なるビューを表す一連のペア画像を含む3Dビデオ信号を処理して画像の奥行き指標を生成するための画像解析装置を提供する。当該画像解析装置は、あるペア画像を構成する2つの画像のうち一方における画像領域と他方における画像領域とを相関させ、前記2つの画像間で対応する画像領域の変位を検出する相関器と、前記ペア画像の全域において、想定される範囲の変位値について、前記変位の分布を示すグラフィックスを生成するグラフィックス生成器生成器と、現在のペア画像の現在の表示位置に関する前記グラフィックスと、複数の先行するペア画像の他の表示位置に関する前記グラフィックスとを表示のために生成することで、前記変位の分布における変動を時間ベースで表示する表示生成器とを具備する。
【選択図】図6
Description
本発明は、3次元(3D)ビデオ素材を解析するための画像解析装置、画像解析方法及びプログラムに関する。
3次元テレビは、近年、消費者にも利用できるようになり、3D機器や3D番組制作の量が急速に増加すると予想される。
3Dテレビは両眼視差方式に依存し、それにより、一定の距離、例えば、典型的にはユーザの両眼の間隔分だけ水平にずらした(すなわち、実質的に水平画像方向にある)それぞれのカメラによりペア画像がキャプチャされる。したがって、ペア画像は、同じシーンのわずかに異なるビューを表している。一般的に、ペア画像は(おそらく画像の末端は除いて)同じシーン内において同じアイテムを含んでいるが、その2つの画像間におけるアイテムの相対位置は、カメラのアライメントや、そのアイテムのカメラ装置からの距離などの要因に依存する。
画像が表示される際、重要なのは、ユーザがそれぞれの眼で(少なくとも主に)ペア画像のうちの1つの画像を見ることである。実際にはこれは、偏光眼鏡やシャッタ眼鏡(時分割方式)、またはカラーフィルタ付き眼鏡をユーザが装着する方法、あるいは、2つの画像のそれぞれを視聴者の眼のそれぞれの位置に向ける特別なレンズ装置をテレビ画面自体に備えさせる方法など、様々な方法で実現される。これらの中でも、カラーフィルタ技術は、3D映画の初期の試みでは一般的であったが、3Dテレビ技術では一般的に使用されていない。
3Dカメラシステムに話を戻すと、各ペア画像は、独自のレンズと画像キャプチャ装置(例えばCCD装置)を有する独立したカメラによってキャプチャされる。しかし、視聴者の3D錯覚を維持するために、重要なのは、各ペア画像を構成する2つの画像が画像キャプチャ特性に関して厳密に適合していることである。専門的なビデオカメラのカメラマンは、調整可能な様々なパラメータを利用できるが、現在のシーンのために様々なパラメータを正確に設定する必要があるだけでなく、3Dカメラ装置を構成する2台のカメラが同一の画像特性を有する画像を生成する必要があるため、3Dカメラ装置を設定する作業は従来の(単一の)ビデオカメラを設定する作業よりもかなり難しい。国産のビデオカメラの場合、ユーザが行うことができる調整の範囲は、さらに制限され、同一の画像特性を提供するために2台のカメラを設定するのがいっそう難しくなっている。
3Dビデオキャプチャにおいて注意が必要なさらなる側面は、ビデオに対する視聴者の知覚という側面である。ビデオ製作者は、特に、オブジェクトが画面のはるか前方に見えるようにオブジェクトを(3Dビデオで見られるように)表示するように、3D効果を過剰使用する可能性がある。これにより、視聴者は主観的な不快感や嫌悪感さえも引き起こすことがある。同様に、表示奥行きの突然のまたは急激な変化も主観的な不快感を引き起こすことがある。これは、3D表示がヒトの心理視覚システムに、視聴者から表示画面までの距離とは異なる距離にオブジェクトがあると信じ込ませるためだと想定される。視聴者の眼は、特に、オブジェクトが表示画面よりも視聴者に近くなるほど、認識したオブジェクトの3D位置に無意識に焦点を合わせようとする。しかし、3Dビデオを見るために、眼はもちろん表示画面の平面に焦点を合わせ続けなければならない。
本発明は、あるシーンのそれぞれ異なるビューを表す一連のペア画像を含む3Dビデオ信号を処理して画像の奥行き指標を生成するための画像解析装置を提供する。当該画像解析装置は、
あるペア画像を構成する2つの画像のうち一方における画像領域と他方における画像領域とを相関させ、前記2つの画像間で対応する画像領域の変位を検出する相関器と、
前記ペア画像の全域において、想定される範囲の変位値について、前記変位の分布を示すグラフィックスを生成するグラフィックス生成器生成器と、
現在のペア画像の現在の表示位置に関する前記グラフィックスと、複数の先行するペア画像の他の表示位置に関する前記グラフィックスとを表示のために生成することで、前記変位の分布における変動を時間ベースで表示する表示生成器と
を具備する。
あるペア画像を構成する2つの画像のうち一方における画像領域と他方における画像領域とを相関させ、前記2つの画像間で対応する画像領域の変位を検出する相関器と、
前記ペア画像の全域において、想定される範囲の変位値について、前記変位の分布を示すグラフィックスを生成するグラフィックス生成器生成器と、
現在のペア画像の現在の表示位置に関する前記グラフィックスと、複数の先行するペア画像の他の表示位置に関する前記グラフィックスとを表示のために生成することで、前記変位の分布における変動を時間ベースで表示する表示生成器と
を具備する。
本発明はまた、画像を処理して画像の焦点の指標を生成するための画像解析装置であって、前記画像の複数のブロックに対するそれぞれの局所焦点の推定値を検出し、前記局所焦点の推定値を組み合わせて当該画像の画像焦点指標を生成する焦点検出器を具備する画像解析装置を提供する。
本発明のさらなる側面および特徴は、添付の特許請求の範囲で定義される。
以下、例示としてのみ、添付の図面を参照しながら、本発明の実施形態について説明する。
本発明の実施形態は、3次元(3D)テレビ信号に関しする処理を実行する。本実施形態は、一般的にこのような信号の生成元とは無関係である。すなわち、本装置は、生成元を問わず本装置に供給される3Dテレビ信号の質的評価を生成するように動作することができる。このような3D信号は、3Dカメラ装置から直接供給される3D信号、コンピュータ処理された、または、コンピュータ処理により画質を向上させた3D信号、記録媒体で再生される3D信号、伝送媒体を介して他のプロバイダから受信した3D信号、画像ミキサーなどの3Dビデオ処理装置から出力される3D信号等であってもよい。しかし、念のために、このような3D信号の生成元の1つとして、3Dカメラ装置の簡単な説明を行う。
図1には、3D画像を生成するために使用されるシーンの画像をキャプチャするシステム100が示されている。システム100は、2台のカメラが取り付けられたカメラリグ115を有する。この2台のカメラ105Lおよび105Rは、ビデオカメラやスチルカメラでもよい。以降の説明は、ビデオカメラに関して行うが、ホン技術のうち、一連のビデオフレームの時間的関係に依存しない側面についてはスチルカメラにも同様に適用可能であることが理解されよう。
図1には明確に図示していないが、相互関係にあるカメラ105のヨーを変化させることができる。特に、カメラ105がカメラリグ115に取り付けられると、各カメラ105のピッチとロールは通常、相互に固定される。しかし、カメラ105のヨーは相互に独立して調整することができる。これにより、カメラの収束角、すなわち「トーイン」を変化させることができる。カメラを定位置に固定した時点で、カメラリグ115のヨー、ピッチ、およびロールと、カメラとを一致して移動させることができる。カメラリグ115のヨー、ピッチ、およびロールは、アーム120によって移動される。カメラリグ115の位置は、アーム120を回転させることで、定位置に固定することができる。
各カメラ105からの出力は、3Dビデオ信号を構成する左(L)信号および右(R)信号をそれぞれ含んでいる。したがって、これら出力は画像データを含んでいる。しかし、他のデータも各カメラから供給することができる。例えば、各カメラからメタデータを供給することもできる。メタデータは、各カメラの絞り設定、焦点距離および/またはズームなどのカメラ設定に関するものであってもよい。さらに、メタデータはカメラマンに関する情報や「グッドショットマーカ」などを含んでもよい。カメラ105からの出力は、有線により、またはネットワークを介して次の処理装置に接続させることができる。カメラ105と後続の処理装置とは、無線で接続されてもよい。
図2は、本発明の一実施形態に係る3Dビデオ解析装置を示す図である。図2の装置は、ビデオプロセッサ200、ディスプレイ210、およびユーザコントロール220を具備する。本発明の実施形態では、リアルタイムで解析を行うことができる。すなわち、ビデオフレームに関する解析をビデオフレーム期間内に完了することができる。
RおよびLビデオストリームを(少なくとも)含む3Dビデオ信号130は、ビデオプロセッサ200に供給される。ビデオプロセッサ200は、解析モードで動作する。すなわち、ビデオプロセッサ200は、ビデオ信号パスの一部を構成しないが、必ずしもビデオ信号を修正することなく、ビデオ信号を解析する。したがって、図2において、ビデオプロセッサ200は、主要なビデオ信号パスにブランチとして接続された状態で示されており、LおよびRビデオストリームがビデオプロセッサ200の動作によって変化することなく(130’を通って)次の処理装置、ディスプレイまたは記憶部に渡されている。
ビデオプロセッサ200は、3Dビデオ信号130の解析を行う。解析の機能を以下に説明する。解析結果はディスプレイ210に表示したり、次の処理および/または記憶のためにデータストリーム240として供給したりすることができる。
ユーザコントロールは、キーボードやマウスなどの従来のコントロールを含み、ユーザはビデオプロセッサ200の動作を制御することができる。
図3は、ビデオプロセッサ200の他の動作モードを示す図である。動作は多くの点で図2に示す動作と同様である。しかし、ビデオテープレコーダ、ハードディスクレコーダ、および光ディスクレコーダなどのビデオ記憶装置230も提供される。
信号処理は以下の通りである。受信した3D信号130は、解析のためにビデオプロセッサ200に供給され、記憶するために記憶装置230にも供給される。ビデオプロセッサ200からの解析結果は、(上述のように)ディスプレイ210にデータ出力240として任意に供給される。しかし、解析結果はまた、記憶された3Dビデオ信号と関連するメタデータとして記憶装置230に記憶される。
ビデオ信号と関連するメタデータの記憶は、様々な方法で実現可能である。例えば、メタデータの項目と、記憶されたビデオ信号における対応する一時的な位置との間の明確な関連性を提供するために、(記憶されたタイムコード変数などの)リンクが与えられることによって、メタデータを独立して記憶することができる。この状態においては、実際には、メタデータをビデオ信号として同じ記憶媒体に記憶する必要はなく、ひいては同じ物理的装置に記憶する必要さえない。したがって、図3に分かりやすくするために「記憶装置」として示されたブロックが、実際には、2つ以上の物理的装置または論理装置を含むことができる。少なくともこれらのうち1つは、ビデオプロセッサ200の一部として物理的に具体化することができる。別の方法としては、例えば、メタデータをユーザデータとしてビデオ信号と関連するデータフォーマット内に記憶することで、記憶されたビデオ信号にメタデータを埋め込むことができる。このためには、使用するビデオ記憶装置の種類に応じて、ビデオプロセッサ200によって得られるメタデータがビデオデータに埋め込まれる準備ができるまで、バッファ(図示せず)にビデオフレームの記録を遅らせる必要がある場合もある。これはテープ記憶装置などの線形媒体についてはあり得るが、ディスクベースの記憶装置などのランダムアクセスメディアにはあまり(または全く)必要ないであろう。システムがリアルタイムで動作するためには、ビデオプロセッサ200がビデオフレームの処理をシングルフレーム期間内に完了するのが望ましいので、例えば、シングルフレームバッファを使用することができる。
記憶されたビデオ信号は、ビデオプロセッサ200が生成したメタデータを有していても、または有していなくても、出力3Dビデオ信号130"として再生することができる。
図3の構成では、ビデオプロセッサは、実際のビデオ信号に対して(メタデータをビデオ信号と関連付けること以外)直接的な効果をまだ有していない。しかし、本実施形態は、ビデオプロセッサがビデオ信号を修正することを妨げない。以下に説明する具体的な機能は、ビデオ信号130の修正ではなくその解析に関する。
図3において、ユーザは記憶装置230に記憶されたビデオ信号の再生を開始することができる。これは、ユーザコントロールが記憶装置230と直接相互作用できるという意味では直接的な再生と言え、記憶されたビデオ信号の再生を順々に開始するビデオプロセッサ200とユーザが相互作用できるという意味では間接的な再生と言える。このような種類の動作の関連性を以下に説明する。
ビデオプロセッサ200は、適切なソフトウェア制御の下で動作するパーソナルコンピュータなどの汎用のデータ処理マシンとして実装することができる。しかし、本発明の実施形態においては、ビデオプロセッサ200は、適切なソフトウェア制御の下で動作するSony(登録商標)MPE−200(商標)立体画像プロセッサとして実装されている。実際のビデオ信号の記憶に関する記憶装置または記憶装置の機能の少なくとも一部は、Sony(登録商標)SRW−5100(商標)高解像度立体ビデオテープレコーダによって実装することができる。これら装置の両方とも本願の優先日時点で購入可能である。
図4は、MPE−200ビデオプロセッサおよび関連するハードウェアの構造を示す概略ブロック図である。ビデオプロセッサ200の動作に関する技術背景を提供するために簡単に説明する。
図4に示すように、ビデオプロセッサ200は、立体処理装置300(MPE−200装置として実装してもよい)および制御コンピュータ400を具備する。
ここで、装置200または400のどちらかの動作を制御するソフトウェア、および/またはそのようなソフトウェアを記憶し、または供給する記憶部または他の機械可読媒体を含むコンピュータプログラム製品は、本発明の実施形態を構成すると考えられることが理解されよう。
立体処理装置300は、(例えば)セル(Cell)プロセッサ310を中心に設計し、バス構成により接続されたランダムアクセスメモリ(RAM)320、専用のビデオランダムアクセスメモリ(VRAM)340を有するリアリティシンセサイザーグラフィックスユニット(RSX)330、および入出力(I/O)ブリッジ350を具備する。I/Oブリッジ350は、周辺構成要素にインタフェースを提供する。周辺構成要素は、高解像度シリアルデジタルインタフェース(HD−SDI)入力360およびHD−SDI出力370、RS−232CデータI/Oポート380、1つまたは複数のネットワークインタフェース390、不揮発性記憶部400(例えばハードディスク)、並びにビデオ同期信号入力410をなどのビデオ入出力接続を含む。
制御コンピュータ400は、ネットワークインタフェースおよび制御コンピュータ上の対応するインタフェース(図示せず)を介して立体処理装置300に接続されている。制御コンピュータは、セルプロセッサではなく従来のパーソナルコンピュータ処理装置を使用する点を除いて、立体処理装置と同様の内部構造を有する。制御コンピュータ400は、立体処理装置の動作を制御するためのユーザインタフェースを提供し、独自のパーソナルコンピュータフォーマットディスプレイ210とユーザコントロール220に接続されている。立体処理装置は、HD−SDI出力端子を介して接続された独自のディスプレイを有することもできる。
RSXユニット330は、セルプロセッサ310が生成したビデオレンダリングコマンドのリストを処理し描画するNVidia(登録商標)G70/71アーキテクチャに基づいたビデオアクセラレータである。
図5に示すように、セルプロセッサ310は、4つの基本的な構成要素を含むアーキテクチャを有する。4つの基本的な構成要素は、メモリコントローラ312(システムRAM320と相互作用するため)および立体処理装置300の他の構成要素と相互作用するためのデュアルバスインタフェースコントローラ314を具備する外部入出力機構、電力処理要素(PPE;Power Processing Element)316と呼ばれるメインプロセッサ、相乗演算処理要素(SPEs;Synergistic Processing Elements)318A−Hと呼ばれる8つのコプロセッサ、および上述の構成要素と接続し要素相互接続バス322と呼ばれる円形のデータバスからなる。
PPE316は、関連する512kBレベル2(L2)キャッシュおよび32kBレベル1(L1)キャッシュを有する両方向同時マルチスレッドPowerPCコアに基づいている。PPE316の主要な役割は、コンピュータの作業負荷のほとんどを処理する相乗演算処理要素318A−Hのコントローラとして作用することである。動作にあたっては、PPE316は、相乗演算処理要素318A−Hのジョブのスケジューリングを行い、その進捗状況を監視してジョブキューを維持する。そのため、各相乗演算処理要素318A−Hは、ジョブをフェッチして実行しPPE316と同期させる役割を持つカーネルを実行する。
各相乗演算処理要素318A−Hは、相乗演算処理ユニット(SPU)、メモリコントローラ、およびバスインタフェースをそれぞれ具備する。SPEの内部構造は、図5を明確にするために図示していない。各SPUは、単一クロックサイクルあたり4個の単精度浮動小数点メンバ、4個の32ビット数、8個の16ビット整数、または16個の8ビット整数で動作することができるRISCプロセッサである。同じクロックサイクルでは、メモリ操作を行うこともできる。
EIB322は、上述のプロセッサ要素と接続するセルプロセッサ310の内部にある、論理的には円形の双方向通信バスである。接続された要素は、クロックサイクルあたり8バイトでバスに同時に読み書きできる。
動作にあたっては、PPEおよびSPEは、ソフトウェア制御の下で動作する。ソフトウェアは、不揮発性記憶部400から読み出され、および/またはネットワークインタフェース390を介して受信され、実行するためにRAM320に記憶される。操作命令および設定を含む制御信号は、制御コンピュータ400によって供給される。PPE316はこのような制御信号に応答して、タスクを割り当てて、個々のSPEの動作を制御する。
本発明の実施形態では、立体処理装置は、ビデオを処理できるだけでなく、リアルタイムで映像面に対して陰影を付けたり、明るくしたり、マッピングしたりすることで、3Dオブジェクトを操作することができる。しかし、本実施形態においては、立体処理装置は受信した3Dビデオ信号の品質を評価するために使用される。ここで、これを実現するための技術について説明する。
図6は、受信した3D(L/R)ビデオ信号に関するビデオプロセッサ200の動作の概要を示す図である。
ビデオプロセッサ200は、ダウンサンプラ480、奥行き検出器500、焦点検出器520、フレームバイオレーション検出器540、および奥行きガイドタイムプロット部560として作用する。奥行きガイドタイムプロット部560、焦点検出器520、およびフレームバイオレーション検出器540が生成した出力データは、制御コンピュータ400によって描画され(ディスプレイ210上に)表示される。ビデオプロセッサ200のこれら機能は、適切なソフトウェア制御の下で動作するセルプロセッサ310のSPEによって実装される。これら機能が動作する方法、および解析結果を表示する方法を以下に説明する。
[ダウンサンプリング]
ダウンサンプラ480は、単一のSPUを使用して、受信した左右の画像を4分の1のサイズに、例えば受信した1920x1080iのビデオを480x135のビデオにダウンサンプルする。これにより、次の処理は、ダウンサンプルを行ったビデオに対して、顕著な解析ロスなしに、より効率的に動作することができる。ダウンサンプリングのプロセス自体は従来のものである。
ダウンサンプラ480は、単一のSPUを使用して、受信した左右の画像を4分の1のサイズに、例えば受信した1920x1080iのビデオを480x135のビデオにダウンサンプルする。これにより、次の処理は、ダウンサンプルを行ったビデオに対して、顕著な解析ロスなしに、より効率的に動作することができる。ダウンサンプリングのプロセス自体は従来のものである。
[奥行き解析]
図7は、奥行き検出器500および奥行きガイドタイムプロット部560を示す図である。本発明の実施形態において、これは画像の奥行き指標を生成するために、あるシーンのそれぞれの異なるビューを表す一連のペア画像を含む3Dビデオ信号を処理するために機能する。
図7は、奥行き検出器500および奥行きガイドタイムプロット部560を示す図である。本発明の実施形態において、これは画像の奥行き指標を生成するために、あるシーンのそれぞれの異なるビューを表す一連のペア画像を含む3Dビデオ信号を処理するために機能する。
奥行き検出器500は、垂直エッジ検出器502、ブロックマッチング部504、奥行きガイドレンダリング装置506、および視差ヒストグラム生成器508を具備する。本発明の実施形態において、様々な処理に割り当てられたSPUの数(すなわち、SPEの数)を丸括弧で示す。
奥行き解析における第1の段階は、左の画像にある垂直エッジの検出である。垂直エッジは、右の画像の垂直エッジと同一であると推定される。エッジの識別のための左の画像の選択は、任意のものであり、右の画像が選択されても構わない。これを実現するため、垂直エッジ検出器502は、(ダウンサンプラ480が出力する)4分の1のサイズになった画像を8x8のブロックに分解し、垂直ソベルエッジ検出器を使用して各ブロックのエッジを検出する。各ブロックの出力は単一のエッジ位置またはそのブロックではエッジが発見されなかった(すなわち、強いエッジがない)ことの指標を含む。強いエッジが発見された場合、すなわち、エッジが(a)垂直であるかまたは垂直に近い(例えば垂直から閾角度内にある)こと、および/または(b)画像ブロック内で明瞭であることが示唆されており、エッジ検出処理が閾値エッジ尤度を超えた場合、上記単一のエッジ位置が出力される。したがって、例えば、垂直から閾角度以上離れたエッジに関しては、それが明瞭であったとしても、エッジが検出されていないと見なすことができる。これら出力は、画像全体におけるエッジ位置のリストに加えられる。
その後、エッジ位置のリストは、ブロックマッチング部504(SPUで再び実行される)に使用される。ブロックマッチング部504は、あるペア画像における画像領域と他のペア画像における画像領域とを相関させ、その2つのペア画像間で一致する画像領域の変位を検出する相関器として動作する。ブロックマッチング部504は、各検出されたエッジ(上述の基準にしたがって検出されたエッジ)に対して動作し、そのエッジ位置を中心とする4分の1のサイズの左の画像の16x16のブロックと、右の画像の周辺エリアの対応するブロックまたは探索エリアとの間の類似性を探索する。
すなわち、ブロックマッチング部504は、対応する画像領域間の空間的なオフセットを検出するために、左の画像内で検出されたエッジの周辺の領域と右の画像内の同様または実質的に同一の画像内容の領域とを一致させようとする。しっかりと設定された設備によって製作された3Dビデオにおいて、上記空間的なオフセットは、水平方向にのみ存在することが予想される。すなわち、理想的には、2つのカメラ105L、Rが、垂直方向の高さが揃うように、(図1に示したような)3Dビデオカメラを設定するべきである。これに基づいて、変位の垂直成分は、以下に説明する処理において無視することができる。
ブロックマッチングプロセスは、エッジを含むことが検出されなかったブロックについては、ブロックマッチングを行わない。
対応する画像特徴間の水平方向のオフセット量は、カメラ位置に関連するその特徴の奥行き、すなわち、画像平面に対して垂直なカメラ位置からのその画像特徴までの距離の指標である。カメラが収束するように配列されるカメラ配置において、2台のカメラの画像平面は、平行からわずかにずらされる。そのような場合、奥行きは、部分的に、2つの画像平面に関連する2つの垂直方向の平均を表す方向に存在するカメラ位置からの距離を表すと考えられる。
水平方向のオフセット量は、それ自体では、カメラ位置からの厳密な距離を表すものではない。カメラの水平距離およびカメラの収束角などの他の要因にも関係がある。これら他の要因は、ビデオ信号と関連するメタデータにおいて定義できるが、左右の画像からのみでは検出することができない。しかし、絶対距離の算出のためにさらなる情報が必要だとしても、水平距離および収束角が一定のままだった場合(これは大いにあり得ることだが)、水平補正は3Dカメラからの距離の有用な質的指標となる。これを考慮して、説明を簡単にするために、本実施形態では、「奥行き」という用語は、2つの画像の水平方向のオフセット量のみに依存する量を示す用語として使用する。したがって、「奥行き」量は、コンテンツをキャプチャした際のカメラからの実際の物理的距離ではなく、画像を見たときの視聴者による奥行きの知覚と関連する。画像を見た際、奥行きはオブジェクトが位置しているように見える画面から手前の距離または背後の距離の量である。この量は視聴者の表示画面のサイズに部分的に依存している。
右の画像の探索エリアは、元の位置の周辺±48画素および±3ライン、すなわち、左の画像内で検出されたエッジ位置に対応する、右の画像における位置の周辺領域である。ブロックマッチングプロセスは、周知の「絶対差の和」(SAD)技術を使って、右の画像内で最も近い適合位置を探索する。すなわち、左の画像の16×16ブロックにおける対応する画素と右の画像の16×16試験ブロックにおける対応する画素間の絶対差が合計され、このような合計値の中で最も低い合計値を生じさせる(右の画像の)ブロック位置が、左右の画像間の画像内容が最も適合する位置を表すものと見なされる。
SAD解析を用いたブロックマッチングに関する周知の問題は、特に、右の画像の探索エリアに繰り返しパターンが含まれている場合に、いわゆるエイリアシングが発生することである。繰り返しパターンがあるとSADデータ間で複数の最小値が検出されることがあり、その結果、水平方向のオフセット量が曖昧になる可能性がある。この潜在的な問題を解決するために、画像に繰り返しパターンがあることを示すブロックマッチングの結果においてSADの複数の最小値が検出されたことに基づいて、各ブロックマッチングの結果毎に「エイリアシングの可能性」も算出する。単一の「極小値」または第一次極小値が存在するかもしれないが、他の最小値が、(a)極小である場合、及び、(b)(オプションとして)対象ブロックについて、ブロック位置において第一次極小値から少なくとも所定の距離離れている場合、当該他の最小値が検出される。エイリアシングの可能性が高いことを示す結果(すなわちブロックマッチングプロセスによりSADの複数の最小値が生成された結果)は、奥行き結果から除外される。
一致が発見されたブロックの数に等しい「範囲推定値」は、ブロックの総数で除算されて、生成される。これは、ブロックマッチングデータにおける信頼の程度を示す。
ブロックマッチング部によって検出された水平オフセット量は、奥行きガイドレンダリング部506に渡される。当該奥行きガイドレンダリング部506は、平面(アルファ値0)テクスチャバッファに色付きの奥行きマーカを描画するもう1つのSPUプロセスとして動作する。当該奥行きマーカーは、さらにビデオ信号の解析ディスプレイにオーバーレイとして描画され、ユーザが設定した「奥行き量」を超えた点を示すことができる。あるいは、測定した全ての視差を描画することができ、これは左右の入力が正しい順であることをチェックするのに有用である。
3Dビデオディスプレイの奥行きを視聴者が正確に心地よく知覚できるかどうかは、いくつかの要因によって決まる。しかし、本装置による解析に役立つ重要な要因の1つとして、画像における奥行き値(すなわち、検出された水平オフセット量)が、ビデオ製作者が設定した奥行き量の範囲内にあるかどうかという要因が挙げられる。典型的には、奥行き量は+3%とすることができる。すなわち、左右の画像内の対応する特徴間の水平オフセット量の絶対値は、画像の水平サイズの3%を決して超えるべきではない。
図8はこれらの概念を示す図であり、また便利な方法で、奥行きガイドレンダリング装置506がビデオプロセッサ200のオペレータに(画像の奥行きの指標を表す)奥行き値を示す手段を概略的に示している。
図8は、ディスプレイ210などの2次元ディスプレイ上に表示するために描画された3D画像を示す図である。描画プロセスは、左右の画像を組み合わせる。左右の画像はそれぞれ異なる位置からキャプチャされるので、カメラ位置からの対応する画像特徴の距離に応じて、レンダリング画像内の異なる位置において異なる量の水平オフセット量が存在する。図8に示すレンダリング画像は、画像解析システムの一部として提供されるので、そのような水平オフセットをマスクしようとするのではなく、示すのが望ましい。
水平オフセットにより多くの画像特徴が二重像として出現するので、左右の画像を単純に組み合わせる(例えば、それぞれ50%ずつ)ことで、2Dレンダリング画像が生成される。しかしこの2Dレンダリング画像の評価は難しい。そのような単純な組み合わせからは、そのような二重像のどの部分が左の画像に由来し、どの部分が右の画像に由来するのかは明らかでないであろう。したがって、レンダリング画像をユーザにとって明確にするために、カラー表示を採用する。
特に、3D画像は、2D表示画像が
Rout=RL;Gout=GR;Bout=BR
を含むように、レッド/シアンのアナグリフとして描画されて、表示される。ここで、R、G、Bはそれぞれ、レッド、グリーン、ブルーの成分を表し、下付き文字「out」は表示用の値、下付き文字LおよびRはそれぞれ左の画像および右の画像の成分を示す。
Rout=RL;Gout=GR;Bout=BR
を含むように、レッド/シアンのアナグリフとして描画されて、表示される。ここで、R、G、Bはそれぞれ、レッド、グリーン、ブルーの成分を表し、下付き文字「out」は表示用の値、下付き文字LおよびRはそれぞれ左の画像および右の画像の成分を示す。
このカラー表示は、(a)2つの画像(LおよびR)がディスプレイ上で容易に区別できること、および(b)ユーザが水平オフセットの方向を簡単に判断できることを意味する。3Dカメラである左右のカメラのカメラ軸が収束する点にオブジェクトがある場合、水平オフセットは存在しないので、オブジェクトは色の付いたオブジェクトとして正確に描画されて出現する。オブジェクトが3Dカメラから収束点よりも離れている場合、右の画像の右側、および左の画像の左側にずれて出現する。したがって、シアン境界を右側に、レッド境界を左側に有することになる。オブジェクトが3Dカメラから収束点よりも近い場合、右の画像の左側、および左の画像の右側にずれて出現する。したがってオブジェクトは、レッド境界を右側に、シアン境界を左側に有することになる。実際の色は画像の前景または背景がより明るいか否かによって決まるが、本実施形態の目的のために、使用されるカラー表示は標準のレッド/シアンのアナグリフと同一である。したがって、これら状況をカラー表示により容易に区別できる。もちろん、これは2つの3D画像を単一の2D画像として表示するフォーマットの1つの例に過ぎない。2つの画像を単純に50:50の比率で融合するなど、他のフォーマットも利用することができる。その目的は、エラーマーカまたは品質マーカ(以下参照)を表示またはオーバーレイすることができる土台を生成するために、3D素材を2D表示することである。
図8は、モノクロの特許図面であるので、シェーディングを利用してこれら着色境界を示している。実際の画像では、着色境界の効果は、もちろん、左右のカメラの収束点に位置するオブジェクトを表す画像特徴以外の、全ての画像特徴に適用される。しかし、図を明確にするために、図8の全てのオブジェクトに注釈を付けて着色境界を示しているわけではない。特に、前方にいる人600、後方にいる人610、およびボール620についてのみ、注釈を付けている。シェーディングは、人600およびボール620が3Dカメラの収束点630の前方に位置し、一方、人610は収束点630の後方に位置することを示す。
奥行きガイドレンダリング装置506は、このタイプの画像の奥行き情報を描画する。上述のように、奥行きガイドレンダリング装置506は、空白画像、すなわちアルファ値が0の画像を含むテクスチャ(または画像)バッファに奥行きガイド情報を描画することでこれを実現する。アルファ値は関連する画像の透明度を決定し、0は完全透明を表す。したがって、アルファ値が0の画像領域を他の画像と組み合わせても、他の画像に対して何の効果も持たない。奥行きマーカが例えばアルファ値0.5(透明度50%)など0ではないアルファ値を有するような方法で奥行きマーカが、このアルファ値0の背景に描画されるので、奥行きガイドレンダリング装置の出力および2Dレンダリング画像の組み合わせの上に奥行きマーカが描画されても、下にある2Dレンダリング画像を完全に覆い隠すことはない。
一実施形態において、奥行きガイドレンダリング装置は、検出された水平オフセット値の絶対値が、設定奥行き量(ユーザコントロール220を利用してオペレータが予め定め、または設定することができる)よりも大きい場合、画像領域に関する指標のみを生成する。そのような指標の使用の例を図9に概略的に示す。図9は図8のボール620のみを示すが、(図を明確にするために)ボールの模様は示していない。ボールは3Dカメラに最も近いオブジェクトであり、左右の画像間で検出されたその水平オフセット値は、このビデオ信号のために設定された奥行き量を超えている。このことを示すために、奥行きガイドレンダリング装置506によってマーカ640、650が描画され、奥行き量を超えた位置を示している。なお、マーカはボールの形状の垂直特徴に沿って示されている。ボールの特徴の多くは垂直エッジよりも水平に近いので、垂直エッジ検出器が使用する許容値に応じて、ボールの形状の一部だけがエッジを含んでいるとして検出される場合がある。本発明の実施例では、垂直に近い直線区間を有するボールの輪郭の部分だけが、垂直エッジを有するとして検出される。本発明の実施形態では、垂直エッジが検出されたこれら位置のみが次の処理(ブロックマッチングおよび奥行きガイドレンダリング)に渡されるので、奥行き量警告マーカはそのような位置で生成される。
上述のように、奥行きガイド指標は、垂直エッジが連続して検出される全ての画像位置に関して、奥行きガイドレンダリング装置によって生成される。その位置で検出された奥行き(すなわち、水平オフセット値)を示すために、指標を(例えば)色分けすることができる。色分けは奥行き値に基づいて行うことができるので、奥行き値の符号とは無関係に色分けされてもよいし、正の水平オフセット値と負の水平オフセット値で異なる色分けがなされてもよい。色分けは一群の奥行き値に基づいて行うことができる。例えば、奥行き値が画像の幅の2%未満の場合は第1の色、奥行き値が画像の幅の2〜5%の場合は第2の色、奥行き値が画像の幅の5%を超えた場合は第3の色とすることができる。あるいは、(例えば)奥行き値0を緑の指標で表し、奥行き値が負になるほど指標の色が徐々に黄色、それから赤くなるように、色の変更を段階的に行うことができる。そのような一連の色の変動の例を(モノクロの図面によって与えられた制限内で)図10に示す。
奥行き値の符号が示されている場合、例えば、オブジェクトがカメラに収束点よりも近いことを示す奥行き値が負の奥行き値であり、オブジェクトがカメラに収束点よりも遠いことを示す奥行き値が正の奥行き値であるとみなされるように、ルールが適用される。しかし、これは単なるルールに過ぎず、他の極性を利用して奥行き値を表すこともできる。
したがって、図9の図面に関して図10のカラー表示を利用すると、ボール620はカメラに収束点よりも近いので、奥行き値は負であると考えられる。したがって、マーカ640、650は、奥行き値に応じて、両方とも黄色または赤となる。
なお、実施形態によっては、図10に記載されたタイプの色分けを、上記設定奥行き量によって決めることができる。したがって、例えば、緑と黄色の間の境界を、ほぼ設定奥行き量のレベル(この例では−3%)で位置させ、さらなる色の変化が起こる第2のより高い閾値(図10の例では±4%)をユーザが設定できるように構成することができる。したがって、ユーザが設定奥行き量および1つまたは複数の他の閾値を設定し、一般的に重要な色の変化が閾値と同調するように、奥行き値に対して図10と同様の色の変動をシステムがマッピングする。もちろん、色の変動は図10においては連続的なので、ある色と隣の色との間に単一のはっきりとした境界はない。しかし、ここで説明するように、色が主にある色から主に他の色に変わる概念上の境界を得て、設定奥行き量および他の閾値に対して位置させることができる。
ブロックマッチング部が(画像全体において)測定した水平オフセット値も組み合わせて、視差ヒストグラム生成器508により、水平視差ヒストグラムを構成する。ヒストグラム生成には、沿う礼される各オフセット値または「ビン」毎に水平オフセット値をカウントすることが含まれる。ビンはブロックマッチング部が検出した画素オフセット値(検出された変位)にしたがって並び替えられる。すなわち、−48から+48画素までのオフセット値間にある97のビンが提供される。なお、これら画素のオフセット値は、処理された4分の1のサイズの画像の画素に関して得られ、(a)問題となる画像の画素の幅で除算し、(b)100で乗算することで、容易に奥行き値のパーセンテージに変換することができる。なお、ビンがより少なくなるように構成することができるが、各ビンは様々な画素のオフセット値を含む。例えば、ビンの幅は数画素とすることができる。したがって、各ビンは、1つまたは複数の変位値を表す。
ヒストグラムデータの色は、図10で記載したスキームと同一の色分けスキームを利用して、割り当てられている。なお、図10は、奥行き値のパーセンテージで目盛りを付けている。一方、ビンは画素のオフセット値によって構成できるが、上述のように、容易に他のビンに変換することができる。
色分けされたヒストグラムの概略的な例を図11に示す。ヒストグラムは画素のオフセット値ではなく奥行き値にしたがって表示されている。図10の色分けスキームを採用し、実際、水平(ビン)軸の表示の一部として表示されている。任意の水平位置におけるヒストグラムの垂直範囲は、その奥行き値における対応するビンの母集団を示す。陰影付きの領域660は、水平位置に関連する色にしたがって色付けされている。したがって、陰影付きの領域660内では、水平位置により図10の色分けスキームにしたがって色が変化する。しかし、垂直位置にしたがって色は変化しない。
図10のヒストグラムは、ビデオ信号の各一連の画像毎に更新される。ヒストグラムの表示も、各画像区間において更新される。
奥行きガイドタイムプロット部560は、視差ヒストグラムの新しい履歴を記憶して、表示する。そのような履歴表示の概略的な例を図12に示す。この表示は図11の表示と同じ画面上に同時に示すことができる。
時間は垂直軸で表され、現在の時刻までの時間の経過は、表示の底部からの距離が増えることで表される。表示は行700、710…によって分割される。説明のために、行の境界(水平線)を図12に示す。ただし、これら境界は実際の表示画面には表示されない。
表示の最終行700を使用して、現在の画像(例えば、現在のフレーム)で得られた奥行きヒストグラムを表示する。表示は狭い行に限定されているので、図10と同一の方法でヒストグラムのこの側面を表すのは難しい。したがって、その代わりに、ビンまたは奥行き値と関連する色を有する対応する表示点の輝度または明度によって、ヒストグラムの高さ、またはビン占有率を表す。したがって、高さは表示輝度によって表すことができる。変位値は、表示位置によって、または表示点の色によって、あるいはその両方によって表すことができる。これは、その位置におけるヒストグラムの高さによって決まる行に沿った位置と関連付けて、上記アルファ値(透明度)を設定することで実現され、アルファ値はヒストグラムの高さが大きいほど大きくなる(透明度が低くなり、より不透明になる)。その行における表示可能点は、表示可能点の連結線を表すことができる。行700の上に、過去のヒストグラムの各行に関する同様の行を表示する(図12には図示せず)。
各新たな画像が処理されると、それまで表示されていたのヒストグラム行700が次に高い位置である710に移動され、新しい現在のヒストグラムが現在のペアの表示位置、すなわち行700に描画されるように、グラフィック描写が再描画される。時間順に並んだ多数の表示点からなる直線が構成され、各直線はペア画像の時間順におけるそれぞれのペア画像のヒストグラム表示に対応する。一般的に言うと、新しい行700が利用できる場合、表示の一番上にあり廃棄される行を除いて、表示全体の各行は1行だけ上に移動する。これにより、ビデオ信号の画像率によって乗算された行の数に等しい期間におけるヒストグラムデータの表示履歴が提供される。その結果、奥行きデータにおける傾向を、パターン720などの垂直に表示されたパターンとして観察することができる。
これを実現するため、奥行きガイドタイムプロット部560は、最も新しいn個のヒストグラムを記憶するためのバッファメモリを具備する。nは図12のディスプレイに表示することができる行の数である。奥行きガイドタイムプロット部は、記憶されたヒストグラムを一連の行としてディスプレイに描画するための論理回路も具備する。
上記表示履歴は、3D素材の品質を定義するメタデータを記憶装置230に記憶することができる。これは、ビデオプロセッサ200が記憶装置230の再生コントロールを有する図3の実施形態における使用にも適している。例えば、ビデオプロセッサのオペレータが図12の途切れ722などの過去の奥行きデータの途切れに気付いた場合、オペレータは記憶装置230に(ユーザコントロール220を介して)途切れ周辺のビデオの部分、例えば、途切れの2秒前から途切れの2秒後までの部分を再生するよう指示することができる。オペレータはこれを、例えば、奥行きデータ表示履歴の領域内における所望の一時的な再生位置でマウスコントロールをダブルクリックすることにより行うことができる。したがって、ビデオプロセッサは、1つまたは複数のグラフィック描写のユーザ選択に応答して、記憶されたバージョンの3Dビデオ信号の再生を制御するための再生コントローラを提供することができる。
より一般的には、図3の構成を利用して、受信した3Dビデオに関する品質情報を取得することができ、オペレータは品質データ、および、必要に応じて添付のビデオ素材を後でレビューすることができる。オペレータは手動で再生位置を選択することができる。また、ビデオプロセッサは、記憶された品質データを自動的にレビューし、例えば記憶された任意のデータ値における途切れ、許容限界を超えた偏位(例えば10%などの「警告」閾値を超えた奥行き値の偏位)などがある位置をオペレータのレビューのために選択することができる。
したがって、奥行きガイドレンダリング装置506は、ペア画像における様々な変位値に関して、変位の分布のグラフィック描写を生成するグラフィックス生成器として作用する。奥行きガイドタイムプロット部560は、変位の分布における時間ベースの変動の表示を提供するように、現在のペアの表示位置において画像の現在のペアに関するグラフィック描写および他の表示位置における複数の先行するペア画像に関するグラフィック描写を生成するための表示生成器として作用する。本発明の実施形態において、グラフィックス生成器が作用した変位データは、検出された画像変位の水平成分のみを含む。
[フレーム(エッジ)バイオレーション]
フレーム(エッジ)バイオレーション検出プロセスの目的は、画像の左右のエッジにあるオブジェクトが画面の前方にあるかどうか決定することである。
フレーム(エッジ)バイオレーション検出プロセスの目的は、画像の左右のエッジにあるオブジェクトが画面の前方にあるかどうか決定することである。
3Dテレビにおいては、負の視差を有するオブジェクト(すなわち、3D表示によって表示画面の平面の前方にあるように表示されるオブジェクト)がカメラから消える、すなわち表示を離れる際に、潜在的な問題が生じる可能性がある。オブジェクトが片方の眼の画像からもう片方の眼の画像より先に離れることからこの問題は起こり得る。この構成は実際の生活では起こらないので、それをディスプレイ上で見ると、3Dシーンを見ているという視聴者の錯覚が途切れてしまう。特に、オブジェクトが画面をゆっくり離れて一方あるいはもう一方に移動する場合が問題である。
オブジェクトが画面の前方に出現するかどうかという問題は、カメラの収束点に関するオブジェクトの位置に依存する。したがって、1つの解決法として、視界に入る全てのオブジェクトが画面の後方に来るように収束点を変えることが挙げられる。他の解決法としては、どちらかの眼から見えるオブジェクトを除去するように左右の画像をトリミングすることが挙げられる。しかし、これは画像の芸術的な安定性に重大で好ましくない影響を及ぼす可能性がある。第3の技術は、その画像におけるオブジェクトの存在を減らして、他の画像と一致するように1つの画像のみをトリミングすることである。これは「フローティングウィンドウ」または「フローティングクロップ」を画像に追加する技術として周知である。フローティングウィンドウでは、左右の画像のエッジが劇的にトリミングされる。これに基づいて、オブジェクトが画面のエッジ上に、またはエッジ近くに位置する。この機能における一時的なフローティングウィンドウの有用性は、慎重に実行すれば、ユーザはその存在に気付かない可能性が高いことである。
すなわち、適切なフローティングウィンドウが適用されないが、オブジェクトが画像の左右のエッジの近くにあり、かつ画面平面の前方にある場合、画像は片方の眼には不自然に途切れた状態で出現する可能性がある。例えば、画像の左端における画面の前方にあるオブジェクトは、右眼には途切れた状態で出現する。これは、オブジェクトが画面の周りのウィンドウの後方にあるかのように、右眼が左眼よりもオブジェクトをより多く見ようとするからである。説明したように、シーンにおいて、このようにオブジェクトが明らかに不正確に途切れてしまうと、視聴者が不快感を引き起こし、3D錯覚が途切れてしまう可能性がある。
画面の前方にあり、かつ画像の左右の端に位置するオブジェクトを「フレームバイオレーション」と呼ぶ。
図13は、表示画面810に表示された3D画像に関連して、視聴者の左右の眼のビューを示す図である。画面810の前方(画面810よりも視聴者に近い位置)にある、3Dシステムによって表示される2つのオブジェクト820の例を示す。図14の上の行は、そのようなオブジェクトに対する左右の眼のビューを示す図である。視聴者はオブジェクトが不正確にトリミングされた、すなわち、「間違った」眼用にトリミングされたと感じる。この理由の一部として、3D表示の錯覚は、表示画面は3D世界への窓を表しているというユーザの認識に依存していることが挙げられる。本物の窓はオブジェクトをその背後で期待された通りにトリミングするが、図14の上の行に示すような不正確なトリミングを行うことはない。これに対して、図14の下の行は、許容されるトリミングを示す図である。この場合、オブジェクトがフレームのエッジ上に位置しているが、表示画面810の平面の背後に位置している。
したがって、本発明の実施形態は、あるシーンに対する左右の眼のビューを表す3Dペア画像を処理するためのフレームバイオレーション検出器540を具備する画像解析装置を提供する。
図15は、フレームバイオレーション検出器540をより詳細に示す図である。フレームバイオレーション検出器540は、フローティングウィンドウ検出器830、ブロックマッチング部840、右のブロックマッチング部850、および比較器860を具備する。図15は、左端におけるフレームバイオレーションの検出のために使用される機能を表す。右端におけるフレームバイオレーションの検出には全く同じ技術を利用する(右と左は交換される)が、図を明確にするため、左端の検出のみを示す。
画面の端におけるフレームバイオレーションを検出するために、画像の左右の端上の16x16画素のブロックの2列だけを処理して、画像をブロックに分割する。左のブロックマッチング部840は、右の画像内における(左の画像の各端の2列内で)左の画像の各ブロックを探索する。右のブロックマッチング部850は、左の画像内における(右の画像の各端の2列内で)右の画像の各ブロックを探索する。画像端からのブロックの2列の領域内の検出は、端からの閾値距離(この例では32画素)内での検出を表す。また、他の閾値距離を代わりに利用することもできる。本発明の実施例では、閾値距離は両方の端において同一であるが、必要に応じて異なるものとすることができる。
左側の端では、左の画像ブロックが右側の画像内で発見されれば、フレームバイオレーションはない。しかし、右の画像ブロックが左の画像内で発見されたが(右の画像内の位置よりもさらに右)、左の画像ブロックが右の画像内で発見されなかった場合、フレームバイオレーションが発生する。
これに対応するテストが、画像の右の端にも適応される。
左の画像の左の端の(32画素などの)閾値距離内の画像特徴が右の画像で発見されない場合、または右の画像の右の端の閾値距離内の画像特徴が左の画像で発見されない場合、フレームバイオレーションが存在するとして検出されるので、試験を要約することができる。
しかし、フローティングウィンドウがすでに入力ビデオ上に存在する場合、フレームバイオレーションを検出する処理は画像の新しい端のみにおいて始めるべきである。すなわち、フレームバイオレーションの検出は、任意に検出された画像トリミング(フローティングウィンドウ)を除いて、画像の領域内で発生する。すなわち、試験される画素ブロックの2列は、フローティングウィンドウの内部の端、すなわち、フローティングウィンドウによってトリミングされていない画素の第1の列において開始するように配列されるべきである。したがって、閾値距離は検出されたフローティングウィンドウの内部端(からの測定値)で始まる。
フローティングウィンドウが以前に正確に画像に適用されていれば、通常は、フレームバイオレーションは発生しない。しかし、たとえフローティングウィンドウが適用されても、例えば、フローティングウィンドウがフレームバイオレーションをマスクするのに十分に大きくない場合、フレームバイオレーションが検出される可能性は依然としてある。
したがって、フレームバイオレーション検出器540は、画像の左側および右側の端においてブラックビデオの存在を検出し、ブラックビデオが検出された場合、その幅を測定するフローティングウィンドウ検出器が提供する(左の画像の左端上および右の画像の右端上の)フローティングウィンドウを検出する前処理ステップによって、1つの画像または両方の画像の側面(左または右の)端における画像トリミングを検出する画像トリミング検出器を提供する。なお、フローティングウィンドウは、通常、ブラックであり、画像の側面端に対して垂直であるように構成され、画像の高さを完全に超えると仮定される。しかし、ブラックの代わりに単純に同一の色にすることができる。これにより、画像トリミングの検出プロセスは、1つ画像の側面端における画像の高さを占める同一の色の一部の存在を検出することができる。暗い色を使用することが多い。0から4のフローティングウィンドウを、ペア画像に関して検出することができる(その4つは2つの画像の各側面端におけるフローティングウィンドウである)。2つ以上の隣接するフローティングウィンドウが特定の端、例えば、複数の隣接する領域において検出された場合、各同一の色(であるが異なる色)、画像の高さ、システムは、複数の領域の幅を組み合わせた単一の複合フローティングウィンドウとしてそれらを処理する。
例えば、左の画像の左側の端上で3画素の幅のフローティングウィンドウが検出された場合、フレームバイオレーションを検出するための(左のブロックマッチング部840および右のブロックマッチング部850による)画像の左の端上の処理は、画像の下の端から3画素内から始まる。
フレームバイオレーションが検出された場合、検出された各フレームバイオレーションの画像に関連する位置を表す指標を示すように、本装置によって画像の表示を拡張することができる。例えば、ビデオ出力に重ね合わせてフレームバイオレーションの存在や位置を示すことができるテクスチャバッファ(背景:アルファ値0のブラック)に矢印または他のマーカを描画することができる。すなわち、奥行きガイドレンダリング装置が警告マーカを画像に導入して表示画面210に表示させるために使用する技術と同じ技術を利用することができる。カメラの収束点の前方において、キャプチャした画像の端の位置で飛んでいる鳥に関して、このような警告マーカの例870を図8に概略的に示す。
上述のように、フレームバイオレーションの検出処理は、各端を処理するための単一のSPU(したがって全部で2つのSPU)を利用して4分の1のサイズのビデオに対して行う。
[焦点ミスマッチの検出]
本発明の実施形態は、画像解析を利用して左右の画像間の焦点における任意の差異を検出し、ユーザに警告する焦点ミスマッチの警告機能を提供する。このアルゴリズムは焦点レベルで全体のミスマッチを検出しようとし、焦点にミスマッチがあるかもしれない画像の具体的な領域を検出して表示する奥行き検出器500のブロックマッチング部504によって得られるデータを使用し続ける。以下で実装されているアルゴリズムは、画像を処理して画像の複数のブロックに関してそれぞれの局所焦点推定値を検出し、局所焦点推定値を組み合わせて画像焦点の指標を生成する焦点検出器を具備する、画像焦点の指標を生成するための画像解析装置の動作を表す。
本発明の実施形態は、画像解析を利用して左右の画像間の焦点における任意の差異を検出し、ユーザに警告する焦点ミスマッチの警告機能を提供する。このアルゴリズムは焦点レベルで全体のミスマッチを検出しようとし、焦点にミスマッチがあるかもしれない画像の具体的な領域を検出して表示する奥行き検出器500のブロックマッチング部504によって得られるデータを使用し続ける。以下で実装されているアルゴリズムは、画像を処理して画像の複数のブロックに関してそれぞれの局所焦点推定値を検出し、局所焦点推定値を組み合わせて画像焦点の指標を生成する焦点検出器を具備する、画像焦点の指標を生成するための画像解析装置の動作を表す。
全体的な焦点ミスマッチ検出プロセスは、画像全体に焦点が合っているかどうかに関係なく、シーン全体における焦点のミスマッチを検出することを意図している。このようにして、フィールドの奥行き効果や芸術的なピンぼけの原因となる。しかし、少なくとも1つの画像に実質的に焦点が合っている場合、焦点ミスマッチに対する感受性はより大きくなる。
局所焦点ミスマッチの検出は、それぞれのブロックのうちいくつか、または各ブロックの周りにある1群の画素における画像コントラストを検出することによって局所焦点の推定値を検出する。本発明の実施形態において、独立して生成された水平オフセットデータを使用して左右の画像の対応する局所領域の焦点を比較することができる。ミスマッチの具体的な位置は、このようにしてユーザに示される。しかし、ブロックマッチングプロセスのみが1つの画像(本実施形態における左の画像)で発見された垂直エッジの位置において水平オフセット情報を生成するので、局所焦点ミスマッチの警告は、画像に焦点がよく合っている位置においてのみ生成される。
図16に、焦点検出器520を概略的に示す。
焦点検出器520への入力は、4分の1のサイズのフォーマットにおける左の画像(900)および右(910)の画像、および左右のペア画像に関してブロックマッチング部504によって生成された画素のオフセット値のデータである。
左右の画像は、SPU処理として動作し、左右の画像のコントラストマップを生成するそれぞれのコントラストマップ生成器に渡される。そのために、実施形態の1例として、1群の画素、例えば、3x3ウィンドウなどの正方形の画素アレイが、画像内の全ての可能な位置に配置される。また、各点におけるコントラストはウィンドウ内の画素の最大輝度(明度)値−ウィンドウ内の画素の最小輝度(明度)値であると推定される。これは8ビット表示で0〜255の値として表現される。本発明の実施形態において、その1群は、それぞれのブロックの周りに位置することができるので、本発明の実施例において、(コントラスト値が関連する)ウィンドウ位置に関する画素または点は、例えば、3x3ウィンドウの中心画素に位置することができる。
全平均演算/比較器950は、左右それぞれの平均値を生成するために、左右の画像の全体のコントラストの平均値を得る。左右の平均値の差異が算出され、左右の画像の全体の焦点の差異の指標として使用される。全平均演算/比較器950は、左右の画像の焦点に重大な差異があると決定するために差異値を閾値と比較する。焦点における重大な差異があることは、適切なユーザ表示によってユーザに示すことができる。画像に関連するメタデータに記録することも可能である。
図17は、左右の画像の例およびその対応するコントラストマップを示す図である。本装置は、各画像に関する(全体平均などの)焦点の指標を検出し、ペア画像が同程度の焦点を有するかどうかを検出するために焦点の指標を比較する。図に示す例において、左の画像は右の画像よりも焦点が合っているので、コントラストマップのために生成された値はわずかに異なる。平均コントラストも2つのコントラストマップ間で異なる。
焦点検出器520の動作の一部を構成し、図16に局所のコントラスト平均比較器として記載されている局所の焦点警告プロセスは、ブロックマッチング部504が生成した水平オフセット値のデータを使用して、左右の画像の対応する小領域間の焦点を比較することができる。特に、焦点検出器はペア画像の対応する領域の局所焦点の推定値間の差異を検出するように構成することができる。上述のように、焦点検出は、ペア画像における画像特徴間の変位を示す(水平オフセット値のデータなどの)変位データに応答することができる。焦点検出器はペア画像の対応する領域の選択における変位データを適用するように構成される。
したがって、焦点検出プロセスは、各ペア画像のブロック内の画像コントラストを検出するコントラスト検出器、およびペア画像のそれぞれの領域間のコントラストの差異を検出するコントラスト差検出器を利用する。それぞれの領域は、上述のブロックマッチングプロセスで検出された変位に応答して、比較のために選択される。
なお、ブロックマッチング部504は、左の画像において垂直エッジが検出された画像のこれら小領域上でのみ動作する。すなわち、コントラスト差検出プロセスは、エッジ検出器によってエッジが検出されない画像領域に関するコントラスト差を検出しないように構成される。
また、ブロックマッチング部504は水平オフセット値を得ようとするが、おそらくSADデータにおいてエイリアシングが検出されることが原因で、水平オフセット値を得ることができない領域も存在する可能性がある。したがって、画像領域の中には関連する水平オフセット値のデータを有する領域もあれば、関連する水平オフセット値のデータを有しない領域もあるので、ブロックマッチング部504が出力するデータは少ない。
左右の画像はインタレースビデオのために64x60画素、または64x30画素の固定された格子に分割されると考えられる。この格子内の位置を格子位置と呼ぶ。格子のそのような各ブロック内の水平オフセット値(があれば、それ)は、そのブロックの水平視差の単一の平均推定値へと組み合わせられる。ブロック内に水平オフセット値が発見されなければ、そのブロックは無視される。
図18に関して、ブロックマッチング部504によって水平オフセット値のデータが連続して入手された画像位置を示す小さな四角いアイコン1010とともに画像例1000が示されている。説明を明らかにするために、画像1000の小領域を拡大図1020として示す。
プロセスの次の部分は、各格子位置のために行われる。格子位置に関する左のコントラストマップ1030、および格子位置からの(格子位置に適用可能である)平均水平視差による位置補正のための右のコントラストマップ1040がアクセスを受ける。コントラストマップの2つのサブ領域の平均コントラストは、それぞれ左の平均演算部1050、および右の平均演算部1060によって算出される。減算器1070は、一方からもう一方を減算し、絶対差として表現可能な差分を得る。
比較器1080により差分を閾値と比較して、格子位置(すなわち、本実施形態の左のコントラストマップ1030に関して使用される格子位置)に関する局所の焦点エラーが存在するかどうかを決定することができる。(減算器1070の出力における)差異は、元のブロックマッチングプロセスにおけるエラーを受けやすいので、局所の焦点差異を検出するための閾値は、全体の焦点差異の10倍である必要がある。局所の焦点差異が検出された領域を、例えば、赤枠で囲むことにより画面上で目立たせることができる。図8において、そのような枠の例を枠1100として示す。
Claims (27)
- あるシーンのそれぞれ異なるビューを表す一連の画像のペアを含む3Dビデオ信号を処理して画像の奥行き指標を生成する画像解析装置であって、
あるペア画像を構成する2つの画像のうち一方における画像領域と他方における画像領域とを相関させ、前記2つの画像間で対応する画像領域の変位を検出する相関器と、
前記ペア画像の全域において、想定される範囲の変位値について、前記変位の分布を示すグラフィックスを生成するグラフィックス生成器と、
現在のペア画像の現在の表示位置に関するグラフィックスと、複数の先行するペア画像の他の表示位置に関する前記グラフィックスとを表示のために生成することで、前記変位の分布における変動を時間ベースで表示する表示生成器と
を具備する画像解析装置。 - 請求項1に記載の画像解析装置であって、
前記グラフィックス生成器は、それぞれが1つまたは複数の想定される変位値を表す複数の想定されるビンの全域において、前記検出された変位を表すヒストグラムを生成する
画像解析装置。 - 請求項2に記載の画像解析装置であって、
前記グラフィックス生成器は、対応する表示点の表示輝度によって各ビンの占有率を示す
画像解析装置。 - 請求項2または3に記載の画像解析装置であって、
前記グラフィックス生成器は、対応する表示点の色によって、前記ビンを用いて表された前記1つまたは複数の変位値を示す
画像解析装置。 - 請求項3または4に記載の画像解析装置であって、
前記グラフィックス生成器は、前記表示点の連結線によってヒストグラムを示す
画像解析装置。 - 請求項5に記載の画像解析装置であって、
前記表示生成器は、それぞれが前記ペア画像の時間順におけるヒストグラムに対応する、時間順の多数の表示点からなる直線を表示する
画像解析装置。 - 請求項6に記載の画像解析装置であって、
前記表示生成器は、各一連のペア画像に関するヒストグラムが新たに生成されると、当該新たに生成されたヒストグラムのために前記現在のペア画像の表示位置において前記グラフィックスを再描画し、以前のあるペア画像に対応する位置における前記直線内で複数のグラフィックスを再描画する
画像解析装置。 - 請求項1〜7のいずれかに記載の画像解析装置であって、
前記相関器は、前記一連の画像のうちのある画像のブロックと前記画像のうちの他の画像の対応する探索エリアとを比較するためのブロックマッチング部を具備する
画像解析装置。 - 請求項8に記載の画像解析装置であって、
前記相関器は、前記一連の画像のうちのある画像内のエッジを検出するためのエッジ検出器を具備し、
前記ブロックマッチング部は、エッジを含んでいることが検出されないブロックに関してはブロックマッチングを行わない
画像解析装置。 - 請求項9に記載の画像解析装置であって、
前記エッジ検出器は、垂直から閾角度以上離れたエッジを検出しない
画像解析装置。 - 請求項9または10に記載の画像解析装置であって、
前記画像のペア間の焦点ミスマッチを検出するための焦点ミスマッチ検出器を具備し、
前記焦点ミスマッチ検出器は、
前記各ペア画像のブロック内で画像コントラストを検出するコントラスト検出器と、
前記ペア画像のそれぞれの領域間のコントラスト差を検出するコントラスト差検出器とを有し、
前記それぞれの領域は、前記相関器によって検出された前記変位に応じて、比較のために選択される
画像解析装置。 - 請求項11に記載の画像解析装置であって、
前記コントラスト差検出器は、前記エッジ検出器によってエッジが検出されない画像領域に関しては前記コントラスト差を検出しない
画像解析装置。 - 請求項1〜10のいずれかに記載の画像解析装置であって、
前記画像の複数のブロックに関して、それぞれの局所焦点の推定値を検出し、前記局所焦点の推定値を組み合わせて、当該画像に関する画像焦点指標を生成する焦点検出器を具備する
画像解析装置。 - 請求項1〜13のいずれかに記載の画像解析装置であって、
前記グラフィックス生成器により処理された前記変位データは、前記検出された画像の変位のうち水平成分のみを含む
画像解析装置。 - 請求項1〜14のいずれかに記載の画像解析装置であって、
1つまたは複数の前記グラフィック描写のユーザ選択に応答して、記憶されたバージョンの3Dビデオ信号の再生を制御する再生コントローラを具備する
画像解析装置。 - あるシーンのそれぞれ異なるビューを表す一連のペア画像を含む3Dビデオ信号を処理して画像の奥行き指標を生成する画像解析方法であって、
あるペア画像を構成する2つの画像のうち一方における画像領域と他方における画像領域とを相関させ、前記2つの画像間で対応する画像領域の変位を検出し、
前記ペア画像の全域において、想定される範囲の変位値について、前記変位の分布を示すグラフィックスを生成し、
現在のペア画像の現在の表示位置に関する前記グラフィックスと、複数の先行するペア画像の他の表示位置に関する前記グラフィックスとを表示のために生成して、前記変位の分布における変動を時間ベースで表示する
画像解析方法。 - 画像を処理して画像焦点指標を生成する画像解析装置であって、
前記画像の複数のブロックに関して、それぞれの局所焦点の推定値を検出し、前記局所焦点の推定値を組み合わせて、その画像に関する前記画像焦点指標を生成する焦点検出器を具備する
画像解析装置。 - 請求項17に記載の画像解析装置であって、
前記焦点検出器は、前記それぞれのブロックの周囲の一群の画素における画像コントラストを検出することで、前記局所焦点推定値を検出する
画像解析装置。 - 請求項18に記載の画像解析装置であって、
前記一群の画素は、前記それぞれのブロックを中心として配列された正方形画素アレイを含む
画像解析装置。 - 請求項18または19に記載の画像解析装置であって、
前記焦点検出器は、ある群における画素の輝度の最大値と画素の輝度の最小値との差を検出することで、その群における画像コントラストを検出する
画像解析装置。 - 請求項17〜20のいずれかに記載の画像解析装置であって、
各ブロックは、それぞれの1つの画素の画像を有する
画像解析装置。 - 請求項17〜21のいずれかに記載の画像解析装置であって、
前記画像は、あるシーンのそれぞれ異なるビューを表す3Dペア画像であり、
前記焦点検出器は、前記ペア画像の各画像に関して前記焦点指標を検出し、
前記画像解析装置は、前記ペア画像に関する前記焦点指標を比較して、前記ペア画像が同程度の焦点を有するかどうかを検出する
画像解析装置。 - 請求項22に記載の画像解析装置であって、
前記焦点検出器は、前記ペア画像の対応する領域の局所焦点推定値間の差を検出する
画像解析装置。 - 請求項23に記載の画像解析装置であって、
当該画像解析装置は、前記ペア画像における画像特徴間の変位を示す変位データを取得し、
前記焦点検出器は、前記変位データを、前記ペア画像の対応する領域の選択に用いる
画像解析装置。 - 画像を処理して画像焦点指標を生成する画像解析方法であって、
前記画像の複数のブロックに関して、それぞれの局所焦点の推定値を検出するステップと、
前記局所焦点の推定値を組み合わせて、前記画像に関する前記画像焦点指標を生成するステップと
を含む画像解析方法。 - コンピュータに、請求項16または25に記載の方法における各ステップを実行させるプログラム。
- 請求項26に記載のプログラムを記憶した記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1105973.0A GB2489930A (en) | 2011-04-08 | 2011-04-08 | Analysis of Three-dimensional Video to Produce a Time-Varying Graphical Representation of Displacements |
GB1105973.0 | 2011-04-08 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012227924A true JP2012227924A (ja) | 2012-11-15 |
Family
ID=44072166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012085594A Pending JP2012227924A (ja) | 2011-04-08 | 2012-04-04 | 画像解析装置、画像解析方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8976229B2 (ja) |
EP (1) | EP2509326A3 (ja) |
JP (1) | JP2012227924A (ja) |
CN (1) | CN102740095A (ja) |
GB (1) | GB2489930A (ja) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2489931A (en) * | 2011-04-08 | 2012-10-17 | Sony Corp | Analysis of 3D video to detect frame violation within cropped images |
EP2795908A4 (en) * | 2011-12-22 | 2015-08-05 | Intel Corp | QUANTIFIABLE STEREOSCOPIC THREE DIMENSIONAL VIDEO EVALUATION METHODOLOGY |
WO2014100020A1 (en) * | 2012-12-20 | 2014-06-26 | Dolby Laboratories Licensing Corporation | Managing 3d edge effects on autostereoscopic displays |
US9568713B2 (en) | 2013-01-05 | 2017-02-14 | Light Labs Inc. | Methods and apparatus for using multiple optical chains in parallel to support separate color-capture |
US9551854B2 (en) | 2013-10-18 | 2017-01-24 | Light Labs Inc. | Methods and apparatus for controlling sensors to capture images in a synchronized manner |
US9325906B2 (en) | 2013-10-18 | 2016-04-26 | The Lightco Inc. | Methods and apparatus relating to a thin camera device |
US9374514B2 (en) | 2013-10-18 | 2016-06-21 | The Lightco Inc. | Methods and apparatus relating to a camera including multiple optical chains |
US9467627B2 (en) | 2013-10-26 | 2016-10-11 | The Lightco Inc. | Methods and apparatus for use with multiple optical chains |
US9736365B2 (en) | 2013-10-26 | 2017-08-15 | Light Labs Inc. | Zoom related methods and apparatus |
KR102130123B1 (ko) * | 2013-10-31 | 2020-07-03 | 삼성전자주식회사 | 다시점 영상 디스플레이 장치 및 그 제어 방법 |
US9686471B2 (en) | 2013-11-01 | 2017-06-20 | Light Labs Inc. | Methods and apparatus relating to image stabilization |
US9554031B2 (en) * | 2013-12-31 | 2017-01-24 | Light Labs Inc. | Camera focusing related methods and apparatus |
CN104811679A (zh) * | 2014-01-29 | 2015-07-29 | 宏达国际电子股份有限公司 | 立体图像的调整方法与图像处理装置 |
US9979878B2 (en) | 2014-02-21 | 2018-05-22 | Light Labs Inc. | Intuitive camera user interface methods and apparatus |
US9462170B2 (en) | 2014-02-21 | 2016-10-04 | The Lightco Inc. | Lighting methods and apparatus |
US9473764B2 (en) * | 2014-06-27 | 2016-10-18 | Microsoft Technology Licensing, Llc | Stereoscopic image display |
EP3164831A4 (en) | 2014-07-04 | 2018-02-14 | Light Labs Inc. | Methods and apparatus relating to detection and/or indicating a dirty lens condition |
WO2016007799A1 (en) | 2014-07-09 | 2016-01-14 | The Lightco Inc. | Camera device including multiple optical chains and related methods |
KR102190233B1 (ko) * | 2014-10-06 | 2020-12-11 | 삼성전자주식회사 | 영상 처리 장치 및 이의 영상 처리 방법 |
WO2016061565A1 (en) | 2014-10-17 | 2016-04-21 | The Lightco Inc. | Methods and apparatus for using a camera device to support multiple modes of operation |
US20160165207A1 (en) * | 2014-12-03 | 2016-06-09 | Kabushiki Kaisha Toshiba | Electronic device, method, and computer program product |
EP3235243A4 (en) | 2014-12-17 | 2018-06-20 | Light Labs Inc. | Methods and apparatus for implementing and using camera devices |
US9544503B2 (en) | 2014-12-30 | 2017-01-10 | Light Labs Inc. | Exposure control methods and apparatus |
US9824427B2 (en) | 2015-04-15 | 2017-11-21 | Light Labs Inc. | Methods and apparatus for generating a sharp image |
US9967535B2 (en) | 2015-04-17 | 2018-05-08 | Light Labs Inc. | Methods and apparatus for reducing noise in images |
US10091447B2 (en) | 2015-04-17 | 2018-10-02 | Light Labs Inc. | Methods and apparatus for synchronizing readout of multiple image sensors |
US9857584B2 (en) | 2015-04-17 | 2018-01-02 | Light Labs Inc. | Camera device methods, apparatus and components |
US10075651B2 (en) | 2015-04-17 | 2018-09-11 | Light Labs Inc. | Methods and apparatus for capturing images using multiple camera modules in an efficient manner |
US9930233B2 (en) | 2015-04-22 | 2018-03-27 | Light Labs Inc. | Filter mounting methods and apparatus and related camera apparatus |
US10129483B2 (en) | 2015-06-23 | 2018-11-13 | Light Labs Inc. | Methods and apparatus for implementing zoom using one or more moveable camera modules |
US10491806B2 (en) | 2015-08-03 | 2019-11-26 | Light Labs Inc. | Camera device control related methods and apparatus |
US10365480B2 (en) | 2015-08-27 | 2019-07-30 | Light Labs Inc. | Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices |
US9749549B2 (en) | 2015-10-06 | 2017-08-29 | Light Labs Inc. | Methods and apparatus for facilitating selective blurring of one or more image portions |
US20170171456A1 (en) * | 2015-12-10 | 2017-06-15 | Google Inc. | Stereo Autofocus |
US10225445B2 (en) | 2015-12-18 | 2019-03-05 | Light Labs Inc. | Methods and apparatus for providing a camera lens or viewing point indicator |
US10003738B2 (en) | 2015-12-18 | 2018-06-19 | Light Labs Inc. | Methods and apparatus for detecting and/or indicating a blocked sensor or camera module |
US10306218B2 (en) | 2016-03-22 | 2019-05-28 | Light Labs Inc. | Camera calibration apparatus and methods |
US9948832B2 (en) | 2016-06-22 | 2018-04-17 | Light Labs Inc. | Methods and apparatus for synchronized image capture in a device including optical chains with different orientations |
US10748244B2 (en) * | 2017-06-09 | 2020-08-18 | Samsung Electronics Co., Ltd. | Systems and methods for stereo content detection |
TWI678681B (zh) * | 2018-05-15 | 2019-12-01 | 緯創資通股份有限公司 | 產生深度圖的方法及其影像處理裝置與系統 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004289214A (ja) * | 2003-03-19 | 2004-10-14 | Minolta Co Ltd | 撮像装置 |
JP4755565B2 (ja) * | 2006-10-17 | 2011-08-24 | シャープ株式会社 | 立体画像処理装置 |
KR100778085B1 (ko) * | 2007-03-14 | 2007-11-22 | 주식회사 이시티 | 주시각 제어를 위한 입체 영상 신호의 처리 방법 및 장치 |
KR101345303B1 (ko) * | 2007-03-29 | 2013-12-27 | 삼성전자주식회사 | 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치 |
JP5047764B2 (ja) * | 2007-12-06 | 2012-10-10 | オリンパス株式会社 | 顕微鏡用撮影装置 |
JP5025532B2 (ja) * | 2008-03-12 | 2012-09-12 | キヤノン株式会社 | 撮影装置、撮像装置の制御方法及び撮像装置の制御プログラム |
JP2010097167A (ja) * | 2008-09-22 | 2010-04-30 | Fujinon Corp | オートフォーカス装置 |
-
2011
- 2011-04-08 GB GB1105973.0A patent/GB2489930A/en not_active Withdrawn
-
2012
- 2012-04-04 JP JP2012085594A patent/JP2012227924A/ja active Pending
- 2012-04-05 EP EP12163314.3A patent/EP2509326A3/en not_active Withdrawn
- 2012-04-06 US US13/441,431 patent/US8976229B2/en not_active Expired - Fee Related
- 2012-04-09 CN CN2012101041940A patent/CN102740095A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20120257013A1 (en) | 2012-10-11 |
EP2509326A2 (en) | 2012-10-10 |
GB2489930A (en) | 2012-10-17 |
EP2509326A3 (en) | 2014-03-19 |
US8976229B2 (en) | 2015-03-10 |
GB201105973D0 (en) | 2011-05-18 |
CN102740095A (zh) | 2012-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012227924A (ja) | 画像解析装置、画像解析方法及びプログラム | |
JP5515301B2 (ja) | 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体 | |
JP4861309B2 (ja) | 2.5dグラフィックスをレンダリングするためのゴースト・アーチファクト削減 | |
US7692640B2 (en) | Motion control for image rendering | |
JP5933931B2 (ja) | 設定メニューを表示する方法及び対応するデバイス | |
RU2692432C2 (ru) | Способ и устройство для формирования трехмерного изображения | |
US9838673B2 (en) | Method and apparatus for adjusting viewing area, and device capable of three-dimension displaying video signal | |
KR101055411B1 (ko) | 입체 영상 생성 방법 및 그 장치 | |
JP5734964B2 (ja) | ステレオスコープシネマ用のビューア中心ユーザインタフェース | |
WO2010084724A1 (ja) | 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体 | |
US20130002660A1 (en) | Stereoscopic video display device and operation method of stereoscopic video display device | |
KR20190138896A (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램 | |
CN101542536A (zh) | 用于合成三维图像的系统和方法 | |
JP2012518314A (ja) | 3d画像及びグラフィカル・データの結合 | |
US20120257816A1 (en) | Analysis of 3d video | |
JP5476910B2 (ja) | 画像生成装置、画像生成方法、および、プログラム | |
KR101198557B1 (ko) | 시청자세를 반영하는 3차원 입체영상 생성 시스템 및 방법 | |
EP2717247A2 (en) | Image processing apparatus and method for performing image rendering based on orientation of display | |
JP5396877B2 (ja) | 画像処理装置、プログラム、画像処理方法、および記録方法 | |
KR101797035B1 (ko) | 오버레이 영역의 3d 영상 변환 방법 및 그 장치 | |
CN105898338A (zh) | 全景视频播放方法及装置 | |
WO2019131160A1 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
JP2010226390A (ja) | 撮像装置および撮像方法 | |
JP2010226391A (ja) | 画像処理装置、プログラムおよび画像処理方法 | |
JPH09288735A (ja) | 画像処理装置 |