JP2014501086A - 立体画像取得システム及び方法 - Google Patents

立体画像取得システム及び方法 Download PDF

Info

Publication number
JP2014501086A
JP2014501086A JP2013540204A JP2013540204A JP2014501086A JP 2014501086 A JP2014501086 A JP 2014501086A JP 2013540204 A JP2013540204 A JP 2013540204A JP 2013540204 A JP2013540204 A JP 2013540204A JP 2014501086 A JP2014501086 A JP 2014501086A
Authority
JP
Japan
Prior art keywords
parallax
image acquisition
stereoscopic image
images
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013540204A
Other languages
English (en)
Inventor
レイ ソン
Original Assignee
深▲セン▼超多▲維▼光▲電▼子有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深▲セン▼超多▲維▼光▲電▼子有限公司 filed Critical 深▲セン▼超多▲維▼光▲電▼子有限公司
Priority to PCT/CN2010/079004 priority Critical patent/WO2012068724A1/zh
Publication of JP2014501086A publication Critical patent/JP2014501086A/ja
Application status is Pending legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof

Abstract

【課題】立体画像取得装置および制御装置を含む立体画像取得システムを提供する。
【解決手段】立体画像取得装置は、第1視差設定で少なくとも二枚の画像を取得して制御装置に送信する。制御装置は、少なくとも二枚の画像の視差を取得し、少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断し、予め定められた視差範囲内にない場合、制御装置が立体画像取得装置の第1視差設定を第2視差設定に変換し、第2視差設定を立体画像取得装置に送信する。さらに立体画像取得方法を提供する。本発明によれば、合理的な視差効果が得られるために、自動的に少なくとも二枚の画像の視差を取得し、立体画像取得装置の視差設定を変換することができることで、撮影者が撮影の初期においてよい立体画像を比較的容易に取得し、撮影の効果及び効率を向上させる。
【選択図】図5

Description

本発明は、画像取得システム及び方法に係り、特に立体画像取得システム及び方法に係る。

人間は、右目と左目で見た物体の些細な差異によって物体の奥行きを感知し、それにより立体画像を識別するが、このような差異が視差と称される。立体表示技術は、人為的な手段で人の左目と右目の視差を生じさせ、視差を有する二枚の画像(立体画像とも言われる)を左目、右目にそれぞれ送ることである。それにより、脳は、左目と右目が異なる二枚の画像を見たことを取得した後に、真実の三次元物体を見ているような感覚を生じる。

立体表示技術の迅速な発展につれて、立体画像取得システムがますます多くの人に注目され、研究し始められている。例えば、立体映像撮影システムにおいて、ハリウッド立体映画の莫大な興行成績により、立体映画撮影・製作の新しいブームを引き起こしている。

立体画像取得システムのハードウェア自身の制限から、立体画像取得中において、従来の立体画像取得システムは、多くの手動による校正作業が必要となり、しかも繰り返された試みによって合理的な状態になれる。したがって、多くの場合には、取得された立体画像の視差が不合理であり、立体画像の視差が不合理になると、鑑賞者の気分を悪くさせることを引き起こしやすい。視差が不合理となる場合、後期において校正が必要となり、または取得が必要となる。従来の立体画像取得方法において、立体モニタを通じて立体撮影効果をリアルタイムでモニタリングするのが一般的であり、立体モニタにおける撮影された立体画像とスクリーン上の立体画像との効果の間に差異があり、またはカメラ位置が不合理であることを発見した場合、経験に基づいて手動で調整する必要がある。監督とカメラマンに多くの制限を与えている。

したがって、従来の立体画像取得システムの問題は、合理的な視差設定を取得できるには立体画像取得装置を人によりに制御することが必要となるから、取得効果及び効率を低下させたことにある。

本発明は、立体画像取得システム及び方法、制御装置、および立体画像取得装置を提供することを目的とする。

立体画像取得方法において、立体画像取得装置は、第1視差設定で少なくとも二枚の画像を取得して制御装置に送信することと、制御装置は、少なくとも二枚の画像の視差を取得し、少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断することと、予め定められた視差範囲内にない場合、制御装置は、立体画像取得装置の第1視差設定を第2視差設定に変換し、第2視差設定を立体画像取得装置に送信することとを含む。

さらに、上記立体画像取得方法において、立体画像取得装置が第2視差設定に基づいて少なくとも二枚の画像を取得して制御装置に送信することを含む。

さらに、上記制御装置が上記立体画像取得装置の第1視差設定を第2視差設定に変換し、第2視差設定を立体画像取得装置に送信することは、制御装置が立体画像取得装置の第1視差設定を第2視差設定に変換することと、第2視差設定を制御信号の方式で立体画像取得装置に送信することとを含む。

さらに、上記立体画像取得装置が第1視差設定で少なくとも二枚の画像を取得して制御装置に送信する前に、制御装置が少なくとも二枚の画像の視差範囲を予め定めることを含む。

さらに、上記制御装置は、両眼立体整合または多眼立体整合によって少なくとも二枚の画像の視差を取得する。

さらに、上記少なくとも二枚の画像の視差が予め定められた視差範囲内にある場合、制御装置は、少なくとも二枚の画像を立体モニタに送信する。

立体画像取得装置の視差設定を調整するための制御装置において、立体画像取得装置が第1視差設定で取得した少なくとも二枚の画像の視差を取得するための視差取得モジュールと、少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断し、予め定められた視差範囲内にない場合、立体画像取得装置の第1視差設定を第2視差設定に変換し、第2視差設定を立体画像取得装置に送信するための視差変換モジュールとを含む。

さらに、上記第2視差設定が制御信号の方式で立体画像取得装置に送信される。

さらに、上記制御装置は、予め定められた視差範囲を記憶するための記憶モジュールを含む。

さらに、上記視差取得モジュールは、両眼立体整合または多眼立体整合によって少なくとも二枚の画像の視差を取得する。

少なくとも二枚の画像を取得するための立体結像モジュールと、立体結像モジュールが第1視差設定で取得した少なくとも二枚の画像の視差を取得するための視差取得モジュールと、少なくとも二枚の画像の視差が予め定められた視差範囲内にあるか判断し、予め定められた視差範囲内にない場合、立体結像モジュールの第1視差設定を第2視差設定に変換し、第2視差設定を立体結像モジュールに送信するための視差変換モジュールとを含む立体画像取得装置。

さらに、上記立体画像取得装置は、立体結像モジュールが取得した少なくとも二枚の画像を表示するための立体表示モジュールを含む。

さらに、上記立体画像取得装置は、第2視差設定を受信し、第2視差設定に基づいて、立体結像モジュールによる少なくとも二枚の画像の取得を制御するための立体結像サーボ回路を含む。

さらに、上記第2視差設定が制御信号の方式で立体結像サーボ回路に送信される。

立体画像取得システムにおいて、立体画像取得装置および制御装置を含む。立体画像取得装置は、第1視差設定で少なくとも二枚の画像を取得して制御装置に送信する。制御装置は、少なくとも二枚の画像の視差を取得し、少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断し、予め定められた視差範囲内にない場合、制御装置は、立体画像取得装置の第1視差設定を第2視差設定に変換し、第2視差設定を立体画像取得装置に送信する。

さらに、上記立体画像取得装置は、第2視差設定に基づいて少なくとも二枚の画像を取得して制御装置に送信する。

さらに、上記立体画像取得システムは、立体画像取得装置が取得した少なくとも二枚の画像を表示するための立体モニタを含む。

さらに、上記立体画像取得装置は、映像インタフェースと、映像インタフェースに接続される立体結像モジュールと、制御装置および立体結像モジュールに接続される立体結像サーボ回路とを含む。立体結像モジュールは、少なくとも二枚の画像を取得し、少なくとも二枚の画像を映像インタフェースを介して制御装置に送信する。立体結像サーボ回路は、第2視差設定を受信し、第2視差設定に基づいて立体結像モジュールを制御する。

さらに、上記第2視差設定が制御信号の方式で立体結像サーボ回路に送信される。

さらに、上記立体結像サーボ回路は、制御インタフェースと、復号回路と、結像制御モジュールとを含む。制御インタフェースは、制御装置に接続され、制御装置から送信される制御信号を受信する。復号回路が、制御インタフェースに接続され、制御信号の復号を行ない、復号後の制御信号を結像制御モジュールに送信する。結像制御モジュールは、復号後の制御信号に基づいて、立体結像モジュールによる少なくとも二枚の画像の取得を制御する。

本発明によれば、合理的な視差効果を取得するために、少なくとも二枚の画像の視差を自動的に取得して校正することができることで、撮影者が撮影の初期においてよい立体画像を比較的容易に得ることができ、撮影の効果及び効率を向上させる。

両眼立体映像撮影の原理図である。 本発明の立体画像取得システムの一実施例の構成の模示図である。 本発明において立体画像取得装置の第1視差設定を第2視差設定に変換することを示す模示図である。 本発明の制御装置の一実施例の構成の模示図である。 本発明の制御装置の別の実施例の構成の模示図である。 本発明の立体画像取得装置の一実施例の構成の模示図である。 本発明の立体画像取得装置の別の実施例の構成の模示図である。 立体画像取得方法の一実施例のフローを示す図である。

以下、図面と実施例を合わせて本発明について詳細な説明をする。
本発明の立体画像取得システム及び方法は、両眼立体映像撮影方式に適用できるのみならず、多眼立体映像撮影方式にも適用する。両眼立体映像撮影方式では、視差を有する二枚の画像を撮影できるが、多眼立体映像撮影方式では、視差を有する複数枚の画像を撮影できる。本発明は、主に両眼立体映像撮影方式を以って説明する。当業者は、両眼立体映像撮影方式に基づき、多眼立体映像撮影方式に応用することができる。立体画像取得装置は、水平設置方式または集束設置方式を採用して撮影することができる。本発明において、まず立体画像取得装置が取得した少なくとも二枚の画像の視差範囲を予め定める。その後の撮影工程において、立体画像取得装置が取得した少なくとも二枚の画像の視差が合理的なものであるかを、該予め定められた視差範囲に基づいて判断する。該視差範囲が、実際状況に応じて設定可能である。立体画像取得装置が取得した画像の視差は、予め定められた視差範囲にない場合、不合理であることを示す。このとき、立体画像取得装置の視差設定を校正する必要がある。該視差設定は、視差設定パラメータであってもよいし、視差設定信号であってもよい。

図1は、両眼立体映像撮影の原理図である。両眼立体映像撮影において、角度aと水平離隔距離dは、立体画像取得装置が画像を取得するときの視差設定である。図1の右側図面に示すように、立体画像取得装置が水平に設置されているとき、水平離隔距離dのみに関連し、このとき角度aが0である。図1の左側図面に示すように、立体画像取得装置が集束設置であるとき、角度aと水平離隔距離dの両方に関連する。集束設置方式で本発明の実施例を説明する。

図2は、本発明の立体画像取得システムの一実施例の構成の模示図である。
本発明の立体画像取得システムは、立体モニタ20と、立体画像取得装置22と、立体モニタ20および立体画像取得装置22に接続される制御装置21とを含む。本実施例において、立体画像取得装置22と制御装置21とが、映像採集線と制御線で接続されてよく、制御装置21と立体モニタ20とが、映像表示線で接続されてよい。映像採集線と映像表示線が、少なくとも二枚の視差を有する画像の伝送に用いられることができ、制御線は、制御信号の方式で送信される視差設定に用いることができる。立体画像取得装置22は、立体カメラ、立体撮影機、または立体撮像機である。映像採集線は、USBであってよく、制御線は、USB線かIEEE 1394バスであり、映像表示線は、HDMI(登録商標)線かDVI線であり、映像および音声信号を同時に伝送できればよい。

立体モニタ20は、裸眼立体モニタか眼鏡式立体モニタであり、立体画像取得装置22が取得した画像を表示する。

立体画像取得装置22は、第1視差設定で少なくとも二枚の画像を取得して制御装置21に送信する。レンズの数から言うと、立体画像取得装置22は、多レンズ立体画像取得装置か、両レンズ立体画像取得装置である。これに対応して立体画像取得装置22が取得する画像は、視差を有する少なくとも二枚の画像か、視差を有する複数枚の画像である。立体画像取得装置22は、立体撮像機、立体撮影機、または立体カメラなどの立体画像取得機能付きの装置である。

制御装置21は、少なくとも二枚の画像の視差を取得し、該少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断し、予め定められた視差範囲内にある場合、少なくとも二枚の画像を立体モニタ20に送信し、予め定められた視差範囲内にない場合、立体画像取得装置22の第1視差設定を第2視差設定に変換し、第2視差設定を立体画像取得装置22に送信する。立体画像取得装置22は、さらに第2視差設定に基づいて少なくとも二枚の画像を取得して制御装置21に送信する。本発明において、該予め定められた視差範囲が、予め制御装置21に記憶される。視差範囲は、水平離隔距離の範囲および/または角度の範囲を含んでよい。第1視差設定のパラメータが、第2視差設定のパラメータより大きい可能性もあるし、第2視差設定のパラメータより小さい可能性もある。該予め定められた視差範囲は、連続的な数値範囲であってもよいし、離散した数値範囲であってもよい。たとえば、水平離隔距離dの予め定められた範囲が、51mm〜65mmの任意の数値に設定されてもよく、またはdが51mm〜65mmの整数値に等しい。これに対応して、角度aの予め定められた範囲は、連続的な数値範囲であってもよいし、離散した数値範囲であってもよい。

図3は、本発明における立体画像取得装置22の第1視差設定を第2視差設定に変換することを示す模示図である。図3において、左側の図面は、制御装置21が取得した画像の視差であり、それぞれd、aである。対応する立体画像取得装置22の第1視差設定も対応的にd、aである。予め定められた視差範囲に比較し、第1視差設定dとaはともに予め定められた視差範囲の最大値より大きければ、立体画像取得装置22の視差設定d、aをそれぞれ第2視差設定d1、a1に変換し(図3の真中の図面を参照する)、このように取得した画像が対応的にd1、a1になる。逆に、第1視差設定dとaはともに予め定められた視差範囲の最小値より小さければ、立体画像取得装置22の第1視差設定d、aをそれぞれ第2視差設定d2、a2に変換し(図3の右側の図面を参照する)、このように取得した画像の視差が対応的にd2、a2になる。

図4は、本発明の制御装置21の一実施例の構成の模示図である。
本実施例において、制御装置21は、例えばパソコンなどの計算能力を有するデータ処理装置である。制御装置は、プロセッサ302、RAM304、ROM306、通信インタフェース308、入出力インタフェース310および駆動ユニット312を含んでよい。本実施例における制御装置21は、実際の状況に応じてその他の素子を追加し、または上記素子を削除することもでき、本発明により提起される技術問題を解決でき、所望の技術効果を達成することができればよい。

プロセッサ302は、中央処理ユニット(Central Processing Unit,CPU)、グラフィック処理ユニット(Graphic Processing Unit,GPU)、通常のマイクロプロセッサ、デジタル信号プロセッサ(Digital Signal Processor,DSP)、マイクロコントローラ、または専用集積回路(Application Specific Integrated Circuit,ASIC)である。プロセッサ302は、一連のコンピュータプログラム指令を実行可能である。コンピュータプログラム指令は、ROM306からRAM304にロードされ、プロセッサ302に実行される。通信インタフェース308に提供される通信接続により、制御装置21に遠隔地からアクセスできる。制御装置21は、通信インタフェース308を経由してコンピュータネットワークまたは通信ネットワークに接続して他のシステムに接続できる。入出力インタフェース310は、ユーザが入力した情報を受信でき、または関連情報をユーザに提供できる。例えば入出力インタフェース310はリモートコントローラ、キーボード、マウス、タッチボード、音声通信装置またはその他の光学か無線入力デバイスなどの各種類の表示デバイスである。駆動ユニット312は、各種類の駆動回路であり、異なる装置を駆動する。

さらに、図5は、本発明の制御装置21の別の実施例の構成の模示図である。制御装置21が立体画像取得装置22の視差設定を調整するために用いられる。制御装置21は、記憶モジュール210、視差取得モジュール211、および視差変換モジュール212を含む。

記憶モジュール210は、予め定められた視差範囲を記憶する。予め定められた視差範囲は、水平離隔距離の範囲および/または角度の範囲を含んでよい。第1視差設定のパラメータが、第2視差設定のパラメータより大きい可能性もあるし、第2視差設定のパラメータより小さい可能性もある。該予め定められた視差範囲は、連続的な数値範囲であってもよいし、離散した数値範囲であってもよい。たとえば、水平離隔距離dの予め定められた範囲が、51mm〜65mmの任意の数値に設定されてもよく、またはdが51mm〜65mmの整数値に等しい。これに対応して角度aの予め定められた範囲は、連続的な数値範囲であってもよいし、離散した数値範囲であってもよい。

視差取得モジュール211は、立体画像取得装置22が第1視差設定で取得した少なくとも二枚の画像の視差を取得する。視差変換モジュール212は、少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断し、予め定められた視差範囲内にある場合、上記少なくとも二枚の画像を立体モニタ20に送信して表示する。予め定められた視差範囲内にない場合、立体画像取得装置22の第1視差設定を第2視差設定に変換し、第2視差設定を立体画像取得装置22に送信する。第2視差設定が制御信号の方式で立体画像取得装置22に送信される。本発明の視差設定は、視差設定パラメータまたは視差設定信号である。

視差取得モジュール211は、両眼立体整合または多眼立体整合によって少なくとも二枚の画像の視差を取得できる。本発明の実施例における両眼立体整合は、領域に基づく両眼立体整合と特徴に基づく両眼立体整合を含み、多眼立体整合は、水平多眼立体整合、直交三眼立体整合、任意配列の三眼立体整合および直交多眼立体整合を含む。視差は、相対的視差であってもよいし、絶対的視差であってもよい。視差取得モジュール211が相対的視差を取得した後に、相対的視差を絶対的視差に変換してもよい。

視差取得モジュール211は、領域に基づく両眼立体整合で視差を取得する場合、まず立体画像取得装置22が取得した画像のうちの一枚の画像(例えば左側図面)において、実際な物理構造に対応する画像特徴を選択し、それから、別の画像(例えば右側図面)において、同一物理構造に対応する画像特徴を特定し、最後に、二枚の画像の同一画像特徴間の相対的な位置を特定して、相対的な視差を取得する。

視差取得モジュール211は、領域に基づく多眼立体整合で視差を取得する場合、局部ウィンドウ整合方法を採用して、画像の色情報(階調情報)に基づいて、ウィンドウ領域の類似度を利用して整合し、適応的画素特異測定(self-adapting dissimilarity measure)を用いて類似度測定関数とすることができる。適応的画素特異測定は、絶対誤差和(SAD)と絶対勾配差分の二つの要素を合わせており、高いロバスト性を有する。適応的画素特異測定関数が下記のように定義される。
ただし、
ただし、N(x,y)は、整合点(x,y)を中心画素とする5×5ウィンドウであり、
は、画像勾配の水平成分であり、
は、画像勾配の垂直成分であり、
は、重みである。

それから、双方向整合を用いて誤整合点を除去する。具体的に下記のとおりである。
整合工程中に整合の精度を高めるために、本発明において、双方向整合ポリシーを採用する。例えばまず左画像を参考画像、右画像を目的画像とし、左から右へ整合することにより左から右への視差場を得る。次に右画像を参考画像、左画像を目的画像とし、右から左へ整合することにより右から左への視差場を得る。左から右への整合と右から左への整合とがいずれも同一シーンの物体に対して整合するため、非遮蔽領域の対応画素の視差は、正負の相違を有するのみであり、視差値が等しい。二枚の視差図に一致しない箇所が遮蔽などにより引き起こされる誤整合である。誤整合を除去するために、左から右への視差図をdLR、右から左への視差図をdRLと設定し、左図面上の画素(xL,y)と右図面上の画素(xR,y)とはペアとなる整合点であり、該画素点の左右視差図における視差値は、それぞれdLR(xL,y)、dRL(xR,y)となる。本実施例において立体整合が行われた画像には水平視差しか存在せず、下記式で誤整合点を除去することができる。

ただし、xR=xL+dLR(xL,y)。二枚の視差図における対応点の視差誤差が式
(λ:許容の視差誤差閾値)を満する場合、対応点の視差整合が正しいことを示す。視差誤差が式
を満足しない場合、該点が誤整合点であることを示し、該点の視差値を0とする。

続いて、視差図の融合を行う。具体的に以下のとおりである。
以上二つの工程により、二枚の互いに独立する視差図を得た。ただし、すべての誤整合点に0と与えられ、視差情報がない。続いて視差画像を融合する方法で、0とする画素点の視差情報を補充する。融合方式は以下のとおりである。

ただし、I(x,y)は、最終的に合成された参考画像視差図であり、ILI(x,y)、IRI(x,y)は、それぞれ参考画像とその近隣の左右二枚の画像との整合により得られた視差図である。
は、閾値であり、tは、カメラの外部パラメータ行列におけるシフトベクトルである。

最後に、視差図の最適化を行う。具体的に以下のとおりである。
上記の局部ウィンドウ整合により得られた初期視差図には依然として多くの空白値(outlier)が存在する。したがって、それに対して最適化を行う必要がある。本発明は、参考画像における各色分割領域内の視差値が等しいと仮定し、各分割領域に対して、対応する視差を与える。言い換えれば、分割領域内の全ての画素の中間視差値を全分割領域の視差とし、数学的に下記式のように表される。

上記工程を経て、各画素の視差値を得ることができ、さらに、該各画素の視差値から高品質で高密度の視差図を得ることができる。

図6は、本発明の立体画像取得装置22の一実施例の構成の模示図である。
立体画像取得装置22は、映像インタフェース220と、立体結像モジュール221と、立体結像サーボ回路223とを含む。立体結像モジュール221は、映像インタフェース220に接続し、少なくとも二枚の画像を取得し、該少なくとも二枚の画像を映像インタフェース220を介して制御装置21に送信する。立体結像サーボ回路223は、制御装置21および立体結像モジュール221に接続し、第2視差設定を受信し、第2視差設定に基づいて立体結像モジュール221を制御する。本実施例において、映像インタフェース220は、映像採集線を介して制御装置21に接続する。第2視差設定が制御信号の方式で立体結像サーボ回路223に送信される。

立体結像サーボ回路223は、制御インタフェース2230と、復号回路2231と、結像制御モジュール2232とを含む。

制御インタフェース2230は、USBインタフェースであっても良いし、IEEE 1394インタフェースであってもよい。

制御インタフェース2230は、制御装置21に接続し、制御装置21から送信された制御信号を受信する。

復号回路2231は、制御インタフェース2230に接続し、制御信号の復号を行ない、復号後の制御信号を結像制御モジュール2232に送信する。

結像制御モジュール2232は、復号回路2231に接続し、復号後の制御信号に基づいて、立体結像モジュール221による少なくとも二枚の画像の取得を制御する。本発明において、結像制御モジュール2232と復号回路とは、I2Cバス、UARTバス、またはRS232バスで接続される。復号回路2231は、USB信号またはIEEE 1394信号を、I2C信号、UART信号、またはRS232信号に変換して結像制御モジュール2232に送信する。該I2C信号、UART信号、またはRS232信号は、視差設定の具体的なパラメータ値を含む。

本発明の立体画像取得システムの動作原理は、以下のとおりである。
制御装置21は、立体画像取得装置22が取得した少なくとも二枚の画像を映像表示線を介して受信して、視差取得モジュール211を通じて少なくとも二枚の画像の視差を取得し、少なくとも二枚の画像の視差を視差変換モジュール212に送信する。視差変換モジュール212は、記憶モジュール210に記憶される予め定められた視差範囲に基づいて、上記少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断する。予め定められた視差範囲内にある場合、上記少なくとも二枚の画像を直接立体モニタ20に送信して表示する。予め定められる視差範囲内にない場合、立体画像取得装置22の第1視差設定を第2視差設定に変換し、第2視差設定を制御信号の方式で制御線を介して制御インタフェース2230に送信する。制御インタフェース2230は、該制御信号を復号回路2231に送信する。復号回路2231は、制御信号の復号を行ない、復号後の制御信号を結像制御モジュール2232に送信する。結像制御モジュール2232は、該制御信号の制御により、立体結像モジュール221の第2視差設定に基づく少なくとも二枚の画像の取得を制御する。

本実施例における立体画像取得システムは、制御装置21の視差取得モジュール211及び視差変換モジュール212を通じて、視差の取得および視差設定の変換を自動的に行い、立体画像取得装置22に設置される結像制御モジュール2232、制御インタフェース2230および復号回路2231と合わせて、視差変換モジュール212から送信される制御信号を受信し、該制御信号に基づいて、立体結像モジュール221による少なくとも二枚の画像の取得を制御し、最終的に視差の自動取得及び視差自動変換を実現する。したがって、本実施例における立体画像取得システムは、従来の立体映像撮影システムに比較して、取得した立体映像画像にはより合理的な視差を有し、撮影者が撮影初期においてよい立体画像を比較的に容易に取得でき、後期の撮り直しまたは視差調整を行う必要がないため、撮影効率及び撮影の効果を向上させる。

図7は、本発明の立体画像取得装置22の別の実施例の構成の模示図である。
本実施例において、立体画像取得装置22には制御装置21および立体モニタ20が集積されており、すなわち、立体画像取得装置22自身が少なくとも二枚の画像の視差の取得、視差設定の変換、および立体表示などの機能を有する。具体的に、立体画像取得装置22は、立体表示モジュール200、記憶モジュール210、視差取得モジュール211、視差変換モジュール212、立体結像モジュール221、および立体結像サーボ回路223を含む。

立体結像モジュール221は、少なくとも二枚の画像を取得する。立体表示モジュール200は、立体結像モジュール221が取得した少なくとも二枚の画像を表示する。記憶モジュール210は、視差変換モジュール212に接続し、予め定められた視差範囲を記憶する。視差取得モジュール211は、立体結像モジュール221および視差変換モジュール212に接続し、立体結像モジュールが第1視差設定で取得した少なくとも二枚の画像の視差を取得する。視差変換モジュール212は、立体表示モジュール200、視差取得モジュール211、記憶モジュール210、および立体結像サーボ回路223に接続し、少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断する。予め定められる視差範囲内にない場合、立体結像モジュール221の第1視差設定を第2視差設定に変換し、第2視差設定を立体結像モジュール221に送信する。予め定められる視差範囲内にある場合、上記少なくとも二枚の画像を立体表示モジュール200に送信して表示する。立体結像サーボ回路223は、視差変換モジュール212および立体結像モジュール221に接続し、第2視差設定を受信し、第2視差設定に基づいて、立体結像モジュール221による少なくとも二枚の画像の取得を制御する。本実施例において、第2視差設定が制御信号の方式で立体結像サーボ回路223に送信される。

さらに、立体画像取得装置22は、図4に示すプロセッサ302、RAM304、ROM306、通信インタフェース308、入出力インタフェース310、および駆動ユニット312を含んでよい。上記モジュールの接続関係及び機能は、図3におけるものとは同一であり、ここでは贅言しない。

対応的に、上記立体画像取得システムの動作原理は、立体画像取得装置22に制御装置21および立体モニタ20が集積される場合にも適用し、ここでは贅言しない。なお、立体画像取得装置22に制御装置21および立体モニタ20が集積される場合、映像インタフェース220、制御インタフェース2230および復号回路2231を含まなくてもよい。

本実施例における立体画像取得装置は、視差取得モジュール211及び視差変換モジュール212を通じて、視差の取得および視差の変換を自動的に行い、立体結像サーボ回路223を通じて、視差変換モジュール212から送信された制御信号を受信し、該制御信号に基づいて、立体結像モジュール221による少なくとも二枚の画像の取得を制御し、最終的に視差の自動取得及び視差の自動変換を実現する。したがって、本実施例における立体画像取得装置22が、従来の立体画像取得装置に比較して、取得された立体映像画像にはより合理的な視差を有し、撮影者が撮影初期においてよい立体画像を比較的に容易に取得でき、後期の撮り直しまたは視差調整を行う必要がないため、撮影効率及び撮影の効果を向上している。

図8は、立体画像取得方法の一実施例のフローを示す図である。
ステップ601において、制御装置21は、少なくとも二枚の画像の視差範囲を予め定める。

本実施例において、まず制御装置21が少なくとも二枚の画像の視差範囲を予め定めるが、定められる視差は水平離隔距離および/または角度を含む。その後の工程において、制御装置21は、立体画像取得装置22が取得した少なくとも二枚の画像の視差が合理的なものであるかを、該予め定められる視差範囲に基づいて判断できる。該視差範囲が実際状況に応じて設定可能であり、例えば定められた水平離隔距離が人の目の瞳孔間の距離より大きく定められる。立体画像取得装置22が取得した少なくとも二枚の画像の視差が人の目の瞳孔間の距離より小さい場合、不合理であることを示し、このとき、立体画像取得装置22の視差設定を変換する必要がある。

ステップ602において、立体画像取得装置22は、第1視差設定で少なくとも二枚の画像を取得して制御装置21に送信する。

立体画像取得装置22が取得した少なくとも二枚の画像は、視差を有する二枚の画像か、視差を有する複数枚の画像である。

ステップ603において、制御装置21は、少なくとも二枚の画像の視差を取得する。

本実施例において、制御装置21は、両眼立体整合または多眼立体整合によって少なくとも二枚の画像の視差を取得できる。本発明の実施例における両眼立体整合は、領域に基づく両眼立体整合と特徴に基づく両眼立体整合を含み、多眼立体整合は、水平多眼立体整合、直交三眼立体整合、任意配列の三眼立体整合および直交多眼立体整合を含む。画像の視差は、相対的な視差であってもよいし、絶対的な視差であってもよい。視差取得モジュール211が相対的な視差を取得した後に、相対的な視差を絶対的な視差に変換してもよい。

例えば、視差取得モジュール211は、領域に基づく両眼立体整合で視差を取得する場合、まず立体画像取得装置22が取得した画像のうちの一枚の画像(例えば左側図面)において、実際物理構造に対応する画像特徴を選択し、それから、別の画像(例えば右側図面)において、同一物理構造に対応する画像特徴を特定し、最後に、二枚の画像の特徴間の相対的な位置を特定し、相対的な視差を取得する。

ステップ604において、制御装置21は、少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断する。予め定められた視差範囲内にある場合、ステップ607へ進むが、予め定められた視差範囲内にない場合、ステップ605へ進む。

ステップ605において、制御装置21は、立体画像取得装置22の第1視差設定を第2視差設定に変換し、第2視差設定を立体画像取得装置22に送信する。

具体的に、制御装置21は、まず立体画像取得装置22の第1視差設定を第2視差設定に変換し、第2視差設定を制御信号の方式で立体画像取得装置22に送信する。

ステップ606において、立体画像取得装置22は、第2視差設定に基づいて少なくとも二枚の画像を取得して制御装置21に送信する。

ステップ607において、制御装置21は、少なくとも二枚の画像を立体モニタ20に送信する。

本発明による立体画像取得方法は、立体画像取得装置22が取得した少なくとも二枚の画像の視差を自動的に取得して変換し、合理的な視差効果を得ることにより、撮影者が撮影初期においてよい立体画像を比較的に容易に取得でき、撮影の効率及び効果を向上させる。

上記の実施例において、本発明について例示的に説明したが、当業者が本特許出願を読んだ上、本発明の主旨と範囲を逸脱することなく本発明に対して各種の修正を行うことができる。

Claims (20)

  1. 立体画像取得方法において、
    立体画像取得装置は、第1視差設定で少なくとも二枚の画像を取得して制御装置に送信することと、
    制御装置は、上記少なくとも二枚の画像の視差を取得し、上記少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断することと、
    予め定められた視差範囲内にない場合、制御装置は、上記立体画像取得装置の第1視差設定を第2視差設定に変換し、第2視差設定を立体画像取得装置に送信することとを含むことを特徴とする。
  2. 立体画像取得装置は、上記第2視差設定に基づいて少なくとも二枚の画像を取得して制御装置に送信することをさらに含むことを特徴とする請求項1に記載の立体画像取得方法。
  3. 上記制御装置が上記立体画像取得装置の第1視差設定を第2視差設定に変換し、第2視差設定を立体画像取得装置に送信することは、
    制御装置が上記立体画像取得装置の第1視差設定を第2視差設定に変換することと、
    第2視差設定を制御信号の方式で立体画像取得装置に送信することとを含むことを特徴とする請求項1に記載の立体画像取得方法。
  4. 上記立体画像取得装置が第1視差設定で少なくとも二枚の画像を取得して制御装置に送信する前に、
    上記制御装置は、少なくとも二枚の画像の視差範囲を予め定めることを含むことを特徴とする請求項1に記載の立体画像取得方法。
  5. 上記制御装置は、両眼立体整合または多眼立体整合によって少なくとも二枚の画像の視差を取得することを特徴とする請求項1〜4のいずれか一項に記載の立体画像取得方法。
  6. 上記少なくとも二枚の画像の視差が予め定められた視差範囲内にある場合、制御装置は、上記少なくとも二枚の画像を立体モニタに送信することを特徴とする請求項1に記載の立体画像取得方法。
  7. 立体画像取得装置の視差設定を調整するための制御装置において、
    立体画像取得装置が第1視差設定で取得した少なくとも二枚の画像の視差を取得するための視差取得モジュールと、
    上記少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断し、予め定められた視差範囲内にない場合、上記立体画像取得装置の第1視差設定を第2視差設定に変換し、上記第2視差設定を立体画像取得装置に送信するための視差変換モジュールとを含むことを特徴とする。
  8. 上記第2視差設定が制御信号の方式で立体画像取得装置に送信されることを特徴とする請求項7に記載の制御装置。
  9. 予め定められた視差範囲を記憶するための記憶モジュールをさらに含むことを特徴とする請求項7に記載の制御装置。
  10. 上記視差取得モジュールは、両眼立体整合または多眼立体整合によって少なくとも二枚の画像の視差を取得することを特徴とする請求項7〜9のいずれか一項に記載の制御装置。
  11. 少なくとも二枚の画像を取得するための立体結像モジュールを含む立体画像取得装置において、
    立体結像モジュールが第1視差設定で取得した上記少なくとも二枚の画像の視差を取得するための視差取得モジュールと、
    上記少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断し、予め定められた視差範囲内にない場合、上記立体結像モジュールの第1視差設定を第2視差設定に変換し、上記第2視差設定を立体結像モジュールに送信するための視差変換モジュールとを含むことを特徴とする。
  12. 立体結像モジュールが取得した少なくとも二枚の画像を表示するための立体表示モジュールをさらに含むことを特徴とする請求項11に記載の立体画像取得装置。
  13. 第2視差設定を受信し、第2視差設定に基づいて、立体結像モジュールによる少なくとも二枚の画像の取得を制御するための立体結像サーボ回路をさらに含むことを特徴とする請求項11または12に記載の立体画像取得装置。
  14. 上記第2視差設定が制御信号の方式で立体結像サーボ回路に送信されることを特徴とする請求項11または12に記載の立体画像取得装置。
  15. 立体画像取得装置および制御装置を含む立体画像取得システムにおいて、
    上記立体画像取得装置は、第1視差設定で少なくとも二枚の画像を取得して制御装置に送信し、
    上記制御装置は、上記少なくとも二枚の画像の視差を取得し、上記少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断し、予め定められた視差範囲内にない場合、制御装置が上記立体画像取得装置の第1視差設定を第2視差設定に変換し、第2視差設定を立体画像取得装置に送信することを特徴とする。
  16. 上記立体画像取得装置は、第2視差設定に基づいて少なくとも二枚の画像を取得して制御装置に送信することを特徴とする請求項15に記載の立体画像取得システム。
  17. 立体画像取得装置が取得した少なくとも二枚の画像を表示するための立体モニタをさらに含むことを特徴とする請求項15または16に記載の立体画像取得システム。
  18. 上記立体画像取得装置は、映像インタフェースと、映像インタフェースに接続される立体結像モジュールと、制御装置および立体結像モジュールに接続される立体結像サーボ回路とを含み、
    上記立体結像モジュールは、少なくとも二枚の画像を取得し、上記少なくとも二枚の画像を映像インタフェースを介して制御装置に送信し、
    上記立体結像サーボ回路は、第2視差設定を受信し、第2視差設定に基づいて立体結像モジュールを制御することを特徴とする請求項17に記載の立体画像取得システム。
  19. 上記第2視差設定が制御信号の方式で立体結像サーボ回路に送信されることを特徴とする請求項17に記載の立体画像取得システム。
  20. 立体結像サーボ回路は、制御インタフェースと、復号回路と、結像制御モジュールとを含み、
    上記制御インタフェースが、制御装置に接続され、制御装置から送信される制御信号を受信し、
    上記復号回路が、制御インタフェースに接続され、制御信号の復号を行ない、復号後の制御信号を結像制御モジュールに送信し、
    上記結像制御モジュールは、復号後の制御信号に基づいて、立体結像モジュールによる少なくとも二枚の画像の取得を制御することを特徴とする請求項19に記載の立体画像取得システム。
JP2013540204A 2010-11-23 2010-11-23 立体画像取得システム及び方法 Pending JP2014501086A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/079004 WO2012068724A1 (zh) 2010-11-23 2010-11-23 立体图像获取系统及方法

Publications (1)

Publication Number Publication Date
JP2014501086A true JP2014501086A (ja) 2014-01-16

Family

ID=46064002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013540204A Pending JP2014501086A (ja) 2010-11-23 2010-11-23 立体画像取得システム及び方法

Country Status (4)

Country Link
US (1) US8659644B2 (ja)
JP (1) JP2014501086A (ja)
CN (1) CN103238337B (ja)
WO (1) WO2012068724A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130008334A (ko) * 2011-07-12 2013-01-22 삼성전자주식회사 입체 영상 표시 제어를 위한 주시각 제어 방법 및 이를 지원하는 단말기
CN103795999B (zh) * 2013-11-26 2016-01-20 深圳市唯特视科技有限公司 一种生成立体图像的方法和系统
US9366493B2 (en) 2014-01-08 2016-06-14 Trackingpoint, Inc. Precision guided handgun and method
KR20160010120A (ko) 2014-07-18 2016-01-27 삼성전자주식회사 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법
KR20160060358A (ko) 2014-11-20 2016-05-30 삼성전자주식회사 스테레오 영상 매칭 방법 및 장치
US9683834B2 (en) 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
CN106228530B (zh) * 2016-06-12 2017-10-10 深圳超多维光电子有限公司 一种立体摄影方法、装置及立体摄影设备
CN106228613B (zh) * 2016-06-12 2017-11-24 深圳超多维光电子有限公司 一种虚拟立体场景的构建方法、装置及立体显示设备
CN106251403B (zh) * 2016-06-12 2018-02-16 深圳超多维光电子有限公司 一种虚拟立体场景实现的方法、装置和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07167633A (ja) * 1993-08-26 1995-07-04 Matsushita Electric Ind Co Ltd 立体画像撮像及び表示装置
JPH10191396A (ja) * 1996-12-26 1998-07-21 Matsushita Electric Ind Co Ltd 中間視点画像生成方法および視差推定方法および画像伝送方法
JP2004221700A (ja) * 2003-01-09 2004-08-05 Sanyo Electric Co Ltd 立体画像処理方法および装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0888017A2 (en) * 1993-08-26 1998-12-30 Matsushita Electric Industrial Co., Ltd. Stereoscopic image display apparatus and related system
US7113634B2 (en) * 2001-07-31 2006-09-26 Canon Kabushiki Kaisha Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program
EP2381691B1 (en) * 2002-03-27 2015-05-13 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
KR100768837B1 (ko) * 2003-04-17 2007-10-19 샤프 가부시키가이샤 3차원 화상 작성 장치, 3차원 화상 재생 장치, 3차원 화상 처리 장치, 3차원 화상 처리 프로그램을 기록한 기록 매체
JP2005073049A (ja) * 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
JP4692849B2 (ja) * 2007-01-09 2011-06-01 富士フイルム株式会社 立体画像記録装置および立体画像記録方法
US8913108B2 (en) * 2008-10-10 2014-12-16 Koninklijke Philips N.V. Method of processing parallax information comprised in a signal
JP4748251B2 (ja) * 2009-05-12 2011-08-17 パナソニック株式会社 映像変換方法および映像変換装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07167633A (ja) * 1993-08-26 1995-07-04 Matsushita Electric Ind Co Ltd 立体画像撮像及び表示装置
JPH10191396A (ja) * 1996-12-26 1998-07-21 Matsushita Electric Ind Co Ltd 中間視点画像生成方法および視差推定方法および画像伝送方法
JP2004221700A (ja) * 2003-01-09 2004-08-05 Sanyo Electric Co Ltd 立体画像処理方法および装置

Also Published As

Publication number Publication date
US8659644B2 (en) 2014-02-25
CN103238337B (zh) 2016-03-16
CN103238337A (zh) 2013-08-07
US20120127271A1 (en) 2012-05-24
WO2012068724A1 (zh) 2012-05-31

Similar Documents

Publication Publication Date Title
US8879824B2 (en) Method and apparatus for processing three-dimensional images
US8446459B2 (en) Video communication method, device, and system
US8436893B2 (en) Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images
CN101636747B (zh) 二维/三维数字信息获取和显示设备
DE69534763T2 (de) Vorrichtung zur Darstellung stereoskopischer Bilder und Bildaufnahmevorrichtung dafür
US8629870B2 (en) Apparatus, method, and program for displaying stereoscopic images
JP5561781B2 (ja) 2d画像データを立体画像データに変換する方法およびシステム
JP5763184B2 (ja) 3次元画像に対する視差の算出
EP2549762B1 (en) Stereovision-image position matching apparatus, stereovision-image position matching method, and program therefor
EP2357840A2 (en) Method and apparatus for processing three-dimensional images
US20070248260A1 (en) Supporting a 3D presentation
CA2723627C (en) System and method for measuring potential eyestrain of stereoscopic motion pictures
EP0751689A2 (en) Stereoscopic image generating apparatus and display therefor
KR101185870B1 (ko) 3d 입체 영상 처리 장치 및 방법
US8885922B2 (en) Image processing apparatus, image processing method, and program
JP5014979B2 (ja) 個人用電子機器の3次元情報取得及び表示システム
JP2005353047A (ja) 立体画像処理方法および立体画像処理装置
JP2009516447A (ja) 3次元画像データを生成、転送および処理するための方法および装置
US20080199070A1 (en) Three-dimensional image display apparatus and method for enhancing stereoscopic effect of image
KR101313740B1 (ko) 원소스 멀티유즈 스테레오 카메라 및 스테레오 영상 컨텐츠제작방법
TWI444036B (zh) 2d至3d使用者介面內容資料轉換
US8300086B2 (en) Image processing for supporting a stereoscopic presentation
US9304388B2 (en) Three-dimensional imaging device and three-dimensional imaging method
EP3104603B1 (en) Efficient image receiver for multiple views
JP2006101329A (ja) 立体視画像観察装置ならびにその共有サーバ、クライアント端末およびピア・ツー・ピア端末、レンダリング画像生成方法および立体視画像表示方法ならびにそのプログラムおよび記憶媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140513

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140812

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150203