JP2011109418A - 立体映像撮像装置および立体映像撮像方法 - Google Patents

Abstract

【課題】シャッタの切り換えタイミングを工夫することで、輝度値やコントラスト値が低くなる場合でもランダムノイズを低減させた高画質な立体映像データを生成することが可能となる。
【解決手段】撮像部１３０が光電変換した立体映像データの輝度値およびコントラスト値を取得し、輝度値およびコントラスト値とシャッタ１１２の切換補正時間とを関連づけた映像時間情報と、取得した輝度値およびコントラスト値とに基づいて、輝度値およびコントラスト値が高くなるようにシャッタ１１２を切り換えるための駆動信号を補正し、補正した駆動信号に基づいて、２つのシャッタ１１２それぞれの光通過状態と遮光状態とを切り換える。
【選択図】 図６

Description

本発明は、水平視差によって立体映像を知覚させるための立体映像データを生成する立体映像撮像装置および立体映像撮像方法に関する。

近年、水平視差のある左右２つの映像を、偏光眼鏡等を用い、右のカメラの映像を右眼に、左のカメラの映像を左眼に視認させることで、ユーザ（観察者）に対して、あたかもオブジェクトが立体的に存在するように知覚させる技術が、映画やテレビジョン放送等様々な映像技術に採用されている。

このような立体映像を知覚させることが可能な映像データ（以下、単に、立体表示データと称する）は、左右に離隔した２台のカメラで同一の被写体を撮像することで生成することができる。しかし、高価なカメラを２台準備するとなると製品コストが増大し、また、２台のカメラに製造誤差等の特性差がある場合、適切に立体映像を融像させることができず、ユーザの眼に負担をかけるおそれがある。

そこで、光路中に２つのシャッタを配置することで、１つのレンズを通して水平視差のある左右２つの映像を交互に撮像する立体映像撮像装置が提案されている。このような立体映像撮像装置は、２つのシャッタにおいて光通過状態と遮光状態とを時分割で交互かつ排他的に切り換えることで、１つのレンズを通して水平視差のある左右２つの映像を並行して撮像し、左眼用の映像データと右眼用の映像データとが時分割で交互に連続して配された立体映像データを生成することができる。

このような２つのシャッタを用いた立体映像撮像装置では、撮像素子における電荷の蓄積を開始する時点の遅延に応じて、シャッタの切り換えを調整する技術が開示されている（例えば、特許文献１）。

しかし、特許文献１の技術を利用して撮像素子における電荷の蓄積を開始する時点とシャッタの光通過状態に切り換える時点とを合わせたとしても、立体映像撮像装置に搭載されるシャッタは、光通過状態に切り換えられてから光通過状態になるまで（遮光状態から光通過状態になるまで）、または、遮光状態に切り換えられてから遮光状態になるまで（光通過状態から遮光状態になるまで）には多少の時間を要する。したがって、シャッタが切り換わる最中は、左右両方のシャッタがいずれも光通過状態となる場合がある。この場合、一方のシャッタを通過した光束に他方のシャッタを通過した光束が混入し、その結果、２つのシャッタを通じた映像が重畳してしまう、所謂クロストークが生じてしまう。

そこで、シャッタの遮光状態から光通過状態に移行する際の立ち上がり時間および立ち下がり時間には撮像素子が電荷を蓄積しないことで、クロストークの発生自体を排除する技術が開示されている（例えば、特許文献２）。

特開２００２―２７４９９号公報 特開２００４―２３３６００号公報

しかし、上述した特許文献２の技術では、クロストークを排除した分、立体映像データの取得時間（撮像素子の電荷を蓄積する時間）が短くなるため、相対的に撮像素子で受光する光量が少なくなり、立体映像データの輝度値またはコントラスト値が低くなる場合に、光量不足によるランダムノイズの増加を招くという問題があった。

そこで、本発明は、このような課題に鑑み、シャッタの切り換えタイミングを工夫することで、輝度値やコントラスト値が低くなる場合であってもランダムノイズを低減させた高画質な立体映像データを生成することが可能な、立体映像撮像装置および立体映像撮像方法を提供することを目的としている。

上記課題を解決するために、本発明の立体映像撮像装置は、光路中にそれぞれ配置された２つのシャッタと、２つのシャッタを通過した光束を重ねて光電変換し、立体映像データを生成する撮像部と、輝度値もしくはコントラスト値のいずれか一方または両方とシャッタの切換補正時間とを関連づけた映像時間情報を保持する保持部と、シャッタの光通過状態と遮光状態とを切り換えるための駆動信号を生成する駆動信号生成部と、撮像部が生成した立体映像データの輝度値もしくはコントラスト値のいずれか一方または両方を取得する輝度値取得部と、映像時間情報と取得された輝度値もしくはコントラスト値のいずれか一方または両方に基づいて、輝度値またはコントラスト値が高くなるように駆動信号を補正する駆動信号補正部と、補正された駆動信号に基づいて、２つのシャッタそれぞれの光通過状態と遮光状態とを切り換えるシャッタ切換部と、を備えることを特徴とする。

駆動信号補正部は、シャッタの光透過状態への開始時点を前倒しすること、またはシャッタの遮光状態への開始時点を遅延させることで輝度値もしくはコントラスト値のいずれか一方または両方を高くしてもよい。

駆動信号補正部は、輝度値もしくはコントラスト値のいずれか一方または両方が所定の閾値を下回った場合に駆動信号を補正してもよい。

上記課題を解決するために、光路中にそれぞれ配置された２つのシャッタと、２つのシャッタを通過した光束を重ねて光電変換し、立体映像データを生成する撮像部と、を備える立体映像撮像装置を用いた、本発明の立体映像撮像方法は、輝度値もしくはコントラスト値のいずれか一方または両方とシャッタの切換補正時間とを関連づけた映像時間情報を保持し、シャッタの光通過状態と遮光状態とを切り換えるための駆動信号を生成し、撮像部が光電変換した立体映像データの輝度値もしくはコントラスト値のいずれか一方または両方を取得し、映像時間情報と取得した輝度値もしくはコントラスト値のいずれか一方または両方に基づいて、輝度値もしくはコントラスト値のいずれか一方または両方が高くなるように駆動信号を補正し、補正した駆動信号に基づいて、２つのシャッタそれぞれの光通過状態と遮光状態とを切り換えることを特徴とする。

本発明の立体映像撮像装置は、シャッタの切り換えタイミングを工夫することで、輝度値やコントラスト値が低くなる場合であってもランダムノイズを低減させた高画質な立体映像データを生成することが可能となる。

立体映像撮像装置が生成する立体映像データを説明するための説明図である。 立体映像撮像装置の概略的な機能を示した機能ブロック図である。 駆動信号生成部の処理を説明するための説明図である。 駆動信号生成部の処理を説明するための説明図である。 映像時間情報を説明するための説明図である。 駆動信号補正部の処理を説明するための説明図である。 輝度値およびコントラスト値が所定の閾値を下回った場合に駆動信号を補正する駆動信号補正部２２２の処理について説明するための説明図である。 立体映像撮像方法の全体的な流れを示したフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

図１は、立体映像撮像装置が生成する立体映像データを説明するための説明図である。立体映像装置は、図２を用いて後述するように左右２系統の光路中にそれぞれ個別にシャッタを配置しており、図１（ａ）に示すように、２つのシャッタにおいて光通過状態と遮光状態とを切り換えることで、１つのレンズを通して水平視差のある左右２つの映像を並行して撮像する。したがって、図１（ｂ）に示すように、２つのシャッタを通じて生成される１つの立体映像データには、左のシャッタを通過した映像データと、右のシャッタを通過した映像データとが交互に連続して含まれることになる。

このように立体映像撮像装置で生成された立体映像データから、水平視差のある左右２つの映像データを別個に取得するためには、シャッタの切換タイミングで立体映像データを分割（切断）し、図１（ｃ）に示すように、光通過状態にあったシャッタの極性に対応させて左右２つの映像データを切り出し、それぞれの映像データを加工して立体表示データを生成することが考えられる。ここで、立体表示データは、水平視差による立体映像を知覚させることが可能な映像データであり、左眼用の映像データと右眼用の映像データに分離されたデータ（例えば、サイドバイサイド方式やトップアンドボトム方式によるデータ）や、分離後にディスプレイ１４０に対応した形式に加工されたデータ（例えば、ラインシーケンシャル方式やフレームシーケンシャル方式によるデータ）をいう。

しかし、立体映像撮像装置に搭載される左右のシャッタは、光通過状態への切り換えを開始してから光通過状態に切り換わるまで、または、遮光状態への切り換えを開始してから遮光状態に切り換わるまでに、移行時間Ｘを要する。したがって、シャッタが切り換わる最中、すなわち移行時間Ｘの間は、図１（ｄ）および（ｅ）に示すように左右両方のシャッタがいずれも光通過状態となる場合がある。この場合、一方のシャッタを通過した光束に、図１（ｃ）中矢印および黒い塗りつぶしで示すように、他方のシャッタを通過した光束が混入し、その結果、２つのシャッタを通じた映像データが重畳するクロストークが生じてしまう。

そこで、撮像素子の電荷を蓄積する時間を短くして、一方のシャッタが光通過状態であり他方のシャッタが遮光状態のときのみ、図１（ｆ）に示すように、立体映像データを生成することが考えられる。しかし、撮像環境が低照度である場合、照度と輝度は略比例の関係にあるため、輝度やコントラストが劣化し、クロストークは発生しないものの光量不足によるランダムノイズの増加を招いてしまう。

そこで、本実施形態の立体映像撮像装置は、シャッタの切り換えタイミングを工夫することで、立体映像データの輝度値およびコントラスト値が十分に高い場合においてはクロストークを確実に排除しつつ、輝度値やコントラスト値が低くなる場合にはランダムノイズを低減させた高画質な立体映像データを生成することを目的としている。以下、立体映像装置の具体的な構成を詳述する。

（立体映像撮像装置１００）
図２は、立体映像撮像装置１００の概略的な機能を示した機能ブロック図である。図２に示すように、立体映像撮像装置１００は、撮像ユニット１１０と、ディスプレイ１４０、操作部１４２と、保持部１６０と、温度検出部１７０と、制御部２１０とを含んで構成される。

撮像ユニット１１０は、撮像レンズ１１８を通じて被写体を撮像し、立体映像データを生成する。具体的に、撮像ユニット１１０は、２つのシャッタ１１２（図２中左シャッタ１１２ａ、右シャッタ１１２ｂで示す）と、ミラー１１４（図２中左ミラー１１４ａ、右ミラー１１４ｂで示す）と、プリズム１１６と、撮像レンズ１１８と、フォーカスレンズ１２０と、絞り１２２と、駆動回路１２４と、撮像部１３０とを含んで構成され、撮像方向の映像を立体映像撮像装置１００に取り込む。

シャッタ１１２は、液晶シャッタやメカニカルシャッタ等で構成され、左系統の光路中には左シャッタ１１２ａが、右系統の光路中には右シャッタ１１２ｂがそれぞれ配置される。シャッタ１１２は、後述するシャッタ切換部２２４による制御指令に応じて、例えば、原則的に、左シャッタ１１２ａが光通過状態であるときは、右シャッタ１１２ｂが遮光状態となり、左シャッタ１１２ａが遮光状態であるときは、右シャッタ１１２ｂは光通過状態となる。したがって、左シャッタ１１２ａと右シャッタ１１２ｂとが撮像方向から光束を交互に透過することになる。

ミラー１１４は、それぞれ対応したシャッタ１１２の後段（左ミラー１１４ａは左シャッタ１１２ａの後段、右ミラー１１４ｂは右シャッタ１１２ｂの後段）に配置される。ミラー１１４は、シャッタ１１２を通過した光束を反射してプリズム１１６の方向に導く。

プリズム１１６は、左ミラー１１４ａおよび右ミラー１１４ｂが反射した光束を、左シャッタ１１２ａを通過した光束と、右シャッタ１１２ｂを通過した光束の光軸が一致するように撮像レンズ１１８に導く。フォーカスレンズ１２０は焦点調整に用いられる。絞り１２２は露光調整に用いられる。駆動回路１２４は、フォーカスレンズ１２０および絞り１２２を駆動させる。

撮像部１３０は、撮像素子を含み、撮像レンズ１１８を通じて入射する光束を撮像素子が電気信号に光電変換し、蓄積された電荷をＡ／Ｄ変換することで立体映像データを生成する。本実施形態において撮像部１３０は、内部クロックを分周した、例えば６０Ｈｚ（６０ｆｐｓ）の垂直同期信号に同期させ、左シャッタ１１２ａを通過した光束と右シャッタ１１２ｂを通過した光束とを時分割で交互に光電変換して立体映像データを生成する。したがって、立体映像データは、図１（ｂ）に示したように、水平視差のある左右２つの映像データが交互に連続したものとなる。ただし、撮像素子の有効電荷蓄積時間（以下、単に電荷蓄積時間と称する）は、垂直同期信号が立ち上がってから立ち下がるまでの間とする。

ディスプレイ（ビューファインダ）１４０は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、例えば偏光特性が１ライン毎に異なるように形成される。そして、ディスプレイ１４０は、後述する信号処理部２１２によってラインシーケンシャル処理が施された立体表示データを表示する。撮像者は、撮像時において、このようなディスプレイ１４０を通じて立体表示データを立体的に知覚し、その知覚した立体映像に基づいて操作部１４２を操作することで、被写体を所望する位置および占有面積で捉えることが可能となる。

操作部１４２は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック、ディスプレイ１４０の表示面に配されたタッチパネル等のスイッチで構成され、撮像者の操作入力を受け付ける。

保持部１６０は、ＲＡＭ（Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成され、立体表示データ等を一時的に保持する。なお、ＨＤＤは正確には装置であるが、便宜上、本説明では他の記憶媒体と同義として扱う。また、本実施形態において保持部１６０は、温度時間情報および映像時間情報も保持する。温度情報および映像時間情報については、後に詳述する。

温度検出部１７０は、左シャッタ１１２ａおよび右シャッタ１１２ｂの周囲温度をそれぞれ検出する。また、温度検出部１７０を立体映像撮像装置１００の筐体内の所定の位置に設置し、左シャッタ１１２ａおよび右シャッタ１１２ｂの周囲温度を間接的に測定することもできる。

制御部２１０は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、立体映像撮像装置１００全体を制御する。特に本実施形態において、制御部２１０は、信号処理部２１２と、記録処理部２１４と、撮像制御部２１６、駆動信号生成部２１８、輝度値取得部２２０、駆動信号補正部２２２、シャッタ切換部２２４としても機能する。

信号処理部２１２は、撮像部１３０が生成した立体映像データを図１（ｃ）に示したような左眼用の映像データと右眼用の映像データとに分離した立体表示データに変換し、ガンマ補正、ニー処理等の所定の画像処理を施して、画像処理後の立体表示データをディスプレイ１４０に出力するとともに、保持部１６０に保持させる。

記録処理部２１４は、操作部１４２を通じて記録媒体１０２への記録が選択されると、保持部１６０に保持された立体表示データをＭ−ＪＰＥＧ（Motion−Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４などの所定の符号化方式で符号化し、符号化された立体表示データを記録媒体１０２に記録する。

撮像制御部２１６は、被写体に対して、焦点調整や露光調整を含む撮像制御を遂行する。具体的に、撮像制御部２１６は、撮像制御を遂行するための制御指令を撮像ユニット１１０の駆動回路１２４に出力し、駆動回路１２４は、撮像制御部２１６から出力された制御指令に従って、フォーカスレンズ１２０や絞り１２２を調整する。

駆動信号生成部２１８は、保持部１６０に保持された温度時間情報と温度検出部１７０が検出したシャッタ１１２の周囲温度とに基づいて、撮像部１３０の電荷蓄積時間の開始時点よりシャッタ１１２の光通過状態への移行を開始する時点を前倒しするように、また、他のシャッタ１１２に関する電荷蓄積時間の開始時点よりシャッタ１１２の遮光状態への移行を開始する時点を前倒しするように、左シャッタ１１２ａと右シャッタ１１２ｂとを光通過状態と遮光状態とに切り換えるための駆動信号を生成する。ここで、温度時間情報は、温度とシャッタ１１２の切換前倒し時間とを一対一に関連づけた情報であり、関係式やテーブルによって表される。したがって、駆動信号生成部２１８は、温度時間情報を参照して、シャッタ１１２の周囲温度からシャッタ１１２の切換前倒し時間を一義的に決めることができる。かかる温度時間情報は、シャッタ１１２の温度特性に基づいて予め設定されている。以下、切換前倒し時間について詳述する。

図３および図４は、駆動信号生成部２１８の処理を説明するための説明図である。まず、駆動信号生成部２１８は、温度時間情報を参照して、検出されたシャッタ１１２の周囲温度におけるシャッタ１１２の切換前倒し時間を導出する。

具体的に、駆動信号生成部２１８は、まず、温度時間情報を参照し、温度検出部１７０が検出したシャッタ１１２の周囲温度に基づいて、左シャッタ１１２ａが光通過状態への切り換えを開始した時点から光通過状態への移行が完了する時点までの予測立ち上がり時間Ａｓと、左シャッタ１１２ａが遮光状態への切り換えを開始した時点から遮光状態への移行が完了する時点までの予測立ち下がり時間Ｂｓを導出する。駆動信号生成部２１８は、検出された周囲温度から、左シャッタ１１２ａ、右シャッタ１１２ｂそれぞれに対して予測立ち上がり時間Ａｓと、予測立ち下がり時間Ｂｓを導出するが、ここでは、理解を容易にするため、左シャッタ１１２ａの予測立ち上がり時間Ａｓと右シャッタ１１２ｂの予測立ち上がり時間Ａｓ、および、左シャッタ１１２ａの予測立ち下がり時間Ｂｓと右シャッタ１１２ｂの予測立ち下がり時間Ｂｓが実質的に等しいとする。

そして、駆動信号生成部２１８は、図３（ａ）に示す、内部クロックを分収した垂直同期信号における、撮像部１３０が電荷を蓄積しない時間（以下、非蓄積時間と称する）Ｃと予測立ち上がり時間Ａｓ、非蓄積時間Ｃと予測立ち下がり時間Ｂｓとを比較する。

予測立ち上がり時間Ａｓが非蓄積時間Ｃより短い場合、撮像部１３０が効率的にシャッタ１１２を通過した光束を光電変換し、立体映像データを生成できるように、駆動信号生成部２１８は、垂直同期信号における撮像部１３０が電荷を蓄積する時間（以下、電荷蓄積時間と称する）の開始時点には、シャッタ１１２の光通過状態への移行を完了させるべく、図３（ｃ）、（ｄ）に示すように、電荷蓄積時間の開始時点（以下、単に蓄積開始時点と称する）より、予測立ち上がり時間Ａｓに相当する切換前倒し時間αの分だけ早く立ち上がる、シャッタ１１２の光通過状態への切り換えを開始させるための駆動信号を生成する。

ここでは、便宜上、シャッタ１１２の光通過状態への切り換えを前倒しすると説明しているが、実際には将来の信号を前倒しすることはできないので、駆動信号生成部２１８は、前回の蓄積開始時点からカウントを開始し、フィールドインデックス信号の半周期から切換前倒し時間αを減算した時点から、シャッタ１１２の光通過状態への切り換えを開始させるための駆動信号を生成する。以下の説明においても前倒しの表現を用いて、このような実際の処理を省略するが、実際は既存の信号をトリガとしてその前倒しタイミングに相当する時間を特定している。

また、予測立ち下がり時間Ｂｓが非蓄積時間Ｃより短い場合、垂直同期信号における撮像部１３０の他のシャッタ１１２に関する蓄積開始時点には、シャッタ１１２の遮光状態への移行を完了していればよいため、図３（ｃ）、（ｄ）に示すように、駆動信号生成部２１８は、自体のシャッタ１１２に関する電荷蓄積時間の終了時点（以下、単に、蓄積終了時点と称する）すなわち非蓄積時間の開始時点からシャッタ１１２の遮光状態への切り換えを開始させるための駆動信号を生成する。

そうすると、図３（ｅ）、（ｆ）に示すように、左シャッタ１１２ａおよび右シャッタ１１２ｂは、実際の立ち上がり時間Ａｒを経過した後、完全な光通過状態となり、シャッタ１１２の遮光状態への切り換えを開始してから実際の立ち下がり時間Ｂｒを経過した後、完全な遮光状態となる。したがって、撮像部１３０が電荷蓄積時間であるときには、一方のシャッタ１１２は光通過状態への移行が完了し、他方のシャッタ１１２は遮光状態への移行が完了しているため、クロストークが生じない範囲でシャッタ１１２を通過する光束、すなわち撮像素子にて受光される光量を最大限にしつつ、左眼用の映像データおよび右眼用の映像データを生成することができる。

一方、予測立ち上がり時間Ａｓが非蓄積時間Ｃより長い場合、図４（ｃ）、（ｄ）に示すように、駆動信号生成部２１８が、切換前倒し時間αを蓄積開始時点から予測立ち上がり時間Ａｓとしてシャッタ１１２の光通過状態への切り換えを開始させるための駆動信号を生成すると、図４（ｅ）、（ｆ）に黒色の塗りつぶしで示すように、クロストークが生じてしまう。また予測立ち下がり時間Ｂｓが非蓄積時間Ｃより長い場合に、駆動信号生成部２１８が、蓄積終了時点からシャッタ１１２の遮光状態への切り換えを開始させるための駆動信号を生成すると、非蓄積時間の終了時点すなわち次の蓄積開始時点においてもなおシャッタ１１２の遮光状態への移行が完了せず、予測立ち上がり時間Ａｓが非蓄積時間Ｃより長い場合同様、クロストークが生じてしまう。

そこで、図４（ｇ）、（ｈ）に示すように、予測立ち上がり時間Ａｓが非蓄積時間Ｃより長い場合、駆動信号生成部２１８は、蓄積終了時点から（結果的に、切換前倒し時間αは、非蓄積時間Ｃと等しくなる）シャッタ１１２の光通過状態への切り換えを開始させるための駆動信号を生成する。

また、予測立ち下がり時間Ｂｓが非蓄積時間Ｃより長い場合、垂直同期信号における撮像部１３０が蓄積開始時点には、シャッタ１１２の遮光状態への移行を完了させるべく、駆動信号生成部２１８は、蓄積開始時点すなわち非蓄積時間Ｃの終了時点より、予測立ち下がり時間Ｂｓに相当する切換前倒し時間β分前倒しして、シャッタ１１２の遮光状態への切り換えを開始させるための駆動信号を生成する。

そうすると、図４（ｉ）、（ｊ）に示すように、左シャッタ１１２ａおよび右シャッタ１１２ｂは、実際の立ち上がり時間Ａｒを経過した後、完全な光通過状態となり、シャッタ１１２の遮光状態への切り換えを開始してから実際の立ち下がり時間Ｂｒを経過した後、完全な遮光状態となる。したがって、垂直同期信号における撮像部１３０が電荷蓄積時間であるときに、一方のシャッタ１１２が光通過状態に、他方のシャッタ１１２が遮光状態になり、クロストークを生じることなく左眼用の映像データおよび右眼用の映像データを生成することができる。

ただし、図４に示す予測立ち上がり時間Ａｓが非蓄積時間Ｃより長い、または、予測立ち下がり時間Ｂｓが非蓄積時間Ｃより長い場合、撮像部１３０の蓄積開始時点にはまだシャッタ１１２が光通過状態への移行中であるため、また、蓄積終了時点には既にシャッタ１１２の遮光状態への移行が開始されているため、実際に撮像素子に電荷が蓄積される光量は、図３に示した例と比較して劣ってしまう。

以上説明したように、駆動信号生成部２１８は、蓄積開始時点よりも切換前倒し時間αおよび他のシャッタ１１２用の蓄積開始時点よりも前倒し時間β前倒しした駆動信号を生成することにより、クロストークを完全に除去して左眼用の映像データと右眼用の映像データとを生成することが可能となる。上述した各時間の関係を纏めると、Ａｓ≦Ｃの場合、α＝Ａｓ、Ａｓ＞Ｃの場合、α＝Ｃ、となり、Ｂｓ≦Ｃの場合、β＝Ｃ−Ｂｓ、Ｂｓ＞Ｃの場合、β＝Ｂｓとなる。

また、本実施形態において駆動信号生成部２１８は、図３（ｂ）、図４（ｂ）に示す、左眼用の映像であるか右眼用の映像であるかを示すフィールド（フレーム）インデックス信号を生成する。フィールドインデックス信号は、垂直同期信号の立ち上がりに同期してその極性を変化させている。

輝度値取得部２２０は、駆動信号生成部２１８が生成するフィールド（フレーム）インデックス信号に基づいて、１フレーム分の立体表示データごとに、輝度値の平均値（以下、単に輝度値と称する）と、コントラストの平均値（以下、単にコントラスト値と称する）とを取得（算出）する。

駆動信号補正部２２２は、輝度値取得部２２０が取得した輝度値またはコントラスト値のいずれか一方が低い場合に、保持部１６０が保持した映像時間情報を参照して、輝度値またはコントラスト値が高くなるように、駆動信号生成部２１８が生成した駆動信号を補正する。本実施形態における駆動信号補正部２２２は、輝度値が低く、かつ、コントラスト値が低い場合に映像時間情報を参照して駆動信号を補正する。ここで駆動信号補正部２２２は、同一のシャッタ１１２を通過した光束に関する立体映像データの輝度値およびコントラスト値に基づいて、同一のシャッタ１１２に関する駆動信号を事後的に補正する。映像時間情報は、撮像部１３０が光電変換した立体映像データの輝度値およびコントラスト値とシャッタ１１２の切換補正時間とを関連づけた情報である。

図５は、映像時間情報を説明するための説明図である。図５に示すように映像時間情報は、横軸を輝度値またはコントラスト値に、縦軸をシャッタ１１２の切換補正時間γまたは切換補正時間δとした場合に、実線２５０で示すことができる。

図５に示す実線２５０における切換補正時間γの上限値Ｕは、撮像部１３０の電荷蓄積時間にシャッタ１１２の光通過状態への移行を完了させ、かつ、クロストークを最小限に留めることができる値（予測立ち上がり時間Ａｓ―非蓄積時間Ｃ）である。なお、上限値Ｕは予測立ち上がり時間Ａｓの項を有するので、温度検出部１７０が検出したシャッタ１１２の周囲温度に依存する。

また、切換補正時間δの上限値Ｕは、撮像部１３０の蓄積終了時点より後にシャッタ１１２の遮光状態への移行を開始させ、かつ、クロストークを最小限に留めることができる値（予測立ち下がり時間Ｂｓ−非蓄積時間Ｃ）である。なお、上限値Ｕは予測立ち下がり時間Ｂｓの項を有するので、温度検出部１７０が検出したシャッタ１１２の周囲温度に依存する。

映像時間情報は、上限値Ｕ以上の値（図５中一点鎖線で示す）をとることもできるが、クロストークが増えるだけで、実益がないので、基本的に上限値Ｕに到達すると、輝度値やコントラスト値がさらに下がったとしても切換補正時間を増やさない。かかる映像時間情報を示す実線２５０の勾配は、温度検出部１７０が検出したシャッタ１１２の周囲温度に基づいて変更することもできる。

ここで、説明を簡略にするために、映像時間情報における切換補正時間γと切換補正時間δの上限値Ｕを同一としているが、異ならせることもできる。

そうすると、シャッタ１１２の光通過状態への切り換えの開始をする時間を補正するための切換補正時間γは０≦γ≦Ａｓ−Ｃの範囲で推移し、シャッタ１１２の遮光状態への切換えを開始する時間を補正するための切換補正時間δは、０≦δ≦Ｂｓ−Ｃの範囲で推移する。

ここでは、図５に示した漸増関数を映像時間情報としているが、関係式やテーブルを映像時間情報として用いることもできる。

図６は、駆動信号補正部２２２の処理を説明するための説明図である。ここでは、図４を用いて説明したように、予測立ち上がり時間Ａｓ＞非蓄積時間Ｃの場合（すなわち、切換前倒し時間α＝Ｃ≠Ａｓ）、および予測立ち下がり時間Ｂｓ＞非蓄積時間Ｃの場合、β＝Ｃ−Ｂｓ、Ｂｓ＞Ｃの場合（すなわち、前倒し時間β＝Ｂｓ）の場合について説明する。

例えば、図６（ｆ）にハッチングで示す（１）のフレームにおいて、駆動信号生成部２２２は、右シャッタ１１２ｂを通過した光束を光電変換して生成した立体映像データの輝度値およびコントラスト値に基づいて、切換補正時間γを導出する。そして、駆動信号補正部２２２は、図６（ｆ）にハッチングで示す（３）のフレームの右シャッタ１１２ｂの駆動信号を、図６（ｄ）に示すように、右シャッタ１１２ｂの光透過状態への開始時点を切換補正時間γ前倒すように補正する。上述したように、駆動信号生成部２１８は、温度時間情報に基づいて、右シャッタ１１２ｂの光透過状態への開始時点を、撮像部１３０の蓄積開始時点から切換前倒し時間α分前倒しした駆動信号を生成しているため、駆動信号補正部２２２が、切換補正時間γ分前倒しする補正を遂行することによって、結果的に駆動信号は、蓄積開始時点から切換前倒し時間α＋切換補正時間γを前倒しした駆動信号に補正される。

また、駆動信号補正部２２２は、図６（ｆ）にハッチングで示す（１）のフレームにおいて、切換補正時間γ同様、右シャッタ１１２ｂを通過した光束を光電変換して生成した立体映像データの輝度値およびコントラスト値に基づいて、切換補正時間δを導出する。そして、駆動信号補正部２２２は、図６（ｆ）にハッチングで示す（３）のフレームの右シャッタ１１２ｂの駆動信号を、図６（ｄ）に示すように、右シャッタ１１２ｂの遮光状態への開始時点を切換補正時間δ遅延させるように補正する。上述したように、駆動信号生成部２１８は、温度時間情報に基づいて、右シャッタ１１２ｂの遮光状態への開始時点を、撮像部１３０の蓄積開始時点から前倒し時間β分前倒しした駆動信号を生成しているため、駆動信号補正部２２２が、切換補正時間δ分遅延させる補正を遂行することによって、結果的に駆動信号は、蓄積開始時点から前倒し時間β−切換補正時間δを前倒しした駆動信号に補正される。

そうすると、（３）のフレームにおける右シャッタ１１２ｂの光通過状態への移行の開始時点は、（１）のフレームにおける右シャッタ１１２ｂの光通過状態への移行の開始時点よりも切換補正時間γ分前倒しされ、（３）のフレームにおける右シャッタ１１２ｂの遮光状態への移行の開始時点は、（１）のフレームにおける右シャッタ１１２ｂの遮光状態への移行の開始時点よりも切換補正時間δ分遅延される。したがって、（１）のフレームと比較して（３）のフレームにおける右シャッタ１１２ｂを通過した光束の光量は増加することになり、図６（ｂ）に示すフィールドインデックス信号に基づいて左眼用の映像データと右眼用の映像データに関連づけられる図６（ｇ）に示す（３）のフレームの立体映像データは、（１）のフレームの立体映像データと比較して、輝度値およびコントラスト値が高くなる。

このように、駆動信号補正部２２２が、シャッタ１１２の光透過状態への開始時点をさらに前倒しするように駆動信号を補正し、シャッタ１１２の遮光状態への開始時点を遅延するように駆動信号を補正する構成により、駆動信号生成部２１８がクロストークを回避すべく削っていたシャッタ１１２の光通過状態となる時間を適切かつスムーズに広げ、立体映像データの輝度値およびコントラスト値を高くすることができる。

なお、図６（ｇ）に示すように、駆動信号補正部２２２が、（３）のフレームに関する右シャッタ１１２ｂの駆動信号を補正することにより、（２）のフレームおよび（４）のフレームの立体映像データにクロストークが生じることとなるが、（３）のフレームの立体映像データは輝度値およびコントラスト値が低いので、クロストークの影響は少ない。したがって、（２）および（４）のフレームの立体映像データにクロストークを生じさせたとしても（３）のフレームの立体映像データの輝度値およびコントラスト値を高くすることで、クロストークを最小限に抑えつつ輝度値およびコントラスト値が高い立体映像データを生成することができる。

また、本実施形態において、駆動信号補正部２２２は、（１）のフレームの立体映像データの輝度値およびコントラスト値に基づいて、（３）のフレームに関する駆動信号を補正しているが、これに限定されず、図６（ｅ）、（ｆ）に示す、（０）のフレームおよび（１）のフレームの立体映像データの輝度値およびコントラスト値、すなわち両シャッタ１１２ａ、１１２ｂの立体映像データの輝度値およびコントラスト値に基づいて、または、（０）のフレームの立体映像データと（１）のフレームの立体映像データとの輝度値を平均化した値および（０）のフレームの立体映像データと（１）のフレームの立体映像データとのコントラスト値を平均化した値に基づいて、（３）のフレームに関する駆動信号を補正してもよい。

さらに、図６に示す例において、駆動信号補正部２２２は、右シャッタ１１２ｂを通過した光束を光電変換して生成した立体映像データの輝度値およびコントラスト値に基づいて、右シャッタ１１２ｂに関する駆動信号を補正する場合について説明したが、左シャッタ１１２ａを通過した光束を光電変換して生成した立体映像データの輝度値およびコントラスト値に基づいて、左シャッタ１１２ａに関する駆動信号を補正することもできる。

また、ここで、駆動信号補正部２２２は、立体映像データの輝度値およびコントラスト値に基づいて、常時駆動信号を補正しているが、これに限定されず、立体映像データの輝度値およびコントラスト値が所定の閾値を下回った場合にのみ駆動信号を補正することもできる。

図７は、輝度値およびコントラスト値が所定の閾値を下回った場合に駆動信号を補正する駆動信号補正部２２２の処理について説明するための説明図である。図７に示す例では、映像時間情報は、横軸を輝度値またはコントラスト値に、縦軸をシャッタ１１２の切換補正時間γまたは切換補正時間δとした場合に、実線２５２で示すことができる。図７に示す実線２５２における切換補正時間の上限値Ｕは、図５に示した上限値Ｕと実質的に同一であり、切換補正時間γにおいては、撮像部１３０の電荷蓄積時間にシャッタ１１２の光通過状態への移行を完了させ、かつ、クロストークを最小限に留めることができる値である。また、切換補正時間δにおいて、上限値Ｕは、撮像部１３０の蓄積終了時点より後にシャッタ１１２の遮光状態への移行を開始させ、かつ、クロストークを最小限に留めることができる値である。

したがって、駆動信号補正部２２２は、図７に示す映像時間情報を参照して、輝度値取得部２２０が取得した輝度値およびコントラスト値が所定の閾値を下回った場合、０であった切換補正時間γを上限値Ｕに、０であった切換補正時間δを上限値Ｕに変更する。そして駆動信号補正部２２２は、シャッタ１１２の光通過状態への移行を開始する時点を切換補正時間γ分前倒しする補正およびシャッタ１１２の遮光状態への移行を開始する時点を切換補正時間δ分遅延させる補正を遂行する。ここで、輝度値およびコントラスト値が所定の閾値を下回った場合の切換補正時間γや切換補正時間δの値として上限値Ｕを用いているが、かかる場合に限られず、所定の値を採用することができる。

このような、駆動信号補正部２２２が、所定の閾値を下回ったか否かという単純な処理で補正を行う構成により、図５の映像時間情報と比較して計算負荷を軽減でき、演算能力に劣る安価なコンピュータで処理を行うことが可能となる。

最後に、シャッタ切換部２２４は、駆動信号補正部２２２が補正した駆動信号に基づいて、２つのシャッタ１１２それぞれの光通過状態と遮光状態とを切り換える。

以上説明したように、本実施形態にかかる立体映像撮像装置１００は、シャッタ１１２の切り換えタイミングを工夫することで、立体映像データの輝度値およびコントラスト値が十分に高い場合においてはクロストークを確実に排除しつつ、輝度値やコントラスト値が低くなる場合であってもランダムノイズを低減させた高画質な立体映像データを生成することが可能となる。

（立体映像表示方法）
次に、上述した立体映像撮像装置１００を用いて、水平視差によって立体映像を知覚させることができる立体映像データを生成することが可能な立体映像撮像方法を具体的に説明する。

図８は、立体映像撮像方法の全体的な流れを示したフローチャートである。まず立体映像撮像装置１００の保持部１６０は、予め温度時間情報および映像時間情報を保持しておく。

そして、図８に示すように、温度検出部１７０は、左シャッタ１１２ａおよび右シャッタ１１２ｂの周囲温度を検出し（Ｓ３００）、駆動信号生成部２１８は、保持部１６０に保持された温度時間情報を参照して、温度検出ステップＳ３００で検出した左シャッタ１１２ａおよび右シャッタ１１２ｂの周囲温度におけるシャッタ１１２の予測立ち上がり時間Ａｓと、予測立ち下がり時間Ｂｓを導出する（Ｓ３０２）。そして駆動信号生成部２１８は、予測立ち上がり時間Ａｓが撮像部１３０の非蓄積時間Ｃよりも長いか否かを判定し（Ｓ３０４）、予測立ち上がり時間Ａｓが非蓄積時間Ｃよりも長い場合（Ｓ３０４のＹＥＳ）、切換前倒し時間αを非蓄積時間Ｃとし（実際は、撮像部１３０の蓄積開始時点をシャッタ１１２の光通過状態への切り換えの開始時点とする）（Ｓ３０６）、予測立ち上がり時間Ａｓが非蓄積時間Ｃ以下である場合（Ｓ３０４のＮＯ）、切換前倒し時間αを予測立ち上がり時間Ａｓとする（Ｓ３０８）。

また、駆動信号生成部２１８は、予測立ち下がり時間Ｂｓが非蓄積時間Ｃよりも長いか否かを判定し（Ｓ３１０）、予測立ち下がり時間Ｂｓが非蓄積時間Ｃよりも長い場合（Ｓ３１０のＹＥＳ）、前倒し時間βを予測立ち下がり時間Ｂｓとし（Ｓ３１２）、予測立ち下がり時間Ｂｓが非蓄積時間Ｃ以下である場合（Ｓ３１０のＮＯ）、前倒し時間βを非蓄積時間Ｃから予測立ち下がり時間Ｂｓを減算した時間とする（Ｓ３１４）。

そして、駆動信号生成部２１８は、シャッタ１１２の光通過状態への切り換えの開始時点を、蓄積開始時点よりも切換前倒し時間α分前倒しし、シャッタ１１２の遮光状態への切り換えの開始時点を蓄積開始時点よりも前倒し時間β分前倒しした駆動信号を生成する（Ｓ３１６）。

輝度値取得部２２０は、信号処理部２１２が算出した１フレーム分の立体映像データごとに算出された輝度値およびコントラスト値を取得する（Ｓ３１８）。

そして駆動信号補正部２２２は、駆動信号生成ステップＳ３１６で生成した駆動信号の切換前倒し時間αが非蓄積時間Ｃである場合（Ｓ３２０のＹＥＳ）、輝度値取得ステップＳ３１８で取得した輝度値およびコントラスト値と保持部１６０に保持された映像時間情報とを参照して、シャッタ１１２の光通過状態への開始時点を補正する切換補正時間γを導出し（Ｓ３２２）、駆動信号生成ステップＳ３１６で生成した駆動信号の切換前倒し時間αが非蓄積時間Ｃでない場合（Ｓ３２０のＮＯ）すなわち切換前倒し時間αが予測立ち上がり時間Ａｓであり、シャッタ１１２の光透過状態への開始時点をこれ以上前倒ししても実益がない場合、切換補正時間γを０とする（Ｓ３２４）。

また、駆動信号補正部２２２は、駆動信号生成ステップＳ３１６で生成した駆動信号の前倒し時間βが予測立ち下がり時間Ｂｓである場合（Ｓ３２６のＹＥＳ）、輝度値取得ステップＳ３１８で取得した輝度値およびコントラスト値と保持部１６０に保持された映像時間情報とを参照して、シャッタ１１２の遮光状態への開始時点を補正する切換補正時間δを導出し（Ｓ３２８）、駆動信号生成ステップＳ３１６で生成した駆動信号の前倒し時間βが予測立ち下がり時間Ｂｓでない場合（Ｓ３２６のＮＯ）すなわち前倒し時間βが非蓄積時間Ｃから予測立ち下がり時間Ｂｓを減算した時間であり、シャッタ１１２の遮光状態への開始時点をこれ以上遅らせても実益がない場合、切換補正時間δを０とする（Ｓ３３０）。

そして、駆動信号補正部２２２は、駆動信号生成ステップＳ３１６で生成した駆動信号を、蓄積開始時点から（切換前倒し時間α＋切換補正時間γ）を前倒しし、蓄積開始時点から（前倒し時間β−切換補正時間δ）を前倒しした駆動信号に補正する（Ｓ３３２）。

そして、シャッタ切換部２２４は、駆動信号補正部２２２が補正した駆動信号に基づいて、左シャッタ１１２ａおよび右シャッタ１１２ｂを光通過状態と遮光状態とに切り換える（Ｓ３３４）。

以上説明したように、本実施形態にかかる立体映像撮像方法においても、シャッタ１１２の切り換えタイミングを工夫することで、輝度値やコントラスト値が低くなる場合であってもランダムノイズを低減させた高画質な立体映像データを生成することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態において、信号処理部２１２、輝度値取得部２２０、および駆動信号補正部２２２は、輝度値およびコントラスト値を処理対象としているが、これに限定されず輝度値またはコントラスト値のいずれか一方を処理対象とすることもできる。

なお、本明細書の立体映像撮像方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、水平視差によって立体映像を知覚させるための立体映像データを生成する立体映像撮像装置および立体映像撮像方法に利用することができる。

１００ …立体映像撮像装置
１０２ …記録媒体
１１２ …シャッタ
１１２ａ …左シャッタ
１１２ｂ …右シャッタ
１３０ …撮像部
１６０ …保持部
２１８ …駆動信号生成部
２２０ …輝度値取得部
２２２ …駆動信号補正部
２２４ …シャッタ切換部

Claims (4)

1. 光路中にそれぞれ配置された２つのシャッタと、
   前記２つのシャッタを通過した光束を重ねて光電変換し、立体映像データを生成する撮像部と、
   輝度値もしくはコントラスト値のいずれか一方または両方と前記シャッタの切換補正時間とを関連づけた映像時間情報を保持する保持部と、
   前記シャッタの光通過状態と遮光状態とを切り換えるための駆動信号を生成する駆動信号生成部と、
   前記撮像部が生成した立体映像データの輝度値もしくはコントラスト値のいずれか一方または両方を取得する輝度値取得部と、
   前記映像時間情報と取得された前記輝度値もしくはコントラスト値のいずれか一方または両方に基づいて、前記輝度値または前記コントラスト値が高くなるように前記駆動信号を補正する駆動信号補正部と、
   補正された前記駆動信号に基づいて、前記２つのシャッタそれぞれの光通過状態と遮光状態とを切り換えるシャッタ切換部と、
   を備えることを特徴とする立体映像撮像装置。
2. 前記駆動信号補正部は、前記シャッタの光透過状態への開始時点を前倒しすること、または前記シャッタの遮光状態への開始時点を遅延させることで前記輝度値もしくはコントラスト値のいずれか一方または両方を高くすることを特徴とする請求項１に記載の立体映像撮像装置。
3. 前記駆動信号補正部は、前記輝度値もしくはコントラスト値のいずれか一方または両方が所定の閾値を下回った場合に前記駆動信号を補正することを特徴とする請求項１または２に記載の立体映像撮像装置。
4. 光路中にそれぞれ配置された２つのシャッタと、前記２つのシャッタを通過した光束を重ねて光電変換し、立体映像データを生成する撮像部と、を備える立体映像撮像装置を用いた立体映像撮像方法であって、
   輝度値もしくはコントラスト値のいずれか一方または両方と前記シャッタの切換補正時間とを関連づけた映像時間情報を保持し、
   前記シャッタの光通過状態と遮光状態とを切り換えるための駆動信号を生成し、
   前記撮像部が光電変換した立体映像データの輝度値もしくはコントラスト値のいずれか一方または両方を取得し、
   前記映像時間情報と取得した前記輝度値もしくはコントラスト値のいずれか一方または両方に基づいて、前記輝度値もしくは前記コントラスト値のいずれか一方または両方が高くなるように前記駆動信号を補正し、
   補正した前記駆動信号に基づいて、前記２つのシャッタそれぞれの光通過状態と遮光状態とを切り換えることを特徴とする立体映像撮像方法。

Images