JP2011244377A - 撮像装置、ならびに画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】複数の視点画像において良好なユニフォミティを実現可能な撮像装置および画像処理装置を提供する。
【解決手段】撮像装置１では撮像レンズ１０ａ，１０ｂ、シャッター１１の左側領域または右側領域を透過した光線が、線順次駆動型のイメージセンサ１２において受光されることで、左右の視点方向からの撮像データが得られる。画像処理部１３において、ユニフォミティ補正部１３１が、イメージセンサ１２で取得された撮像データに基づく各視点画像に対し、シャッター１１の応答特性を考慮して、ユニフォミティ補正処理を施す。これにより、シャッター１１の応答特性に起因して、画像面内に明るさのむらが生じた場合にも、適切なユニフォミティ補正を施すことが可能となる。
【選択図】図１

Description

本発明は、立体視に対応した視点画像に対して所定の画像処理を行う画像処理装置、画像処理方法およびプログラム、ならびにそのような画像処理部を有する撮像装置に関する。

従来、様々な撮像装置が提案され、開発されている。例えば、撮像レンズと、左右の領域毎に透過および遮断を切り替え可能なシャッターとを備えたカメラ（撮像装置）が提案されている（例えば、特許文献１〜３参照）。これによれば、シャッターの各領域における開閉を時分割で交互に切り替えることで、透過光路を左右で切り替え、左右の各視点方向から撮影したかのような２種類の画像（左視点画像および右視点画像）を取得することができる。これらの左視点画像および右視点画像を、所定の手法を用いて人間の眼に提示することにより、人間はその画像に立体感を感じることができる。

また、上記のような撮像装置では、静止画を対象としたものが多い。動画を撮影するものも提案されている（例えば、特許文献４，５参照）が、これらの撮像装置ではいずれも、イメージセンサとして、面順次で受光駆動を行ういわゆるグローバルシャッタータイプのＣＣＤ（Charge Coupled Device）が用いられている。

登録特許第１０６０６１８号公報 特開２００２−３４０５６号公報 特表平９−５０５９０６号公報 特開平１０−２７１５３４号公報 特開２０００−１３７２０３号公報

ところが近年では、ＣＣＤよりも低コスト、低消費電力および高速処理化を実現可能なＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサが主流となってきている。このＣＭＯＳセンサは、上記ＣＣＤと異なり、線順次で受光駆動を行う、いわゆるローリングシャッタータイプのイメージセンサである。上記ＣＣＤでは、各フレームにおいて画面全体が同時刻に一括して撮影されるのに対し、このＣＭＯＳセンサでは、例えばイメージセンサの上部から下部に向けて線順次で露光や信号の読み出しがなされるため、ライン毎に、露光期間や読み出しタイミング等に時間的なずれが生じる。

他方、光路の遮断および透過を切り替えるためのシャッターでは、機械式のものであっても、液晶シャッター等の電子式のものであっても、遮断状態から透過状態（あるいはその逆）へ完全に切り替わるまでに所定の時間を要する（応答速度が遅い）ものが多い。

そのため、上記のようにシャッターによる光路切り替えによって複数の視点画像を撮影可能なカメラにおいて、線順次型のＣＭＯＳセンサを使用すると、ライン毎に透過光量が異なることとなり、画像面内の位置によって明るさにばらつきが生じてしまう。

ところで、撮影画像では、例えば面内の明るさや色の均一性（以下、単にユニフォミティという）を改善するための補正処理が施される。しかしながら、上記のように画像面内の位置によって明るさにばらつきがあると、そのような補正処理を施しても良好なユニフォミティが得られないという問題がある。

本発明はかかる問題点に鑑みてなされたもので、その目的は、複数の視点画像において良好なユニフォミティを実現することが可能な撮像装置、画像処理装置、画像処理方法、および画像処理プログラムを提供することにある。

本発明の撮像装置は、撮像レンズと、複数の光路において各光路の透過および遮断を切り替えるシャッターと、光路毎の通過光線を受光し、互いに異なる視点方向から撮影された複数の視点画像に対応する撮像データを取得する線順次駆動型の撮像素子と、複数の視点画像に対し画像処理を施す画像処理部とを備えたものである。画像処理部は、各視点画像に対し、シャッターの応答特性を考慮して、画像面内のユニフォミティを改善するための補正処理を施すユニフォミティ補正部を有している。但し、本発明においてユニフォミティとは、画像面内における明るさや色の均一性を意味するものとする。

本発明の画像処理装置は、複数の光路の各々において透過および遮断を切り替えるシャッターと線順次駆動型の撮像素子とを用いて互いに異なる視点方向から撮影された複数の視点画像の各々に対し、シャッターの応答特性を考慮して、画像面内のユニフォミティを改善するための補正処理を施すユニフォミティ補正部を備えたものである。

本発明の画像処理方法は、複数の光路の各々において透過および遮断を切り替えるシャッターと線順次駆動型の撮像素子とを用いて互いに異なる視点方向から撮影された複数の視点画像の各々に対し、シャッターの応答特性を考慮して、画像面内のユニフォミティを改善するための補正処理を施すステップを含むものである。

本発明の画像処理プログラムは、複数の光路の各々において透過および遮断を切り替えるシャッターと線順次駆動型の撮像素子とを用いて互いに異なる視点方向から撮影された複数の視点画像の各々に対し、シャッターの応答特性を考慮して、画像面内のユニフォミティを改善するための補正処理を施すステップをコンピュータに実行させるものである。

本発明の撮像装置、画像処理装置、画像処理方法および画像処理プログラムでは、複数の視点画像の各々に対し、シャッターの応答特性を考慮して、画像面内のユニフォミティを改善するための補正処理を施すことにより、シャッターの応答特性に起因して生じる明るさや色のばらつきが適切に補正される。

本発明の画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置によれば、複数の視点画像の各々に対し、シャッターの応答特性を考慮して、画像面内のユニフォミティ改善のための補正処理を施すようにしたので、シャッターの応答特性に起因して明るさや色のむらが生じた場合にも、適切な補正処理が可能となる。よって、互いに異なる視点方向から撮影された複数の視点画像において良好なユニフォミティを実現することが可能となる。

本発明の第１の実施形態に係る撮像装置の全体構成を表す図である。 図１に示した画像処理部の詳細構成を表す機能ブロック図である。 ２Ｄ撮影（光路切り替えなし）の場合の受光像を説明するための模式図である。 図１に示した撮像装置における左視点画像取得の原理を説明するための模式図である。 図１に示した撮像装置における右視点画像取得の原理を説明するための模式図である。 図１に示した撮像装置を用いて取得した左右の視点画像間の視差について説明するための模式図である。 イメージセンサにおける線順次駆動動作とシャッターの応答特性との関係を表す模式図である。 比較例１に係る撮影画像の一例を表す模式図である。 変形例１に係る画像処理部の詳細構成を表す機能ブロック図である。 イメージセンサにおける線順次駆動動作とシャッターの応答特性（波長依存性あり）との関係を表す模式図である。 比較例２に係る撮影画像の一例を表す模式図である。 変形例２に係る画像処理部の詳細構成を表す機能ブロック図である。 比較例３に係る補正処理動作を説明するための模式図である。 図１２に示した画像処理部における補正処理動作を説明するための模式図である。 変形例３に係る撮像装置の全体構成を表す図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。

１．実施の形態（シャッターの応答特性を考慮したユニフォミティ補正処理の例）
２．変形例１（応答特性において波長依存性を考慮した場合の例）
３．変形例２（視点毎に補正ルールを設けた場合の例）
４．変形例３（２眼式の撮像装置の例）

＜実施の形態＞
［撮像装置１の全体構成］
図１は、本発明の第１の実施の形態に係る撮像装置（撮像装置１）の全体構成を表したものである。撮像装置１は、被写体を互いに異なる複数の視点方向から撮影し、動画（または静止画）として、複数の視点画像（ここでは、左右２つの視点画像）を時系列的に取得するものである。撮像装置１は、いわゆる単眼式カメラであり、シャッター制御によって左右の光路を切り替え可能となっている。この撮像装置１は、撮像レンズ１０ａ，１０ｂ、シャッター１１、イメージセンサ１２、画像処理部１３、レンズ駆動部１４，シャッター駆動部１５、イメージセンサ駆動部１６および制御部１７を備えている。

尚、画像処理部１３が本発明の画像処理装置に対応している。また、本発明の画像処理プログラムは、画像処理部１３における各画像処理機能をソフトウェア的に実現したものである。この場合、そのソフトウェアは、各画像処理機能をコンピュータにより実行させるためのプログラム群で構成される。各プログラムは、例えば、専用のハードウェアに予め組み込まれて用いられてもよいし、汎用のパーソナルコンピュータなどにネットワークや記録媒体からインストールして用いられてもよい。

撮像レンズ１０ａ，１０ｂは、被写体からの光線を取得するためのレンズ群であり、これらの撮像レンズ１０ａ，１０ｂ間に、シャッター１１が配設されている。尚、シャッター１１の配置は特に限定されるものではないが、理想的には、撮像レンズ１０ａ，１０ｂの瞳面あるいは図示しない絞りの位置に配置されることが望ましい。撮像レンズ１０ａ，１０ｂは、例えばいわゆるズームレンズとして機能し、レンズ駆動部１４によってレンズ間隔等が調整されることにより、焦点距離を変更可能となっている。但し、撮像レンズとしては、そのような可動焦点レンズに限らず、固定焦点レンズであってもよい。

シャッター１１は、左右２つの領域に分割されており、その分割された領域毎に透過および遮断を切り替え制御されるようになっている。シャッター１１としては、そのような左右の領域毎に開閉を切り替え可能なものであれば、機械式のシャッターであってもよいし、例えば液晶シャッターのような電気式のシャッターであってもよい。

イメージセンサ１２は、撮像レンズ１０ａ，１０ｂおよびシャッター１１の所定の領域を通過した光線に基づいて受光信号を出力する光電変換素子である。このイメージセンサ１２は、例えばマトリクス状に配置された複数のフォトダイオード（受光画素）を有し、これら複数の受光画素から線順次で信号の読み出しを行う、ローリングシャッタータイプ（線順次駆動型）の撮像素子（例えば、ＣＭＯＳセンサ）である。尚、このイメージセンサ１２の受光面側には、例えば所定のカラー配列を有するＲ，Ｇ，Ｂのカラーフィルタ（図示せず）が配設されていてもよい。

（画像処理部１３）
画像処理部１３は、イメージセンサ１２から出力された撮像データに基づく撮像画像（左右の視点画像）に対し、所定の画像処理を施すと共に、画像処理前あるいは画像処理後の撮像データを記憶する各種メモリを含むものである。但し、画像処理後の画像データは、記録せずに外部のディスプレイ等に出力するようにしてもよい。

図２は、画像処理部１３の詳細構成について表したものである。画像処理部１３は、ユニフォミティ補正部１３１を備えており、このユニフォミティ補正部１３１の前段および後段には、他の画像補正処理を行う前処理部１３０および後処理部１３２が設けられている。ユニフォミティ補正部１３１は、イメージセンサ１２から入力される撮像データ（左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒ）に基づく画像（左視点画像Ｌ１，右視点画像Ｒ１）に対し、ユニフォミティを改善する補正処理（以下、「ユニフォミティ補正処理」または単に、「補正処理」という）を施すものである。詳細は後述するが、このユニフォミティ補正部１３１が、補正テーブル１３１Ｔを用いた所定の補正ルールに基づいて、上記補正処理を行うようになっている。尚、ユニフォミティとは、ここでは、画像面内の明るさおよび色の一方または両方の均一性を意味するものとする。

前処理部１３０は、例えばノイズリダクション（Noise reduction）やデモザイク処理等の画像処理、後処理部１３２は、例えばガンマ補正処理等の画像処理をそれぞれ行うものである。

レンズ駆動部１４は、撮像レンズ１０ａ，１０ｂにおける所定のレンズを光軸に沿ってシフトさせ、焦点距離を変化させるためのアクチュエータである。

シャッター駆動部１５は、シャッター１１の左右の領域においてその領域毎に開閉切り替え駆動を行うものである。具体的には、シャッター１１の左側領域が開状態のときには、右側領域が閉状態となるように、逆に左側領域が閉状態のときには、右側領域が開状態となるようにそれぞれ駆動する。動画撮影の際には、シャッター１１において左右の各領域の開閉が時分割で交互に切り替わるように駆動するようになっている。

イメージセンサ駆動部１６は、イメージセンサ１２を駆動してその受光動作を制御するものである。具体的には、上述のようなローリングシャッター型のイメージセンサ１２において、その露光および信号読み出しをそれぞれ線順次に行うように駆動する。

制御部１７は、画像処理部１３、レンズ駆動部１４、シャッター駆動部１５およびイメージセンサ駆動部１６の各動作を所定のタイミングで制御するものであり、この制御部１７としては例えばマイクロコンピュータ等が用いられる。

［撮像装置１の作用、効果］
（１．基本動作）
上記のような撮像装置１では、制御部１７の制御に基づき、レンズ駆動部１４が撮像レンズ１０ａ，１０ｂを駆動すると共に、シャッター駆動部１５がシャッター１１における左側領域を開状態、右側領域を閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部１６がイメージセンサ１２を受光駆動させる。これにより、左光路への切り替えがなされ、イメージセンサ１２では、左視点方向から入射した光線に基づく左視点画像データＤ０Ｌが取得される。

続いて、シャッター駆動部１９がシャッター１１の右側領域を開状態、左側領域を閉状態にそれぞれ切り替え、イメージセンサ駆動部１６がイメージセンサ１２を受光駆動させる。これにより、右光路への切り替えがなされ、イメージセンサ１２では、右視点方向から入射した光線に基づく右視点画像データＤ０Ｒが取得される。

そして、上記のシャッター１１における開閉切り替え動作およびイメージセンサ１２における受光動作を時分割で行うことにより、左視点画像，右視点画像に対応する撮像データが時系列に沿って交互に取得され、それらの組が順次画像処理部１３へ入力される。

画像処理部１３は、上記のようにして取得された左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒに基づく撮像画像（後述の左視点画像Ｌ１，右視点画像Ｒ１）に対し、所定の画像処理を施し、例えば立体視用の左右の視点画像（後述の左視点画像Ｌ２，右視点画像Ｒ２）を生成する。生成した左視点画像Ｌ２，右視点画像Ｒ２は画像処理部１３内に記録されるか、あるいは外部へ出力される。

（視点画像取得の原理）
ここで、図３〜図５を参照して、単眼式カメラを用いた場合の左右の視点画像取得の原理について説明する。図３〜図５は、撮像装置１を上方からみた図に等価であるが、簡便化のため、撮像レンズ１０ａ，１０ｂ、シャッター１１およびイメージセンサ１２以外の構成要素の図示を省略しており、撮像レンズ１０ａ，１０ｂについても簡略化してある。

まず、図３に示したように、左右の光路切り替えをしない場合（通常の２Ｄ撮影の場合）の受光像（イメージセンサ１２への映り方）について説明する。ここでは、被写体の一例として、奥行き方向において互いに異なる位置に配置された３つの被写体を例に挙げる。具体的には、撮影レンズ１０ａ，１０ｂのピント面Ｓ１にある被写体Ａ（人物）と、被写体Ａよりも奥側（撮像レンズと反対側）に位置する被写体Ｂ（山）と、被写体Ａよりも手前側（撮像レンズ側）に位置する被写体Ｃ（花）である。このような位置関係にある場合、被写体Ａが、例えばセンサ面Ｓ２上の中央付近に結像する。一方、ピント面Ｓ１よりも奥側に位置する被写体Ｂは、センサ面Ｓ２の手前（撮像レンズ側）に結像し、被写体Ｃは、センサ面Ｓ２の奥側（撮像レンズと反対側）に結像する。即ち、センサ面Ｓ２には、被写体Ａがフォーカスした（ピントの合った）像（Ａ０）、被写体Ｂおよび被写体Ｃはデフォーカスした（ぼやけた）像（Ｂ０，Ｃ０）となって映る。

（左視点画像）
このような位置関係にある３つの被写体Ａ〜Ｃに対し、光路を左右で切り替えた場合、センサ面Ｓ２への映り方は、次のように変化する。例えば、シャッター駆動部１５が、シャッター１１の左側領域ＳＬを開状態、右側領域ＳＲを閉状態となるように駆動した場合には、図４に示したように、左側の光路が透過となり、右側の光路は遮光される。この場合、ピント面Ｓ１にある被写体Ａに関しては、右側の光路を遮光されていても、光路切り替えのない上記場合と同様、センサ面Ｓ２上にフォーカスして結像する（Ａ０）。ところが、ピント面Ｓ１から外れた位置にある被写体Ｂ，Ｃについては、センサ面Ｓ２上においてデフォーカスしたそれぞれの像が、水平方向において互いに逆の方向（ｄ１，ｄ２）にシフトしたような像（Ｂ０'，Ｃ０'）として映る。

（右視点画像）
一方、シャッター駆動部１５が、シャッター１１の右側領域ＳＲを開状態、左側領域ＳＬを閉状態となるように駆動した場合には、図５に示したように、右側の光路が透過となり、左側の光路は遮光される。この場合も、ピント面Ｓ１にある被写体Ａは、センサ面Ｓ２上に結像し、ピント面Ｓ１から外れた位置にある被写体Ｂ，Ｃは、センサ面Ｓ２上において互いに逆の方向（ｄ３，ｄ４）にシフトしたような像（Ｂ０"，Ｃ０"）として映る。但し、これらのシフト方向ｄ３，ｄ４は、上記左視点画像におけるシフト方向ｄ１，ｄ２とそれぞれ逆向きとなる。

（左右の視点画像間の視差）
上記のように、シャッター１１における各領域の開閉を切り替えることにより、左右の各視点方向に対応する光路が切り替えられ、左視点画像Ｌ１，右視点画像Ｒ１を取得することができる。また、上述のようにデフォーカスした被写体像は、左右の視点画像間で互いに水平方向逆向きにシフトするため、その水平方向に沿った位置ずれ量（位相差）が視差量となる。例えば図６（Ａ），（Ｂ）に示したように、被写体Ｂに注目した場合、左視点画像Ｌ１における像Ｂ０’の位置（Ｂ１_L）と右視点画像Ｒ１における像Ｂ０”の位置（Ｂ１_R）との水平方向の位置ずれ量Ｗｂ１が、被写体Ｂについての視差量となる。同様に、被写体Ｃに注目した場合、左視点画像Ｌ１における像Ｃ０’の位置（Ｃ１_L）と右視点画像Ｒ１における像Ｃ０”の位置（Ｃ１_R）との水平方向の位置ずれ量Ｗｃ１が、被写体Ｃについての視差量となる。

そして、これらの左視点画像Ｌ１，右視点画像Ｒ１に基づく左視点画像Ｌ２，右視点画像Ｒ２を、例えば偏光方式、フレームシーケンシャル方式、プロジェクタ方式等の３Ｄ表示手法を用いて表示することにより、観察者は、その観察映像において、例えば次のような立体感を感じることができる。即ち、上述の例では、視差のない被写体Ａ（人物）は表示画面（基準面）上で観察される一方、被写体Ｂ（山）はその基準面よりも奥まって見え、被写体Ｃ（花）は基準面から飛び出したような立体感で観察される。

（２．画像補正処理動作）
本実施の形態では、画像処理部１３が、上記のような立体視用の左視点画像Ｌ１，右視点画像Ｒ１に対し、次のような画像処理を施す。具体的には、画像処理部１３では、イメージセンサ１２から入力された左視点画像データＤ０Ｌ，Ｄ０Ｒに対し、前処理部１３０が、ノイズリダクション等の画像処理を施す。この後、前処理部１３０による画像処理後の画像データＤ１に対し、ユニフォミティ補正部１３１は、画像面内のユニフォミティを改善する補正処理を施す。具体的には、ユニフォミティ補正部１３１は、画像データＤ１に対し、所定の補正ルールを用いた演算処理を施すことにより、撮像光学系の特性に起因して生じる明るさを除去する。撮像光学系の特性とは、例えば、絞り値や焦点距離、これら絞り値，焦点距離に依存する画角に対する撮像レンズ１０ａ，１０ｂの分光特性、およびイメージセンサ１２の特性等である。また、演算処理は、所定の補正式やマトリクスを含む補正テーブル１３１Ｔを用いてなされ、補正テーブル１３１Ｔとしては、その撮像光学系の特性に基づいて、予めシミュレーションによって算出しておいたものが使用される。

ところで、本実施の形態では、イメージセンサ駆動部１６により、イメージセンサ１２における受光駆動動作が線順次で行われる。具体的には、図７（Ａ）に示したように、イメージセンサ１２の一画面において画面上部から下部に向かって（走査方向Ｓに沿って）、受光信号の読み出しがなされる。このため、画面の位置によって、露光期間および信号読み出しタイミングに時間的なずれが生じる。例えば、イメージセンサ１２における上部のライン１２Ａ、中央付近のライン１２Ｂ、および下部のライン１２Ｃの露光期間はそれぞれｔａ，ｔｂ，ｔｃとなる。

一方、上述したような左右の各光路を切り替えるためのシャッター１１では、そのシャッター１１の特性上、遮断状態から透過状態（あるいはその逆）へ完全に遷移するまでに、所定の時間を要する（応答速度が遅い）、という傾向がある。例えば、図７（Ｂ）に示したように、遮断状態から透過状態への応答速度が、透過状態から遮断状態への応答速度に比べて遅くなる傾向を示す。このような傾向は、シャッター１１として機械式および電子式のどちらを用いた場合にもみられるものであるが、特に電圧により液晶の透過率を制御する液晶シャッターを使用した場合に顕著にあらわれる。

従って、線順次駆動型のイメージセンサ１２とを用いて撮影を行った場合において、シャッター１１が上記のような応答特性を有すると、ライン毎に透過光量が異なってしまい、画像面内の位置によって明るさにばらつきが生じてしまう。ここでは、画面の上部の露光期間では、下部よりも透過光量（受光量）が少なくなるため、例えば画面全体で均一な明るさの被写体を撮影した場合であっても、例えば図８に示したように、画像の上部が下部よりも暗くなってしまう。

このように、画像面内にシャッター１１の応答特性に起因して明るさむらが生じた場合、ある補正ルール（撮像光学系の特性のみに応じて一意的に設定した補正テーブル等）に基づいて、ユニフォミティ補正処理を行っても、十分な均一性は得られない。つまり、撮像光学系の特性に起因して生じる明るさむらは除去できるものの、シャッターの応答特性に起因して生じるむらはユニフォミティ補正処理後もそのまま残ってしまう。

そこで、本実施の形態では、ユニフォミティ補正部１３１が、画像データＤ１に対し、シャッターの応答特性（応答速度）を考慮した補正ルールを用いた演算処理を施す。これにより、撮像光学系の特性だけでなく、シャッター１１の応答特性に起因して生じるむらをも除去することができる。具体的には、上記撮像光学系の特性だけでなく、図７（Ｂ）に示したようなシャッター１１の応答特性をも考慮して設定された補正テーブル１３１Ｔを用いた演算処理を行う。補正テーブル１３１Ｔとしては、例えば、撮像光学系の特性およびシャッター１１の応答特性と、予め撮影したむらのない均一な画像データとに基づいて、シミュレーションにより算出することができる。

このようなシャッター１１の応答特性を考慮した補正ルールを用いることにより、線順次型のイメージセンサ１２を使用すると共に、シャッター１１により光路を切り替えて視点画像を取得する場合にも、明るさむらを十分に低減することができる。特に、液晶シャッター等の応答速度の遅いシャッターを使用する場合、画像面内で明るさにむらが生じ易くなるため、本実施の形態のような補正ルールを適用したユニフォミティ補正は効果的である。

上記のようにしてユニフォミティ補正処理が施された後の左視点画像Ｌ２，右視点画像Ｒ２は、画像データＤ２として後処理部１３２へ入力される。後処理部１３２は、入力された画像データＤ２に対し、ガンマ補正処理等を施し、画像データＤoutとして、図示しない記憶部へ出力するか、外部のディスプレイ装置等へ送信する。

以上のように、本実施の形態では、画像処理部１３（ユニフォミティ補正部１３１）が、左視点画像Ｌ１，右視点画像Ｒ１の各々に対し、シャッター１１の応答特性を考慮して、ユニフォミティ補正処理を施す。これにより、シャッター１１の応答特性に起因して明るさむらが生じた場合にも、適切なユニフォミティ補正が可能となる。よって、互いに異なる視点方向から撮影された複数の視点画像において良好なユニフォミティを実現することが可能となる。

次に、上記実施の形態に係る撮像装置の変形例（変形例１〜３）について説明する。変形例１，２は、上記撮像装置１の画像処理部におけるユニフォミティ補正動作の他の例に関するものであり、上記実施の形態と同様の撮像光学系に適用されるものである。変形例３は、撮像装置の他の構成（２眼式カメラ）に関するものである。以下では、上記実施の形態の撮像装置１と同様の構成要素については同一の符号を付し、適宜説明を省略する。

＜変形例１＞
図９は、変形例１に係る画像処理部（画像処理部１３ａ）の詳細構成について表したものである。画像処理部１３ａは、上記実施の形態と同様、画像面内の明るさの均一性の改善を行うユニフォミティ補正部１３３を備えたものである。ユニフォミティ補正部１３３は、補正テーブル１３３Ｔを保持しており、ユニフォミティ補正処理をシャッターの応答特性を考慮して行うようになっている。尚、このユニフォミティ補正部１３３の前段および後段には、上記実施の形態と同様、前処理部１３０および後処理部１３２が設けられている。

但し、本変形例のユニフォミティ補正部１３３は、シャッター１１の応答特性において波長依存性をも考慮した補正テーブル１３３Ｔを用いる。即ち、本変形例におけるユニフォミティ補正処理は、シャッター１１として、応答特性が波長依存性を有するシャッター（具体的には液晶シャッター）を用いた場合に有効な補正処理である。

具体的には、ユニフォミティ補正部１３３が、画像データＤ１に対し、赤（Ｒ：Red），緑（Ｇ：Green），青（Ｂ：Blue）の色データ毎に、それぞれ異なる補正ルールに基づいて補正処理を行う。ここでは、補正テーブル１３３Ｔにおいて、Ｒ，Ｇ，Ｂの色データ毎の演算処理がなされるようになっている。尚、補正テーブルは、色データ毎にそれぞれ設けられていてもよい。

［変形例１の作用、効果］
本変形例においても、上記実施の形態と同様、撮像レンズ１０ａ，１０ｂとシャッター１１の左側領域または右側領域の通過光線が、イメージセンサ１２において受光されることにより、撮像データＤ０（Ｄ０Ｌ，Ｄ０Ｒ）が取得される。そして、画像処理部１３ａは、そのようにして取得された撮像データＤ０に基づく左視点画像，右視点画像に対し、シャッター１１の応答特性を考慮したユニフォミティ補正処理を施し、立体視用の左視点画像，右視点画像を生成する。生成された左視点画像，右視点画像は、画像データＤ３として記憶部等へ出力される。また、本変形例においても、図１０（Ａ）に示したように、イメージセンサ１２は、線順次に受光駆動される。

ここで、前述のように、線順次駆動型のイメージセンサ１２では、露光期間や読み出しタイミングにおいてライン毎に時間的なずれが生じることから、シャッターの応答特性に起因して画像面内に明るさむらが発生する。この明るさむらは、上記実施の形態のようにシャッター１１の応答特性を考慮してユニフォミティ補正処理を行うことで除去することができる。ところが、本変形例のように、シャッター１１の応答特性が波長依存性を有する場合、画像の位置によって色光毎の透過光量が異なることとなり、明るさだけでなく色も実際のものと相違してしまう。例えば図１０（Ｂ）〜（Ｃ）に示したように、３原色光のうち青色光において最も応答速度が速く、緑色光、赤色光の順に応答速度が遅くなる（波長が短くなる程、応答速度が速くなる）シャッターを用いる場合、次のような色むらが生じてしまう。即ち図１１に示したように、特に上部のライン１２Ａ付近の領域Ｓ１では、青色が強く（緑色および赤色が弱く）、中央のライン１２Ｂ付近の領域Ｓ２では、青色および緑色が強く（赤色が弱く）なり易い。このため、画像における色が実際の被写体と異なったり、画面全体で同一色の被写体を撮影した場合であっても、画面の位置によって色が変化したりしてしまう。

そこで、本変形例では、ユニフォミティ補正部１３３が、シャッター１１の応答特性において、波長依存性を考慮したユニフォミティ補正処理を行う。例えば図１０（Ｂ）〜（Ｃ）に示したように、波長が短くなる程、応答速度が速くなるシャッターを用いる場合には、これらの色光毎の応答特性を考慮した補正ルールを設定する。具体的には、Ｒ，Ｇ，Ｂの色光毎の応答特性に基づいて設定した補正テーブル１３３Ｔを用いて、色データ毎に補正処理を行う。これにより、画面の位置毎に、また色データ毎に適切なユニフォミティ補正処理が施され、明るさむらと色むらとを同時に除去できる。従って、本変形例では、上記実施の形態と同等の効果を得ると共に、シャッター１１の応答特性が波長依存性を有する場合において色の均一性についても補正可能となる。

＜変形例２＞
図１２は、変形例２に係る画像処理部（画像処理部１３ｂ）の詳細構成について表したものである。画像処理部１３ｂは、上記実施の形態と同様、画像面内の明るさの均一性の改善を行うユニフォミティ補正部１３４を備えたものである。ユニフォミティ補正部１３４は、補正テーブル１３４Ｔ_L，１３４Ｔ_Rを保持しており、ユニフォミティ補正処理をシャッター１１の応答特性を考慮して行うようになっている。尚、このユニフォミティ補正部１３４の前段および後段には、上記実施の形態と同様、前処理部１３０および後処理部１３２が設けられている。

但し、本変形例のユニフォミティ補正部１３４は、左視点用の補正テーブル１３４Ｔ_Lと右視点用の補正テーブル１３４Ｔ_Rとをそれぞれ保持している。即ち、本変形例では、左視点画像と右視点画像とに対し互いに異なる補正ルールを適用してユニフォミティ補正処理を施す。具体的には、ユニフォミティ補正部１３４が、画像データＤ１のうち、左視点画像データＤ１Ｌについては補正テーブル１３４Ｔ_L、右視点画像データＤ１Ｒについては補正テーブル１３４Ｔ_Rを用いて、視点画像データ毎の演算処理がなされるようになっている。

［変形例２の作用、効果］
本変形例においても、上記実施の形態と同様、撮像レンズ１０ａ，１０ｂとシャッター１１の左側領域または右側領域の通過光線が、イメージセンサ１２において受光されることにより、撮像データＤ０（Ｄ０Ｌ，Ｄ０Ｒ）が取得される。そして、画像処理部１３ａは、そのようにして取得された撮像データＤ０に基づく左視点画像，右視点画像に対し、シャッター１１の応答特性を考慮したユニフォミティ補正処理を施し、立体視用の左視点画像，右視点画像を生成する。生成された左視点画像，右視点画像は、画像データＤ４として記憶部等へ出力される。

また、上記実施の形態および変形例１と同様、露光期間や読み出しタイミングにおいてライン毎に時間的なずれが生じ、シャッターの応答特性に起因して画像面内に明るさむらが発生するが、シャッター１１の応答特性を考慮した補正処理を行うことで、それらを除去することができる。

ここで、画像面内での明るさむら（あるいは色むら）は、撮像光学系の特性やシャッター１１の応答特性によって生じることは既に述べたが、厳密には、この明るさむらの分布（以下、不均一分布という）は、左視点画像と右視点画像との間で相違する。以下、図１３（Ａ）〜（Ｃ），図１４（Ａ）〜（Ｃ）を参照して、本変形例におけるユニフォミティ補正処理について説明する。尚、簡便化のため、撮像レンズにおける透過領域と、撮影画像における不均一分布、および補正後の明るさの分布についてのみ模式的に示した。

（比較例）
図１３（Ａ）に示したように、通常の２Ｄ表示用として取得した画像（光路切り替えなし：図３に相当）では、撮像レンズの光軸Ｚと透過光路の中心Ｇが一致するため、画像面内における不均一分布は光軸対称となる。ところが、図１３（Ｂ），（Ｃ）に示したように、シャッター１１の左右の領域の開閉を切り替えて撮影した場合、各透過光路における中心（ＧＬ，ＧＲ）が撮像レンズの光軸Ｚからずれ、また、視点毎に、そのずれる方向が異なる。即ち、不均一分布が視点方向毎に異なるので、各視点画像に対して一意に決められた補正ルールに基づいて補正を行う（例えば図１３（Ａ）のような光軸対象の不均一分布を元に補正を行う）と、視点画像毎に補正後のユニフォミティが異なってしまう。つまり、視点画像毎の不均一分布が解消されず、そのまま残ってしまう。このような不均一分布の残ったままの視点画像を、３Ｄ表示した場合、ちらつきが認識されたりする場合がある。

（実施例）
そこで、本変形例では、ユニフォミティ補正部１３４が、例えば図１４（Ｂ），（Ｃ）に示したように、左視点画像に対しては補正ルールＴＬ、右視点画像に対しては補正ルールＴＲをそれぞれ適用してユニフォミティ補正処理を施す。具体的には、画像データＤ１のうち、左視点画像データＤ１Ｌについては補正テーブル１３４Ｔ_L、右視点画像データＤ１Ｒについては補正テーブル１３４Ｔ_Rをそれぞれ用いて、視点画像毎に補正処理を行う。尚、補正テーブル１３４Ｔ_L，１３４Ｔ_Rは、視点毎の不均一分布に基づいて予めシミュレーションにより算出された補正式やマトリクス等である。

これにより、画面の位置毎に、また視点画像毎に適切なユニフォミティ補正処理が施され、明るさむらをより効果的に除去できる。よって、図１４（Ａ）に示したような２Ｄ表示用の画像と同等のユニフォミティを実現できる。従って、本変形例では、上記実施の形態と同等またはそれ以上の効果を得ることができる。

＜変形例３＞
［撮像装置２の全体構成］
図１５は、変形例３に係る撮像装置（撮像装置２）の全体構成を表したものである。撮像装置２は、上記第１の実施の形態の撮像装置１と同様、被写体を左右の視点方向から撮影し、動画（または静止画）として、左右の視点画像を時系列的に取得するものである。但し、本変形例の撮像装置２は、左右の各視点方向からの光線ＬＬ，ＬＲを取得するための光路毎に、撮像レンズ１０ａ１，１０ｂ、および撮像レンズ１０ａ２，１０ｂを有する、いわゆる２眼式カメラであり、光路毎にシャッター１１ａ，１１ｂを有している。但し、撮像レンズ１０ｂは、各光路に共通の構成要素となっている。また、各光路に共通の構成要素として、上記実施の形態の撮像装置１と同様、イメージセンサ１２、画像処理部１３、レンズ駆動部１８、シャッター駆動部１９、イメージセンサ駆動部１６および制御部１７を備えている。

撮像レンズ１０ａ１，１０ｂは、左視点方向の光線ＬＬを、撮像レンズ１０ａ２，１０ｂは、右視点方向の光線ＬＲをそれぞれ取得するためのレンズ群である。撮像レンズ１０ａ１，１０ｂ間にはシャッター１１ａ、撮像レンズ１０ａ２，１０ｂ間にはシャッター１１ｂがそれぞれ配設されている。尚、シャッター１１ａ，１１ｂの配置は特に限定されるものではないが、理想的には撮像レンズ群の瞳面あるいは図示しない絞りの位置に配置されることが望ましい。

これらの撮像レンズ１０ａ１，１０ｂ（撮像レンズ１０ａ２，１０ｂ）は、全体として例えばズームレンズとして機能するものである。撮像レンズ１０ａ１，１０ｂ（撮像レンズ１０ａ２，１０ｂ）では、レンズ駆動部１４によってレンズ間隔等が調整されることにより、焦点距離を可変となっている。また、各レンズ群はそれぞれ１または複数枚のレンズによって構成されている。そのような撮像レンズ１０ａ１とシャッター１１ａとの間にはミラー１１０、撮像レンズ１０ａ２とシャッター１１ｂとの間にはミラー１１１、シャッター１１ａ，１１ｂ間にはミラー１１２がそれぞれ配置されている。これらのミラー１１０〜１１２によって、光線ＬＬ，ＬＲはそれぞれ、シャッター１１ａ，１１ｂを通過した後、撮像レンズ１０ｂへ入射するようになっている。

シャッター１１ａ，１１ｂは、左右の各光路における透過および遮断を切り替えるためのものであり、シャッター１１ａ，１１ｂ毎に開状態（透光状態）および閉状態（遮光状態）が切り替え制御されるようになっている。シャッター１１ａ，１１ｂとしては、上記のような光路切り替えが可能なものであれば、機械式のシャッターであってもよいし、例えば液晶シャッターのような電気式のシャッターであってもよい。

画像処理部１３は、上記第１の実施の形態と同様、左右の視点画像に対し、所定の画像処理を施し、ユニフォミティ補正処理をシャッター１１の応答特性を考慮して行うものである。

レンズ駆動部１８は、撮像レンズ１０ａ１，１０ｂ（または撮像レンズ１０ａ２，１０ｂ）における所定のレンズを光軸に沿ってシフトさせるアクチュエータである。

シャッター駆動部１９は、シャッター１１ａ，１１ｂの開閉切り替え駆動を行うものである。具体的には、シャッター１１ａが開状態のときには、シャッター１１ｂが閉状態となるように、シャッター１１ａが閉状態のときには、シャッター１１ｂが開状態となるようにそれぞれ駆動する。また、動画として各視点画像を取得する際には、シャッター１１ａ，１１ｂ毎に開状態および閉状態が時分割で交互に入れ替わるように駆動するようになっている。

［撮像装置２の作用、効果］
上記のような撮像装置２では、制御部１７の制御に基づき、レンズ駆動部１４が撮像レンズ１０ａ１，１０ｂを駆動すると共に、シャッター駆動部１９がシャッター１１ａを開状態、シャッター１１ｂを閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部１６がイメージセンサ１２を受光駆動させる。これにより、左視点方向に対応する左光路に切り替えられ、イメージセンサ１２では、被写体側からの入射光線のうち光線ＬＬに基づく受光がなされ、左視点画像データＤ０Ｌが取得される。

続いて、レンズ駆動部１８が撮像レンズ１０ａ２，１０ｂを駆動すると共に、シャッター駆動部１９がシャッター１１ｂを開状態、シャッター１１ａを閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部１６がイメージセンサ１２を受光駆動させる。これにより、右視点方向に対応する右光路に切り替えられ、イメージセンサ１２では、被写体側からの入射光線のうち光線ＬＲに基づく受光がなされ、右視点画像データＤ０Ｒが取得される。

上記のような撮像レンズ１０ａ１，１０ａ２およびシャッター１１ａ，１１ｂの切り替え駆動を時分割で交互に行うことにより、左視点画像，右視点画像に対応する撮像データが時系列に沿って交互に取得され、それら左右の視点画像の組が順次画像処理部１３へ入力される。

そして、画像処理部１３が、上記のようにして取得された左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒに基づく撮像画像に対し、上記実施の形態と同様にしてユニフォミティ補正処理を含む画像処理を施し、例えば立体視用の左右の視点画像を生成する。生成された視点画像は画像処理部１３内に記録されるか、あるいは外部へ出力される。

本発明は、本変形例のように、撮像レンズを左右の光路毎に配置してなる２眼式カメラにも適用可能である。このような撮像光学系を用いた場合であっても、画像処理部において、各視点画像に対し、シャッターの応答特性を考慮したユニフォミティ補正処理を施すことで、上記実施の形態と同等の効果を得ることができる。また、上述の変形例１，２で説明した各補正処理を、上記変形例３の撮像装置において行うようにしてもよい。

以上、実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態等では、左右２つの光路を切り替えて取得した左右の視点画像に対して所定の画像処理を施す場合を例に挙げて説明したが、視点方向は左右（水平方向）に限らず上下（垂直方向）であってもよい。また、光路を３つ以上に切り替え可能とし、３つ以上の多視点画像が取得されるようにしてもよい。

また、上記実施の形態等では、シャッターの応答特性を考慮した補正ルールとして、予めシミュレーションによって算出した補正テーブル等を用いる場合を例に挙げて説明したが、他にも次のように補正ルールを設定してもよい。例えば、シャッターの中には温度等の環境によって応答特性が変化するもの（例えば液晶シャッター）があるため、そのようなシャッターを使用した場合には、装置内部の温度を測定して、そのときのシャッターの応答特性を検出（推測）するような機構（検出部）を設けてもよい。そして、検出された応答特性に適した補正ルールを用いて補正処理を施すようにしてもよい。これにより、温度等の環境が変化した場合であっても、安定して明るさや色の均一な画像を生成することが可能となる。

更に、画像処理部１３における一連の画像処理は、ハードウェア、またはソフトウェア、あるいは両者が複合したものにおいて実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることもできる。

１，２…撮像装置、１０ａ，１０ａ１，１０ａ２，１０ｂ…撮像レンズ（群）、１１，１１ａ，１１ｂ…シャッター、１２…イメージセンサ、１３…画像処理部、１３１，１３３，１３４…ユニフォミティ補正部、１４，１８…レンズ駆動部、１５，１９…シャッター駆動部、１６…イメージセンサ駆動部、１７…制御部、Ｌ１，Ｌ２…左視点画像、Ｒ１，Ｒ２…右視点画像。

Claims (10)

1. 撮像レンズと、
   複数の光路において各光路の透過および遮断を切り替えるシャッターと、
   前記光路毎の通過光線を受光し、互いに異なる視点方向から撮影された複数の視点画像に対応する撮像データを取得する線順次駆動型の撮像素子と、
   前記複数の視点画像に対し画像処理を施す画像処理部とを備え、
   前記画像処理部は、各視点画像に対し、前記シャッターの応答特性を考慮して、画像面内のユニフォミティを改善するための補正処理を施すユニフォミティ補正部を有する
   撮像装置。
2. 前記ユニフォミティ補正部は、各視点画像に対して、視点毎に異なる補正ルールに基づく補正処理を施す
   請求項１に記載の撮像装置。
3. 前記シャッターは液晶シャッターである
   請求項１に記載の撮像装置。
4. 前記液晶シャッターの応答特性が波長依存性を有し、
   前記ユニフォミティ補正部は、前記液晶シャッターの応答特性において波長依存性を考慮して、前記補正処理を施す
   請求項３に記載の撮像装置。
5. 前記液晶シャッターの応答特性を検出する検出部を更に備え、
   前記ユニフォミティ補正部は、前記検出部により検出された応答特性を考慮して前記補正処理を施す
   請求項３に記載の撮像装置。
6. 前記ユニフォミティ補正部は、各視点画像における明るさの面内均一性を改善する
   請求項１に記載の撮像装置。
7. 前記ユニフォミティ補正部は、各視点画像における色の面内均一性を改善する
   請求項１に記載の撮像装置。
8. 複数の光路の各々において透過および遮断を切り替えるシャッターと線順次駆動型の撮像素子とを用いて、互いに異なる視点方向から撮影された複数の視点画像の各々に対し、前記シャッターの応答特性を考慮して、画像面内のユニフォミティを改善するための補正処理を施すユニフォミティ補正部
   を備えた画像処理装置。
9. 複数の光路の各々において透過および遮断を切り替えるシャッターと線順次駆動型の撮像素子とを用いて、互いに異なる視点方向から撮影された複数の視点画像の各々に対し、前記シャッターの応答特性を考慮して、画像面内のユニフォミティを改善するための補正処理を施すステップ
   を含む画像処理方法。
10. 複数の光路の各々において透過および遮断を切り替えるシャッターと線順次駆動型の撮像素子とを用いて、互いに異なる視点方向から撮影された複数の視点画像の各々に対し、前記シャッターの応答特性を考慮して、画像面内のユニフォミティを改善するための補正処理を施すステップ
    をコンピュータに実行させる画像処理プログラム。

Images