JP2003018617A - 撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】 広ダイナミックレンジな立体画像や高精度な
距離情報を得ることができる撮像装置を提供する。 【解決手段】 視差のある複数枚の画像をアンプ６の増
幅率を制御することにより露光量を異ならせて撮像し得
る撮像部１と、この撮像部１のＡＦ制御等を行いＡＦ情
報を出力する撮像制御部８と、上記撮像部１により撮像
された視差のある複数枚の画像から距離情報を算出する
距離情報算出部２２と、視差が同じで露光量の異なる複
数枚の画像を上記距離情報とＡＦ情報とに基づき推定し
た主要被写体に重み付けするように階調変換し合成し
て、これを視差のある画像群に対して行うことにより視
差のある広ダイナミックレンジ画像を算出する広ダイナ
ミックレンジ画像算出部２３と、を備えた撮像装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像装置、より詳
しくは、視差のある複数枚の画像を撮像し得る撮像装置
に関する。

【０００２】

【従来の技術】ステレオ画像に代表されるように、同一
の被写体に関して左右２枚の画像を撮影することで立体
画像や距離情報を得る手段が知られている。

【０００３】例えば、特開平６-５４８０３号公報に
は、２つの光学系と１つの撮像素子とを組み合わせて、
時分割的に左右の画像を提示することにより、立体画像
を観察することができるようにした内視鏡システムが記
載されている。

【０００４】また、特開平６-７４７６２号公報には、
２つの光学系と２つの撮像素子とを用いて焦点位置を変
化させながら撮影することにより、焦点深度以上の被写
体に関する距離情報を得るための顕微鏡システムが記載
されている。

【０００５】ところで、上述したようなシステムにおい
ては、例えばＣＣＤなどの半導体を用いて形成した固体
撮像素子が用いられているが、該ＣＣＤは、階調に関す
るダイナミックレンジが銀塩フィルムに比べて狭いとい
う性質がある。

【０００６】このような点を改善するために、例えば特
開２０００-２２８７４７号公報において、露光量の異
なる複数枚の画像を合成して一枚の広ダイナミックレン
ジ画像を生成する手段、およびダイナミックレンジの狭
い表示系にも表示することができるようにダイナミック
レンジを圧縮する手段が提案されている。

【０００７】

【発明が解決しようとする課題】しかしながら、上記特
開平６-５４８０３号公報や特開平６-７４７６２号公報
に記載されたような技術では、階調幅の広い被写体に対
しては黒つぶれや白とびなどの影響で、高品位な立体画
像を得るとができず、同様の理由で、左右のマッチング
精度が低下するために、高精度な距離情報を得ることが
できなかった。

【０００８】さらに、上記特開２０００-２２８７４７
号公報に記載されたような技術では、広ダイナミックレ
ンジ画像をダイナミックレンジの狭い表示系へ圧縮する
際に、主要被写体に対して最適化することが困難であ
り、必ずしも主観的に好ましい画像が得られるとは限ら
なかった。

【０００９】本発明は上記事情に鑑みてなされたもので
あり、視差のある複数枚の広ダイナミックレンジ画像に
基づく立体画像と、高精度な距離情報と、の少なくとも
一方を得ることができる撮像装置を提供することを目的
としている。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明による撮像装置は、同一の被写体に係
る複数枚の画像でなる画像群であって該画像群に含まれ
る一画像は同画像群に含まれる他の画像に対して露光量
が異なるか視差があるかの少なくとも一方が成立してい
る画像群を撮像する撮像手段と、上記画像群中の互いに
視差のある複数枚の画像から距離情報を算出する第１の
算出手段と、上記画像群中の互いに露光量が異なりかつ
視差のない複数枚の画像でなる部分画像群から一枚の広
ダイナミックレンジ画像を算出する動作を視差のある複
数の部分画像群に対して行うことにより視差のある複数
枚の広ダイナミックレンジ画像を算出する第２の算出手
段と、を備えたものである。

【００１１】また、第２の発明による撮像装置は、上記
第１の発明による撮像装置において、上記撮像手段が、
単一の光学系と、この光学系により光学像が結像される
単一の撮像素子と、を有してなるものである。

【００１２】さらに、第３の発明による撮像装置は、上
記第１の発明による撮像装置において、上記撮像手段
が、複数の光学系と、これらの光学系により光学像が選
択的に結像される単一の撮像素子と、この撮像素子に光
学像を結像する光学系を切り換えるための切換手段と、
を有してなるものである。

【００１３】第４の発明による撮像装置は、上記第１の
発明による撮像装置において、上記撮像手段が、単一の
光学系と、この光学系により光学像が結像される複数の
撮像素子と、上記光学系からの光学像をこれら複数の撮
像素子に分岐する分岐手段と、を有してなるものであ
る。

【００１４】第５の発明による撮像装置は、上記第１の
発明による撮像装置において、上記撮像手段が、複数の
光学系と、これらの光学系により光学像が各結像される
複数の撮像素子と、を有してなるものである。

【００１５】第６の発明による撮像装置は、上記第１の
発明による撮像装置において、上記撮像手段が、露光量
が異なる画像を撮像するための光学フィルタ手段を光路
中に配置してなるものである。

【００１６】第７の発明による撮像装置は、上記第１の
発明による撮像装置において、上記撮像手段が、露光量
が異なる画像を撮像するために信号処理を行う電気回路
手段を信号経路中に配置してなるものである。

【００１７】第８の発明による撮像装置は、上記第１の
発明による撮像装置において、上記第１の算出手段が、
上記画像群中の互いに視差のある複数枚の画像間でマッ
チングを行うマッチング手段と、上記マッチング手段に
よるマッチング結果から撮影位置に関する校正データを
算出してマッチング対象となった複数枚の画像の校正を
行う校正手段と、上記校正手段により校正された上記互
いに視差のある複数枚の画像から距離情報を算出する距
離算出手段と、を有してなるものである。

【００１８】第９の発明による撮像装置は、上記第１の
発明による撮像装置において、上記第２の算出手段が、
上記部分画像群中の互いに露光量が異なる複数枚の画像
から適正露光域を抽出する抽出手段と、上記抽出手段に
より抽出された適正露光域に関して階調変換を行うため
の変換曲線を各画像毎に算出する変換曲線算出手段と、
上記変換曲線算出手段により算出された変換曲線に基づ
き各画像を変換し変換された各画像を合成することによ
り一枚の広ダイナミックレンジ画像を生成する合成手段
と、を有してなるものである。

【００１９】第１０の発明による撮像装置は、上記第９
の発明による撮像装置において、上記変換曲線算出手段
が、上記第１の算出手段により算出された距離情報に基
づき撮影時の合焦距離と等価な距離にある領域を主要被
写体領域として設定する領域設定手段と、上記領域設定
手段により設定された主要被写体領域に関して重み係数
を設定する重み係数設定手段と、を有してなるものであ
る。

【００２０】第１１の発明による撮像装置は、上記第１
の発明による撮像装置において、上記第１の算出手段に
より算出された距離情報に基づき撮影時の合焦距離と等
価な距離にある領域を主要被写体領域として設定する領
域設定手段と、上記領域設定手段により設定された主要
被写体領域以外の領域を平滑化する平滑化手段と、をさ
らに備えたものである。

【００２１】第１２の発明による撮像装置は、上記第１
１の発明による撮像装置において、上記領域設定手段に
より設定された主要被写体領域に関する色情報から該主
要被写体領域に含まれる肌色領域を検出する肌色検出手
段と、上記肌色検出手段により検出された肌色領域に関
して色補正を行う肌色補正手段と、をさらに備えたもの
である。

【００２２】第１３の発明による撮像装置は、上記第１
の発明による撮像装置において、上記撮像手段により撮
像された画像に係るデータの転送先を、上記第１の算出
手段または上記第２の算出手段の何れにするかを選択す
る選択手段をさらに備えたものである。

【００２３】第１４の発明による撮像装置は、上記第１
の発明による撮像装置において、上記画像群に含まれる
任意の１枚以上の画像と、上記距離情報と、上記広ダイ
ナミックレンジ画像と、の少なくとも１つを出力し得る
出力手段をさらに備えたものである。

【００２４】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１から図４は本発明の第１の実
施形態を示したものであり、図１は撮像装置の構成を示
すブロック図、図２は距離情報算出部の構成を示すブロ
ック図、図３は広ダイナミックレンジ画像算出部の構成
を示すブロック図、図４は撮像部の他の構成例を示す図
である。

【００２５】この撮像装置は、図１に示すように、撮像
手段たる撮像部１と、この撮像部１から出力されるアナ
ログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換
器９と、このＡ／Ｄ変換器９から出力されるデータを記
憶する第１画像用バッファ１１、第２画像用バッファ１
２、第３画像用バッファ１３、第４画像用バッファ１４
と、これらの各画像用バッファ１１，１２，１３，１４
から画像データを読み出して補間する補間部１５と、こ
の補間部１５の出力に基づき上記撮像部１を制御する電
気回路手段たる撮像制御部８と、上記補間部１５による
補間後の画像データを記憶する第１作業用バッファ１
６、第２作業用バッファ１７、第３作業用バッファ１
８、第４作業用バッファ１９と、これらの各作業用バッ
ファ１６，１７，１８，１９から読み出した映像信号の
出力先を選択する選択手段たる選択部２１と、この選択
部２１の出力に基づき距離情報を算出する第１の算出手
段たる距離情報算出部２２と、この距離情報算出部２２
により算出された距離情報を参照しながら上記選択部２
１の出力に基づき広ダイナミックレンジ画像を生成する
第２の算出手段たる広ダイナミックレンジ画像算出部２
３と、この広ダイナミックレンジ画像算出部２３により
生成された広ダイナミックレンジ画像または上記選択部
２１の選択により出力された画像を圧縮する圧縮部２４
と、この圧縮部２４により圧縮された画像や上記距離情
報算出部２２により算出された距離情報を例えばメモリ
カードやディスク媒体などに出力する出力手段たる出力
部２５と、上記撮像制御部８、補間部１５、選択部２
１、距離情報算出部２２、広ダイナミックレンジ画像算
出部２３、圧縮部２４、出力部２５に双方向に接続され
ていてこれらを含むこの撮像装置全体を統括的に制御す
るマイクロコンピュータ等でなる制御部２６と、を有し
て構成されている。

【００２６】上記撮像部１は、被写体光を受けて被写体
像を結像するための光学系たるレンズ系２と、このレン
ズ系２を通過する光束の通過範囲を制御するための絞り
３と、上記レンズ系２により結像される被写体像から不
要な高周波ノイズ成分を除去するローパスフィルタ４
と、このローパスフィルタ４を通過して上記レンズ系２
により結像される被写体像を光電変換して画像情報とし
て出力するためのＣＣＤ５と、このＣＣＤ５から出力さ
れた後に図示しない相関二重サンプリング回路等でノイ
ズ成分の除去が行われた画像信号を増幅するための電気
回路手段たるアンプ６と、上記レンズ系２を焦点調節を
行うために駆動するＡＦモータ７と、を有して構成され
ていて、上記アンプ６、絞り３、ＡＦモータ７は、上記
制御部２６の指令に基づいて、上記撮像制御部８により
制御されるようになっている。

【００２７】なお、この実施形態においては、上記ＣＣ
Ｄ５は、Ｒ，Ｇ，Ｂ原色系のカラーフィルタを備えた単
板方式のＣＣＤでなり、上記Ａ／Ｄ変換器９は、このＣ
ＣＤ５から出力される画像信号を、例えば１０ｂｉｔの
階調幅のデジタル信号に変換するものとする。

【００２８】次に、このように構成された撮像装置の作
用を、信号の流れに沿って説明する。

【００２９】使用者が図示しないシャッタボタンを半押
しにすることにより、この撮像装置がプリ撮像モードに
入るようになっている。

【００３０】プリ撮像モードに入ると、上記レンズ系
２、絞り３、ローパスフィルタ４を介して結像された被
写体像をＣＣＤ５が光電変換し、該ＣＣＤ５から出力さ
れる映像信号が、アンプ６によって所定の増幅率で増幅
され、Ａ／Ｄ変換器９によってデジタル信号に変換され
てから、まず、上記第１画像用バッファ１１に転送され
て記憶される。

【００３１】補間部１５は、この第１画像用バッファ１
１内の映像信号を読み出して、単板状態の画像情報中に
おける欠落情報の補間等の画像処理を行い、輝度信号に
相当するＧ信号を上記撮像制御部８へ出力する。

【００３２】撮像制御部８は、受け取ったＧ信号に基づ
き画像中の輝度レベルを求めて、本撮影における画像が
適正露光となるように、上記絞り３の開口径や上記アン
プ６の増幅率などを制御する、いわゆるＡＥ制御を行
う。

【００３３】また、上記撮像制御部８は、受け取ったＧ
信号に基づき、映像信号のエッジ強度を検出して、この
エッジ強度が最大となるように、上記ＡＦモータ７を制
御することにより、上記ＣＣＤ５上に合焦された被写体
像が結像されるようにする、いわゆるＡＦ制御を行う。

【００３４】次に、使用者が図示しないシャッタボタン
を全押しにすることにより、本撮影が行われる。

【００３５】本撮影の動作が開始されると、上記撮像制
御部８において求められた露光条件に対して、所定の露
光比、例えば１／８の露光比となるようにアンプ６の増
幅率を設定し、１枚目の画像（右短時間露光画像）を撮
影する。この右短時間露光画像は、Ａ／Ｄ変換器９によ
ってデジタル信号に変換された後に、上記第１画像用バ
ッファ１１へ転送されて記憶される。

【００３６】続いて、上記撮像制御部８において求めら
れた露光条件に従って２枚目の画像（右長時間露光画
像）が撮影される。この右長時間露光画像は、Ａ／Ｄ変
換器９によってデジタル信号に変換された後に、上記第
２画像用バッファ１２へ転送されて記憶される。

【００３７】次に、使用者は、撮像装置を視差のある位
置まで所定量だけ、例えば人間の両眼の距離に相当する
ような６cmほどの距離だけ、左に平行移動してずらし、
上述と同様にして再度の撮影を行う。

【００３８】この場合の露光条件は、３枚目の画像（左
短時間露光画像）を上記１枚目の画像と同一とし、４枚
目の画像（左長時間露光画像）を上記２枚目の画像と同
一とする。

【００３９】こうして撮影された左短時間露光画像が上
記第３画像用バッファ１３に、左長時間露光画像が上記
第４画像用バッファ１４に、それぞれ転送されて記憶さ
れる。

【００４０】上記補間部１５は、上記制御部２６の制御
に基づいて、上記各画像用バッファ１１，１２，１３，
１４に記憶されている単板状態の映像信号を順次読み込
み、公知の補間処理、ホワイトバランス処理、強調処理
などを行うことにより三板状態の信号を生成して、上記
各作業用バッファ１６，１７，１８，１９へそれぞれ転
送し記憶させる。

【００４１】上記選択部２１は、上記制御部２６の制御
に基づいて、上記各作業用バッファ１６，１７，１８，
１９に記憶されている映像信号を選択し、上記距離情報
算出部２２、上記広ダイナミックレンジ画像算出部２
３、または上記圧縮部２４の何れかへ転送する。

【００４２】まず、制御部２６が距離情報算出部２２へ
の転送を選択するように上記選択部２１に指令した場合
には、該選択部２１は、上記第２作業用バッファ１７に
記憶されている右長時間露光画像と、上記第４作業用バ
ッファ１９に記憶されている左長時間露光画像とを、上
記距離情報算出部２２へ順次転送する。

【００４３】上記距離情報算出部２２では、マッチング
の手段を用いて上記右長時間露光画像と左長時間露光画
像の撮像位置を校正した後に、これら左右の画像から三
角測量の原理を用いて距離情報を算出する。この距離情
報は、制御部２６の制御に基づいて、広ダイナミックレ
ンジ画像算出部２３または出力部２５の何れかへ転送さ
れる。

【００４４】また、制御部２６が広ダイナミックレンジ
画像算出部２３への転送を選択するように上記選択部２
１に指令した場合には、該選択部２１は、まず、上記第
１作業用バッファ１６に記憶されている右短時間露光画
像と、上記第２作業用バッファ１７に記憶されている右
長時間露光画像とを、上記広ダイナミックレンジ画像算
出部２３へ転送し、次に、上記第３作業用バッファ１８
に記憶されている左短時間露光画像と、上記第４作業用
バッファ１９に記憶されている左長時間露光画像とを、
該広ダイナミックレンジ画像算出部２３へ転送する。

【００４５】広ダイナミックレンジ画像算出部２３で
は、転送された長時間露光画像および短時間露光画像
を、それぞれ輝度信号と色差信号とに分離して、各画像
の適正露光域を求める。また、広ダイナミックレンジ画
像算出部２３は、上記距離情報算出部２２から受け取っ
た距離情報に基づき主要被写体を推定し、推定した主要
被写体に階調を重点的に配分するような階調変換曲線を
算出して、この階調変換曲線に基づき各画像を変換す
る。そして、広ダイナミックレンジ画像算出部２３は、
階調変換された長時間露光画像と短時間露光画像とを合
成することにより、一枚の広ダイナミックレンジ画像を
生成する。

【００４６】上記広ダイナミックレンジ画像算出部２３
による上述したような処理は、左右の画像毎に行われ、
２枚（左右各１枚）の広ダイナミックレンジ画像が上記
圧縮部２４へ転送される。

【００４７】圧縮部２４は、転送されてくる左右の広ダ
イナミックレンジ画像を、例えば公知のＪＰＥＧ方式な
どにより圧縮処理して、圧縮した画像データを上記出力
部２５へ転送する。

【００４８】さらに、制御部２６が圧縮部２４への転送
を選択するように上記選択部２１に指令した場合には、
該選択部２１は、第１作業用バッファ１６に記憶されて
いる右短時間露光画像と、第２作業用バッファ１７に記
憶されている右長時間露光画像と、第３作業用バッファ
１８に記憶されている左短時間露光画像と、第４作業用
バッファ１９に記憶されている左長時間露光画像と、を
上記圧縮部２４へ順次転送する。圧縮部２４は、転送さ
れてくる各画像を、上述したように圧縮した後に、上記
出力部２５へ転送する。

【００４９】上記選択部２１による出力先の切り換え
は、図示しない操作スイッチ等により使用者が所望に選
択することができるようになっており、これによって、
距離情報、広ダイナミックレンジ化された画像、処理前
の任意の画像を出力して保存したりすることができ、自
由度がより向上するようになっている。

【００５０】このとき、距離情報のみが必要な場合は上
記広ダイナミックレンジ画像算出部２３をバイパスし、
また風景など画面全体が主要被写体である場合は上記距
離情報算出部２２をバイパスすることにより、処理時間
を短縮することも可能である。

【００５１】次に、図２を参照して、上記距離情報算出
部２２の構成について説明する。

【００５２】上記距離情報算出部２２は、上記選択部２
１から出力される映像信号に基づき上述したような公知
のマッチング処理を行うマッチング手段たるマッチング
部３１と、このマッチング部３１の出力に基づき上記選
択部２１から出力される映像信号の撮影位置に関する並
進や回転のベクトル情報を求める校正手段たる校正デー
タ算出部３２と、この校正データ算出部３２から出力さ
れる校正データに基づき例えば左右の内の一方の画像デ
ータの校正を行う校正手段たる校正部３３と、この校正
部３３により校正された画像データを記憶する校正画像
用バッファ３４と、上記選択部２１から転送された左右
の内の他方の画像データと上記校正画像用バッファ３４
に記憶された校正後の一方の画像データとに基づき、公
知の三角測量の原理によって距離情報を算出する距離算
出手段たる距離算出部３５と、を有して構成されてい
て、上記マッチング部３１、校正部３３、距離算出部３
５等は、上記制御部２６と双方向に接続されて制御され
るようになっている。

【００５３】このような距離情報算出部２２の動作は、
次のようになっている。

【００５４】上記選択部２１から出力されてくる映像信
号は、マッチング部３１と、校正部３３と、距離算出部
３５と、へそれぞれ転送される。

【００５５】上記マッチング部３１は、上記選択部２１
から、上記第２作業用バッファ１７に記憶されている右
長時間露光画像に係る映像信号と、上記第４作業用バッ
ファ１９に記憶されている左長時間露光画像に係る映像
信号と、を受け取り、上記制御部２６の制御に基づい
て、左右の画像間で公知のマッチング処理を行う。

【００５６】上記校正データ算出部３２は、上記マッチ
ング部３１から転送されたマッチング処理結果に基づ
き、左右の画像から、撮影位置に関する並進ベクトル情
報および回転ベクトル情報を求める。

【００５７】上記制御部２６は、上記校正部３３へ校正
データが転送された後に、左右どちらかの画像、例えば
第４作業用バッファ１９に記憶されている左長時間露光
画像に係る映像信号を、選択部２１から校正部３３へ転
送させる。

【００５８】上記校正部３３は、この選択部２１から転
送された映像信号に関して、上記校正データ算出部３２
から転送された校正データに基づき、校正を行う。

【００５９】この校正部３３により校正された後の映像
信号は、校正画像用バッファ３４へ転送されて保存され
る。

【００６０】次に、制御部２６は、校正されていない映
像信号、ここでは第２作業用バッファ１７に記憶されて
いる右長時間露光画像に係る映像信号を、選択部２１か
ら距離算出部３５へ転送する。

【００６１】距離算出部３５は、選択部２１から転送さ
れた映像信号と、上記校正画像用バッファ３４に記憶さ
れている校正後の映像信号との間で、公知の三角測量の
原理に基づき、距離情報を算出する。

【００６２】こうして距離算出部３５により算出された
距離情報は、上記制御部２６の制御に基づいて、上記広
ダイナミックレンジ画像算出部２３、または上記出力部
２５へ転送される。

【００６３】次に、図３を参照して、上記広ダイナミッ
クレンジ画像算出部２３の構成について説明する。

【００６４】上記広ダイナミックレンジ画像算出部２３
は、上記選択部２１から出力される映像信号を輝度信号
Ｙと色差信号Ｃとに分離するＹ／Ｃ分離部４０と、この
Ｙ／Ｃ分離部４０により分離された輝度信号から適正露
光域を抽出する抽出手段たる適正露光抽出部４１と、上
記距離情報算出部２２により算出された距離情報に基づ
き主要被写体領域を抽出する変換曲線算出手段を構成す
る領域設定手段たる主要領域算出部４２と、この主要領
域算出部４２により抽出された主要被写体領域に重み付
けをするための重み係数を算出する変換曲線算出手段を
構成する重み係数設定手段たる重み係数算出部４３と、
上記適正露光抽出部４１により抽出された適正露光域に
上記重み係数算出部４３により算出された重み係数を考
慮して変換特性を算出する変換曲線算出手段たる変換特
性算出部４４と、この変換特性算出部４４により算出さ
れた変換特性を用いて適正露光域の輝度補正を行う合成
手段を構成する輝度補正部４５と、上記適正露光抽出部
４１により抽出された適正露光域を参照しながら上記Ｙ
／Ｃ分離部４０から出力される色差信号Ｃを上記輝度補
正部４５による輝度信号Ｙの変換係数と色の理論限界モ
デルとに基づき補正する合成手段を構成する色差補正部
４６と、上記輝度補正部４５により補正された輝度信号
Ｙと上記色差補正部４６により補正された色差信号Ｃと
を合成する合成手段を構成するＹ／Ｃ合成部４７と、こ
のＹ／Ｃ合成部４７により合成された画像データを記憶
する合成手段を構成する作業用バッファ４８と、この作
業用バッファ４８に記憶された長時間露光画像データと
短時間露光画像データとを上記適正露光抽出部４１から
出力される適正露光域の情報に基づいて一枚の広ダイナ
ミックレンジ画像に合成する合成手段を構成する画像合
成部４９と、を有して構成されている。

【００６５】このような広ダイナミックレンジ画像算出
部２３の動作は、次のようになっている。

【００６６】上記選択部２１は、第１作業用バッファ１
６に記憶されている右短時間露光画像に係る映像信号お
よび第２作業用バッファ１７に記憶されている右長時間
露光画像に係る映像信号、または、第３作業用バッファ
１８に記憶されている左短時間露光画像に係る映像信号
および第４作業用バッファ１９に記憶されている左長時
間露光画像に係る映像信号、をＹ／Ｃ分離部４０へ順次
転送する。

【００６７】Ｙ／Ｃ分離部４０は、上記制御部２６の制
御に基づき、右または左に係る長時間露光画像と短時間
露光画像とを、順次、輝度信号Ｙと色差信号Ｃとに分離
する。

【００６８】適正露光抽出部４１は、上記制御部２６の
制御に基づき、上記Ｙ／Ｃ分離部４０から長時間露光画
像に係る輝度信号Ｙを入力して、該輝度信号Ｙに基づき
画面中で露光オーバーとなる領域を抽出し、これ以外の
領域を適正露光域として、該適正露光域に係る信号を変
換特性算出部４４と輝度補正部４５とへ転送する。

【００６９】また、上記適正露光抽出部４１は、上記制
御部２６の制御に基づき、上記Ｙ／Ｃ分離部４０から短
時間露光画像に係る輝度信号Ｙを入力して、長時間露光
画像中の露光オーバーとなる領域に対応する領域を短時
間露光画像の適正露光域として、該適正露光域の輝度信
号Ｙを変換特性算出部４４と輝度補正部４５とへ転送す
る。

【００７０】一方、主要領域算出部４２は、上記制御部
２６の制御に基づき、上記距離情報算出部２２から転送
された距離情報と、上記制御部２６を介して得た撮像制
御部８からの合焦時の距離情報と、に基づいて、画像中
の合焦距離にある領域を主要被写体領域として抽出す
る。

【００７１】重み係数算出部４３は、上記主要領域算出
部４２により抽出された主要被写体領域に、所定の係数
を乗算した重み係数情報を生成する。

【００７２】変換特性算出部４４は、上記制御部２６の
制御に基づき、上記適正露光抽出部４１から転送されて
きた輝度信号に、上記重み係数算出部４３から転送され
た重み係数を乗算した後に、累積ヒストグラムを算出し
て変換曲線を生成する。

【００７３】輝度補正部４５は、上記制御部２６の制御
に基づき、上記変換特性算出部４４により生成された変
換曲線を用いて、長／短時間露光画像の輝度信号を変換
する。

【００７４】色差補正部４６は、Ｙ／Ｃ分離部４０から
変換前の輝度信号を、輝度補正部４５から変換後の輝度
信号Ｙを、適正露光抽出部４１から補正すべき領域情報
を、それぞれ受け取り、これらに加えてさらに色の存在
し得る理論限界モデルを用いて、色差信号を補正するた
めの補正係数を算出し、この補正係数を上記Ｙ／Ｃ分離
部４０からの変換前の色差信号Ｃに乗算することによ
り、色差信号Ｃを補正する。

【００７５】Ｙ／Ｃ合成部４７は、上記制御部２６の制
御に基づき、上記輝度補正部４５から転送される変換後
の輝度信号Ｙと、上記色差補正部４６から転送される補
正後の色差信号Ｃと、を合成して適正露光域に係る通常
の信号の画像データを生成する。

【００７６】作業用バッファ４８は、上記Ｙ／Ｃ合成部
４７により生成された画像データを記憶する。

【００７７】画像合成部４９は、上記制御部２６の制御
に基づき、上記適正露光抽出部４１からの情報を参照
し、上記作業用バッファ４８に記憶されている階調変換
後の長時間露光画像と階調変換後の短時間露光画像とを
読み出して合成することにより、一枚の広ダイナミック
レンジ画像を生成し、上記圧縮部２４へ転送する。

【００７８】このような動作を、上記第１作業用バッフ
ァ１６に記憶されている右短時間露光画像に係る映像信
号と上記第２作業用バッファ１７に記憶されている右長
時間露光画像に係る映像信号に対して行うとともに、上
記第３作業用バッファ１８に記憶されている左短時間露
光画像に係る映像信号と上記第４作業用バッファ１９に
記憶されている左長時間露光画像に係る映像信号に対し
て行うことにより、左右の画像に関して、広ダイナミッ
クレンジ化された画像を得ることができる。

【００７９】このような第１の実施形態によれば、広ダ
イナミックレンジ化され、かつ主要被写体を重視した階
調特性を有する、高品位なステレオ画像を得ることがで
きる。

【００８０】また、使用者の選択により、距離情報、広
ダイナミックレンジ化された画像、処理前の任意の画像
を保存することができるために、自由度がより向上す
る。

【００８１】さらに、距離情報のみが必要な場合は上記
広ダイナミックレンジ画像算出部２３をバイパスし、ま
た風景など画面全体が主要被写体である場合は上記距離
情報算出部２２をバイパスすることにより処理時間を短
縮することも可能となる。

【００８２】そして、処理前の任意の画像を出力するこ
とを選択した場合には、撮像装置の外部の機器におい
て、該画像の処理を行うことも可能となる。

【００８３】なお、上述では、上記ＣＣＤ５として、
Ｒ，Ｇ，Ｂ原色系のカラーフィルタを備えた例について
説明したが、これに限定されるものではなく、補色系の
カラーフィルタを備えたものであっても良いし、その他
の種々の配置の色フィルタを備えたものであっても構わ
ない。

【００８４】さらに、本実施形態では単一の光学系と単
一の撮像素子を用いる例について説明したが、これに限
定されるものでもない。

【００８５】例えば、図４は撮像部の他の構成例を示す
図である。

【００８６】この図４に示す例は、複数の光学系と、単
一の撮像素子と、この撮像素子に光学像を結像する光学
系を切り換えるための切換手段と、を撮像部に設けたも
のであり、このような撮像部に対しても上述と同様の構
成を適用することが可能である。

【００８７】この図４に示す撮像装置の撮像部は、左右
一対の光学系を有して構成されている。

【００８８】まず、第１の光学系は、例えば右眼側に対
応するものであり、絞りを内蔵する光学系たる第１レン
ズ系５０と、この第１レンズ系５０を焦点調節するため
に駆動するＡＦモータ５２と、上記第１レンズ系５０か
らの光束の遮断／透過を切り換えるための切換手段たる
第１液晶シャッタ５４と、この第１液晶シャッタ５４を
通過した上記第１レンズ系５０からの光束を後述するＣ
ＣＤ５９側へ投射するための切換手段たる第１プリズム
系５５と、を有して構成されている。

【００８９】同様に、第２の光学系は、例えば左眼側に
対応するものであり、絞りを内蔵する光学系たる第２レ
ンズ系５１と、この第２レンズ系５１を焦点調節するた
めに駆動するＡＦモータ５３と、上記第２レンズ系５１
からの光束の遮断／透過を切り換えるための切換手段た
る第２液晶シャッタ５６と、この第２液晶シャッタ５６
を通過した上記第２レンズ系５１からの光束を後述する
ＣＣＤ５９側へ投射するための切換手段たる第２プリズ
ム系５７と、を有して構成されている。

【００９０】上記第１の光学系と第２の光学系とにより
選択的に投影される光学像は、ローパスフィルタ５８に
より不要な高周波成分を除去された後に、撮像素子たる
ＣＣＤ５９に結像されるようになっており、該ＣＣＤ５
９により光電変換された画像が上記Ａ／Ｄ変換器９に入
力されてデジタル信号に変換され、その後は上記図１に
示したような回路により上述したように処理されるよう
になっている。

【００９１】なお、この図４においては図示を省略して
いるが、上記ＡＦモータ５２，５３や、第１液晶シャッ
タ５４、第２液晶シャッタ５６は、上記撮像制御部８と
接続されて、上記制御部２６の指令に基づいて制御され
るようになっている。

【００９２】また、このような構成においては、第１の
光学系と第２の光学系の撮影位置に関する条件が固定さ
れるために、位置情報に関しての校正が不要となって、
上記マッチング部３１や校正部３３を省略することが可
能となる。

【００９３】このような構成における作用は、次のよう
になる。

【００９４】まず、第２液晶シャッタ５６を遮光状態に
するとともに、第１液晶シャッタ５４を露光時間だけ透
光状態にすることにより、第１レンズ系５０を介して被
写体像をＣＣＤ５９上に結像させ、右側の画像を撮影す
る。

【００９５】ここでは例えば、１枚目の画像として右短
時間露光画像を撮影し、次に、２枚目の画像として右長
時間露光画像を撮影する。このときの露光時間は、上記
制御部２６の指令に基づき、上述したように第１液晶シ
ャッタ５４により制御される。すなわち、長時間露光画
像は適正露光となるシャッタ秒時により露光が行われ、
短時間露光画像はこの適正露光となるシャッタ秒時の例
えば１／８の時間のシャッタ秒時により露光が行われ
る。これにより、長時間露光の露光量と短時間露光の露
光量とは、例えば８：１の露光比となる。

【００９６】次に、第１液晶シャッタ５４を遮光状態に
するとともに、第２液晶シャッタ５６を露光時間だけ透
光状態にすることにより、第２レンズ系５１を介して被
写体像をＣＣＤ５９上に結像させ、左側の画像を撮影す
る。

【００９７】すなわち、右側と同様に、１枚目の画像と
して適正露光の１／８の露光時間で左短時間露光画像を
撮影し、次に、２枚目の画像として適正露光の露光時間
で左長時間露光画像を撮影する。

【００９８】この図４に示したような構成によれば、撮
影位置を変えることなくステレオ画像を得ることが可能
になるために、より容易に撮影を行うことができ、使用
者の負担が軽減される。また、マッチング部３１や校正
部３３が不要であるために、構成が簡単となって、処理
時間を短縮することも可能となる。

【００９９】図５、図６は本発明の第２の実施形態を示
したものであり、図５は撮像装置の構成を示すブロック
図、図６は撮像部の他の構成例を示す図である。この第
２の実施形態において、上述の第１の実施形態と同様で
ある部分については説明を省略し、主として異なる点に
ついてのみ説明する。

【０１００】この第２の実施形態は、図５に示すよう
に、上述した第１の実施形態における撮像部１の構成を
変更して撮像部１Ａとし、さらに、Ａ／Ｄ変換器を２つ
に増設し、距離情報算出部２２の入力を選択部２１から
広ダイナミックレンジ画像算出部２３に変更して、平滑
部７３、肌色検出部７４、肌色補正部７５を追加したも
のである。

【０１０１】まず、撮像手段たる撮像部１Ａは、被写体
光を受けて被写体像を結像するための光学系たるレンズ
系６０と、このレンズ系６０を通過する光束の通過範囲
を制御するための絞り６１と、第１プリズム６２Ａと第
２プリズム６２Ｂとを貼り合わせてなり、入射面６２ａ
から入射した光束を貼り合わせ面に形成された半透過反
射面６２ｂで二系統に分岐する分岐手段たるプリズム系
６２と、このプリズム系６２により分岐された一方側と
なる上記第１プリズム６２Ａの出射面側に配設された不
要な高周波ノイズ成分を除去するためのローパスフィル
タ６３と、このローパスフィルタ６３を介して入射され
る被写体像を光電変換して画像情報として出力する撮像
素子たる第１ＣＣＤ６４と、上記プリズム系６２により
分岐された他方側となる上記第１プリズム６２Ａの出射
面側に配設されていて短時間露光画像を形成するべく光
量を例えば１／８に減光する光学フィルタ手段たるＮＤ
フィルタ６５と、このＮＤフィルタ６５を通過した光束
から不要な高周波ノイズ成分を除去するローパスフィル
タ６６と、このローパスフィルタ６６を介して入射され
る被写体像を光電変換して画像情報として出力する撮像
素子たる第２ＣＣＤ６７と、焦点調節を行うために上記
レンズ系６０を駆動するＡＦモータ６８と、を有して構
成されている。

【０１０２】なお、上記絞り６１やＡＦモータ６８は、
上記制御部２６の指令に基づいて、上記撮像制御部８に
より制御されるようになっている。

【０１０３】さらに、この撮像装置は、上記第１ＣＣＤ
６４から出力されるアナログ画像信号をデジタル画像信
号に変換して上記第１画像用バッファ１１または第２画
像用バッファ１２へ転送する第１Ａ／Ｄ変換器７１と、
上記第２ＣＣＤ６７から出力されるアナログ画像信号を
デジタル画像信号に変換して上記第３画像用バッファ１
３または第４画像用バッファ１４へ転送する第２Ａ／Ｄ
変換器７２と、上記広ダイナミックレンジ画像算出部２
３により変換された画像を平滑化する平滑化手段たる平
滑部７３と、この平滑部７３により平滑化された画像中
の肌色部分を検出する肌色検出手段たる肌色検出部７４
と、この肌色検出部７４の検出結果に基づき上記平滑部
７３により平滑された画像を補正する肌色補正手段たる
肌色補正部７５と、を有して構成されており、この肌色
補正部７５により補正された画像は上記圧縮部２４によ
り圧縮されて出力部２５から出力されるようになってい
る。

【０１０４】また、上記選択部２１は、第１〜第４作業
用バッファ１６〜１９から読み出した画像データを、広
ダイナミックレンジ画像算出部２３または圧縮部２４へ
選択して出力するようになっている。

【０１０５】そして、上記距離情報算出部２２は、上記
広ダイナミックレンジ画像算出部２３の出力に基づき距
離情報を算出し、算出した距離情報を、該広ダイナミッ
クレンジ画像算出部２３と、上記平滑部７３と、上記肌
色検出部７４と、上記出力部２５と、へ出力するように
なっている。

【０１０６】次に、このように構成された撮像装置の作
用について説明する。

【０１０７】使用者が図示しないシャッタボタンを半押
しにすることにより、この撮像装置がプリ撮像モードに
入るようになっている。

【０１０８】プリ撮像モードに入ると、上記レンズ系６
０、絞り６１、プリズム系６２、ローパスフィルタ６３
を介して結像された被写体像を第１ＣＣＤ６４が光電変
換し、該第１ＣＣＤ６４から出力される映像信号が、第
１Ａ／Ｄ変換器７１によってデジタル信号に変換されて
から、上記第１画像用バッファ１１に転送されて記憶さ
れる。

【０１０９】補間部１５は、この第１画像用バッファ１
１内の映像信号を読み出して、単板状態の画像情報中に
おける欠落情報の補間等の画像処理を行い、輝度信号に
相当するＧ信号を上記撮像制御部８へ出力する。

【０１１０】撮像制御部８は、受け取ったＧ信号に基づ
き画像中の輝度レベルを求めて、本撮影における画像が
適正露光となるように、上記絞り６１の開口径などを制
御する、いわゆるＡＥ制御を行う。

【０１１１】また、上記撮像制御部８は、受け取ったＧ
信号に基づき、映像信号のエッジ強度を検出して、この
エッジ強度が最大となるように、上記ＡＦモータ６８を
制御することにより、上記第１ＣＣＤ６４（およびこの
第１ＣＣＤ６４と光学的に等価な位置に配設された第２
ＣＣＤ６７）上に合焦された被写体像が結像されるよう
にする、いわゆるＡＦ制御を行う。

【０１１２】次に、使用者が図示しないシャッタボタン
を全押しにすることにより、本撮影が行われる。

【０１１３】上述と同様に、上記レンズ系６０、絞り６
１、プリズム系６２、ローパスフィルタ６３を介して結
像された被写体像を第１ＣＣＤ６４が光電変換し、該第
１ＣＣＤ６４から出力されるアナログの映像信号が、第
１Ａ／Ｄ変換器７１によってデジタル信号に変換されて
から、上記第１画像用バッファ１１に転送されて右長時
間露光画像として記憶される。

【０１１４】これと同時に、上記レンズ系６０、絞り６
１、プリズム系６２、ＮＤフィルタ６５、ローパスフィ
ルタ６６を介して結像された被写体像を第２ＣＣＤ６７
が光電変換し、該第２ＣＣＤ６７から出力されるアナロ
グの映像信号が、第２Ａ／Ｄ変換器７２によってデジタ
ル信号に変換されてから、上記第３画像用バッファ１３
に転送されて右短時間露光画像として記憶される。

【０１１５】上述したように、上記ＮＤフィルタ６５は
光量を所定量、例えば１／８となるよう低減するため
に、露光時間が同一であっても実質的に短時間露光を行
ったのと同様の露光量の画像を得ることができる。

【０１１６】次に、使用者は、撮像装置を視差のある位
置まで所定量だけ、例えば人間の両眼の距離に相当する
ような６cmほどの距離だけ、左に平行移動してずらし、
上述と同様にして再度の撮影を行う。

【０１１７】こうして撮影された左長時間露光画像が第
１ＣＣＤ６４により撮像されて上記第２画像用バッファ
１２に記憶され、左短時間露光画像が第２ＣＣＤ６７に
より撮像されて上記第４画像用バッファ１４に記憶され
る。

【０１１８】その後、上述した第１の実施形態と同様
に、補間部１５によって三板化された信号が作成され、
第１〜第４作業用バッファ１６〜１９へ転送される。

【０１１９】上記選択部２１は、制御部２６の制御に基
づき、第１〜第４作業用バッファ１６〜１９に記憶され
ている画像を読み出して、広ダイナミックレンジ画像算
出部２３または圧縮部２４へ転送する。

【０１２０】まず、制御部２６が広ダイナミックレンジ
画像算出部２３への転送を選択するように上記選択部２
１に指令した場合には、該選択部２１は、上記第１作業
用バッファ１６に記憶されている右長時間露光画像と、
上記第３作業用バッファ１８に記憶されている右短時間
露光画像とを、上記広ダイナミックレンジ画像算出部２
３へ転送し、次に、上記第２作業用バッファ１７に記憶
されている左長時間露光画像と、上記第４作業用バッフ
ァ１９に記憶されている左短時間露光画像とを、該広ダ
イナミックレンジ画像算出部２３へ転送する。

【０１２１】広ダイナミックレンジ画像算出部２３で
は、距離情報を用いることなく、すなわち、主要被写体
に重点を置くことなく、左右の広ダイナミックレンジ画
像を上述したようにそれぞれ生成して、生成した画像デ
ータを上記距離情報算出部２２へ転送する。

【０１２２】距離情報算出部２２は、転送された広ダイ
ナミックレンジ画像を用いて距離情報を算出し、これを
広ダイナミックレンジ画像算出部２３へ転送する。

【０１２３】広ダイナミックレンジ画像算出部２３は、
上記距離情報算出部２２から転送された距離情報に基づ
き、再度、左右の広ダイナミックレンジ画像を生成し、
上記平滑部７３へ転送する。

【０１２４】平滑部７３は、上記距離情報算出部２２か
ら転送された距離情報に基づき、上記広ダイナミックレ
ンジ画像算出部２３から受け取った画像データの内の主
要被写体領域以外の領域を平滑化して、肌色検出部７４
と肌色補正部７５とへ転送する。

【０１２５】肌色検出部７４は、上記距離情報算出部２
２から転送された距離情報に基づき、主要被写体領域内
で肌色検出を行い、検出した情報を上記肌色補正部７５
へ転送する。

【０１２６】肌色補正部７５は、上記平滑部７３から受
け取った映像信号に対して、上記肌色検出部７４により
検出された肌色領域に該当する領域を肌色補正し、補正
後の映像信号を圧縮部２４へ転送する。

【０１２７】この撮像装置のその他の作用については、
上述した第１の実施形態と同様である。

【０１２８】なお、上述では、異なる露光量での撮像を
行うために、光路中に光学フィルタ手段としてＮＤ（Ne
utral Density）フィルタを配置しているが、これに限
らず、液晶フィルタなどの光学フィルタ手段を用いても
構わない。

【０１２９】このような第２の実施形態によれば、上述
した第１の実施形態と同様に、広ダイナミックレンジ化
され、かつ主要被写体を重視した階調特性を有する、高
品位なステレオ画像を得ることができる。

【０１３０】さらに、露光量を異ならせた画像を得るた
めのＮＤフィルタは、アンプなどの電気回路に比べて低
コストであるために、製造コストを低減することが可能
となる。

【０１３１】また、撮像素子を複数にしているために、
一回の撮影を行うだけで露光量の異なる複数枚の画像を
得ることができ、使用者の負担が軽減される。

【０１３２】そして、距離情報を算出する際に、広ダイ
ナミックレンジ化された画像を用いるようにしたため
に、より精度の高い距離情報を得ることが可能となる。

【０１３３】さらに、本実施形態では単一の光学系と複
数の撮像素子を用いる例について説明したが、これに限
定されるものはない。

【０１３４】例えば、図６は撮像部の他の構成例を示す
図である。

【０１３５】この図６に示す例は、複数の光学系と、複
数の撮像素子と、を撮像部に設けたものであり、このよ
うな撮像部に対しても上述と同様の構成を適用すること
が可能である。

【０１３６】この図６に示す撮像装置の撮像部は、左右
一対の光学系を有して構成されている。

【０１３７】まず、第１の光学系は、例えば右眼側に対
応するものであり、絞りを内蔵する光学系たる第１レン
ズ系８０と、この第１レンズ系８０を焦点調節するため
に駆動するＡＦモータ８２と、上記第１レンズ系８０か
らの光束に含まれる不要な高周波成分を除去するための
ローパスフィルタ８４と、このローパスフィルタ８４を
通過した上記第１レンズ系８０からの被写体像を光電変
換する撮像素子であり電気回路手段たる第１ＣＣＤ８５
と、を有して構成されている。

【０１３８】同様に、第２の光学系は、例えば左眼側に
対応するものであり、絞りを内蔵する光学系たる第２レ
ンズ系８１と、この第２レンズ系８１を焦点調節するた
めに駆動するＡＦモータ８３と、上記第２レンズ系８１
からの光束に含まれる不要な高周波成分を除去するため
のローパスフィルタ８６と、このローパスフィルタ８６
を通過した上記第２レンズ系８１からの被写体像を光電
変換する撮像素子であり電気回路手段たる第２ＣＣＤ８
７と、を有して構成されている。

【０１３９】上記第１ＣＣＤ８５により光電変換された
画像は上記第１Ａ／Ｄ変換器７１に、また、上記第２Ｃ
ＣＤ８７により光電変換された画像は上記第２Ａ／Ｄ変
換器７２に、それぞれ入力されてデジタル信号に変換さ
れ、その後は上記図５に示したような回路により上述し
たように処理されるようになっている。

【０１４０】なお、この図６においては図示を省略して
いるが、上記ＡＦモータ８２，８３、第１ＣＣＤ８５、
第２ＣＣＤ８７は、上記撮像制御部８と接続されて、上
記制御部２６の指令に基づいて制御されるようになって
いる。

【０１４１】このような構成における作用は、次のよう
になる。

【０１４２】上記第１レンズ系８０を介しての撮影と、
上記第２レンズ系８１を介しての撮影とは、同時に行わ
れるようになっており、例えば、まず左右に係る短時間
露光を行い、続いて左右に係る長時間露光を行うように
なっている。

【０１４３】すなわち、第１レンズ系８０を用いて第１
ＣＣＤ８５により右短時間露光画像の撮影を行うと同時
に、第２レンズ系８１を用いて第２ＣＣＤ８７により左
短時間露光画像の撮影を行い、右短時間露光画像は第１
画像用バッファ１１へ、左短時間露光画像は第３画像用
バッファ１３へ、それぞれ転送する。

【０１４４】次に、第１レンズ系８０を用いて第１ＣＣ
Ｄ８５により右長時間露光画像の撮影を行うと同時に、
第２レンズ系８１を用いて第２ＣＣＤ８７により左長時
間露光画像の撮影を行い、右長時間露光画像は第２画像
用バッファ１２へ、左長時間露光画像は第４画像用バッ
ファ１４へ、それぞれ転送する。

【０１４５】このときの長時間露光の露光量と短時間露
光の露光量とは、上記第１ＣＣＤ８５と第２ＣＣＤ８７
の電子シャッタ速度を、上記撮像制御部８により制御す
ることで、調整されるようになっていて、これにより電
気回路手段が構成されている。このように電気的に露光
量を調整することで、撮影シーン等に応じた任意の露光
量を得ることが可能である。

【０１４６】なお、上述では、露光量を異ならせるため
に、ＣＣＤの電子シャッタ速度を制御する手段を用いた
が、これに限定されるものはなく、例えば、アンプ等に
より特定のＣＣＤの増幅率を異ならせるようにすること
も可能である。

【０１４７】また、上述では、ＣＣＤとしてＲ，Ｇ，Ｂ
原色系のカラーフィルタを備えた例について説明した
が、これに限定されるものではなく、補色系のカラーフ
ィルタを備えたものであっても良いし、その他の種々の
配置の色フィルタを備えたものであっても構わない。

【０１４８】この図６に示したような構成によれば、撮
影位置を変えることなくステレオ画像を得ることが可能
になるために、より容易に撮影を行うことができ、使用
者の負担がより軽減される。

【０１４９】また、左右の撮影条件が固定されるため
に、位置情報に関しての校正が不要になり、上記図２に
示したような構成におけるマッチング部３１，校正部３
３を省略することができる。従って、構成が簡単となっ
て、処理時間を短縮することも可能となる。

【０１５０】なお、本発明は上述した実施形態に限定さ
れるものではなく、発明の主旨を逸脱しない範囲内にお
いて種々の変形や応用が可能であることは勿論である。

【０１５１】

【発明の効果】以上説明したように請求項１による本発
明の撮像装置によれば、視差のある複数枚の広ダイナミ
ックレンジ画像に基づく立体画像と、高精度な距離情報
と、の少なくとも一方を得ることができる。

【０１５２】また、請求項２による本発明の撮像装置に
よれば、単一の光学系と単一の撮像素子とを用いて撮像
手段を構成しているために、従来と同様の光学系を用い
ることが可能となり、低コストに請求項１に記載の発明
と同様の効果を奏することができる。

【０１５３】さらに、請求項３による本発明の撮像装置
によれば、請求項１に記載の発明と同様の効果を奏する
とともに、複数の光学系と単一の撮像素子と切換手段と
を用いて撮像手段を構成しているために、距離情報を得
ようとする場合にカメラ位置を校正する必要がなくな
り、短い処理時間で高精度な距離情報を得ることができ
る。

【０１５４】請求項４による本発明の撮像装置によれ
ば、請求項１に記載の発明と同様の効果を奏するととも
に、単一の光学系と複数の撮像素子と分岐手段とを用い
て撮像手段を構成しているために、広ダイナミックレン
ジ画像を得ようとする場合に露光の異なる画像間でブレ
や動きが発生することはなく、高品位な広ダイナミック
レンジ画像を得ることができる。

【０１５５】請求項５による本発明の撮像装置によれ
ば、請求項１に記載の発明と同様の効果を奏するととも
に、複数の光学系と複数の撮像素子とを用いて撮像手段
を構成しているために、シャッタボタン等の操作を１回
行うだけで、視差のある複数枚の広ダイナミックレンジ
画像に基づく立体画像と、高精度な距離情報と、の少な
くとも一方を得ることができ、使用者の負担が軽減され
る。

【０１５６】請求項６による本発明の撮像装置によれ
ば、請求項１に記載の発明と同様の効果を奏するととも
に、光学フィルタ手段を用いて露光量が異なる画像を撮
像するようにしたために、低コストな構成となる。

【０１５７】請求項７による本発明の撮像装置によれ
ば、請求項１に記載の発明と同様の効果を奏するととも
に、電気回路手段を用いて露光量が異なる画像を撮像す
るようにしたために、露光量を任意に制御することが可
能となり、撮影シーンに適した露光量の異なる画像を得
ることができる。

【０１５８】請求項８による本発明の撮像装置によれ
ば、請求項１に記載の発明と同様の効果を奏するととも
に、視差のある複数枚の画像間でマッチングを行い校正
してから距離情報を算出するようにしたために、高精度
な距離情報を得ることができる。

【０１５９】請求項９による本発明の撮像装置によれ
ば、請求項１に記載の発明と同様の効果を奏するととも
に、適正露光域を抽出して階調変換を行い合成すること
により広ダイナミックレンジ画像を生成しているため
に、高品位な広ダイナミックレンジ画像を得ることがで
きる。

【０１６０】請求項１０による本発明の撮像装置によれ
ば、請求項９に記載の発明と同様の効果を奏するととも
に、距離情報に基づき主要被写体領域を設定して重み付
けを行い変換曲線を算出するようにしたために、主要被
写体に優先的に階調が割り当てられた高品位な広ダイナ
ミックレンジ画像を得ることができる。

【０１６１】請求項１１による本発明の撮像装置によれ
ば、請求項１に記載の発明と同様の効果を奏するととも
に、距離情報に基づき主要被写体領域を設定して、主要
被写体領域以外の領域を平滑化するようにしたために、
主観的に良好な広ダイナミックレンジ画像を得ることが
できる。

【０１６２】請求項１２による本発明の撮像装置によれ
ば、請求項１１に記載の発明と同様の効果を奏するとと
もに、主要被写体領域に含まれる肌色領域を検出して色
補正を行うようにしたために、人物である主要被写体に
対して、主観的に好ましい肌色を再現した広ダイナミッ
クレンジ画像を得ることができる。

【０１６３】請求項１３による本発明の撮像装置によれ
ば、請求項１に記載の発明と同様の効果を奏するととも
に、選択手段を設けたために、必要な処理を使用者が所
望に選択することが可能となり、操作性を向上すること
ができる。

【０１６４】請求項１４による本発明の撮像装置によれ
ば、請求項１に記載の発明と同様の効果を奏するととも
に、使用者の希望により、画像群に含まれる任意の１枚
以上の画像と、距離情報と、広ダイナミックレンジ画像
と、の内の１以上を選択して出力することができるため
に、自由度の高い撮像装置となる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における撮像装置の構
成を示すブロック図。

【図２】上記第１の実施形態における距離情報算出部の
構成を示すブロック図。

【図３】上記第１の実施形態における広ダイナミックレ
ンジ画像算出部の構成を示すブロック図。

【図４】上記第１の実施形態における撮像部の他の構成
例を示す図。

【図５】本発明の第２の実施形態における撮像装置の構
成を示すブロック図。

【図６】上記第２の実施形態における撮像部の他の構成
例を示す図。

【符号の説明】

１，１Ａ…撮像部（撮像手段） ２，６０…レンズ系（光学系） ５，５９…ＣＣＤ（撮像素子） ６…アンプ（電気回路手段） ８…撮像制御部（電気回路手段） ２１…選択部（選択手段） ２２…距離情報算出部（第１の算出手段） ２３…広ダイナミックレンジ画像算出部（第２の算出手
段） ２５…出力部（出力手段） ３１…マッチング部（マッチング手段） ３２…校正データ算出部（校正手段） ３３…校正部（校正手段） ３５…距離算出部（距離算出手段） ４１…適正露光抽出部（抽出手段） ４２…主要領域算出部（変換曲線算出手段、領域設定手
段） ４３…重み係数算出部（変換曲線算出手段、重み係数設
定手段） ４４…変換特性算出部（変換曲線算出手段） ４５…輝度補正部（合成手段） ４６…色差補正部（合成手段） ４７…Ｙ／Ｃ合成部（合成手段） ４８…作業用バッファ（合成手段） ４９…画像合成部（合成手段） ５０，８０…第１レンズ系（光学系） ５１，８１…第２レンズ系（光学系） ５４…第１液晶シャッタ（切換手段） ５５…第１プリズム系（切換手段） ５６…第２液晶シャッタ（切換手段） ５７…第２プリズム系（切換手段） ６２…プリズム系（分岐手段） ６４…第１ＣＣＤ（撮像素子） ６５…ＮＤフィルタ（光学フィルタ手段） ６７…第２ＣＣＤ（撮像素子） ７３…平滑部（平滑化手段） ７４…肌色検出部（肌色検出手段） ７５…肌色補正部（肌色補正手段） ８５…第１ＣＣＤ（撮像素子、電気回路手段） ８７…第２ＣＣＤ（撮像素子、電気回路手段）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０３Ｂ 15/00 Ｇ０３Ｂ 15/00 Ｈ ５Ｃ０６１ Ｕ 19/07 19/07 35/16 35/16 Ｈ０４Ｎ 5/235 Ｈ０４Ｎ 5/235 Ｆターム(参考） 2H002 DB02 DB04 DB17 DB20 DB28 FB22 FB32 GA32 GA35 JA07 2H054 AA01 BB02 BB05 BB07 2H059 AC00 AC02 CA00 CA06 2H083 AA05 5C022 AA00 AB03 AB06 AB20 AC54 AC55 AC69 AC74 CA02 5C061 AA03 AA25 AB04 AB08

Claims (14)

【特許請求の範囲】
1. 【請求項１】 同一の被写体に係る複数枚の画像でなる
   画像群であって、該画像群に含まれる一画像は、同画像
   群に含まれる他の画像に対して、露光量が異なるか視差
   があるかの少なくとも一方が成立している画像群、を撮
   像する撮像手段と、 上記画像群中の互いに視差のある複数枚の画像から距離
   情報を算出する第１の算出手段と、 上記画像群中の互いに露光量が異なりかつ視差のない複
   数枚の画像でなる部分画像群から一枚の広ダイナミック
   レンジ画像を算出する動作を、視差のある複数の部分画
   像群に対して行うことにより、視差のある複数枚の広ダ
   イナミックレンジ画像を算出する第２の算出手段と、 を具備したことを特徴とする撮像装置。
2. 【請求項２】 上記撮像手段は、単一の光学系と、この
   光学系により光学像が結像される単一の撮像素子と、を
   有してなるものであることを特徴とする請求項１に記載
   の撮像装置。
3. 【請求項３】 上記撮像手段は、複数の光学系と、これ
   らの光学系により光学像が選択的に結像される単一の撮
   像素子と、この撮像素子に光学像を結像する光学系を切
   り換えるための切換手段と、を有してなるものであるこ
   とを特徴とする請求項１に記載の撮像装置。
4. 【請求項４】 上記撮像手段は、単一の光学系と、この
   光学系により光学像が結像される複数の撮像素子と、上
   記光学系からの光学像をこれら複数の撮像素子に分岐す
   る分岐手段と、を有してなるものであることを特徴とす
   る請求項１に記載の撮像装置。
5. 【請求項５】 上記撮像手段は、複数の光学系と、これ
   らの光学系により光学像が各結像される複数の撮像素子
   と、を有してなるものであることを特徴とする請求項１
   に記載の撮像装置。
6. 【請求項６】 上記撮像手段は、露光量が異なる画像を
   撮像するための光学フィルタ手段を光路中に配置してな
   るものであることを特徴とする請求項１に記載の撮像装
   置。
7. 【請求項７】 上記撮像手段は、露光量が異なる画像を
   撮像するために信号処理を行う電気回路手段を信号経路
   中に配置してなるものであることを特徴とする請求項１
   に記載の撮像装置。
8. 【請求項８】 上記第１の算出手段は、 上記画像群中の互いに視差のある複数枚の画像間でマッ
   チングを行うマッチング手段と、 上記マッチング手段によるマッチング結果から、撮影位
   置に関する校正データを算出して、マッチング対象とな
   った複数枚の画像の校正を行う校正手段と、 上記校正手段により校正された上記互いに視差のある複
   数枚の画像から距離情報を算出する距離算出手段と、 を有してなるものであることを特徴とする請求項１に記
   載の撮像装置。
9. 【請求項９】 上記第２の算出手段は、 上記部分画像群中の互いに露光量が異なる複数枚の画像
   から適正露光域を抽出する抽出手段と、 上記抽出手段により抽出された適正露光域に関して階調
   変換を行うための変換曲線を、各画像毎に算出する変換
   曲線算出手段と、 上記変換曲線算出手段により算出された変換曲線に基づ
   き各画像を変換し、変換された各画像を合成することに
   より一枚の広ダイナミックレンジ画像を生成する合成手
   段と、 を有してなるものであることを特徴とする請求項１に記
   載の撮像装置。
10. 【請求項１０】 上記変換曲線算出手段は、 上記第１の算出手段により算出された距離情報に基づ
    き、撮影時の合焦距離と等価な距離にある領域を主要被
    写体領域として設定する領域設定手段と、 上記領域設定手段により設定された主要被写体領域に関
    して重み係数を設定する重み係数設定手段と、 を有してなるものであることを特徴とする請求項９に記
    載の撮像装置。
11. 【請求項１１】 当該撮像装置は、 上記第１の算出手段により算出された距離情報に基づ
    き、撮影時の合焦距離と等価な距離にある領域を主要被
    写体領域として設定する領域設定手段と、 上記領域設定手段により設定された主要被写体領域以外
    の領域を平滑化する平滑化手段と、 をさらに具備したことを特徴とする請求項１に記載の撮
    像装置。
12. 【請求項１２】 当該撮像装置は、 上記領域設定手段により設定された主要被写体領域に関
    する色情報から該主要被写体領域に含まれる肌色領域を
    検出する肌色検出手段と、 上記肌色検出手段により検出された肌色領域に関して色
    補正を行う肌色補正手段と、 をさらに具備したことを特徴とする請求項１１に記載の
    撮像装置。
13. 【請求項１３】 当該撮像装置は、 上記撮像手段により撮像された画像に係るデータの転送
    先を、上記第１の算出手段または上記第２の算出手段の
    何れにするかを選択する選択手段、 をさらに具備したことを特徴とする請求項１に記載の撮
    像装置。
14. 【請求項１４】 当該撮像装置は、 上記画像群に含まれる任意の１枚以上の画像と、上記距
    離情報と、上記広ダイナミックレンジ画像と、の少なく
    とも１つを出力し得る出力手段、 をさらに具備したことを特徴とする請求項１に記載の撮
    像装置。