JP2007134777A - 撮像装置 - Google Patents

Abstract

【課題】照明光成分を抽出する手段としてフィルタをかける方法があるが、これには大規模なコンボリューション演算を実行しなければならず、処理に時間がかかってしまうという欠点があった。
【解決手段】ダイナミックレンジ圧縮実行時に照明光成分データと、反射光成分データをカメラが記憶しておき、このデータを提供できるようにしておくことにより、ユーザは自分好みのダイナミックレンジ圧縮作業が可能で、かつ処理時間を短縮できるような撮影装置を提供する。
【選択図】図４

Description

本発明はデジタルカメラ、デジタルビデオカメラなどに使用される各種の撮影装置に関し、特に入力された画像データを記録する画像記録手段に関する。

デジタルカメラ、ビデオカメラで撮影する場合、逆光の条件下では、被写体が黒くつぶれてしまう場合がある。また明るい青空を撮影した場合に、空が白く飛んでしまうことがある。これらの原因は現状のセンサが扱うことができる明るさの範囲すなわちダイナミックレンジが不十分であることに起因する。この問題を解決するために広いダイナミックレンジ特性を有する撮像素子が開発されてきている。これは通常の撮像素子と較べて、より暗い撮影シーンを受光する信号から、より明るい撮影シーンを受光する信号までを、飽和、減衰することなく画像を入力できるものである。

より詳細に説明すると、入射光を電気信号に変換する複数の画素を有する撮像素子は、入射光量に基づいて電気信号への変換モードを切り換えるようになっており、線形変換する線形変換モードと、対数変換する対数変換モードとを切り換える。

このような撮像素子によれば、線形変換モードのみを行う撮像素子と比較して電気信号のダイナミックレンジが広くなるため、輝度範囲の広い被写体を撮影した場合であっても全輝度情報を電気信号で表現できる。

画像入力の撮像素子はこのように広ダイナミックレンジ化が実現しつつあるが、画像の出力は撮像素子のダイナミックレンジに追随しておらず、そのため画像処理においてダイナミックレンジ圧縮を行う必要があった。

ダイナミック圧縮手段として通常用いられている方法としては、例えば特許文献１または非特許文献１に記載されているように入力画像から照明光成分と反射光成分を抽出し、照明光成分を圧縮し、再び照明光成分と反射光成分を合成する方式がある。

なお照明光成分とは空全体の明るさや、被写体毎の一様な明るさなどの空間周波数が低い波長を持った光成分のことであり、反射光成分とは木陰、人の表情などの空間周波数が高い波長を持った光成分のことをいう。
特開２００３−８９３５号公報 緒形昌美：「画像のダイナミックレンジ圧縮技術」、画像ラボ２００４．６ Ｐ２５〜ｐ２６

この照明光成分を抽出する手段としてはいくつかの方法があるが、どの方法にしても基本的な考えとしてはローパスフィルタをかけることであり、これには大規模なコンボリューション演算（多量な積和演算）を実行しなければならず、処理に時間がかかってしまうという欠点があった。

本発明の目的は上記問題に鑑み、ハードウエアによるダイナミックレンジ圧縮実行時に照明光成分データと、反射光成分データをカメラが記憶しておき、生データの代わりにこのデータを提供できるようにしておくことにより、ユーザは自分好みのダイナミックレンジ圧縮作業が可能で、かつ処理時間を短縮可能な撮影装置を提供することである。

上記目的は、下記に記載した発明により達成される。
１．被写体を撮像して画像に対応する電気信号を出力する撮像素子を有する撮像部と、前記電気信号を処理する画像処理部と、前記画像処理部で処理された画像信号を記録媒体に記録する画像記録部とを備えた撮像装置において、
前記撮像部にて入力された入力画像を照明光成分と反射光成分に抽出し、前記照明光成分のみを圧縮して、圧縮された前記照明光成分と前記反射光成分を合成したダイナックレンジ圧縮画像を生成する前記画像処理部と、
前記反射光成分と前記照明光成分と前記ダイナミックレンジ圧縮画像とを記録する前記画像記録部とを有することを特徴とする撮像装置。
２．前記画像記録部は、前記照明光成分と、前記反射光成分を中間画像として記録することを特徴とする１に記載の撮像装置。
３．前記画像記録部は、前記中間画像と前記ダイナミックレンジ圧縮画像を記録することを特徴とする１または２に記載の撮像装置。
４．前記反射光成分と前記照明光成分を分離する手段は、専用ハードウエアからなることを特徴とする１乃至３の何れかに記載の撮像装置。
５．前記照明光成分を圧縮する手段は、前記専用ハードウエアからなることを特徴とする１乃至４の何れかに記載の撮像装置。
６．前記画像処理部は、前記照明光成分の画像サイズを圧縮するサイズ圧縮部を有することを特徴とする１乃至５の何れかに記載の撮像装置。

本発明によれば、被写体を撮像して画像に対応する電気信号を出力する撮像素子からなる撮像部と、電気信号を処理する画像処理部と、画像処理部で処理された画像信号を記録媒体に記録する画像記録部と、撮像部から入力された入力画像を反射光成分と照明光成分に抽出して、照明光成分のみを圧縮し、圧縮された照明光成分と、反射光成分を合成したダイナミックレンジ圧縮画像とを記録部に記録することにより、ユーザが任意に記録部から記録データを取り出して自分好みのダイナミックレンジ圧縮作業が可能となる。

以下、図面を参照しながら、本発明の実施の形態について説明する。
図１は本発明に係る撮像装置１の概略構成図である。

図１は、本発明に係る撮像装置の１例であるデジタルカメラ１の外観模式図で、図１（ａ）は正面図、図１（ｂ）は背面図である。

ボディ１０の正面には、交換レンズ２０が取り付けれられている。

ボディ１０の上面には、撮像のための操作部材であるレリーズボタン１０１が設置されており、ボディ１０の内部でレリーズボタン１０１の下部には、レリーズボタン１０１の押し込みの１段目で動作するＡＦ／ＡＥスイッチ１０１ａと、レリーズボタンの押し込みの２段目で動作するレリーズスイッチ１０１ｂを構成する２段スイッチが配置されている。また、ボディ１０の上部には、フラッシュ１０２が内蔵され、デジタルカメラ１の動作モードを設定するモード設定ダイアル１１２が配置されている。

ボディ１０の背面には、デジタルカメラ１の電源をオン／オフするための電源スイッチ１１１、上下左右と中央の５つのスイッチから成り、デジタルカメラ１の各動作モードでの各種設定を行うためのジョグダイアル１１５、ファインダ接眼レンズ１２１ａ、記録された画像を表示するための画像モニタ１３１が配置されている。

図２は、図１に示したデジタルカメラ１の回路の１例を示すブロック図である。図中、図１と同じ部分には同じ番号を付与した。

デジタルカメラ１の制御部であるカメラ制御部１５０は、ＣＰＵ（中央処理装置）１５１、ワークメモリ１５２、記憶部１５３等から構成され、記憶部１５３に記憶されているプログラムをワークメモリ１５２に読み出し、当該プログラムに従ってデジタルカメラ１の各部を集中制御する。

また、カメラ制御部１５０は、電源スイッチ１１１、モード設定ダイアル１１２、ジョグダイアル１１５、ＡＦ／ＡＥスイッチ１０１ａ、レリーズスイッチ１０１ｂ等からの入力を受信し、光学ファインダ１２１上の測光モジュール１２１ｂと交信することで測光動作を制御し、ＡＦモジュール１４４と交信することで合焦動作を制御し、ミラー駆動部１４３を介してレフレックスミラー１４１及びサブミラー１４２を駆動し、シャッタ駆動部１４６を介してシャッタ１４５を制御し、フラッシュ制御部１４７を介してフラッシュ１０２を制御し、撮像制御部１６１と交信することで撮像動作を制御すると共に、撮像された画像データや各種情報を画像モニタ１３１に表示し、インファインダ表示部１３２に各種情報を表示する。

さらに、カメラ制御部１５０は、ボディ１０と交換レンズ２０の間の交信部として機能する、マウント（ボディ側）１７１上に設けられたＢＬ交信部（ボディ側）１７２と、マウント（レンズ側）２７１上に設けられたＢＬ交信部（レンズ側）２７２を介して、交換レンズ２０のレンズインターフェース２５１経由で、レンズ２１１のフォーカスとズームを制御するレンズ制御部２４１、絞り２２１の制御を行う絞り制御部２２２、交換レンズ２０の固有情報を格納しているレンズ情報記憶部２３１と交信を行うことで、交換レンズ２０全体を制御する。

交換レンズ２０のレンズ２１１によって結像される画像は、撮像素子１６２で光電変換された後、アンプ１６３で増幅され、アナログ／デジタル（Ａ／Ｄ）変換器１６４でデジタルデータに変換され、画像処理部１６５で既定の画像処理を施したデジタル画像データに変換され、一旦画像メモリ１８１に記録された後、最終的にはメモリカード１８２に記録される。

一般に被写体から反射される光は、被写体表面の反射率とそれを照射する照明光の積によって構成されるが、特に被写体の色や明るさは表面反射率に大きく依存することが知られている。したがって照明光の影響を減衰させ、反射率の情報を極力保存することが高品位な画像る条件となる。

以上からダイナミックレンジを圧縮する為の構成について図３を用いて説明する。

なおここではダイナミックレンジを対象とするため、照明光の強度のみを考えることにする。また表面反射率とは入射光強度に対する反射光強度の比である。

入射画像Ｉから照明光強度に起因する成分Ｌ（照明光成分）を抽出してその圧縮を行う。入力画像Ｉは抽出された照明光成分Ｌと反射光成分Ｒの績で表せる。またダイナミックレンジが圧縮された画像Ｉ’は、圧縮された照明光成分Ｌ’と反射光成分Ｒの績で表せる。すなわち
Ｉ＝Ｌ×Ｒ
Ｉ’＝Ｌ’×Ｒ
となる。

図３は入力画像Ｉを照明光成分と反射光成分に抽出するところを模式的に表した図である。入力画像Ｉはたとえば明るい青空と遠くに山等があり、その山には木が茂っていて逆光の位置に人間がいるという画面を想定すると、デジタルカメラなどで撮影する場合、単純な青空より人の顔が写っていることが望ましい。このような明るい背景と人の表情などがある広いダイナミックレンジを持った画像情報Ｉは、照明光成分と反射光成分を抽出して、青空と人との明るさの差を縮めて、反射光成分画像を忠実に再現した方が写真として好まれる。

これは所謂Ｒｅｔｉｎｅｘ理論に基づくダイナミックレンジ圧縮法で、画像に対する照明光の影響を減衰させることで、従来から用いられている画素毎に非線形変換（対数変換）方式よりはるかに高いコントラスト感を持つ画像の再現が得られる。

図３は、照明光成分を圧縮して（Ｌ’）、反射光成分Ｒはそのままにして合成し、ダイナミックレンジ圧縮画像Ｉ’を得るところを示している。

なお、入力画像Ｉから照明光成分Ｌを得る手段としては、線形ローパスフィルタを用いている。

続いて、図２に示した回路ブロック図のうち、画像処理部１６５の構成について、図４を用いて説明する。

図４は、画像処理部１６５の回路構成の１例を示す回路ブロック図であり、カメラ１に内蔵された専用ハードウエアからなっている。Ａ／Ｄ変換された画像信号Ｉは照明光成分抽出部５３０によって反射光成分と、照明光成分に分けられる。さらに照明光成分は照明光成分を圧縮する照明光圧縮部５３１に送られる。

照明光成分圧縮部５３１は、照明光成分抽出部５３０により得られた照明成分Ｌに対する所定の圧縮処理を行い、当該照明成分を圧縮してなる照明成分Ｌ’を出力する。

照明光成分圧縮部５３１により得られた圧縮照明光成分Ｌ’は、符号５３２に示す乗算部（乗算部５３２という）によって反射光成分Ｒと乗算され、その結果、画像Ｉに対する照明光成分抽出部５３０処理後の画像Ｉ’が得られる。反射光成分Ｒは、符号５３３に示す除算部（除算部５３３という）によって、ルートＥにて送信されてくる画像Ｉから、ルートＦにて送信されてくる照明光成分Ｌを除算することで得られる。

照明光成分抽出部５３０から抽出された画像Ｉは照明光成分５３４、ダイナミック圧縮画像成分５３５（ＤＲＣ５３５という）、反射光成分５３６に分離され、画像記録部１６６にて処理され画像メモリー部１８１に格納される。

あるいは画像記録部１６６では照明光成分５３４と、反射光成分５３６を中間画像５３７として取り扱い、中間画像５３７とＤＲＣ５３５を画像記録部１６６にて処理され画像メモリ部１８１に格納しても良い。

画像記録部１６６にはダイナミックレンジ圧縮画像、反射光成分、照明光成分、のデータの情報がヘッダの中に格納されている。

また、照明光成分は低周波成分が大半なのでサイズ圧縮を行っても画質劣化が発生しない、そこで図５は画像サイズを圧縮するサイズ圧縮部５３８を設けることにより、全体の画像メモリ数を低減する方式を示している。このときファイルのヘッダには照明光成分抽出パラメータに、圧縮率が加えられる。

さらに、画像メモリ１８１あるいはメモリカード１８２に記録された画像処理後の画像であるＤＲＣ５３５と中間画像５３７は、デジタルカメラ１に搭載された画像モニタ１３１、あるいはデジタルカメラ１やメモリカード１８２の画像を読み込んだ図示しないパーソナルコンピュータ（ＰＣ）や携帯情報端末（ＰＤＡ）等のモニタで確認が可能である。

また、デジタル画像データは、ＰＣやＰＤＡ等に取り込まれることによって、ユーザが任意に画像処理を行うことも可能である。これによって、デジタルカメラ１に搭載されているＣＰＵ１５１よりも強力な処理能力を持つＰＣ等での更に高性能な画像処理が可能となり、更なる高画質化が図れる。

本発明は上記記載のようにユーザは、ソフトウエアでは処理に時間がかかる照明光成分と反射光成分の抽出作業を行うことなくあらかじめ計算された照明光成分データと反射光成分データを利用して、自分の好みでダイナミックレンジ圧縮作業が行えると共に、作業時間を短縮することができる。

さらにサイズ圧縮部を設けることにより、照明光成分の画像データは少なくてすみ、画像を記録するメモリの使用量を減らすことができる。

本発明に係る撮像装置の１例であるデジタルカメラの外観模式図である。 図１に示したデジタルカメラの回路の１例を示すブロック図である。 入力画像を照明光成分と反射光成分に抽出し、Ｄレンジ圧縮するところの概念図である。 画像処理部１６５の回路構成の１例を示す回路ブロック図である。 画像処理部１６５の回路構成の他の実施例を示す回路ブロック図である。

符号の説明

１ デジタルカメラ
１０ ボディ
２０ 交換レンズ
１５０ カメラ制御部
１５１ ＣＰＵ（中央処理装置）
１５２ ワークメモリ
１５３ 記憶部
１６１ 撮像制御部
１６２ 撮像素子
１６３ アンプ
１６４ アナログ／デジタル（Ａ／Ｄ）変換器
１６６ 画像記録部
１８１ 画像メモリ
１８２ メモリカード
２１１ レンズ
５３０ 照明光成分抽出部
５３１ 照明光成分圧縮部
５３２ 乗算部
５３３ 除算部
５３４ 照明光成分
５３５ ダイナミックレンジ圧縮画像成分
５３６ 反射光成分
５３７ 中間画像
５３８ サイズ圧縮

Claims (6)

1. 被写体を撮像して画像に対応する電気信号を出力する撮像素子を有する撮像部と、前記電気信号を処理する画像処理部と、前記画像処理部で処理された画像信号を記録媒体に記録する画像記録部とを備えた撮像装置において、
   前記撮像部にて入力された入力画像を照明光成分と反射光成分に抽出し、前記照明光成分のみを圧縮して、圧縮された前記照明光成分と前記反射光成分を合成したダイナックレンジ圧縮画像を生成する前記画像処理部と、
   前記反射光成分と前記照明光成分と前記ダイナミックレンジ圧縮画像とを記録する前記画像記録部と、
   を有することを特徴とする撮像装置。
2. 前記画像記録部は、前記照明光成分と、前記反射光成分を中間画像として記録することを特徴とする請求項１に記載の撮像装置。
3. 前記画像記録部は、前記中間画像と前記ダイナミックレンジ圧縮画像を記録することを特徴とする請求項１または２項に記載の撮像装置。
4. 前記反射光成分と前記照明光成分を分離する手段は、専用ハードウエアからなることを特徴とする請求項１乃至３項の何れか１項に記載の撮像装置。
5. 前記照明光成分を圧縮する手段は、前記専用ハードウエアからなることを特徴とする請求項１乃至４項の何れか１項に記載の撮像装置。
6. 前記画像処理部は、前記照明光成分の画像サイズを圧縮するサイズ圧縮部を有することを特徴とする請求項１乃至５項の何れか１項に記載の撮像装置。

Images