JP2004040417A - 撮像装置およびホワイトバランス補正方法 - Google Patents

Abstract

【課題】光源の推定を正確に行い、正確なオートホワイトバランス機能を実現することにより、正確な色再現を実現する。
【解決手段】デジタルカメラ２８は、ホワイトバランス処理部４と、ホワイトバランス制御部１７と、指向性を有する既知分光特性の既知光源を用いて被写体の一部を照射する既知光源照射部４と、既知光源照射部４による被写体への照射前と照射後の被写体の一部を撮像する撮像部１と、撮像部１により撮像された既知光源照射部４による被写体への照射前と照射後の被写体の一部の画像データの範囲を照射前と照射後の差を取ることにより検波する検波部１０と、検波部１０により検波された検波結果を分析する分析手段１８と、分析手段１８により被写体の反射特性を判断して外部光源の推定をする推定手段２１とを備えた。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば、デジタルカメラやビデオカメラなどに適用されるホワイトバランス調整機能を有する撮像装置およびホワイトバランス補正方法に関するものである。
【０００２】
【従来の技術】
従来のホワイトバランス調整機能を有していないデジタルカメラやビデオカメラを用いて外部光源下で被写体を撮影した場合に、例えば、外部光源として蛍光灯下で被写体を撮影すると被写体は全体に緑っぽい色見になり、外部光源として白熱電球下で被写体を撮影すると被写体は全体に赤っぽい色見になる。このように、外部光源として蛍光灯、白熱電球および自然光の太陽光といった光源によって色温度特性が違うため、同じ被写体を撮影しても被写体の色が変わってしまう。
【０００３】
人間の場合には、光源が違っていても、その違いを頭の中で上手に補正して色を感じることができる。ところが、ＣＣＤ（固体撮像素子）等の撮像素子を用いた撮像装置は、このような補正を行うことができないので、結果として、見た色と違った画像となる。
【０００４】
そこで、人間が被写体を見て、光源が違っても違和感がないように補正するための機能がデジタルカメラやビデオカメラに備わっている。つまり、どの光源下で被写体を撮影しても、自動的に自然な色になるように、光源によって変化する色のバランスを調整する機能がデジタルカメラやビデオカメラに備わっている。
【０００５】
この機能は、どんな光源で被写体を照らしても、白い被写体を適正に白く写るように調整する機能であることから、この機能は「ホワイトバランス」と呼ばれている。また、その補正を自動的に行う機能を「オートホワイトバランス」と呼んでいる。しかし、このオートホワイトバランス機能は、まだまだ発展途上の技術であるため、完全に補正することができないどころか、ときには間違った補正をすることがある。
【０００６】
図６に、従来の一般的なデジタルカメラの構成を示す。
このデジタルカメラ２８は、撮像部１と、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）５と、メモリ１５と、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１６と、記録媒体２６と、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）などのモニター２７とを備えている。ＬＳＩ５は、撮像信号処理部（１）６と、Ａ／Ｄ（Ａｎａｌｏｇ　ｔｏ　Ｄｉｇｉｔａｌ）変換回路７と、撮像信号処理部（２）８と、ホワイトバランス処理部９と、撮像信号処理部（３）１１と、圧縮および変換処理部１２と、検波部１０と、記録処理部１３および表示処理部１４とを有して構成される。
【０００７】
ＣＰＵ１６は、変化する光源に応じてホワイトバランスを追従動作させるためのホワイトバランス制御信号ＣＷＢの作成機能と同信号の出力機能を司るホワイトバランス制御部１７を有している。ホワイトバランス制御部１７は、上述したホワイトバランス制御信号ＣＷＢに基づいてホワイトバランスを調整するホワイトバランス調整機能を有している。
【０００８】
撮像部１は、レンズ２および撮像素子３を備えている。撮像部１はレンズ２を介して被写体を撮像して、撮像素子３から撮像信号を出力する。例えば、撮像素子３はＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＯＭＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ−Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサーで構成される。撮像部１から出力された撮像信号は、撮像信号処理部（１）６に入力される。
【０００９】
撮像信号処理部（１）６は、撮像部１から出力されてくる撮像信号について各種信号処理を行う。例えば、撮像信号処理部（１）６は、サンプルホールド回路やＡＧＣ（Ａｕｔｏｍａｔｉｃ　Ｇａｉｎ　Ｃｏｎｔｒｏｌ）回路を備えていて、撮像信号のサンプリング及びゲイン調整を行う。撮像信号処理部（１）６において信号処理された撮像信号は、Ａ／Ｄ変換回路７に入力され、デジタル信号に変換される。デジタル変換された撮像信号は、撮像信号処理部（２）８及び検波部１０に入力される。
【００１０】
検波部１０は、撮像信号中のホワイトバランス制御用の成分検出を行う。例えば、制御信号内のＲ，Ｇ，Ｂ成分を抽出し、検波する。
【００１１】
ＣＰＵ１６は、デジタルカメラ２８を構成する各構成部の制御を行う制御手段であって、その一機能により上述した検波部１０の検波結果に基づいて、現在の入射光、すなわち現在の光源の判断を行う。その判断に基づいてホワイトバランス制御信号ＣＷＢを作成し、出力する。
【００１２】
ホワイトバランス処理部９は、ＣＰＵ１６のホワイトバランス制御部１７からのホワイトバランス制御信号ＣＷＢに基づいてホワイトバランスを調整する。ホワイトバランス処理部９におけるホワイトバランスの調整は、例えば制御信号に応じてＲ，Ｇ，Ｂそれぞれの色成分のゲインを調整するものであって、撮像信号処理部（２）８から出力されてくる撮像信号のＲ，Ｇ，Ｂ成分の振幅をそれぞれ増減させるものである。
【００１３】
例えば、動画撮影時には、オートホワイトバランスの制御中においては、光源に応じて、ＣＰＵ１６のホワイトバランス制御部１７から連続してホワイトバランス制御信号ＣＷＢが出力されるので、ホワイトバランス処理部９は、そのようなホワイトバランス制御信号ＣＷＢに応じてホワイトバランスを連続的に調整する。
【００１４】
ホワイトバランス処理部９により、Ｒ，Ｇ，Ｂ等のゲイン調整された撮像信号は、撮像信号処理部（３）１１に入力される。撮像信号処理部（３）１１は、撮像信号に対して、ガンマ処理、及び色差マトリクス処理、解像度変換等の信号処理を行う。また、撮像信号処理部（３）１１は、撮像信号を輝度信号及び色差信号に変換する。撮像信号処理部（３）１１において信号処理された信号は、圧縮及び変換処理部１２に入力される。
【００１５】
圧縮及び変換処理部１２は、輝度及び色差信号を圧縮処理や出力に適した信号に変換する。圧縮及び変換処理部１２により処理された信号は、記録処理部１３及び表示処理部１４に入力される。
【００１６】
記録処理部１３では、圧縮及び変換処理部１２で処理された撮像信号は、固体メモリや磁気ディスク等の記録媒体２６に画像ファイルとして書き込まれる。
表示処理部１４では、圧縮及び変換処理部１２で処理された撮像信号は、さらに映像信号に変換され、液晶ディスプレイやテレビモニターなどのモニター２７に表示される。
【００１７】
上述したように、デジタルカメラ２８は、ＣＰＵ１６のホワイトバランス制御部１７からのホワイトバランス制御信号ＣＷＢによるホワイトバランス処理部９に対する制御により、撮像信号のホワイトバランスを調整しながら動画像及び静止画像を撮像している。そして、デジタルカメラ２８は、ＣＰＵ１６により光源を自動判別した結果としての撮影モードに応じてホワイトバランスの制御を異ならせ、ＣＰＵ１６により推定した光源が正確であれば、各撮影モードにおいて最適と思われる画像を得ることができる。
【００１８】
次に、光源の推定について詳しく説明する。
人間の感じる色は、「物そのものの色（反射特性）」と「光源の特性」によって決まることは、上述した通りである。
【００１９】
従来、オートホワイトバランスを行うために、光源の推定が必要であった。光源を推定するために、被写体を撮像した画像データから情報を検波して抜き出す。
【００２０】
一般的に、ホワイトバランスの「白いもの」をきちんと「白く」補正するため、ＣＣＤに入力された被写体の画像情報から、本来「白かった」部分を推定し、その部分を積分し、その結果から光源を推定する。そして、本来の「白」になるようにＲ，Ｇ，Ｂの色の３原色に対して、ゲインをかけて、レベルを調整して、バランスを補正している。
【００２１】
本来「白かった」部分を推定するのに、輝度情報や色情報から選別したりするが、すべての色を混ぜると白になることから全情報を混ぜることによって本来白かった部分の代用としたりすることもあった。
【００２２】
しかし、本来「白かった」部分がＲ，Ｇ，Ｂの比率に対してどの色の方向にずれたのか分からないので、「白でなかった」部分、例えば、薄いグレーとかクリーム色を白と思いこみ、ホワイトバランス補正により、「白」に引き込んでしまうという誤った補正をしてしまうことがあった。
【００２３】
また、森や青空、リンゴなど白色が存在しない被写体の場合は、正確に補正することが困難となる。これは、被写体本来の色と光源特性の両方が分からないので、色の推定と光源の推定の両方を行わなければならないために生じる問題だからである。
【００２４】
図７は、従来のホワイトバランス補正方法を示すフローチャートである。
まず、ステップＳ１１で、被写体を撮像した画像データを取得する。具体的には、撮像部１の撮像素子３は光学系のレンズ２を介して被写体を撮像し、撮像信号を出力する。撮像信号処理部（１）６は、撮像部１から出力されてくる撮像信号について各種信号処理を行う。撮像信号処理部（１）６において信号処理された撮像信号は、Ａ／Ｄ変換回路７に入力され、デジタル信号に変換される。デジタル変換された撮像信号は、撮像信号処理部（２）８及び検波部１０に入力される。
【００２５】
ステップＳ１２で、検波部１０は、取得した画像データからホワイトバランス制御信号を作成するために検波処理を行い、画素の色（白など）の推定を行う。例えば、検波部１０は、本来「白かった」部分を画素の輝度情報や色情報等を用いて推定し、ステップＳ１３で、検波部１０は、条件にあった画素に関して制御信号内のＲ，Ｇ，Ｂ成分を抽出し、ステップＳ１４で、検波部１０は、色成分別の積分を行う。
【００２６】
ステップＳ１５で、検波部１０による検波結果のＲ，Ｇ，Ｂの比率は、本来の「白」である比率から外部光源によって比率がずらされているので、ＣＰＵは、その変化量から外部光源を推定する。
【００２７】
ステップＳ１５で、ＣＰＵ１６は、外部光源の推定を行うことにより、ステップＳ１６で、ＣＰＵ１６は、最適なホワイトバランスのパラメータを決定することができるので、ステップＳ１７で、ＣＰＵ１６は、このパラメータを用いてホワイトバランスの補正をかけることができる。
【００２８】
【発明が解決しようとする課題】
しかし、上述した従来のホワイトバランス補正方法では、ステップＳ１２で検波部１０により検波したい画素の色の推定が誤っていた場合、検波部１０により積分したくない画素もステップＳ１３の選別の誤判定により検波部１０により積分されてしまうことになる。これを繰り返すことにより、ステップＳ１４で検波部１０による色成分別の積分を行う際に誤差が累積されることになる。ステップＳ１５で、検波部１０による検波結果は希望していたものと異なっているので、ＣＰＵ１６は、この検波結果を用いて外部光源を推定すると、当然に光源を間違えて推定してしまうことになる。この結果、ステップＳ１６で、ＣＰＵ１６は、誤った補正パラメータを算出するので、ステップＳ１７で、ＣＰＵ１６は、この誤った補正パラメータを用いて見当はずれのホワイトバランスの補正をかけることになるという不都合があった。
【００２９】
また、リンゴ等の白成分をほとんど含まない単色な被写体の場合には、白検出を用いた従来のホワイトバランス補正方法では、ホワイトバランスのズレを検出できないので、正確な光源の推定を行うことが困難となるという不都合があった。
【００３０】
そこで、本発明は、かかる点に鑑みてなされたものであり、光源の推定を正確に行い、正確なオートホワイトバランス機能を実現することにより、正確な色再現を実現することができる撮像装置およびホワイトバランス補正方法を提供することを課題とする。
【００３１】
【課題を解決するための手段】
本発明の撮像装置は、指向性を有する既知分光特性の既知光源を用いて被写体の一部を照射する照射手段と、上記照射手段による被写体への照射前の外部光源のみと照射後の上記既知光源および上記外部光源とにより被写体の一部を撮像する撮像手段と、上記撮像手段により撮像された上記照射手段による被写体への照射前と照射後の被写体の一部の画像データの範囲を検波する検波手段と、上記検波手段により検波された検波結果を上記照射手段による被写体への照射前と照射後の差を取ることにより分析する分析手段と、上記分析手段により被写体の反射特性を判断して上記外部光源の推定をする推定手段とを備えたものである。
【００３２】
また、本発明のホワイトバランス補正方法は、指向性を有する既知分光特性の既知光源を用いて被写体の一部を照射する既知光源照射ステップと、上記既知光源照射ステップによる被写体への照射前の外部光源のみと照射後の上記既知光源および上記外部光源とにより被写体の一部を撮像する撮像ステップと、上記撮像ステップにより撮像された上記既知光源照射ステップによる被写体への照射前と照射後の被写体の一部の画像データの範囲を検波する検波ステップと、上記検波ステップにより検波された検波結果を上記既知光源照射ステップによる被写体への照射前と照射後の差を取ることにより分析する分析ステップと、上記分析ステップにより被写体の反射特性を判断して上記外部光源の推定をする推定ステップとを備えたものである。
【００３３】
従って本発明によれば、以下の作用をする。
照射手段は指向性を有する既知分光特性の既知光源を用いて被写体の一部を照射するように作用する。撮像手段は照射手段による被写体への照射前の外部光源のみと照射後の既知光源および外部光源とにより被写体の一部を撮像するように作用する。検波手段は撮像手段により撮像された照射手段による被写体への照射前と照射後の被写体の一部の画像データの範囲を検波するように作用する。分析手段は検波手段により検波された検波結果を照射手段による被写体への照射前と照射後の差を取ることにより分析するように作用する。推定手段は分析手段により被写体の反射特性を判断して外部光源の推定をするように作用する。
【００３４】
【発明の実施の形態】
以下に、本発明の実施の形態を図面を参照しながら詳細に説明する。
図１に、本発明の実施の形態に適用されるデジタルカメラの構成を示す。図１において、図６に示した従来のデジタルカメラに対応する部分には同一の符号を付してある。
【００３５】
このデジタルカメラ２８は、撮像部１と、既知光源照射部４と、ＬＳＩ５と、メモリ１５と、ＣＰＵ１６と、メモリ２３と、記録媒体２６と、ＬＣＤなどのモニター２７とを備えている。ＬＳＩ５は、撮像信号処理部（１）６と、Ａ／Ｄ変換回路７と、撮像信号処理部（２）８と、ホワイトバランス処理部９と、撮像信号処理部（３）１１と、圧縮および変換処理部１２と、検波部１０と、記録処理部１３および表示処理部１４とを有して構成される。
【００３６】
ここで、特に本発明の実施の形態では、デジタルカメラ２８は以下の構成を有している。
図３は、既知光源の被写体への照射を示す図である。
既知光源照射部４は、指向性を有する既知分光特性の既知光源を用いて被写体３１の一部の既知光源照射ポイント３２を照射するように構成される。ここで、既知光源は、複数の例えばＲ，Ｇ，Ｂの３本またはＲ，Ｇ，Ｂのうちのいずれか２本のレーザー光を用いるように構成される。また、既知光源は、撮像部１の撮像素子３の撮像感度に適合する分光特性を有するように構成される。また、既知光源は、撮像部１の撮像素子３のフィルタ周波数内であるように構成される。
【００３７】
ＣＰＵ１６は、変化する光源に応じてホワイトバランスを追従動作させるためのホワイトバランス制御信号ＣＷＢの作成機能と同信号の出力機能を司るホワイトバランス制御部１７を有している。ホワイトバランス制御部１７は、上述したホワイトバランス制御信号ＣＷＢに基づいてホワイトバランスを調整するホワイトバランス調整機能を有している。
【００３８】
また、ＣＰＵ１６は、検波部１０により検波された検波結果を既知光源照射部４による被写体への照射前と照射後の差を既知光源照射前後差分取得部１９により取ることにより分析する分析手段１８と、分析手段１８により被写体の反射特性を判断して外部光源の推定をする推定手段２１とを有して構成される。また、分析手段２１は、既知光源照射部４における既知光源の既知分光特性、各色における被写体の反射特性と照合することにより検波結果を分析する既知光源データベース比較部２０とを有して構成される。また、推定手段２１は、予め測定された分光特性と検波結果を比較して光源を推定する測定特性データベース比較部２３を有して構成される。
【００３９】
また、メモリ２３は、既知光源照射部４における既知光源の既知分光特性および各色における被写体の反射特性を記憶した既知光源データベース２４と、予め測定された各種光源の分光特性を記憶した測定特性データベース２５とを有して構成される。
【００４０】
図４は、撮像部のウインドウを示す図である。
撮像部１は、レンズ２および撮像素子３を備えている。また、撮像部１は、既知光源照射部４による被写体への照射前の外部光源のみの状態と照射後の既知光源および外部光源の状態において被写体の一部を撮像するように構成される。撮像部１はレンズ２を介して被写体を撮像して、撮像素子３から撮像信号を出力する。例えば、撮像素子３はＣＣＤやＣＯＭＳイメージセンサーで構成される。撮像部１から出力された撮像信号は、撮像信号処理部（１）６に入力される。
【００４１】
ここで、撮像部１は、撮像信号に基づくフレーム画像４１上で既知光源照射部４により被写体に照射された１点のスポット状の既知光源照射ポイント３２に対応するウインドウ４２部分の画素範囲を撮像するように構成される。このフレーム画像４１上のウインドウ４２の画素範囲は、例えば、２画素×２画素などを指定する。また、被写体に対応して、このフレーム画像４１上のウインドウ４２よりも広い画素範囲の拡大ウインドウ４３を指定して、その広い画素範囲の拡大ウインドウ４３の画素値の平均値を得るようにしても良い。
【００４２】
撮像信号処理部（１）６は、撮像部１から出力されてくる撮像信号について各種信号処理を行う。例えば、撮像信号処理部（１）６は、サンプルホールド回路やＡＧＣ（Ａｕｔｏｍａｔｉｃ　Ｇａｉｎ　Ｃｏｎｔｒｏｌ）回路を備えていて、撮像信号のサンプリング及びゲイン調整を行う。撮像信号処理部（１）６において信号処理された撮像信号は、Ａ／Ｄ変換回路７に入力され、デジタル信号に変換される。デジタル変換された撮像信号は、撮像信号処理部（２）８及び検波部１０に入力される。
【００４３】
検波部１０は、撮像信号中のホワイトバランス制御用の成分検出を行う。例えば、制御信号内のＲ，Ｇ，Ｂ成分を抽出し、検波する。また、検波部１０は、撮像部１により撮像された既知光源照射部４による被写体への照射前と照射後の被写体の一部の画像データの範囲を検波するように構成される。
【００４４】
ＣＰＵ１６は、デジタルカメラ２８を構成する各構成部の制御を行う制御手段であって、その一機能により上述した検波部１０の検波結果に基づいて、現在の入射光、すなわち現在の光源の判断を行う。その判断に基づいてホワイトバランス制御信号ＣＷＢを作成し、出力する。
【００４５】
ホワイトバランス処理部９は、ＣＰＵ１６のホワイトバランス制御部１７からのホワイトバランス制御信号ＣＷＢに基づいてホワイトバランスを調整する。ホワイトバランス処理部９におけるホワイトバランスの調整は、例えば制御信号に応じてＲ，Ｇ，Ｂそれぞれの色成分のゲインを調整するものであって、撮像信号処理部（２）８から出力されてくる撮像信号のＲ，Ｇ，Ｂ成分の振幅をそれぞれ増減させるものである。
【００４６】
例えば、動画撮影時には、オートホワイトバランスの制御中においては、光源に応じて、ＣＰＵ１６のホワイトバランス制御部１７から連続してホワイトバランス制御信号ＣＷＢが出力されるので、ホワイトバランス処理部９は、そのようなホワイトバランス制御信号ＣＷＢに応じてホワイトバランスを連続的に調整する。
【００４７】
ホワイトバランス処理部９により、Ｒ，Ｇ，Ｂ等のゲイン調整された撮像信号は、撮像信号処理部（３）１１に入力される。撮像信号処理部（３）１１は、撮像信号に対して、ガンマ処理、及び色差マトリクス処理、解像度変換等の信号処理を行う。また、撮像信号処理部（３）１１は、撮像信号を輝度信号及び色差信号に変換する。撮像信号処理部（３）１１において信号処理された信号は、圧縮及び変換処理部１２に入力される。
【００４８】
圧縮及び変換処理部１２は、輝度及び色差信号を圧縮処理や出力に適した信号に変換する。圧縮及び変換処理部１２により処理された信号は、記録処理部１３及び表示処理部１４に入力される。
【００４９】
記録処理部１３では、圧縮及び変換処理部１２で処理された撮像信号は、固体メモリや磁気ディスク等の記録媒体２６に画像ファイルとして書き込まれる。
表示処理部１４では、圧縮及び変換処理部１２で処理された撮像信号は、さらに映像信号に変換され、液晶ディスプレイやテレビモニターなどのモニター２７に表示される。
【００５０】
図２は本実施の形態に適用されるホワイトバランス補正方法を示すフローチャートである。
まず、ステップＳ１で、被写体を撮像した通常画像データを取得する。具体的には、撮像部１の撮像素子３は光学系のレンズ１を介して被写体を撮像し、撮像信号を出力する。撮像信号処理部（１）６は、撮像部１から出力されてくる撮像信号について各種信号処理を行う。撮像信号処理部（１）６において信号処理された撮像信号は、Ａ／Ｄ変換回路７に入力され、デジタル信号に変換される。デジタル変換された撮像信号は、撮像信号処理部（２）８及び検波部１０に入力される。
【００５１】
ステップＳ２で、既知光源で照射された被写体の一部を撮像した既知光源照射画像データを取得する。具体的には、撮像部１の撮像素子３は光学系のレンズ２を介して既知光源照射部４からの既知光源で照射された被写体の一部を撮像し、撮像信号を出力する。撮像信号処理部（１）６は、撮像部１から出力されてくる撮像信号について各種信号処理を行う。撮像信号処理部（１）６において信号処理された撮像信号は、Ａ／Ｄ変換回路７に入力され、デジタル信号に変換される。デジタル変換された撮像信号は、検波部１０に入力される。
【００５２】
ステップＳ３で、検波部１０は、既知光源の光が照射された被写体の部分を含む領域を、照射有りの場合と無い場合とで検波を行う。
【００５３】
図５は、光源による物体反射特性の移動を示す図である。図５において、縦軸にＢ−Ｇ（Ｙ）、横軸にＲ−Ｇ（Ｙ）を示し、Ｒ，Ｇ，Ｂの色の３原色に対する比率で示される色のずれの方向および位置を示す。
【００５４】
一般に、すべての波長における光源の強さを表す分布を外光分光分布Ｌ（λ）、すべての波長における物体の光の強さを表す特性を物体反射特性ρ（λ）とすると、人間の目や撮像素子におけるすべての波長における光の強さを表す撮像分光特性Ｓ（λ）は、以下の数１式の関係がある。
【００５５】
【数１】
Ｓ（λ）＝Ｌ（λ）×ρ（λ）
【００５６】
つまり、図５に示すように、物体反射特性ρ（λ）を持った被写体に外光分光分布Ｌ（λ）を有する外部光源が照射されたときには、撮像部１の撮像素子３で撮像される撮像分光特性Ｓ（λ）は、物体反射特性ρ（λ）の位置が矢印で示す色の位置に移動されるものとなることを示している。
【００５７】
光源が外部光源の分光分布Ｌ（λ）のほかに既知光源の分光分布Ｌ’（λ）を含めて２種類ある場合には、撮像分光特性Ｓ’（λ）は、以下の数２式の関係となる。
【００５８】
【数２】
Ｓ’（λ）＝｛Ｌ（λ）＋Ｌ’（λ）｝×ρ（λ）
【００５９】
つまり、図５に示すように、物体反射特性ρ（λ）を持った被写体に外光分光分布Ｌ（λ）を有する外部光源のほかに既知光源分光分布Ｌ’（λ）を有する既知光源が照射されたときには、撮像部１の撮像素子３で撮像される撮像分光特性Ｓ’（λ）は、物体反射特性ρ（λ）の位置が外光分光分布Ｌ（λ）および既知光源分光分布Ｌ’（λ）を有する２つの光源に基づく色の位置に移動されるものとなることを示している。
【００６０】
検波部１０は取得した画像の撮像信号を検波して測定することにより、撮像素子３の色フィルタ特性に応じた特定波長における、人間の目や撮像素子におけるすべての波長における光の強さを表す撮像素子分光特性Ｓ（λ）、Ｓ’（λ）を求めることが可能となる。
【００６１】
ここで、外部光源の分光分布Ｌ（λ）、既知光源の分光分布Ｌ’（λ）とすると、既知光源の被写体への照射時では、撮像素子分光特性Ｓ’（λ）は、以下の数３式の関係となる。
【００６２】
【数３】
Ｓ’（λ）＝Ｌ（λ）×ρ（λ）＋Ｌ’（λ）×ρ（λ）
【００６３】
つまり、図５に示すように、物体反射特性ρ（λ）を持った被写体に外光分光分布Ｌ（λ）を有する外部光源のほかに既知光源分光分布Ｌ’（λ）を有する既知光源が照射されたときには、撮像部１の撮像素子３で撮像される撮像分光特性Ｓ’（λ）は、物体反射特性ρ（λ）の位置が第１項目のＬ（λ）×ρ（λ）と第２項目のＬ’（λ）×ρ（λ）に基づく色の位置に移動されるものとなることを示している。
【００６４】
また、物体反射特性ρ（λ）を持った被写体に外光分光分布Ｌ（λ）を有する外部光源のみが照射された場合では撮像素子分光特性Ｓ（λ）は、数４式の関係となる。
【００６５】
【数４】
Ｓ（λ）＝Ｌ（λ）×ρ（λ）
【００６６】
つまり、図５に示すように、物体反射特性ρ（λ）を持った被写体に外光分光分布Ｌ（λ）を有する外部光源が照射されたときには、撮像部１の撮像素子３で撮像される撮像分光特性Ｓ（λ）は、物体反射特性ρ（λ）の位置が矢印で示す色の位置に移動されるものとなることを示している。
【００６７】
従って、外部光源の分光分布Ｌ（λ）を無視できる程度に、既知光源の分光分布Ｌ’（λ）が強力であれば、撮像素子分光特性Ｓ’（λ）は、以下の数５式の関係とみなすことができる。
【００６８】
【数５】
Ｓ’（λ）＝Ｌ’（λ）×ρ（λ）
【００６９】
つまり、図５に示すように、物体反射特性ρ（λ）を持った被写体に既知分光分布Ｌ’（λ）を有する既知光源が照射されたときには、撮像部１の撮像素子３で撮像される撮像分光特性Ｓ’（λ）は、物体反射特性ρ（λ）の位置が矢印で示す色の位置に移動されるものとなることを示している。
【００７０】
すなわち、被写体に照射される既知光源が外部光源に対して十分強力な場合には、外部光源による被写体への照射の影響を無視できると考えられ、被写体に照射される既知光源の影響のみとなる。
【００７１】
物体の色は、物体に光が照射され、物体が光源の特定の成分を吸収し、それ以外の成分を反射し、その反射光を人間の目や撮像素子が感知して決まるものである。すなわち、物体の色は照明光源の分光特性によって変化するから、デジタルカメラ２８に装着されたレーザー光などの既知光源照射部４の既知光源の分光分布Ｌ’（λ）を予め作成しておくようにする。この光源の分光分布Ｌ’（λ）をＣＰＵ１６が既知光源データベース２４に保存する。
【００７２】
ここで、検波部１０が、既知光源の被写体への照射時での、撮像素子分光特性Ｓ’（λ）を測定すれば、既知光源の分光分布Ｌ’（λ）は既知であるため、ＣＰＵ１６の分析手段１８は、物体の反射特性ρ（λ）を求めることができ、結果として、分析手段１８は被写体の照射部分の正確な色を判断することができる。また、求められた物体の反射特性ρ（λ）もＣＰＵ１６が既知光源データベース２４に保存する。測定された撮像素子分光特性Ｓ’（λ）をＣＰＵ１６が測定特性データベース２５に保存する。
【００７３】
そして、外部光源のみでは、数４式の関係であるので、検波部１０が撮像素子分光特性Ｓ（λ）を測定すれば、分析手段１８により物体の反射特性ρ（λ）が求められているので、推定手段２１は外部光源の分光分布Ｌ（λ）を求めることができる。
【００７４】
ここで、画像データのフレーム毎に求めた外部光源の分光分布Ｌ（λ）と既知光源データベース２４に保存されている既存の光源の分光特性のデータベースとを既知光源データベース比較部２０が照合することにより、後述するように、外部光源の分光分布Ｌ（λ）を特定することが可能となる。
【００７５】
また、有彩色検出に限らず、無彩色検出の場合でも、既知光源照射部４の既知光源の色が特定できれば、色の選別精度が向上するので、外部光源を特定する精度を向上させることができる。
【００７６】
また、既知光源よりも外部光源の光が強く、外部光源による外光を無視できない場合においても、既知光源照射部４において、例えば、レーザーポインタと同等の出力の指向性の強い光源（例えば、レーザー光）で、被写体に部分照射をすることにより、既知光源の分光分布Ｌ’（λ）が外部光源の分光分布Ｌ（λ）を無視できない程度に弱くなることはないので、上述した既知光源の被写体への照射時の数３式と外部光源のみの数４式を求めることができる。
【００７７】
従って、撮像素子分光特性Ｓ（λ）および撮像素子分光特性Ｓ’（λ）は、以下の数６式の関係となる。
【００７８】
【数６】
Ｓ’（λ）−Ｓ（λ）＝Ｌ’（λ）×ρ（λ）
【００７９】
ここで、ステップＳ３−１でＣＰＵ１６の分析手段１８は、検波部１０により検波された検波結果を既知光源照射部４による被写体への照射前と照射後の差を既知光源照射前後差分取得部１９により取ることにより分析する。また、後述するように、推定手段２１は、分析手段１８により被写体の反射特性を判断した後に外部光源の推定をする。
【００８０】
既知光源の分光分布Ｌ’（λ）は既知であるため、分析手段１８により物体の反射特性ρ（λ）が分かり、結果として、色の特定が可能となる。分析手段１８により物体の反射特性ρ（λ）が分かれば、検波部１０により外部光源の分光分布Ｌ（λ）のみにおける撮像素子分光特性Ｓ（λ）を測定することにより、上述した数４式の関係から、推定手段２１は外部光源の分光分布Ｌ（λ）の特性を求めることができる。
【００８１】
すなわち、強力ではないが外部光源を排除できない場合でも、ステップＳ３−１で既知光源による被写体への部分照射により照射後と照射前の検波結果とで既知光源照射前後差分取得部１９により同一画素の差異さえ取ることができれば、照射後の検波結果の差分は、既知光源による影響であることから、予め検波部１０で測定して既知光源データベース２４に保存してある既知光源特性の分光分布Ｌ’（λ）と検波結果の差分とを既知光源データベース比較部２０が比較することにより、分析手段１８は正確に反射特性の推定が可能となる。その結果、推定手段２１は従来よりも正確に光源の推定が可能となる。
【００８２】
また、外部光源に対して追加照射する既知光源も、撮像素子のどれかの色フィルタ特性で感知することができる成分を持っていれば、この場合精度が落ちることを容認すれば、他色の成分をもっていなくてもかまわない。すなわち、単波長のレーザー光を用いる場合には、使用する撮像素子が感知して測定できる波長のレーザー光が必要となる。
【００８３】
また、従来は、「白と思われる」画素のＲ，Ｇ，Ｂの３色成分の検波結果から光源を推定していたが、本実施の形態では分析手段１８は既知光源により物体の色を表す反射特性の特定が可能なので、被写体が単一色成分しか持たなくても、その色の各波長成分が外光により変化させられているか否かを知ることができるので、これにより、推定手段２１はより正確に光源の推定を行うことが可能になる。
【００８４】
ステップＳ３−２で検波部１０は、取得した画像データからホワイトバランス制御信号ＣＷＢを作成するために検波処理を行い、分析手段１８は、画素の色（白など）の推定を行う。例えば、ＣＰＵ１６の分析手段１８は、本来「白かった」部分を画素の輝度情報や色情報等を用いて推定し、ステップＳ４で、検波部１０は、条件にあった画素に関して制御信号内のＲ，Ｇ，Ｂ成分を抽出し、ステップＳ５で、検波部１０は、色成分別の積分を行う。
【００８５】
ステップＳ６で、検波部１０による検波結果のＲ，Ｇ，Ｂの比率は、本来の「白」である比率から外部光源によって比率がずらされているので、ＣＰＵ１６の推定手段２１における測定特性データベース比較部２２は、画像データのフレーム毎に検波部１０の検波結果と測定特性データベース２５との比較を行い、推定手段２１はその変化量から外部光源を推定する。
【００８６】
ステップＳ６で、ＣＰＵ１６の推定手段２１は、外部光源の推定を行うことにより、ステップＳ７で、ＣＰＵ１６のホワイトバランス制御部１７は、画像データのフレーム毎に最適なホワイトバランス制御信号ＣＷＢのパラメータを決定することができるので、ステップＳ８で、ＣＰＵ１６のホワイトバランス制御部１７は、画像データのフレーム毎にこのホワイトバランス制御信号ＣＷＢのパラメータを用いてホワイトバランス処理部９にホワイトバランス補正処理９を施すことができる。
【００８７】
従来、未知光源、未知物体色を表す反射特性と２種の不確定な要素に対して、色の推定による反射特性の推定と光源の推定の両方を行っていたために誤推定が生じていた。
【００８８】
上述した本実施の形態によれば、未知光源、未知物体色を表す反射特性と２種の不確定な要素に対して、既知光源を用いることにより、物体色を表す反射特性の推定をより正確に行うことが可能となり、不確定要素を減少させ、より正確な光源の推定を行うことが可能となった。その結果、より正確なオートホワイトバランス機能を実現することができるようになった。
【００８９】
上述した本実施の形態によれば、撮像部１に、指向性のある複数種類の既知の分光特性（Ｒ，Ｇ，Ｂ、白等）の光を照射することができるレーザーなどの既知光源照射部４を設け、被写体の一部に重点的に光スポットを照射し、照射前と照射後の画像データを撮像し、ウインドウ４２で示される光スポットが照射された特定の画素部分を検波し、もしくは拡大ウインドウ４３で示される特定の拡大された範囲を検波して平均値をとって、照射前と照射後のその検波結果を比較したり、差分を分析したり、既知分光特性や、各種光源の被写体となる物体への吸収と反射の特性等と照合したりすることにより、物体の反射特性となる色を正確に分析、推定して判断することができる。
【００９０】
その結果、ワイトバランス処理部９に対するホワイトバランス制御信号ＣＷＢを用いたホワイトバランス補正の処理において、光源の正確な推定により、より正確な補正が可能となり、より正確な色再現を実現することができる。
【００９１】
また、従来の「白」を基準としなくても、物体の色が特定できるので、単色の被写体でも、その色がどの方向にずれているかを分析することにより、光源の推定が可能となり、より正確な色再現を実現することができる。
【００９２】
また、デジタルカメラの自動焦点調整機構や自動輝度調整機構の動作時に、上述した本実施の形態の撮像素子によるウインドウを作成し、検波結果を分析して、光源の推定、特定をした後に、ホワイトバランス処理部９に対するホワイトバランス制御信号ＣＷＢを用いたホワイトバランス補正の処理を行うようにしてもよい。また、既知光源照射部４から被写体へ光スポットを照射する前の前回のフレームデータと照射後の今回のフレームデータとを比較して検波結果を分析するようにしてもよい。
【００９３】
また、上述した撮像素子分光特性Ｓ（λ）および撮像素子分光特性Ｓ’（λ）の測定時にのみ既知光源照射部４から被写体へ光スポットを照射するようにしてもよい。
【００９４】
上述した本実施の形態に限らず、特許請求の範囲を逸脱しない範囲であれば、他の構成を採用することによりこれによる動作により上述した効果を奏することができるのはいうまでもない。
【００９５】
【発明の効果】
この発明の撮像装置は、ホワイトバランス制御部において外部光源の判断に基づいてホワイトバランス制御信号を作成し上記ホワイトバランス制御信号によるホワイトバランス処理部に対する制御により、撮像信号のホワイトバランスを調整しながら動画像及び静止画像を撮像する撮像装置において、指向性を有する既知分光特性の既知光源を用いて被写体の一部を照射する照射手段と、上記照射手段による被写体への照射前の外部光源のみと照射後の上記既知光源および上記外部光源とにより被写体の一部を撮像する撮像手段と、上記撮像手段により撮像された上記照射手段による被写体への照射前と照射後の被写体の一部の画像データの範囲を上記照射手段による被写体への照射前と照射後の差を取ることにより検波する検波手段と、上記検波手段により検波された検波結果を分析する分析手段と、上記分析手段により被写体の反射特性を判断して上記外部光源の推定をする推定手段とを備えたので、既知光源による照射前と照射後の差を取ることにより、既知光源が極端に強くなくて外部光源を無視できない場合や、既知光源よりも外部光源の光が強く、外部光源による外光を無視できない場合においても、既知光源の特性や測定された特性を分析し、外部光源の特性を推定して判断することができ、また、既知光源により被写体への部分照射をすることにより、部分的な画素面積の検波結果を用いて外部光源を分析、推定するための演算を減少させることができるという効果を奏する。
【００９６】
また、この発明の撮像装置は、上述において、上記照射手段における既知光源の既知分光特性および各色における被写体の反射特性と上記検波結果を比較して上記検波結果を分析し、上記推定手段は、予め測定された分光特性と上記検波結果を比較して上記外部光源を推定するので、既知光源の分光分布は既知であるため、物体の反射特性が分かり、色の特定が可能となると共に、色の変化量から外部光源を推定することができるという効果を奏する。
【００９７】
また、この発明の撮像装置は、上述において、上記既知光源は、複数のレーザー光を用いた場合には、その色がどの方向にずれているかを分析することにより、光源の推定が可能となり、より正確な色再現を実現することができるという効果を奏する。
【００９８】
また、この発明の撮像装置は、上述において、上記既知光源は、上記撮像手段の撮像感度に適合する分光特性を有するので、撮像手段は既知光源の分光特性を測定するための有効な感度の撮像データを出力することができるという効果を奏する。
【００９９】
また、この発明の撮像装置は、上述において、上記既知光源は、上記撮像手段の撮像素子のフィルタ周波数内であるので、撮像手段は既知光源の分光特性を測定するための有効なフィルタ周波数内の撮像データを出力することができるという効果を奏する。
【０１００】
また、この発明の撮像装置は、上述において、上記撮像手段は、上記照射手段により被写体に照射された１点のスポットに対応するウインドウ部分の画素範囲を撮像するので、既知光源により光スポットを絞って被写体への部分照射をすることにより、少ないウインドウ部分の画素面積の検波結果を用いて外部光源を分析、推定するための演算を効率よく行うことができるという効果を奏する。
【０１０１】
また、この発明のホワイトバランス補正方法は、撮像装置における動画像及び静止画像を撮像する際にホワイトバランス制御部において外部光源の判断に基づいてホワイトバランス制御信号が作成され上記ホワイトバランス制御信号によるホワイトバランス処理部に対する制御により、撮像信号のホワイトバランスを補正するホワイトバランス補正方法において、指向性を有する既知分光特性の既知光源を用いて被写体の一部を照射する既知光源照射ステップと、上記既知光源照射ステップによる被写体への照射前の外部光源のみと照射後の上記既知光源および上記外部光源とにより被写体の一部を撮像する撮像ステップと、上記撮像ステップにより撮像された上記既知光源照射ステップによる被写体への照射前と照射後の被写体の一部の画像データの範囲を検波する検波ステップと、上記検波ステップにより検波された検波結果を上記既知光源照射ステップによる被写体への照射前と照射後の差を取ることにより分析する分析ステップと、上記分析ステップにより被写体の反射特性を判断して上記外部光源の推定をする推定ステップとを備えたので、既知光源による照射前と照射後の差を取ることにより、既知光源が極端に強くなくて外部光源を無視できない場合や、既知光源よりも外部光源の光が強く、外部光源による外光を無視できない場合においても、既知光源の特性や測定された特性を分析し、外部光源の特性を推定して判断することができ、また、既知光源により被写体への部分照射をすることにより、部分的な画素面積の検波結果を用いて外部光源を分析、推定するための演算を減少させることができるという効果を奏する。
【０１０２】
また、この発明のホワイトバランス補正方法は、上述において、自動焦点調整機構または自動輝度調整機構の動作時に、上記各ステップの処理を行うので、撮像に先だって行われる自動焦点調整または自動輝度調整の動作を行うと同時に、ホワイトバランス補正の処理を行うことができるという効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態に適用されるデジタルカメラの構成を示すブロック図である。
【図２】本実施の形態のホワイトバランス補正方法を示すフローチャートである。
【図３】既知光源の被写体への照射を示す図である。
【図４】撮像部のウインドウを示す図である。
【図５】光源による物体反射特性の移動を示す図である。
【図６】従来のデジタルカメラの構成を示すブロック図である。
【図７】従来のホワイトバランス補正方法を示すフローチャートである。
【符号の説明】
１……撮像部、２……レンズ、３……撮像素子、４……既知光源照射部、５……ＬＳＩ、６……撮像信号処理部１、７……Ａ／Ｄ変換回路、８……撮像信号処理部２、９……ホワイトバランス処理部、１０……検波部、１１……撮像信号処理部３、１２……圧縮及び変換処理部、１３……記録処理部、１４……表示処理部、１５……メモリ、１６……ＣＰＵ、１７……ホワイトバランス制御部、１８……分析手段、１９……既知光源照射前後差分取得部、２０……既知光源データベース比較部、２１……推定手段、２２……測定特性データベース比較部、２３……メモリ、２４……既知光源データベース、２５……測定特性データベース、２６……記録媒体、２７……モニター、２８……デジタルカメラ、３１……被写体、３２……既知光源照射ポイント、４１……フレーム画像、４２……ウインドウ、４３……拡大ウインドウ、Ｓ（λ）……撮像素子分光特性、Ｓ’（λ）……撮像素子分光特性、Ｌ（λ）……外部光源分光分布、Ｌ’（λ）……既知光源分光分布、ρ（λ）……物体反射特性

Claims (8)

1. ホワイトバランス制御部において外部光源の判断に基づいてホワイトバランス制御信号が作成され上記ホワイトバランス制御信号によるホワイトバランス処理部に対する制御により、撮像信号のホワイトバランスを調整しながら動画像及び静止画像を撮像する撮像装置において、
   指向性を有する既知分光特性の既知光源を用いて被写体の一部を照射する既知光源照射手段と、
   上記既知光源照射手段による被写体への照射前の外部光源のみと照射後の上記既知光源および上記外部光源とにより被写体の一部を撮像する撮像手段と、
   上記撮像手段により撮像された上記既知光源照射手段による被写体への照射前と照射後の被写体の一部の画像データの範囲を検波する検波手段と、
   上記検波手段により検波された検波結果を上記既知光源照射手段による被写体への照射前と照射後の差を取ることにより分析する分析手段と、
   上記分析手段により被写体の反射特性を判断して上記外部光源の推定をする推定手段と
   を備えたことを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   上記分析手段は、上記既知光源照射手段における既知光源の既知分光特性および各色における被写体の反射特性と上記検波結果を比較して上記検波結果を分析し、上記推定手段は、予め測定された分光特性と上記検波結果を比較して上記外部光源を推定することを特徴とする撮像装置。
3. 請求項１記載の撮像装置において、
   上記既知光源は、複数のレーザー光を用いることを特徴とする撮像装置。
4. 請求項１記載の撮像装置において、
   上記既知光源は、上記撮像手段の撮像感度に適合する分光特性を有することを特徴とする撮像装置。
5. 請求項１記載の撮像装置において、
   上記既知光源は、上記撮像手段の撮像素子のフィルタ周波数内であることを特徴とする撮像装置。
6. 請求項１記載の撮像装置において、
   上記撮像手段は、上記照射手段により被写体に照射された１点のスポットに対応するウインドウ部分の画素範囲を撮像することを特徴とする撮像装置。
7. 撮像装置における動画像及び静止画像を撮像する際にホワイトバランス制御部において外部光源の判断に基づいてホワイトバランス制御信号が作成され上記ホワイトバランス制御信号によるホワイトバランス処理部に対する制御により、撮像信号のホワイトバランスを補正するホワイトバランス補正方法において、
   指向性を有する既知分光特性の既知光源を用いて被写体の一部を照射する既知光源照射ステップと、
   上記既知光源照射ステップによる被写体への照射前の外部光源のみと照射後の上記既知光源および上記外部光源とにより被写体の一部を撮像する撮像ステップと、
   上記撮像ステップにより撮像された上記既知光源照射ステップによる被写体への照射前と照射後の被写体の一部の画像データの範囲を検波する検波ステップと、
   上記検波ステップにより検波された検波結果を上記既知光源照射ステップによる被写体への照射前と照射後の差を取ることにより分析する分析ステップと、
   上記分析ステップにより被写体の反射特性を判断して上記外部光源の推定をする推定ステップと
   を備えたことを特徴とするホワイトバランス補正方法。
8. 請求項７記載のホワイトバランス補正方法において、
   自動焦点調整機構または自動輝度調整機構の動作時に、上記各ステップの処理を行うことを特徴とするホワイトバランス補正方法。

Images