JP2016076851A - 撮像装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】撮影された映像に対して安定した色被り補正を実施できること。
【解決手段】被写体を照明する光源の正反射光の色情報に基づき、静止画像及び動画像を含む映像の色被りを補正する、撮像装置であって、映像を取得する撮像部と、撮像部で取得した映像より、撮像範囲内における被写体について、被写体の位置を追跡する被写体追跡手段と、被写体追跡部で追跡している被写体領域について、輝度変化を記録し、輝度の変化量が閾値以上であれば、当該箇所を正反射領域として検出する正反射領域検出手段と、正反射領域の色情報をもとに、色被りを補正する補正値を算出する被写体補正値算出手段と、被写体補正値をもとに、映像の色被りを補正する色被り補正手段と、を有する。
【選択図】図２

Description

本発明は、撮像装置、画像処理方法、及びプログラムに関する。

静止画像を撮影するデジタルカメラや主として動画像を撮影するデジタルビデオカメラ等の撮像装置では、光源等の影響によって色被りが発生する場合がある。この影響を低減し、自然な色合いの映像を得るために、撮像した静止画像及び動画像を含む映像に対して、色被り補正を実施する。色被りを補正するための補正係数（以下、色被り補正値）は、撮像した映像の画像情報より算出することが一般的である。
特に動画像においては、映像全体の色情報の平均値は無彩色であるとみなして色被り補正値を算出する方式が一般的であり、既に知られている。

従来の色被り補正法では、被写体によっては適切な色被り補正が実施できない場合があった。前述の例では、有彩色の被写体が撮像範囲の大部分を占めるような画像の場合に、被写体や背景部の色情報を照明光の色情報として誤検知し、本来の被写体の色情報についても補正してしまう問題があった。

これに対して種々の提案がなされている（例えば、特許文献１参照。）。
特許文献１に記載の発明は、ミックス光源で撮影したカラーの映像から、均一光源でないことによる色味付きを除去し、画面全体にわたって色被りの無い画像を得ることを目的としている。特許文献１に記載の発明は、撮影したカラーの映像を小画面に分割した上で、各小画面について推定色温度を算出し、色被り補正値を算出する構成が開示されている。

特許文献１に記載の発明は、色被り補正値を算出するために着目した部分的な色情報には、被写体の物体色の色情報が重畳しているため、被写体によっては安定した色被り補正が実施できないという問題は解消できていない。

そこで、本発明の目的は、撮影された映像に対して安定した色被り補正を実施できることにある。

上記課題を解決するため、請求項１に記載の発明は、被写体を照明する光源の正反射光の色情報に基づき、静止画像及び動画像を含む映像の色被りを補正する、撮像装置であって、前記映像を取得する撮像部と、前記撮像部で取得した映像より、撮像範囲内における被写体について、被写体の位置を追跡する被写体追跡手段と、前記被写体追跡手段で追跡している被写体領域について、輝度変化を記録し、輝度の変化量が閾値以上であれば、当該箇所を正反射領域として検出する正反射領域検出手段と、前記正反射領域の色情報をもとに、色被りを補正する補正値を算出する被写体補正値算出手段と、前記被写体補正値をもとに、前記映像の色被りを補正する色被り補正手段と、を有することを特徴とする。

本発明によれば、撮影された映像に対して安定した色被り補正を実施できる。

本発明の実施形態１に係る全体構成図である。 実施形態１における処理のフローチャートについての説明図である。 撮像装置の被写体としての移動体Ｂのイメージについての説明図である。 撮像装置の移動領域検出部101における移動領域検出方法の概念についての説明図である。 実施形態２における処理のフローチャートについての説明図である。 実施形態３のハードウェア構成についての説明図である。 実施形態３での処理のフローについての説明図である。

＜概要＞
本発明の実施の形態を説明する。本発明は、撮像装置における色被り補正に際して、以下の特徴を有する。
要するに、撮像した動画像から、被写体の光沢を発する正反射領域を検出し、この領域の色情報をもとに色被り補正を実施することが特徴になっている。
本発明の特徴について、以下の図面を用いて詳細に解説する。

＜実施形態１＞
実施形態１は、固定されている撮像装置について、動画像を撮影した場合の色被り補正についての実施形態である。本実施形態において、被写体は撮像範囲内を移動しているものとする。
本実施形態では、特に監視カメラ用途を想定しており、正確な色被り補正を実施することで、被写体の色を精度良く得ることが出来る。
図１は、本発明の実施形態１に係る全体構成図である。
図１に示す撮像装置は、レンズ１、絞り２、CCD(Charge Coupled Device：電荷結合素子)３、Analogue/Digitalコンバータ(図ではA/Dと表記)４、演算装置５、内部メモリ６、記憶媒体７、出力端子８、外部記憶装置９、及びモニタ10を有する。演算装置５は例えばCPU(Central Processing Unit)が挙げられる。内部メモリ６は、制御プログラムを保存するデバイスであり、例えばROM(Read Only Memory)が挙げられる。記憶媒体７としては、映像の情報を保存するデバイスであり、例えばフラッシュメモリが挙げられる。外部記憶装置９は記憶媒体７で保存しきれない大容量の情報を保存するデバイスであり、例えばHDD(Hard Disk Drive)が挙げられる。モニタ10は撮影した映像を表示するデバイスであり、例えば、液晶表示素子が挙げられる。撮像部はレンズ１、絞り２、及びCCD３を有する。

撮像範囲内からの光は、レンズ１によって集光され、絞り２によって光量を規制された上でCCD３へと入射する。CCD３では、光電効果により、入射した光から映像の電気信号を発生させる。CCD３は、CCD３上にRGB(Red Green Blue)三色のカラーフィルターを有し、RGBの３チャンネルの信号を出力可能なものを使用する。CCD3より読み出された映像の電気信号は、A/Dコンバータ４によって、アナログ信号からデジタル信号へと変換される。
ここで、RGB各チャンネルの信号を８bit(0-255)の深度でデジタル信号へ変換する。演算装置５では、A/Dコンバータ４から受けたデジタル信号に対し、後述する色被り補正等の計算処理ならびに所望の形式の情報への変換が実施される。
生成された情報は、記憶媒体７に保存されるか、あるいは出力端子８より外部装置に出力され、接続されている外部記憶装置９において保存されたり、モニタ10で表示されたりする。

図２は、実施形態１における処理のフローチャートについての説明図である。
本実施形態では、撮像範囲内を比較的低速度(例えば、歩行速度の４km/h)で移動する被写体を対象とする。具体的には、撮影された被写体の動画像について、被写体全体が、10フレーム程度連続して撮像範囲内に存在していることが望ましい。撮像範囲内を被写体が高速(例えば、自動車速度の50km/h)で移動する場合では、被写体が連続して撮影されているフレームが少なくなり、光沢を発する正反射領域が存在するフレームが取得できる確率が低下する。そのため、動画像のフレームレートは高い方が望ましく、例えば30fps (frames per second)が望ましい。
図２に記載の処理フローは、図１中においては、演算装置５ならびに内部メモリ６において実施される。

図２は、色被り補正についての一例を示したフローである。
図２は、動画の連続したフレームについて、その中の１フレームに対する処理を示している。実際には、図２のフローを各フレームに対して連続して実施し、動画像全体の色被りを補正する。
移動領域検出部101及びヒストグラムパターンマッチング104は被写体追跡手段に相当し、正反射領域検出部105は反射領域検出手段に相当し、被写体補正値算出手段は色被り補正値算出手段106に相当する。
画像情報取得部100は被写体を撮影する前に、予め撮像部より、映像を補正用データとして取得する、補正用データ取得手段に相当する。
色被り補正実施部107は補正用データ取得手段としての画像情報取得部100で取得された補正用データと、記撮像部に、同一の被写体が存在した場合に、撮像部で撮像された静止画像に対して色被り補正を実施する、色被り補正手段に相当する。
色被り補正実施部107は、被写体補正値算出手段としての色被り補正値算出部106によって算出された補正値と、背景部補正値算出手段としての色被り補正値算出部106によって算出された補正値とが一定値以上に異なる場合に、被写体追跡手段としての移動領域検出部101によって追跡されている領域のみに対して、被写体補正値を用いて色被り補正を実施してもよい。

まず、画像情報取得部100において、撮影された動画像の連続するフレームの中より、１フレームの映像の情報を静止画像として取得する。取得された映像の情報を、移動領域検出部101へ引き渡す。
移動領域検出部101では、前後のフレームの画像情報をもとに、差分法を用いて移動領域を検出する。差分法を用いた移動物体の検出は公知の技術であり、その実施方法は図３において後述する。これにより検出された移動領域について、移動領域の画像情報のみを切り出し、ヒストグラム算出部102へと引き渡す。

ヒストグラム算出部102では、受け渡された移動領域の画像情報の輝度値のヒストグラムを算出する。この時、ヒストグラムは、R，G，Bそれぞれのチャンネルの輝度値について算出する。ヒストグラムのビン数（横軸の分割数）は64とし、ビンの幅は４とする。例えば、輝度値が０から３までの画素は、同じものとしてカウントされる。また、移動領域の大きさの影響を無くすために、ヒストグラムの縦軸（度数）は、移動領域の面積によって規格化する。算出された各ヒストグラム情報は、ヒストグラムパターンマッチング104に受け渡されるとともに、ヒストグラム記憶部103において一時的に記憶される。

ヒストグラムのパターンマッチングに際して、ヒストグラム記憶部103より、現在処理しているフレームの１つ前のフレームのヒストグラム情報を読み出す。
ヒストグラムパターンマッチング104では、現在処理中のフレームのヒストグラムと、ヒストグラム読み出し部103より取得した前フレームのヒストグラムに対して、各チャンネルについてパターンマッチングを実施する。パターンマッチングでは、まず、２つのフレームのヒストグラムについて、各ビンの度数の差分の絶対値を算出する。この差分の絶対値に対して閾値を設定し、閾値以上となるビンの有無を判定し、判定された箇所が、移動領域中のどの画素に該当するか、位置情報を取得する。正反射領域を判定するための閾値の決定は、基準とするサンプルについて予め計測した反射率の角度依存の実測データをもとに、事前に決定する。

本実施形態では、被写体が撮像範囲内を移動するものとしているので、撮像装置と被写体とを結ぶ線の角度が時間的に変化する。つまり、輝度の時間変化を観測することで、輝度の角度変化が見積もれるのである。

ここで、事前に計測した基準サンプルの反射率角度依存性より、正反射条件での反射率と、拡散反射条件における反射率とを決定し、それらの比より閾値を決定する。これを各チャンネルに対して実施し、同一の画素が全てのチャンネルで閾値を越え、その画素の個数が25画素以上であった場合に、“不一致”と判定し、その他の場合は“一致”と判定する。

ここで、全チャンネルで閾値を越える画素が25個未満の場合、後述する補正用データとしての色被り補正値の算出においてCCD３の熱雑音等の影響により適正な補正値が得られない。このため、本実施形態では“一致”と判定し、色被り補正値の算出には使用しない。“不一致”と判定された場合、ヒストグラムパターンマッチング104では、該当箇所の画像上の位置情報を、正反射領域検出部105へと引き渡す。“一致”と判定された場合は、後述する正反射領域検出部105ならびに色被り補正値算出部106の処理を実施せず、色被り補正実施部107の処理を実施する。

正反射領域検出部105では、ヒストグラムパターンマッチング104より与えられた位置情報をもとに、移動領域より該当箇所を抽出し、各画素の輝度値情報を色被り補正値算出部106へと引き渡す。
色被り補正値算出部106では、正反射領域検出部105より受け渡された輝度値情報を、最大で10フレーム分記憶する。新しい輝度値情報が与えられた場合、最も古いフレームの輝度値情報が削除される。これらの最大10フレームの輝度値情報を用いて、各チャンネルの輝度値の和ΣR，ΣG，ΣBを算出する。さらに、ΣR＝ΣG＝ΣBとなるよう、Gチャンネルを基準としてRチャンネルとBチャンネルのゲインを調整する色被り補正値Rゲイン（＝ΣG／ΣR）及びBゲイン（＝ΣG／ΣB）を算出する。
色被り補正実施部107では、色被り補正値算出部位106で算出された色被り補正値である、ＲゲインならびにＢゲインを、Ｒ、Ｂ各チャンネルの画像全域の輝度値に乗算することで、色被り補正を実施する。

図３は、撮像装置の被写体としての移動体Ｂのイメージについての説明図である。
撮像範囲Ａ内を、移動体Ｂが右方向に移動しているものとする。これを動画像のモードで撮影した場合の、図２に示した移動領域検出部101における検出方法を、図４において説明する。
図４は、撮像装置の移動領域検出部101における移動領域検出方法の概念についての説明図である。
フレーム：０における移動領域の位置を検出するための方法を説明する。本実施形態では、検出のために差分法を使用する。
まず、図４の上段において、フレーム：０の前後のフレームである、フレーム：−１及びフレーム：＋１の画像情報を取得する。
次に、図４の中段において、フレーム：−１とフレーム：０、ならびにフレーム：０とフレーム：＋１の２種類の差分画像を作成する。各画素の輝度値の差分に対して閾値を設定し、閾値以上の領域を抽出する。
最後に、図４の下段において、２つの差分画像の情報について、両者の画像でともに閾値以上と判定された領域を抽出する。これにより得られた領域を、フレーム：０における移動領域として取得する。

＜実施形態２＞
実施形態２は、雲台等に固定されていない撮像装置について、動画像モードで被写体を撮影した場合の色被り補正の実施形態である。
本実施形態では、撮像装置を雲台等に固定していないため、被写体と背景部とが共に撮像範囲内で移動する。この時、注目するフレームについて、被写体と背景部とを含む映像全域のオプティカルフローを算出し、同一箇所であると判定された前フレームとの輝度値変化が閾値以上であれば、光沢を発する正反射領域であると判定し、色被り補正値を算出する。
尚、ハードウェア構成は、図１と同一のため省略する。

図５は、実施形態２における処理のフローチャートについての説明図である。
このフローの処理を、動画像中の全てのフレームに対して実施し、動画像の色被り補正を行なう。
画像取得部200において、連続するフレームから、注目するフレーム、及び注目するフレームの１つ前のフレームについて、画像情報を静止画像として取得する。
オプティカルフロー算出部201において、前出した２枚の静止画像の間でのオプティカルフローを算出する。オプティカルフローの算出には、公知である勾配法を利用する。勾配法では、２枚の静止画像での対象物の移動が微小であることを前提とする。オプティカルフロー(ｕ，ｖ)は、画素の微小時間としてのフレーム間隔である 1/30 秒での画素の移動量を表しており、式（１）で定義される。

を成立させる、ｕ、ｖを算出する。Ｉ_x、Ｉ_yは２枚の画像の間での注目画素の勾配であり、Ｉ_tは画素の輝度値の変化を表している。
正反射領域検出部202では、オプティカルフロー算出部201において画素の同一箇所と判定された輝度値変化を利用して、当該画素が正反射領域かを判定する。まず、動一箇所と判定された各画素について、RGB各チャンネルの輝度値を算出し、チャンネルごとの輝度値の差分の絶対値を算出する。これに対して閾値を設定し、全てのチャンネルでの輝度値の差分の絶対値が閾値以上であれば、当該画素は正反射領域であると判定する。これを映像全体に対して実施することで、静止画像中の正反射領域を検出することができる。

色被り補正値算出部203では、各フレームについて、各チャンネルの輝度値の和ΣR,ΣG,ΣB、ならびに色被り補正値Ｒゲイン（＝ΣG／ΣR），Ｂゲイン（＝ΣG／ΣB）を算出する。色被り補正値算出部203では、最大で10フレーム分のＲゲイン，Ｂゲインの値を保持しており、これらの平均値を色被り補正値として色被り補正実施部204に引き渡す。
色被り補正実施部204での処理は、実施形態１に記載の色被り補正値算出部106ならびに色被り補正実施部107と同様のため、省略する。

＜実施形態３＞
実施形態３は、静止画像モードで被写体を撮影するスチルカメラ等の撮像装置における実施形態である。
図６は、実施形態３のハードウェア構成についての説明図である。
本実施形態において、図１の実施形態１のハードウェア構成と一致している部分については、説明を省略する。
モニタ18は、撮像装置に内蔵されており、シャッター釦19を押下する時点まで、撮像範囲内の映像を動画像として表示する、いわゆるプレビュー機能に使用する。このとき、CCD13からは、30fpsで信号が読み出され、A/Dコンバータ14ならびに演算装置15で処理され、モニタ18に表示される。
シャッター釦19を押下すると、プレビューの終了と共に、電子シャッターが動作し、所望の露光時間にて取得した電気信号をA/Dコンバータ14でデジタル信号に変換し、演算装置15で色被り補正等を行い、記憶媒体17とモニタ18に出力される。

図７は、実施形態３での処理のフローについての説明図である。
基本的には、実施形態２における処理フローと同様である。シャッター釦19が押下されるまで、現在取得されているプレビュー用の動画像に対して、300‐303の処理を繰り返し実施し続け、色被り補正値算出部303にある色被り補正値を最新の値に更新し続ける。
シャッター釦19が押下されたときに、色被り補正値算出部303に保持されている最新の色被り補正値を読み出す。シャッター釦19の押下時の画像情報が、画像情報取得部300より色被り補正実施部304に引き渡され、色被り補正を実施する。

＜作用効果＞
以上より、撮像した動画から、被写体の光沢を発する正反射領域を検出し、この領域の色情報をもとに色被り補正を実施する。従来の色被り補正法では、物体からの反射光について、正反射と拡散反射とを区別することなく、色被り補正値を算出する。このため、色被り補正において被写体の物体色の影響が大きい。物体からの正反射光は、物体からの拡散反射光と比較し、被写体自身が持つ物体色の影響が少ない。よって、正反射領域の色情報を用いることで、物体を照明している光源の色情報を精度よく見積もることが可能となる。この結果、動画像を撮影可能な撮像装置について、撮像画像を用いて光源色を正確に見積もることで、撮像された動画像や静止画像に対して安定した色被り補正を実施することが出来る。

また、以上より、静止画像に対して、精度の高い色被り補正を実施できる。
また、正反射領域の判定に用いる閾値を一意に決定するという効果が得られる。
また、被写体と背景部とで、照明している光源が異なる場合に、被写体に対して正確な色被り補正を実施できるという効果が得られる。
また、撮像装置を雲台等に固定した場合において被写体の検出精度を高めるという効果が得られる。
また、撮像装置が雲台等に固定されていない場合においても、被写体を効果的に追跡できるという効果が得られる。

＜プログラム＞
以上で説明した本発明に係る撮像装置は、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えば撮像装置に内蔵されたCPＵが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明の機能を実現する場合の説明を以下で行う。

例えば、
被写体を照明する光源の正反射光の色情報に基づき、静止画像及び動画像を含む映像の色被りを補正する、撮像装置のコンピュータが読み取り可能なプログラムであって、
コンピュータに、
撮像部が映像を取得する手順、
被写体追跡手段が撮像部で取得した映像より、撮像範囲内における被写体について、被写体の位置を追跡する手順、
正反射領域検出手段が被写体追跡手段で追跡している被写体領域について、輝度変化を記録し、輝度の変化量が閾値以上であれば、当該箇所を正反射領域として検出する手順、
被写体補正値算出手段が、正反射領域の色情報をもとに、色被りを補正する補正値を算出する手順、
色被り補正手段が、被写体補正値をもとに、映像の色被りを補正する手順、
を実行させるためのプログラムが挙げられる。

このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。

＜記憶媒体＞
ここで、記憶媒体としては、例えばCD-ROM、フレキシブルディスク(FD)、CD-ROM等のコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、RAM、ROM、FeRAM等の半導体メモリやHDDが挙げられる。

CD-ROMは、Compact Disc Read Only Memoryの略である。フレキシブルディスクは、Flexible Disk：FDを意味する。CD-Rは、CD Recordableの略である。FeRAMは、Ferroelectric RAMの略で、強誘電体メモリを意味する。

尚、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。

１、１１ レンズ
２、１２ 絞り
３、１３ ＣＣＤ
４、１４ Ａ／Ｄコンバータ
５、１５ 演算装置
６、１６ 内部メモリ
７、１７ 記憶媒体
８ 出力端子
９ 外部記憶装置
１０、１８ モニタ
１９ シャッター釦

特開２００２−２７１６３８号公報

Claims (8)

1. 被写体を照明する光源の正反射光の色情報に基づき、静止画像及び動画像を含む映像の色被りを補正する、撮像装置であって、
   前記映像を取得する撮像部と、
   前記撮像部で取得した映像より、撮像範囲内における被写体について、被写体の位置を追跡する被写体追跡手段と、
   前記被写体追跡部で追跡している被写体領域について、輝度変化を記録し、輝度の変化量が閾値以上であれば、当該箇所を正反射領域として検出する正反射領域検出手段と、
   前記正反射領域の色情報をもとに、色被りを補正する補正値を算出する被写体補正値算出手段と、
   前記被写体補正値をもとに、前記映像の色被りを補正する色被り補正手段と、
   を有することを特徴とする、撮像装置。
2. 前記被写体を撮影する前に、予め撮像部より、映像を補正用データとして取得する補正用データ取得手段と、
   前記補正用データ取得部で取得された補正用データと、前記撮像範囲内に前記撮像部で撮像された静止画像に対して色被り補正を実施する色被り補正手段と、
   を有することを特徴とする、請求項１に記載の撮像装置。
3. 正反射領域を検出するため、基準となる物体の反射率の角度依存性を予め計測し、正反射条件での反射率と拡散反射条件での反射率より閾値を決定する決定手段を有することを特徴とする、請求項１または２に記載の撮像装置。
4. 前記被写体追跡手段において、被写体と判定されていない背景部の色被り補正値を算出する背景部補正値算出手段と、
   前記被写体補正値算出手段によって算出された補正値と、前記背景部補正値算出手段によって算出された補正値とが一定値以上に異なる場合に、前記被写体追跡手段によって追跡されている領域のみに対して、被写体補正値を用いて色被り補正を実施する色被り補正実施手段と、
   を有することを特徴とする、請求項１から３のいずれか一項に記載の撮像装置。
5. 前記被写体追跡手段は、前記映像に対して、差分法を使用することで被写体を追跡することを特徴とする、請求項１から４のいずれか一項に記載の撮像装置。
6. 前記被写体追跡手段は、前記映像に対して、オプティカルフローを用いて被写体を追跡することを特徴とする、請求項１から４のいずれか一項に記載の撮像装置。
7. 被写体を照明する光源の正反射光の色情報に基づき、静止画像及び動画像を含む映像の色被りを補正する、画像処理方法であって、
   映像を取得し、
   取得した映像より、撮像範囲内における被写体について、被写体の位置を追跡し、
   追跡している被写体領域について、輝度変化を記録し、輝度の変化量が閾値以上であれば、当該箇所を正反射領域として検出し、
   前記正反射領域の色情報をもとに、色被りを補正する補正値を算出し、
   前記被写体補正値をもとに、前記映像の色被りを補正する、
   ことを特徴とする、画像処理方法。
8. 被写体を照明する光源の正反射光の色情報に基づき、静止画像及び動画像を含む映像の色被りを補正する、撮像装置のコンピュータが読み取り可能なプログラムであって、
   前記コンピュータに、
   撮像部が前記映像を取得する手順、
   被写体追跡手段が前記撮像部で取得した映像より、撮像範囲内における被写体について、被写体の位置を追跡する手順、
   正反射領域検出手段が前記被写体追跡部で追跡している被写体領域について、輝度変化を記録し、輝度の変化量が閾値以上であれば、当該箇所を正反射領域として検出する手順、
   被写体補正値算出手段が、前記正反射領域の色情報をもとに、色被りを補正する補正値を算出する手順、
   色被り補正手段が、前記被写体補正値をもとに、前記映像の色被りを補正する手順、
   を実行させるためのプログラム。

Images