JP2016076851A - 撮像装置、画像処理方法、及びプログラム - Google Patents
撮像装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2016076851A JP2016076851A JP2014206667A JP2014206667A JP2016076851A JP 2016076851 A JP2016076851 A JP 2016076851A JP 2014206667 A JP2014206667 A JP 2014206667A JP 2014206667 A JP2014206667 A JP 2014206667A JP 2016076851 A JP2016076851 A JP 2016076851A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- color
- video
- correction value
- regular reflection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 65
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000012937 correction Methods 0.000 claims abstract description 107
- 238000000034 method Methods 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 12
- 101100115215 Caenorhabditis elegans cul-2 gene Proteins 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000013074 reference sample Substances 0.000 description 2
- 238000003705 background correction Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【課題】撮影された映像に対して安定した色被り補正を実施できること。
【解決手段】被写体を照明する光源の正反射光の色情報に基づき、静止画像及び動画像を含む映像の色被りを補正する、撮像装置であって、映像を取得する撮像部と、撮像部で取得した映像より、撮像範囲内における被写体について、被写体の位置を追跡する被写体追跡手段と、被写体追跡部で追跡している被写体領域について、輝度変化を記録し、輝度の変化量が閾値以上であれば、当該箇所を正反射領域として検出する正反射領域検出手段と、正反射領域の色情報をもとに、色被りを補正する補正値を算出する被写体補正値算出手段と、被写体補正値をもとに、映像の色被りを補正する色被り補正手段と、を有する。
【選択図】図2
【解決手段】被写体を照明する光源の正反射光の色情報に基づき、静止画像及び動画像を含む映像の色被りを補正する、撮像装置であって、映像を取得する撮像部と、撮像部で取得した映像より、撮像範囲内における被写体について、被写体の位置を追跡する被写体追跡手段と、被写体追跡部で追跡している被写体領域について、輝度変化を記録し、輝度の変化量が閾値以上であれば、当該箇所を正反射領域として検出する正反射領域検出手段と、正反射領域の色情報をもとに、色被りを補正する補正値を算出する被写体補正値算出手段と、被写体補正値をもとに、映像の色被りを補正する色被り補正手段と、を有する。
【選択図】図2
Description
本発明は、撮像装置、画像処理方法、及びプログラムに関する。
静止画像を撮影するデジタルカメラや主として動画像を撮影するデジタルビデオカメラ等の撮像装置では、光源等の影響によって色被りが発生する場合がある。この影響を低減し、自然な色合いの映像を得るために、撮像した静止画像及び動画像を含む映像に対して、色被り補正を実施する。色被りを補正するための補正係数(以下、色被り補正値)は、撮像した映像の画像情報より算出することが一般的である。
特に動画像においては、映像全体の色情報の平均値は無彩色であるとみなして色被り補正値を算出する方式が一般的であり、既に知られている。
特に動画像においては、映像全体の色情報の平均値は無彩色であるとみなして色被り補正値を算出する方式が一般的であり、既に知られている。
従来の色被り補正法では、被写体によっては適切な色被り補正が実施できない場合があった。前述の例では、有彩色の被写体が撮像範囲の大部分を占めるような画像の場合に、被写体や背景部の色情報を照明光の色情報として誤検知し、本来の被写体の色情報についても補正してしまう問題があった。
これに対して種々の提案がなされている(例えば、特許文献1参照。)。
特許文献1に記載の発明は、ミックス光源で撮影したカラーの映像から、均一光源でないことによる色味付きを除去し、画面全体にわたって色被りの無い画像を得ることを目的としている。特許文献1に記載の発明は、撮影したカラーの映像を小画面に分割した上で、各小画面について推定色温度を算出し、色被り補正値を算出する構成が開示されている。
特許文献1に記載の発明は、ミックス光源で撮影したカラーの映像から、均一光源でないことによる色味付きを除去し、画面全体にわたって色被りの無い画像を得ることを目的としている。特許文献1に記載の発明は、撮影したカラーの映像を小画面に分割した上で、各小画面について推定色温度を算出し、色被り補正値を算出する構成が開示されている。
特許文献1に記載の発明は、色被り補正値を算出するために着目した部分的な色情報には、被写体の物体色の色情報が重畳しているため、被写体によっては安定した色被り補正が実施できないという問題は解消できていない。
そこで、本発明の目的は、撮影された映像に対して安定した色被り補正を実施できることにある。
上記課題を解決するため、請求項1に記載の発明は、被写体を照明する光源の正反射光の色情報に基づき、静止画像及び動画像を含む映像の色被りを補正する、撮像装置であって、前記映像を取得する撮像部と、前記撮像部で取得した映像より、撮像範囲内における被写体について、被写体の位置を追跡する被写体追跡手段と、前記被写体追跡手段で追跡している被写体領域について、輝度変化を記録し、輝度の変化量が閾値以上であれば、当該箇所を正反射領域として検出する正反射領域検出手段と、前記正反射領域の色情報をもとに、色被りを補正する補正値を算出する被写体補正値算出手段と、前記被写体補正値をもとに、前記映像の色被りを補正する色被り補正手段と、を有することを特徴とする。
本発明によれば、撮影された映像に対して安定した色被り補正を実施できる。
<概要>
本発明の実施の形態を説明する。本発明は、撮像装置における色被り補正に際して、以下の特徴を有する。
要するに、撮像した動画像から、被写体の光沢を発する正反射領域を検出し、この領域の色情報をもとに色被り補正を実施することが特徴になっている。
本発明の特徴について、以下の図面を用いて詳細に解説する。
本発明の実施の形態を説明する。本発明は、撮像装置における色被り補正に際して、以下の特徴を有する。
要するに、撮像した動画像から、被写体の光沢を発する正反射領域を検出し、この領域の色情報をもとに色被り補正を実施することが特徴になっている。
本発明の特徴について、以下の図面を用いて詳細に解説する。
<実施形態1>
実施形態1は、固定されている撮像装置について、動画像を撮影した場合の色被り補正についての実施形態である。本実施形態において、被写体は撮像範囲内を移動しているものとする。
本実施形態では、特に監視カメラ用途を想定しており、正確な色被り補正を実施することで、被写体の色を精度良く得ることが出来る。
図1は、本発明の実施形態1に係る全体構成図である。
図1に示す撮像装置は、レンズ1、絞り2、CCD(Charge Coupled Device:電荷結合素子)3、Analogue/Digitalコンバータ(図ではA/Dと表記)4、演算装置5、内部メモリ6、記憶媒体7、出力端子8、外部記憶装置9、及びモニタ10を有する。演算装置5は例えばCPU(Central Processing Unit)が挙げられる。内部メモリ6は、制御プログラムを保存するデバイスであり、例えばROM(Read Only Memory)が挙げられる。記憶媒体7としては、映像の情報を保存するデバイスであり、例えばフラッシュメモリが挙げられる。外部記憶装置9は記憶媒体7で保存しきれない大容量の情報を保存するデバイスであり、例えばHDD(Hard Disk Drive)が挙げられる。モニタ10は撮影した映像を表示するデバイスであり、例えば、液晶表示素子が挙げられる。撮像部はレンズ1、絞り2、及びCCD3を有する。
実施形態1は、固定されている撮像装置について、動画像を撮影した場合の色被り補正についての実施形態である。本実施形態において、被写体は撮像範囲内を移動しているものとする。
本実施形態では、特に監視カメラ用途を想定しており、正確な色被り補正を実施することで、被写体の色を精度良く得ることが出来る。
図1は、本発明の実施形態1に係る全体構成図である。
図1に示す撮像装置は、レンズ1、絞り2、CCD(Charge Coupled Device:電荷結合素子)3、Analogue/Digitalコンバータ(図ではA/Dと表記)4、演算装置5、内部メモリ6、記憶媒体7、出力端子8、外部記憶装置9、及びモニタ10を有する。演算装置5は例えばCPU(Central Processing Unit)が挙げられる。内部メモリ6は、制御プログラムを保存するデバイスであり、例えばROM(Read Only Memory)が挙げられる。記憶媒体7としては、映像の情報を保存するデバイスであり、例えばフラッシュメモリが挙げられる。外部記憶装置9は記憶媒体7で保存しきれない大容量の情報を保存するデバイスであり、例えばHDD(Hard Disk Drive)が挙げられる。モニタ10は撮影した映像を表示するデバイスであり、例えば、液晶表示素子が挙げられる。撮像部はレンズ1、絞り2、及びCCD3を有する。
撮像範囲内からの光は、レンズ1によって集光され、絞り2によって光量を規制された上でCCD3へと入射する。CCD3では、光電効果により、入射した光から映像の電気信号を発生させる。CCD3は、CCD3上にRGB(Red Green Blue)三色のカラーフィルターを有し、RGBの3チャンネルの信号を出力可能なものを使用する。CCD3より読み出された映像の電気信号は、A/Dコンバータ4によって、アナログ信号からデジタル信号へと変換される。
ここで、RGB各チャンネルの信号を8bit(0-255)の深度でデジタル信号へ変換する。演算装置5では、A/Dコンバータ4から受けたデジタル信号に対し、後述する色被り補正等の計算処理ならびに所望の形式の情報への変換が実施される。
生成された情報は、記憶媒体7に保存されるか、あるいは出力端子8より外部装置に出力され、接続されている外部記憶装置9において保存されたり、モニタ10で表示されたりする。
ここで、RGB各チャンネルの信号を8bit(0-255)の深度でデジタル信号へ変換する。演算装置5では、A/Dコンバータ4から受けたデジタル信号に対し、後述する色被り補正等の計算処理ならびに所望の形式の情報への変換が実施される。
生成された情報は、記憶媒体7に保存されるか、あるいは出力端子8より外部装置に出力され、接続されている外部記憶装置9において保存されたり、モニタ10で表示されたりする。
図2は、実施形態1における処理のフローチャートについての説明図である。
本実施形態では、撮像範囲内を比較的低速度(例えば、歩行速度の4km/h)で移動する被写体を対象とする。具体的には、撮影された被写体の動画像について、被写体全体が、10フレーム程度連続して撮像範囲内に存在していることが望ましい。撮像範囲内を被写体が高速(例えば、自動車速度の50km/h)で移動する場合では、被写体が連続して撮影されているフレームが少なくなり、光沢を発する正反射領域が存在するフレームが取得できる確率が低下する。そのため、動画像のフレームレートは高い方が望ましく、例えば30fps (frames per second)が望ましい。
図2に記載の処理フローは、図1中においては、演算装置5ならびに内部メモリ6において実施される。
本実施形態では、撮像範囲内を比較的低速度(例えば、歩行速度の4km/h)で移動する被写体を対象とする。具体的には、撮影された被写体の動画像について、被写体全体が、10フレーム程度連続して撮像範囲内に存在していることが望ましい。撮像範囲内を被写体が高速(例えば、自動車速度の50km/h)で移動する場合では、被写体が連続して撮影されているフレームが少なくなり、光沢を発する正反射領域が存在するフレームが取得できる確率が低下する。そのため、動画像のフレームレートは高い方が望ましく、例えば30fps (frames per second)が望ましい。
図2に記載の処理フローは、図1中においては、演算装置5ならびに内部メモリ6において実施される。
図2は、色被り補正についての一例を示したフローである。
図2は、動画の連続したフレームについて、その中の1フレームに対する処理を示している。実際には、図2のフローを各フレームに対して連続して実施し、動画像全体の色被りを補正する。
移動領域検出部101及びヒストグラムパターンマッチング104は被写体追跡手段に相当し、正反射領域検出部105は反射領域検出手段に相当し、被写体補正値算出手段は色被り補正値算出手段106に相当する。
画像情報取得部100は被写体を撮影する前に、予め撮像部より、映像を補正用データとして取得する、補正用データ取得手段に相当する。
色被り補正実施部107は補正用データ取得手段としての画像情報取得部100で取得された補正用データと、記撮像部に、同一の被写体が存在した場合に、撮像部で撮像された静止画像に対して色被り補正を実施する、色被り補正手段に相当する。
色被り補正実施部107は、被写体補正値算出手段としての色被り補正値算出部106によって算出された補正値と、背景部補正値算出手段としての色被り補正値算出部106によって算出された補正値とが一定値以上に異なる場合に、被写体追跡手段としての移動領域検出部101によって追跡されている領域のみに対して、被写体補正値を用いて色被り補正を実施してもよい。
図2は、動画の連続したフレームについて、その中の1フレームに対する処理を示している。実際には、図2のフローを各フレームに対して連続して実施し、動画像全体の色被りを補正する。
移動領域検出部101及びヒストグラムパターンマッチング104は被写体追跡手段に相当し、正反射領域検出部105は反射領域検出手段に相当し、被写体補正値算出手段は色被り補正値算出手段106に相当する。
画像情報取得部100は被写体を撮影する前に、予め撮像部より、映像を補正用データとして取得する、補正用データ取得手段に相当する。
色被り補正実施部107は補正用データ取得手段としての画像情報取得部100で取得された補正用データと、記撮像部に、同一の被写体が存在した場合に、撮像部で撮像された静止画像に対して色被り補正を実施する、色被り補正手段に相当する。
色被り補正実施部107は、被写体補正値算出手段としての色被り補正値算出部106によって算出された補正値と、背景部補正値算出手段としての色被り補正値算出部106によって算出された補正値とが一定値以上に異なる場合に、被写体追跡手段としての移動領域検出部101によって追跡されている領域のみに対して、被写体補正値を用いて色被り補正を実施してもよい。
まず、画像情報取得部100において、撮影された動画像の連続するフレームの中より、1フレームの映像の情報を静止画像として取得する。取得された映像の情報を、移動領域検出部101へ引き渡す。
移動領域検出部101では、前後のフレームの画像情報をもとに、差分法を用いて移動領域を検出する。差分法を用いた移動物体の検出は公知の技術であり、その実施方法は図3において後述する。これにより検出された移動領域について、移動領域の画像情報のみを切り出し、ヒストグラム算出部102へと引き渡す。
移動領域検出部101では、前後のフレームの画像情報をもとに、差分法を用いて移動領域を検出する。差分法を用いた移動物体の検出は公知の技術であり、その実施方法は図3において後述する。これにより検出された移動領域について、移動領域の画像情報のみを切り出し、ヒストグラム算出部102へと引き渡す。
ヒストグラム算出部102では、受け渡された移動領域の画像情報の輝度値のヒストグラムを算出する。この時、ヒストグラムは、R,G,Bそれぞれのチャンネルの輝度値について算出する。ヒストグラムのビン数(横軸の分割数)は64とし、ビンの幅は4とする。例えば、輝度値が0から3までの画素は、同じものとしてカウントされる。また、移動領域の大きさの影響を無くすために、ヒストグラムの縦軸(度数)は、移動領域の面積によって規格化する。算出された各ヒストグラム情報は、ヒストグラムパターンマッチング104に受け渡されるとともに、ヒストグラム記憶部103において一時的に記憶される。
ヒストグラムのパターンマッチングに際して、ヒストグラム記憶部103より、現在処理しているフレームの1つ前のフレームのヒストグラム情報を読み出す。
ヒストグラムパターンマッチング104では、現在処理中のフレームのヒストグラムと、ヒストグラム読み出し部103より取得した前フレームのヒストグラムに対して、各チャンネルについてパターンマッチングを実施する。パターンマッチングでは、まず、2つのフレームのヒストグラムについて、各ビンの度数の差分の絶対値を算出する。この差分の絶対値に対して閾値を設定し、閾値以上となるビンの有無を判定し、判定された箇所が、移動領域中のどの画素に該当するか、位置情報を取得する。正反射領域を判定するための閾値の決定は、基準とするサンプルについて予め計測した反射率の角度依存の実測データをもとに、事前に決定する。
ヒストグラムパターンマッチング104では、現在処理中のフレームのヒストグラムと、ヒストグラム読み出し部103より取得した前フレームのヒストグラムに対して、各チャンネルについてパターンマッチングを実施する。パターンマッチングでは、まず、2つのフレームのヒストグラムについて、各ビンの度数の差分の絶対値を算出する。この差分の絶対値に対して閾値を設定し、閾値以上となるビンの有無を判定し、判定された箇所が、移動領域中のどの画素に該当するか、位置情報を取得する。正反射領域を判定するための閾値の決定は、基準とするサンプルについて予め計測した反射率の角度依存の実測データをもとに、事前に決定する。
本実施形態では、被写体が撮像範囲内を移動するものとしているので、撮像装置と被写体とを結ぶ線の角度が時間的に変化する。つまり、輝度の時間変化を観測することで、輝度の角度変化が見積もれるのである。
ここで、事前に計測した基準サンプルの反射率角度依存性より、正反射条件での反射率と、拡散反射条件における反射率とを決定し、それらの比より閾値を決定する。これを各チャンネルに対して実施し、同一の画素が全てのチャンネルで閾値を越え、その画素の個数が25画素以上であった場合に、“不一致”と判定し、その他の場合は“一致”と判定する。
ここで、全チャンネルで閾値を越える画素が25個未満の場合、後述する補正用データとしての色被り補正値の算出においてCCD3の熱雑音等の影響により適正な補正値が得られない。このため、本実施形態では“一致”と判定し、色被り補正値の算出には使用しない。“不一致”と判定された場合、ヒストグラムパターンマッチング104では、該当箇所の画像上の位置情報を、正反射領域検出部105へと引き渡す。“一致”と判定された場合は、後述する正反射領域検出部105ならびに色被り補正値算出部106の処理を実施せず、色被り補正実施部107の処理を実施する。
正反射領域検出部105では、ヒストグラムパターンマッチング104より与えられた位置情報をもとに、移動領域より該当箇所を抽出し、各画素の輝度値情報を色被り補正値算出部106へと引き渡す。
色被り補正値算出部106では、正反射領域検出部105より受け渡された輝度値情報を、最大で10フレーム分記憶する。新しい輝度値情報が与えられた場合、最も古いフレームの輝度値情報が削除される。これらの最大10フレームの輝度値情報を用いて、各チャンネルの輝度値の和ΣR,ΣG,ΣBを算出する。さらに、ΣR=ΣG=ΣBとなるよう、Gチャンネルを基準としてRチャンネルとBチャンネルのゲインを調整する色被り補正値Rゲイン(=ΣG/ΣR)及びBゲイン(=ΣG/ΣB)を算出する。
色被り補正実施部107では、色被り補正値算出部位106で算出された色被り補正値である、RゲインならびにBゲインを、R、B各チャンネルの画像全域の輝度値に乗算することで、色被り補正を実施する。
色被り補正値算出部106では、正反射領域検出部105より受け渡された輝度値情報を、最大で10フレーム分記憶する。新しい輝度値情報が与えられた場合、最も古いフレームの輝度値情報が削除される。これらの最大10フレームの輝度値情報を用いて、各チャンネルの輝度値の和ΣR,ΣG,ΣBを算出する。さらに、ΣR=ΣG=ΣBとなるよう、Gチャンネルを基準としてRチャンネルとBチャンネルのゲインを調整する色被り補正値Rゲイン(=ΣG/ΣR)及びBゲイン(=ΣG/ΣB)を算出する。
色被り補正実施部107では、色被り補正値算出部位106で算出された色被り補正値である、RゲインならびにBゲインを、R、B各チャンネルの画像全域の輝度値に乗算することで、色被り補正を実施する。
図3は、撮像装置の被写体としての移動体Bのイメージについての説明図である。
撮像範囲A内を、移動体Bが右方向に移動しているものとする。これを動画像のモードで撮影した場合の、図2に示した移動領域検出部101における検出方法を、図4において説明する。
図4は、撮像装置の移動領域検出部101における移動領域検出方法の概念についての説明図である。
フレーム:0における移動領域の位置を検出するための方法を説明する。本実施形態では、検出のために差分法を使用する。
まず、図4の上段において、フレーム:0の前後のフレームである、フレーム:−1及びフレーム:+1の画像情報を取得する。
次に、図4の中段において、フレーム:−1とフレーム:0、ならびにフレーム:0とフレーム:+1の2種類の差分画像を作成する。各画素の輝度値の差分に対して閾値を設定し、閾値以上の領域を抽出する。
最後に、図4の下段において、2つの差分画像の情報について、両者の画像でともに閾値以上と判定された領域を抽出する。これにより得られた領域を、フレーム:0における移動領域として取得する。
撮像範囲A内を、移動体Bが右方向に移動しているものとする。これを動画像のモードで撮影した場合の、図2に示した移動領域検出部101における検出方法を、図4において説明する。
図4は、撮像装置の移動領域検出部101における移動領域検出方法の概念についての説明図である。
フレーム:0における移動領域の位置を検出するための方法を説明する。本実施形態では、検出のために差分法を使用する。
まず、図4の上段において、フレーム:0の前後のフレームである、フレーム:−1及びフレーム:+1の画像情報を取得する。
次に、図4の中段において、フレーム:−1とフレーム:0、ならびにフレーム:0とフレーム:+1の2種類の差分画像を作成する。各画素の輝度値の差分に対して閾値を設定し、閾値以上の領域を抽出する。
最後に、図4の下段において、2つの差分画像の情報について、両者の画像でともに閾値以上と判定された領域を抽出する。これにより得られた領域を、フレーム:0における移動領域として取得する。
<実施形態2>
実施形態2は、雲台等に固定されていない撮像装置について、動画像モードで被写体を撮影した場合の色被り補正の実施形態である。
本実施形態では、撮像装置を雲台等に固定していないため、被写体と背景部とが共に撮像範囲内で移動する。この時、注目するフレームについて、被写体と背景部とを含む映像全域のオプティカルフローを算出し、同一箇所であると判定された前フレームとの輝度値変化が閾値以上であれば、光沢を発する正反射領域であると判定し、色被り補正値を算出する。
尚、ハードウェア構成は、図1と同一のため省略する。
実施形態2は、雲台等に固定されていない撮像装置について、動画像モードで被写体を撮影した場合の色被り補正の実施形態である。
本実施形態では、撮像装置を雲台等に固定していないため、被写体と背景部とが共に撮像範囲内で移動する。この時、注目するフレームについて、被写体と背景部とを含む映像全域のオプティカルフローを算出し、同一箇所であると判定された前フレームとの輝度値変化が閾値以上であれば、光沢を発する正反射領域であると判定し、色被り補正値を算出する。
尚、ハードウェア構成は、図1と同一のため省略する。
図5は、実施形態2における処理のフローチャートについての説明図である。
このフローの処理を、動画像中の全てのフレームに対して実施し、動画像の色被り補正を行なう。
画像取得部200において、連続するフレームから、注目するフレーム、及び注目するフレームの1つ前のフレームについて、画像情報を静止画像として取得する。
オプティカルフロー算出部201において、前出した2枚の静止画像の間でのオプティカルフローを算出する。オプティカルフローの算出には、公知である勾配法を利用する。勾配法では、2枚の静止画像での対象物の移動が微小であることを前提とする。オプティカルフロー(u,v)は、画素の微小時間としてのフレーム間隔である 1/30 秒での画素の移動量を表しており、式(1)で定義される。
このフローの処理を、動画像中の全てのフレームに対して実施し、動画像の色被り補正を行なう。
画像取得部200において、連続するフレームから、注目するフレーム、及び注目するフレームの1つ前のフレームについて、画像情報を静止画像として取得する。
オプティカルフロー算出部201において、前出した2枚の静止画像の間でのオプティカルフローを算出する。オプティカルフローの算出には、公知である勾配法を利用する。勾配法では、2枚の静止画像での対象物の移動が微小であることを前提とする。オプティカルフロー(u,v)は、画素の微小時間としてのフレーム間隔である 1/30 秒での画素の移動量を表しており、式(1)で定義される。
を成立させる、u、vを算出する。Ix、Iyは2枚の画像の間での注目画素の勾配であり、Itは画素の輝度値の変化を表している。
正反射領域検出部202では、オプティカルフロー算出部201において画素の同一箇所と判定された輝度値変化を利用して、当該画素が正反射領域かを判定する。まず、動一箇所と判定された各画素について、RGB各チャンネルの輝度値を算出し、チャンネルごとの輝度値の差分の絶対値を算出する。これに対して閾値を設定し、全てのチャンネルでの輝度値の差分の絶対値が閾値以上であれば、当該画素は正反射領域であると判定する。これを映像全体に対して実施することで、静止画像中の正反射領域を検出することができる。
正反射領域検出部202では、オプティカルフロー算出部201において画素の同一箇所と判定された輝度値変化を利用して、当該画素が正反射領域かを判定する。まず、動一箇所と判定された各画素について、RGB各チャンネルの輝度値を算出し、チャンネルごとの輝度値の差分の絶対値を算出する。これに対して閾値を設定し、全てのチャンネルでの輝度値の差分の絶対値が閾値以上であれば、当該画素は正反射領域であると判定する。これを映像全体に対して実施することで、静止画像中の正反射領域を検出することができる。
色被り補正値算出部203では、各フレームについて、各チャンネルの輝度値の和ΣR,ΣG,ΣB、ならびに色被り補正値Rゲイン(=ΣG/ΣR),Bゲイン(=ΣG/ΣB)を算出する。色被り補正値算出部203では、最大で10フレーム分のRゲイン,Bゲインの値を保持しており、これらの平均値を色被り補正値として色被り補正実施部204に引き渡す。
色被り補正実施部204での処理は、実施形態1に記載の色被り補正値算出部106ならびに色被り補正実施部107と同様のため、省略する。
色被り補正実施部204での処理は、実施形態1に記載の色被り補正値算出部106ならびに色被り補正実施部107と同様のため、省略する。
<実施形態3>
実施形態3は、静止画像モードで被写体を撮影するスチルカメラ等の撮像装置における実施形態である。
図6は、実施形態3のハードウェア構成についての説明図である。
本実施形態において、図1の実施形態1のハードウェア構成と一致している部分については、説明を省略する。
モニタ18は、撮像装置に内蔵されており、シャッター釦19を押下する時点まで、撮像範囲内の映像を動画像として表示する、いわゆるプレビュー機能に使用する。このとき、CCD13からは、30fpsで信号が読み出され、A/Dコンバータ14ならびに演算装置15で処理され、モニタ18に表示される。
シャッター釦19を押下すると、プレビューの終了と共に、電子シャッターが動作し、所望の露光時間にて取得した電気信号をA/Dコンバータ14でデジタル信号に変換し、演算装置15で色被り補正等を行い、記憶媒体17とモニタ18に出力される。
実施形態3は、静止画像モードで被写体を撮影するスチルカメラ等の撮像装置における実施形態である。
図6は、実施形態3のハードウェア構成についての説明図である。
本実施形態において、図1の実施形態1のハードウェア構成と一致している部分については、説明を省略する。
モニタ18は、撮像装置に内蔵されており、シャッター釦19を押下する時点まで、撮像範囲内の映像を動画像として表示する、いわゆるプレビュー機能に使用する。このとき、CCD13からは、30fpsで信号が読み出され、A/Dコンバータ14ならびに演算装置15で処理され、モニタ18に表示される。
シャッター釦19を押下すると、プレビューの終了と共に、電子シャッターが動作し、所望の露光時間にて取得した電気信号をA/Dコンバータ14でデジタル信号に変換し、演算装置15で色被り補正等を行い、記憶媒体17とモニタ18に出力される。
図7は、実施形態3での処理のフローについての説明図である。
基本的には、実施形態2における処理フローと同様である。シャッター釦19が押下されるまで、現在取得されているプレビュー用の動画像に対して、300‐303の処理を繰り返し実施し続け、色被り補正値算出部303にある色被り補正値を最新の値に更新し続ける。
シャッター釦19が押下されたときに、色被り補正値算出部303に保持されている最新の色被り補正値を読み出す。シャッター釦19の押下時の画像情報が、画像情報取得部300より色被り補正実施部304に引き渡され、色被り補正を実施する。
基本的には、実施形態2における処理フローと同様である。シャッター釦19が押下されるまで、現在取得されているプレビュー用の動画像に対して、300‐303の処理を繰り返し実施し続け、色被り補正値算出部303にある色被り補正値を最新の値に更新し続ける。
シャッター釦19が押下されたときに、色被り補正値算出部303に保持されている最新の色被り補正値を読み出す。シャッター釦19の押下時の画像情報が、画像情報取得部300より色被り補正実施部304に引き渡され、色被り補正を実施する。
<作用効果>
以上より、撮像した動画から、被写体の光沢を発する正反射領域を検出し、この領域の色情報をもとに色被り補正を実施する。従来の色被り補正法では、物体からの反射光について、正反射と拡散反射とを区別することなく、色被り補正値を算出する。このため、色被り補正において被写体の物体色の影響が大きい。物体からの正反射光は、物体からの拡散反射光と比較し、被写体自身が持つ物体色の影響が少ない。よって、正反射領域の色情報を用いることで、物体を照明している光源の色情報を精度よく見積もることが可能となる。この結果、動画像を撮影可能な撮像装置について、撮像画像を用いて光源色を正確に見積もることで、撮像された動画像や静止画像に対して安定した色被り補正を実施することが出来る。
以上より、撮像した動画から、被写体の光沢を発する正反射領域を検出し、この領域の色情報をもとに色被り補正を実施する。従来の色被り補正法では、物体からの反射光について、正反射と拡散反射とを区別することなく、色被り補正値を算出する。このため、色被り補正において被写体の物体色の影響が大きい。物体からの正反射光は、物体からの拡散反射光と比較し、被写体自身が持つ物体色の影響が少ない。よって、正反射領域の色情報を用いることで、物体を照明している光源の色情報を精度よく見積もることが可能となる。この結果、動画像を撮影可能な撮像装置について、撮像画像を用いて光源色を正確に見積もることで、撮像された動画像や静止画像に対して安定した色被り補正を実施することが出来る。
また、以上より、静止画像に対して、精度の高い色被り補正を実施できる。
また、正反射領域の判定に用いる閾値を一意に決定するという効果が得られる。
また、被写体と背景部とで、照明している光源が異なる場合に、被写体に対して正確な色被り補正を実施できるという効果が得られる。
また、撮像装置を雲台等に固定した場合において被写体の検出精度を高めるという効果が得られる。
また、撮像装置が雲台等に固定されていない場合においても、被写体を効果的に追跡できるという効果が得られる。
また、正反射領域の判定に用いる閾値を一意に決定するという効果が得られる。
また、被写体と背景部とで、照明している光源が異なる場合に、被写体に対して正確な色被り補正を実施できるという効果が得られる。
また、撮像装置を雲台等に固定した場合において被写体の検出精度を高めるという効果が得られる。
また、撮像装置が雲台等に固定されていない場合においても、被写体を効果的に追跡できるという効果が得られる。
<プログラム>
以上で説明した本発明に係る撮像装置は、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えば撮像装置に内蔵されたCPUが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明の機能を実現する場合の説明を以下で行う。
以上で説明した本発明に係る撮像装置は、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えば撮像装置に内蔵されたCPUが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明の機能を実現する場合の説明を以下で行う。
例えば、
被写体を照明する光源の正反射光の色情報に基づき、静止画像及び動画像を含む映像の色被りを補正する、撮像装置のコンピュータが読み取り可能なプログラムであって、
コンピュータに、
撮像部が映像を取得する手順、
被写体追跡手段が撮像部で取得した映像より、撮像範囲内における被写体について、被写体の位置を追跡する手順、
正反射領域検出手段が被写体追跡手段で追跡している被写体領域について、輝度変化を記録し、輝度の変化量が閾値以上であれば、当該箇所を正反射領域として検出する手順、
被写体補正値算出手段が、正反射領域の色情報をもとに、色被りを補正する補正値を算出する手順、
色被り補正手段が、被写体補正値をもとに、映像の色被りを補正する手順、
を実行させるためのプログラムが挙げられる。
被写体を照明する光源の正反射光の色情報に基づき、静止画像及び動画像を含む映像の色被りを補正する、撮像装置のコンピュータが読み取り可能なプログラムであって、
コンピュータに、
撮像部が映像を取得する手順、
被写体追跡手段が撮像部で取得した映像より、撮像範囲内における被写体について、被写体の位置を追跡する手順、
正反射領域検出手段が被写体追跡手段で追跡している被写体領域について、輝度変化を記録し、輝度の変化量が閾値以上であれば、当該箇所を正反射領域として検出する手順、
被写体補正値算出手段が、正反射領域の色情報をもとに、色被りを補正する補正値を算出する手順、
色被り補正手段が、被写体補正値をもとに、映像の色被りを補正する手順、
を実行させるためのプログラムが挙げられる。
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。
<記憶媒体>
ここで、記憶媒体としては、例えばCD-ROM、フレキシブルディスク(FD)、CD-ROM等のコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、RAM、ROM、FeRAM等の半導体メモリやHDDが挙げられる。
ここで、記憶媒体としては、例えばCD-ROM、フレキシブルディスク(FD)、CD-ROM等のコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、RAM、ROM、FeRAM等の半導体メモリやHDDが挙げられる。
CD-ROMは、Compact Disc Read Only Memoryの略である。フレキシブルディスクは、Flexible Disk:FDを意味する。CD-Rは、CD Recordableの略である。FeRAMは、Ferroelectric RAMの略で、強誘電体メモリを意味する。
尚、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。
1、11 レンズ
2、12 絞り
3、13 CCD
4、14 A/Dコンバータ
5、15 演算装置
6、16 内部メモリ
7、17 記憶媒体
8 出力端子
9 外部記憶装置
10、18 モニタ
19 シャッター釦
2、12 絞り
3、13 CCD
4、14 A/Dコンバータ
5、15 演算装置
6、16 内部メモリ
7、17 記憶媒体
8 出力端子
9 外部記憶装置
10、18 モニタ
19 シャッター釦
Claims (8)
- 被写体を照明する光源の正反射光の色情報に基づき、静止画像及び動画像を含む映像の色被りを補正する、撮像装置であって、
前記映像を取得する撮像部と、
前記撮像部で取得した映像より、撮像範囲内における被写体について、被写体の位置を追跡する被写体追跡手段と、
前記被写体追跡部で追跡している被写体領域について、輝度変化を記録し、輝度の変化量が閾値以上であれば、当該箇所を正反射領域として検出する正反射領域検出手段と、
前記正反射領域の色情報をもとに、色被りを補正する補正値を算出する被写体補正値算出手段と、
前記被写体補正値をもとに、前記映像の色被りを補正する色被り補正手段と、
を有することを特徴とする、撮像装置。 - 前記被写体を撮影する前に、予め撮像部より、映像を補正用データとして取得する補正用データ取得手段と、
前記補正用データ取得部で取得された補正用データと、前記撮像範囲内に前記撮像部で撮像された静止画像に対して色被り補正を実施する色被り補正手段と、
を有することを特徴とする、請求項1に記載の撮像装置。 - 正反射領域を検出するため、基準となる物体の反射率の角度依存性を予め計測し、正反射条件での反射率と拡散反射条件での反射率より閾値を決定する決定手段を有することを特徴とする、請求項1または2に記載の撮像装置。
- 前記被写体追跡手段において、被写体と判定されていない背景部の色被り補正値を算出する背景部補正値算出手段と、
前記被写体補正値算出手段によって算出された補正値と、前記背景部補正値算出手段によって算出された補正値とが一定値以上に異なる場合に、前記被写体追跡手段によって追跡されている領域のみに対して、被写体補正値を用いて色被り補正を実施する色被り補正実施手段と、
を有することを特徴とする、請求項1から3のいずれか一項に記載の撮像装置。 - 前記被写体追跡手段は、前記映像に対して、差分法を使用することで被写体を追跡することを特徴とする、請求項1から4のいずれか一項に記載の撮像装置。
- 前記被写体追跡手段は、前記映像に対して、オプティカルフローを用いて被写体を追跡することを特徴とする、請求項1から4のいずれか一項に記載の撮像装置。
- 被写体を照明する光源の正反射光の色情報に基づき、静止画像及び動画像を含む映像の色被りを補正する、画像処理方法であって、
映像を取得し、
取得した映像より、撮像範囲内における被写体について、被写体の位置を追跡し、
追跡している被写体領域について、輝度変化を記録し、輝度の変化量が閾値以上であれば、当該箇所を正反射領域として検出し、
前記正反射領域の色情報をもとに、色被りを補正する補正値を算出し、
前記被写体補正値をもとに、前記映像の色被りを補正する、
ことを特徴とする、画像処理方法。 - 被写体を照明する光源の正反射光の色情報に基づき、静止画像及び動画像を含む映像の色被りを補正する、撮像装置のコンピュータが読み取り可能なプログラムであって、
前記コンピュータに、
撮像部が前記映像を取得する手順、
被写体追跡手段が前記撮像部で取得した映像より、撮像範囲内における被写体について、被写体の位置を追跡する手順、
正反射領域検出手段が前記被写体追跡部で追跡している被写体領域について、輝度変化を記録し、輝度の変化量が閾値以上であれば、当該箇所を正反射領域として検出する手順、
被写体補正値算出手段が、前記正反射領域の色情報をもとに、色被りを補正する補正値を算出する手順、
色被り補正手段が、前記被写体補正値をもとに、前記映像の色被りを補正する手順、
を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014206667A JP2016076851A (ja) | 2014-10-07 | 2014-10-07 | 撮像装置、画像処理方法、及びプログラム |
US14/872,223 US9905018B2 (en) | 2014-10-07 | 2015-10-01 | Imaging apparatus, image processing method, and medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014206667A JP2016076851A (ja) | 2014-10-07 | 2014-10-07 | 撮像装置、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016076851A true JP2016076851A (ja) | 2016-05-12 |
Family
ID=55633732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014206667A Pending JP2016076851A (ja) | 2014-10-07 | 2014-10-07 | 撮像装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9905018B2 (ja) |
JP (1) | JP2016076851A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018205883A (ja) * | 2017-05-31 | 2018-12-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6784058B2 (ja) | 2016-05-23 | 2020-11-11 | 株式会社リコー | 情報表示装置 |
WO2018105062A1 (ja) * | 2016-12-07 | 2018-06-14 | オリンパス株式会社 | 画像処理装置及び画像処理方法 |
KR102570059B1 (ko) * | 2018-08-16 | 2023-08-23 | 엘지이노텍 주식회사 | 센싱 방법 및 장치 |
CN112261390B (zh) * | 2020-08-20 | 2022-02-11 | 深圳市豪恩汽车电子装备股份有限公司 | 车载摄像设备及其图像优化装置和优化方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2984652B2 (ja) * | 1997-08-22 | 1999-11-29 | 富士通株式会社 | 領域抽出装置及び領域抽出方法並びにコンピュータで実現可能なプログラムが記憶された記録媒体 |
JP2002271638A (ja) | 2001-03-09 | 2002-09-20 | Fuji Photo Film Co Ltd | ホワイトバランス補正方法及び装置並びに該方法を実行するためのプログラムを記録した記録媒体 |
US8018494B2 (en) * | 2006-01-10 | 2011-09-13 | Panasonic Corporation | Color correction device, color correction method, dynamic camera color correction device, and video search device using the same |
JP5383366B2 (ja) * | 2009-07-28 | 2014-01-08 | キヤノン株式会社 | 画像処理装置、画像処理方法、および、そのプログラム |
TWI393074B (zh) * | 2009-12-10 | 2013-04-11 | Ind Tech Res Inst | 移動物體偵測裝置與方法 |
JP5499853B2 (ja) | 2010-04-08 | 2014-05-21 | 株式会社ニコン | 電子カメラ |
US20120033888A1 (en) * | 2010-08-09 | 2012-02-09 | Tetsuya Takamori | Image processing system, image processing method, and computer readable medium |
JP5273208B2 (ja) * | 2011-06-07 | 2013-08-28 | オムロン株式会社 | 画像処理装置、画像処理方法、および制御プログラム |
JP5948997B2 (ja) | 2012-03-15 | 2016-07-06 | 株式会社リコー | 撮像装置及び撮像方法 |
US9129188B2 (en) * | 2012-06-22 | 2015-09-08 | Canon Kabushiki Kaisha | Image processing apparatus and control method thereof |
-
2014
- 2014-10-07 JP JP2014206667A patent/JP2016076851A/ja active Pending
-
2015
- 2015-10-01 US US14/872,223 patent/US9905018B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018205883A (ja) * | 2017-05-31 | 2018-12-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7039183B2 (ja) | 2017-05-31 | 2022-03-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US9905018B2 (en) | 2018-02-27 |
US20160100146A1 (en) | 2016-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4254841B2 (ja) | 撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理プログラム | |
JP6833415B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US10091422B2 (en) | Image processing device and recording medium | |
JP2016076851A (ja) | 撮像装置、画像処理方法、及びプログラム | |
JP5561112B2 (ja) | 画像処理装置、撮像装置およびプログラム | |
TW201346835A (zh) | 影像模糊程度之估測方法及影像品質之評估方法 | |
TWI469085B (zh) | 影像處理裝置、影像處理方法及電腦可讀取記憶媒體 | |
JP2004222231A (ja) | 画像処理装置および画像処理プログラム | |
US10432854B2 (en) | Image processing apparatus to determine whether there is fog or mist in a captured image | |
JP2006229868A (ja) | 画像処理装置及び方法、動き検出装置及び方法 | |
JP2009123081A (ja) | 顔検出方法及び撮影装置 | |
KR101072945B1 (ko) | 깊이 값 측정을 이용한 플래시 영상 색상 보정 장치 및 그 방법 | |
JP2007312206A (ja) | 撮像装置及び、画像再生装置 | |
JPWO2016051850A1 (ja) | 赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラム | |
JP2009088935A (ja) | 画像記録装置、画像補正装置及び撮像装置 | |
US7688367B2 (en) | Image signal processing apparatus and image signal processing method | |
JP4853657B2 (ja) | 画像処理装置 | |
JP2011041143A (ja) | 画像処理装置 | |
JP2009302960A (ja) | 映像信号処理装置並びにプログラム及び方法 | |
JP6606981B2 (ja) | 出力制御装置、出力制御方法及びプログラム | |
JP2004220553A (ja) | 画像処理装置および画像処理プログラム | |
JP2004222233A (ja) | 画像処理装置および画像処理プログラム | |
JP2005004287A (ja) | 顔画像検出装置およびその制御方法 | |
JPWO2016051849A1 (ja) | 赤外線撮像装置、画像処理方法、及び画像処理プログラム | |
US11228724B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium for interpolating pixel value of determined defective pixel to be corrected |