JP2012156751A

JP2012156751A - 画像処理装置

Info

Publication number: JP2012156751A
Application number: JP2011013720A
Authority: JP
Inventors: Mitsuaki Hattori; 光明服部
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-01-26
Filing date: 2011-01-26
Publication date: 2012-08-16

Abstract

【課題】画像処理装置（１１９）のあおり方向の角度を用いて撮影シーンを判定し、前記判定シーンに応じて画像処理方法を変更する場合において、画像処理装置（１１９）の僅かな角度の差で判定シーンが切り替わることによる出力画像の違いを抑えることを可能にした画像処理装置を提供すること。
【解決手段】画像処理装置（１１９）のあおり方向の角度を検出する手段（１１６）と、撮影シーンにおける特定色の領域を検出する手段を備えた画像処理装置（１１９）において、撮影時の前記あおり方向の角度と前記撮影シーンの特定色の領域検出結果に応じて撮影シーンの信頼度を判定し、前記判定した撮影シーンの信頼度に応じて前記画像の画像処理方法を変更することを特徴とする構成とした。
【選択図】図１

Description

本発明は、画像処理装置に関し、特に画像のシーンを判定する装置に関するものである。

従来、例えばデジタルスチルカメラのような撮像装置において撮影されるシーンには、ポートレート、風景、夜景など様々なシーンがある。これらの撮影シーンで最適な画像を得る為に、撮影時の被写体情報をカメラが解析することで、どのようなシーンで撮影されたかを自動的に判別し、その判別したシーンに応じて最適な画像処理を施すといったものがある。例えば、被写体距離が遠くにある場合には風景シーンの撮影だと判断し、彩度を高めて鮮やかな風景にするといったことがある。

このように撮像装置が自動的にシーンを判定するシステムとして、例えば、特許文献１では、カメラのあおり方向の姿勢を検知して、その姿勢に応じてシーンを判定するという技術が開示されている。この技術では例えばカメラが上を向いていた場合、撮影シーンは「空」であると判断し、正面向きの時は「風景」であると判断している。

特開２００６−８６７５８号公報

しかしながら、上述の特許文献に開示された従来技術では、例えば撮像装置のあおり方向の角度で青空シーンかどうかを判断した場合、シーンの切り替わりを判定する角度の境界付近において、僅かな角度の違いで判定するシーンが異なってしまう。その結果、ほぼ同じシーンにもかかわらず、大きく異なる画像処理が施された画像を出力されてしまうといった問題がある。

そこで、本発明の目的は、撮像装置の僅かな角度の差で判定シーンが切り替わることによる出力画像の違いを抑えることを可能にした画像処理装置を提供することである。

上記目的を達成するために、本発明は、画像処理装置（１１９）のあおり方向の角度を検出する手段（１１６）と、撮影シーンにおける特定色の領域を検出する手段を備えた画像処理装置（１１９）において、撮影時の前記あおり方向の角度と前記撮影シーンの特定色の領域検出結果に応じて撮影シーンの信頼度を判定し、前記判定した撮影シーンの信頼度に応じて前記画像の画像処理方法を変更することを特徴とする。

本発明によれば、前記判定したシーンの信頼度に応じて段階的に画像処理を変更するため、画像処理装置の僅かな角度の差で判定シーンが切り替わることによる出力画像の違いを抑えることを可能にした画像処理装置を提供することができる。

本実施例の画像処理装置のブロック図を示した図である。本実施例の画像処理装置の姿勢検知センサの検出角度を示した図である。本実施例における画像処理装置の動作を示したフローチャートである。本実施例における画像の領域分割方法を示した図である。本実施例におけるレンズの焦点距離と画像処理装置のあおり方向の角度における画角の一例を示した図である。本実施例における画像処理装置のレンズの焦点距離と画像処理装置のあおり方向の角度に応じた各領域の重みを示したテーブルである。本実施例における画像処理装置の各領域のシーン判定に使用する、明度、彩度、色相の閾値を示した図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる画像処理装置１１９の全体構成を示すブロック図である。

図１において、１００は撮影レンズ、１０１は絞り、１０２はシャッター、１０３は光学像を電気信号に変換する撮像素子、１０４は撮像素子１０３のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。タイミング発生部１０５は、撮像素子１０３、Ａ／Ｄ変換器１０４にクロック信号や制御信号を供給して、それらの動作を制御している。このタイミング発生部１０５はメモリ制御部１０６及びシステム制御部１１８により制御されている。

画像処理部１０８ではＡ／Ｄ変換器１０４からのデータ或いはメモリ制御部１０６からの画像データに対して、ホワイトバランス処理、ＲＧＢベイヤー配列の信号をＲＧＢ３プレーン信号に変換するための色補間処理、ガンマ補正処理、彩度補正、色相補正などの画像処理を施している。また、この画像処理部１０８では、撮像された画像データから青色や橙色の占有率を求めることで、青空シーンや夕焼け空シーンの信頼度判定を行い、そのシーンの信頼度判定結果に応じたホワイトバランス、彩度、色相、コントラストの補正も行っている。本処理については後述の実施例で詳細に説明する。

メモリ制御部１０６は、Ａ／Ｄ変換器１０４、タイミング発生部１０５、画像処理部１０８、メモリ１０７を制御する。これにより、Ａ／Ｄ変換器１０４でＡ／Ｄ変換されたデジタルデータは画像処理部１１３、メモリ制御部１０６を介して、或いは直接メモリ制御部１０６を介して、メモリ１０７に書き込まれる。

メモリ１０７は撮影した静止画像を格納する為のメモリで、所定枚数の静止画像を格納するのに十分な記憶容量を備えている。また、このメモリ１０７はシステム制御部１１８や画像処理部１０８の作業領域としても使用することが可能である。

外部記憶装置１０９はＣＦカードやＳＤカードといった着脱可能な外付けの記録媒体である。メモリ１０７に一時的に記録された画像データは最終的にこの外部記憶装置１０９に記録される。

測光センサ１１４は、撮影画面と共役に関係付けられたそれぞれの画素の輝度を測定することが出来る。この測光センサ１１４の出力に応じて、システム制御部１１８にて適切な露光量が算出されると、露光制御部１１０は、露光量に応じた絞り１０１とシャッター１０２を制御する。

測距センサ１１３は被写体の距離情報を検出する。測距制御部１１１は測距センサ１１３の出力によりレンズ１００のフォーカシングを制御する。

ズーム制御部１１２は手動で行われたレンズ１００のズーミング量（焦点距離）を検知する。または、ズーミングをカメラの操作部１１７を用いて自動で行う場合にレンズのズーム量を制御する。

姿勢検知センサ１１６は画像処理装置１１９のあおり方向の角度を検知するセンサである。この姿勢検知センサ１１６では、図２に示すように、画像処理装置１１９の正位置を０°として±９０°の角度で１°刻みであおり方向角度を細かく検出することができる。

システム制御部１１８はこの画像処理装置１１９全体の動作を制御している。

ＳＷ１はレリーズ釦１１５の第１ストロークでＯＮし、測光、測距を開始するスイッチとなる。ＳＷ２はレリーズ釦１１５の第２ストロークでＯＮし、露光動作を開始するスイッチとなる。

［実施例］
以下、図３のフローチャートを参照して、本発明の実施例による、画像処理装置１１９の動作フローについて説明する。

まず画像処理装置１１９のレリーズ釦１１５のＳＷ２により撮影が行われると、ズーム制御部１１２で撮影時のレンズの焦点距離を検出する。その際、レンズ１００がズームレンズの場合にはそのズーム位置での焦点距離を検出するが、単焦点レンズの場合にはそのレンズの焦点距離を検出する。ここで検出したレンズ１００の焦点距離情報は後の処理に用いるため、メモリ１０７に一時記憶しておく。（Ｓ３０１）。

また、姿勢検知センサ１１６により画像処理装置１１９の撮影時のあおり方向の角度を検出する。ここで検出した角度情報は後の処理に用いるため、メモリ１０７に一時記憶しておく。（Ｓ３０２）。

次に撮影した画像に対して、画像処理部１０８でホワイトバランス処理、色補間処理、ガンマ補正処理、彩度補正、色相補正といった現像処理を施し仮現像後のＲＧＢ画像データを得る。この画像はメモリ１０７に一時記録される。また、後の現像処理で用いるため、この現像処理を施さないＲＡＷ画像データもメモリに一時記録しておく（Ｓ３０３）。

次にＳ３０３でメモリ１０７に一時記録された仮現像ＲＧＢ画像を図４に示すように、ｎ×ｍの領域に分割する。ここで、ｎ＝水平方向の領域の分割数、ｍ＝垂直の領域の分割数である。本実施例では図４に示すようにｎ＝８、ｍ＝８としているがｎ、ｍの個数はこれに限るものではない。このようにして分割した領域毎に領域内のＲＧＢそれぞれのデータの平均値を算出しておき再びメモリ１０７に一時記録しておく。（Ｓ３０４）。

続いて、Ｓ３０４で分割したそれぞれの領域ごとに重みを設定する。ここで設定した重みは後述する撮影画面内に青空がどれだけ含まれているかを判断するのに用いる。尚、本実施例では青空を検出するケースについて説明するが、青空ではなく夕焼け空を検出するようにしてもよい。

以下に各領域の重みの決定方法について詳細に説明する。

例えば図４に示すような撮影画像について、空は通常画面の上部にある可能性が高い。そこで画面上部の領域の重みを大きくすることで、画面下部に青空以外の青い被写体が写りこんだ場合でも青空と誤検出する確率を減らすことができる。

しかしながら同じシーンを撮影しても、画像処理装置１１９のあおり方向の角度やレンズの焦点距離によって、撮影画角内に写る青空の面積は図５に示すように異なってしまう。

図５は画像処理装置１１９の撮影時のあおり方向の角度とレンズ１００の焦点距離の被写体の画角の例である。この図５から分かるようにレンズ１００のズーム位置が望遠側、すなわち焦点距離が長い場合には、あおり方向の角度が変化したときの画角の変化量が大きい。そのため、撮影画角内に写り込む青空の面積も画像処理装置１１９のあおり方向の角度で大きく異なる。一方レンズ１００のズーム位置が広角側、すなわち焦点距離が短い場合には、あおり方向の角度が変化したときの画角の変化量が小さい。そのため、撮影画角内に写り込む青空の面積も画像処理装置１１９のあおり方向の角度によって大きく変化しない。

これを踏まえて、各領域の重みを決定する場合、レンズ１０１の焦点距離と画像処理装置１１９のあおり方向の角度に応じて図６のように重み算出テーブルを変更する。このレンズ１０１の焦点距離はステップＳ３０１で予めメモリ１０７に一時記録しておいた撮影時の焦点距離である。また、あおり方向の角度もステップＳ３０２で予めメモリ１０７に一時記録しておいた画像処理装置１１９のあおり方向の角度である。

図６は横軸が撮影画面内の位置を示しており、左側が画面最上部の領域で、そこから右側に位置するほど画面の下部領域であることを示しており、一番右側が画面の最下部の領域を示している。縦軸はそれぞれの領域の重みを示しており、０％から１００％の間で変化する。図６ではレンズ１０１のズーム位置が望遠側（焦点距離が長い）と広角側（焦点距離が短い）それぞれの重み算出テーブルを示している。ここで例えば画像処理装置１１９のあおり方向の角度が＋９０°の場合、即ち画像処理装置１１９が真上を向いている状態の場合、青空が画面全体に写っている可能性が高いので、図６に示すように、望遠側、広角側共に画面最上部から最下部まで重みは一律１００％としている。一方、画像処理装置１１９の角度が＋４５°の場合、図６に示すように、望遠側の方が広角側よりも画面下部の重みが小さくなるような重み算出テーブルとしている。０°、−４５°、−９０°でも同様である。このようにレンズ１０１の焦点距離に応じて画像処理装置１１９のあおり方向の角度における画面内の重み付けテーブルを変更することで、より精度良く撮影画像内から青空領域のみを検出できる。尚、図６では＋９０°、＋４５°、０°、−４５°、−９０°また、焦点距離のテーブルは望遠側、広角側の２種類について示しているが、間の角度の重みについては例えば下記式（１）〜（３）のように線形補間して求める。

45°＜θ≦90°の場合
W (Dmax, θ,m) = { W(Dmax, 90, m)×(45°−θ)−W(Dmax, 45, m)×(90°−θ)}
／ (45°−90°)
0°＜θ≦45°の場合
W (Dmax, θ,m) = { W(Dmax, 45, m)×(0°−θ)−W(Dmax, 0, m)×(45°−θ)}
／ (0°−45°)
−45°＜θ≦0°の場合
W (Dmax, θ,m) = { W(Dmax, 0, m)×(−45°−θ)−W(Dmax, -45, m)×(0°−θ)}
／ (−45°−0°)
−90°≦θ≦45°の場合
W (Dmax, θ,m) = { W(Dmax, -45, m)×(−90°−θ)−W(Dmax, -90, m)×(−45°−θ)}
／ (−90°−45°)
・・・式（１）
45°＜θ≦90°の場合
W (Dmin, θ,m) = { W(Dmin, 90, m)×(45°−θ)−W(Dmin, 45, m)×(90°−θ)}
／ (45°−90°)
0°＜θ≦45°の場合
W (Dmin, θ,m) = { W(Dmin, 45, m)×(0°−θ)−W(Dmin, 0, m)×(45°−θ)}
／ (0°−45°)
−45°＜θ≦0°の場合
W (Dmin, θ,m) = { W(Dmin, 0, m)×(−45°−θ)−W(Dmin, -45, m)×(0°−θ)}
／ (−45°−0°)
−90°≦θ≦45°の場合
W (Dmin, θ,m) = { W(Dmin, -45, m)×(−90°−θ)−W(Dmin, -90, m)×(−45°−θ)}
／ (−90°−45°)
・・・式（２）
W(D, θ,m) = { W (Dmax, θ, m)×(Dmin−D)−W(Dmin, θ, m)×(Dmax−D)}
／ (Dmin−Dmax)
・・・式（３）
ここで、
Dmax = 最大焦点距離（例えば本実施例では200mmとし図６の望遠側に相当する）
Dmin = 最小焦点距離（例えば本実施例では16mmとし図６の広角側に相当する）
θ = 撮影時の画像処理装置１１９のあおり方向の角度
m = 画像を垂直方向の領域に分割したときの画面上部からのm番目の列の領域
（本実施例では垂直方向の分割数は８のためm=0〜７となる。ここでｍ＝0が最上部、ｍ＝７が最下部の列の領域を示している。）。

D = 撮影時のレンズ１００の焦点距離
W (Dmax, θ,m) = 画像ｍ番目の列の領域，角度θ，最大焦点距離時の重み
W(Dmax, 90, m) ＝画像ｍ番目の列の領域，角度９０°，最大焦点距離時の重み
W(Dmax, 45, m) ＝画像ｍ番目の列の領域，角度４５°，最大焦点距離時の重み
W(Dmax, 0, m) ＝画像ｍ番目の列の領域，角度０°，最大焦点距離時の重み
W(Dmax, -45, m) ＝画像ｍ番目の列の領域，角度−４５°，最大焦点距離時の重み
W(Dmax, -90, m) ＝画像ｍ番目の列の領域，角度−９０°，最大焦点距離時の重み
W(Dmin, θ,m) = 画像ｍ番目の列の領域，角度θ，最小焦点距離時の重み
W(Dmin, 90, m) ＝画像ｍ番目の列の領域，角度９０°，最小焦点距離時の重み
W(Dmin, 45, m) ＝画像ｍ番目の列の領域，角度４５°，最小焦点距離時の重み
W(Dmin, 0, m) ＝画像ｍ番目の列の領域，角度０°，最小焦点距離時の重み
W(Dmin, -45, m) ＝画像ｍ番目の列の領域，角度−４５°，最小焦点距離時の重み
W(Dmin, -90, m) ＝画像ｍ番目の列の領域，角度−９０°，最小焦点距離時の重み
W(D, θ,m) ＝最終的に求まる画像ｍ番目の列の領域の重み
尚、本実施例では重み算出テーブルは焦点距離については望遠側（16mm）、広角側（200mm）の２種類、またあおり方向の角度については＋９０°、＋４５°、０°、−４５°、−９０°の５種類を予め用意しているが、このテーブルをより細かく持って上記式（１）〜（３）にて同様に補間処理を行い、各領域の重みを算出することで、より精度良く重みを算出することができる（Ｓ３０５）。

各領域の重み算出後、次に各領域が青空らしいかどうかを判定する。その為にまず、Ｓ３０４でメモリ１０７に一時記録しておいた各領域のＲＧＢ平均値から公知の算出式により色相、彩度、明度信号に変換する。そして、各領域の色相、彩度、明度が図７に示すような青空領域判定条件に当てはまる領域のデータのみ抽出する。尚、図７では夕焼け空領域の判定条件についても同様に示している。また、図７に示した明度、彩度、色相の判定条件の数値は一例であり、これに限るものではない（Ｓ３０６）。

続いて下記（式１）に従って、青空占有率を算出する。尚、（式４）では青空占有率についての式だが、夕焼け空の占有率についても同様に算出することができる。

青空占有率＝Ａ／Ｂ ×１００％・・・（式４）
Ａ＝Ｓ３０６で青空らしいとして抽出された領域のＳ３０５で算出した重みの積分値
Ｂ＝Ｓ３０５で予め算出しておいた各領域の重みの積分値
（Ｓ３０７）。

次に、青空占有率が高いほど撮影された画像の青空シーンの信頼度が高くなるように、青空シーンかどうかの信頼度を判定する（Ｓ３０８）。

最後に、Ｓ３０８で判定した青空シーン信頼度に基づいて、ステップＳ３０３でメモリ１０８に記録しておいたＲＡＷ画像に対して画像処理部１０８で、ホワイトバランス処理、色補間処理、ガンマ補正処理、彩度補正、色相補正といった現像処理を施す。この時例えば、Ｓ３０８で青空シーンの信頼度が高いと判断された場合には、青空シーンの信頼度が低いと判断された時よりも青色の彩度を高めにして前記現像処理を施す。このような処理を施すことで、青空シーンではより鮮やかな青空を再現することができる。また、このような仕組みにすることで、画像処理装置１１９の僅かな角度の差で青空シーンと判断されたり、青空シーンではないと判断されたりすることで、同じようなシーンで青空の彩度がことなるといったことも無くなる。

また、同じようにＳ３０８で夕焼け空シーンの信頼度が高いと判断された場合には、夕焼け空シーンの信頼度が低いと判断された時よりも橙色の彩度を高めにして前記現像処理を施す。このような処理を施すことで、夕焼け空シーンでは、より鮮やかな夕焼け空を再現することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００レンズ
１０１絞り
１０２シャッター
１０３撮像素子
１０４Ａ／Ｄ変換器
１０５タイミング発生部
１０６メモリ制御部
１０７メモリ
１０８画像処理部
１０９外部記憶装置
１１０露光制御部
１１１測距制御部
１１２ズーム制御部
１１３測距センサ
１１４測光センサ
１１５レリーズ釦
１１６姿勢検知センサ
１１７操作部
１１８システム制御部
１１９画像処理装置

Claims

画像処理装置（１１９）のあおり方向の角度を検出する手段（１１６）と、撮影シーンにおける特定色の領域を検出する手段を備えた画像処理装置（１１９）において、撮影時の前記あおり方向の角度と前記撮影シーンの特定色の領域検出結果に応じて撮影シーンの信頼度を判定し、前記判定した撮影シーンの信頼度に応じて前記画像の画像処理方法を変更することを特徴とする画像処理装置（１１９）。
更にレンズの焦点距離情報を検出する手段（１１３）を備え、前記焦点距離情報を更に用いて撮影シーンの信頼度を判定することを特徴とする請求項１に記載の画像処理装置（１１９）。
前記シーンの信頼度判定に用いる画像を複数領域に分割し、前記領域毎の重みを前記あおり方向の角度及びレンズの焦点距離に応じて変更し、前記重みを用いて前記特定色の占有率を算出し、前記占有率を用いて前記撮影シーンの信頼度を判定することを特徴とする請求項１又は請求項２に記載の画像処理装置（１１９）。
領域毎の重みは画像処理装置（１１９）の姿勢に対応した画面上部ほど大きくすることを特徴とした請求項３に記載の画像処理装置（１１９）。
前記あおり方向の角度が前記画像処理装置（１１９）の姿勢が上向きの角度になるほど、前記画面下部の重みが大きくなるようにすることを特徴とした請求項１乃至請求項４の何れか１項に記載の画像処理装置（１１９）。
前記特定色とは青色または橙色であることを特徴とした請求項１乃至請求項５の何れか１項に記載の画像処理装置（１１９）。
前記画像処理方法とは画像のホワイトバランス補正、彩度補正、色相補正、コントラスト補正の少なくとも何れか１つを含む処理であることを特徴とした請求項１乃至請求項６の何れか１項に記載の画像処理装置（１１９）。