JP2014150361A - 画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】撮影時のパンニング操作や被写体が動いた場合等においても、境界ノイズ領域の発生による弊害を発生させることなく、画像領域の分割を行えるようにする。
【解決手段】被写体解析部２０３は、画像信号について、いずれかの成分のヒストグラムを生成して山型の分布範囲に区分けするヒストグラム解析部２０６と、ヒストグラム解析部２０６による区分け結果に基づいて画像信号を複数の画像領域に分割する領域分割部２０７とを備え、領域分割部２０７により分割された各画像領域について、着目領域の前記成分の値が該着目領域の両側に位置する対となる隣接領域の前記成分の中間の値である場合、又は過去所定回数の領域分割結果との相関性が小さい場合、ノイズ領域と判定し、ノイズ領域と判定された着目領域を例えば成分の近い隣接領域に統合する等の境界ノイズ領域処理を実施する。
【選択図】図２

Description

本発明は、画像信号を複数の画像領域に分割する画像処理装置、方法及びプログラムに関する。

色情報に基づいて画像信号を複数の画像領域に分割する処理が、主被写体の判別を目的とした被写体解析処理等で研究されている。
特許文献１では、画像信号より色相ヒストグラムを算出し、前記ヒストグラムの山型の分布範囲ごとに、画像領域を分割する技術が開示されている。
また、特許文献２では、画像信号の２つ以上の色成分別ヒストグラムを算出し、各ヒストグラムの山型の分布範囲を組み合わせて、画像領域を分割する技術が開示されている。

特開平０５−１００３２８号公報 特開２００７−１１０６３８号公報

画像領域分割処理を実際にカメラ等で実施する場合、撮影時のパンニング操作や被写体の動き等によって、着目領域における露光時間中の色変化により安定した画像領域分割が困難となることがある。その結果、分割された画像領域の境界部にノイズ領域が発生することがある。先行技術文献では、このような境界ノイズ領域の発生による弊害が発生してしまうおそれがある。

本発明は上記のような点に鑑みてなされたものであり、撮影時のパンニング操作や被写体が動いた場合等においても、境界ノイズ領域の発生による弊害を発生させることなく、画像領域の分割を行えるようにすることを目的とする。

本発明の画像処理装置は、画像信号について、いずれかの成分のヒストグラムを生成して山型の分布範囲に区分けするヒストグラム解析手段と、前記ヒストグラム解析手段による区分け結果に基づいて前記画像信号を複数の画像領域に分割する分割手段と、前記分割手段により分割された各画像領域について、着目領域の前記成分の値が該着目領域の両側に位置する対となる隣接領域の前記成分の中間の値である場合、又は過去所定回数の領域分割結果との相関性が小さい場合、ノイズ領域と判定する判定手段とを備えたことを特徴とする。

本発明によれば、撮影時のパンニング操作や被写体が動いた場合等においても、境界ノイズ領域の発生による弊害を発生させることなく、画像領域の分割を行うことが可能となる。

実施形態に係る画像処理装置として機能する撮像装置の構成を示す図である。 実施形態に係る撮像装置のデジタル信号処理部の構成を示す図である。 実施形態に係る撮像装置の撮影処理時における画像領域分割処理を示すフローチャートである。 画像のブロック分割及びヒストグラム生成を説明するための図である。 境界ノイズ領域チェックのサブルーチンのフローチャートである。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
図１は、本実施形態に係る画像処理装置として機能する撮像装置の構成を示す図である。
光学系１０１は、入射した光を固体撮像素子１０３上に結像させる。光学系制御部１０２は、光学系１０１の露出やズーム、フォーカス、光学式ブレ補正等を制御する。固体撮像素子１０３は、結像させた光学像を電気信号に変換する。撮像系制御部１０４は、固体撮像素子１０３を駆動するための制御系である。アナログ信号処理部１０５は、固体撮像素子の出力にクランプ、ゲインをかける等の処理を行う。アナログ／デジタル（Ａ／Ｄ）変換部１０６は、アナログ信号にデジタル変換を行い画像データとして出力する。本実施形態では、光学系１０１からＡ／Ｄ変換部１０６までを含めて撮像手段とし、撮像装置は、撮像手段から出力された画像データを単独、又は連続して複数フレーム記録することで静止画及び動画を撮影可能としている。

デジタル信号処理部１０７は、Ａ／Ｄ変換部１０６でＡ／Ｄ変換したデジタル信号から出力画像を生成し、現像処理を行う。内部記憶部１０８は、デジタル信号処理部１０７で出力画像を生成する際に一時的に画像データを格納する。インターフェース（Ｉ／Ｆ）部１０９は、生成した画像データを最終的に保存するための外部記憶装置とつながっている。画像表示部１１０は、生成された画像をライブ画像として表示する電子ファインダとしての機能（ＥＶＦ動作）を有する。

パンニング情報取得部１１１は、撮影時のパンニング操作の方向や速さ等のパンニング情報をジャイロセンサ等の角速度センサ又は加速度センサにより取得する。動き検出部１１２は、電子ファインダに表示するライブ画像について、連続する複数フレーム間の差分を取る等して、撮影画面中の動きのあった領域を検出する。

図２は、本実施形態に係る撮像装置のデジタル信号処理部１０７の構成を示す図である。
入力した画像信号は、輝度信号処理を施す輝度信号処理部２０１と色信号処理を施す色信号処理部２０２とを経て、被写体解析部２０３に入力される。内部記憶部１０８は、画像処理時の一時記憶用途で使われるほか、ライブ画像を画像表示部１１０に表示するＥＶＦ動作においても使われる。また、画像圧縮部２０４で圧縮して出力した画像信号をインターフェース部１０９を介して外部記憶装置に保存する。
被写体解析部２０３は、ブロック分割部２０５と、ヒストグラム解析部２０６と、領域分割部２０７とを備え、各種処理の履歴情報等必要に応じて内部記憶部１０８に一時記憶する。ブロック分割部２０５は、画像をブロックに分割する。ヒストグラム解析部２０６は、彩度ヒストグラム及び色相ヒストグラムを演算、生成して山形の分布範囲に区分けする。領域分割部２０７は、ヒストグラム解析部２０６による区分け結果に基づいて画像領域を分割する。
また、被写体解析部２０３は、後述するように、画像領域分割処理において、パンニング情報取得部１１１及び動き検出部１１２からの情報を参照して画像領域分割処理を行う。

図３は、本実施形態に係る撮像装置の撮影処理時における画像領域分割処理を示すフローチャートである。また、図４は、画像のブロック分割及びヒストグラム生成を説明するための図である。
ステップＳ３０１で、撮像手段より画像信号を取得し、輝度信号処理部２０１及び色信号処理部２０２でそれぞれ輝度信号処理及び色信号処理を行い、画像信号をＹＵＶ形式として被写体解析部２０３に出力する。
ステップＳ３０２で、ブロック分割部２０５により、図４（ａ）に示すように取得画像を所定数又は所定サイズのブロックに分割する。
ステップＳ３０３で、ヒストグラム解析部２０６により、ステップＳ３０２において分割した各ブロックについて、彩度及び色相の平均値を演算して、図４（ｂ）に示すような彩度及び色相の２次元ヒストグラムを生成する。演算内容としては、被写体解析部２０３に入力されたＹＵＶ画像信号について、ＵＶ座標系を次式によって極座標に変換する。ここで、ＵＶ座標系の原点からの距離をＤ、Ｕ軸からの角度をθとすると、次式により彩度Ｄと色相θが求めることができる。
Ｄ＝√(Ｕ²+Ｖ²)
θ＝ｔａｎ^-1(Ｖ／Ｕ)

ステップＳ３０４で、ステップＳ３０３において生成されたヒストグラムを山型の分布範囲に区分けし、領域分割部２０７により、ステップＳ３０２において分割されたブロックのグループ化を行うことで画像領域の分割を行う。ヒストグラムの区分け処理は、ノイズ成分を検出しないように平滑化処理した彩度及び色相のヒストグラムデータについて、極小値検出を行って区分けする。グループ化処理は、彩度及び色相が同じ区分けとなるブロック同士をグループ化し、画像領域分割結果とする。
ステップＳ３０５で、被写体解析部２０３は、ステップＳ３０４における画像領域分割結果を内部記憶部１０８に一時的に記憶する。

ステップＳ３０６で、被写体解析部２０３は、後述する図５のフローチャートに従って境界ノイズ領域チェックを行う。
ステップＳ３０７で、被写体解析部２０３は、着目領域が境界ノイズ領域であるか否かを判定し、境界ノイズ領域であればステップＳ３０８に進み、そうでなければステップＳ３０９に進む。
ステップＳ３０８で、被写体解析部２０３は、境界ノイズ領域の発生による弊害を防止するため、境界ノイズ領域処理を行う。具体的な処理内容としては、境界ノイズ領域と判定された着目領域を隣接領域に統合する方法がある。境界ノイズ領域と判定された着目領域を、最も色相の近い隣接領域に統合する方法、最も接触境界線の長い隣接領域に統合する方法、最もサイズ（面積）の大きい隣接領域に統合する方法、領域重心位置の最も近い隣接領域に統合する方法が挙げられる。
ステップＳ３０９で、被写体解析部２０３は、ステップＳ３０４において分割された全ての画像領域について、ステップＳ３０６における境界ノイズ領域チェックが実施されたか否かを判定する。全ての画像領域がチェック済であればステップＳ３１０に進み、そうでなければステップＳ３０６に戻る。
ステップＳ３１０で、被写体解析部２０３は、境界ノイズ領域チェック済の画像領域分割結果を内部記憶部１０８に一時的に記憶する。

以下、図５のフローチャートを参照して、図３のステップＳ３０６の境界ノイズ領域チェックのサブルーチンを説明する。図５は、図３のステップＳ３０６における境界ノイズ領域チェックのサブルーチンのフローチャートである。
ステップＳ５０１で、被写体解析部２０３は、着目領域の隣接領域を抽出する。

ステップＳ５０２で、被写体解析部２０３は、着目領域の両側に位置する対となる隣接領域を選び出す。対となる隣接領域が複数あれば、その複数を選び出す。境界ノイズ領域はある画像領域と別の画像領域との間に位置する細長い画像領域であり、着目領域が境界ノイズ領域であれば、その両側に対となる隣接領域が存在することになる。

ステップＳ５０３で、被写体解析部２０３は、ステップＳ５０２において選び出された対となる２つの隣接領域の彩度／色相と、着目領域の彩度／色相との比較を行う。ステップＳ５０２において対となる隣接領域が複数選び出されていれば、複数回の比較を行う。
ステップＳ５０４で、被写体解析部２０３は、ステップＳ５０３における彩度／色相比較において、着目領域の彩度／色相が対となる隣接領域の中間彩度、中間色相であればステップＳ５０５に進み、そうでなければステップＳ５０６に進む。中間彩度、中間色相の判定は、例えば彩度及び色相データのそれぞれについて、着目領域の値が、対となる隣接領域の２つ値の中間値であるか否か等の方式で判定する。あるいは、対となる隣接領域の彩度／色相データを２次元ヒストグラム上において直線で結び、着目領域の彩度／色相の点が前記直線上に位置するか否か等の方式で判定する。
ここまでのステップＳ５０１〜ステップＳ５０４までの処理は、撮影時のパンニング操作や被写体の動き等により元の領域境界にノイズ領域が発生した場合を考えると、発生した境界ノイズ領域の彩度／色相は元の領域の彩度／色相の中間彩度、中間色相であり、その並びはパンニング操作や被写体の動き方向に並ぶ可能性が高いことを考慮したものである。

ステップＳ５０６で、被写体解析部２０３は、着目領域の重心位置と大きさを算出する。
ステップＳ５０７で、被写体解析部２０３は、ステップＳ３０５及びステップＳ３１０において内部記憶部１０８に一時的に記憶された、過去の画像領域分割結果を読み出し、重心位置及び大きさとの観点で、現在の着目領域と相関性の高い画像領域があるか否かを判定する。具体的には、現在の着目領域の重心位置と大きさとの差分が所定値以下の画像領域が、最近の連続する過去所定回数以上の画像領域分割結果から見つかるか否かを調べればよい。
ステップＳ５０８で、被写体解析部２０３は、ステップＳ５０７における相関性比較において、所定の条件を満たさず相関性が小さければステップＳ５０５に進み、そうでなければステップＳ５０９に進む。

ステップＳ５０５で、被写体解析部２０３は、着目領域が境界ノイズ領域であるとの判定を行う一方、ステップＳ５０９で、着目領域が境界ノイズ領域ではないとの判定を行い、図３のフローチャートにリターンする。
ここまでのステップＳ５０６〜ステップＳ５０８までの処理は、時間軸で領域分割結果を判定することで、安定的なシーン変化による検出領域の変化なのか、境界ノイズ領域の発生による検出領域の変化なのか判定することが可能となる。

以上の処理を行うことで、境界ノイズ領域の検出と境界ノイズ領域検出時の再画像領域分割処理により、領域境界部のノイズ領域発生を抑えることが可能となる。

なお、ステップＳ３０６における境界ノイズ領域チェック、及びステップＳ３０８における境界ノイズ領域処理においては、パンニング情報取得部１１１及び動き検出部１１２により得られる情報を利用し、処理の簡略化や高度化を行うことが可能である。
すなわち、パンニング情報又は被写体の動き情報が得られると、上述したような中間彩度、中間色相が並ぶ可能性が高い方向を特定することができる。このため、ステップＳ３０６における境界ノイズ領域チェック処理では、処理方向を限定する等、判定基準を変更して簡略化することが可能となる。また、ステップＳ３０８における境界ノイズ領域処理では、隣接領域に統合する際に重み付けを実施する等、統合条件を変更することで、統合処理ミスの発生を低減することが可能となる。
以上説明したように、撮影時のパンニング操作や被写体が動いた場合等においても、境界ノイズ領域の発生による弊害を発生させることなく、画像領域の分割を行うことが可能となる。

なお、被写体の彩度が低かったり、画像がモノトーンであったりした場合には、輝度に基づいて、画像領域の分割と境界ノイズ領域チェックを行うようにしてもよい。具体的には、ヒストグラム解析部２０６が、各ブロックの輝度の平均値を求めて輝度の一次元ヒストグラムを生成し、このヒストグラムの分布に基づいて、輝度の区分けを行う。そして、領域分割部２０７が、この区分けに従って画像領域の分割を行う。そして、被写体解析部２０３が、着目領域の輝度の値が、対となる隣接領域の２つの値の中間値であった場合、及び、過去所定回数の領域分割結果との相関性が小さい場合のいずれかを満たす場合に、ノイズ領域と判定すればよい。

また、輝度に限らず、Ｒ（赤）、Ｇ（緑）、及びＢ（青）の色信号からなるベイヤー画像に対しても、同様の処理を行うことが可能である。まずＲＧＢの３次元ヒストグラムを生成して画像領域の分割を行い、このＲＧＢの色信号の値との相関性に基づいて、上述のようなノイズ領域の判定を行うようにしてもよい。すなわち、画像から何らかの成分を抽出してヒストグラムを生成し、画像領域の分割を行う構成であれば、本発明を適用することが可能である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１・・・光学系、１０２・・・光学系制御部、１０３・・・撮像素子、１０４・・・撮像系制御部、１０５・・・アナログ信号処理部、１０６・・・Ａ／Ｄ変換部、１０７・・・デジタル信号処理部、１０８・・・内部記憶部、１０９・・・インターフェース部、１１０・・・画像表示部、１１１・・・パンニング情報取得部、１１２・・・動き検出部、２０１・・・輝度信号処理部、２０２・・・色信号処理部、２０３・・・被写体解析部、２０４・・・画像圧縮部、２０５・・・ブロック分割部、２０６・・・ヒストグラム解析部、２０７・・・領域分割部

Claims (9)

1. 画像信号について、いずれかの成分のヒストグラムを生成して山型の分布範囲に区分けするヒストグラム解析手段と、
   前記ヒストグラム解析手段による区分け結果に基づいて前記画像信号を複数の画像領域に分割する分割手段と、
   前記分割手段により分割された各画像領域について、着目領域の前記成分の値が該着目領域の両側に位置する対となる隣接領域の前記成分の中間の値である場合、又は過去所定回数の領域分割結果との相関性が小さい場合、ノイズ領域と判定する判定手段とを備えたことを特徴とする画像処理装置。
2. 前記分割手段は、前記判定手段によりノイズ領域と判定された着目領域を、最も前記成分の近い隣接領域、最も接触境界線の長い隣接領域、又は最もサイズの大きい隣接領域に統合する統合処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像信号は撮影により得られるものであり、
   前記画像信号の撮影時のパンニング情報を取得するパンニング情報取得手段をさらに備え、
   前記パンニング情報取得手段により取得したパンニング情報により、前記判定手段によるノイズ領域の判定基準を変更することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像信号は撮影により得られるものであり、
   前記画像信号の撮影時のパンニング情報を取得するパンニング情報取得手段をさらに備え、
   前記パンニング情報取得手段により取得したパンニング情報により、前記統合処理における統合条件を変更することを特徴とする請求項２に記載の画像処理装置。
5. 前記画像信号は撮影により得られるものであり、
   前記画像信号の被写体の動きを検出する動き検出手段をさらに備え、
   前記動き検出手段により検出した被写体の動き情報により、前記判定手段によるノイズ領域の判定基準を変更することを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記画像信号は撮影により得られるものであり、
   前記画像信号の被写体の動きを検出する動き検出手段をさらに備え、
   前記動き検出手段により検出した被写体の動き情報により、前記統合処理における統合条件を変更することを特徴とする請求項２に記載の画像処理装置。
7. 前記成分は、彩度、色相、輝度、及び色信号の少なくともいずれかであることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 画像信号について、いずれかの成分のヒストグラムを生成して山型の分布範囲に区分けするステップと、
   前記区分け結果に基づいて前記画像信号を複数の画像領域に分割するステップと、
   前記分割された各画像領域について、着目領域の前記成分の値が該着目領域の両側に位置する対となる隣接領域の前記成分の中間の値である場合、又は過去所定回数の領域分割結果との相関性が小さい場合、ノイズ領域と判定するステップとを有することを特徴とする画像処理方法。
9. 画像信号について、いずれかの成分のヒストグラムを生成して山型の分布範囲に区分けするヒストグラム解析手段と、
   前記ヒストグラム解析手段による区分け結果に基づいて前記画像信号を複数の画像領域に分割する分割手段と、
   前記分割手段により分割された各画像領域について、着目領域の前記成分の値が該着目領域の両側に位置する対となる隣接領域の前記成分の中間の値である場合、又は過去所定回数の領域分割結果との相関性が小さい場合、ノイズ領域と判定する判定手段としてコンピュータを機能させるためのプログラム。

Images