JP2005202567A - 画像処理方法、画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】画像の領域分割、あるいは、主要な被写体領域の抽出を行う際に、高速かつ簡単に領域境界を抽出する。
【解決手段】全画素について、隣接画素間の信号値差に関する水平エッジ情報a(i,j)、垂直エッジ情報b(i,j)、右上がり斜めエッジ情報c(i,j)、右下がり斜めエッジ情報d(i,j)を算出する。これらの情報に基づいて、画像注目点を中心とした近傍領域におけるエッジ方向及びエッジ位置を抽出し、領域境界を抽出する。
【選択図】図３

Description

本発明は、画像から領域境界を抽出する画像処理方法、画像処理装置及び画像処理プログラムに関する。

被写体をフィルムカメラで撮影し、現像処理を施した画像をスキャナで取得したり、デジタルスチルカメラで撮影した画像情報を取得したりして入力画像情報を取得し、これに各種画像処理を施してプリントアウトやモニタ表示を行い、またＣＤ−Ｒ（Compact Disc-Recordable）等の記録メディアに保存する画像処理システムが普及している。

画像処理には各種の方法があるが、その中でも、画像中の主要被写体や、画像再現の上で重要な領域を抽出し、その抽出結果に応じて画像処理を行う方法が、画像を好ましく再現するために有効である。領域抽出にはいろいろな方法が考えられるが、一つの有効な方法として、領域の縁を示す領域境界を抽出し、領域境界で閉じた領域を抽出する方法がある。

この領域境界の抽出法の一例として、ラインプロセスと呼ばれる方法が知られている。ラインプロセスとは、画像情報として、平面に直交配置されている画素の上下及び左右における隣接画素との境界に仮想的なラインを定義し（各画素に対して上下左右の４方向に定義することができる。）、この仮想ラインを挟む隣接画素間の信号値（例えば、輝度、色相、彩度等の値。）の差分を計算し、その値が予め決められた閾値より大きいときに、この隣接画素間に境界があるとする考え方である。隣接画素間の仮想ラインに、境界候補となるラインが連続することによって、領域境界が抽出される。

しかし、実際には各々の画素についてこのような判定を行った場合、境界候補ラインが連続して得られるとは限らない。閾値を小さく設定すると、１つの画像境界に対して複数の平行、直交した境界候補ラインが発生してしまい、また、閾値を大きく設定すると、境界候補ラインが部分的にしか発生しない場合が多く、領域境界の抽出に利用することができない。

そこで、ある１つの仮想ラインの近傍に存在する仮想ラインの信号値の関係に応じて、この仮想ラインが境界であるか否かを判別する方法が提案されている。例えば、１つの仮想ラインの一端に連接する３つの仮想ラインの信号値の状態によって、この仮想ラインが境界であるか否かを評価する方法がある（例えば、特許文献１、２参照。）。この評価方法として、特許文献１ではニューラルネットワークを用い、特許文献２ではファジー演算を行っている。さらに、特許文献１では、仮想ラインに平行な仮想ラインとの関係も含めて評価を行っている。
特開平８−２２１５６７号公報 特開２００１−７６１６０号公報

しかし、画像の中から抽出すべき領域として、人物の顔（すなわち頭部）は回転楕円体に近い立体であるため、これを二次元画像上に撮像した画像では、顔の輪郭部の焦点が合っていなかったり、影の部分がグラデーション状に拡がっていたり、はっきりとした輪郭ではない場合が多い。また、画像入力系に用いられる結像レンズの残存収差等に起因して、はっきりした輪郭がにじんでしまう場合もある。これらを含め、領域境界（エッジ）ににじみが存在する場合、１つの輪郭に対応する変化が複数の画素にまたがって現れるため、従来技術で評価対象としている評価領域を超えた範囲で隣接画素間の信号値差が大きい状態が発生し、正しい評価が得られないという問題があった。

また、評価領域をさらに広げると、特許文献１、２に記載のような連結状態の場合分け処理における条件分岐が膨大となり、実用的ではなかった。また、特許文献１、２に記載されているような微小領域の評価を再帰的に繰り返し、評価結果の影響範囲を広げることも考えられるが、これをコンピュータに計算させるためには、再帰的アルゴリズムが必要となり、これも画像処理時間上、実用的でなかった。

本発明は上記の従来技術における問題に鑑みてなされたものであって、画像の領域分割、あるいは、主要な被写体領域の抽出を行う際に、高速かつ簡単に領域境界を抽出することができる画像処理方法、画像処理装置及び画像処理プログラムを提供することを課題とする。

請求項１に記載の発明は、画像処理方法において、画像を構成する格子状に配置された画素の一の連続方向における隣接画素間の信号値差に関する第１の信号値差情報と、前記一の連続方向と直交する他の連続方向における隣接画素間の信号値差に関する第２の信号値差情報と、前記一の連続方向と前記他の連続方向との間の２つの斜め方向における隣接画素間の信号値差に関する第３の信号値差情報及び第４の信号値差情報と、を各々の隣接画素間について算出し、画像注目点を中心とした近傍領域における前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報に基づいて、前記近傍領域における領域境界を抽出することを特徴としている。

請求項２に記載の発明は、請求項１に記載の画像処理方法において、各位置に対応する前記第３の信号値差情報と前記第４の信号値差情報との差分情報を算出し、前記近傍領域における前記差分情報と、前記第１の信号値差情報及び前記第２の信号値差情報に基づいて、前記近傍領域内に存在する領域境界の方向を検出することを特徴としている。

請求項３に記載の発明は、請求項１又は２に記載の画像処理方法において、前記近傍領域の大きさを表す領域サイズを複数設定して、その各々の領域サイズの近傍領域について前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報の統計量を算出し、前記領域サイズ毎の統計量の変化に基づいて、領域境界の特性を評価することを特徴としている。

請求項４に記載の発明は、画像処理方法において、画像を構成する格子状に配置された画素の一の連続方向における隣接画素間の信号値差に関する第１の信号値差情報と、前記一の連続方向と直交する他の連続方向における隣接画素間の信号値差に関する第２の信号値差情報と、前記一の連続方向と前記他の連続方向との間の２つの斜め方向における隣接画素間の信号値差に関する第３の信号値差情報及び第４の信号値差情報と、を各々の隣接画素間について算出し、画像注目点を中心とした近傍領域の大きさを表す領域サイズを複数設定して、その各々の領域サイズの近傍領域について前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報の統計量を算出し、前記領域サイズ毎の統計量の変化に基づいて、領域境界の特性を評価することを特徴としている。

請求項５に記載の発明は、画像処理装置において、画像を構成する格子状に配置された画素の一の連続方向における隣接画素間の信号値差に関する第１の信号値差情報と、前記一の連続方向と直交する他の連続方向における隣接画素間の信号値差に関する第２の信号値差情報と、前記一の連続方向と前記他の連続方向との間の２つの斜め方向における隣接画素間の信号値差に関する第３の信号値差情報及び第４の信号値差情報と、を各々の隣接画素間について算出する信号値差情報算出手段と、画像注目点を中心とした近傍領域における前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報に基づいて、前記近傍領域における領域境界を抽出する領域境界抽出手段と、を備えたことを特徴としている。

請求項６に記載の発明は、請求項５に記載の画像処理装置において、各位置に対応する前記第３の信号値差情報と前記第４の信号値差情報との差分情報を算出する差分情報算出手段と、前記近傍領域における前記差分情報と、前記第１の信号値差情報及び前記第２の信号値差情報に基づいて、前記近傍領域内に存在する領域境界の方向を検出する領域境界方向検出手段と、を備えたことを特徴としている。

請求項７に記載の発明は、請求項５又は６に記載の画像処理装置において、前記近傍領域の大きさを表す領域サイズを複数設定して、その各々の領域サイズの近傍領域について前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報の統計量を算出する統計量算出手段と、前記領域サイズ毎の統計量の変化に基づいて、領域境界の特性を評価する領域境界特性評価手段と、を備えたことを特徴としている。

請求項８に記載の発明は、画像処理装置において、画像を構成する格子状に配置された画素の一の連続方向における隣接画素間の信号値差に関する第１の信号値差情報と、前記一の連続方向と直交する他の連続方向における隣接画素間の信号値差に関する第２の信号値差情報と、前記一の連続方向と前記他の連続方向との間の２つの斜め方向における隣接画素間の信号値差に関する第３の信号値差情報及び第４の信号値差情報と、を各々の隣接画素間について算出する信号値差情報算出手段と、画像注目点を中心とした近傍領域の大きさを表す領域サイズを複数設定して、その各々の領域サイズの近傍領域について前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報の統計量を算出する統計量算出手段と、前記領域サイズ毎の統計量の変化に基づいて、領域境界の特性を評価する領域境界特性評価手段と、を備えたことを特徴としている。

請求項９に記載の発明は、コンピュータに、画像を構成する格子状に配置された画素の一の連続方向における隣接画素間の信号値差に関する第１の信号値差情報と、前記一の連続方向と直交する他の連続方向における隣接画素間の信号値差に関する第２の信号値差情報と、前記一の連続方向と前記他の連続方向との間の２つの斜め方向における隣接画素間の信号値差に関する第３の信号値差情報及び第４の信号値差情報と、を各々の隣接画素間について算出する機能と、画像注目点を中心とした近傍領域における前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報に基づいて、前記近傍領域における領域境界を抽出する機能と、を実現させるための画像処理プログラムである。

請求項１０に記載の発明は、請求項９に記載の画像処理プログラムにおいて、前記コンピュータに、各位置に対応する前記第３の信号値差情報と前記第４の信号値差情報との差分情報を算出する機能と、前記近傍領域における前記差分情報と、前記第１の信号値差情報及び前記第２の信号値差情報に基づいて、前記近傍領域内に存在する領域境界の方向を検出する機能と、を実現させるための画像処理プログラムである。

請求項１１に記載の発明は、請求項９又は１０に記載の画像処理プログラムにおいて、前記コンピュータに、前記近傍領域の大きさを表す領域サイズを複数設定して、その各々の領域サイズの近傍領域について前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報の統計量を算出する機能と、前記領域サイズ毎の統計量の変化に基づいて、領域境界の特性を評価する機能と、を実現させるための画像処理プログラムである。

請求項１２に記載の発明は、コンピュータに、画像を構成する格子状に配置された画素の一の連続方向における隣接画素間の信号値差に関する第１の信号値差情報と、前記一の連続方向と直交する他の連続方向における隣接画素間の信号値差に関する第２の信号値差情報と、前記一の連続方向と前記他の連続方向との間の２つの斜め方向における隣接画素間の信号値差に関する第３の信号値差情報及び第４の信号値差情報と、を各々の隣接画素間について算出する機能と、画像注目点を中心とした近傍領域の大きさを表す領域サイズを複数設定して、その各々の領域サイズの近傍領域について前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報の統計量を算出する機能と、前記領域サイズ毎の統計量の変化に基づいて、領域境界の特性を評価する機能と、を実現させるための画像処理プログラムである。

請求項１、５、９に記載の発明によれば、画像を構成する格子状に配置された画素の一の連続方向における隣接画素間の信号値差に関する第１の信号値差情報と、一の連続方向と直交する他の連続方向における隣接画素間の信号値差に関する第２の信号値差情報と、一の連続方向と他の連続方向との間の２つの斜め方向における隣接画素間の信号値差に関する第３の信号値差情報及び第４の信号値差情報と、を各々の隣接画素間について算出し、画像注目点を中心とした近傍領域における第１の信号値差情報、第２の信号値差情報、第３の信号値差情報及び第４の信号値差情報に基づいて、近傍領域における領域境界を抽出するので、４方向の領域境界に対応することができ、高速かつ簡単に領域境界を抽出することができる。

請求項２、６、１０に記載の発明によれば、各位置に対応する第３の信号値差情報と第４の信号値差情報との差分情報を算出し、近傍領域における差分情報と、第１の信号値差情報及び第２の信号値差情報に基づいて、近傍領域内に存在する領域境界の方向を検出するので、検出された領域境界の方向に応じた領域境界の決定法を用いることができ、簡単に好ましい結果が得られる。

請求項３、７、１１に記載の発明によれば、近傍領域の大きさを表す領域サイズを複数設定して、その各々の領域サイズの近傍領域について第１の信号値差情報、第２の信号値差情報、第３の信号値差情報及び第４の信号値差情報の統計量を算出し、領域サイズ毎の統計量の変化に基づいて、領域境界の特性を評価するので、領域境界の特性に基づいて領域境界を抽出することができる。

請求項４、８、１２に記載の発明によれば、画像を構成する格子状に配置された画素の一の連続方向における隣接画素間の信号値差に関する第１の信号値差情報と、一の連続方向と直交する他の連続方向における隣接画素間の信号値差に関する第２の信号値差情報と、一の連続方向と他の連続方向との間の２つの斜め方向における隣接画素間の信号値差に関する第３の信号値差情報及び第４の信号値差情報と、を各々の隣接画素間について算出し、画像注目点を中心とした近傍領域の大きさを表す領域サイズを複数設定して、その各々の領域サイズの近傍領域について第１の信号値差情報、第２の信号値差情報、第３の信号値差情報及び第４の信号値差情報の統計量を算出し、領域サイズ毎の統計量の変化に基づいて、領域境界の特性を評価するので、にじみのある領域境界についても、高速かつ簡単に領域境界を抽出することができる。

以下、図面を参照して、本発明の実施の形態における画像処理装置１について説明する。ただし、発明の範囲は、図示例に限定されない。

図１に、本実施の形態の画像処理装置１の機能的構成を示す。
図１に示すように、画像処理装置１は、画像入力部１０、画像処理部２０、画像出力部３０、画像プリント部４０、画像表示部５０、メディア書き込み部６０を備える。

画像入力部１０は、アナログカメラにより撮像され、ネガフィルムを現像して得られた現像済み写真フィルムからフィルムスキャナ１１を用いて画像情報を取得するか、あるいは、デジタルスチルカメラで撮影された画像情報をカメラから直接、又は、画像記録メディアから取得する。

画像処理部２０は、図示しないＣＰＵと、ＲＯＭ等の記憶部に記憶されている画像処理プログラムとの協働により実現され、画像情報に対して各種画像処理を行う。画像処理部２０は、前処理部２１、領域抽出処理部２２、領域抽出結果評価部２３、評価結果反映部２４から構成される。

前処理部２１は、画像情報に対して領域抽出を行いやすくするための処理を行う。例えば、ネガフィルム画像のネガポジ反転処理や、画像コントラストの整合処理、仮の階調調整処理等、画像メディア種によらず、以降の処理を一定の方法で行えるようにする処理が含まれる。

領域抽出処理部２２は、信号値差情報算出手段、差分情報算出手段、統計量算出手段、領域境界方向検出手段、領域境界抽出手段及び領域境界特性評価手段としての機能を有しており、本発明における画像処理方法に基づいて領域境界の抽出を行い、対象候補領域を抽出する（図２参照）。領域抽出対象は、人物の顔の他、人物全体、空、海、植物の緑等、目的に応じて選択可能である。これら対象に応じて、用いる画像信号情報を選択すればよい。例えば、肌色に敏感な色情報（例えば色相情報）を用いて領域分割された各々の領域を、肌色を含む顔候補領域とする。

領域抽出結果評価部２３は、領域抽出処理部２２により抽出された候補領域が、目的の領域（例えば人物の顔領域）であるか否かを判定する。判定方法は、特に限定されるものではなく、一般的な被写体判定方法を用いればよい。例えば、人物の顔の場合、候補領域内の輝度情報と、一般的な顔パターンのテンプレート情報とのテンプレートマッチングを行うことにより、顔領域であるか否かを判定してもよい。また、顔領域に付随する周辺領域の輝度エッジを抽出する等して、胴体の有無を判定してもよい。また、顔候補領域に対する目及び口の面積率に基づいて顔であるか否かを判定することとしてもよい。

評価結果反映部２４は、領域抽出結果評価部２３により判定された判定結果に応じて画像処理を行う。例えば、顔画像の場合、肌領域の明るさ調整や鮮鋭性、粒状性の調整を行うことにより、好ましい画像形成を行うことが可能となる。この場合、顔領域の特性に合わせて画像全体の調子を変えてもよく、また、顔領域以外の画像を調整したくない場合は、顔領域のみの限定処理を行うことも可能である。

画像出力部３０は画像処理部２０により画像処理を施された画像情報を画像プリント部４０、画像表示部５０又はメディア書き込み部６０へ出力する。

画像プリント部４０は、感光材料に画像の露光を行い、露光された感光材料を現像処理して乾燥させ、写真プリントを作成する。

画像表示部５０は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）パネル等により構成され、画像を表示画面に表示する。

メディア書き込み部６０は、画像情報を画像記録メディアに書き込む。画像記録メディアとしては、ＣＤ−Ｒ（Compact Disk-Recordable）、ＤＶＤ−Ｒ（Digital Versatile Disk-Recordable）、フロッピーディスク（登録商標）、ＭＯ等が挙げられる。

次に、画像処理装置１における動作について説明する。
図２は、領域抽出処理部２２において実行される領域抽出処理を示すフローチャートである。

まず、画像入力部１０から入力画像情報が取得され（ステップＳ１）、前処理部２１で境界評価用の画像信号値に変換される（ステップＳ２）。入力される画像情報は、図３（ａ）に示すように、二次元平面に格子状に配置された画素によって構成されており、各画素に信号値が定義されている。信号値は、目的とする領域境界を求めるのにふさわしい信号値を用いればよい。例えば、カラー画像から人物の肌領域を抽出する場合には、色相情報（例えば、ＨＳＶ表色系のＨ軸情報）や、肌色の変化に敏感な座標信号（例えば、ＹＩＱ表色系のＩ軸情報）を用いてもよいし、さらに、逆光シーンや夜間ストロボシーンにおける人物領域を抽出する場合には輝度情報を用いてもよいし、花や果物等の色物を抽出する場合には彩度情報を用いてもよい。また、これらの情報に関連する情報であってもよい。

次に、画像を構成する画素が抽出される（ステップＳ３）。
図３（ｂ）に示すように、画素の一の連続方向をＹ方向、Ｙ方向と直交する他の連続方向をＸ方向として、Ｙ方向に隣接する画素間の仮想的なラインを水平ライン、Ｘ方向に隣接する画素間の仮想的なラインを垂直ラインと定義する。また、図３（ｂ）におけるＸ方向とＹ方向との間の２つの斜め方向のうち、左上の画素と右下の画素の画素間の仮想的なラインを右上がり斜めライン、右上の画素と左下の画素の画素間の仮想的なラインを右下がり斜めラインと定義する。

各画素における信号値をS(i,j)とする。抽出された画素について、Ｙ方向における隣接画素間の信号値差に関する第１の信号値差情報（以下、「水平エッジ情報」という。）a(i,j)、Ｘ方向における隣接画素間の信号値差に関する第２の信号値差情報（以下、「垂直エッジ情報」という。）b(i,j)が算出される（ステップＳ４）。また、右上がり斜めラインを挟む右下がり斜めライン方向における隣接画素間の信号値差に関する第３の信号値差情報（以下、「右上がり斜めエッジ情報」という。）c(i,j)、右下がり斜めラインを挟む右上がり斜めライン方向における隣接画素間の信号値差に関する第４の信号値差情報（以下、「右下がり斜めエッジ情報」という。）d(i,j)が算出される（ステップＳ５）。水平エッジ情報a(i,j)、垂直エッジ情報b(i,j)、右上がり斜めエッジ情報c(i,j)、右下がり斜めエッジ情報d(i,j)は、下記式（１）〜（４）のように定義される。

ただし、f(x)は閾値をp（p＞０）として、

である。

例えば、水平エッジ情報a(i,j)は、水平ラインを挟むＹ方向における隣接画素間の信号値S(i,j)とS(i,j+1)の差の絶対値を算出し、この値が閾値pより大きい場合には差の絶対値から閾値pを引いた値、この値が閾値p以下の場合には０となる。

また、各位置に対応する右上がり斜めエッジ情報c(i,j)と右下がり斜めエッジ情報d(i,j)との差分情報として、下記式（６）で定義される斜めエッジ比較情報e(i,j)が算出される（ステップＳ６）。

ただし、g(x)は閾値をq（q＞０）として、

である。

全画素に対して、水平エッジ情報a(i,j)、垂直エッジ情報b(i,j)、右上がり斜めエッジ情報c(i,j)、右下がり斜めエッジ情報d(i,j)、斜めエッジ比較情報e(i,j)が算出されていない場合には（ステップＳ７；ＮＯ）、ステップＳ３〜ステップＳ６の処理が繰り返される。

全画素に対して、水平エッジ情報a(i,j)、垂直エッジ情報b(i,j)、右上がり斜めエッジ情報c(i,j)、右下がり斜めエッジ情報d(i,j)、斜めエッジ比較情報e(i,j)が算出された場合には（ステップＳ７；ＹＥＳ）、画像上に境界評価の中心位置となる画像注目点が設定される（ステップＳ８）。画像注目点は、画素であってもよいし、画素の中間の位置であってもよい。

次に、境界評価の範囲となる近傍領域の大きさを表す領域サイズとして、半径rが設定される（ステップＳ９）。画像注目点を中心とした半径rの近傍領域が境界評価の範囲となる。半径rの初期値は、目的とする対象の性質や、想定する大きさに応じて適宜設定すればよい。例えば、人物の顔の場合、予め抽出すべき顔サイズを
（顔サイズ）＝（画像の縦サイズ＋画像の横サイズ）／（円近似した顔領域の直径）
と定義した場合に、２０＜顔サイズ＜４０であると想定して、その際に、人物の顔の輪郭を表すエッジを十分にまたぐサイズのr（想定される最大の顔を円近似した際の直径の１／５を２rとする等。）を設定する。

そして、画像注目点を中心とした半径rの近傍領域内において、水平・垂直エッジ統計情報と、斜めエッジ統計情報とが算出される（ステップＳ１０）。

水平・垂直エッジ統計情報とは、近傍領域内の水平エッジ情報a(i,j)の平均値（以下、「水平エッジ平均値」という。）a₀、垂直エッジ情報b(i,j)の平均値（以下、「垂直エッジ平均値」という。）b₀、これらの平均値差a₀−b₀、水平エッジ情報a(i,j)の分散σ_a ²、垂直エッジ情報b(i,j)の分散σ_b ²、をいう。

また、斜めエッジ統計情報とは、近傍領域内の斜めエッジ比較情報e(i,j)が０である比率、正の値である比率、負の値である比率、右上がり斜めエッジ情報c(i,j)の分散σ_c ²、右下がり斜めエッジ情報d(i,j)の分散σ_d ²、をいう。

水平・垂直エッジ統計情報及び斜めエッジ統計情報に基づいて、近傍領域内に存在する領域境界（エッジ）の方向を推定することができる。

例えば、斜めエッジ比較情報e(i,j)が０である比率が予め定められた閾値以上であって、かつ、水平エッジ平均値a₀が垂直エッジ平均値b₀より大きい場合には、水平ライン方向（Ｘ方向）のエッジが存在すると推定される。また、斜めエッジ比較情報e(i,j)が０である比率が予め定められた閾値以上であって、かつ、垂直エッジ平均値b₀が水平エッジ平均値a₀より大きい場合には、垂直ライン方向（Ｙ方向）のエッジが存在すると推定される。

また、斜めエッジ比較情報e(i,j)が正の値である比率が予め定められた閾値以上である場合には、右上がり斜めライン方向のエッジが存在すると推定される。斜めエッジ比較情報e(i,j)が負の値である比率が予め定められた閾値以上である場合には、右下がり斜めライン方向のエッジが存在すると推定される。

上記組み合わせに該当しない場合には、複数のエッジが存在する、又は近傍領域内に単純な境界ではない構造が含まれる等、安定したエッジ情報が存在しないと考えられる。この場合、近傍領域を決定する半径rをより小さく設定して上記組み合わせのような条件に該当すれば、よりにじみの少ない、輪郭のはっきりしたエッジが存在することがわかる。

また、水平エッジ情報a(i,j)の分散σ_a ²、垂直エッジ情報b(i,j)の分散σ_b ²、右上がり斜めエッジ情報c(i,j)の分散σ_c ²、右下がり斜めエッジ情報d(i,j)の分散σ_d ²が予め定められた値より小さい場合には、一様なグラデーションが拡がっている場合や、エッジを示す構造が現れていない場合等、半径rが十分な大きさではないことが考えられる。この場合には、近傍領域を決定する半径rをより大きく設定することにより、はっきりしない輪郭の特性を捉えることができる。

このように、水平・垂直エッジ統計情報と、斜めエッジ統計情報とに基づいて、半径rの大きさが妥当であるか否かが評価される（ステップＳ１１）。半径rの大きさが妥当でない場合には（ステップＳ１１；ＮＯ）、再び異なる半径rを設定し直して処理が行われる。

各画像注目点に対して、大きさが妥当であると判断された半径rは、対象とする領域の領域境界がはっきりした境界である、あるいは、ぼやけた境界である等の領域境界の特性を示す。

半径rの大きさが妥当であった場合には（ステップＳ１１；ＹＥＳ）、近傍領域内にエッジが存在するか否かが判断される（ステップＳ１２）。上述したように、エッジ方向を推定する他、斜めエッジ比較情報e(i,j)が０である比率が予め定められた閾値以上であって、水平エッジ平均値a₀と垂直エッジ平均値b₀の大きさにほとんど差がない場合には、エッジは存在しないものと推定することができる。

近傍領域内にエッジが存在すると判断された場合には（ステップＳ１２；ＹＥＳ）、エッジの方向が検出され（ステップＳ１３）、エッジの位置が抽出される（ステップＳ１４）。水平ライン方向（Ｘ方向）のエッジが存在する場合には、近傍領域内の水平エッジ情報a(i,j)が最大となる位置がエッジとして抽出される。垂直ライン方向（Ｙ方向）のエッジが存在する場合には、近傍領域内の垂直エッジ情報b(i,j)が最大となる位置がエッジとして抽出される。また、右上がり斜めライン方向のエッジが存在する場合には、近傍領域内の右上がり斜めエッジ情報c(i,j)が最大となる位置がエッジとして抽出され、右下がり斜めライン方向のエッジが存在する場合には、近傍領域内の右下がり斜めエッジ情報d(i,j)が最大となる位置がエッジとして抽出される。

そして、全ての領域に対して処理が終了したか否かが判断され（ステップＳ１５）、全ての領域に対して処理が終了していない場合には（ステップＳ１５；ＮＯ）、別の画像注目点についてステップＳ８〜ステップＳ１４の処理が繰り返される。画像注目点の位置は、１画素ずつ動かしていってもよいが、微小な移動では同じ位置の同じ方向のエッジを重ねて抽出することになるので、処理を効率化するには、前の画像注目点から、前述の近傍領域の半径rに対応して、r〜２r程度離れた位置に、次の画像注目点を設定することとしてもよい。

全ての領域に対して処理が終了すると（ステップＳ１５；ＹＥＳ）、抽出されたエッジ位置を連結した線が領域境界となり、閉領域が生成される（ステップＳ１６）。
以上で、領域抽出処理が終了する。

以上のように、画像注目点を中心とした近傍領域における水平エッジ情報a(i,j)、垂直エッジ情報b(i,j)、右上がり斜めエッジ情報c(i,j)、右下がり斜めエッジ情報d(i,j)に基づいて、近傍領域における領域境界を抽出するので、４方向の領域境界に対応することができ、高速かつ簡単に領域境界を抽出することができる。また、目的とする領域境界がはっきりしていない場合でも、良好な領域境界抽出を行うことができる。

また、近傍領域における斜めエッジ比較情報e(i,j)と、水平エッジ平均値a₀及び垂直エッジ平均値b₀に基づいて、近傍領域内に存在する領域境界の方向を検出するので、検出された領域境界の方向に応じた領域境界の決定法を用いることができ、簡単に好ましい結果が得られる。

また、近傍領域の大きさを表す領域サイズとして設定する半径rを変更して、その各々の領域サイズの近傍領域について水平エッジ情報a(i,j)、垂直エッジ情報b(i,j)、右上がり斜めエッジ情報c(i,j)、右下がり斜めエッジ情報d(i,j)の統計量を算出し、領域サイズ毎の統計量の変化に基づいて、にじみやボケ等の領域境界の特性を評価するので、領域境界の特性に基づいて領域境界を抽出することができる。

例えば、輪郭がはっきりしない領域境界については、半径rを適宜大きくすることによって、領域境界の存在位置を求めることができる。また、近傍領域内の水平エッジ情報a(i,j)、垂直エッジ情報b(i,j)、右上がり斜めエッジ情報c(i,j)、右下がり斜めエッジ情報d(i,j)が最大となる位置を求めるという簡単な処理によってエッジの位置が決まるため、処理時間を短縮することができる。

また、評価結果反映部２４において対象領域のみに特定の画像処理を行う場合、領域境界部の処理については、その結果を領域境界のr値に対応した割合で処理を行うことにより、自然で好ましい画像処理結果が得られる。例えば、ポートレート画像の顔部分のみに特殊処理（お化粧処理、しわ取り処理、色白化処理等）を施す場合においても、領域境界のボケの度合いに応じた画像処理を行うことができる。

なお、近傍領域内のエッジ方向が水平ライン方向、垂直ライン方向、右上がり斜めライン方向、又は右下がり斜めライン方向のうち１つに決まらない場合は、２つのエッジ候補の中間の方向をエッジ方向として検出することとしてもよい。また、同様に、エッジの位置についても、各エッジ方向に対応するエッジ情報（水平ライン方向のエッジの場合には水平エッジ情報a(i,j)）が最大となる位置の中間をエッジの位置として抽出することとしてもよい。

また、水平エッジ情報a(i,j)、垂直エッジ情報b(i,j)、右上がり斜めエッジ情報c(i,j)、右下がり斜めエッジ情報d(i,j)のばらつき状態を示す情報として分散に替えて、平均偏差、標準偏差等を用いてもよい。

本実施の形態の画像処理装置１の機能的構成を示すブロック図である。 領域抽出処理部２２において実行される領域抽出処理を示すフローチャートである。 画像を構成する画素の配置を説明するための図である。

符号の説明

１ 画像処理装置
１０ 画像入力部
１１ フィルムスキャナ
２０ 画像処理部
２１ 前処理部
２２ 領域抽出処理部
２３ 領域抽出結果評価部
２４ 評価結果反映部
３０ 画像出力部
４０ 画像プリント部
５０ 画像表示部
６０ メディア書き込み部

Claims (12)

1. 画像を構成する格子状に配置された画素の一の連続方向における隣接画素間の信号値差に関する第１の信号値差情報と、前記一の連続方向と直交する他の連続方向における隣接画素間の信号値差に関する第２の信号値差情報と、前記一の連続方向と前記他の連続方向との間の２つの斜め方向における隣接画素間の信号値差に関する第３の信号値差情報及び第４の信号値差情報と、を各々の隣接画素間について算出し、
   画像注目点を中心とした近傍領域における前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報に基づいて、前記近傍領域における領域境界を抽出することを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法において、
   各位置に対応する前記第３の信号値差情報と前記第４の信号値差情報との差分情報を算出し、
   前記近傍領域における前記差分情報と、前記第１の信号値差情報及び前記第２の信号値差情報に基づいて、前記近傍領域内に存在する領域境界の方向を検出することを特徴とする画像処理方法。
3. 請求項１又は２に記載の画像処理方法において、
   前記近傍領域の大きさを表す領域サイズを複数設定して、その各々の領域サイズの近傍領域について前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報の統計量を算出し、
   前記領域サイズ毎の統計量の変化に基づいて、領域境界の特性を評価することを特徴とする画像処理方法。
4. 画像を構成する格子状に配置された画素の一の連続方向における隣接画素間の信号値差に関する第１の信号値差情報と、前記一の連続方向と直交する他の連続方向における隣接画素間の信号値差に関する第２の信号値差情報と、前記一の連続方向と前記他の連続方向との間の２つの斜め方向における隣接画素間の信号値差に関する第３の信号値差情報及び第４の信号値差情報と、を各々の隣接画素間について算出し、
   画像注目点を中心とした近傍領域の大きさを表す領域サイズを複数設定して、その各々の領域サイズの近傍領域について前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報の統計量を算出し、
   前記領域サイズ毎の統計量の変化に基づいて、領域境界の特性を評価することを特徴とする画像処理方法。
5. 画像を構成する格子状に配置された画素の一の連続方向における隣接画素間の信号値差に関する第１の信号値差情報と、前記一の連続方向と直交する他の連続方向における隣接画素間の信号値差に関する第２の信号値差情報と、前記一の連続方向と前記他の連続方向との間の２つの斜め方向における隣接画素間の信号値差に関する第３の信号値差情報及び第４の信号値差情報と、を各々の隣接画素間について算出する信号値差情報算出手段と、
   画像注目点を中心とした近傍領域における前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報に基づいて、前記近傍領域における領域境界を抽出する領域境界抽出手段と、
   を備えたことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   各位置に対応する前記第３の信号値差情報と前記第４の信号値差情報との差分情報を算出する差分情報算出手段と、
   前記近傍領域における前記差分情報と、前記第１の信号値差情報及び前記第２の信号値差情報に基づいて、前記近傍領域内に存在する領域境界の方向を検出する領域境界方向検出手段と、
   を備えたことを特徴とする画像処理装置。
7. 請求項５又は６に記載の画像処理装置において、
   前記近傍領域の大きさを表す領域サイズを複数設定して、その各々の領域サイズの近傍領域について前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報の統計量を算出する統計量算出手段と、
   前記領域サイズ毎の統計量の変化に基づいて、領域境界の特性を評価する領域境界特性評価手段と、
   を備えたことを特徴とする画像処理装置。
8. 画像を構成する格子状に配置された画素の一の連続方向における隣接画素間の信号値差に関する第１の信号値差情報と、前記一の連続方向と直交する他の連続方向における隣接画素間の信号値差に関する第２の信号値差情報と、前記一の連続方向と前記他の連続方向との間の２つの斜め方向における隣接画素間の信号値差に関する第３の信号値差情報及び第４の信号値差情報と、を各々の隣接画素間について算出する信号値差情報算出手段と、
   画像注目点を中心とした近傍領域の大きさを表す領域サイズを複数設定して、その各々の領域サイズの近傍領域について前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報の統計量を算出する統計量算出手段と、
   前記領域サイズ毎の統計量の変化に基づいて、領域境界の特性を評価する領域境界特性評価手段と、
   を備えたことを特徴とする画像処理装置。
9. コンピュータに、
   画像を構成する格子状に配置された画素の一の連続方向における隣接画素間の信号値差に関する第１の信号値差情報と、前記一の連続方向と直交する他の連続方向における隣接画素間の信号値差に関する第２の信号値差情報と、前記一の連続方向と前記他の連続方向との間の２つの斜め方向における隣接画素間の信号値差に関する第３の信号値差情報及び第４の信号値差情報と、を各々の隣接画素間について算出する機能と、
   画像注目点を中心とした近傍領域における前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報に基づいて、前記近傍領域における領域境界を抽出する機能と、
   を実現させるための画像処理プログラム。
10. 請求項９に記載の画像処理プログラムにおいて、
    前記コンピュータに、
    各位置に対応する前記第３の信号値差情報と前記第４の信号値差情報との差分情報を算出する機能と、
    前記近傍領域における前記差分情報と、前記第１の信号値差情報及び前記第２の信号値差情報に基づいて、前記近傍領域内に存在する領域境界の方向を検出する機能と、
    を実現させるための画像処理プログラム。
11. 請求項９又は１０に記載の画像処理プログラムにおいて、
    前記コンピュータに、
    前記近傍領域の大きさを表す領域サイズを複数設定して、その各々の領域サイズの近傍領域について前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報の統計量を算出する機能と、
    前記領域サイズ毎の統計量の変化に基づいて、領域境界の特性を評価する機能と、
    を実現させるための画像処理プログラム。
12. コンピュータに、
    画像を構成する格子状に配置された画素の一の連続方向における隣接画素間の信号値差に関する第１の信号値差情報と、前記一の連続方向と直交する他の連続方向における隣接画素間の信号値差に関する第２の信号値差情報と、前記一の連続方向と前記他の連続方向との間の２つの斜め方向における隣接画素間の信号値差に関する第３の信号値差情報及び第４の信号値差情報と、を各々の隣接画素間について算出する機能と、
    画像注目点を中心とした近傍領域の大きさを表す領域サイズを複数設定して、その各々の領域サイズの近傍領域について前記第１の信号値差情報、前記第２の信号値差情報、前記第３の信号値差情報及び前記第４の信号値差情報の統計量を算出する機能と、
    前記領域サイズ毎の統計量の変化に基づいて、領域境界の特性を評価する機能と、
    を実現させるための画像処理プログラム。

Images