JP2004062604A - 画像処理方法および装置 - Google Patents
画像処理方法および装置 Download PDFInfo
- Publication number
- JP2004062604A JP2004062604A JP2002221301A JP2002221301A JP2004062604A JP 2004062604 A JP2004062604 A JP 2004062604A JP 2002221301 A JP2002221301 A JP 2002221301A JP 2002221301 A JP2002221301 A JP 2002221301A JP 2004062604 A JP2004062604 A JP 2004062604A
- Authority
- JP
- Japan
- Prior art keywords
- type
- image processing
- image
- area
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】画像Pから複数のオブジェクト領域ORを抽出し、複数のオブジェクト領域OR毎にオブジェクトの種類と、オブジェクト領域ORが識別した種類であることの種類信頼度KRとを検出し、オブジェクトの種類と種類信頼度KRとを用いて、オブジェクト領域ORの画像処理条件OPを設定し、この画像処理条件OPを用いてオブジェクト領域OR毎に画像処理を行う。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、画像に含まれるオブジェクトの画像処理条件を自動的に設定する画像処理方法および装置に関するものである。
【0002】
【従来の技術】
デジタルカメラ等で撮像した画像情報において、画像情報にどのような画像が撮像されているかを識別することができれば、たとえば画像データに含まれるオブジェクトの種類毎に分類、検索もしくは画像処理等などをすることができる。
【0003】
たとえば画像処理を行う場合、高画質化処理の一例として、たとえば特公平5−62879号で開示されているように特定色領域を識別して異なる処理をする方法が知られている。これは、雑音成分が目立ちやすい領域を色で識別して、雑音除去を行うものである。
【0004】
また、上述した色の違いによる画像処理条件の設定に限らず、たとえばテクスチャ情報や輝度情報等の画像の物理的特徴に基づいて画像処理を行うことが考えられる。
【0005】
【発明が解決しようとする課題】
しかし、色もしくはその他の物理的特徴に基づいて画像処理条件を設定した場合、正しい画像処理条件が得られない場合がある。具体的には、画像に砂のオブジェクトと人間、特に肌のオブジェクトが含まれていたとする。このとき、砂と肌との色は近似しているため、砂の領域を肌の領域と誤って認識して、砂の領域に雑音除去を行ってしまう場合がある。すると、砂特有のテクスチャが失われて不自然な画像になるおそれがある。
【0006】
そこで、本発明は、画像に含まれるオブジェクトの種類に合った画像処理条件により画像処理を行うことができる画像処理方法および装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
本発明の画像処理方法は、画像から複数のオブジェクト領域を抽出するステップと、抽出した前記複数のオブジェクト領域毎にオブジェクトの種類と、前記オブジェクト領域が識別した前記種類であることの種類信頼度とを検出するステップと、検出した前記オブジェクトの種類と前記種類信頼度とを用いて、前記オブジェクト領域の画像処理条件を設定するステップと、設定した前記画像処理条件を用いて前記オブジェクト領域毎に画像処理を行うステップとを有することを特徴とする。
【0008】
本発明の画像処理装置は、複数のオブジェクトを含む画像から複数のオブジェクト領域を抽出するオブジェクト抽出手段と、抽出された前記複数のオブジェクト領域のオブジェクトの種類と、前記オブジェクト領域が識別された前記種類であることの種類信頼度とを検出するオブジェクト識別手段と、検出された前記オブジェクトの種類と前記種類信頼度とを用いて、前記オブジェクト領域の画像処理条件を設定する処理条件設定手段と、設定された前記画像処理条件を用いて前記オブジェクト領域毎に画像処理を行う画像処理手段とを有することを特徴とする。
【0009】
ここで、「オブジェクト」はたとえば人物、空、海、木、建物等の画像に含まれる被写体を意味し、「オブジェクト領域」は被写体が画像内に占める領域を意味する。
【0010】
「オブジェクトの種類を識別する」とは、画像内のオブジェクトがたとえば「山」、「海」、「花」、「空」等の種類であることを特定することを意味し、さらにオブジェクトの種類がわからない場合に「不明」であることを特定することも含む。
【0011】
「処理条件設定手段」は、画像に含まれるオブジェクト領域の画像処理条件を設定するものであればよく、種類信頼度に依存する処理効果係数を算出し、オブジェクトの種類毎に設定された初期画像処理条件に算出された処理効果係数を乗じて画像処理条件を設定するものであってもよい。
【0012】
「オブジェクト識別手段」は、オブジェクト領域の前記種類信頼度とともに、該オブジェクト領域が人工画からなる人工オブジェクト領域であるか自然画からなる自然オブジェクト領域であるかのカテゴリーを識別するとともに、該カテゴリーであることのカテゴリー信頼度を算出するものであってもよい。
【0013】
「処理条件設定手段」は、画像に人工オブジェクト領域と自然オブジェクト領域が含まれている場合、前記オブジェクト領域の種類信頼度とカテゴリー信頼度とを用いて前記オブジェクト領域の前記画像処理条件を設定するものであってもよい。
【0014】
また、「画像処理手段」は、設定された画像処理条件に従い、たとえば周波数処理や雑音除去処理等の画像処理を行うものであって、人工オブジェクト領域に対して画像処理を行わないようにしてもよい。
【0015】
【発明の効果】
本発明の画像処理方法および装置によれば、画像から複数のオブジェクト領域を抽出し、複数のオブジェクト領域毎にオブジェクトの種類とオブジェクト領域が識別した種類であることの種類信頼度とを検出し、オブジェクトの種類と種類信頼度とを用いて、オブジェクト領域の画像処理条件を設定してオブジェクト領域毎に画像処理を行うことにより、オブジェクト領域の種類に即した画像処理を自動的に行うことができるようになり、画質の向上を図ることができる。
【0016】
なお、オブジェクト識別手段が、オブジェクトの前記種類信頼度とともに、該オブジェクト領域が人工画からなる人工オブジェクト領域であるか自然画からなる自然オブジェクト領域であるかのカテゴリーを識別するとともに、該カテゴリーであることのカテゴリー信頼度を算出することにより、オブジェクト領域の種類のみならず、オブジェクト領域のカテゴリーによっても画像処理条件を変えることができるようになり、自動的にオブジェクト領域に対して画像処理を行ったときの画質の劣化を防止することができる。
【0017】
また、画像に人工オブジェクト領域と自然オブジェクト領域が含まれている場合、処理条件設定手段が、オブジェクト領域の種類信頼度とカテゴリー信頼度とを用いて前記オブジェクト領域の前記画像処理条件を設定することにより、人工オブジェクト領域を自然オブジェクト領域と誤って認識した場合、誤って認識された人工オブジェクト領域の画像処理の効果を弱めることができるため、作成者が意図して作製した人工オブジェクト領域の画像処理による変更を低減させることができる。
【0018】
【発明の実施の形態】
図1は本発明の画像処理装置の第1の実施の形態を示すブロック図であり、図1を参照して画像処理装置1について説明する。画像処理装置1は画像Pに含まれる各オブジェクト毎に該オブジェクトの種類に応じた画像処理を行うものであって、ブロック領域生成手段10、オブジェクト抽出手段20、ブロック領域識別手段30、オブジェクト識別手段70、処理条件設定手段80、画像処理手段90等を有する。
【0019】
図1のブロック領域生成手段10は、図2(a)に示すように、画像Pを設定画素数毎に分割したブロック領域BRを生成する機能を有する。そして、ブロック領域生成手段10は生成したブロック領域BRをブロック領域識別手段30に送る。たとえば設定画素数が32画素×32画素である場合、画像Pから32×32画素からなるブロック領域BRが生成されることになる。
【0020】
オブジェクト抽出手段20は、図2(b)に示すように、画像Pを各オブジェクト毎に領域分割してオブジェクト領域ORを生成する機能を有する。そしてオブジェクト抽出手段20は生成した各オブジェクト領域ORをオブジェクト識別手段70に送る。
【0021】
ブロック領域識別手段30は生成された各ブロック領域BR毎に種類を識別する機能を有する。すなわち、ブロック領域識別手段30は、画像内のオブジェクトが「山」、「海」、「花」、「空」等の種類であることを特定するようになっている。ブロック領域識別手段30は識別した種類情報KIをオブジェクト識別手段70に送るようになっている。
【0022】
オブジェクト識別手段70は、送られたブロック領域BR毎の種類情報KIを用いて、分割されたオブジェクト領域OR毎に種類情報KIを付与して、オブジェクト領域ORの種類を識別可能にする機能を有する。具体的には、オブジェクト識別手段70は、オブジェクト領域OR内の各ブロック領域BRの種類情報KIを集計する。そして、オブジェクト識別手段70は、あるオブジェクト領域ORにおいて集計されたブロック領域BRの種類情報KIのうち、最も多いブロック領域BRの最大種類情報KImaxをオブジェクトの種類と識別する。なお、オブジェクト識別手段70は、複数のオブジェクト領域ORにまたがっているブロック領域BRは、カウントしないようになっている。すると、図2(c)に示すように、各オブジェクト領域ORに種類情報KIが付された状態になり、オブジェクト領域ORが種類情報KIによって識別可能となる。
【0023】
また、オブジェクト識別手段70は、決定した種類の得票率を種類信頼度KRとして算出する機能を有する。具体的には、オブジェクト識別手段70は、オブジェクト領域ORの種類と同一種類のブロック領域BRの数を、オブジェクト領域ORを構成する全ブロック領域数で割ることにより、種類信頼度KR(0≦KR≦1)を算出する。そして、オブジェクト識別手段70は、算出した種類信頼度KRおよび種類情報KIを処理条件設定手段80に送るようになっている。
【0024】
なお、図1のオブジェクト識別手段70において、オブジェクトの種類情報KIを多数決により決定するようにしているが、集計された種類情報KIのうち最も多い最大種類情報KImaxの割合(最大種類情報KImaxの数/オブジェクトを構成する全ブロック領域数)が種類情報しきい値KIrefより小さい場合、オブジェクト識別手段70がオブジェクトの種類情報KIとして「不明」を出力する機能を有していてもよい。あるいは、最大種類情報KImaxの割合と2番目に多い種類情報KIの割合との差が小さい場合、オブジェクト識別手段70がオブジェクトの種類情報KIとして「不明」を出力するようにしてもよい。これは、オブジェクトの種類情報KIを誤って識別するよりも、「不明」と判断された方がユーザーにとって好ましい場合があるためである。
【0025】
図3はオブジェクト抽出手段20の一例を示すブロック図であり、図3を参照してオブジェクト抽出手段20について説明する。なお、以下に示すオブジェクト抽出手段20は一例であり、たとえばエッジ検出により各オブジェクト領域ORを生成する手法等により行うようにしてもよい。
【0026】
オブジェクト抽出手段20は、画像Pを構成する各画素から複数の画素特徴量を抽出して、類似した画素特徴量毎に画素を分類する画像の特徴量分類手段100と、画素の分類毎に領域分割して複数のクラスタリング領域を生成する領域分割手段101と、生成されたクラスタリング領域を統合してオブジェクト領域を抽出する領域統合手段110とを有する。
【0027】
たとえば、類似した特徴を有する画素が図4(a)に示すように並んだ画像があると仮定する。すると、特徴量分類手段100において、各画素から複数の特徴量が抽出されて、各特徴量を要素とした複数の特徴ベクトルが生成される。その後、図4(b)に示すように、複数の特徴ベクトルが類似する特徴ベクトル毎に分類される(クラスタリング)。
【0028】
その後、領域分割手段101が、特徴量分類手段100によりクラスタリングされた結果を実際の画像に写像する。すると、図5(a)に示すように、類似した画素からなる複数のクラスタリング領域が形成される。このクラスタリング領域は、データベース111に記憶される。
【0029】
領域統合手段110は、領域分割手段101により分割されたクラスタリング領域を統合してオブジェクト領域ORを抽出する機能を有する。具体的には、領域統合手段110は最小クラスタ領域抽出手段112、統合領域判断手段113と接続されている。最小クラスタ領域抽出手段112は、データベース111内のクラスタリング領域のうち、最も画素数の少ない最小クラスタリング領域を抽出して領域統合手段110に送る。また、統合領域判断手段113は、抽出された最小クラスタリング領域と隣接する隣接クラスタリング領域をデーベース111内から抽出して領域統合手段110に送る。
【0030】
そして、最小クラスタリング領域が所定の微小画素しきい値以下の画素数(たとえば全画素数の1/100)の場合、領域統合手段110は、最小クラスタリング領域を境界画素数(周囲長)の最も多い隣接クラスタリング領域と統合させる。具体的には、図5(a)のクラスタリング領域Aが所定の微小画素しきい値以下の画素数を有する最小クラスタリング領域であるとする。クラスタリング領域Aは、クラスタリング領域C、Dと隣接しているため、クラスタリング領域B、Cが隣接クラスタリング領域となる。
【0031】
そこで、領域統合手段110において、最小クラスタリング領域Aとクラスタリング領域C、Dとが接している隣接画素数がそれぞれ算出される。図5(a)においては隣接クラスタリング領域Dとの境界画素数の方が隣接クラスタリング領域Cとの境界画素数よりも多い。このためクラスタリング領域Aは図5(b)のようにクラスタリング領域Dと統合する。
【0032】
また、最小クラスタリング領域が所定の小画素しきい値以下の画素数(たとえば全画素数の1/10)の場合、領域統合手段110は、最小クラスタリング領域を特徴空間での距離が近い隣接クラスタリング領域と統合させる。具体的には、図5(b)において、クラスタリング領域Bが所定の小画素しきい値以下の最小クラスタリング領域であるとする。すると、クラスタリング領域Bの隣接クラスタリング領域はクラスタリング領域C、Dである。そこで、たとえばテクスチャ情報を距離を基準とした場合、どちらのクラスタリング領域C、Dのテクスチャがクラスタリング領域Bのテクスチャに近いかが判断される。そして、図5(c)のように、クラスタリング領域Bが特徴空間での最も近い距離であるクラスタリング領域Dと統合される。
【0033】
領域統合手段110において、上述した作業がたとえば最小クラスタ領域抽出手段112から送られる最小クラスタリング領域が所定の小画素しきい値よりも大きい画素数になるまで行われる。すると、画像を各オブジェクト領域OR毎に領域分割することができる。
【0034】
次に、図1を参照してブロック領域識別手段30について説明する。ブロック領域識別手段30は、ブロック特徴量抽出手段40、写像手段50、種類出力手段60等を有する。特徴量抽出手段40は、ブロック領域BRから複数のブロック特徴量BCQを抽出する機能を有する。写像手段50は、たとえば自己組織化マップからなる2次元空間SOMを有し、複数のブロック特徴量BCQ(多次元特徴量)を二次元空間SOM上に写像するものである。種類出力手段60は、2次元空間SOM上の位置毎に種類情報KIを定義した種類頻度分布マップKDMを有する。そして、種類出力手段60は写像手段50により写像された2次元空間SOM上の座標情報CIから種類頻度分布マップKDMを用いてブロック領域BRの種類情報KIを出力するものである。以下にブロック領域識別手段30の各構成について具体的に説明していく。
【0035】
図6は特徴量抽出手段40の一例を示すブロック図であり、図6を参照して特徴量抽出手段40について説明する。ブロック特徴量抽出手段40は、色成分、明度成分および像的特徴成分からなる15個のブロック特徴量BCQを出力するものであって、Lab変換手段41、第1平均値算出手段42、第1ウェーブレット変換手段43、距離画像生成手段46、第2ウェーブレット変換手段47等を有する。
【0036】
Lab変換手段41は、RGB画像からなるブロック領域BRをLab画像に変換する機能を有する。平均値算出手段42は、Lab変換されたブロック領域BRのL成分、a成分およびb成分の平均値L−ave、a−ave、b−aveをそれぞれ算出する機能を有する。そして、算出された平均値L−ave、a−ave、b−aveが色成分を抽出したブロック特徴量BCQとなる。
【0037】
第1ウェーブレット変換手段43は、Lab変換されたブロック領域BRの明度成分をウェーブレット変換して高周波成分L−LH、L−HL、L−HHを算出するものである。また第1ウェーブレット変換手段43に平均値算出手段44と最大値算出手段45とが接続されている。
【0038】
平均値算出手段44は、第1ウェーブレット変換手段43により算出された高周波成分L−LH、L−HL、L−HHの平均値L−LH−ave、L−HL−ave、L−HH−aveを算出するものである。そして、算出された平均値L−LH−ave、L−HL−ave、L−HH−aveが明度成分を抽出したブロック特徴量BCQとなる。
【0039】
また、最大値算出手段45は、第1ウェーブレット変換手段43により算出された高周波成分L−LH、L−HL、L−HHの頻度分布において大きい方から5%の値を算出するものである。この最大値L−LH−max、L−HL−max、L−HH−maxが明度成分を抽出したブロック特徴量BCQとなる。
【0040】
このように、L成分のブロック特徴量BCQとして平均値と最大値とを利用することにより、平均的に一定強度の高周波成分が分布してブロック領域BRと、一部に強い高周波成分があるブロック領域BRとを区別することができるようになり、ブロック領域BRの種類の識別を正確に行うことができるようになる。
【0041】
距離画像生成手段46は、Lab変換手段41によりLab変換されたブロック領域BRから距離画像Dを生成する機能を有する。ここで、距離画像Dは、一般的な距離画像とは異なり、図7に示すように、Lab変換した3変数のブロック領域BRと、ウェーブレット変換した際に生成したブロック領域BRの低周波成分からなるボケ画像をとのユークリッド距離を画像化したものである。すなわち、Lab空間における3次元距離画像は、均等色空間における信号変動の様子を1枚の画像にしたものであり、人が知覚する変動を表現したものとして説明することができる。3次元空間での変動を扱うことにより、明度画像から得られない像構造的特徴を引き出すことができるため、種類情報KIの識別をより正確に行うことができる。
【0042】
つまり、各画素毎に抽出した画素特徴量に基づいて種類情報KIを識別した場合、像構造による種類の識別を行うことができないため、たとえば「空」と「海」のように像構造は異なるが明度や色が類似した種類情報KIの識別を精度よく行うことができない。一方、ブロック領域BR毎に距離画像Dを生成した像構造により種類情報KIの抽出を行うことにより、種類の識別をより正確に行うことができる。
【0043】
第2ウェーブレット変換手段47は生成された距離画像Dをウェーブレット変換して、その高周波成分D−LH、D−HL、D−HHを出力する機能を有する。第2ウェーブレット変換手段47に平均値算出手段48と最大値算出手段49とが接続されている。
【0044】
平均値算出手段48は、第2ウェーブレット変換手段47により算出された高周波成分D−LH、D−HL、D−HHの平均値D−LH−ave、D−HL−ave、D−HH−aveを算出するものである。そして、算出された平均値D−LH−ave、D−HL−ave、D−HH−aveが像的特徴成分を抽出したブロック特徴量BCQとなる。
【0045】
また、最大値算出手段49は、第1ウェーブレット変換手段43により算出された高周波成分D−LH、D−HL、D−HHの頻度分布において大きい方から5%の値を算出するものである。この最大値D−LH−max、D−HL−max、D−HH−maxが像的特徴成分を抽出したブロック特徴量BCQとなる。
【0046】
このように、D(距離)成分のブロック特徴量BCQとして平均値と最大値とを利用することにより、平均的に一定強度の高周波成分が分布してブロック領域BRと、一部に強い高周波成分があるブロック領域BRとを区別することができるようになり、ブロック領域BRの種類の判別を正確に行うことができるようになる。
【0047】
次に、図8は写像手段50および種類出力手段60の一例を示す模式図であり、図1と図8を参照して写像手段50および種類出力手段60について説明する。この写像手段50および種類出力手段60には自己組織化マップを用いた修正対向伝搬ネットワーク(参考文献:徳高、岸田、藤村「自己組織化マップの応用−多次元情報の2次元可視化」海文堂、1999)が用いられている。
【0048】
写像手段50は、複数のニューロンNをマトリックス状に配置した自己組織化マップからなる2次元空間SOMを有し、複数の特徴量(多次元特徴量)を2次元空間SOM上に写像する機能を有する。各ニューロンNはそれぞれブロック特徴量BCQと同一次元のベクトル座標を有する。本実施の形態においてはブロック特徴量BCQは15個のブロック特徴量BCQからなっているため、各ニューロンは15次元の結合荷重ベクトルからなっていることになる。
【0049】
そして、写像手段50は、1つのブロック領域BRから抽出された15個のブロック特徴量BCQを自己組織化マップSOM上のニューロンNの中から、最も近似した(たとえば最もユークリッド距離等の近い)ニューロンNi(発火要素)を選択する。これにより、複数のブロック特徴量BCQからなる多次元空間から2次元空間SOM上に写像されたことになる。そして、写像手段50は選択したニューロンNiの座標情報CIを種類出力手段60に送るようになっている。
【0050】
種類出力手段60は、2次元空間SOMと同一の座標系を有する複数の種類頻度分布マップKDMを有しており、写像手段50により写像された2次元空間SOM上の座標情報CIから、種類頻度分布マップKDM上でその座標情報CIの示す部位が示す種類情報KIを出力する機能を有する。この種類頻度分布マップKDMは、図9に示すように、各種類情報KI毎に2次元空間上に様々な種類情報KIの分布が形成されており、各種類情報KI毎にそれぞれ種類頻度分布マップKDMが用意されている。たとえば、種類情報KIが「空」の分布は、図9(a)のように種類頻度分布マップKDMの右側および左上部の領域に形成されている。同様に、図9(b)の種類情報KIが「建物」の種類頻度分布マップKDM、図9(c)の種類情報がKIが「木」の種類頻度分布マップKDMおよび図9(d)の種類情報KIが「海」の種類頻度分布マップKDMをそれぞれ示している。
【0051】
なお、各種類情報KI毎に種類頻度分布マップKDMが用意されている場合について例示しているが、1枚の種類頻度分布マップKDMに複数の種類情報KIの分布が形成されていてもよい。
【0052】
ここで、上述した種類情報KIを識別する際(認識モード)に使用される自己組織化マップSOMおよび種類頻度分布マップKDMは、予め学習されたものが使用される。すなわち、2次元空間SOMおよび種類頻度分布マップKDMは学習機能を有しており、予め種類情報KIが判っているブロック領域BRから抽出されたブロック特徴量BCQからなる学習用入力データを用いて各ニューロンNおよび種類頻度分布マップKDMが学習される。
【0053】
具体的には、まず自己組織化マップSOMの学習について説明する。自己組織化マップSOMのニューロンは、初期状態においてランダムな結合荷重ベクトルを有している。そして、予め種類情報KIのわかっている学習用入力データが写像手段50に入力される。すると、写像手段50により学習用入力データと最も近似したニューロンNi(発火要素)が選択される。同時に、選択されたニューロンNi(発火要素)を取り囲むたとえば3×3個のニューロンが選択される。そして、ニューロンNi(発火要素)およびその近傍にあるニューロンNの結合荷重ベクトルが学習用入力データに近づく方向に更新されて、自己組織化マップSOMのニューロンNが学習される。
【0054】
この作業が複数の学習用入力データを用いて行われる。さらに、この学習用入力データが複数回繰り返し自己組織化マップSOMに入力される。ここで、複数の学習用入力データの入力が繰り返されるに連れて、結合荷重ベクトルが更新されるニューロンNの近傍領域の範囲が狭くなっていき、最後には選択されたニューロンNi(発火要素)のみの結合荷重ベクトルが更新される。
【0055】
次に、種類頻度分布マップKDMの学習について説明する。種類頻度分布マップKDMにおいてすべての座標の初期値は0になっている。上述したように、自己組織化マップSOMに学習用入力データが写像された際に、自己組織化マップSOM上の座標情報CIが出力される。すると、学習用入力データの種類に対応する種類頻度分布マップKDM内の座標情報CIに当たる部位およびそれを取り囲む領域(たとえば3×3個)に正の整数値(たとえば「1」)が加算される。
【0056】
そして、学習用入力データが入力されて行くにつれて、種類頻度分布マップKDM上の特定の領域ついて学習用入力データの入力により数値が加算されて大きくなっていく。つまり、同じ種類のブロック領域BRであれば、ブロック特徴量BCQが類似していることになる。ブロック特徴量BCQが類似していれば、自己組織化マップSOM上の近くの座標に写像されることが多くなるため、種類頻度分布マップKDMにおいても特定の座標の数値が大きくなっていく。
【0057】
最後に、種類頻度分布マップKDMの各座標にある数値を全入力学習データ数×学習回数で割ると、各座標に0.0から1.0までの確率が入力された種類頻度分布マップKDMが生成される。この確率が大きければ大きいほど、その種類である確率が大きくなることを意味する。図9の種類頻度分布マップKDMにおいては、白の範囲が0.8〜1.0の信頼度(確率)、グレーの範囲が0.2〜0.8の信頼度(確率)、黒の範囲が0.0〜0.2の信頼度(確率)を示している。このように種類頻度分布マップKDMがたとえば「空」、「建物」、「木」、「海」等の種類情報KI毎にそれぞれ形成されていく。
【0058】
そして、実際のブロック領域BRについて種類の識別をする際(認識モード)では、種類出力手段60は、複数の種類頻度分布マップKDMからそれぞれ座標情報CIの部位が有する信頼度を抽出する。具体的には、写像手段50から座標情報CIが送られてきた場合、たとえば「空」、「建物」、「木」、「海」等のそれぞれの種類頻度分布マップKDM上の座標情報CIに該当する部位の信頼度を抽出する。そして、種類出力手段60は、各種類頻度分布マップKDMから得られた確率をベクトル成分とする種類ベクトルを生成する。この場合、空の信頼度、建物の信頼度、木の信頼度および海の信頼度をベクトル成分とする種類ベクトルが生成される。その後、種類出力手段60は最も大きい確率を有する種類情報KIをブロック領域BRの種類情報であると識別して、種類情報KIをオブジェクト識別手段70に送る。
【0059】
なお、種類出力手段60において、上述した種類ベクトルを構成するベクトル成分が、所定のベクトル成分しきい値より小さい場合、ブロック領域BRの種類情報KIの識別の確信度が低いと判断して、「不明」とした種類情報KIをオブジェクト識別手段70に送るようにしてもよい。もしくは最も大きいベクトル成分と2番目に大きいベクトル成分との差が小さい場合にも同様に、ブロック領域BRの種類情報KIの識別の確信度が低いと判断して、種類情報KIを「不明」としてオブジェクト識別手段70に送るようにしてもよい。これにより、種類情報KIの識別について信頼性の低いブロック領域BRについてはオブジェクト領域ORの種類情報KIの識別に与える影響を少なくすることができるため、オブジェクト領域ORの識別の精度を向上させることができる。
【0060】
さらに、写像手段50が送られた複数のブロック特徴量BCQを自己組織化マップSOMに写像する際に、最も近似したニューロンNi(発火要素)と複数のブロック特徴量BCQとの距離(たとえばユークリッド距離等)が所定の距離しきい値より大きい場合、写像手段50は種類出力手段60に対してマッチング処理を行わない旨の情報を送るようにしてもよい。その場合、種類出力手段60においても、種類情報KIを「不明」としてをオブジェクト識別手段70に送るようにしてもよい。この場合であっても、種類情報KIの識別について信頼性の低いブロック領域BRについてはオブジェクト領域ORの種類情報KIの識別に与える影響を少なくすることができるため、オブジェクト領域ORの識別の精度を向上させることができる。
【0061】
図10はオブジェクト識別方法の一例を示すフローチャート図であり、図1から図10を参照してオブジェクト識別方法について説明する。まず、オブジェクト抽出手段20により入力された画像をオブジェクト毎に領域分割したオブジェクト領域ORが生成される。一方では、ブロック領域生成手段10により入力された画像を設定画素数(たとえば32×32画素)からなる、オブジェクト領域ORより小さい複数のブロック領域BRが生成される。(ステップST1)。
【0062】
次に、ブロック特徴量抽出手段40により15個の特徴量BCQが抽出される(ステップST2)。その後、抽出した特徴量BCQが写像手段50により自己組織化マップSOMに写像されて、自己組織化マップSOMの位置CIが種類出力手段60に送られる(ステップST3)。種類出力手段60において、種類頻度分布マップKDMから位置CIの種類情報KIを抽出して、オブジェクト識別手段70に送る(ステップST4)。この作業がすべてのブロック領域BRについて行われる(ステップST5)。
【0063】
その後、オブジェクト識別手段70において、各オブジェクト領域OR毎に付与された種類情報KIを集計する(ステップST6)。そして、最も多い種類情報KIがそのオブジェクト領域ORの種類情報として出力される(ステップST7)。
【0064】
次に、図1を参照して処理条件設定手段80について説明する。処理条件設定手段80は、オブジェクト識別手段70から送られた各オブジェクト毎の種類および種類信頼度KRを用いて、各オブジェクト領域OR毎に画像処理条件OPを設定するものである。具体的には、処理条件設定手段80は、オブジェクト領域ORの種類毎に設定された初期画像処理条件OPrefを有している。そして、処理条件設定手段80は、送られた種類情報KIを用いて種類に合った初期画像処理条件OPrefを抽出するようになっている。
【0065】
さらに、処理条件設定手段80は、抽出した初期画像処理条件OPrefに種類信頼度KRを用いた処理効果係数を乗じて、そのオブジェクト領域ORの画像処理条件OPを設定するようになっている。たとえば、オブジェクト領域ORの種類が「空」もしくは「肌」の場合、雑音成分の抑制効果を得るため、処理条件設定手段80は、高周波ゲインGh=OPref×(1−KR×0.5)を算出して、この高周波ゲインGhを画像処理条件OPとする。一方、オブジェクト領域ORの種類が「建物」の場合、鮮鋭度の強調効果を得るため、処理条件設定手段80は、高周波ゲインGh=OPref×(1+KR×0.5)を算出して、この高周波ゲインGhを画像処理条件OPとする。さらに、オブジェクト領域ORの種類が「不明」の場合、処理条件設定手段80は、初期画像処理条件OPrefを画像処理条件OPと設定する。
【0066】
このように、種類信頼度KRが低い場合、より初期画像処理条件OPrefに近いものを画像処理条件OPとして用いるようになっている。すなわち、種類信頼度KRが低い場合、雑音成分の抑制効果が極端にならないようにすることができる。
【0067】
次に、図1を参照して画像処理手段90について説明する。画像処理手段90は、処理条件設定手段80において設定された画像処理条件OPを用いて各オブジェクト領域OR毎に画像処理を行うものである。具体的には、上述したように、高周波ゲインが画像処理条件OPとして設定されている場合、画像処理手段90は、処理後の画像P=I_L(低周波成分)+Gh×I_H(高周波成分)となるように画像処理を行う。
【0068】
図11は本発明の画像処理方法の好ましい実施の形態を示すフローチャート図であり、図11を参照して画像処理方法について説明する。まず、オブジェクト抽出手段20において、入力された画像Pがオブジェクト領域OR毎に領域分割される(ステップST10)。その後、オブジェクト識別手段70において、上述したステップST1〜ステップST7の手法により、抽出されたオブジェクト領域OR毎に種類情報KIが付される(ステップST11)。また、オブジェクト識別手段70において、付された種類の種類信頼度KRが算出される。そして、各オブジェクト領域ORに対して付された複数の種類情報KIおよび種類信頼度KRが処理条件設定手段80に入力される。
【0069】
すると、処理条件設定手段80において、各オブジェクト領域ORについてそれぞれ画像処理条件OPが生成される(ステップST12)。その後、画像処理手段90において、設定された画像処理条件OPに従って画像処理が行われて、各オブジェクト領域ORの種類に合った画像処理が行われる(ステップST13)。
【0070】
上記実施の形態によれば、画像Pから複数のオブジェクト領域ORを抽出し、複数のオブジェクト領域OR毎にオブジェクトの種類とオブジェクト領域ORが識別した種類であることの種類信頼度KRとを検出し、オブジェクト領域ORの種類と種類信頼度KRとを用いて、オブジェクト領域ORの画像処理条件OPを設定してオブジェクト領域OR毎に画像処理を行うことにより、オブジェクト領域ORの種類に応じた画像処理を行うことができるようになり、画質の向上を図ることができる。すなわち、たとえば色やテクスチャ情報等の画像Pの物理的特徴を用いて画像処理条件OPを設定した場合、たとえば「砂」と「肌」のように物理的特徴の近似した種類の異なる特徴のオブジェクト領域ORは、同一の処理条件OPにより画像処理されてしまう。よって、オブジェクト領域ORによっては画像処理により好ましくない結果になってしまう。
【0071】
一方、オブジェクト領域ORの種類から画像処理条件OPを設定することにより、オブジェクト領域ORの種類の有する画像の特徴に合わせた画像処理条件OPを設定することができるため、画質の向上を図ることができる。さらに、オブジェクト領域ORの種類情報KIとともに種類信頼度KRを用いて画像処理条件OPを設定することにより、オブジェクトの種類信頼度KRに応じて画像処理効果に強弱をつけることができるため、オブジェクトの種類を誤って識別した場合であっても、画像処理による画質の劣化を最小限に抑えることができる。
【0072】
本発明の実施の形態は、上記各実施の形態に限定されない。たとえば、図1の処理条件設定手段80において、高周波ゲインを画像処理条件OPとして用いた場合について例示しているが、階調処理のためのヒストグラム、濃度その他のパラメータを種類信頼度KRを用いて設定するようにしてもよい。
【0073】
また、図1のオブジェクト識別手段70において、種類情報KIと種類信頼度KRを検出するようにしているが、種類情報KIの他に「自然画」からなる自然オブジェクト領域ORnであるか「人工画」からなる人工オブジェクト領域ORaであるかのカテゴリーを識別して処理条件設定手段80に送る機能を有していてもよい。このとき、オブジェクト識別手段70において、予め種類情報KIが人工画であるか自然画であるかがカテゴリー分類がなれている。具体的には、オブジェクト識別手段70は、「空」「木」「建物」等の種類情報KIを「自然画」のカテゴリーとして定義し、「文字」「外枠」等の種類情報KIを「人工画」のカテゴリーとして定義している。
【0074】
さらに、オブジェクト識別手段70は、オブジェクト領域ORがそのカテゴリーであるカテゴリー信頼度CRを算出する機能を有する。これは、上述した種類信頼度KRを算出する場合と同様の手法により行われる。そして、処理条件設定手段80は、オブジェクト領域ORについて画像処理条件OPを設定する場合、オブジェクト領域ORの種類信頼度KRとカテゴリー信頼度CRを用いて画像処理条件OPを設定する。
【0075】
具体的には、たとえば、オブジェクト領域ORの種類が「空」もしくは「肌」の場合、雑音成分の抑制効果を得るため、処理条件設定手段80は、高周波ゲインGh=OPref×(1−KR×CR×0.5)を算出して、この高周波ゲインGhを画像処理条件OPとする。つまり、オブジェクト領域ORの画像処理の効果をカテゴリー信頼度CRで弱めている事になる。
【0076】
たとえば、人工オブジェクト領域ORaに対して自然画であると認識して画像処理を行った場合、人工画を作成した人の意図と異なったオブジェクトとなる場合がある。そこで、オブジェクト領域ORの画像処理条件OPがカテゴリー信頼度CRに依存するように設定する。すると、人工オブジェクト領域ORaを自然オブジェクト領域ORnと誤って識別してしまった場合であっても、人工オブジェクト領域ORaの画像処理の効果が弱められることになり、画像処理による副作用を弱めることができる。
【0077】
また、画像処理手段90は、人工オブジェクト領域ORaに対して画像処理を行わない機能を有していてもよい。これにより、人工オブジェクト領域ORaに対して画像処理を行うことを防止することができる。
【0078】
さらに、画像処理装置1は、画像処理プログラムをコンピュータに組み込むことにより、ソフトウェアとハードウェア資源との協働作業により実現されるようにしてもよい。この画像処理プログラムは、画像から複数のオブジェクト領域を抽出する手順と、抽出した前記複数のオブジェクト領域毎にオブジェクトの種類と、前記オブジェクト領域が識別した前記種類であることの信頼度とを検出する手順と、検出した前記オブジェクトの種類と前記信頼度とを用いて、前記オブジェクト領域の画像処理条件を設定する手順と、設定した前記画像処理条件を用いて前記オブジェクト領域毎に画像処理を行う手順とをコンピュータに実行させるための画像処理プログラム、ということができる。
【図面の簡単な説明】
【図1】本発明の画像処理装置の第1の実施の形態を示すブロック図
【図2】本発明の画像処理装置において、画像に含まれるオブジェクト毎に種類が識別される様子を示す図
【図3】本発明の画像処理装置におけるオブジェクト抽出手段の一例を示すブロック図
【図4】図2のオブジェクト抽出手段により画像が領域分割される様子を示す図
【図5】図2のオブジェクト抽出手段によりクラスタリング領域が統合されてオブジェクト領域が形成される様子を示す図
【図6】本発明の画像処理装置におけるブロック特徴量抽出手段の一例を示すブロック図
【図7】本発明の画像処理装置における距離画像生成手段における距離画像の生成の様子を示すブロック図
【図8】本発明の画像処理装置における写像手段および種類出力手段の一例を示すブロック図
【図9】本発明の画像処理装置における種類頻度分布マップの一例を示すブロック図
【図10】本発明のオブジェクト識別方法の一例を示すフローチャート図
【図11】本発明のオブジェクト識別方法の好ましい実施の形態を示すフローチャート図
【符号の説明】
1 画像処理装置
20 オブジェクト抽出手段
70 オブジェクト識別手段
80 処理条件設定手段
90 画像処理手段
CR カテゴリー信頼度
OP 画像処理条件
OPref 初期画像処理条件
KI 種類情報
KR 種類信頼度
OR オブジェクト領域
ORa 人工オブジェクト領域
ORn 自然オブジェクト領域
P 画像
Claims (5)
- 画像から複数のオブジェクト領域を抽出するステップと、
抽出した前記複数のオブジェクト領域毎にオブジェクトの種類を識別するとともに、前記オブジェクト領域が識別した前記種類であることの種類信頼度を算出するステップと、
検出した前記オブジェクトの種類と前記種類信頼度とを用いて、前記オブジェクト領域の画像処理条件を設定するステップと、
設定した前記画像処理条件を用いて前記オブジェクト領域毎に画像処理を行うステップと
を有することを特徴とする画像処理方法。 - 複数のオブジェクトを含む画像から複数のオブジェクト領域を抽出するオブジェクト抽出手段と、
抽出された前記複数のオブジェクト領域のオブジェクトの種類を識別するとともに、前記オブジェクト領域が識別された前記種類であることの種類信頼度を算出するオブジェクト識別手段と、
検出された前記オブジェクトの種類と前記種類信頼度とを用いて、前記オブジェクト領域の画像処理条件を設定する処理条件設定手段と、
設定された前記画像処理条件を用いて前記オブジェクト領域毎に画像処理を行う画像処理手段と
を有することを特徴とする画像処理装置。 - 前記処理条件設定手段が、前記種類信頼度に依存する処理効果係数を算出し、前記オブジェクトの種類毎に設定された初期画像処理条件に算出された前記処理効果係数を乗じて前記画像処理条件を設定するものであることを特徴とする請求項2に記載の画像処理装置。
- 前記オブジェクト識別手段が、前記オブジェクト領域の前記種類信頼度とともに、該オブジェクト領域が人工画からなる人工オブジェクト領域であるか自然画からなる自然オブジェクト領域であるかのカテゴリーを識別し、該カテゴリーであることのカテゴリー信頼度を算出する機能を有することを特徴とする請求項2または請求項3に記載の画像処理装置。
- 前記画像に前記人工オブジェクト領域と前記自然オブジェクト領域とが含まれている場合、前記処理条件設定手段が、前記オブジェクト領域の前記種類信頼度と前記カテゴリー信頼度とを用いて前記オブジェクト領域の前記画像処理条件を設定するものであることを特徴とする請求項4に記載の画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002221301A JP4202692B2 (ja) | 2002-07-30 | 2002-07-30 | 画像処理方法および装置 |
US10/628,286 US7620246B2 (en) | 2002-07-30 | 2003-07-29 | Method and apparatus for image processing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002221301A JP4202692B2 (ja) | 2002-07-30 | 2002-07-30 | 画像処理方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004062604A true JP2004062604A (ja) | 2004-02-26 |
JP4202692B2 JP4202692B2 (ja) | 2008-12-24 |
Family
ID=31941657
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002221301A Expired - Lifetime JP4202692B2 (ja) | 2002-07-30 | 2002-07-30 | 画像処理方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4202692B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005293554A (ja) * | 2004-03-08 | 2005-10-20 | Seiko Epson Corp | 画像における主要被写体の決定 |
JP2005293555A (ja) * | 2004-03-10 | 2005-10-20 | Seiko Epson Corp | 画像における肌領域の特定 |
EP2088769A1 (en) | 2008-02-06 | 2009-08-12 | Fujinon Corporation | Multi-focus camera apparatus and image processing method and program used therein |
JP2010182204A (ja) * | 2009-02-06 | 2010-08-19 | Canon Inc | 画像処理方法および画像処理装置およびプログラム |
US10957022B2 (en) | 2017-05-22 | 2021-03-23 | Samsung Electronics Co., Ltd. | Electronic device for processing image acquired by using camera and method for operating the same |
JP2022546885A (ja) * | 2020-08-01 | 2022-11-10 | 商▲湯▼国▲際▼私人有限公司 | 目標対象認識方法及び装置 |
-
2002
- 2002-07-30 JP JP2002221301A patent/JP4202692B2/ja not_active Expired - Lifetime
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005293554A (ja) * | 2004-03-08 | 2005-10-20 | Seiko Epson Corp | 画像における主要被写体の決定 |
JP2005293555A (ja) * | 2004-03-10 | 2005-10-20 | Seiko Epson Corp | 画像における肌領域の特定 |
EP2088769A1 (en) | 2008-02-06 | 2009-08-12 | Fujinon Corporation | Multi-focus camera apparatus and image processing method and program used therein |
US8035725B2 (en) | 2008-02-06 | 2011-10-11 | Fujinon Corporation | Multi-focus camera apparatus and image processing method and program used therein |
JP2010182204A (ja) * | 2009-02-06 | 2010-08-19 | Canon Inc | 画像処理方法および画像処理装置およびプログラム |
US10957022B2 (en) | 2017-05-22 | 2021-03-23 | Samsung Electronics Co., Ltd. | Electronic device for processing image acquired by using camera and method for operating the same |
JP2022546885A (ja) * | 2020-08-01 | 2022-11-10 | 商▲湯▼国▲際▼私人有限公司 | 目標対象認識方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4202692B2 (ja) | 2008-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10339643B2 (en) | Algorithm and device for image processing | |
JP4098021B2 (ja) | シーン識別方法および装置ならびにプログラム | |
Celik | Spatial entropy-based global and local image contrast enhancement | |
Rivera et al. | Content-aware dark image enhancement through channel division | |
RU2469403C2 (ru) | Устройство, способ и программа обработки изображения | |
US7528991B2 (en) | Method of generating a mask image of membership of single pixels to certain chromaticity classes and of adaptive improvement of a color image | |
CN110390643B (zh) | 一种车牌增强方法、装置及电子设备 | |
Bhandari et al. | A novel fuzzy clustering-based histogram model for image contrast enhancement | |
CN109978848B (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
CN112614077A (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
JP2004348674A (ja) | 領域検出方法及びその装置 | |
JP2007257087A (ja) | 肌色領域検出装置及び肌色領域検出方法 | |
US7620246B2 (en) | Method and apparatus for image processing | |
CN111127476A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN111476849B (zh) | 对象颜色识别方法、装置、电子设备以及存储介质 | |
Wu et al. | A weighting mean-separated sub-histogram equalization for contrast enhancement | |
CN105184771A (zh) | 一种自适应运动目标检测系统及检测方法 | |
JP2019175093A (ja) | 推定装置、推定方法、推定プログラム、学習装置、学習方法、及び学習プログラム | |
Srinivas et al. | Remote sensing image segmentation using OTSU algorithm | |
JP2009123234A (ja) | オブジェクト識別方法および装置ならびにプログラム | |
JP4202692B2 (ja) | 画像処理方法および装置 | |
Lei et al. | An investigation of retinex algorithms for image enhancement | |
JP4285640B2 (ja) | オブジェクト識別方法および装置ならびにプログラム | |
Lee et al. | Ramp distribution-based contrast enhancement techniques and over-contrast measure | |
CN111105369A (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050208 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080708 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081007 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081009 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4202692 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131017 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |