JP2006268820A - 画像識別方法、画像処理方法、画像識別装置、画像識別プログラムおよび集積回路 - Google Patents

Abstract

【課題】画像中の対象画像の検出を、精度良く高速に行うことを目的とする。
【解決手段】画像分割部１は、入力画像をブロックに分割する。候補ブロック抽出部２は、対象画像を特定するためのパラメータ２０ｐに基づいて、分割されたブロック毎の画像を判定し、候補ブロックを抽出する。分類部３は、候補ブロックを候補ブロック単位でクラスタリングする。候補ブロック領域検出部４は、クラスタリングされた候補ブロックから候補ブロック領域を検出する。
【選択図】図１

Description

本発明は、画像識別方法、特に画像中の対象画像を特定する画像識別方法に関する。また、本発明は、画像処理方法、特に画像中の対象画像の画像処理を行う画像処理方法に関する。さらに、本発明は、画像識別装置、画像識別プログラムおよび集積回路に関する。

従来の画像識別方法としては、肌色画素を抽出し、その肌色画素を連結することによって候補領域の検出を行い、各候補領域の色分布の特徴により画像の識別を行っているものがある（例えば、特許文献１参照）。
図２９に、特許文献１に記載された従来の画像識別方法を実現する画像識別装置のブロック図を示す。図２９において、座標変換器９０１は、色座標を変換する。フレームメモリ９０２は、座標変換器９０１から出力された１画面分の色データを記憶する。肌色画素検出器９０３は、フレームメモリ９０２からデータを読み出し、設定した肌色条件を満たさない画素をフレームメモリ９０２から削除することで肌色画素の抽出を行っている。また、肌色領域候補検出器９０４は、フレームメモリ９０２において連結している肌色画素を１つの領域とする。即ち、同一ラベルを割り付けることによってグルーピングを行い、フレームメモリ９０５にそのラベルを記憶させる。肌領域検出器９０６は、フレームメモリ９０２およびフレームメモリ９０５に記憶されたデータを用いて各候補領域の重要度と肌らしさを表す指数を計算することによって、実際に人物の肌に対応すると考えられる領域を決定する。肌画像判定器９０７は、決定された結果を判定し、判定結果を出力する。従来ではこのような構成によって肌画像の識別を行っている。
特許第３３８７０７１号公報

上記従来の候補領域の検出は、連結している肌色画素を１つの領域としている。しかしこの方法では、実際の人物の肌と接している肌色の物体があった場合、同じ領域に検出されてしまうという課題がある。この結果、誤って検出された領域に対して判定を行うことになるので、正しく画像識別を行うことができない。また、肌色画素毎に連結状態を確認し、候補領域を検出することから、データの処理量が多くなる。この結果、ソフトウェア処理では、処理時間が長くなるといった課題がある。

本発明は、前記従来の課題を解決するもので、画像識別精度が良く、高速な画像識別方法を実現することを目的とする。

［１］
〈１−１〉
本発明の画像識別方法は、画像分割ステップと、候補ブロック抽出ステップと、分類ステップと、候補ブロック領域検出ステップとを備えている。画像分割ステップは、入力画像をブロックに分割する。候補ブロック抽出ステップは、対象画像を特定するための条件に基づいて、分割されたブロック毎の画像を判定し、候補ブロックを抽出する。分類ステップは、候補ブロックを候補ブロック単位で領域群に分類する。候補ブロック領域検出ステップは、領域群から候補ブロック領域を検出する。

ここで、対象画像とは、例えば、人物、空、自動車、などというように、識別対象となる特定の画像内容を意味している。また、領域群とは、例えば、１つ以上の候補ブロックから構成されるブロックの集合である。
この画像識別方法では、入力画像をブロック単位で処理する。このため、各画素について処理を行う場合よりも処理量を削減することが可能となる。また、分類ステップでは、画像全体から抽出された候補ブロックに対して分類を行う。このため、さらに高精度かつ時間を要する統計的手法を用いて分類を行っても、分類ステップにおける処理量の増加を防止することが可能となる。このため、より高精度の候補ブロック領域の抽出が可能となる。

また、分類ステップは、候補ブロック間の類似度を判断する統計的手法に基づいて、候補ブロックを候補ブロック単位で領域群に分類してもよい。
また、統計的手法は、候補ブロックの位置と候補ブロックの代表色とを用いた処理であってもよい。すなわち、統計的手法では、候補ブロックの代表色のみならず、候補ブロックの位置に基づいて処理が行われる。このため、比較的距離的に近い候補ブロックにより領域群を形成することが可能となる。

また、代表色は、例えば、候補ブロックの画素のうち第１の所定の色領域に含まれる画素を用いて生成されるものであってもよい。すなわち、候補ブロックの一部に第１の所定の色領域以外の色が含まれていても同じ領域群に分類することが可能となる。なお、第１の所定の色領域は、後述する第２の所定の色領域と同じ領域であっても、異なる領域であってもよい。

また、候補ブロック領域検出ステップは、領域群の連結の有無に関する条件に基づいて、領域群から候補ブロック領域を検出してもよい。すなわち、対象画像が画像中にまとまった領域として含まれる場合には、連結の有無を判断することにより、対象画像とそれ以外の画像との識別が可能となる。
また、候補ブロック抽出ステップは、対象画像に応じて決定されている第２の所定の色領域に各ブロック内の所定の位置の画素が含まれる割合に関する条件に基づいて、分割されたブロック毎の画像を判定し、候補ブロックを抽出してもよい。すなわち、候補ブロックは、対象画像の色の特徴に応じて抽出される。

〈１−２〉
本発明の画像識別方法は、所定の判定情報に基づいて、候補ブロック領域が対象画像であるか否かに関する指標を出力する対象画像判定ステップをさらに備える。
ここで、所定の判定情報とは、対象画像の特徴を示す情報である。指標とは、候補ブロック領域が対象画像であるか否かを示す情報や候補ブロック領域が対象画像である可能性を示す情報などである。

この画像識別方法では、例えば、候補ブロック領域が、所定の判定情報により示された対象画像の特徴を満足するか否か、あるいは対象画像の特徴との類似度合い、などについて判定することが可能となり、その結果を指標として出力することが可能となる。
また、所定の判定情報は、人物画像の特徴を示す情報であってもよい。すなわち、候補ブロック領域が人物画像であるか否かについての識別を行うことが可能となる。

また、所定の判定情報は、候補ブロック領域の画像中における位置に応じて定められた情報であってもよい。すなわち、対象画像の特徴のうち、位置に関する特徴を用いて対象画像か否かの識別を行うことが可能となる。
また、所定の判定情報は、候補ブロック領域の形状を判定するための情報であってもよい。すなわち、対象画像の特徴のうち、形状に関する特徴を用いて対象画像か否かの識別を行うことが可能となる。

また、所定の判定情報は、対象画像の色の特徴を示す情報であってもよい。すなわち、対象画像の特徴のうち、色に関する特徴を用いて対象画像か否かの識別を行うことが可能となる。
また、対象画像判定ステップは、候補ブロック領域の画素であって、第３の所定の色領域に含まれる画素の色情報と所定の判定情報とを比較して、指標を出力するものであってもよい。すなわち、候補ブロック領域の一部に第３の所定の色領域以外の色が含まれていても対象画像として識別することが可能となる。なお、第３の所定の色領域は、第１の所定の色領域や第２の所定の色領域と同じ領域であっても、異なる領域であってもよい。

また、対象画像判定ステップは、複数の所定の判定情報に基づいて、指標を出力するものであってもよい。すなわち、より正確な指標を出力することが可能となる。
〈１−３〉
本発明の画像処理方法は、画像分割ステップと、候補ブロック抽出ステップと、分類ステップと、候補ブロック領域検出ステップと、対象画像判定ステップと、画像処理ステップとを備えている。画像分割ステップは、入力画像をブロックに分割する。候補ブロック抽出ステップは、対象画像を特定するための条件に基づいて、分割されたブロック毎の画像を判定し、候補ブロックを抽出する。分類ステップは、候補ブロックを候補ブロック単位で領域群に分類する。候補ブロック領域検出ステップは、領域群から候補ブロック領域を検出する。対象画像判定ステップは、所定の判定情報に基づいて、候補ブロック領域が対象画像であるか否かに関する指標を出力する。画像処理ステップは、指標に基づいて、入力画像に所定の画像処理を行う。

本発明の画像処理方法は、〈１−１〉または〈１−２〉で記載の画像識別方法と同様の効果を奏することが可能となる。また、画像処理ステップは、指標に基づいて入力画像の画像処理を行うため、より入力画像に適した画像処理を行うことが可能となる。
また、画像処理ステップは、指標に応じて、画像処理の度合いを変更してもよい。すなわち、さらに適切な画像処理を行うことが可能となる。

また、画像処理ステップは、指標に応じて、画像処理の有無を制御してもよい。すなわち、さらに適切な画像処理を行うことが可能となる。
また、画像処理とは、記憶色補正であってもよい。さらに、記憶色補正は、肌色補正であってもよい。すなわち、対象画像に応じた記憶色補正を行うことが可能となる。特に、人物画像に対する肌色補正を行うことが可能となる。

また、画像処理とは、階調補正であってもよい。すなわち、対象画像に応じてコントラストの変換など適切な階調補正を行うことが可能となる。
〈１−４〉
本発明の画像処理方法は、画像分割ステップと、候補ブロック抽出ステップと、分類ステップと、候補ブロック領域検出ステップと、対象画像判定ステップと、情報付加ステップとを備えている。画像分割ステップは、入力画像をブロックに分割する。候補ブロック抽出ステップは、対象画像を特定するための条件に基づいて、分割されたブロック毎の画像を判定し、候補ブロックを抽出する。分類ステップは、候補ブロックを候補ブロック単位で領域群に分類する。候補ブロック領域検出ステップは、領域群から候補ブロック領域を検出する。対象画像判定ステップは、所定の判定情報に基づいて、候補ブロック領域が対象画像であるか否かに関する指標を出力する。情報付加ステップは、指標に応じて、対象画像を示すタグ情報を入力画像に付加する。

本発明の画像処理方法は、〈１−１〉または〈１−２〉で記載の画像識別方法と同様の効果を奏することが可能となる。また、情報付加ステップは、タグ情報を付した入力画像を出力する。このため、出力された信号を取得した装置において、入力画像が含む対象画像を識別することなどが可能となる。
〈１−５〉
本発明の画像処理方法は、画像判定ステップと、画像処理ステップとを備えている。画像判定ステップは、入力画像の画像判定を行い、画像判定結果を出力する。画像処理ステップは、入力画像に対して、画像判定結果に基づいて定められる画像処理を行う。画像処理の処理度合は、調整可能である。画像処理の処理度合の初期値は、画像判定結果により定められている。

画像処理の処理度合の初期値は、画像判定結果により定められているため、適切な処理度合で画像処理を行うことが可能となる。
本発明の画像処理方法は、画像判定ステップと、画像処理ステップとを備えている。画像判定ステップは、入力画像の画像判定を行い、画像判定結果を出力する。画像処理ステップは、入力画像に対して、画像判定結果に基づいて定められる画像処理を行う。画像処理の処理度合は、調整可能である。画像処理の処理度合の初期値は、画像処理後の入力画像を出力する出力装置の色域に応じて定められている。

画像処理の処理度合の初期値は、画像処理後の入力画像を出力する出力装置の色域に応じて定められているため、出力装置の色域に応じて適切な処理度合で画像処理を行うことが可能となる。
本発明の画像処理方法は、画像処理後の入力画像の色域が出力装置の色域に含まれるような処理度合の範囲を導出する処理度合導出ステップをさらに備えている。初期値は、導出された処理度合の範囲に含まれている。

初期値は、導出された処理度合の範囲に含まれているため、出力装置の色域を超えないような処理度合で画像処理を行うことが可能となる。
本発明の画像処理方法は、画像処理後の入力画像の色域が出力装置の色域に含まれるような処理度合の範囲を導出する処理度合導出ステップをさらに備えている。画像処理の処理度合は、導出された処理度合の範囲で調整可能である。

画像処理の処理度合は、導出された処理度合の範囲で調整可能であるため、出力装置の色域を超えないような処理度合で画像処理を行うことが可能となる。
［２］
本発明の画像識別装置は、画像分割手段と、候補ブロック抽出手段と、分類手段と、候補ブロック領域検出手段とを備えている。画像分割手段は、入力画像をブロックに分割する。候補ブロック抽出手段は、対象画像を特定するための条件に基づいて、分割されたブロック毎の画像を判定し、候補ブロックを抽出する。分類手段は、候補ブロックを候補ブロック単位で領域群に分類する。候補ブロック領域検出手段は、領域群から候補ブロック領域を検出する。

［３］
本発明の画像識別プログラムは、コンピュータを用いて画像識別方法を実行するためのプログラムである。画像識別方法は、画像分割ステップと、候補ブロック抽出ステップと、分類ステップと、候補ブロック領域検出ステップとを備えている。画像分割ステップは、入力画像をブロックに分割する。候補ブロック抽出ステップは、対象画像を特定するための条件に基づいて、分割されたブロック毎の画像を判定し、候補ブロックを抽出する。分類ステップは、候補ブロックを候補ブロック単位で領域群に分類する。候補ブロック領域検出ステップは、領域群から候補ブロック領域を検出する。

［４］
本発明の集積回路は、画像分割部と、候補ブロック抽出部と、分類部と、候補ブロック領域検出部とを備えている。画像分割部は、入力画像をブロックに分割する。候補ブロック抽出部は、対象画像を特定するための条件に基づいて、分割されたブロック毎の画像を判定し、候補ブロックを抽出する。分類部は、候補ブロックを候補ブロック単位で領域群に分類する。候補ブロック領域検出部は、領域群から候補ブロック領域を検出する。

本発明の画像識別方法によれば、候補ブロックを単位として候補ブロック領域を検出することで、対象画像の識別精度を向上できる。また、候補ブロックを単位として検出を行うことで、高速な処理を実現できる。

以下、本発明の最良の形態としての第１〜第４実施形態について説明する。
第１実施形態では、画像を分割したブロックから対象画像の候補ブロックを検出し、さらに候補ブロック領域を検出する画像識別方法について説明する。
第２実施形態では、候補ブロック領域が対象画像であるか否かを判定する画像識別方法について説明する。

第３実施形態では、対象画像の識別結果に応じて、画像処理を行う画像処理方法について説明する。
第４実施形態では、対象画像の識別結果に応じて、入力された画像データに情報を付加する画像処理方法について説明する。
［第１実施形態］
図１〜図６を用いて、本発明の第１実施形態として、画像を分割したブロックから対象画像の候補ブロックを検出し、候補ブロック領域を検出する画像識別器１００について説明する。

図１に、本発明の第１実施形態における画像識別器１００の構成図を示す。画像識別器１００は、画像データを処理することにより、画像中の対象画像を識別する装置であり、例えば、画像データを画像中の対象画像に応じて処理する画像処理装置、複数の画像から対象画像を含む画像を検索する画像検索装置、あるいは画像処理装置や画像検索装置を含み画像データを取り扱う映像機器などに搭載される。

画像識別器１００に画像データが入力されると、画像分割部１は、予め設定した分割数で画像を分割し、いくつかのブロックに分ける。候補ブロック抽出部２は、パラメータ記憶部２０からブロック（以下、候補ブロックと記す。）を抽出するのに必要な対象画像の情報を取得する。さらに、候補ブロック抽出部２は、対象画像が含まれると予想される候補ブロックを抽出する。次に、分類部３は、抽出された候補ブロックをクラスタリングすることで、各候補ブロックをクラス分けする。最後に、候補ブロック領域検出部４は、候補ブロック同士が連結していて、かつクラスが同じである候補ブロックをグループ化し、それを対象画像が写っていると推定される領域（以下、候補ブロック領域と記す。）とみなす。これによって、画像識別器１００は、対象画像を識別する。なお、画像識別器１００に入力される画像データは、画像の全体のデータであっても、画像の一部のデータであってもよい。

以上のように構成される画像識別器１００の各部について詳しく説明する。
画像分割部１は、画像が入力されると、図２に図示するように所定の分割数で画像をいくつかのブロックに分割する。ここで分割数は、任意に設定可能であるが、検出したい対象画像に応じて実験的に求められる値を用いてもよい。例えば、対象画像を「人物」とする場合には、分割数として１５００（縦５０分割、横３０分割）といった値が採用される。なお、分割数を多くすればするほど、ブロックサイズは小さくなり、対象画像の抽出精度は良くなるが、処理時間が増大する。ここで、設定された分割数は、任意に変更可能であるが、動画など複数の画像を処理する場合には、時間的に過去の画像についての対象画像の識別結果をフィードバックして分割数を設定してもよい。

候補ブロック抽出部２は、ブロック化された画像から、候補ブロックの抽出を行う。
まず、候補ブロック抽出部２は、パラメータ記憶部２０から候補ブロックを抽出するのに必要な対象画像の情報を取得する。このパラメータ記憶部２０から取得されるパラメータ２０ｐは、例えば、対象画像が取り得る色領域を示す情報である。図３に図示するように、対象画像が取り得る色領域の範囲を予め調べておき、それを対象画像色領域ＣＲと定義しておく。パラメータ２０ｐは、ａ＊ｂ＊色空間における対象画像色領域ＣＲの座標（例えば、対象画像色領域ＣＲの境界を示す座標）や、対象画像色領域ＣＲを示す関数である。図３では、点Ａは、対象画像色領域内の画素、点Ｂは、対象画像色領域外の画素を表している。

候補ブロック抽出部２における候補ブロックの抽出手順について説明する。図４に図示するように、比較器２１１は、ブロックを単位として、ブロック内の画素を読み込み、パラメータ２０ｐから取得した対象画像色領域ＣＲの情報と比較し、領域内なら「１」、領域外なら「０」を出力する。カウンタ２１２は、比較器２１１から出力される値をカウントする。判定器２１３は、ブロック内の画素数すべての比較が行われた後、カウンタ２１２のカウント数が、所定の閾値以上であれば、そのブロックを候補ブロックとして抽出する。ここで閾値は、予め設定される値である。

なお、候補ブロックの抽出において、ブロック内のすべての画素について領域内か否かを判定する必要はなく、例えば２画素ごとに比較するなど所定位置の画素のみの比較でも良い。
また、パラメータ２０ｐの情報は、対象物の特徴を表す指標であれば良い。例えば、ブロック内のエッジ量（例えば、輝度の変化量など）をパラメータとすることもできる。ざらついた対象物（例えば、対象物が砂浜や群衆などである場合）は、エッジ量が大きくなり、なめらかな対象物（例えば、対象物が空などである場合）は、エッジ量が小さいといった特徴を有している。このため、この特徴から、対象物の識別ができる。

分類部３は、候補ブロック抽出部２で抽出された候補ブロックに対して、クラスタリングを用いてグループ化を行う。
ここでクラスタリングについて簡単に説明する。クラスタリングとは、分類対象の類似度を判断する指標（以下、分割基準と記す。）を使って、分類対象を、似通っているものの部分集合（クラスタ）に分割する処理である。

本発明では、図５（ａ）に図示するように、分割基準を用いて、取得した候補ブロック間の位置情報（Ｘ，Ｙ）と候補ブロック毎の色情報（ａ＊，ｂ＊）との４次元情報からなる分割対象をクラスタリングする。例えば、分割基準として、４次元空間内での距離が所定の閾値以下となる候補ブロック同士を同じクラスにまとめる指標を用いる。
分類部３は、候補ブロック毎にｘ座標、ｙ座標、色差ａ＊、色差ｂ＊の情報を取得し、分割基準に従って、図５（ｂ）に図示するようにグループ化する。分類部３が取得する情報は、具体的には、次の情報である。まず候補ブロックのｘ座標およびｙ座標は、分割されたブロックにおける候補ブロックの位置を示している。例えば、画像を横に配置してｘ軸方向に５０、ｙ軸方向に３０分割した場合には、一番左上のブロックのｘ座標を０、ｙ座標を０とし、一番右下のブロックのｘ座標を４９、ｙ座標を２９とした時の候補ブロックのｘ座標およびｙ座標の値が用いられる。また、候補ブロックの色差ａ＊および色差ｂ＊の値としては、候補ブロックにおいて対象画像色領域内に含まれる画素の平均値である代表色（Ｌ＊ａ＊ｂ＊）を求め、この代表色の色差ａ＊および色差ｂ＊の値が用いられる。

分類部３は、この４次元情報を取得し、「分割基準」に従って、４次元空間内での距離が所定の閾値以下となる候補ブロック同士を同じクラスにまとめる。なお、本発明は、クラスタリングに用いる分類基準において特徴を有しているが、クラスタリングの処理自体は、従来のクラスタリング手法を用いてよい。
さらに、分類部３は、クラスタリングの結果によってグループ化された候補ブロック毎にクラス番号を付加する。これについて、図６を用いて具体的に説明する。

図６（ａ）は、分割されたブロックから抽出された候補ブロックを示している。太線で囲まれたそれぞれのブロックが抽出された候補ブロックである。
図６（ａ）に図示した候補ブロックは、クラスタリングによって、分類される。例えば、候補ブロックが３つに分類される場合、それぞれの候補ブロックには、図６（ｂ）に示すように、候補ブロックＣ１（６２３）、Ｃ２（６２２）、Ｃ３（６２１）の３つのクラス番号が付加される。

このように本発明では、クラスタリングを行う前に、ブロックを単位として対象とする集合の画素数を削減しておくこと（即ち、候補ブロックを抽出しておくこと）で、処理量を大幅に削減できる。この結果、処理の高速化を実現できる。これは、一般的にクラスタリングに必要な処理量は、対象とする画素数と扱う次元数との増加に応じて、級数的に増大することが知られているからである。

なお、ここでは、分類の算出要素にｘ座標、ｙ座標、色差ａ＊、色差ｂ＊を使用したが、例えば、色差ａ＊および色差ｂ＊のみでクラスタリングを行うこともできる。しかし、本実施形態に示すように、候補ブロックの位置情報（ｘ座標、ｙ座標）を加えると、距離的に近くのデータが同じクラスに分類され易くなる。また、分類の算出要素として、輝度Ｙなど他の条件を用いても良い。

候補ブロック領域検出部４は、各候補ブロックのクラスが決定した後、候補ブロックを連結させ、候補ブロック領域を作成する。候補ブロックの連結は候補ブロックにラベルを付加することによって行う。
候補ブロック領域検出部４は、図６（ｃ）に図示するように、候補ブロック同士が上下、左右、斜めで８連結していて、かつクラスが同じ時に、同じラベルを付加する。例えば、図６（ｂ）の候補ブロック分類後６２では、Ｃ１とＣ２の候補ブロックが５つ連結しているが、図６（ｃ）のように、クラスが異なるので別のラベルを付ける。また、図６（ｂ）に図示するように、候補ブロックを分類した結果、２つの離れたグループが同じＣ１（６２３）に分類されているが、両者は８連結していないので、候補ブロック領域検出部４は、別のラベルを付与する。以上の操作を繰り返すことで、例えば、図６（ｃ）に図示するように、Ｌ１（６３１）、Ｌ２（６３４）、Ｌ３（６３２）Ｌ４（６３３）の４つの候補ブロック領域を検出する。

このように本発明では、対象画像と背景が類似した色領域でも、クラスタリングしてから候補ブロックを連結させることで、別のクラスに分類することができるようになり、識別精度を向上できる。
以上により本発明では、画像を分割し、分割されたブロックから候補ブロックを検出し、更に、候補ブロックをクラスタリングと、連結状態で分類することで候補ブロック領域を検出する。このため、対象画像が存在すると想定される領域を精度良く、高速に検出することができる。

［第２実施形態］
第１実施形態では、対象画像が存在すると想定される領域（候補ブロック領域）を検出する方法について述べた。第２実施形態では、候補ブロック領域を検出した後に、その領域が実際に対象画像であるかどうかを判定する方法について述べる。
図７を用いて、候補ブロック領域が対象画像であるかどうかを判定する方法を実現する画像識別装置６の構造を説明する。画像識別装置６において、画像識別器１００は、第１実施形態と全く同じものである。このため、以下では、対象画像判定部５について主に説明を加える。

画像識別装置６の対象画像判定部５は、対象画像を判定するための情報を対象画像情報記憶部５０から取得し、候補ブロック領域が対象画像であるか否かの判定を行う。
対象画像を人物とした場合、人物を特定するための対象画像情報５０ｐを対象画像情報記憶部５０から取得する。例えば、人物を特定するための対象画像情報５０ｐとして、候補ブロック領域の重心情報、形状情報、色情報などがある。他にも、動画であれば、対象画像情報５０ｐは、動きの速度などであってもよい。

図８〜図９を用いて、人物の判定に際して、候補ブロック領域の重心を利用する場合について説明する。
一般に人物を中心に写真を撮る場合、人物は大抵中央付近に配置され写されることが多い。このように、人物写真では、対象画像となる人物の配置に特性を有している。このため、対象画像情報５０ｐとして、候補ブロック領域の重心位置に応じて予め設定された重み情報を与えることで、候補ブロック領域が対象画像であるか否かの判定を行うことができる。

図８に図示するように、対象画像判定部５は、画像判定器５１により構成され、対象画像情報５０ｐとして、領域判定情報５０１が与えられる。
重心算出部５１１は、候補ブロック領域検出部４から出力される候補ブロック領域毎（同じラベルが付された領域毎（図６（ｃ）参照））の重心を算出する。重心判定部５１２は、重心算出部５１１から、算出された候補ブロック領域毎の重心を取得し、対象画像情報記憶部５０から、重心の位置に対して設定された重み情報である領域判定情報５０１を取得する。さらに、重心判定部５１２は、取得された重心と重み情報とから、その候補ブロック領域が人物であるか否かの判定を行う。

一般に人物を中心に写真を撮る場合、人物は大抵中央付近に配置されることが多い。そこで、領域判定情報５０１は、図９に図示するように、候補ブロック領域の重心位置に応じた重み付けを定義し、画像の中心ほど、人物であると予想される値を大きくする。図９に示す領域判定情報５０１では、領域Ａを１００％、領域Ｂを７５％、領域Ｃを５０％、領域Ｄを０％とした。これらの重みは、対象画像を解析することで、予め得られる値である。

また、人物を４隅に写す可能性は低いことから、４隅を省いたような形で定義すると、なお良い。さらに、領域Ｄの左の部分と右の部分の領域は同じ大きさであるが、下の部分と上の部分では下の部分の方の重みを下げている領域を広く取れば、更に良い。これは、カメラを構える時にカメラを縦にして撮影することは考えられるが、カメラを逆さまに構えて撮影をすることは考えにくいためである。重心判定部５１２は、判定結果を、人物画像で「ある」、「ない」の２値判定出力することができるだけでなく、候補ブロック領域の重心の位置に応じて、例えば７５％人物である、５０％人物であるといったように領域判定情報５０１から取得した値を利用することで、人物画像らしさの度合いを値として出力することもできる。

次に、図１０〜図１１を用いて、人物の判定に際して、候補ブロック領域の形状を判定する場合について説明する。
一般に人物の顔はほぼ丸い形をしており、ドーナッツのように大きな穴があいている領域やあまりにも細長い領域などは人物の顔には少ない。このように、人物写真では、対象画像となる人物の形状に特性を有している。よって候補ブロック領域が円に近いかどうか（以下、円形度と記す。）を調べることで、人物判定を行うことができる。より具体的には、対象画像情報５０ｐとして、円形度に対する閾値を与え、この閾値と実際の円形度との比較を行うことにより、候補ブロック領域が対象画像であるか否かの判定を行うことができる。

図１０に図示するように、対象画像判定部５は、画像判定器５２により構成され、対象画像情報５０ｐとして、形状情報５０２が与えられる。
外接円面積算出部５２１は、候補ブロック領域を囲む外接円の面積Ｓ１を算出する。候補ブロック領域面積算出部５２２は、候補ブロック領域の面積Ｓ２を算出する。そして、形状判定部５２３は、対象画像情報記憶部５０から形状に関する画像情報である形状情報５０２を取得し、Ｓ１およびＳ２を用いてその候補ブロック領域が人物であるか否かの判定を行う。

ここで、候補ブロック領域を囲む外接円とは、図１１に図示するように、候補ブロック領域の重心の位置から最も外側の辺（または、頂点）に線を引き、それを半径とする円のことである。外接円の面積をＳ１、候補ブロック領域の面積をＳ２とすると、円形度は例えば、形状情報５０２から取得した形状定義により（Ｓ２／Ｓ１）・１００で求めることが出来る。なお、形状判定部５２３は、円形度が所定の値以上であれば、人物画像と判定する。

なお、形状判定部５２３は、人物で「ある」、「ない」の２値判定だけではなく、例えば７５％人物である、５０％人物であるといったように求めた円形度の程度により、人物画像らしさの度合いを値として出力することもできる。
また、円形度は、候補ブロック領域の縦横比として求められても良い。例えば、形状判定部５２３は、候補ブロック領域の信号４００を取得する。形状判定部５２３は、形状情報５０２から取得した形状定義により、候補ブロック領域が含むそれぞれのブロックの配列（位置関係）から候補ブロック領域の縦横比を計算する。さらに、形状判定部５２３は、形状情報５０２から取得した縦横比の閾値と計算した値とを比較し、判定を行う。

なお、ここでは、円形度の判定としたが、判定は円形度に限定されるものではない。すなわち、形状判定部５２３は、候補ブロック領域の信号４００に基づいて、形状情報５０２から取得した形状定義を計算する。さらに、形状判定部５２３は、計算値を形状情報５０２から取得した閾値と比較し、判定を行う。あるいは、形状判定部５２３は、計算値を対象画像らしさの度合いとして出力する。なお、形状定義とは、対象画像に特有の形状を定義する情報であり、例えば、候補ブロック領域が含むブロックの配列（位置関係）に基づいて計算される関数などである。

なお、図１０では、候補ブロック領域の信号４００が形状判定部５２３に入力されているが、この入力は必ずしも必要ではない。例えば、上記したように、（Ｓ２／Ｓ１）・１００に従って円形度を求める場合には、候補ブロック領域の信号４００は、形状判定部５２３に入力されていなくてもよい。
次に、図１２〜図１３を用いて、人物の判定に際して、候補ブロック領域の色情報を判定する場合について説明する。

図１２に図示するように、対象画像判定部５は、画像判定器５３により構成され、対象画像情報５０ｐとして、色の目標点情報５０３が用いられる。
代表色抽出部５３１は、各候補ブロック領域の代表色を算出する。候補ブロック領域の代表色は、第１実施形態で説明したのと同様に、候補ブロック領域において対象画像色領域ＣＲ内（図３参照）にある画素の平均値を利用する。

色判定部５３２は、代表色抽出部５３１から、算出された代表色を取得し、対象画像情報記憶部５０から、色に関する画像情報である目標点情報５０３を取得する。さらに、色判定部５３２は、取得された代表色と目標点情報５０３とから、その候補ブロック領域が人物であるか否かの判定を行う。
目標点情報５０３は、例えば、図１３に図示するように、人物の肌の理想的な色の目標色度値Ｃをａ＊ｂ＊色空間上の座標として定義している。色判定部５３２は、入力画素の色度値（代表色抽出部５３１が出力する代表色の色度値）が目標色度値Ｃにどれくらい近いかによって判定を行う。図１３を用いて具体的に説明する。例えば、ある入力画素の色度値Ａと目標色度値Ｃとの距離をｋ１、別の入力画素の色度値Ｂと目標色度値Ｃとの距離をｋ２とし、ｋ１は、ｋ２よりも小さいとする。この場合、色度値Ａの方がより人物の肌らしいとみなされ、大きい値を出力する。即ち、代表色の色度値と目標色度値Ｃとの色差が近いほど大きな値を出力するように定義されている。

色判定部５３２は、候補ブロック領域の代表色の色度値と目標色度値Ｃとの距離に応じて出力される値を所定の閾値と比較し、出力される値が所定の閾値を超える場合には、候補ブロック領域が人物であると判定する。なお、この閾値は、予め色判定部５３２が備えるものであってもよいし、対象画像情報記憶部５０から取得されるものであってもよい。
なお、色判定部５３２は、人物画像で「ある」、「ない」の２値判定だけではなく、目標色度値Ｃとの距離により、例えば７５％人物である、５０％人物であるといったように人物度を出力することもできる。これによって、人物画像らしさの度合い値を出力してもよい。また、色判定部５３２は、入力画素の色度値が目標色度値Ｃにどれくらい近いかによって判定を行うとしたが、色空間上の入力画素の位置情報に基づき、判定するようにしてもよい。つまり、入力画素が色度平面で目標色度値Ｃと同じ距離でも、明度、色相、彩度が異なった場合に異なる判定や度合いになるようにしてもよい。

また、人物の肌は濃淡がなめらかに変化するといった特徴がある。対象画像情報記憶部５０は、この特徴を画像情報として保有し、画像判定器５３は、この画像情報に基づいて画像判定を行っても良い。
具体的には、画像判定器５３は、候補ブロック領域の画素の濃淡変動を検出する。候補ブロック領域が人物の肌を含む場合、人物の肌は滑らかであるため、検出された濃淡変動は、穏やかで少ないはずである。一方、候補ブロック領域が人物ではない肌色の物体を含む場合、例えば、砂浜などを含む場合、濃淡変動が激しくなるはずである。よって、対象画像情報５０ｐとして、ざらつき感の度合いの基準を濃淡変動情報として保有し、検出された濃淡変動と保有された濃淡変動情報とを使って、その候補ブロック領域が人物であるか否かの判定を行うことができる。ここで、濃淡変動とは、画素毎に輝度の差が閾値を超えて変化すること、として定義されている。また、濃度変動情報とは、濃度変数の回数を示す値、として定義されている。画像判定器５３は、候補ブロック領域毎にこの濃淡変動をカウントし、カウントした結果が濃淡変動情報により示される所定の値以下である場合を「人物」、所定の値以上である場合を「人物外」と判定する。なお、濃淡変動の代わりに、エッジ量を使用することもできる。

なお、画像判定器５３は、判定結果として、人物画像で「ある」、「ない」の２値判定を出力することができるだけではなく、例えば、変動回数に応じて、７５％人物である、５０％人物であるといったように求めた値を利用し人物画像らしさの度合いを出力することもできる。
また、画像領域のざらつきの度合いにより対象画像の判定を行う場合に、所定の閾値を越える濃淡変動の回数をカウントする代わりとして、候補ブロック領域内のエッジ量、候補ブロック領域内の色の分布を検出するようにしても良い。

次に、候補ブロック領域の重心情報、形状情報、色情報から候補ブロック領域が人物であるかの判定を行う方法をだけでなく、複数の判定結果に基づいて対象画像の判定を行う場合について説明する。
例えば、図１４に図示するように、対象画像判定部５は、画像判定器５１と、画像判定器５２、画像判定器５３、総合判定部５４により構成される。画像判定器５１〜５３は、それぞれ出力結果Ｒ１、出力結果Ｒ２、出力結果Ｒ３を出力する。統合判定部５４は、出力結果Ｒ１〜Ｒ３を用いて、その候補ブロック領域が人物であるか否かの判定を行う。判定に際して統合判定部５４は、次式で表される判定出力Ｒｏを計算する。

判定出力Ｒｏ＝（Ｒ１・Ｗ１＋Ｒ２・Ｗ２＋Ｒ３・Ｗ３）／（Ｗ１＋Ｗ２＋Ｗ３）
ここで、Ｒ１〜Ｒ３は、出力結果Ｒ１〜Ｒ３の値（上述した「人物画像らしさの度合い」または「人物画像である場合を［１］、ない場合を［０］とする値」）であり、Ｗ１〜Ｗ３は、どの判定結果を重視するかを示す重み係数である。例えば、Ｗ１〜Ｗ３は、Ｗ１＋Ｗ２＋Ｗ３＝１を満たす係数であってもよい。

これにより、統合判定部５４は、例えば、７５％人物や５０％人物などといった、対象物らしさの度合いを示す判定出力Ｒｏを出力する。なお、統合判定部５４の結果としては、人物画像で「ある」、「ない」の２値判定結果を出力してもよい。この場合、統合判定部５４は、所定の閾値と判定出力Ｒｏとの比較を行い、判定出力Ｒｏが所定の閾値を超える場合に人物画像で「ある」と判定する。

ここで、対象画像情報５０ｐとして、画像判定器５１の重心判定部５１２（図８参照）は領域判定情報５０１を用い、画像判定器５２の形状判定部５２３（図１０参照）は、形状情報５０２を用い、画像判定器５３の色判定部５３２（図１２参照）は、目標点情報５０３を用いる。
なお、第２実施形態では、対象画像が人物の場合について説明を行ったが、対象画像が人物でない場合にも、応用できる。パラメータ２０ｐおよび対象画像情報５０ｐを対象画像の特徴情報に変更、または更新することで、異なる対象画像でも、精度良く、高速に画像識別できる。

［第３実施形態］
第３実施形態では、対象画像の識別結果に応じて、画像処理を行う場合について説明する。
図１５を用いて、対象画像の識別結果に応じて画像処理を行う画像処理装置２００の構造を説明する。画像処理装置２００において、画像識別装置６は、第２実施形態で説明したものと同じ物である。画像識別装置６は、パラメータ２０ｐと対象画像情報５０ｐとを取得し、画像データに対象画像が写っているか否かを判定する。画像処理部７は、画像識別装置６の判定結果に応じて、適切な画像処理を行う。画像識別装置６を用いることで、画像の識別を正確かつ高速に行えるので、画像処理部７は画像に合った適切な処理を高速に行うことが可能である。

画像識別装置６のパラメータ２０ｐ、対象画像情報５０ｐは、第１実施形態、第２実施形態と全く同じなので説明は省略する。
画像処理部７は、例えば記憶色補正を行う。記憶色とは、一般に人が身近にある物の色、色名に結び付けて記憶に留めている色のことで、実際の色とは異なる印象的な色として記憶されている色のことである。そこで記憶色補正を行うことで、画像を人が記憶している色に近づけることができ、出来上がった画像と実際のイメージとの間の違和感を無くすことができる。

記憶色補正は、図１６に図示するように、補正を行いたい領域（以下、補正領域と記す。）を色空間上で定義し、その領域内に目標となる色度値（以下、目標色度値と記す。）を設定する。入力された画素が補正領域内だった場合、目標色度値に入力画素を近づけることによって補正を行う。図１６では記憶色補正として緑、空、肌色の記憶色補正を例に挙げている。しかし、記憶色補正によって画像に意図していない副作用が出てしまう場合がある。例えば、壁の色が肌色補正領域内だった場合、肌色補正がかかってしまう。この結果、壁の色が肌色になり、好ましくない。そこで、画像識別装置６で予め画像を識別しておくことで、対象画像が存在すると判定された場合には、記憶色補正を行い、存在しない場合には、弱めることが可能となる。このため上記副作用を軽減できる。また、対象画像が写っている位置を検出し、その部分にのみ、記憶色補正をかけることも可能である。

なお、画像識別装置６の判定結果は人物画像で「ある」、「ない」の２値判定ではなく、例えば７５％人物である、５０％人物であるといったような人物画像らしさの度合いを出力の値とすることもできる。この場合の効果として、判定結果の値に応じて記憶色補正の補正強度を変えることができる。即ち、例えば画像識別装置６の判定の結果、入力データの人物画像らしさ度が高い場合には、肌色補正の強度を強めるため、図１７に図示すように、入力画素の色度値を目標色度値に近づける距離（度合い）を大きくする（Ｍ２）。また逆に、入力データの人物画像らしさ度が低い場合には、肌色補正強度を弱めるため、入力画素の色度値を目標色度値に近づける距離（度合い）を小さくする（Ｍ１）。

次に、画像処理部７が階調補正を行う場合について説明する。例えば、画像識別装置６の判定結果で人物画像であると判定された場合には、画像にメリハリを付けるような処理を行う方が好ましい。そこで判定結果に基づいて、図１８に図示する階調変換の特性を示す階調補正Ａと階調補正Ｂとを切り替える。例えば、人物に対しては、画像にメリハリを付ける階調補正Ａを用い、風景に対しては、より忠実な階調表現が好ましいので、階調補正Ｂを用いる。

以上により、対象画像の識別結果に応じて、階調補正カーブを変更することで、最適な画像再現を行うことができる。
以上、画像処理部７において、色処理、階調処理などの画像処理が行われる場合について説明した。それぞれの処理を実現する画像処理部７において、画像処理の程度（例えば、記憶色補正の補正傾向や補正強度、階調補正の補正強度など）は、ユーザが操作可能な処理度設定部から与えられてもよい。以下、処理度設定部により与えられる画像処理の程度を示す値を目標処理度という。

図１９に、処理度設定部３０１を備える画像処理装置３００の構造を示す。なお、画像処理装置３００において、画像処理装置２００（図１５参照）で説明したのと同様に動作する部分には、同じ符号を付して説明を省略する。
処理度設定部３０１は、ユーザにより操作され、画像処理部７に対して目標処理度を出力する。処理度設定部３０１は、ユーザが直接操作可能なハードウェアにより構成されていてもよいし、ユーザがＧＵＩ（グラフィカルユーザインタフェース）を介して操作可能なソフトウェアにより構成されていてもよい。また、処理度設定部３０１には、画像識別装置６の判定結果の値が入力されている。この判定結果の値は、デフォルトの目標処理度を決定するために用いられる。

図２０を用いて、処理度設定部３０１がソフトウェアにより構成される場合について説明する。処理度設定部３０１がソフトウェアにより構成される場合、処理度設定部３０１は、画像処理装置２００に内蔵あるいは接続される表示画面（図示せず）に表示される調整スケール３０２を介して操作される。調整スケール３０２がユーザにより操作されると、処理度設定部３０１は、スライディングバーの位置に応じた値を目標処理度として出力する。例えば、スライディングバーの位置に応じて、値［０］〜値［１］の範囲の目標処理度を出力する。

図２０は、補正強度の目標を与えるスライディングバーを示している。以下、このスライディングバーを用いた場合の画像処理について詳しく説明する。
例えば、画像処理部７は、ＬＵＴ（ルックアップテーブル）を用いて、入力画素の色度値を目標色度値に近づけるように変換するとする。この場合、入力画素の色度値に対応する目標色度値がＬＵＴに格納されている。画像処理部７は、例えば、複数の記憶色に対応するＬＵＴを備え、画像識別装置６の判定結果に応じて、少なくとも１つのＬＵＴを選択する。例えば、判定結果により、画像データに人物画像が含まれると判定されると、肌色の記憶色補正を行うＬＵＴが選択される。さらに、画像処理部７は、入力画素の色度値を画素毎に順次取得し、画像処理を行う。画像処理は、ＬＵＴを参照し、取得された入力画素の色度値に対応する目標色度値を取得することにより行われる。また、画像処理部７は、処理度設定部３０１から目標処理度を取得する。さらに、画像処理部７は、入力画素の色度値と目標色度値とを結ぶ色空間上のベクトルの大きさを目標処理度により変換し（目標処理度によりスカラー倍し）、入力画素の色度値を始点とする新たなベクトルの終点の色度値を出力する。

ユーザが調整スケール３０２の操作を行う際、スライディングバーは、画像識別装置６の判定結果に基づいて決定されたデフォルトの目標処理度を示す位置に表示される。例えば、上述したように、判定結果として、人物画像らしさの度合いなどが割合として出力される場合には、その値が目標処理度として用いられてもよい。より具体的には、画像識別装置６の判定の結果、入力データの人物画像らしさ度が高い場合には、肌色補正の強度を強めるため、入力画素の色度値を目標色度値に近づける距離（度合い）を大きくするような値がデフォルトの目標処理度として与えられ、その値を示す位置にスライディングバーが表示される（Ｍ２）。一方、入力データの人物画像らしさ度が低い場合には、肌色補正強度を弱めるため、入力画素の色度値を目標色度値に近づける距離（度合い）を小さくするような値がデフォルトの目標処理度として与えられ、その値を示す位置にスライディングバーが表示される（Ｍ１）。

さらに、ユーザは、スライディングバーを操作して、デフォルトの目標処理度を所望する値に変更することができる。
本発明の処理度設定部３０１では、予め適切なデフォルトの目標処理度が与えられる。このため、ユーザは、そのデフォルトの目標処理度を微調整するだけで所望する画像処理を行うことが可能となる。すなわち、ユーザは、より簡易に適切な画像処理を行うことが可能となる。

なお、ここでは画像処理部７がＬＵＴを用いて画像処理する場合について記載したが、画像処理部７は、入力画素の色度値に対してマトリクス演算し出力画像を出力するものであってもよい。この場合、目標処理度により、マトリクス演算に用いられる係数マトリクスの値が変換される。
なお、ここでは画像処理部７が補正強度を変更する画像処理を行う場合について記載したが、画像処理部７は、補正傾向を変更する画像処理であってもよい。

なお、ここでは判定結果の値をデフォルトの目標処理度として用いると説明したが、これに限らない。例えば、判定結果の値がどのような値であれ、値［０］〜値［１］に正規化して用いることが可能である。さらに、処理度設定部３０１は、スライディングバーの位置に応じて、値［０］〜値［１］の範囲の目標処理度を出力すると説明したが、画像処理部７の画像処理の程度を変更することができれば、この値の範囲に限らない。

〈変形例〉
（１） 処理度設定部は、画像処理部７で画像処理された出力画像の色域が、出力画像を出力する出力装置の色域を超えないようにデフォルトの目標処理度を決定してもよい。
このような処理度設定部３１１を備える画像処理装置３１０を図２１を用いて説明する。なお、画像処理装置３１０において、画像処理装置２００（図１５参照）や画像処理装置３００（図１９参照）で説明したのと同様に動作する部分には、同じ符号を付して説明を省略する。

画像処理装置３１０は、処理度設定部３１１の構成において特徴を有している。具体的には、処理度設定部３１１は、色域情報記憶部３１５と、処理度導出部３１６と、処理度決定部３１７とを備えている。
色域情報記憶部３１５は、出力装置の色域を示す情報を格納している。ここで、出力装置とは、例えば、出力信号が表示されるモニタなどの表示装置や、出力信号をプリントするプリンタなどの印刷装置などである。

処理度導出部３１６は、画像処理部７がＬＵＴを用いて画像処理を行う場合には、画像処理部７において用いられるＬＵＴを画像処理部７から取得する。さらに、処理度導出部３１６は、入力画素の色度値を画素毎に取得するとともに、それぞれの画素毎に入力画素の色度値に対応する目標色度値（ＬＵＴの値）を求める。
さらに、処理度導出部３１６は、それぞれの画素毎に入力画素の色度値と目標色度値とを結ぶベクトルを求め、求められたベクトルをスカラー倍した場合に終点となる色度値が出力装置の色域に含まれるようなスカラーを求める。

図２２を用いて、上述のスカラーの導出について説明を加える。図２２は、ａ＊ｂ＊空間における出力装置の色域ＣＧを示している。
処理度導出部３１６は、入力画素の色度値Ｊに対して、ＬＵＴを参照することにより、目標色度値Ｋを取得する。さらに、処理度導出部３１６は、色度値ＪＫを結ぶ直線Ｌｊｋと、出力装置の色域ＣＧの境界とが交わる点を導出する。具体的には、色域ＣＧの境界は、色空間ａ＊ｂ＊上の関数として定義でき、この関数と直線Ｌｊｋとの交点が計算される。さらに、色度値Ｊを始点としそれぞれの交点Ｐ１および交点Ｐ２を終点とするベクトルが、色度値Ｊと色度値Ｋとを結ぶベクトルを何倍したものであるかが求められる。このようにして求められた値が入力画素の色度値Ｊに対するスカラーとなる。図２２は、ベクトルＪＫをａ１倍したベクトルがベクトルＪＰ１であり、ａ２倍したベクトルがベクトルＪＰ２であることを示している。これはすなわち、入力画素の色度値Ｊを目標処理度ａ１以上ａ２以下で画像処理を行う場合、画像処理後の色度値が出力装置の色域ＣＧに含まれる、ことを意味している。

処理度導出部３１６は、このような処理を入力画素の全てに対して行い、それぞれの処理の結果を処理度決定部３１７に出力する。
処理度決定部３１７は、全ての画素における最大の下限値ａ１’と、最小の上限値ａ２’を求める。さらに、処理度決定部３１７は、デフォルトの目標処理度として、ａ１’以上ａ２’以下の値を設定する。例えば、ａ１’〜ａ２’の中間値をデフォルトの目標処理度として設定する。このような値にデフォルトの目標処理度が設定された場合の調整スケール３１２を図２３に示す。

また、調整スケール３１２において、ａ１’以上ａ２’以下の値が目標処理度として設定されると、画像処理後の全ての入力画素の色度値は、出力装置の色域ＣＧに含まれる。例えば、図２２に示すように、入力画素の色度値Ｊに対しては、目標処理度ａ１’以上ａ２’以下で画像処理を行えば、画像処理後の色度値が出力装置の色域ＣＧに含まれる。
本発明の処理度設定部３１１では、予め適切なデフォルトの目標処理度が与えられる。具体的には、出力装置の色域ＣＧを超えないような画像処理を行うための目標処理度が与えられる。ユーザは、そのデフォルトの目標処理度を微調整して画像処理を行えば、出力画像の色域を出力装置の色域内に保ちつつ、所望の画像処理を行うことが可能となる。すなわち、ユーザは、より簡易に適切な画像処理を行うことが可能となる。

なお、処理度設定部３１１は、求められた目標処理度の範囲に応じて、ユーザが設定可能な目標処理度の範囲を制限してもよい。具体的には、処理度設定部３１１は、求められたスカラーの下限ａ１’から上限ａ２’までの範囲でのみ、ユーザに調整スケールの操作を許可してもよい。このような調整スケール３２２を図２４に示す。調整スケール３２２では、予めａ１’以上ａ２’以下の値の目標処理度しか設定できないようになっている。

本発明の処理度設定部３１１では、出力画像の色域が出力装置の色域ＣＧを超えることが防止され、出力画像の一部がクリップされて出力されるなどの不都合が防止される。
なお、処理度導出部３１６において、目標色度値Ｋを用いて目標処理度を求めたが、この方法に限られるものではない。例えば、画像処理部７が目標色相へ近傍の画素を回転させる処理（例えば、記憶色補正処理）の場合、目標色相へ向かう色域を越えない最大の色相回転量（補正強度）を求め、デフォルトの目標処理度としてもよい。この場合、（目標色相には至らない）色域を越えない最大の色相回転量が最小の上限値ａ２’に相当する。

また、入力画素の値に対し、ＬＵＴの出力値である目標色度値が出力装置の色域を越える画素が存在した場合にのみ、色域を越えない最大のスカラー値を求めるようにしてもよい。つまり、ＬＵＴの出力を色域外と検出した場合に色域内となる最大のスカラー値ａ２を求め、処理度決定部３１７がその中で最小のａ２’を求め、デフォルトの初期値になるようにしてもよい。また、本変形例の処理は、本実施形態に記載した処理とともに行われてもよい。すなわち、図１９〜図２０を用いて説明した本実施形態に記載の処理によりデフォルトの目標処理度を決定した後、決定されたデフォルトの目標処理度が本変形例で説明した処理で求められた目標処理度の範囲に含まれるか否かを判定する。判定結果が肯定的である場合、本実施形態に記載の処理で求められた値をデフォルトの目標処理度として用いる。判定結果が否定的である場合、本変形例で説明した処理で求められた範囲に含まれる値のうち、本実施形態に記載の処理で求められた値に最も近い値をデフォルトの目標処理度として用いる。

具体的には、この判定処理は、図２１に示した処理度決定部３１７により行われる。処理度決定部３１７は、画像識別装置６の判定結果をさらに取得し、処理度導出部３１６から取得されるスカラーに基づいて定められた目標処理度の範囲に基づいて、この判定処理を行う。
なお、本変形例に記載した処理度設定部では、入力画素毎に所定のＬＵＴを参照しスカラーを求める、と説明した。ここで、入力画素が含まれる色域を予め判定し、特定の色域の画素のみに基づいてスカラーを決定してもよい。ここで、特定の色域とは、画像処理の対象となる色域であり、ＬＵＴにより主に変換される色域である。図２５に、このような処理を実現する処理度設定部３３０を示す。処理度設定部３３０は、色域情報記憶部３１５と、色領域判定部３３１と、処理度導出部３３２と、特定色処理度決定部３３４と、特定色目標処理度決定部３３３とから主に構成されている。

色域情報記憶部３１５は、図２１を用いて説明したのと同様であるため、説明を省略する。
色領域判定部３３１は、入力画素を取得し、入力画素が含まれる色領域を判定する。処理度導出部３３２は、画像処理部７において画像処理に用いられるＬＵＴを取得し、上述したのと同様のスカラーの導出を画素毎に行う。すなわち、処理度導出部３３２は、上記した処理度導出部３１６と同様に動作し、入力画素の色度値とＬＵＴが格納する目標色度値と出力装置の色域とから、画素毎の目標処理度の範囲を求める。

特定色処理度決定部３３４は、色領域判定部３３１が判定可能な色領域のそれぞれに対して処理度決定部を備える。色領域判定部３３１が肌色領域、緑色領域、空色領域をそれぞれ判定可能であれば、特定色処理度決定部３３４は、肌色処理度決定部３３５と、緑色処理度決定部３３６と、空色処理度決定部３３７とを備える。
さらに、特定色処理度検出部３３４は、色領域判定部３３１からイネーブル信号を取得する。ここで、イネーブル信号とは、色領域判定部３３１が色領域の判定の結果として出力する信号である。色領域判定部３３１は、入力画素が含まれる色領域に対応する処理度決定部に対してイネーブル信号を出力する。

それぞれの処理度決定部３３５〜３３７は、入力画素毎に処理度導出部３３２から目標処理度の範囲を取得する。さらに、それぞれの処理度決定部３３５〜３３７は、イネーブル信号とともに取得された目標処理度の範囲を順次処理する。具体的には、それぞれの処理度決定部３３５〜３３７は、イネーブル信号とともに取得された目標処理度の範囲を順次取得し、最大の下限値と最小の上限値とを求める。

特定色目標処理度決定部３３３は、それぞれの処理度決定部３３５〜３３７が求めた目標処理度の範囲をそれぞれ取得する。また、特定色目標処理度決定部３３３は、画像識別装置６から、それぞれの特定色の判定結果を取得する。特定色目標処理度決定部３３３は、画像識別装置６の各特定画像の判定結果である処理度と、色域による処理度とから、目標処理度を決定する。例えば、人物１００％の判定結果を処理度（補正強度）１００％に設定するとし、肌色処理度決定部３３５から出力される色域内に収まる処理度で目標色度値Ｋに達する処理度を１００％とする。８０％人物の判定結果で、色域の処理度が７０％のとき、最終的な目標処理度は２つの最小値である７０％に設定する。また、５０％人物で、色域内に収まる最大の処理度が７０％の場合は、最終的な目標処理度を５０％に設定する。なお、判定結果は各色領域で求めてもよいし、人物のみの判定結果を用いてもよい。

以上の処理度設定部３３０により、画像処理の処理対象となる領域に応じて適切な目標処理度を決定することが可能となる。なお、色領域判定部３３１は、例えば、入力画素の色相から色領域を判定してもよいし、ＬＵＴを用いて求めてもよい。判定方法は特に限定されるものではない。
また、画像最大調整量は予め計算して置き、ＬＵＴを用いて設定すればよい。

（２）
画像処理装置では、出力画像をプレビュー表示により確認しながら画像処理を行ってもよい。さらにプレビュー表示では、画像識別装置６の判定結果に応じて、表示する領域を変えてもよい。
このようなプレビュー表示を行う画像処理装置では、出力画像の表示を行う表示部を備える。さらに、表示部には、画像識別装置６から、プレビュー表示を行う領域に関する情報が入力される。

画像識別装置６は、判定結果を画像処理部７に出力するとともに、候補ブロック領域の位置を出力する。より具体的には、画像識別装置６は、候補ブロック領域検出部４から、候補ブロック領域の位置を出力する。
表示部は、画像識別装置６から候補ブロック領域の位置を取得し、候補ブロック領域の位置を含む領域を表示する。

これにより、画像処理部７で画像処理される対象画像部分を拡大してプレビュー表示することが可能となる。このため、ユーザは、より簡易に画像処理の対象部分を確認することが可能となる
（３）
第３実施形態およびその変形例（１）〜（２）では、画像識別装置は、第２実施形態で説明したものと同じ物であるとしたが、他の画像識別装置を用いても良い。

例えば、画像識別装置は、特許第２９８６６２５号に示される肌色検出回路であってもよい。具体的には、この肌色検出回路は、映像信号より任意の独立した２つの色信号を生成する色信号生成回路と、前記生成された２つの色信号とあらかじめ設定された第１、第２の設定値との各々の差分に比例した値を、あらかじめ設定された第３の設定値から減算した値を得、零以下の値を零にクリップする肌色判定回路とを備え、前記肌色判定回路の出力は、零以外の値が肌色領域を示し、かつ、肌色らしさの度合いを示す信号として、前記第１、第２の設定値と前記２つの色信号との差分に応じた零ないし第３の設定値の値をとることを特徴とする。

このような画像識別装置から出力される肌色らしさの度合を示す信号にも基づいて、画像処理部７におけるデフォルトの目標処理度が求められてもよい。例えば、肌色度が低い場合には、補正を行わなくてよいため、補正強度の初期値を小さくしてもよい。また例えば、肌色度が低い場合、補正がかかりにくいため、調整スケールで強く補正がかかるように初期値を大きくしてもよい。

また、画像識別装置は、背景技術に示した特許第３３８７０７１号に示される画像識別装置であってもよい。ここでは、肌らしさ表す指数を計算し、さらに、画像全体に対する肌色画素の割合を用いて人物度を出力している。
このような画像識別装置から出力される人物度に基づいて、画像処理部７におけるデフォルトの目標処理度が求められてもよい。

［第４実施形態］
第４実施形態では、画像識別装置６の判定結果によって、入力画像に情報を付加し、それを出力する方法について述べる。
図２６を用いて、判定結果に基づく情報を画像データに付加して出力する画像情報出力装置３００の構造を説明する。画像情報出力装置３００において、画像識別装置６は、第２実施形態で説明したものと同じ物である。画像識別装置６は、パラメータ２０ｐと対象画像情報５０ｐとを取得し、画像データに、対象画像が存在するか否かを判定する。パラメータ２０ｐおよび対象画像情報５０ｐは、判定したい対象画像の分だけ用意される。例えば、対象画像が人、車、空、緑、魚、りんごなどであれば、それぞれに応じたパラメータ２０ｐと対象画像情報５０ｐがパラメータ記憶部２０と対象画像情報記憶部５０とに格納されている。

情報付加部８は、画像識別装置６の判定結果を取得し、図２７に図示する付加情報ＴＧを入力された画像データＩＧに付加して出力画像ＯＧを出力する。付加情報ＴＧとは、例えば人、車、空、緑、魚、りんごなど、画像データＩＧが含むと判定された対象画像を示すタグ情報である。
以上により、この出力画像ＯＧを取得した装置などでは、付加情報ＴＧに基づいて、出力画像ＯＧを自動的にフォルダ分け等して分類保存することができる。

なお、上記実施形態で説明した判定までの処理は、ソフトウェアで実現することができる。図２８にフローチャート図を図示する。
ステップＳ１０１は、入力された画像データを設定した分割数で分割し、画像をいくつかのブロックに分ける。ステップＳ１０２は、ブロックの中から対象画像が含まれると予想されるブロックを候補ブロックとして抽出する。次に、ステップＳ１０３は、候補ブロックを複数のクラスに分類する。ステップＳ１０４は、分類された各クラスでの候補ブロック間の連結条件から候補ブロック領域を検出する。ステップＳ１０５は、候補ブロック領域が位置や形状や色などの判定条件を満たしているかを判定し、判定条件を満たしている場合にはステップＳ１０６に移動し、画像データが対象画像を含むことを示す判定結果１を出力する。一方、判定条件を満たしていない場合にはステップＳ１０７に移動し、画像データが対象画像を含まないことを示す判定結果２を出力する。

［その他］
上記実施形態では、色空間（Ｌ＊ａ＊ｂ＊）を用いて説明したが、本発明は、この色空間の場合にのみ有効であるものではなく、同様の処理を他の色空間（例えば、ＲＧＢ，ＹＣｂＣｒなど）において行うものであってもよい。また、３次元色空間だけでなく、さらに低次元の色空間やさらに多次元の色空間において同様の処理を行うものであってもよい。

上記各実施形態において説明した画像識別器１００、画像識別装置６、画像処理装置２００、画像情報出力装置３００は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡなど、画像を取り扱う機器に内蔵、あるいは接続して用いられる装置であり、ＬＳＩなどの集積回路として実現される。
より詳しくは、上記各実施形態の画像識別器１００、画像識別装置６、画像処理装置２００、画像情報出力装置３００の各機能ブロック（図１、図７、図１５、図２６参照）は、個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、上記各実施形態の各機能ブロックの処理は、プログラムにより実現されるものであってもよい。例えば、図１、図７、図１５、図２６の各機能ブロックの処理は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

本発明の画像識別方法は、画像を高速かつ正確に識別することが求められる分野において有効である。

本発明における画像識別器１００の構成を示すブロック図。 本発明における画像分割部１の処理を説明する説明図。 本発明におけるパラメータ２０ｐの一実施例である対象画像色領域ＣＲの概念を説明する説明図。 本発明における候補ブロック抽出部２の構成を示すブロック図。 クラスタリングについて説明する説明図。 （ａ）候補ブロックの抽出について説明する説明図。

（ｂ）候補ブロックの分類（クラスタリング）について説明する説明図。
（ｃ）候補ブロック領域の検出（ラベリング）について説明する説明図。
本発明の画像識別装置６の構成を示すブロック図。 本発明における画像判定器５１の構成を示すブロック図。 本発明における領域判定情報５０１の説明図。 本発明における画像判定器５２の構成を示すブロック図。 本発明における形状情報５０２の一実施例である円形度について説明する説明図。 本発明における画像判定器５３の構成を示すブロック図。 本発明における目標点情報５０３の一実施例である肌色領域について説明する説明図。 本発明における複数の対象画像情報５０ｐで画像の判定を行う画像判定部５の構成を示すブロック図。 本発明における画像処理装置２００の構成を示すブロック図。 記憶色補正処理について説明する説明図。 記憶色補正処理の強度について説明する説明図。 階調補正処理について説明する説明図。 本発明における画像処理装置３００の構成を示すブロック図 調整スケール３０２のＧＵＩを示す図 本発明における画像処理装置３１０の構成を示すブロック図 スカラーの導出について説明する説明図 調整スケール３０２のＧＵＩを示す図 調整スケール３０２のＧＵＩを示す図 本発明における処理度設定部３３０の構成を示すブロック図 本発明における画像情報出力装置３００の構成を示すブロック図。 出力画像ＯＧのデータ構造について説明する説明図。 本発明の画像識別方法の流れを表すフローチャート図。 従来の画像識別方法を実現する画像識別装置の構成を示すブロック図。

符号の説明

１ 画像分割部
２ 候補ブロック抽出部
３ 分類部
４ 候補ブロック領域検出部
５ 画像判定部
６ 画像識別装置
７ 画像処理部
８ 情報付加部
２０ パラメ−タ記憶部
２０ｐ パラメータ
５０ 対象画像情報記憶部
５０ｐ 対象画像情報
１００ 画像識別器
２００ 画像処理装置
３００ 画像情報出力装置
５１ 画像判定器
５０１ 領域判定情報
５１１ 重心算出部
５１２ 重心判定部
５２ 画像判定器
５０２ 形状情報
５２１ 外接円面積算出部
５２２ 候補ブロック領域面積算出部
５２３ 形状判定部
５３ 画像判定器
５０３ 目標点情報
５３１ 代表色抽出部
５３２ 色判定部
５４ 総合判定部
ＣＲ 対象画像色領域
ＩＧ 画像データ
ＯＧ 出力画像
ＴＧ 付加情報
９０１ 座標変換器
９０２ フレームメモリ
９０３ 肌色画素検出器
９０４ 肌領域候補検出器
９０５ フレームメモリ
９０６ 肌領域検出器
９０７ 肌画像判定器

Claims (27)

1. 入力画像をブロックに分割する画像分割ステップと、
   対象画像を特定するための条件に基づいて、分割された前記ブロック毎の画像を判定し、候補ブロックを抽出する候補ブロック抽出ステップと、
   前記候補ブロックを前記候補ブロック単位で領域群に分類する分類ステップと、
   前記領域群から候補ブロック領域を検出する候補ブロック領域検出ステップと、
   を備える画像識別方法。
2. 前記分類ステップは、前記候補ブロック間の類似度を判断する統計的手法に基づいて、前記候補ブロックを前記候補ブロック単位で領域群に分類する、
   請求項１に記載の画像識別方法。
3. 前記統計的手法は、前記候補ブロックの位置と前記候補ブロックの代表色とを用いる、
   請求項２に記載の画像識別方法。
4. 前記代表色は、前記候補ブロックの画素のうち第１の所定の色領域に含まれる画素を用いて生成される、
   請求項３に記載の画像識別方法。
5. 前記候補ブロック領域検出ステップは、前記領域群の連結の有無に関する条件に基づいて、前記領域群から前記候補ブロック領域を検出する、
   請求項１に記載の画像識別方法。
6. 前記候補ブロック抽出ステップは、前記対象画像に応じて決定されている第２の所定の色領域に、各ブロック内の所定の位置の画素が含まれる割合に関する条件に基づいて、分割された前記ブロック毎の画像を判定し、前記候補ブロックを抽出する、
   請求項１に記載の画像識別方法。
7. 所定の判定情報に基づいて、前記候補ブロック領域が前記対象画像であるか否かに関する指標を出力する対象画像判定ステップ、
   をさらに備える請求項１に記載の画像識別方法。
8. 前記所定の判定情報は、人物画像の特徴を示す情報である、
   請求項７に記載の画像識別方法。
9. 前記所定の判定情報は、前記候補ブロック領域の画像中における位置に応じて定められた情報である、
   請求項７に記載の画像識別方法。
10. 前記所定の判定情報は、前記候補ブロック領域の形状を判定するための情報である、
    請求項７に記載の画像識別方法。
11. 前記所定の判定情報は、前記対象画像の色の特徴を示す情報である、
    請求項７に記載の画像識別方法。
12. 前記対象画像判定ステップは、前記候補ブロック領域の画素であって第３の所定の色領域に含まれる画素の色情報と、前記所定の判定情報とを比較して、前記指標を出力する、
    請求項１１に記載の画像識別方法。
13. 前記対象画像判定ステップは、複数の前記所定の判定情報に基づいて、前記指標を出力する、
    請求項７に記載の画像識別方法。
14. 請求項７に記載の画像識別方法と、
    前記対象画像判定ステップにより出力された前記指標に基づいて、前記入力画像に所定の画像処理を行う画像処理ステップと、
    を備える画像処理方法。
15. 前記画像処理ステップは、前記指標に応じて、前記画像処理の度合いを変更する、
    請求項１４に記載の画像処理方法。
16. 前記画像処理ステップは、前記指標に応じて、前記画像処理の有無を制御する、
    請求項１４に記載の画像処理方法。
17. 前記画像処理とは、記憶色補正である、
    請求項１４に記載の画像処理方法。
18. 前記記憶色補正は、肌色補正である、
    請求項１７に記載の画像処理方法。
19. 前記画像処理とは、階調補正である、
    請求項１４に記載の画像処理方法。
20. 請求項７に記載の画像識別方法と、
    前記対象画像判定ステップにより出力された前記指標に応じて、前記対象画像を示すタグ情報を前記入力画像に付加する情報付加ステップと、
    を備える画像処理方法。
21. 対象画像を特定するために入力画像の画像判定を行い、画像判定結果を出力する画像判定ステップと、
    前記入力画像に対して、前記画像判定結果に基づいて定められる画像処理を行う画像処理ステップと、
    を備え、
    前記画像処理の処理度合は、調整可能であり、
    前記画像処理の処理度合の初期値は、前記画像判定結果により定められている、
    画像処理方法。
22. 対象画像を特定するために入力画像の画像判定を行い、画像判定結果を出力する画像判定ステップと、
    前記入力画像に対して、前記画像判定結果に基づいて定められる画像処理を行う画像処理ステップと、
    を備え、
    前記画像処理の処理度合は、調整可能であり、
    前記画像処理の処理度合の初期値は、前記画像処理後の入力画像を出力する出力装置の色域に応じて定められている、
    画像処理方法。
23. 前記画像処理後の入力画像の色域が前記出力装置の色域に含まれるような処理度合の範囲を導出する処理度合導出ステップ、
    をさらに備え、
    前記初期値は、導出された前記処理度合の範囲に含まれている、
    請求項２２に記載の画像処理方法。
24. 前記画像処理後の入力画像の色域が前記出力装置の色域に含まれるような処理度合の範囲を導出する処理度合導出ステップ、
    をさらに備え、
    前記画像処理の処理度合は、導出された前記処理度合の範囲で調整可能である、
    請求項２２に記載の画像処理方法。
25. 入力画像をブロックに分割する画像分割手段と、
    対象画像を特定するための条件に基づいて、分割された前記ブロック毎の画像を判定し、候補ブロックを抽出する候補ブロック抽出手段と、
    前記候補ブロックを前記候補ブロック単位で領域群に分類する分類手段と、
    前記領域群から候補ブロック領域を検出する候補ブロック領域検出手段と、
    を備える画像識別装置。
26. コンピュータを用いて画像識別方法を実行するための画像識別プログラムであって、
    前記画像識別方法は、
    入力画像をブロックに分割する画像分割ステップと、
    対象画像を特定するための条件に基づいて、分割された前記ブロック毎の画像を判定し、候補ブロックを抽出する候補ブロック抽出ステップと、
    前記候補ブロックを前記候補ブロック単位で領域群に分類する分類ステップと、
    前記領域群から候補ブロック領域を検出する候補ブロック領域検出ステップと、
    を備える画像識別方法である、
    画像識別プログラム。
27. 入力画像をブロックに分割する画像分割部と、
    対象画像を特定するための条件に基づいて、分割された前記ブロック毎の画像を判定し、候補ブロックを抽出する候補ブロック抽出部と、
    前記候補ブロックを前記候補ブロック単位で領域群に分類する分類部と、
    前記領域群から候補ブロック領域を検出する候補ブロック領域検出部と、
    を備える集積回路。
    
    

Images