JP2007025935A - 画像検出装置 - Google Patents

Abstract

【課題】 画像から高精度に顔が描かれた部分を検出する画像検出装置を提供する。
【解決手段】本発明の画像検出装置１０は、顔部分が検出される元の画像を取得する元画像取得部１２と、元画像に対して第１のトーンカーブ曲線を用いて補正を行い、補正済み元画像を作成する元画像トーンカーブ補正部２２と、補正済み元画像において顔部分を検出して顔画像を作成する顔画像作成部２４と、顔画像に対して複数の第２のトーンカーブ曲線いずれかを用いて補正を行い、異なる補正が行われた複数の補正済み顔画像を作成する顔画像トーンカーブ補正部２６と、複数の補正済み顔画像それぞれに対して顔画像であることの確からしさを評価する顔画像評価部２８と、顔画像評価部が最も高い評価をした補正済み顔画像に対して顔画像トーンカーブ補正部が適用した第２のトーンカーブ曲線に基づいて、第１のトーンカーブ曲線を算出するトーンカーブ曲線算出部３０を有する。
【選択図】図１

Description

本発明は、画像中から対象に関する部分を検出する画像検出装置に関する。

例えば、カメラの画像における顔画像（顏が描かれている部分、以下、「顔部分」と称する。）の検出は、撮影環境（特に、照明条件）を考慮し、画像において顔特徴量が抽出された部分を顏部分とすることで行われる。そのためには、あらゆる撮影環境においてどのような顔特徴量が抽出されるかを予め調べておく必要がある。すなわち、個々の撮影環境に対応する顏特徴量の情報を用意する必要がある。このように、撮影環境を考慮し、画像において顏部分を検出する顏画像検出装置として、例えば特許文献１のものがある。これは、画像から撮影環境を示す撮影環境情報を抽出し、抽出した撮影環境に対応する顔特徴量の情報に基づいて、該画像において該抽出した撮影環境に対応する顏特徴量が抽出された部分を顏部分とするものである。検出された顏部分は、カメラの撮影場所に訪れた人物の特定に使用される、または同一人物の追跡に使用される参照画像として使用されるなど様々な用途に使用される。
特開２００５−４９９７９公報

しかしながら、あらゆる撮影環境を考慮して、複数の撮影環境それぞれに対応する顔特徴量の情報を用意するとともにそれらの情報を保持するのは現実的ではない。情報の用意に多大な時間を要するとともに、情報を保持するために多大な費用を要する。このことは、特に照明条件が変化するような撮影環境において大きな問題となる。実際には、あらゆる照明条件に対応する顏特徴量情報を用意することは困難である。したがって、対応する特徴量の情報を用意していない撮影環境、特に照明条件が変化するような撮影環境において撮影された画像において顔部分の検出が高精度にできないまたは検出されない場合がある。

そこで、本発明は、照明条件が変化する撮影環境下で撮影された画像であっても該画像から対象に関する部分を高精度に検出できる画像検出装置を提供することを目的とする。

上述の目的を達成するために、本発明に係る画像検出装置は、
撮影時刻が既知の画像において対象が描かれている対象部分を検出する画像検出装置であって、
対象部分が検出される元の画像を取得する元画像取得手段と、
元画像に対して第１のトーンカーブ曲線を用いてトーンカーブ補正を行い、トーンカーブ補正済み元画像を作成する元画像トーンカーブ補正手段と、
トーンカーブ補正済み元画像において対象部分を検出し、対象部分から対象画像を作成する対象画像作成手段と、
対象画像に対して複数の第２のトーンカーブ曲線いずれかを用いてトーンカーブ補正を行い、異なるトーンカーブ補正が行われた複数のトーンカーブ補正済み対象画像を作成する対象画像トーンカーブ補正手段と、
複数のトーンカーブ補正済み対象画像それぞれに対して対象画像であることの確からしさを評価する対象画像評価手段と、
対象画像評価手段が最も高い評価をしたトーンカーブ補正済み対象画像に対して対象画像トーンカーブ補正手段が適用した第２のトーンカーブ曲線に基づいて、第１のトーンカーブ曲線を算出する第１のトーンカーブ曲線算出手段を有し、
元画像補正手段は、過去に取得した元画像から順に、元トーンカーブ補正手段、対象画像作成手段、対象画像トーンカーブ補正手段、対象画像評価手段、トーンカーブ曲線算出手段と介して得られた第１のトーンカーブ曲線を用いることにより、新たに得た元画像にトーンカーブ補正を行うことを特徴とする。

本発明によれば、過去に画像から検出された対象部分を用い、対象部分が高精度に検出できる最適なトーンカーブ補正条件（トーンカーブ曲線）が算出される。最適なトーンカーブ補正条件で新たな画像をトーンカーブ補正することにより、該画像から高精度に新たな対象部分が検出される。また、新たな対象部分を用い、対象部分が検出できるさらに最適なトーンカーブ補正条件（トーンカーブ曲線）が算出される。これを繰り返すことにより、照明条件が変化する撮影環境下で撮影された画像であっても、確実に対象部分を検出することができる。

本発明の画像検出装置は、対象が描かれた部分（対象部分）を画像から高精度に検出するために、該画像に対して輝度に関する補正、いわゆるトーンカーブ補正を行うものである。また、そのトーンカーブ補正の条件を算出するものである。

さらに、本発明に係る画像検出装置は、撮影時刻が既知の画像において対象部分を検出するもので、例えば、人物が映り得る場所を撮影するカメラの画像において顏が描かれた部分（顔部分）を検出するものある。以下、検出対象を人物の顔として本発明に係る画像形成装置の詳細を説明する。

図１は、本発明の一実施形態に係る画像検出装置の構成を示している。図１において符号１０で示される画像検出装置は、顔部分が検出される元の画像のデータを取得する元画像取得部１２と、元画像から顏部分を検出する画像検出部１４と、元画像データや検出された顔部分データなど顏部分検出に関する情報（データ）を記憶するデータ記憶部１６と、画像検出装置を扱うユーザーから顔部分検出に関する指示が入力される入力部１８と、検出した顔部分など顔部分検出に関する情報をユーザーに出力する出力部２０から構成される。

画像検出部１４は、元画像取得部１２が取得した元画像を予め設定されたトーンカーブ曲線（請求の範囲に記載の第１のトーンカーブ曲線に対応）でトーンカーブ補正を行ってトーンカーブ補正済み元画像（以下、「補正元画像」と称する。）を作成する元画像トーンカーブ補正部２２と、補正元画像において顏部分を検出して顏画像を作成する顏画像作成部２４と、顏画像に対して複数のトーンカーブ曲線（請求の範囲に記載の第２のトーンカーブ曲線に対応）いずれか１つを用いてトーンカーブ補正することにより、異なるトーンカーブ曲線でトーンカーブ補正された複数のトーンカーブ補正済み顏画像（以下、「補正顏画像」と称する。）を作成する顔画像トーンカーブ補正部２６と、複数の補正顏画像に対して顔らしさを評価する顔画像評価部２８と、顔らしさに関して最も高く評価された補正顔画像に対して顔画像トーンカーブ補正部２６が適用したトーンカーブ曲線に基づいて上述の予め設定されたトーンカーブ曲線を算出するトーンカーブ曲線算出部３０とを有する。

以下、画像検出装置１０の構成要素について説明する。

元画像取得部１２は、顔部分が検出される元の画像のデータである、人物が映り得る場所を撮影して得られた撮影時刻が既知の画像のデータを取得してデータ記憶部１６に記憶するように構成されている。元画像取得部１２が取得する画像データは、トーンカーブ補正を可能とするためにデジタル画像データである。

また、元画像取得部１２は、アナログ画像を所得した場合、デジタル化するように構成されている。例えば、元画像取得部１２は、人物が映り得る所定の位置を撮影するカメラと接続されており、カメラから撮影した画像に対応するアナログ画像信号が連続入力され、入力された画像信号を増幅し、その後デジタル化して画像データ（フレーム画像データ）とするように構成されている（この場合、アンプとＡ／Ｄコンバータを有する。）。この場合、元画像取得部１２は、画像信号が入力された時間を撮影時刻とし、画像データを該撮影時刻と対応付けて取得する。

また別例として、元画像取得部１２は、顔画像検出装置１０が過去に撮影されて人物が映る撮影時刻が既知のデジタル画像データから顔部分を検出するように構成されている場合、過去に撮影されたデジタル画像データが記録された記録媒体（例えば、ハードディスクやなど）から該データを読み出せるように構成されている。

画像検出部１４は、元画像取得部１２から元画像データを受取り、元画像データに対応する画像（以下、「元画像」と称する。）において顏部分を検出するもので、検出した顏部分を顔画像データとしてデータ記憶部１６に記憶する、または画像として出力部２０に出力する（例えば、ディスプレイに表示する）ように構成されている。画像検出部１４の構成要素については後述する。

データ記憶部１６は、元画像データ、顔画像データ、顏部分の検出に必要な情報、例えばトーンカーブ曲線の情報などを記憶するように構成されている。また、データ記憶部１６は、記憶されている顏画像データを外部の他の装置が使用できるように、例えば人物追跡装置が追跡するときに参照する画像データとして顏画像データが使用できるように、外部からデータを取り出せるように構成されている。

入力部１８は、ユーザーからの顏部分検出に関する指示が入力されるマウスやキーボートなどで構成されている。ユーザーの指示としては、検出される顔部分の画素数や画像検出部１４が行う顏部分検出に関するパラメータなどがある。

出力部２０は、ユーザーに検出された顔部分などを示すディスプレイやプリンタなどで構成されている。出力内容としては、元画像や顔画像、顔部分検出に関するパラメータなどの情報がある。

画像検出部１４の各構成要素について説明する。

元画像トーンカーブ補正部２２は、元画像に対して、後に詳細に説明するトーンカーブ曲線算出部３０が算出したトーンカーブ曲線を用いてトーンカーブ補正を行い、補正元画像データを作成するように構成されている。作成された補正元画像データは、データ記憶部１６に記憶される。

顔画像作成部２４は、元画像トーンカーブ補正部２２が作成した補正元画像データに対応する画像（以下、「補正元画像」と称する。）において顏部分を検出して顔画像データを作成するように構成されている。そのために、補正元画像において顔部分を特定するために画像から顔特徴量を抽出する顔特徴量抽出部３２と、特定された顏部分を切り出して（トリミングして）顔画像とする顏部分切り出し部３４を有する。

顔特徴量抽出部３２は、予め用意された複数の抽出フィルタを用いてフィルタリングを行い補正元画像から複数の顏特徴量を抽出するように構成されている。

抽出フィルタによるフィルタリングの概念について簡単に説明する。抽出フィルタには、画像から抽出すべき特定の形状や色の配列パターンなどが予め関連付けされている。抽出フィルタによるフィルタリングとは、画像のある部分と抽出フィルタに関連付けされている特定の形状や色の配列パターンなどとの類似性を評価することであり、その評価はフィルタリングされる画像全体に対して行われる。また、評価された部分毎に類似性の程度を特徴量として出力する。顏部分検出に関する抽出フィルタによるフィルタリングにより抽出される顔特徴量は、例えば、目や鼻、口元などの顔における特徴部（点）の位置関係の特徴を示す顔特徴量や顔の陰影や輪郭形状などの部分における特徴を示す顔特徴量などがある。

顏部分切り出し部３４は、顔特徴量抽出部３２が抽出した顔特徴量に基づいて、例えば顔特徴量がある閾値を越える画像の部分を顏部分と特定し、特定した顔部分を顏画像とし、顔画像のデータをデータ記憶部１６に記憶するように構成されている。

顏特徴量抽出部３２と顏部分切り出し部３４による顔画像の作成について一例を挙げて説明する。

例えば、顔特徴量抽出部３２は、図２に示すような二値の抽出フィルタＦｘとＦｙを用いて顏特徴量を抽出するものとする。抽出フィルタＦｘは図２（ｂ）に示すように顔において両目と眉間の領域を検出することができるものであり、抽出フィルタＦｙは図２（ｃ）に示すように顔において目と眉の領域で形づくられる陰影領域を検出することができるものである。

顏特徴量抽出部３２は、図３（ａ）に示すように、所定の大きさの抽出フィルタＦｘを用い、該抽出フィルタＦｘと同一の大きさの補正元画像Ｐｏのある部分の顔特徴量を抽出する。部分からの顔特徴量の抽出は、走査するように順番に補正元画像全体において行われる。このとき、顔特徴量が抽出された部分の一部と次に顔特徴量を抽出された部分の一部が重なるように顔特徴量を抽出してもよいし、該部分同士が重ならないように顔特徴量を抽出してもよい。前者は顏部分を高精度に検出できるが時間がかかり、後者は要する時間は短いが顏部分の検出精度が低くなる。この２つの顔特徴量抽出方法のいずれを行うかは、ユーザーによって決定させてもよい。この場合、画像検出装置１０を、出力部２０を介して２つの顔特徴量抽出方法のいずれを選択するかをユーザーに問い、入力部１８を介して選択結果が入力されるように構成する。

所定の大きさの抽出フィルタＦｘによる顏特徴量の抽出が補正元画像Ｐｏ全体について完了すると、図３（ｂ）に示すように、顏特徴量抽出部３２は、該抽出フィルタＦｘの大きさを変え、所定の大きさの抽出フィルタと同様に顏特徴量を抽出する。これは、補正元画像Ｐｏにおいて顏部分の大きさは未知、すなわち、例えばフィルタＦｘが検出する両目と眉間の領域の大きさが未知であるためである。したがって、顏特徴量抽出部３２は、あらゆる大きさの顏部分を検出できるように抽出フィルタの大きさを変えて顏特徴量を抽出するように構成されている。

代わりとして、フィルタの大きさを固定し、元画像データの大きさを変更することであらゆる大きさの顔部分を検出するようにしてもよい。

顔特徴量抽出部３２は、あらゆる大きさの抽出フィルタＦｘによる顔特徴量の抽出が完了すると、抽出フィルタＦｙを用いて、抽出フィルタＦｘと同様に顔特徴量を抽出する。

顏部分切り出し部３４は、顔特徴量が抽出された部分を含む顏候補部分（具体的に言うと、例えば、ある大きさの抽出フィルタＦｘが検出した部分を両目と眉間の領域とした場合に想定される顔が完全に含まれる大きさであって、顏部分と特定される可能性がある部分）を、該顏候補部分から抽出された抽出フィルタＦｘ、Ｆｙによる２つの顔特徴量に基づいて顏部分と特定する。補正元画像における顏部分の特定方法について説明する。

２つの顔特徴量が抽出された補正元画像のある顏候補部分は、２つの顔特徴量の値を座標とする特徴量空間における位置で表すことができる。図４は、抽出フィルタＦｘ、Ｆｙにより抽出される２つの顔特徴量の値を座標とする座標系（特徴量空間）を示している。例えば、顔画像Ｐｆの特徴量空間における位置は、ドットｄで示される。抽出フィルタＦｘ、Ｆｙにより２つの顔特徴量が抽出されるあらゆる画像は、この特徴量空間の位置で表すことができる。

あらゆる画像（人間が見て分かる顔画像と非顔画像）を示す位置を特徴量空間にマッピングしたとき、図４に示すように、特徴量空間は、顏画像がマッピングされる領域と非顏画像がマッピングされる領域に分けられる。言い換えると、２つの領域の境界を示す識別関数ｆが見出される。

顏部分切り出し部３４は、補正元画像におけるある顏候補部分を、該ある顏候補部分から抽出された抽出フィルタＦｘ、Ｆｙによる２つの顔特徴量に基づいて、特徴量空間における位置を特定し、その位置が顏領域内に含まれる場合に顏部分と特定する。そのために、画像検出装置１０は、複数の顔画像と非顔画像を用いて予め算出した、抽出フィルタＦｘ、Ｆｙにより抽出される２つの顔特徴量の値を座標とする特徴量空間における識別関数の情報をデータ記憶部１６に記憶している。以下、特徴量空間は、顏部分と非顏部分を識別するのに参照される空間でもあるので識別空間と称する。

なお、顏画像作成部２４（顏特徴量抽出部３２と顏部分切り出し部３４）によって行われるフィルタリングによる上述の顏部分の検出方法は、一例であって、例えば、ＧａｂｏｒフィルタやＷａｖｅｌｅｔフィルタ等などのフィルタを用いて顏部分を検出してもよい。また、用いる抽出フィルタ数は２つに限らない。フィルタ数が多ければ多いほど、顏部分の検出が高精度になる。このとき、識別空間は、フィルタの数と同一数の次元空間となる。例えば、１００のフィルタを用いると、識別空間は１００次元の空間となる。ただし、フィルタ数が増えると、フィルタリングに要する時間が増大することを考慮する必要がある。

また、ユーザーが所望する精度で顔部分が検出できるように、使用するフィルタやその数をユーザーによって選択できるようにしてもよい。この場合、画像検出装置１０は、複数のフィルタを有し、複数のフィルタを出力部２０を介してユーザーに出力し、ユーザーが選択したフィルタに関する指示を入力部１８を介して入力されるように構成する。

図１に戻って、顔画像トーンカーブ補正部２６は、顔画像作成部２４が作成した顏画像データに対応する画像（以下、「顔画像」と称する。）に対して複数のトーンカーブ曲線いずれかを用いてトーンカーブ補正を行い、異なるトーンカーブ補正が行われた複数の補正顏画像のデータを作成するように構成されている。

複数のトーンカーブ曲線の情報は、予めデータ記憶部１６に記録されている。例えば、データ記憶部１６には、図５に示すように、補正傾向が異なるＮ個のトーンカーブ曲線の情報が記録されている。Ｎ個のトーンカーブ曲線は、補正の強弱で１〜Ｎ（Ｎは８以上の整数）までのナンバリングされている。例えば、番号１のトーンカーブ曲線は、最も弱いトーンカーブ補正を行う（トーンカーブ補正を行わない）ものである。番号Ｎのトーンカーブ曲線は、最も強いトーンカーブ補正を行うものである。顔画像補正部２６は、複数のトーンカーブ曲線全てを用いて異なるトーンカーブ補正がされた複数の補正顔画像を作成してもよい。または、複数のトーンカーブ曲線からいくつかのトーンカーブ曲線を選択して用い、用いたトーンカーブ曲線と同数の補正顔画像を作成してもよい。

顏画像トーンカーブ補正部２６は、異なるトーンカーブ曲線でトーンカーブ補正された複数の補正顏画像データを、データ記憶部１６に記憶するように構成されている。

顏画像評価部２８は、複数の補正顏画像データに対応する画像（以下、「補正顏画像」と称する。）の顔らしさを評価する。ここで言う「顔らしさ」とは、補正顏画像が顔画像であることの確からしさ（確率）を言う。顏らしさが高い補正顏画像ほど、顏画像である確率が高い。顔らしさの程度は、顔らしさ評価値として数値化されて表現される。

顔画像評価部２８が行う補正顏画像に対する顔らしさ評価値の算出について説明する。顏画像評価部２８は、複数の補正顔画像それぞれから、複数の抽出フィルタを用いて該抽出フィルタに対応する特徴量を抽出する。例えば、上述の抽出フィルタＦｘ、Ｆｙを用いる。次に、複数の補正顏画像の識別空間における位置を特定する。例えば、抽出フィルタＦｘ、Ｆｙを用いて特徴量を抽出した場合、図４に示す識別空間における位置が特定される。顔画像評価部２８は、特定された位置と識別関数との距離を顔らしさ評価値として算出する。例えば、図４に示すように、ドットｄと識別関数ｆまでの距離Ｌが顔画像Ｐｆの顔らしさ評価値となる。識別関数は顏領域と非顏領域の境界を示すものであるので、顔画像は、顏領域内において、識別関数に近い位置にあるほど顔らしさが低く、一方、識別関数に遠い位置にあるほど顔らしさが高いことになる。

顔画像評価部２８は、識別空間において特定された位置が顏領域内であるときには顔らしさ評価値を正（＋）の値（特定された位置から識別関数までの距離）で算出し、一方、該位置が非顏領域内であるときには顔らしさ評価値を負（−）の値（特定された位置から識別関数までの距離に−１をかけた値）で算出するように構成されている。顔画像評価部２８は、顔らしさ評価値の大小を比較することにより複数の補正顔画像それぞれに対して顔らしさを評価し、最も顔らしい（最高値の顔らしさ評価値が算出された）補正顔画像を決定する。

トーンカーブ曲線算出部３０は、顏画像評価部２８が最も顔らしいと評価した補正顏画像に対して顔画像トーンカーブ補正部２６が適用したトーンカーブ曲線に基づいて、元画像トーンカーブ補正部２２が元画像に対してトーンカーブ補正するときに用いるトーンカーブ曲線を算出するように構成されている。トーンカーブ曲線の算出の一例としては、顏画像評価部２８が最も顔らしいと評価した補正顏画像に対して顔画像トーンカーブ補正部２６が適用したトーンカーブ曲線を、元画像トーンカーブ補正部２２が該補正顏画像に対応する元画像に続いて取得された元画像に対してトーンカーブ補正するときに用いるトーンカーブ曲線としてもよい。更なる別例のトーンカーブ曲線の算出方法は後述する。

次に、画像形成装置１０の顏部分検出動作の一例を、図６に示すフローと図７に示すタイムチャートを参照しながら説明する。図７に示すタイムチャートは、概念的なタイムチャートであって、トーンカーブ曲線算出部３０によるトーンカーブ曲線の算出方法の理解をたすけるものである。

ステップ１００において、元画像取得部１２により、撮影時刻ｔ１の元画像データが取得される。

ステップ１１０において、元画像トーンカーブ補正部２２により、元画像が、予めトーンカーブ曲線算出部３０が算出したトーンカーブ曲線を用いてトーンカーブ補正される。ここで挙げる例においては、トーンカーブ曲線算出部３０は、図５に示す番号１〜Ｎのトーンカーブ曲線からいずれか１つを選択するように構成されている（選択方法は後述する）。また、トーンカーブ曲線算出部３０は、時間帯（例えば、１０分間隔）毎にトーンカーブ曲線を設定する。図７に示すように、元画像には、元画像の撮影時刻ｔ１が含まれる時間帯Ｐｎに対して設定された図５に示す番号５のトーンカーブ曲線が用いられる。

ステップ１２０において、顔画像作成部２４により、補正元画像において顏部分が検出される。

ステップ１３０において、顔画像作成部２４により、特定された顏部分から顔画像データが作成される。

ステップ１４０において、顔画像トーンカーブ補正部２６により、図５に示す番号１〜Ｎのトーンカーブ曲線いずれかでトーンカーブ補正した、異なるトーンカーブ補正が行われた複数の補正顔画像が作成される。ここで挙げる例においては、顔画像トーンカーブ補正部２６は、番号１〜Ｎのトーンカーブ曲線全てを用いてＮ個の補正顏画像を作成するのではなく、時間帯Ｐｎに設定されている番号５のトーンカーブ曲線に対して強弱が±３段階異なる範囲のトーンカーブ曲線を用いて計７つの補正顏画像を作成するように構成されている。この場合、７つのトーンカーブ曲線、すなわち番号２〜８のトーンカーブ曲線が使用される。

ステップ１５０において、顏画像評価部２８により、７つの補正顔画像に対して顔らしさが評価される。

ステップ１６０において、顔画像評価部２８により、７つの補正顏画像中、最も顔らしい補正顔画像が決定される。ここでは、番号７のトーンカーブ曲線を用いてトーンカーブ補正された補正顔画像が決定される。図７のタイムチャートにおいて、撮影時刻ｔ１の元画像から得られた番号７のトーンカーブ曲線でトーンカーブ補正された最も顔らしい補正顏画像の位置は、黒ドットＡで示される。黒ドットは、ある撮影時刻の元画像から得られたある番号のトーンカーブ曲線でトーンカーブ補正された最も顔らしい補正顏画像のタイムチャート上の位置にプロットされている。

ステップ１７０において、現時刻が、トーンカーブ曲線算出部３０が新たな時間帯にトーンカーブ曲線を設定するトーンカーブ曲線設定時刻か否かが判定される。否である場合、ステップ１８０に進む。現時刻がトーンカーブ曲線設定時刻である場合、ステップ１９０に進む。

ステップ１８０において、顏部分検出動作を終了される否かが判定される。顏部分検出動作の終了は、例えば所定の時刻に画像検出装置１０が停止するように設定されている場合やユーザーが入力部１８を介して検出動作の終了を指示した場合に行われる。検出動作が終了されない場合は、ステップ１００に戻り新たな元画像を取得する。

ステップ１９０において、トーンカーブ曲線算出部３０により、新たな時間帯に設定するトーンカーブ曲線が算出される。例えば、図７に示すように、トーンカーブ曲線算出部３０は、時刻ｔｎ＋１に達したときに、新たな時間帯Ｐｎ＋１に設定されるトーンカーブ曲線を算出する。

ここで挙げる例においては、トーンカーブ曲線算出部３０は、トーンカーブ曲線が設定される新たな時間帯直前の時間帯に含まれる撮影時刻の元画像から得られて最も顔らしい補正顏画像に適用されたトーンカーブ曲線に基づいて、新たな時間帯に設定されるトーンカーブ曲線を決定する。言い換えると、図７のタイムチャートにおいて、新たな時間帯Ｐｎ＋１に設定されるトーンカーブ曲線は、直前の時間帯Ｐｎにプロットされている黒ドットの位置によって決定される。

時間帯Ｐｎにプロットされている黒ドットは４つあり、３つが時間帯Ｐｎに設定されているトーンカーブ曲線の番号より大きい位置にプロットされている。ここで挙げる例においては、新たな時間帯に対して直前の時間帯においてプロットされている複数の黒ドット中、該直前の時間帯に設定されているトーンカーブ曲線の番号より大きい位置に２／３以上の黒ドットがプロットされる場合に、該直前の時間帯に設定されているトーンカーブ曲線の番号より１つ大きい番号のトーンカーブ曲線を新たな時間帯に設定するようにしてある。また、直前の時間帯に設定されているトーンカーブ曲線の番号より小さい位置に２／３以上の黒ドットがプロットされる場合は、直前の時間帯に設定されているトーンカーブ曲線の番号より１つ小さい番号のトーンカーブ曲線を新たな時間帯に設定するようにしてある。これ以外の場合は、直前の時間帯に設定されているトーンカーブ曲線をそのまま新たな時間帯に設定するようにしてある。

なお、ここで挙げる例においては、ある時間帯に設定されるトーンカーブ曲線は、該ある時間帯の直前の時間帯に設定されているトーンカーブ曲線を必要とする。従って、最初の時間帯、例えば、画像検出装置が起動した直後の時間帯Ｐ１には、予めあるトーンカーブ曲線、例えば、図５において番号５のトーンカーブ曲線が設定されるようにしてある。

従って、図７に示すタイムチャートにおいて、時間帯Ｐｎ＋１には、直前の時間帯Ｐｎに設定されているトーンカーブ曲線の番号が５であって４つの黒ドット中３つが５より大きい位置にプロットされていることから、番号６のトーンカーブ曲線が設定される。

図６に戻り、ステップ２００において、新たな時間帯にトーンカーブ曲線算出部３０が算出したトーンカーブ曲線が設定される。そして、ステップ１００に戻り、新たな時間帯において新たな元画像が取得される。

本実施形態によれば、過去に画像から検出された顏部分を用い、顏部分が高精度に検出できる最適なトーンカーブ補正条件（トーンカーブ曲線）が算出される。最適なトーンカーブ補正条件で新たな画像をトーンカーブ補正することにより、該画像から高精度に新たな顏部分が検出される。また、新たな顏部分を用い、顏部分が検出できるさらに最適なトーンカーブ補正条件（トーンカーブ曲線）が算出される。これを繰り返すことにより、照明条件が変化する撮影環境下で撮影された画像であっても、確実に顏部分を検出することができる。

以上、本発明の画像形成装置について一実施形態を挙げて説明したが、本発明は上述の実施形態に限定されない。

例えば、上述の実施形態においては、予め曲線形状が定義されたトーンカーブ曲線を用いて元画像にトーンカーブ補正を行うが、代わりとしてまたは併用してガンマ値で一意的に曲線形状が決まるガンマ曲線を用いて元画像をガンマ補正してもよい。この場合、データ記憶部にガンマ値の情報が記憶されている。

また、複数の元画像において、顏部分が検出される位置が決まった領域である場合、顏画像作成部は該領域からのみ顔部分の検出を行うようにしてもよい。例えば、元画像が一定の場所を撮影するカメラから得られたものである場合、元画像において顔部分が検出される領域はある程度限定できる。この場合、画像検出装置は、例えば、ユーザーがディスプレイ（出力部）を介してある撮影時刻の元画像を参照し、マウス（入力部）を介してディスプレイに表示されている元画像において領域を特定し、以後、該ある撮影時刻以後の元画像については該領域から顔部分を検出するように構成される。出力部や入力部が領域指定手段の一部として機能する。これにより、元画像全体から顔部分を検出する場合に比べて、顔部分検出時間が短縮される。

さらに、元画像が一定の場所を撮影するカメラから得られたものである場合、時系列に関して前または後の少なくとも一方の元画像と比較して異なる元画像における領域を顔部分が含まれる領域と特定する領域特定部を有し、顔画像作成部は領域特定部が特定した領域から顔部分を検出するようにしてもよい。すなわち、一定の場所を撮影する場合、風景は静止画像として撮影されるため、時系列に関して前または後の少なくとも一方の元画像と比較して異なる元画像の部分は、移動体が描かれている領域と特定できる。移動体が人物である場合、移動体が描かれている領域に顔部分が含まれる。したがって、領域特定部が領域を特定し、顔画像作成部が該領域から顔部分を検出すれば、該領域以外の元画像の部分から顔部分を検出しようとする検出動作が省略される。その結果、顔部分検出時間が短縮される、

さらにまた、画像検出装置は、元画像取得部がアナログ画像を取得してデジタル化し、デジタル画像を元画像とするように構成されている場合（すなわち、デジタル画像を取得して元画像とする構成でない場合）、ユーザーによるキーボードなどの入力部を介する指示によってアナログ画像をデジタル画像とするときの解像度を指定されるように構成してもよい。入力部が解像度指定手段として機能する。例えば、元画像から検出される顔部分の大きさがある程度限定されている場合、顔部分が高精度に検出可能な元画像の解像度はある程度限定される。元画像において顔部分が小さい場合は高解像度が好ましく、一方大きい場合は低解像度で十分である。これにより、顔部分の検出が高精度に行えるとともに高速に行える。

加えて、元画像から検出される顔部分の大きさがある程度限定される場合、顔画像作成部は、上述の実施形態のようにあらゆる大きさの顔部分を検出できるように構成されるのではなく、特定の大きさの顔対象部分を検出するように構成してもよい。上述の実施の形態によれば、抽出フィルタの大きさを制限し、すなわち抽出フィルタの最小サイズと最大サイズを規定してその範囲内で検出するようにすればよい。この場合、抽出フィルタのサイズの既定を、例えばマウスなどの入力部を介するユーザーからの指示によって行えるように画像検出装置を構成すればよい。または、顔画像作成部を、過去の顔部分検出から導き出される顔部分の平均的な大きさから抽出フィルタのサイズを規定するように構成してもよい。これにより、あらゆる大きさに考慮して顔部分の検出を行う場合に比べて、顔部分の検出時間が短縮される。

最後に、本発明は、広義には、過去の画像から検出された顏部分を用いて顏部分が高精度に検出できる最適なトーンカーブ補正条件（トーンカーブ曲線）を算出し、算出したトーンカーブ補正条件に基づいて新たな元画像をトーンカーブ補正し、トーンカーブ補正された新たな元画像から高精度に顔部分を検出するものであって、上述の実施の形態に限定されない。上述の実施の形態以外の形態でも本発明が実施可能であるのは、当業者にとっても明らかである。また、検出対象は、当然ながら顔に限定されない。

本発明に係る画像検出装置の概略的な構成図である。 抽出フィルタの一例を示す図である 顔部分検出方法を説明するための図である。 識別空間、識別関数、および顔らしさ評価値を説明するための図である。 複数のトーンカーブ曲線を示す図である。 顔部分検出動作のフローを示す図である。 トーンカーブ曲線算出部が行うトーンカーブ曲線算出方法を説明するための図である。

符号の説明

１０ 画像検出装置、 １２ 元画像取得部、 ２２ 元画像トーンカーブ補正部、 ２４ 顔画像作成部、 ２６ 顔画像トーンカーブ補正部、 ２８ 顔画像評価部、３０ 第１のトーンカーブ曲線算出部

Claims (6)

1. 撮影時刻が既知の画像において対象が描かれている対象部分を検出する画像検出装置であって、
   対象部分が検出される元の画像を取得する元画像取得手段と、
   元画像に対して第１のトーンカーブ曲線を用いてトーンカーブ補正を行い、トーンカーブ補正済み元画像を作成する元画像トーンカーブ補正手段と、
   トーンカーブ補正済み元画像において対象部分を検出し、対象部分から対象画像を作成する対象画像作成手段と、
   対象画像に対して複数の第２のトーンカーブ曲線いずれかを用いてトーンカーブ補正を行い、異なるトーンカーブ補正が行われた複数のトーンカーブ補正済み対象画像を作成する対象画像トーンカーブ補正手段と、
   複数のトーンカーブ補正済み対象画像それぞれに対して対象画像であることの確からしさを評価する対象画像評価手段と、
   対象画像評価手段が最も高い評価をしたトーンカーブ補正済み対象画像に対して対象画像トーンカーブ補正手段が適用した第２のトーンカーブ曲線に基づいて、第１のトーンカーブ曲線を算出する第１のトーンカーブ曲線算出手段を有し、
   元画像補正手段は、過去に取得した元画像から順に、元トーンカーブ補正手段、対象画像作成手段、対象画像トーンカーブ補正手段、対象画像評価手段、トーンカーブ曲線算出手段と介して得られた第１のトーンカーブ曲線を用いることにより、新たに得た元画像にトーンカーブ補正を行うことを特徴とする画像検出装置。
2. 元画像において対象部分を検出する領域をユーザーが指定するための領域指定手段を有し、
   対象画像作成手段は、ユーザーが領域指定手段を介して指定した領域から対象部分を検出して対象画像を作成することを特徴とする請求項１に記載の画像検出装置。
3. 時系列に関して前または後の少なくとも一方の元画像と比較して異なる元画像における領域を対象部分が含まれる領域と特定する領域特定手段を有し、
   対象画像作成手段は、領域特定手段が特定した領域から対象部分を検出して対象画像を作成することを特徴とする請求項１または２のいずれかに記載の画像検出装置
4. 元画像取得手段は、アナログ画像を取得してデジタル化し、デジタル画像を元画像とするように構成されており、
   アナログ画像をデジタル画像とするときの解像度をユーザーが指定するための解像度指定手段を有することを特徴とする請求項１〜３のいずれか一に記載の画像検出装置。
5. 対象画像作成手段は、トーンカーブ補正済み元画像において特定の大きさの対象部分を検出するように構成されていることを特徴とする請求項１〜４のいずれか一に記載の画像検出装置。
6. 対象が人物の顔であることを特徴とする請求項１〜５のいずれか一に記載の画像検出装置。