JP2007219899A

JP2007219899A - 個人識別装置、個人識別方法および個人識別プログラム

Info

Publication number: JP2007219899A
Application number: JP2006040493A
Authority: JP
Inventors: Osamu Wada; 修和田; Yoshitaka Ito; 嘉高伊藤; Hideki Kojima; 英揮小島; Hideki Matsuda; 秀樹松田; Masanobu Kobayashi; 雅暢小林
Original assignee: Seiko Epson Corp; セイコーエプソン株式会社
Priority date: 2006-02-17
Filing date: 2006-02-17
Publication date: 2007-08-30

Abstract

【課題】入力された画像から画像の中の人物を抽出し、抽出した人物の個人を識別する機能を簡易的かつ高速に処理する装置を提供する。
【解決手段】個人識別装置１は、入力されたデータが示す画像の中から、肌の色と略同一な色領域を抽出して、抽出した色領域の形状から、当該色領域が人物顔の候補か、否かを判定し、前記人物顔の候補と判定された色領域の大きさに応じて一定の領域毎に分割されたフィルタを、当該色領域の全域に適用して、前記色領域の明暗情報を当該フィルタの領域毎に検出し、前記検出した明暗情報が示す明暗のパターンから、目に該当する部分を探索することで、前記色領域が人物の正面顔画像か、否かを判定し、前記正面顔画像と判定された色領域を走査して得られる前記肌の色の出現回数から、前記正面顔画像の各器官に該当する位置を検出し、前記検出した各器官の位置から、各器官間の距離を算出し、当該距離の関係から個人を識別する。
【選択図】図３

Description

本発明は、デジタル画像データが示す電子写真のような画像から人物像を抽出し、当該人物像の個人を識別する個人識別装置、個人識別方法および個人識別プログラムに関する。

デジタルカメラ等で撮影された画像の中から人物の顔画像を抽出し、抽出した顔画像から個人を識別する方法としては、画像を構成する画素の濃淡値の変化や、顔の特定の器官のパターンマッチング等により、顔画像を抽出した後、下記特許文献１に記載されているように、顔画像に対して輝度の変化が２つの方向から見てＶ字エッジとなる構造点を検出し、いくつかの構造点から得られる構造点間距離が人物により異なることを利用して、個人を識別した。

特開平８−３１５１３３号公報

しかしながら、上記した方法による装置は、顔画像を抽出する機能と、個人を識別する機能とがそれぞれ必要であるため、装置が複雑になることに加え、一連の処理に多くの時間を要した。

上記した課題を解決するために、本発明の個人識別装置は、識別すべき人物像を含む画像のデータが入力される画像入力手段と、前記入力されたデータが示す画像の中から、肌の色と略同一な色領域を抽出する色領域抽出手段と、前記抽出された色領域の形状から、当該色領域が人物顔の候補か、否かを判定する人物顔候補判定手段と、前記人物顔の候補と判定された色領域の大きさに応じて一定の領域毎に分割されたフィルタを、当該色領域の全域に適用して、前記色領域の明暗情報を当該フィルタの領域毎に検出する明暗情報検出手段と、前記検出された明暗情報が示す明暗のパターンから、顔の器官に該当する部分を探索することで、前記色領域が人物の正面顔画像か、否かを判定する正面顔判定手段と、前記正面顔画像と判定された色領域を上下方向に走査することにより得られる前記肌の色の出現回数から、前記正面顔画像の少なくとも鼻と口の各器官に該当する位置をそれぞれ検出する器官位置検出手段と、前記検出された各器官の位置から、各器官間の距離を算出し、当該距離の関係から個人を識別する個人識別手段と、を備えることを特徴とする。

この発明によれば、肌の色と形状と顔の器官とから正面顔画像を抽出すると共に、少なくとも鼻と口を含む器官間距離の関係に基いて個人を識別することから、複雑な画像処理等の機能は不要であるため、入力された画像から簡易かつ高速に個人識別できる。

本発明は、前記人物顔の候補と判定された色領域の画像をアファイン変換で写像することにより、前記色領域の傾きを補正する傾き補正手段を更に備えることが好ましい。
この発明によれば、人物顔候補として判定された画像の傾きが補正されるため、顔の部位に相当する部分を精度良く認識できる。

本発明では、前記フィルタは、それぞれの大きさが略同一な複数の矩形状に分割されても良い。

本発明では、前記正面顔判定手段は、前記色領域の明暗情報の配置パターンの中から、２つの目のそれぞれに対応する２つの暗部を探索し、当該２つの暗部の有無に基き判定することが好ましい。

この発明によれば、顔画像の中の２つの目に対応する部分を、画像の明暗情報の２つの暗部から探索するため、高速で容易に探索できる。

本発明では、前記個人識別手段は、目と鼻との距離と、当該目と口との距離との距離比に基き、前記個人を識別することが好ましい。

この発明によれば、目と鼻の距離と、目と口の距離との距離比で個人を識別するため、予め個人の距離比の情報を備えることにより、個人を識別する処理を高速化できる。

上記した課題を解決するために、本発明の個人識別方法は、画像中の人物像の個人識別をコンピュータを用いて実行させる方法であって、識別すべき人物像を含む画像のデータが入力される画像入力工程と、前記入力されたデータが示す画像の中から、肌の色と略同一な色領域を抽出する色領域抽出工程と、前記抽出された色領域の形状から、当該色領域が人物顔の候補か、否かを判定する人物顔候補判定工程と、前記人物顔の候補と判定された色領域の大きさに応じて一定の領域毎に分割されたフィルタを、当該色領域の全域に適用して、前記色領域の明暗情報を当該フィルタの領域毎に検出する明暗情報検出工程と、前記検出された明暗情報が示す明暗のパターンから、顔の器官に該当する部分を探索することで、前記色領域が人物の正面顔画像か、否かを判定する正面顔判定工程と、前記正面顔画像と判定された色領域を上下方向に走査することにより得られる前記肌の色の出現回数から、前記正面顔画像の少なくとも鼻と口の各器官に該当する位置をそれぞれ検出する器官位置検出工程と、前記検出された各器官の位置から、各器官間の距離を算出し、当該距離の関係から個人を識別する個人識別工程と、を備えることを特徴とする。

上記した課題を解決するために、本発明の個人識別プログラムは、識別すべき人物像を含む画像のデータが入力される画像入力手順と、前記入力されたデータが示す画像の中から、肌の色と略同一な色領域を抽出する色領域抽出手順と、前記抽出された色領域の形状から、当該色領域が人物顔の候補か、否かを判定する人物顔候補判定手順と、前記人物顔の候補と判定された色領域の大きさに応じて一定の領域毎に分割されたフィルタを、当該色領域の全域に適用して、前記色領域の明暗情報を当該フィルタの領域毎に検出する明暗情報検出手順と、前記検出された明暗情報が示す明暗のパターンから、顔の器官に該当する部分を探索することで、前記色領域が人物の正面顔画像か、否かを判定する正面顔判定手順と、前記正面顔画像と判定された色領域を上下方向に走査することにより得られる前記肌の色の出現回数から、前記正面顔画像の少なくとも鼻と口の各器官に該当する位置をそれぞれ検出する器官位置検出手順と、前記検出された各器官の位置から、各器官間の距離を算出し、当該距離の関係から個人を識別する個人識別手順と、をコンピュータに実行させることを特徴とする。

以下、本発明の実施形態について、画像に含まれる人物像の個人を識別する個人識別装置１を用いて説明する。
（実施形態）

図１は、個人識別装置１のハードウェア構成を示す図である。この個人識別装置１は、識別すべき人物像を含む画像の中から、人物像を抽出すると共に、抽出した人物像の個人を識別する機能を有する。この個人識別装置１のハードウェア構成は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１２と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１６と、記憶装置１８と、入出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１４と、グラフィックスサブシステム２０とを具備する。これらのハードウェアは、バス３０により各信号が授受可能に接続されている。更に、これらのハードウェアは、基本ソフトウェアであるＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔＯｕｔｐｕｔＳｙｓｔｅｍ）や、オペレーティングシステム（ＯＳ）により管理され、これらの管理下で、ＲＯＭ１６や記憶装置１８に記憶されたドライバを含む種々のソフトウェアにより、所定の機能が実行される。

ＣＰＵ１０は、基本ソフトウェアや入出力Ｉ／Ｆ１４に接続された各装置のデバイスドライバや、アプリケーションソフトウェアなどの各種プログラム、および各種のデータをＲＯＭ１６や記憶装置１８から読み込み、これらをＲＡＭ１２内に設けられるメインメモリ領域に展開して実行する。また、記憶装置１８は、情報を読書き可能に記憶する装置であり、例えば、ハードディスクドライブやフラッシュメモリを採用できる。

入出力Ｉ／Ｆ１４には、メモリカードドライブ２４、クレードル（Ｃｒａｄｌｅ）２２および操作入力装置２６が所定の規格に従い接続されている。メモリカードドライブ２４は、ＳＤメモリカード（登録商標）のようにフラッシュメモリを内部に備えたメモリカード３８を装着することで、メモリカード３８に記憶された画像等のデータを読み込んだり、これらのデータをメモリカード３８に書き込むことができる。例えば、デジタルカメラ３６等で撮影されたデジタル画像データが保存されたメモリカード３８を、メモリカードドライブ２４に装着することで、デジタル画像データを読み込める。また、デジタル画像データや、このデジタル画像データをメモリカード３８に書き込むことにより、メモリカード３８を装着可能な他の装置との間で、デジタル画像データを授受できる。

クレードル２２は、スタンド型の接続機器であり、本実施形態では、デジタルカメラ３６をクレードル２２の所定の位置に設置することで、デジタルカメラ３６と電気的に接続され、デジタルカメラ３６で撮影された画像データを読み込める。また、操作入力装置２６は、個人識別装置１の操作を指示するための装置であり、具体的には、マウスや無線によるリモコン等を採用できる。

グラフィックスサブシステム２０は、グラフィックスチップ、グラフィックスメモリ等で構成され、画像表示装置２８に対して画像信号を出力する。この画像表示装置２８は、液晶パネル等のディスプレイ装置であり、グラフィックスサブシステム２０から出力された画像信号が示す画像を表示する。尚、画像表示装置２８は、液晶パネルのようなディスプレイ装置に限定されず、フロントプロジェクタやリアプロジェクションテレビ等にも適用できる。

図２は、個人識別装置１の機能構成を示す図である。この個人識別装置１は、画像データ入力手段５０、色領域抽出手段５２、人物顔候補判定手段５４、傾き補正手段６２、明暗情報検出手段６４、正面顔判定手段７２、器官位置検出手段８０、個人識別手段８８および識別結果表示手段９６を具備する。

画像データ入力手段５０は、デジタルカメラ３６等の電子撮影装置で撮影された電子写真のデジタル画像データが入力される。このデジタル画像データには、撮影された画像のビットマップデータ群と、撮影された日時や撮影された条件等の属性情報を示すメタデータとが含まれる。ここで入力されたデジタル画像データは、色領域抽出手段５２に送られる。

色領域抽出手段５２は、画像データ入力手段５０から送られるデジタル画像データが示す画像の中から、肌の色と略同一な色領域の画像を抽出する。この肌の色の領域に関する情報は、予め所定の情報が入力されている。この色領域抽出手段５２で抽出された色領域の画像は、人物顔候補判定手段５４に送られる。

人物顔候補判定手段５４は、形状認識手段５６、ノイズ除去手段５８および顔形状データベース６０を有し、色領域抽出手段５２で抽出された色領域の形状から、この色領域が人物顔の候補か、否かを判定する。具体的には、形状認識手段５６は、色領域抽出手段５２から送られる画像に含まれる色領域の形状をパターンで認識する。ノイズ除去手段５８は、色領域の形状のパターンを、顔形状データベース６０に記憶された顔形状のパターンと照合して、例えば、三角形パターンや星型パターンのように、明らかに顔の形状としては有り得ない形状の色領域や、縦横比が顔形状では有り得ないような形状の色領域をノイズとして画像から排除する。この結果、人物顔の候補として残る色領域の画像は、傾き補正手段６２に送られる。

傾き補正手段６２は、人物顔の候補と判定された色領域の画像をアファイン変換で写像することにより、前記色領域の傾きを補正する。ここで、アファイン変換とは、ある座標系から別の座標系への線形変換を言い、画像の拡大、縮小、回転、平行移動を変換行列の係数を選んで乗算することによって求めることができる変換方法であり、色領域の画像が傾いた顔画像である場合、変換行列の係数を適切に設定することで、この顔画像の傾きを、画像面に垂直な方向を法線として、該法線に略平行に補正できる。ここで必要に応じて補正された色領域の画像は、明暗情報検出手段６４に送られる。

明暗情報検出手段６４は、顔幅測定手段６６、フィルタリング手段６８およびフィルタ形状設定手段７０を有し、人物顔の候補と判定された色領域の大きさに応じて一定の領域毎に分割されたフィルタを、この色領域の全域に適用して、色領域の明暗情報をフィルタの領域毎に検出する。即ち、顔幅測定手段６６は、色領域の画像が顔画像であると仮定して、顔幅に該当する寸法を画像から測定する。フィルタ形状設定手段７０は、顔幅測定手段６６で測定された顔幅に該当する寸法を参照して、この顔幅に適した大きさのフィルタの形状を設定する。

具体的には、このフィルタは、それぞれの大きさが略同一な矩形状に分割され、色領域の画像が顔画像であると仮定してフィルタを色領域の画像に重畳させた場合、少なくとも顔画像の２つの目の部分が、フィルタの２つの領域にそれぞれ該当するようにフィルタの形状が設定される。フィルタリング手段６８は、フィルタ形状設定手段７０で設定されたフィルタを色領域の画像の全域に順次適用して、それぞれの矩形状で区切られる部分毎の明暗情報を検出する。ここで検出された明暗情報は、色領域の画像と共に、正面顔判定手段７２に送られる。

正面顔判定手段７２は、配置パターン比較手段７４、顔面パターンテーブル７８および眼部判定手段７６を有し、明暗情報検出手段６４で検出された明暗情報が示す明暗のパターンから、目の器官に該当する部分を探索することで、色領域が人物の正面顔画像か、否かを判定する。即ち、配置パターン比較手段７４は、顔面パターンテーブル７８に記憶された正面顔の眼部近傍の明暗の配置パターンと、フィルタリング手段６８から送られる色領域の明暗情報とを比較する。眼部判定手段７６は、顔面パターンテーブル７８に記憶された正面顔の眼部近傍の２つの目のそれぞれに対応する２つの暗部を探索し、これら２つの暗部の有無に基き判定する。

具体的には、２つの暗部と他の明部との濃淡差や、合致した部分の近傍領域の明暗のパターンに基いて、人物の正面顔の眼部であるか、否かを判定する。この結果により、色領域が人物の正面顔画像か、否かが判定される。また、この判定は、同時に送られた他の色領域に対しても、それぞれ判定された後、色領域の画像は、判定結果と共に器官位置検出手段８０に送られる。

器官位置検出手段８０は、色領域走査手段８２、ヒストグラム作成手段８６およびヒストグラム解析手段８４を有し、正面顔画像と判定された色領域を上下方向に走査することにより得られる肌の色の出現回数から、正面顔画像の目と鼻と口の各器官に該当する位置をそれぞれ検出する。即ち、色領域走査手段８２は、人物の正面顔画像と判定された色領域を、顔の上部から下部にかけて走査を行い、それぞれの場所での肌の色の出現回数を取得する。ヒストグラム作成手段８６は、肌の色の出現回数をヒストグラムにプロットする。また、ヒストグラム解析手段８４は、プロットされたヒストグラムの形状から、目と鼻と口の各器官に該当する位置を特定する。ここで検出された各器官の相対的な位置情報は、個人識別手段８８に送られる。

個人識別手段８８は、器官間距離算出手段９０、個人データベース９２および個人決定手段９４を有し、器官位置検出手段８０で検出された各器官の位置から、各器官間の距離を算出し、これらの距離から個人を識別する。即ち、器官間距離算出手段９０は、器官位置検出手段８０から送られる各器官の相対位置から、目と鼻との距離と、目と口との距離との距離比を算出する。また、個人決定手段９４は、器官間距離算出手段９０が算出した距離比と同一の距離比を有する個人を、個人データベース９２に記憶された個人の情報の中から探索することで、個人を決定する。このようにして識別された個人の情報は、識別結果表示手段９６に送られ、画像表示装置２８に表示される。また、色領域が属する画像データがメモリカード３８に保存されている場合、識別した個人の情報を、この画像データのメタデータに書き込んでも良い。

以上、個人識別装置１の各機能部を説明したが、これらの機能は、前記したハードウェア資源と、ソフトウェアとが有機的に協働することで実現される。

図３は、個人識別装置１における個人識別処理の流れを示すフローチャートであり、このフローチャートに従い説明する。また、この処理について、説明および理解を容易にすべく、入力された画像から正面顔を判定する処理を説明する図４と、正面顔から器官位置を検出して個人を識別する処理を説明する図５も適宜参照する。

最初に、処理が開始されると、画像入力工程が実行され、画像に人物像を含むデジタル画像データが画像データ入力手段５０に入力される（ステップＳ１００）。このような画像は、例えば、図４に示す入力画像１５０のように、画像中に人物像を含むスナップ写真のような画像を想定できる。

次に、色領域抽出工程が実行され、色領域抽出手段５２により入力画像１５０の中から肌の色と略同一な色領域の画像が抽出される（ステップＳ１０２）。この結果。色領域抽出画像１５５のように、所定の色情報を持つ領域の画像（３５Ａ〜３５Ｅ）が抽出される。

次に、人物顔候補判定工程が実行され、人物顔候補判定手段５４により所定の色情報を持つ領域の画像（３５Ａ〜３５Ｅ）が、それぞれ人物顔の候補か、否か判定される（ステップＳ１０４）。ここで、何れの画像も人物顔と判定されない場合（ステップＳ１０６でＮｏ）、エラーメッセージが表示され（ステップＳ１２４）、一連の処理が終了する。

他方で、所定の色情報を持つ領域の画像（３５Ａ〜３５Ｅ）の少なくとも１つ以上が人物顔と判定された場合（ステップＳ１０６でＹｅｓ）、人物顔でない画像（３５Ｄ，３５Ｅ）は、ノイズとして除外され、人物顔候補と判定された画像（３５Ａ，３５Ｂ，３５Ｃ）は、傾き補正手段６２により傾きが補正される（ステップＳ１０８）。具体的には、所定の傾きを持つ画像３５Ｃが補正され、傾き補正された画像１６０には、傾き補正された人物顔候補画像（４０Ａ，４０Ｂ，４０Ｃ）が表示される。

次に、明暗情報検出工程が実行され、明暗情報検出手段６４により色領域、即ち傾き補正された人物顔候補画像（４０Ａ，４０Ｂ，４０Ｃ）のそれぞれの全域に矩形フィルタが適用され、明暗情報が検出される（ステップＳ１１０）。具体的には、最初に、傾き補正された人物顔候補画像（４０Ａ，４０Ｂ，４０Ｃ）のそれぞれに対して、顔幅測定された画像１６５に示すように、顔幅測定手段６６により幅が測定される。続いて、フィルタ形状設定手段７０により、それぞれの顔幅に応じて明暗検出フィルタ１７０の形状が設定される。尚、本実施形態では、明暗検出フィルタ１７０は、３行３列の９つの矩形状から成り、それぞれの矩形状内の輝度が検出できるように構成される。更に、１回の検出において、明暗検出フィルタ１７０の各矩形を、横方向（パターン１〜３）、縦方向（パターン４〜６）および斜め方向（パターン７，８）の８通りのパターンで検出するように設定されている。また、ここで検出される輝度は、絶対値または正規化した相対値の何れでも良い。また、明暗検出フィルタ１７０は、３行３列の９つの矩形状に限定されない。

次に、正面顔判定工程が実行され、正面顔判定手段７２により明暗情報が示す明暗パターンから、色領域、即ち傾き補正された人物顔候補画像（４０Ａ，４０Ｂ，４０Ｃ）が、それぞれ人物の正面顔画像か、否かが判定される（ステップＳ１１２）。具体的には、明暗情報検出手段６４で検出された人物顔候補画像（４０Ａ，４０Ｂ，４０Ｃ）のそれぞれの明暗パターンの中から、以下の条件を満足する画像が探索される。

１．横方向の上段（パターン１）の輝度が、全て「明」である。
２．横方向の中段（パターン２）の輝度が、順に「暗」、「明」、「暗」である。
３．横方向の下段（パターン３）の輝度が、全て「明」である。
４．横方向の上段（パターン１）の輝度の総和と、横方向の中段（パターン２）の輝度の総和との差が最大である。
５．横方向の下段（パターン３）の輝度の総和と、横方向の中段（パターン２）の輝度の総和との差が最大である。

上記の条件を満足する画像が、人物の正面顔であると判定される。より具体的には、フィルタリングされた画像１７５における正面顔画像（４１Ａ，４１Ｂ）の場合、明暗検出フィルタ（１７０Ａ，１７０Ｂ）を構成する矩形の中で、中段の２つの端部が、両方の目を含むような場合に、上記条件が満足され、眼部判定手段７６により正面顔の眼部であると判定される。ここで、何れの画像も人物の正面顔であると判定されない場合（ステップＳ１１４でＮｏ）、エラーメッセージが表示され（ステップＳ１２４）、一連の処理が終了する。

他方で、人物顔候補画像（４０Ａ，４０Ｂ，４０Ｃ）の少なくとも１つが人物の正面顔と判定された場合（ステップＳ１１４でＹｅｓ）、器官位置検出工程が実行され、器官位置検出手段８０により色領域、即ち正面顔画像（４１Ａ，４１Ｂ）が、それぞれ縦方向に走査され、肌の色の出現回数から器官の位置が検出される（ステップＳ１１６）。具体的には、正面顔画像（４１Ａ，４１Ｂ）が色領域走査手段で走査され、図５に示す肌の色の出現回数ヒストグラム（４２Ａ，４２Ｂ）が、ヒストグラム作成手段８６により作成される。この出現回数ヒストグラム（４２Ａ，４２Ｂ）が示すように、顔の目、鼻および口の各器官に対応する位置は肌の色の出現回数が急激に減少するため、ヒストグラムの変曲点を抽出することにより、個々の顔に依存することなく、これらの器官の位置を特定できる。

次に、個人識別工程が実行され、個人識別手段８８により検出された器官の位置から器官間の距離が算出され、それぞれの距離から個人が識別される（ステップＳ１１８）。即ち、正面顔画像（４１Ａ，４１Ｂ）の各器官の位置から、目頭と鼻との距離と、目頭と上唇境界との距離とがそれぞれ算出されると共に、算出された２つの距離の比、即ち鼻口比（４４Ａ，４４Ｂ）が算出される。続いて、算出された鼻口比（４４Ａ，４４Ｂ）を、個人データベース９２に記憶された個人の鼻口比リスト４６と比較することで、個人が識別される。即ち、本実施形態では、一方の正面顔画像４１Ａが、対象者「Ｂ」に該当すると共に、他方の正面顔画像４１Ｂは、鼻口比リスト４６内に該当者がいないため、個人識別できない。ここで、個人の鼻口比リスト４６の中に一致する鼻口比４４が１つも見つからない場合、即ち、正面顔画像（４１Ａ，４１Ｂ）の中で、個人が１人も識別されない場合（ステップＳ１２０でＮｏ）、エラーメッセージが表示され（ステップＳ１２４）、一連の処理が終了する。

他方で、正面顔画像（４１Ａ，４１Ｂ）の少なくとも１つが、個人識別された場合（ステップＳ１２０でＹｅｓ）、識別結果表示手段９６により識別された個人に関する情報が表示され（ステップＳ１２２）、一連の処理が終了する。

上記した一連の工程により、入力された画像から画像の中の人物を抽出し、抽出した人物に対して個人を識別できる。

以上述べた実施形態によれば、以下のような効果を奏する。
（１）人物顔候補判定手段５４により、人物顔を含まないデジタル画像のデータは、ノイズとして除外されるため、画像データ入力手段５０に入力されるデジタル画像は、風景画のように、人物像を含まないような画像でも対応できる。

以上、本発明を図示した実施形態に基いて説明したが、本発明は、本実施形態に限定されるものではなく、以下に述べるような変形例も想定できる。
（１）個人識別装置１は、単独で使用される様態には限定されず、例えば、映像を用いたコミュニケーションのための情報装置に組み込まれ、必要に応じて個人識別装置１により映像の中の個人を識別しても良い。

本発明の実施形態に係る個人識別装置のハードウェア構成を示す図。本発明の実施形態に係る個人識別装置の機能構成を示す図。本発明の実施形態に係る個人識別装置における個人識別処理の流れを示すフローチャート。入力された画像から正面顔を判定する処理を説明する図。正面顔から器官位置を検出して個人を識別する処理を説明する図。

符号の説明

１…個人識別装置、１０…ＣＰＵ、１２…ＲＡＭ、１４…入出力Ｉ／Ｆ、１６…ＲＯＭ、１８…記憶装置、２０…グラフィックスサブシステム、２２…クレードル、２４…メモリカードドライブ、２６…操作入力装置、２８…画像表示装置、３０…バス、３５Ａ〜３５Ｅ…所定の色情報を持つ領域の画像、３６…デジタルカメラ、３８…メモリカード、４０Ａ〜４０Ｃ…傾き補正された人物顔候補画像、４１Ａ，４１Ｂ…正面顔画像、４２Ａ，４２Ｂ…肌の色の出現回数ヒストグラム、４４Ａ，４４Ｂ…鼻口比、４６…鼻口比リスト、５０…画像データ入力手段、５２…色領域抽出手段、５４…人物顔候補判定手段、５６…形状認識手段、５８…ノイズ除去手段、６０…顔形状データベース、６２…傾き補正手段、６４…明暗情報検出手段、６６…顔幅測定手段、６８…フィルタリング手段、７０…フィルタ形状設定手段、７２…正面顔判定手段、７４…配置パターン比較手段、７６…眼部判定手段、７８…顔面パターンテーブル、８０…器官位置検出手段、８２…色領域走査手段、８４…ヒストグラム解析手段、８６…ヒストグラム作成手段、８８…個人識別手段、９０…器官間距離算出手段、９２…個人データベース、９４…個人決定手段、９６…識別結果表示手段、１５０…入力画像、１５５…色領域抽出画像、１６０…傾き補正された画像、１６５…顔幅測定された画像、１７０…明暗検出フィルタ、１７５…フィルタリングされた画像。

Claims

識別すべき人物像を含む画像のデータが入力される画像入力手段と、
前記入力されたデータが示す画像の中から、肌の色と略同一な色領域を抽出する色領域抽出手段と、
前記抽出された色領域の形状から、当該色領域が人物顔の候補か、否かを判定する人物顔候補判定手段と、
前記人物顔の候補と判定された色領域の大きさに応じて一定の領域毎に分割されたフィルタを、当該色領域の全域に適用して、前記色領域の明暗情報を当該フィルタの領域毎に検出する明暗情報検出手段と、
前記検出された明暗情報が示す明暗のパターンから、顔の器官に該当する部分を探索することで、前記色領域が人物の正面顔画像か、否かを判定する正面顔判定手段と、
前記正面顔画像と判定された色領域を上下方向に走査することにより得られる前記肌の色の出現回数から、前記正面顔画像の少なくとも鼻と口の各器官に該当する位置をそれぞれ検出する器官位置検出手段と、
前記検出された各器官の位置から、各器官間の距離を算出し、当該距離の関係から個人を識別する個人識別手段と、
を備えることを特徴とする個人識別装置。
請求項１に記載の個人識別装置において、
前記人物顔の候補と判定された色領域の画像をアファイン変換で写像することにより、前記色領域の傾きを補正する傾き補正手段を更に備えることを特徴とする個人識別装置。
請求項１乃至２のいずれかに記載の個人識別装置において、
前記フィルタは、それぞれの大きさが略同一な複数の矩形状に分割されていることを特徴とする個人識別装置。
請求項１乃至３のいずれか１項に記載の個人識別装置において、
前記正面顔判定手段は、
前記色領域の明暗情報の配置パターンの中から、２つの目のそれぞれに対応する２つの暗部を探索し、当該２つの暗部の有無に基き判定することを特徴とする個人識別装置。
請求項１乃至４のいずれか１項に記載の個人識別装置において、
前記個人識別手段は、
目と鼻との距離と、当該目と口との距離との距離比に基き、前記個人を識別することを特徴とする個人識別装置。
画像中の人物像の個人識別をコンピュータを用いて実行させる方法であって、
識別すべき人物像を含む画像のデータが入力される画像入力工程と、
前記入力されたデータが示す画像の中から、肌の色と略同一な色領域を抽出する色領域抽出工程と、
前記抽出された色領域の形状から、当該色領域が人物顔の候補か、否かを判定する人物顔候補判定工程と、
前記人物顔の候補と判定された色領域の大きさに応じて一定の領域毎に分割されたフィルタを、当該色領域の全域に適用して、前記色領域の明暗情報を当該フィルタの領域毎に検出する明暗情報検出工程と、
前記検出された明暗情報が示す明暗のパターンから、顔の器官に該当する部分を探索することで、前記色領域が人物の正面顔画像か、否かを判定する正面顔判定工程と、
前記正面顔画像と判定された色領域を上下方向に走査することにより得られる前記肌の色の出現回数から、前記正面顔画像の少なくとも鼻と口の各器官に該当する位置をそれぞれ検出する器官位置検出工程と、
前記検出された各器官の位置から、各器官間の距離を算出し、当該距離の関係から個人を識別する個人識別工程と、
を備えることを特徴とする個人識別方法。
識別すべき人物像を含む画像のデータが入力される画像入力手順と、
前記入力されたデータが示す画像の中から、肌の色と略同一な色領域を抽出する色領域抽出手順と、
前記抽出された色領域の形状から、当該色領域が人物顔の候補か、否かを判定する人物顔候補判定手順と、
前記人物顔の候補と判定された色領域の大きさに応じて一定の領域毎に分割されたフィルタを、当該色領域の全域に適用して、前記色領域の明暗情報を当該フィルタの領域毎に検出する明暗情報検出手順と、
前記検出された明暗情報が示す明暗のパターンから、顔の器官に該当する部分を探索することで、前記色領域が人物の正面顔画像か、否かを判定する正面顔判定手順と、
前記正面顔画像と判定された色領域を上下方向に走査することにより得られる前記肌の色の出現回数から、前記正面顔画像の少なくとも鼻と口の各器官に該当する位置をそれぞれ検出する器官位置検出手順と、
前記検出された各器官の位置から、各器官間の距離を算出し、当該距離の関係から個人を識別する個人識別手順と、
をコンピュータに実行させることを特徴とする個人識別プログラム。