JP2008090792A

JP2008090792A - 遺伝的アルゴリズムを用いた眼球検出法

Info

Publication number: JP2008090792A
Application number: JP2006274040A
Authority: JP
Inventors: Mikiya Tanaka; 幹也田中; Takuya Akashi; 卓也明石
Original assignee: Yamaguchi University NUC
Current assignee: Yamaguchi University NUC
Priority date: 2006-10-05
Filing date: 2006-10-05
Publication date: 2008-04-17

Abstract

【課題】首を動かすことができ、若干の顔の動きはあり得る交通事故、頸椎損傷等の重度肢体不自由者のような患者あるいは被験者に対する、眼球運動を用いた非接触インタフェースの構築を目指す。
【解決手段】患者あるいは被験者の眉と目を含む顔画像を撮影したターゲット画像と予め作成された虹彩領域をモデル化した汎用のテンプレート画像を比較し、遺伝的アルゴリズムを用いてテンプレートマッチングを行うことにより前記ターゲット画像から眼球を検出する遺伝的アルゴリズムを用いた眼球検出法。
【選択図】図９

Description

本発明は、遺伝的アルゴリズムを用いた眼球検出法に関する。特に、本発明は、ターゲット画像と汎用のテンプレート画像とを比較し、遺伝的アルゴリズムを用いてテンプレートマッチングを行うことにより前記ターゲット画像から眼球を検出する遺伝的アルゴリズムを用いた眼球検出法に関し、また、探索領域を制御することで密な探索を可能とした遺伝的アルゴリズムを用いた眼球検出法に関する。

ALS（Amyotrophic Lateral Sclerosis：筋萎縮性側策硬化症）等の重度肢体不自由者は、四肢の障害と言語障害を合わせ持っており、健常者に比べ生活水準が低下している。しかし、知能・感覚は正常であるような特徴がある。このような重度肢体不自由者は、意思伝達手段を持たないため、家族とのコミュニケーションを図ることが困難になり、またそのため医療機関での介護者の負担も大きくなり、十分な介護を受けられていないのが現状である。そのため、現在、重度肢体不自由者の生活の質の向上と介護体制の見直しが必要とされている。

近年、PC（Personal Computer）やIT（Information Technology）技術の急速な普及により、PCを利用した高齢者や障害者の自立支援が図られている。しかし、重度肢体不自由者は、四肢に障害を持っているためPCを操作する為に必要な入力装置を利用する手段を有しない。また、言葉を発することが困難であるので音声入力によるPC操作も不可能である。しかし、PC操作に必要な身体機能を失った重度肢体不自由者であっても、脳に近い目の筋肉は比較的最後まで意識的に動かせる場合が多い。

また、今後の日本の社会はユビキタス社会つまり多様な情報ネットワークの中で、必要とする情報を時間や場所の制約を超えて、安全にかつ意識せずに利用できる社会を目指している。このユビキタス社会での入力方式は運指検出と空間デジタイズによるバーチャルキーボードや音声や視線などによる非接触インタフェースの認識入力が主流となる。このような社会的背景に着目すると、ALS等の重度肢体不自由者の自立を支援し、さらにQOL（Quality Of Life）の向上、また今後の日本社会の流れであるユビキタス社会には、眼球運動を用いた視線入力による非接触インタフェースの開発が必要である。

現在行われている、身体を完全に動かすことが不可能な患者用の非接触型コミュニケーション支援システムを以下（a）から（c）として示す。

（ａ）アイプット（非特許文献１）
使用する前に、使用者が任意の点を見たときの様子を小型CCDカメラで捕らえ、その画像の顔の位置、向き、視線方向などの情報を記憶させた辞書を作成する。使用時は、CCDカメラが使用者の顔や目の動きを追跡して捕らえた画像を解析した結果と、あらかじめ辞書化してある画像のデータを比較し、PC画面上の視線の位置を特定する。文章作成、音声読み上げ等が行える。

（ｂ）伝の心（表情スイッチ）（非特許文献２）
患者の顔の前に設置されたCCDカメラに対して、患者が眼球を動かすなど自分の意志で眼球や表情を変化させ入力を行う。この入力は、スイッチのONとして扱われ、画面上に表示された順次点滅する項目を選択する。文章作成、音声読み上げ、電子メール、ホームページ閲覧等が行える。

（ｃ）Erica（非特許文献３）
近赤外線照射機能を持ったCCDカメラを用いて検出された、角膜、瞳孔による反射光の相対距離より、画面上の視線の位置を求めて項目の選択を行う。周辺機器の操作、文章作成による会話、読書等が行える。

ここで、（ａ）、（ｂ）は非接触方式を採用したシステムであり、入力デバイスにはCCDカメラのみを用いている。（ａ）は、使用前に、顔の位置、向き、視線方向などの情報を記憶させておき、使用時に、CCDカメラで捕らえた画像と記憶させた画像をパターン比較し、９方向の視線方向を割り出すという手法をとっている。動的輪郭モデル法を用いた画像追跡技術により、頭の位置がずれた場合の位置指定精度を高めたことによって、正確な視線方向の判別が実現できている。（ｂ）は、眼球の移動により変化した明るさの変化量を測定して、設定値より大きければスイッチ入力信号としてPCに出力して、画面上の文字、意思項目、操作項目等を選択する。これまでに、300台以上を出荷した実績があり、現在多くのALS患者が使用しているコミュニケーション支援システムである。（ｃ）は、CCDカメラに近赤外線照射機能が付加されており、目周辺に近赤外線を照射して角膜と瞳孔による反射によって作り出される２つの光の相対距離を求めて、眼球の移動量を測定している。検出精度は、3×3の9方向に分割された画面上の区画の識別が可能であると報告されている。

以上のような、従来の非接触型のコミュニケーション支援システムは、全て視線方向を用いている。

現在、高精度な視線方向検出では赤外線を用いた手法が一般的である。しかし、赤外線を用いた場合は赤外光源を用いるため簡易的であるとは言えない。また、コスト面からも赤外線専用のビデオカメラが必要であり、安価であるとは言い難い。また、視線方向を得る為には、まず黒目の位置検出が必要である。

これまでに、1枚の顔画像中から目領域を検出する手法には、個人識別法の前処理を目的としたものなどが提案されている。これらは、大きく、形状やエッジに着目する方法と、濃淡や色情報に着目する方法とに分類される。前者の方法は、主にエッジ強調画像中の目の形状に着目する方法であるが、ノイズや顔の向きの変化などを考慮しなければ、比較的精度良く検出することはできる。また後者の方法は、主に画像中の目の濃淡分布に着目する方法で、ノイズや顔の角度に対してロバストであると言う利点を有する反面、眉毛など目の濃淡分布と同色な部分があり、正確な位置決めが困難であるという問題点がある。

このように顔画像における眼球領域は、境界は曖昧であるため、たとえ顔画像が抽出されていても、その抽出は難しい。そのため、従来法のほとんどでは、顔の向きや見え方、照明などに画像を撮影する際に制約条件を設けることが一般的であった。例えば、撮影する際に、カメラをほぼ正面に設置することや、顔の斜め下に設置することなどを条件としているものが提案されている。これは、ほぼ同じ向きで画像を撮影することで画像上で目の形状をできるだけ同じにするためである。また、その他にも顔部品が全て見えていること、両目が必ず見えていることなどもある。これらの手法には、以上のような何らかの制約条件がある。

これらの問題点を解決するために、非特許文献４には、遺伝的アルゴリズムを用いて、目の特徴点を評価関数とし、顔画像中から目領域と瞳の位置を高精度に抽出する手法が提案されている。この手法では、まず第１段階として、遺伝的アルゴリズムを用いて目の輪郭を検出し、次に、後処理として正確な虹彩部分（黒目）を検出するというものである。正確な黒目の検出方法は、遺伝的アルゴリズムを用いて目の輪郭を検出し、その中で黒目を円としてその円の半径を1画素ずつ小さくしながら探索をし、黒画素が円内の８割を占めると処理を終了する。この手法は、あらかじめ学習や、テンプレートを用意する必要はないという点で優れている。しかし、目領域検出の際に黒目領域が中心にないと高精度な結果を得られないと考えられる。

また、従来は、重度肢体不自由者個人単位で予め目の輪郭を撮影しておき、このテンプレート画像をターゲット画像と比較することで黒目を検出するものであり、対象とする人数分のテンプレートが必要となるものである。（例えば、特許文献１）

ところで、重度肢体不自由者を対象とするものではないが、特許文献２には、予め被験者単位で口唇領域等を撮影しテンプレート画像を作成入力し、遺伝的アルゴリズムを用いてターゲット画像と比較することで高速且つ高精度に口唇領域等の特定領域を抽出するための方法が開示されてはいる。しかしながら、この場合も対象とする人数分の各被験者から取得した各被験者に対応したテンプレート画像が必要となるものである。

また、現在６０００人規模といわれるALS等の重度肢体不自由者に対しては、顔の動きが無いことを前提として目領域検出とするものであった。本発明者は先にこのような患者に対しての確実な黒目の確認を図るために、患者あるいは被験者の顔をとらえた画像より眉と目を含む画像を取得し、黒目のモデルとしてガウス関数を用いた２次元のガウス分布の数値を利用してテンプレート登録を行う手法を開発し出願している。（特許文献３）

しかし、１０万人は存在し、毎年５０００人規模で増大する交通事故、頸椎損傷等の重度肢体不自由者は、首は動き、若干の顔の動きはあり得るものであり、このような患者あるいは被験者に対する、眼球運動を用いた非接触インタフェースの構築が望まれている。
新谷、高村：「ITバリアフリーのすべて」、東洋経済新報社、pp.52〜71 (2001) 小澤、安藤、松田、長谷: ALS患者向け意志伝達装置「伝の心」の開発、第12回リハ工学カンファレンス講演論文集、vol.12,pp.91〜96(1997) (株)NEC関西C& C研究所北風、研究報告: ヒューマンインターフェース、no.41-009 (2001) 寺田賢治・谷英哲・大恵俊一郎:遺伝的アルゴリズムを用いた顔画像からの眼の検出、電学論誌 C、Vol.123, No. 5, pp.938〜945 (2003) 特許３６７３８３４号特開２００６−１２０９３号公報特願２００５−３６２２１１

そこで、本発明では、上述のような制約条件を必要としない、顔は自由に移動することから、顔と独立した眼球運動をとらえ、個人用途ではなく汎用的なシステムを目指し、遺伝的アルゴリズムを用いた汎用的なテンプレートマッチングを提供する。テンプレートマッチングとは、パターン認識の基本である。対象物の濃度分布をテンプレートとして記憶し、ターゲット画像と画素単位で比較し、類似度を算出して、対象物を検出する方法である。これによって、顔画像から、黒目領域を検出するという問題に対して、テンプレートマッチングを用いることが有用であることがいえる。なぜなら、眼球のもっとも顕著な特徴である、白色と黒色のコントラストを最大限に生かすことができるからである。本発明では、汎用の１枚のテンプレートを用いて、大きさに不変な眼球追跡および、眼球の座標や大きさなどの情報を取得することを目指している。そして追跡と情報の取得を同時に行うために、遺伝的アルゴリズムを用いる。

そして、赤外線を用いずに、CMOSやCCD素子などを搭載した撮影機器を1台以上用いた、安価かつ簡易的で汎用的なシステムのアルゴリズムの構築を提供する。

上記の目的を達成するため、本発明者は鋭意研究を重ねた結果、探索領域を制御することにより、密な探索を実現し、汎用の１枚のテンプレートを用いて、黒目領域が検出できる遺伝的アルゴリズムを用いた眼球検出法を見出したものである。

即ち、請求項１に係る発明は、患者あるいは被験者の眉と目を含む顔画像を撮影したターゲット画像と予め作成された虹彩領域をモデル化した汎用のテンプレート画像を比較し、遺伝的アルゴリズムを用いてテンプレートマッチングを行うことにより前記ターゲット画像から眼球を検出する遺伝的アルゴリズムを用いた眼球検出法である。

また、請求項２に係る発明は、前記遺伝的アルゴリズムは、初期個体群の生成（段階１）、適応度の評価（段階２）、終了判定（段階３）、選択（段階４）、交叉（段階５）、突然変異（段階６）、終了（段階７）の段階からなり、前記終了判定（段階３）で終了条件を満たしていれば前記終了（段階７）に移行し、そのときに得られている最良個体を解とし、前記終了判定（段階３）で終了条件を満たしていなければ前記選択（段階４）に移行し、前記適応度の評価（段階２）から前記突然変異（段階６）の過程を繰り返すことを特徴とする請求項１記載の眼球検出法である。

さらに、請求項３に係る発明は、前記遺伝的アルゴリズムにおける前記適応度の評価（段階２）と前記終了判定（段階３）との間に探索領域を変化させた探索領域の制御手法の段階を挿入したことを特徴とする請求項２記載の眼球検出法である。

また、請求項４に係る発明は、前記探索領域の制御は、最良個体の検出（段階１１）、探索領域の大きさ決定（段階１２）、探索領域の中心決定（段階１３）、各個体を再コーディング（段階１４）の段階を備えることを特徴とする請求項３記載の眼球検出法である。

請求項５に係る発明は、前記探索領域の制御倍率は、任意の倍率であることを特徴とする請求項３又は請求項４記載の眼球検出法である。

さらに、請求項６に係る発明は、患者あるいは被験者の眉と目を含む顔画像を撮影した複数の動画像フレームからなる動画像であるターゲット画像と予め作成された虹彩領域をモデル化した汎用のテンプレート画像を比較し、動画像処理を伴う遺伝的アルゴリズムを用いてテンプレートマッチングを行うことにより前記ターゲット画像から眼球を検出する遺伝的アルゴリズムを用いた眼球検出法である。

そして、請求項７に係る発明は、前記動画像処理を伴う遺伝的アルゴリズムは、テンプレート画像の入力（段階２２）、初期集団の生成（段階２３）、フレーム（動画）の入力（段階２４）、ＧＡ（段階２５）、結果の出力（段階２６）、動画像の終端（段階２７）、新個体集団の生成（段階２８）、終了（段階２９）の段階からなり、前記ＧＡ（段階２５）は、適応度の評価（段階３２）、終了評価（段階３３）、遺伝的操作（新個体集団の生成）（段階３４）、戻る（段階３５）の段階からなり、前記終了評価（段階３３）で条件を満たす場合には前記戻る（段階３５）から前記結果の出力（段階２６）に戻り、前記終了評価（段階３３）で条件を満たさない場合には前記遺伝的操作（新個体集団の生成）（段階３４）に移り、前記適応度の評価（段階３２）から前記遺伝的操作（新個体集団の生成）（段階３４）の過程を繰り返し、前記動画像の終端（段階２７）で条件を満たす場合には処理を終了し、前記動画像の終端（段階２７）で条件を満たさない場合には前記新個体集団の生成（段階２８）に移行し、前記フレーム（動画）の入力（段階２４）から前記新個体集団の生成（段階２８）の過程を繰り返すことで、前のフレームでの探索で得られた進化した新個体集団の生成に基づく遺伝的情報を次のフレームに継承することを特徴とする請求項６記載の眼球検出法である。

また、請求項８に係る発明は、前記動画像処理を伴う遺伝的アルゴリズムにおける前記適応度の評価（段階３２）と前記終了評価（段階３３）との間に探索領域を変化させた探索領域の制御手法の段階を挿入したことを特徴とする請求項７記載の眼球検出法である。

請求項９に係る発明は、前記探索領域の制御は、最良個体の検出（段階１１）、探索領域の大きさ決定（段階１２）、探索領域の中心決定（段階１３）、各個体を再コーディング（段階１４）の段階を備えることを特徴とする請求項８記載の眼球検出法である。

本発明は、1枚の汎用のテンプレートを用いて、大きさや回転に不変な眼球追跡および、眼球の座標、大きさ、回転角度などの情報を取得することが出来る。

また、本発明による、探索領域の制御手法を挿入した遺伝的アルゴリズムを用いた眼球検出法によると、従来法に比較して５％程度の精度向上をもって、黒目領域の検出が可能となる。それ故、従来よりもロバスト性（頑健性）を高めた眼球検出法を提供する事ができる。

また、本発明に遺伝的アルゴリズムを用いた眼球検出法によると、眼球の情報が数値で直接得られ、座標と大きさがわかることからカメラとの距離も測定可能であり、角度がわかることから、将来的には、ロボット等種々のインタフェースに利用可能である。

また、本発明によれば若干の顔の動きは許容できることから、健常者に対してでもPC使用時のマウスの機能を持たせることもできる。さらに、目で操作するゲームシステムにも応用することができる。

本発明においては、自然界の生物の進化段階を模倣したものである、遺伝的アルゴリズムを用いて顔画像からの黒目領域を探索する。遺伝的アルゴリズムでは、初期集団を形成してから選択と交叉の組み合わせにより並列的に山登り探索をし、なおかつ突然変異を行うことによりランダムな変化を起こすので、局所最適解に陥りにくく、また局所最適解から抜け出すことも可能になるなどの利点がある。遺伝的アルゴリズムの特徴として、長所は、「実用時間内に比較的優れた解を求めることができる」、「幅広い応用範囲を持っており、さまざまな問題に適応できる」、「多点探索アルゴリズムのため、関数の連続性の影響を受けにくい」等がある。短所は、パラメータなどに対する一般的な規範がないことが挙げられるが、これは何度か実験を行うことで最適値を見つけられるので問題はない。これらのことを踏まえ本発明では遺伝的アルゴリズムを用いる。

因みに、遺伝的アルゴリズムは、ダーウィンの進化論、「この世の生物の進化は、環境に適応した生物のみが生き残る」をモチーフにした、自然界の生物の進化過程を模倣した最適化手法であり、1960年代にHollandによって提唱された進化的計算法のアルゴリズムである。各探索点を個体と呼び、探索点の集団である個体集団に対する自然淘汰および交叉、突然変異などの操作によって新しい探索点を生成することにより、探索空間中の最大値あるいは最小値を効率よく探索するアルゴリズムである。

各個体は、通常０と１からなる記号列によって記述される染色体をもち、適応度と呼ばれる評価値によって評価される。適応度が高い個体ほど次世代に残りやすく、適応度の低い個体は淘汰されやすい。選ばれた２つの親個体の染色体を交叉させて子孫の染色体を作る。また、突然変異を行う。これらの、自然個体集団の最大あるいは平均適応度を世代交代に伴って増加させ、高い適応度をもつ優れた個体、すなわち与えられた問題の実用解あるいは最適解を求めるものである。このように、次世代の個体の決定が、実際の生物の繁殖・進化プロセスから着想された操作に基づいて決定されることから、遺伝的アルゴリズムという名称がつけられた。

遺伝的アルゴリズムは、与えられた問題に対して下記（１）、（２）のような事柄をあらかじめ設定するだけで適応可能な、非常に汎用的な最適アルゴリズムである。

（１）与えられた問題に応じた個体の染色体の記述方法。

（２）各個体の適応度を計算する方法。

また、遺伝的アルゴリズムは、基本概念が受け入れやすいため、数学や工学、生物学、医学、遺伝子学など様々な分野で応用されている。

図１に、本発明により行われている遺伝的アルゴリズムの処理手順を示す。

即ち、初期個体群の生成（段階１）、適応度の評価（段階２）、終了判定（段階３）、選択（段階４）、交叉（段階５）、突然変異（段階６）、終了（段階７）からなる。そして、段階３で終了条件を満たしていれば前記段階７に移行し、そのときに得られている最良個体を解として終了する。段階３で終了条件を満たしていなければ段階４に移行し、段階２から段階６の段階を繰り返す。

次に、本発明のシステム構成を図２に示す。本システムは、例えば1台のPCとビデオカメラにより構成されている非接触型コミュニケーションシステムである。本システムにおいて、PCは、CPU: Intel Pentium4（登録商標）3.2 GHz、Memory: 1.0 Gbyte、Display: 17 inch、となっている。カメラは、SONY EVI-D30を用いた。使用方法は、図２のように備え付けられたビデオカメラにより、使用者の顔画像を、キャプチャボードを経由してPCに取り込み、将来的には、画像処理により視線方向の検出を行なっていくシステムとなっているが、本発明ではあらかじめカメラよりPCに取り込んだ静止画像を用いて黒目領域検出を行なっていく。また、照明条件として、通常の蛍光灯の明るさとし、特に赤外線照射器などの特別な照明装置を使用しない。

本発明では、ビデオカメラにより被験者の顔画像を撮影し、PCに取り込んだ画像に対し、遺伝的アルゴリズムを用いてテンプレートマッチングを行う。入力画像はターゲット画像とテンプレート画像である。本発明では、汎用的なシステムの構築を目指しているため、虹彩領域をモデル化した図３（ａ）のような人工的なテンプレートを使用する。そこで、後述する予備実験により、複数のテンプレート画像の候補から、最良のテンプレートを選択し、実験で使用する。この例の場合には、テンプレート画像のサイズは、16×16pixelsであり、ターゲット画像のサイズは、320×240pixelsであり、256階調RGB画像であるが、実際に実験で用いる画像はグレースケールである。図３（ｂ）に本発明で用いたターゲット画像の一例を示す。

遺伝的アルゴリズムを画像処理に適用するには、個体の染色体の構成、各種の遺伝操作、個体の適応度等適切に設定する必要がある。以下に本発明で用いた遺伝的アルゴリズムの基本設定を示す。

まず、染色体の構成は、中心座標（t_x,t_y）、拡大縮小倍率m、回転角度angleなどの眼球の状態を示す幾何学的情報を持つとする。これらは、最終的に求める解であり、探索対象のターゲット画像上での位置とサイズを表すパラメータである。したがって、これらのパラメータを増やすことで、3次元の変形を含むさらに複雑な変形に対応可能である。パラメータの取り得る範囲として、座標はターゲット画像の領域内、拡大倍率は2.0≦m≦4.0、回転角度（deg）は-15.0≦angle≦15.0である。この範囲はテンプレートの大きさやカメラと被験者の位置による虹彩領域の大きさによって縮小を用いるなど、適宜調節可能である。

図４に染色体の構造を示す。それぞれ8 bitずつとする。上記の構成であれば、合計で染色体長は32 bitである。また、遺伝子のコーディング方法には、グレイ・コーディングを用いる。

次に、遺伝的オペレータとしての淘汰、選択については、最も一般的な手法である、ルーレット選択とエリート保存戦略用いる。また、交叉は一様交叉が最も良いという報告があることより、本発明では一様交叉を用いる。

さらに図１の「適応度の評価」の段階２では、まず最初に、各個体の染色体を用いて、テンプレート画像をターゲット画像上で幾何変換する。変換後のテンプレート画像とターゲット画像間の画素差を目的関数値とする。この幾何変換には同次座標を使用する。

テンプレート画像上の点をPとし、マッチングさせた時の点Pに対応するターゲット画像上の点をP^*とする。ここで、同次座標を導入すると点P、点P^*は次式（1）、（2）のように表される。

線形変換において、w=w^*であり、またw≠0と仮定できる。従って、式（1）、（2）はそれぞれ次式（3）、（4）のように考えられる。

染色体から得られたパラメータを用いて、変換を同次座標で表すと次式（5）のようになる。

ここでの、mは拡大倍率、angleは回転角度、t_xは平行移動後のx座標、t_yは平行移動後のy座標であり、これらは図４のパラメータである。同次座標を用いることで、式（5）にあるように、平行移動も他の変換と同様に3×3で表現できる。このような同次座標による表現を用いるのは、連続して複数の幾何変換を実施する場合に、それらの座標変換を表す行列をあらかじめ掛け合わせて1つの3次元行列の形にまとめておくことができるなど、変換操作が簡単になるためである。また、式（5）は上記段落〔００４６〕のように染色体構造によって変化可能である。

染色体から得られたパラメータを式（5）に代入して点Pを変換し点P^*を求めた後、スケーリングウィンドウを用いて適応度を求める。ここでの適応度の求め方であるが、過去数世代の中での最悪固体、つまり最悪な目的関数を持った個体から、その世代の固体の目的関数を引くことにより適応度を求めるのである。この手法を用いることで、淘汰圧が動的に制御でき、探索の終盤において、探索効率が落ちることなく探索可能であることなどの利点がある。次式（6）、（7）より適応度を求める。

式（6）より、P_ij ^*は座標（i,j）における点P^*の画素値、P_ijは座標（i,j）における点Pの画素値、D_ijはテンプレート画像とターゲット画像間の1画素当りの差を求める式である。式（7）より、（w,h）はテンプレートの縦、横のサイズであり、tは現世代、nは現世代から何世代までさかのぼるかを任意に決定（スケーリングウィンドウサイズと呼ばれる）でき、W_ｔは現世代の中での最悪目的関数を表す。本発明では、過去5世代までさかのぼることより、スケーリングウィンドウサイズは5を用いる。また、この数値が大きすぎると、かなり昔の最悪値に左右され、探索の収束を遅らせる。逆に、小さすぎると、ノイズやたまたま良かった成績に敏感に反応してしまい、探索が局所解に陥りやすいことがある。通常は5〜20であり、本発明で用いた値は、実験的に決定したものである。

次に、図１の「終了判定」の段階３では、終了判定として世代数を用いる。処理速度の観点から、少なくとも100世代以内で処理が終わることが望ましい。また、予備実験の結果から、100世代辺りから収束する傾向があることがわかった。したがって、100世代に到達すると処理を終了し、100世代目の最良個体を最終的な解とする。

以上の手法を用いて、その有効性を実験によって検証した。ここでは、簡単のため、染色体構造は中心座標、拡大縮小倍率のみとする。

まず、テンプレートの選定について検証する。

評価関数として、前述の式（6）と式（7）を用いるので、テンプレート画像内の画素値の分布が眼球位置の検出精度に対し、大きな影響を与えると考えられる。そこで本発明では図５のような5つのテンプレート画像に対し、静止画での眼球位置検出実験を行い最適なテンプレートを決定した。eye1〜eye5の共通点は以下のとおりである。

（ａ）画像サイズ16×16pixelsのグレー画像。

（ｂ）虹彩（黒目）を中心として左右に強膜（白目）領域、上下に瞼領域を作成。

ここでeye1〜eye5特徴を以下に示す。

（ａ）eye1
eye1では虹彩の上部が上瞼に覆われていることに着目し、虹彩領域の上1/3を瞼が覆うように設計した。また、eye1では虹彩領域の画素値は強膜領域にむけて緩やかに増加するように設計した。虹彩領域の大きさは半径16 pixelの円を描くように設計した。それぞれの領域の画素値は、虹彩０、強膜２５５、瞼２００である。

（ｂ）eye2
eye2では虹彩を中心に眼球近傍を見た場合に、上下は瞼に覆われていることに着目した。そのため、テンプレート画像の上部3×16
pixelsと下部1×16 pixelsに瞼領域を設けた。虹彩領域の大きさは半径7
pixelsとした。それぞれの領域の画素値は、虹彩０、強膜２５５、瞼１２９である。

（ｃ）eye3
eye3ではeye2に比べて強膜領域を強調した．そのため、虹彩領域の半径6
pixelsとした．それぞれの領域の画素値は、虹彩０、強膜２５５、瞼１２９である。

（ｄ）eye4
eye4ではeye2における強膜領域の画素値に着目した。eye2では強膜領域の画素値を255としたが、これは理想的な場合であり、実際の強膜上にはまつ毛や瞼からの陰が入り画素値が低くなることが考えられる。そのため、強膜領域の画素値は７名の被験者から眼球近傍画像を取得し、その平均の値を用いた。それぞれの領域の画素値は、虹彩０、強膜２３１、瞼１２９である。

（ｅ）eye5
eye5ではeye4に比べて下瞼の強調を行った。また、ディスプレイの光が眼球に反射することにより、虹彩領域の中心がその周辺と比較して若干明るくなることに着目した。そのため、虹彩領域の中心2×2pixelsの画素値を少し増加させた。それぞれの領域の画素値は、虹彩０、中心１５、強膜２３１、瞼１２９である。

次に、テンプレート選定実験を行った。

7名の被験者から取得した画像に対して黒目領域検出実験を行った。7名の内訳は男性5名、女性2名で、そのうち眼鏡を着用したものが2名となっている。画像の取得は、椅子に座った状態で行った（図２参照）。頭部を移動させて被験者一人につき画像を5枚取得した。その一覧を図６に示す。室内の照明条件は天井に備え付けられた通常の蛍光灯による明るさで、実験中に大きな変化は無いものとした。得られた画像に対して遺伝的アルゴリズムを用いたテンプレートマッチング行い黒目領域検出を行った。遺伝的アルゴリズムは初期個体に強く影響を受けるため、1枚の画像に対して初期個体を変え10回試行した。よって被験者一人につき、計５０回の眼球位置検出実験を各テンプレート画像ごとに行ったことになる。遺伝的アルゴリズムの各パラメータの設定は表１のようにした。

各テンプレートの検出結果は図７のようになった。この結果からeye2のテンプレートにおいて検出精度は約71%となり、eye2のテンプレート画像が最適であることがわかった。

そこで、最も良好な結果が得られたテンプレートeye2を用いて、静止画より黒目領域検出実験を行い、検証する。実験方法は、テンプレート選定実験で用いた手法と同様である。遺伝的アルゴリズムの各パラメータの設定は表２のようにした。

被験者5名（図６参照）に対して行った実験の結果を図８に示す。ただし、テンプレート（エリート個体の中心）と黒目の中心のずれが±5 pixels以内の場合を正解とした。

図８を見てみると、被験者A、Bの検出率が低い。検出を失敗する原因として、世代交代数の制限（終了条件）によって完全に収束しなかった場合が考えられる。将来アルゴリズムのハードウェア化等によって処理時間が短縮できれば、終了条件（世代数）を緩和できるので、このような失敗は減少可能であると考えられる。

全体の平均は約８４%で比較的良好な検出精度だといえる。この検証では、虹彩領域をモデル化した汎用のテンプレート画像としてeye2を用いたが、eye2以外のテンプレート画像を状況に応じて用いることも可能である。

しかしながら、表２による遺伝的アルゴリズムにより、局所解に陥って探索が失敗に終わる結果を改善するための手法を考える必要がある。

ところで、遺伝的アルゴリズムの手法においてさらに高精度な結果を得るための、もっとも簡単な手法に、大きな個体集団で探索する方法や、多くの世代数を費やすなどの方法が考えられる。しかし、これらの手法は多大な処理時間を必要とする。逆に、個体数や世代数を減らすと、処理は高速になるが、精度は低下する。つまり、これらの間にはトレードオフがある。

この原因は遺伝的アルゴリズムの特徴にある。遺伝的アルゴリズムは大域的な最適化アルゴリズムである。探索は、ただ１つの点からではなく多くの点である個体集団から始まる。この並行処理は、探索は極大値に陥らない可能性があることを意味している。遺伝的アルゴリズムはこの極大値に陥るのを回避しようとし、大域的な最適解を見つけようとする。小さい個体集団などによる早熟な収束が生じると、遺伝的アルゴリズムは早熟に収束し、局所解に陥ってしまう。この問題の解決策として、最適解が在ると考えられる境域を特定し、その周辺を細かく探索する方法がある。

本発明では、その手法の一つである探索領域の制御を採用した。探索領域を制御することで、少ない個体数でも高精度な検出が可能となり、処理時間も短くなることを目指すものである。

ここで本発明で用いた遺伝的アルゴリズムの処理手順を図９に示す。

図９に示す遺伝的アルゴリズムでは、先に図１に示した一般的な処理に加え、段階２と段階３との間に探索領域制御（Search Domain Control: SDC）の処理を挿入している。この探索領域制御の処理は、最良個体の検出（段階１１）、探索領域の大きさ決定（段階１２）、探索領域の中心決定（段階１３）、各個体を再コーディング（段階１４）からなり、その詳細については後述する。

本発明での探索領域は、一例として最良個体と世代数が50世代以降、探索が停滞するごとに制御される。また、この制御に伴って各個体の位置を表す遺伝子も再コーディングされる。最良個体は適応度によって選ばれ、選ばれた最良個体の位置が次世代の探索領域となる。この位置はエリート個体の遺伝子t_x,t_y（図４参照）から得られる座標値である。探索領域のサイズは、世代数が50世代以降、エリート個体が10世代停滞した場合、つまり探索が停滞するごとに制御され（式（8））、変数によって制御後のサイズが決定される（式（9））。本手法では、49世代目までは広域探索を行い、ある程度、探索が落ち着く50世代目以降から探索領域の制御を行い、密な探索を行うのが目的である。

ここで、width,heightはターゲット画像のサイズ、width^*,height^*は制御後の探索領域のサイズ、αは探索領域のサイズを決める変数、βはエリート個体の停滞した世代数を示す。この際、α、βの値は適宜設定可能である。

最終的に、全個体に対して、座標を表す遺伝子t_x,t_yを探索領域に従って再コーディングする（図９参照）。この処理によって、拡大倍率を示す遺伝子の情報を次世代へ受け継ぐことが出来る。以上が探索領域制御法（Search Domain Control: SDC）である。図１に示した一般的な遺伝的アルゴリズムの処理に、探索領域制御の処理である、最良個体の検出、探索領域の大きさ、中心の決定、各個体の再コーディングを挿入する処理手順となっている。

実験方法は、表２によると同様に行い、探索領域を制御するものである。遺伝的アルゴリズムの各パラメータの設定は表３のようにした。

被験者5名に対して行った実験の結果を図１０に示す。ただし、ここでは、ＳＤＣを使用しない結果と比較しやすいように、ＳＤＣを使用しない実験結果も同じ図に記載する。また、各被験者について左側はＳＤＣを使用しない実験結果、右側はSDCを用いた実験結果となっている。

図１０から見てわかるように、全体の平均は96.8%とSDCを用いる前の91.2％と比較すると約5%の精度向上が見られる。これは、SDCを用いることにより探索が密になったからであると考えられる。その結果が顕著に現れているのが被験者A、Bである。SDCを用いる前は、両者共に、検出精度が78%であったのに対してSDCを用いることで、検出精度が、94%、90%と向上している。ここで、SDCを用いることにより黒目領域を検出するのに成功した例を図１１（ｂ）に示す。因みに図１１（ａ）に示すSDC無しの場合には、眉毛部分を黒目領域と勘違いし局所解に陥っている。ターゲット画像上の多数の小さな枠は個体、解を示す点が含まれた枠はエリート個体、SDC有りの場合の大きな長方形枠は探索領域を表す。これにより、探索領域を制御することにより、密な探索が実現できたため黒目領域が検出できたといえる。

また、図１１の比較をわかり易くするため、エリート目的関数の推移を図１２に示す。図１２より、○印で示す線がSDCを用いない結果、△印で示す線がSDCを用いた結果である。SDCを用いた結果では、64世代目で初めて探索領域が制御され、そこから密な探索が行われ、67世代目で黒目付近に近づき、最終的には目的とする解を求めたことになる。

次に、本発明による遺伝的アルゴリズムを用いた手法の実用性を調査する上で重要となるロバスト性（頑健性）について、染色体の構成に角度情報を持つ状態で、公知の代表的な手法と本手法とを比較することで、検証する。

（代表的な手法）
比較対象の代表的な手法として、CFTM（Coarse-Fine Template Matching）手法を挙げる。尚、CFTMについては、以下の文献を参照（［１］T.Katada, M.Kobatake, Y.Yosimura, Y.Mizukami, Y.Wakasa, T.Akashi,
and K.Tanaka. A communication system using eye gaze. In Proc. of nt. Conf. on
SISE 2005, pages 3466-3469, 2005 ［２］A. Rosenfeld and G.J.Vanderbrug. Coarse-fine template matching. IEEE
Trans. on Systems, Man and Cybernetics, SMC-7(2):104-107, 1977.）。

この手法では、粗い解像度のターゲット画像から探索を始める。その後、徐々にターゲット画像の解像度を上げる、つまり密なターゲット画像上で精密な探索が行われる．これらはピラミッドのような層構造と考えることができる。最上層以外のすべての階層において限られた範囲を探索域とするので、高速な探索が可能である。しかし、この手法で用いられるテンプレートは通常、ターゲット画像から切り出された画像である。したがって、この手法は汎用性を持つことや、スケーリングや回転などの動的なシーンに対応することはできない。

そこで、比較実験ではターゲット画像中の虹彩の大きさを調査し、その大きさに応じた虹彩テンプレートを用いる。つまり、CFTM法を用いた実験では虹彩のスケーリングや回転を考慮しない。元となるテンプレートは、eye2を用いる。実験1では、テンプレートのサイズは、44×44から51×51pixelを用いる。これらのサイズは、ターゲット画像を調査した結果である。実験2で用いたテンプレートのサイズは、44×44pixelである。これは、ターゲット画像を調査した平均値である。階層構造の階層数は、最下層である原画像を含めて4階層とした。これは予備実験の結果、もっとも良い探索精度が得られた階層数である。

（１）実験1（単純な状況）
最初の実験は、直視に対する有効性の検証である。被験者によって目の見え（傾きや大きさ）が多様であることが分かる。サイズは320×240pixelである。照明は一般的な蛍光灯である。撮影にはCCDカメラ(SONY EVI-D30)を用いて
いる。この実験では、簡単な状況での検証をするため、頭部の傾きや視線方向はなるべく生じないようにしている。被験者は5名とした。被験者1名に対して5枚のターゲット画像を準備した。図１３は探索に成功した場合の結果画像の例である。実験結果は表４のようになった。表４から、単純な状況下では比較手法と本発明の手法はほぼ同等の結果を得ているのが分かる。

（２）実験2（複雑な状況）
次の実験は、ここでは、虹彩が隠れるような複雑な状況における本発明の手法の有効性の検証である。被験者によって目の見え（傾きや大きさ）が多様であることが分かる。サイズは320×240pixelである。照明は一般的な蛍光灯である。撮影にはCCDカメラ(SONY EVI-D30)を用いている。この実験では、複雑な状況での検証をするため、頭部の傾きや視線方向の変化が生じるようにしている。被験者は5名とし、それぞれ5枚ずつ画像を取得した。被験者によって目の見え（傾きや大きさ）が多様であり、複雑な状況下における検証を実施するため、図１４のような視線方向や顔の向きによって虹彩が瞼によって隠れているターゲット画像を用いた。画像サイズや、撮影機材・条件は実験1と同一である。

図１４は探索に成功した場合の結果画像の例である。実験結果は表５のようになった。表５から、複雑な状況下では本手法が優れていることが分かる。

ところで、上記では静止画像について遺伝的アルゴリズムを用いた眼球検出法について説明したが、この手法は、ターゲット画像を複数の動画像フレームからなる動画像とした、動画像処理を伴う遺伝的アルゴリズムを用いた眼球検出法についても適用可能である。

次に、遺伝的アルゴリズムを用いた動画像処理のフローを図１５に示す。即ち、図１５（A）に示す、開始（段階２１）、テンプレート画像の入力（段階２２）、初期集団の生成（段階２３）、フレーム（動画）の入力（段階２４）、ＧＡ（段階２５）、結果の出力（段階２６）、動画像の終端（段階２７）、新個体集団の生成（段階２８）、終了（段階２９）の段階、及び図１５（Ｂ）に示す、ＧＡ（段階３１）、適応度の評価（段階３２）、終了評価（段階３３）、遺伝的操作（新個体集団の生成）（段階３４）、戻る（段階３５）の段階からなる。

ここで、動画像処理について、処理順に説明する。

まず、開始（段階２１）で、図１５（A）の処理が開始される。テンプレート画像の入力（段階２２）で、汎用の１枚のテンプレート画像を入力する。次に、初期集団の生成（段階２３）で、最初のフレーム用に初期集団を乱数により生成する。なお、何もない状態から新たに乱数によって生成するのはこの時のみである。そして、フレーム（動画）の入力（段階２４）でフレーム（動画）を入力する。そして、ＧＡ（段階２５）で、図１５（Ｂ）に定義済みの処理ＧＡ（段階３１）に移る。次に、適応度の評価（段階３２）では適応度の評価を行う。次に、終了評価（段階３３）では終了条件の評価を行い、条件を満たせば、戻る（段階３５）で図１５（A）処理へ戻る。ここで条件を満たさなければ、遺伝的操作（新個体集団の生成）（段階３４）に移り、選択、交叉、突然変異などの遺伝的操作を行い、次の世代用の個体を生成する。

終了評価（段階３３）で条件を満たす場合、図１５（A）の結果の出力（段階２６）では、眼球の状態を数値（遺伝子）で出力する。次に、動画像の終端（段階２７）では、動画像の終端かどうかを調べ、条件を満たせば処理を終了する。そして、条件を満たさない場合は、新個体集団の生成（段階２８）で次フレームにおけるＧＡ処理の個体集団を生成する。そして、段階２４でフレームを次フレームに更新して動画像処理を行う。

新個体集団の生成（段階２８）では、通常は現在の個体集団をそのまま次のフレームでの初期個体としてコピーすることでフレーム間での遺伝情報の継承がなされる。

また、新個体集団の生成（段階２８）において、現在の個体集団に突然変異や交叉などの遺伝的操作を施し、得られた新個体集団を次のフレームでの初期個体としてコピーすることもできる。

なお、図１５（Ｂ）に示したＧＡでの段階は、基本的には図１に示したフローから段階１を除いたものと同一である。そして、図１５（Ｂ）に示したＧＡの段階を図９に示したようにＳＤＣを用いた遺伝的アルゴリズムの処理手順とすることもできることは当然である。

このように、段階２４から段階２８の段階の繰り返しのループが動画像処理であり、フレームによって廻るループである。この時、フレーム間の情報として遺伝情報の継承がなされており、リアルタイムの処理が可能となり、静止画処理よりも精度向上が可能である。

本発明の遺伝的アルゴリズムの処理手順を示す図である。本発明のシステム構成を示す図である。（ａ）テンプレート画像例、（ｂ）ターゲット画像例を示す図である。染色体の構成の一例を示す図である。テンプレート画像を示す図である。ターゲット画像の一覧を示す図である。テンプレート選定結果を示す図である。ＳＤＣを用いない黒目領域検出結果を示す図である。本発明のＳＤＣを用いた遺伝的アルゴリズムの処理手順を示す図である。ＳＤＣを用いた黒目領域検出実験結果を示す図である。黒目領域検出結果の比較を示す図である。エリート目的関数の比較を示す図である。単純な状況下における探索成功例を示す図である。複雑な状況下における探索成功例を示す図である。本発明の遺伝的アルゴリズムを用いた動画像処理のフローを示す図である。

Claims

患者あるいは被験者の眉と目を含む顔画像を撮影したターゲット画像と予め作成された虹彩領域をモデル化した汎用のテンプレート画像を比較し、遺伝的アルゴリズムを用いてテンプレートマッチングを行うことにより前記ターゲット画像から眼球を検出する遺伝的アルゴリズムを用いた眼球検出法。
前記遺伝的アルゴリズムは、初期個体群の生成（段階１）、適応度の評価（段階２）、終了判定（段階３）、選択（段階４）、交叉（段階５）、突然変異（段階６）、終了（段階７）の段階からなり、前記終了判定（段階３）で終了条件を満たしていれば前記終了（段階７）に移行し、そのときに得られている最良個体を解とし、前記終了判定（段階３）で終了条件を満たしていなければ前記選択（段階４）に移行し、前記適応度の評価（段階２）から前記突然変異（段階６）の過程を繰り返すことを特徴とする請求項１記載の眼球検出法。
前記遺伝的アルゴリズムにおける前記適応度の評価（段階２）と前記終了判定（段階３）との間に探索領域を変化させた探索領域の制御手法の段階を挿入したことを特徴とする請求項２記載の眼球検出法。
前記探索領域の制御は、最良個体の検出（段階１１）、探索領域の大きさ決定（段階１２）、探索領域の中心決定（段階１３）、各個体を再コーディング（段階１４）の段階を備えることを特徴とする請求項３記載の眼球検出法。
前記探索領域の制御倍率は、任意の倍率であることを特徴とする請求項３又は請求項４記載の眼球検出法。
患者あるいは被験者の眉と目を含む顔画像を撮影した複数の動画像フレームからなる動画像であるターゲット画像と予め作成された虹彩領域をモデル化した汎用のテンプレート画像を比較し、動画像処理を伴う遺伝的アルゴリズムを用いてテンプレートマッチングを行うことにより前記ターゲット画像から眼球を検出する遺伝的アルゴリズムを用いた眼球検出法。
前記動画像処理を伴う遺伝的アルゴリズムは、テンプレート画像の入力（段階２２）、初期集団の生成（段階２３）、フレーム（動画）の入力（段階２４）、ＧＡ（段階２５）、結果の出力（段階２６）、動画像の終端（段階２７）、新個体集団の生成（段階２８）、終了（段階２９）の段階からなり、
前記ＧＡ（段階２５）は、適応度の評価（段階３２）、終了評価（段階３３）、遺伝的操作（新個体集団の生成）（段階３４）、戻る（段階３５）の段階からなり、前記終了評価（段階３３）で条件を満たす場合には前記戻る（段階３５）から前記結果の出力（段階２６）に戻り、前記終了評価（段階３３）で条件を満たさない場合には前記遺伝的操作（新個体集団の生成）（段階３４）に移り、前記適応度の評価（段階３２）から前記遺伝的操作（新個体集団の生成）（段階３４）の過程を繰り返し、
前記動画像の終端（段階２７）で条件を満たす場合には処理を終了し、前記動画像の終端（段階２７）で条件を満たさない場合には前記新個体集団の生成（段階２８）に移行し、前記フレーム（動画）の入力（段階２４）から前記新個体集団の生成（段階２８）の過程を繰り返すことで、前のフレームでの探索で得られた進化した新個体集団の生成に基づく遺伝的情報を次のフレームに継承することを特徴とする請求項６記載の眼球検出法。
前記動画像処理を伴う遺伝的アルゴリズムにおける前記適応度の評価（段階３２）と前記終了評価（段階３３）との間に探索領域を変化させた探索領域の制御手法の段階を挿入したことを特徴とする請求項７記載の眼球検出法。
前記探索領域の制御は、最良個体の検出（段階１１）、探索領域の大きさ決定（段階１２）、探索領域の中心決定（段階１３）、各個体を再コーディング（段階１４）の段階を備えることを特徴とする請求項８記載の眼球検出法。