JP2019046331A - 瞳孔反応を用いた情報処理システム - Google Patents

Abstract

【課題】発話呼気を行う際の生体の瞳孔が拡大する現象を有効に利用した情報処理システムを提供する。【解決手段】情報処理システムを、被検者の瞳孔状態を検出するための瞳孔状態検出手段１０と、被検者の発話付随現象（唇動作又は発声）を検出するための発話付随現象検出手段２０と、発話付随現象検出手段２０によって発話付随現象が検出されていないときに瞳孔状態検出手段１０が検出した瞳孔状態（基準時瞳孔状態Ｓ０）を記憶するための基準時瞳孔状態記憶手段３０と、発話付随現象検出手段２０によって発話付随現象が検出されると、その発話付随現象が検出されたときの被検者の瞳孔状態（検出時瞳孔状態Ｓ１）を瞳孔状態検出手段１０から取得するとともに、基準時瞳孔状態Ｓ０と検出時瞳孔状態Ｓ１とに基づいて、その発話付随現象に対応した処理を実行する発話付随現象対応処理実行手段４０とを備えたものとした。【選択図】 図１

Description

本発明は、被検者の発話呼気に同期して被検者に生じる瞳孔反応を利用して何らかの処理を行う情報処理システムに関する。

生体認証技法としては、これまでに各種のものが実用化されている。このうち、眼に関する生体認証技法としては、虹彩を撮影した画像にパターン認識技術を応用して個人を特定する虹彩認識（例えば特許文献１を参照。）や、網膜のパターンによって個人を特定する網膜スキャン（例えば特許文献２を参照。）や、まばたきに関連する特徴量によって個人を特定するまばたき認証（例えば特許文献３を参照。）等があり、なかでも、運用コスト等で有利な虹彩認識が普及している。しかし、虹彩認証は、本人の虹彩を撮影した写真等を別人が使用する不正認証が成功した事例が報告されており、それ単独での認証では、信頼性に不安がある。

また、コミュニケーションツールも、これまでに各種のものが提案されており、例えば、唇の動作からその人が話している内容を判別し、その内容を音声や文字等で出力するようにしたもの（例えば特許文献４を参照。）が既に提案されている。この種の読唇型のコミュニケーションツールは、福祉分野等での実用化が期待されている。しかし、人は、食べ物を噛む際等には、発話を意図せずに唇を動かすこともある。この点、従来の読唇型のコミュニケーションツールは、発話行為としての唇の動作なのか、そうではない唇の動作（ノイズ）なのかを判別することができなかった。このため、発話行為以外の唇の動きを読み込んでしまい、間違った内容を出力したり、意味のない言葉を出力したりするケースがあった。

特表平０８−５０４９７９号公報 特開２００８−２０６５３６号公報 特開２００６−０７２６５２号公報 特開２０００−０６８８８２号公報

Ｓｅｊｉｍａ ｅｔ ａｌ．， "Ｓｐｅｅｃｈ−ｄｒｉｖｅｎ Ｅｍｂｏｄｉｅｄ Ｅｎｔｒａｉｎｍｅｎｔ Ｃｈａｒａｃｔｅｒ Ｓｙｓｔｅｍ ｗｉｔｈ Ｐｕｐｉｌｌａｒｙ Ｒｅｓｐｏｎｓｅ"， ＪＳＭＥ， Ｖｏｌ．３， Ｎｏ．４， ｐｐ．１−１１， ２０１６

これまでに、本発明者は、人の感情がどのように瞳孔に反映されるかを調べ、その瞳孔反応をＣＧキャラクタやロボットに再現させる技術について研究を行っていた。その研究の副産物として、図４に示すように、生体が発話呼気を行う際に瞳孔が拡大することを発見した（非特許文献１を参照。）。図４は、発話呼気と瞳孔状態との関係を示したグラフである。しかし、被検者の発話呼気に同期して被検者に生じるこの瞳孔反応を、どのような用途で生かすことができるのか、或いは、どのようなアルゴリズムを採用すれば、その現象を特定の用途で応用できるのか等については、具体的なアイデアを有していなかった。

本発明は、上記課題を解決するために為されたものであり、発話呼気を行う際の生体の瞳孔が拡大する現象を有効に利用した情報処理システムを提供するものである。具体的には、［１］生体認証における不正認証を困難化して、生体認証の信頼性を高めることのできる情報処理システムや、［２］読唇型のコミュニケーションツールにおいて、発話行為としての唇動作とそれ以外の唇動作（ノイズ）とを高精度で判別し、間違った内容や意味のない言葉の出力を防止することのできる情報処理システム等を提供することを目的とする。

上記課題は、
被検者の瞳孔状態を検出するための瞳孔状態検出手段と、
被検者の唇動作又は発声（以下「発話付随現象」と云う。）を検出するための発話付随現象検出手段と、
発話付随現象検出手段によって発話付随現象が検出されていないときに瞳孔状態検出手段が検出した瞳孔状態（以下「基準時瞳孔状態」と云う。）を記憶するための基準時瞳孔状態記憶手段と、
発話付随現象検出手段によって発話付随現象が検出されると、その発話付随現象が検出されたときの被検者の瞳孔状態（以下「検出時瞳孔状態」と云う。）を瞳孔状態検出手段から取得するとともに、基準時瞳孔状態と検出時瞳孔状態とに基づいて、その発話付随現象に対応した処理を実行する発話付随現象対応処理実行手段と、
を備えたことを特徴とする、瞳孔反応を用いた情報処理システム
を提供することによって解決される。

ここで、「瞳孔状態」としては、主に、瞳孔面積や瞳孔直径等が挙げられる。瞳孔面積は、例えば、瞳孔を撮影した画像データにおける瞳孔部分と推定される面状領域を占めるピクセル数をカウントすること等によって検出することができる。また、瞳孔直径は、瞳孔を撮影した画像データにおける瞳孔部分と推定される部分の差渡しのピクセル数をカウントすること等によって検出することができる。この点、瞳孔直径は、瞳孔面積よりも分解能が悪い。加えて、瞳孔直径は、どの方向の直径かによって値が変化するため、その値の信頼性を高めるためには、瞳孔の画像データの向きを揃える処理や、複数方向での平均値を算出する処理等を行う必要が生じる。このため、瞳孔状態としては、瞳孔面積を採用することが好ましい。

このように、基準時瞳孔状態と検出時瞳孔状態とに基づいて処理を実行することによって、発話呼気を行う際の生体の瞳孔が拡大する現象を、様々な用途で活用することが可能になる。本発明の情報処理システムの用途としては、主に、後述する、生体認証システムや、福祉機器等におけるコミュニケーションツールが挙げられるが、それ以外にも、医療分野（例えば、言語獲得前の乳幼児の発達状態を診断する診断装置等）や、心理学分野（例えば、その生体（人間）が嘘をついているか否かを判別する嘘発見器等）へ応用することも可能である。

まず、本発明の情報処理システムを、生体認証システムで採用する場合について説明する。

このような生体認証システムは、上記の情報処理システムにおける発話付随現象対応処理実行手段を、発話付随現象検出手段によって発話付随現象が検出されると、検出時瞳孔状態を瞳孔状態検出手段から取得するとともに、基準時瞳孔状態と基準時瞳孔状態とに基づいて個人認証を実行する個人認証実行手段とすることによって実現できる。

このように、時系列を経た複数種類の瞳孔状態（基準時瞳孔状態及び検出時瞳孔状態）を用いて個人認証を行うことにより、写真等を使用した不正認証を成功しにくくし、生体認証の信頼性を高めることが可能になる。本発明の情報処理システムを使用した生体認証システムは、他の生体認証システム（例えば、上述した虹彩認証等）と併用すれば、その信頼性をさらに高めることができる。

本発明の情報処理システムを採用した生体認証システムでは、個人認証実行手段を、基準時瞳孔状態における瞳孔面積と、検出時瞳孔状態における瞳孔面積とから算出される瞳孔拡大率及び／又は瞳孔拡大速度に基づいて個人認証を実行するものとすると好ましい。

ここで、「瞳孔拡大率」としては、例えば、基準時瞳孔状態における瞳孔面積を「Ｓ_０」とし、検出時瞳孔状態における瞳孔面積を「Ｓ_１」としたときに、瞳孔面積Ｓ_０に対する瞳孔面積Ｓ_１の比Ｓ_１／Ｓ_０の値や、この比Ｓ_１／Ｓ_０と相関関係を有する他の値を採用することができる。また、「瞳孔拡大速度」としては、例えば、基準時瞳孔状態における瞳孔面積を「Ｓ_０」とし、検出時瞳孔状態における瞳孔面積を「Ｓ_１」とし、瞳孔面積Ｓ_１が取得されるまでの経過時間を「Δｔ」としたときに、経過時間Δｔに対する、瞳孔面積Ｓ_１と瞳孔面積Ｓ_０との差Ｓ_１−Ｓ_０の比（Ｓ_１−Ｓ_０）／Δｔの値や、この比（Ｓ_１−Ｓ_０）／Δｔと相関関係を有する他の値を採用することができる。

上記の瞳孔拡大率や瞳孔拡大速度は、生体（被検者）によってバラツキがあるため、これらの値に基づいて個人認証を行うことによって、生体認証の信頼性をさらに高めることが可能になる。瞳孔拡大率と瞳孔拡大速度は、いずれか一方のみを用いてもよいが、両方を用いるとさらに好適である。

続いて、本発明の情報処理システムを、福祉機器等におけるコミュニケーションツールで採用する場合について説明する。

このようなコミュニケーションツールは、上記の情報処理システムにおける発話付随現象検出手段を、被検者の唇動作を検出する唇動作検出手段とし、発話付随現象対応処理実行手段を、唇動作検出手段によって唇動作が検出されると、検出時瞳孔状態を瞳孔状態検出手段から取得するとともに、基準時瞳孔状態と検出時瞳孔状態とを比較することにより、その唇動作が検出されたときの被検者に発話意思があるか否かを判別する発話意思判定手段とすることによって実現できる。

すなわち、発話意思が無いときに唇を動かした場合には、基準時瞳孔状態と検出時瞳孔状態との間に殆ど変化が生じないのに対し、発話意思があるときには、発声の有無にかかわらず、基準時瞳孔状態と検出時瞳孔状態との間に変化が生じるため、基準時瞳孔状態と検出時瞳孔状態とを比較すれば、そのときの被検者に発話意思があるか否かを判別することができる。したがって、読唇型のコミュニケーションツールにおいて、発話行為としての唇動作とノイズとを高精度で判別し、間違った内容や意味のない言葉の出力を防止することが可能になる。

本発明の情報処理システムを採用したコミュニケーションツールでは、
発話意思判定手段によって被検者に発話意思があると判定された際に、その判定がされたときに唇動作検出手段が検出した唇の動作から、その動作に対応した音を判別する音判別手段と、
音判別手段が判別した音を文字又は音として出力する発話内容出力手段と、
をさらに備えることも好ましい。

上記のコミュニケーションツールを用いると、発声障害等で発生することができなくても、唇を動かすことができる人であれば、発話内容出力手段に出力される文字や音を通じて、自らの意思を、ノイズの少ない状態で他者に伝達することが可能になる。この種のコミュニケーションツールは、福祉分野等において非常に有用である。

以上のように、本発明によって、被検者の発話呼気に同期して被検者に生じる瞳孔反応を有効に利用した情報処理システムを提供することが可能になる。具体的には、［１］生体認証における不正認証を困難化して、生体認証の信頼性を高めることのできる情報処理システムや、［２］読唇型のコミュニケーションツールにおいて、発話行為としての唇動作とそれ以外の唇動作（ノイズ）とを高精度で判別し、間違った内容や意味のない言葉の出力を防止することのできる情報処理システム等を提供することが可能になる。

本発明に係る情報処理システムのブロック図である。 本発明に係る情報処理システムを採用した生体認証システムにおける処理の一例を示したフロー図である。 本発明に係る情報処理システムを採用した読唇型のコミュニケーションツールにおける処理の一例を示したフロー図である。 発話呼気と瞳孔状態との関係を示したグラフである。

１．本発明に係る情報処理システムの概要
本発明に係る情報処理システムの好適な実施態様について、図面を用いてより具体的に説明する。図１は、本発明に係る情報処理システムのブロック図である。図１において実線で示した瞳孔状態検出手段１０、発話付随現象検出手段２０、基準時瞳孔状態記憶手段３０及び発話付随現象対応処理実行手段４０は、本発明に係る情報処理システムの必須の構成であるが、図１において破線で示した音判別手段５０及び発話内容出力手段６０はオプションの構成（後述する生体認証処理では採用せず、後述する読唇型のコミュニケーションツールで採用する構成）である。

本発明に係る情報処理システムは、被検者の瞳孔状態の変化と、被検者の発話付随現象（唇動作又は発声）とに基づいて、所定の処理を実行するものとなっている。この情報処理システムは、図１に示すように、瞳孔状態検出手段１０と、発話付随現象検出手段２０と、基準時瞳孔状態記憶手段３０と、発話付随現象対応処理実行手段４０とを備えたものとなっている。

２．瞳孔状態検出手段
瞳孔状態検出手段１０は、被検者の瞳孔状態を検出するためのものとなっている。瞳孔状態検出手段１０は、被検者の瞳孔状態（特に瞳孔の拡大及び縮小）を検知できるのであれば、その種類を特に限定されないが、通常、カメラと、当該カメラの撮影画像を解析する画像解析手段（画像処理装置や画像処理プログラム等）が用いられる。瞳孔状態検出手段１０に用いるカメラとしては、動画撮影が可能なものを用いると好ましい。瞳孔状態検出手段１０にカメラを用いる場合には、そのカメラのレンズは、被検者の瞳孔を視野に収めるように設置される。

３．発話付随現象検出手段
発話付随現象検出手段２０は、被検者の発話付随現象（唇動作又は発声）を検出するためのものとなっている。発話付随現象検出手段２０のうち、被検者の唇動作を検出可能なものは、「唇動作検出手段」と呼ぶことが有り、被検者の発話を検出可能なものは「発話検出手段」と呼ぶことがある。

３．１ 唇動作検出手段
唇動作検出手段は、被検者の唇動作を検出できるのであれば、その種類を特に限定されないが、カメラと、当該カメラの撮影画像を解析する画像解析手段（画像処理装置や画像処理プログラム等）を用いると、被検者に非接触な状態で唇動作を検出できるために好ましい。唇動作検出手段に用いるカメラとしては、動画撮影が可能なものを用いると好ましい。唇動作検出手段にカメラを用いる場合には、そのカメラのレンズは、被検者の唇を視野に収めるように設置される。カメラの視野を広めに設定し、その視野に被検者の唇及び瞳孔が入るようにすれば、瞳孔状態検出手段１０に用いるカメラと、唇動作検出手段に用いるカメラとを１台のカメラで共用することも可能である。また、上記の画像解析手段も共用することも可能である。

唇動作検出手段による唇動作の検出アルゴリズムは、特に限定されない。例えば、上記のカメラの撮影画像を、上記の画像解析手段に入力し、この画像解析手段において、前記撮影画像における複数の特徴点（唇又は唇周辺に重なる特徴点）を抽出し、その抽出された複数の特徴点の相対的な変位等を解析することにより、唇動作を検出することができる。より具体的には、ある特徴点に対する他の特徴点の相対的な変位が所定の閾値を超えた場合に、唇動作が為されたと判定することができる。

３．２ 発話検出手段
これに対し、発話検出手段は、被検者による発話（発声）を検出できるものであれば、その種類を特に限定されないが、通常、マイクロフォンと、当該マイクロフォンから出力される音声を解析する音声解析手段（音声処理装置や音声処理プログラム等）が用いられる。発話検出手段にマイクロフォンを用いる場合には、そのマイクロフォンは、その集音部を被検者の口に向けた状態で設置すると好ましい。

発話検出手段による発話の検出アルゴリズムは、特に限定されない。例えば、上記のマイクロフォンの検出音声を、上記の音声解析手段に入力し、この音声解析手段において、前記検出音声の大きさ（音響パワー等）を求めることにより、発話を検出することができる。より具体的には、前記検出音声の大きさが所定の閾値を超えた場合に、発話が為されたと判定することができる。この場合、前記検出音声を、人の音声の周波数帯域（例えば、１００〜２００００Ｈｚの範囲）でフィルタリングを行うようにすると、人の音声以外のノイズを排除することが可能になる。

４．基準時瞳孔状態記憶手段
基準時瞳孔状態記憶手段３０は、上記の発話付随現象検出手段２０によって発話付随現象（被検者の唇動作又は発話）が検出されていないとき（基準時）に上記の瞳孔状態検出手段１０が検出した被検者の瞳孔状態（基準時瞳孔状態）を記憶するためのものである。基準時瞳孔状態記憶手段３０には、通常、コンピュータの記憶回路（ＲＡＭやＲＯＭのメモリ等）が用いられる。

既に述べたように、「瞳孔状態」としては、瞳孔面積や瞳孔直径等を採用することができ、なかでも瞳孔面積を採用することが好ましいところ、この「基準時瞳孔状態」も、基準時（発話付随現象検出手段２０によって発話付随現象が検出されていないとき）の瞳孔面積や瞳孔直径等を採用することができ、なかでも瞳孔面積を採用することが好ましい。基準時瞳孔状態は、後述する発話付随現象対応処理実行手段４０による処理が実行されるよりも前に、予め、基準時瞳孔状態記憶手段３０に記憶された状態となっている。

５．発話付随現象対応処理実行手段
発話付随現象対応処理実行手段４０は、上記の発話付随現象検出手段２０によって発話付随現象（被検者の唇動作又は発話）が検出されると、その発話付随現象が検出されたとき（検出時）の被検者の瞳孔状態（検出時瞳孔状態）を上記の瞳孔状態検出手段１０から取得するとともに、この検出時瞳孔状態と、上記の基準時瞳孔状態記憶手段３０から取得した基準時瞳孔状態とに基づいて、その発話付随現象に対応した処理（発話付随現象対応実行処理）を実行するものとなっている。

発話付随現象対応処理実行手段としては、通常、上記の処理を行うように設計されたプログラムが格納されたコンピュータか、上記の処理を行うように設計された電子回路が用いられる。

このように、基準時瞳孔状態と検出時瞳孔状態とに基づいて所定の処理（発話付随現象対応実行処理）を実行することによって、発話呼気を行う際の生体の瞳孔が拡大する現象を、様々な用途で活用することが可能になる。発話付随現象対応処理実行手段４０で行う発話付随現象対応実行処理としては、例えば、生体認証システムに係るものや、福祉機器等におけるコミュニケーションツールに係るものや、医療分野での診断システムに係るもの（例えば発達障害の診断システム等）や、心理学分野での各種機器（例えば嘘発見器等）等が挙げられる。このうち、生体認証システムに係るものと、福祉機器等におけるコミュニケーションツールに係るものとについて詳しく説明する。

５．１ 生体認証システム
本発明に係る情報処理システムでは、上記の発話付随現象対応処理実行手段４０を、発話付随現象検出手段２０によって発話付随現象（被検者の唇動作又は発話）が検出されたときに、基準時瞳孔状態と基準時瞳孔状態とに基づいて個人認証を実行するもの（個人認証実行手段）とすることによって、優れた生体認証システムを実現することができる。この個人認証実行手段（発話付随現象検出手段２０）で実行する個人認証のアルゴリズムは、特に限定されないが、例えば、以下の流れで実行することができる。

図２は、本発明に係る情報処理システムを採用した生体認証システムにおける処理（生体認証処理）の一例を示したフロー図である。本実施態様における生体認証処理において、個人認証実行手段（発話付随現象検出手段２０）は、図２に示すステップＡ_０〜Ａ_１５に従って処理を行うものとなっており、発話付随現象検出手段２０によって発話付随現象（被検者の唇動作又は発話）が検出されると、その処理が開始（ステップＡ_０が実行）されるようになっている。

生体認証処理の開始条件となる発話付随現象の検出は、既に述べたように、発話付随現象検出手段２０によって行われ、発話付随現象検出手段２０としては、唇動作検出手段と発話検出手段が挙げられる。本発明に係る情報処理システムを採用した生体認証処理では、発話付随現象検出手段２０として、唇動作検出手段と発話検出手段のいずれも採用することができるが、本実施態様の生体認証処理では、上記の「３．２ 発話検出手段」の項目で述べた処理（マイクロフォンの検出音声の大きさが所定の閾値を超えた場合に、発話が為されたと判定する処理）を実行するようにしている。

発話検出手段（発話付随現象検出手段２０）によって被検者の発話が検出され、生体認証処理が開始（ステップＡ_０）されると、個人認証実行手段（発話付随現象検出手段２０）が、瞳孔状態検出手段１０（カメラ等）から、そのときの瞳孔状態（瞳孔画像等）を取得（ステップＡ_１）し、その瞳孔状態（検出時の瞳孔画像等）からそのときの瞳孔面積Ｓ_１を算出（ステップＡ_２）する。算出された瞳孔面積Ｓ_１は、基準時瞳孔状態記憶手段３０（メモリ等）に予め記憶されていた基準時瞳孔状態（基準時の瞳孔画像等）から算出された瞳孔面積Ｓ_０と比較（ステップＡ_３）される。

ステップＡ_３における比較の結果、検出時の瞳孔面積Ｓ_１が基準時の瞳孔面積Ｓ_０よりも大きくなっていないと判定された場合には、発話付随現象検出手段２０が検出した発話付随現象（被検者の唇動作又は発話）は、発話意思を伴うものではなかったと判断（ステップＡ_４）し、生体認証処理は終了（ステップＡ_１５）する。生体認証処理が終了すると、発話付随現象検出手段２０によって再び発話付随現象（被検者の唇動作又は発話）が検出されるまで、生体認証処理は起動されない。

一方、ステップＡ_３における比較の結果、検出時の瞳孔面積Ｓ_１が基準時の瞳孔面積Ｓ_０よりも大きくなっていると判定された場合には、発話付随現象検出手段２０が検出した発話付随現象（被検者の唇動作又は発話）は、発話意思を伴うものであったと判断（ステップＡ_５）し、次のステップＡ_６に進む。

上記のステップＡ_３における比較は、基準時の瞳孔面積Ｓ_０と検出時の瞳孔面積Ｓ_１とを単純に比較するのではなく、例えば、検出時の瞳孔面積Ｓ_１と基準時の瞳孔面積Ｓ_０との差Ｓ_１−Ｓ_２が予め定められた閾値（０よりも大きな閾値）よりも大きくなっているか否かで判断することもできる。これにより、発話意思の誤検出を防止することが可能になる。また、発話を開始した直後の瞳孔面積は、図４に示すように、一旦縮小した後に拡大する傾向があるために、上記のステップＡ_３における比較で使用する瞳孔面積Ｓ_１は、発話が検出されてから時間が暫く経過した後の値（発話を行っていないときよりも瞳孔面積が大きくなる時間帯の値）を用いると好ましい。

続くステップＡ_６では、基準時の瞳孔面積Ｓ_０及び検出時の瞳孔面積Ｓ_１から、瞳孔拡大率Ｒを算出する。既に述べたように、瞳孔拡大率としては、瞳孔面積Ｓ_０に対する瞳孔面積Ｓ_１の比Ｓ_１／Ｓ_０の値等を用いることができる。ステップＡ_６で瞳孔拡大率Ｒが算出されると、続いてステップＡ_７が実行される。

ステップＡ_７では、ステップＡ_６で算出された瞳孔拡大率Ｒが、予め定められた下限値Ｒ_ＭＩＮと、同じく予め定められた上限値Ｒ_ＭＡＸとの範囲内にあるか否かの判定を行う。下限値Ｒ_ＭＩＮ及び上限値Ｒ_ＭＡＸは、氏名等のＩＤと関連付けられた状態で、図示省略のメモリ等の記憶手段（瞳孔拡大率閾値記憶手段）に記憶されている。

このステップＡ_７において、瞳孔拡大率Ｒが下限値Ｒ_ＭＩＮと上限値Ｒ_ＭＡＸとの範囲内にないと判定された場合には、上記ＩＤを有する人とは別人であると判断（ステップＡ_８）し、受入拒否（ステップＡ_９）を行って、生体認証処理が終了（ステップＡ_１５）する。

一方、ステップＡ_７において、瞳孔拡大率Ｒが下限値Ｒ_ＭＩＮと上限値Ｒ_ＭＡＸとの範囲内にあると判定された場合には、上記ＩＤを有する人と同一人の可能性があると判断（ステップＡ_１０）し、次のステップＡ_１１に進む。ステップＡ_１１では、基準時の瞳孔面積Ｓ_０及び検出時の瞳孔面積Ｓ_１から、瞳孔拡大速度Ｖを算出する。既に述べたように、瞳孔拡大速度としては、経過時間Δｔに対する、瞳孔面積Ｓ_１と瞳孔面積Ｓ_０との差Ｓ_１−Ｓ_０の比（Ｓ_１−Ｓ_０）／Δｔの値等を用いることができる。ステップＡ_１１で瞳孔拡大速度Ｖが算出されると、続いてステップＡ_１２が実行される。

ステップＡ_１２では、ステップＡ_１１で算出された瞳孔拡大速度Ｖが、予め定められた下限値Ｖ_ＭＩＮと、同じく予め定められた上限値Ｖ_ＭＡＸとの範囲内にあるか否かの判定を行う。下限値Ｖ_ＭＩＮ及び上限値Ｖ_ＭＡＸは、氏名等のＩＤと関連付けられた状態で、図示省略のメモリ等の記憶手段（瞳孔拡大速度閾値記憶手段）に記憶されている。

このステップＡ_１２において、瞳孔拡大速度Ｖが下限値Ｖ_ＭＩＮと上限値Ｖ_ＭＡＸとの範囲内にないと判定された場合には、上記ＩＤを有する人とは別人であると判断（ステップＡ_８）し、受入拒否（ステップＡ_９）を行って、生体認証処理が終了（ステップＡ_１５）する。

一方、ステップＡ_１２において、瞳孔拡大速度Ｖが下限値Ｖ_ＭＩＮと上限値Ｖ_ＭＡＸとの範囲内にあると判定された場合には、上記ＩＤを有する人と同一人であると判断（ステップＡ_１３）し、受入許諾（ステップＡ_１４）を行って、生体認証処理が終了（ステップＡ_１５）する。

以上の生体認証処理を実行することで、不正認証がされにくく信頼性の高い生体認証システムを実現することが可能になる。この情報処理システムを使用した生体認証システムは、虹彩認証等、他の生体認証システムと併用すれば、その信頼性をさらに高めることができる。

５．２ コミュニケーションツール
本発明に係る情報処理システムでは、上記の発話付随現象対応処理実行手段４０を、唇動作検出手段（発話付随現象検出手段２０）によって被検者の唇動作が検出されたときに、基準時瞳孔状態と検出時瞳孔状態とを比較することにより、その唇動作が検出されたときの被検者に発話意思があるか否かを判別するもの（発話意思判定手段）とすることによって、優れたコミュニケーションツールを実現することができる。この発話意思判定手段（発話付随現象検出手段２０）で実行する発話意思の有無の判定アルゴリズムは、特に限定されないが、例えば、以下の流れで実行することができる。

図３は、本発明に係る情報処理システムを採用した読唇型のコミュニケーションツールにおける処理（発話意思判定処理）の一例を示したフロー図である。本実施態様における発話意思判定処理において、発話意思判定手段（発話付随現象検出手段２０）は、図２に示すステップＢ_０〜Ｂ_６に従って処理を行うものとなっており、唇動作検出手段（発話付随現象検出手段２０）によって被検者の唇動作が検出されると、その処理が開始（ステップＢ_０が実行）されるようになっている。

発話意思判定処理の開始条件となる発話付随現象の検出は、既に述べたように、発話付随現象検出手段２０によって行われる。発話付随現象検出手段２０としては、唇動作検出手段と発話検出手段が挙げられるところ、ここで説明する発話意思判定処理においては、唇動作検出手段を用いている。というのも、ここで説明する読唇型のコミュニケーションツールは、発声障害等で発生することできない人（被検者）であっても、その唇動作からその被検者が話そうとしている内容を読み取って出力することで、その被検者による円滑なコミュニケーションを可能にすることを意図しているからである。本実施態様の発話意思判定処理では、上記の「３．１ 唇動作検出手段」の項目で述べた処理（唇の撮影画像におけるある特徴点に対する他の特徴点の相対的な変位が所定の閾値を超えた場合に、唇動作が為されたと判定する処理）を実行するようにしている。

唇動作検出手段（発話付随現象検出手段２０）によって被検者の唇動作が検出され、発話意思判定処理が開始（ステップＢ_０）されると、発話意思判定手段（発話付随現象検出手段２０）が、瞳孔状態検出手段１０（カメラ等）から、そのときの瞳孔状態（瞳孔画像等）を取得（ステップＢ_１）し、その瞳孔状態（検出時の瞳孔画像等）からそのときの瞳孔面積Ｓ_１を算出（ステップＢ_２）する。算出された瞳孔面積Ｓ_１は、基準時瞳孔状態記憶手段３０（メモリ等）に予め記憶されていた基準時瞳孔状態（基準時の瞳孔画像等）から算出された瞳孔面積Ｓ_０と比較（ステップＢ_３）される。

ステップＢ_３における比較の結果、検出時の瞳孔面積Ｓ_１が基準時の瞳孔面積Ｓ_０よりも大きくなっていないと判定された場合には、唇動作検出手段（発話付随現象検出手段２０）が検出した唇動作は、発話意思を伴うものではなかったと判断（ステップＢ_４）し、発話意思判定処理が終了（ステップＢ_６）する。発話意思判定処理が終了すると、唇動作検出手段（発話付随現象検出手段２０）によって再び唇動作が検出されるまで、発話意思判定処理は起動されない。

一方、ステップＢ_３における比較の結果、検出時の瞳孔面積Ｓ_１が基準時の瞳孔面積Ｓ_０よりも大きくなっていると判定された場合には、唇動作検出手段（発話付随現象検出手段２０）が検出した唇動作は、発話意思を伴うものであったと判断（ステップＢ_５）し、発話意思判定処理が終了（ステップＢ_６）する。

上記のステップＢ_３における比較は、基準時の瞳孔面積Ｓ_０と検出時の瞳孔面積Ｓ_１とを単純に比較するのではなく、例えば、検出時の瞳孔面積Ｓ_１と基準時の瞳孔面積Ｓ_０との差Ｓ_１−Ｓ_２が予め定められた閾値（０よりも大きな閾値）よりも大きくなっているか否かで判断することもできる。これにより、発話意思の誤検出を防止することが可能になる。また、発話を開始した直後の瞳孔面積は、図４に示すように、一旦縮小した後に拡大する傾向があるために、上記のステップＡ_３における比較で使用する瞳孔面積Ｓ_１は、発話が検出されてから時間が暫く経過した後の値（発話を行っていないときよりも瞳孔面積が大きくなる時間帯の値）を用いると好ましい。

ところで、ステップＢ_５が実行された際には、音判別手段５０（図１）によって、そのときに唇動作検出手段（発話付随現象検出手段２０）が検出した唇動作から、その唇動作に対応した音が判別され、その判別された音が、発話内容出力手段６０（図１）によって文字又は音として出力される。音判別手段５０は、通常、唇動作に対応した音を判別するように設計されたプログラムが格納されたコンピュータか、当該判別を行うように設計された電子回路が用いられる。また、発話内容出力手段６０は、通常、文字を出力する表示装置か、音を出力するスピーカーが用いられる。

以上の発話意思判定処理を実行することで、発話行為としての唇動作とそれ以外の唇動作（ノイズ）とを高精度で判別し、間違った内容や意味のない言葉の出力を防止することのできる情報処理システム等を提供することが可能になる。

１０ 瞳孔状態検出手段
２０ 発話付随現象検出手段
３０ 基準時瞳孔状態記憶手段
４０ 発話付随現象対応処理実行手段
５０ 音判別手段
６０ 発話内容出力手段

Claims (5)

1. 被検者の瞳孔状態を検出するための瞳孔状態検出手段と、
   被検者の唇動作又は発声（以下「発話付随現象」と云う。）を検出するための発話付随現象検出手段と、
   発話付随現象検出手段によって発話付随現象が検出されていないときに瞳孔状態検出手段が検出した瞳孔状態（以下「基準時瞳孔状態」と云う。）を記憶するための基準時瞳孔状態記憶手段と、
   発話付随現象検出手段によって発話付随現象が検出されると、その発話付随現象が検出されたときの被検者の瞳孔状態（以下「検出時瞳孔状態」と云う。）を瞳孔状態検出手段から取得するとともに、基準時瞳孔状態と検出時瞳孔状態とに基づいて、その発話付随現象に対応した処理を実行する発話付随現象対応処理実行手段と、
   を備えたことを特徴とする、瞳孔反応を用いた情報処理システム。
   
2. 発話付随現象検出手段が、被検者の唇動作を検出する唇動作検出手段とされ、
   発話付随現象対応処理実行手段が、唇動作検出手段によって唇動作が検出されると、検出時瞳孔状態を瞳孔状態検出手段から取得するとともに、基準時瞳孔状態と検出時瞳孔状態とを比較することにより、その唇動作が検出されたときの被検者に発話意思があるか否かを判別する発話意思判定手段とされた
   請求項１記載の、瞳孔反応を用いた情報処理システム。
   
3. 発話意思判定手段によって被検者に発話意思があると判定された際に、その判定がされたときに唇動作検出手段が検出した唇の動作から、その動作に対応した音を判別する音判別手段と、
   音判別手段が判別した音を文字又は音として出力する発話内容出力手段と、
   をさらに備えた
   請求項２記載の、瞳孔反応を用いた情報処理システム。
   
4. 発話付随現象対応処理実行手段が、発話付随現象検出手段によって発話付随現象が検出されると、検出時瞳孔状態を瞳孔状態検出手段から取得するとともに、基準時瞳孔状態と基準時瞳孔状態とに基づいて個人認証を実行する個人認証実行手段とされた
   請求項１記載の、瞳孔反応を用いた情報処理システム。
   
5. 個人認証実行手段が、基準時瞳孔状態における瞳孔面積と、検出時瞳孔状態における瞳孔面積とから算出される瞳孔拡大率及び／又は瞳孔拡大速度に基づいて個人認証を実行するものとされた
   請求項４記載の、瞳孔反応を用いた情報処理システム。

Images