JP2007094619A - 認識装置および方法、記録媒体、並びに、プログラム。 - Google Patents

Abstract

【課題】簡単かつ正確にユーザの意思を示す動作を認識する。
【解決手段】 カメラ１３により撮影された画像データに基づいて、顔方向検出部１４は、ユーザの顔の向きを検知し、視線方向検知部１５は、ユーザの視線の向きを検知する。うなずき認識部２１は、顔が下を向き、顔の向きに対して視線が上方向を向く状態である場合、ユーザがうなずいたと認識する。首振り認識部２２は、顔が右または左に向くのに対し、視線が顔の向きに対して左右方向に逆方向を向く状態である場合、ユーザが首を横に振ったと認識する。本発明は、運転者の意思を確認する意思確認装置に適用することができる。
【選択図】図１

Description

本発明は、認識装置および方法、記録媒体、並びに、プログラムに関し、特に、簡単かつ正確にユーザの意思を示す動作を認識することができるようにした認識装置および方法、記録媒体、並びに、プログラムに関する。

従来、ユーザからの指示を待っている場合に、表示部に表示されている選択候補のうちいずれかの選択候補を注視しながら、ユーザがうなずくのを検出したとき、注視していた項目が選択されたと判定し、所定の処理を行うことが提案されている（例えば、特許文献１参照）。

特開２０００−１６３１９６号公報

しかしながら、特許文献１に記載の発明では、例えば、運転中など、ユーザが表示部の１点を注視することができない状態である場合、ユーザの意思を検出することができない。

本発明は、このような状況に鑑みてなされたものであり、簡単かつ正確にユーザの意思を示す動作を認識することができるようにするものである。

本発明の一側面の認識装置は、ユーザの顔の向きを検知する顔方向検知手段と、前記ユーザの視線の向きを検知する視線方向検知手段と、前記顔の向きと前記視線の向きの違いに基づいて、前記ユーザの意思を示す動作を認識する動作認識手段とを含む。

本発明の一側面の認識装置においては、ユーザの顔の向きが検知され、前記ユーザの視線の向きが検知され、前記顔の向きと前記視線の向きの違いに基づいて、前記ユーザの意思を示す動作が認識される。

従って、簡単かつ正確にユーザの意思を示す動作を認識することができ、ユーザの意思を簡単かつ確実に認識することができる。

この顔方向検知手段、視線方向検知手段、動作認識手段は、例えば、CPUにより構成される。また、この顔方向検知手段は、例えば、顔の向きを検知する専用の装置により構成するようにすることもできる。さらに、視線方向検知手段は、例えば、視線の向きを検知する専用の装置により構成するようにすることもできる。

前記動作認識手段には、前記顔が下方向を向くのに対し、前記視線が前記顔の向きに対して上方向を向く状態である場合、前記ユーザが意思を示すためにうなずいたと認識させるようにすることができる。

これにより、ユーザがうなずくのを簡単かつ正確に認識することが可能になる。

前記動作認識手段には、前記ユーザに意思の表示が促されてから所定の時間内に、前記状態である第１の状態とは異なる第２の状態から前記第１の状態への第１の遷移、または、前記第１の状態から前記第２の状態への第２の遷移を行った場合、前記ユーザが意思を示すためにうなずいたと認識させるようにすることができる。

これにより、ユーザがうなずくのをより正確に認識することが可能になる。

前記動作認識手段には、前記所定の時間内に、所定の第１の回数以上前記第１の遷移を行い、かつ、所定の第２の回数以上前記第２の遷移を行った場合、前記ユーザが意思を示すためにうなずいたと認識させるようにすることができる。

これにより、ユーザがうなずくのをより正確に認識することが可能になる。

前記動作認識手段には、前記所定の時間内に、前記顔が所定の方向から所定の第１の角度以上下方向を向き、かつ、前記顔の向きに対して前記視線が所定の第２の角度以上上方向を向き、かつ、前記顔が前記所定の方向から下方向に向いた角度と前記視線が前記顔の向きに対して上方向に向いた角度の和が所定の閾値以上となり、かつ、前記顔の左または右方向の向きが前記所定の方向から所定の第３の角度未満である第１の状態である場合、前記ユーザが意思を示すためにうなずいたと認識させるようにすることができる。

これにより、ユーザがうなずくのをより正確に認識することが可能になる。

前記動作認識手段には、前記顔が右方向を向くのに対し、前記視線が前記顔の向きに対して左方向を向く第１の状態、または、前記顔が左方向を向くのに対し、前記視線が前記顔の向きに対して右方向を向く第２の状態である場合、前記ユーザが意思を示すために首を横に振ったと認識させるようにすることができる。

これにより、ユーザが首を横に振るのを簡単かつ正確に認識することが可能になる。

前記動作認識手段には、前記ユーザに意思の表示が促されてから所定の時間内に、前記第１の状態および前記第２の状態とは異なる第３の状態から前記第１の状態への第１の遷移、前記第３の状態から前記第２の状態への第２の遷移、前記第１の状態から前記第３の状態への第３の遷移、または、前記第２の状態から前記第３の状態への第４の遷移を行った場合、前記ユーザが意思を示すために首を横に振ったと認識させるようにすることができる。

これにより、ユーザが首を横に振るのをより正確に認識することが可能になる。

前記動作認識手段には、前記所定の時間内に、所定の第１の回数以上前記第１の遷移を行い、かつ、所定の第２の回数以上前記第２の遷移を行った場合、前記ユーザが意思を示すために首を横に振ったと認識させるようにすることができる。

これにより、ユーザが首を横に振るのをより正確に認識することが可能になる。

前記動作認識手段には、前記所定の時間内に、前記顔が所定の方向から所定の第１の角度以上右方向を向き、かつ、前記視線が前記顔の向きに対して所定の第２の角度以上左方向を向き、かつ、前記顔が前記所定の方向から右方向に向いた角度と前記視線が前記顔の向きに対して左方向に向いた角度の和が所定の閾値以上となり、かつ、前記顔の上または下方向の向きが前記所定の方向から所定の第３の角度未満である第３の状態である場合、または、前記顔が前記所定の方向から前記第１の角度以上左方向を向き、かつ、前記視線が前記顔の向きに対して前記第２の角度以上右方向を向き、かつ、前記顔が前記所定の方向から左方向に向いた角度と前記視線が前記顔の向きに対して右方向に向いた角度の和が前記閾値以上となり、かつ、前記顔の上または下方向の向きが前記所定の方向から所定の第３の角度未満である第４の状態である場合、前記ユーザが意思を示すために首を横に振ったと認識させるようにすることができる。

これにより、ユーザが首を横に振るのをより正確に認識することが可能になる。

この認識装置は、前記動作認識手段により認識された前記ユーザの意思を示す動作に基づいて、前記ユーザの意思を認識する意思認識手段をさらに備えることができる。

これにより、簡単かつ確実にユーザの意思を認識することが可能になる。

この意思認識手段は、例えば、CPUにより構成される。

本発明の一側面の認識方法またはプログラムは、ユーザの顔の向きを検知する顔方向検知ステップと、前記ユーザの視線の向きを検知する視線方向検知ステップと、前記顔の向きと前記視線の向きの違いに基づいて、前記ユーザの意思を示す動作を認識する動作認識ステップとを含む。

本発明の一側面の認識方法またはプログラムにおいては、ユーザの顔の向きが検知され、前記ユーザの視線の向きが検知され、前記顔の向きと前記視線の向きの違いに基づいて、前記ユーザの意思を示す動作が認識される。

従って、簡単かつ正確にユーザの意思を示す動作を認識することができ、ユーザの意思を簡単かつ確実に認識することができる。

この顔方向検知ステップは、例えば、ユーザの顔を撮影した画像データに基づいて、ユーザの顔の向きをCPUにより検知する顔方向検知ステップにより構成され、視線方向検知ステップは、例えば、ユーザの顔を撮影した画像データに基づいて、ユーザの視線の向きをCPUにより検知する視線方向検知ステップにより構成され、動作認識ステップは、例えば、前記ユーザの意思を示す動作をCPUにより認識する動作認識ステップにより構成される。

以上のように、本発明の一側面によれば、簡単かつ正確にユーザの意思を示す動作を認識することができ、ユーザの意思を簡単かつ確実に認識することができる。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した意思確認装置の一実施の形態を示すブロック図である。意思確認装置１は、音声出力部１１、スピーカ１２、カメラ１３、顔方向検知部１４、視線方向検知部１５、動作認識部１６、および、意思認識部１７を含むように構成される。また、動作認識部１６は、うなずき認識部２１および首振り認識部２２を含むように構成される。

なお、以下、主に、意思確認装置１が、自動車の内部に設置され、自動車の運転者の意思を確認する場合を例に挙げて説明する。ただし、意思確認装置１が設置される場所は、自動車の内部に限定されるものではなく、また、意思確認装置１が意思を確認する対象も、自動車の運転者に限定されるものではない。

音声出力部１１は、図示せぬ外部のアプリケーション装置（例えば、運転支援装置、ナビゲーション装置、カーエアコン、カーステレオなど）から運転者の意思の確認を要求する情報が入力された場合、運転者に対して意思の表示を促す音声データを生成し、音声データに基づく音声をスピーカ１２から出力させる。例えば、音声出力部１１は、運転者の意思の表示を促すために、「設定を自動変更しますがよろしいですか？」のような内容の音声をスピーカ１２から出力させる。

カメラ１３は、例えば、CCD（Charge Coupled Device）撮像素子、CMOS（Complementary Metal Oxide Semiconductor）撮像素子、または、対数変換型撮像素子（例えば、HDRC（High Dynamic Range CMOS（Complementary Metal Oxide Semiconductor））（登録商標））などを用いたカメラとされ、運転者の顔および視線の向きを検知するために必要な性能（例えば、解像度が横６４０画素×縦４８０画素、階調数が２５６階調、フレームレートが毎秒３０フレーム）を有する。カメラ１３は、運転者の顔を撮影できる位置に設置され、撮影することにより得られた運転者の顔を含む画像データを顔方向検知部１４および視線方向検知部１５に供給する。

顔方向検知部１４は、カメラ１３から供給された画像データに基づいて、運転者の顔の向きを検知する。顔方向検知部１４が顔の向きを検知する手法は、特定の手法に限定されるものではなく、顔の向きをより迅速かつ正確に検知できる手法が望ましい。顔方向検知部１４は、検知した運転者の顔の向きを示す情報をうなずき認識部２１および首振り認識部２２に供給する。

なお、例えば、顔方向検知部１４は、運転者が基準となる方向（例えば、自動車の前方かつ地面に対して水平な方向）を向いた状態を基準とする顔の向きを、上下方向および左右方向とも５度単位の角度分解能で0.2秒ごとに検知する。なお、以下、顔の向きを、運転者が基準となる方向を向いた状態を基準として、上下方向については、上方向を正、下方向を負の値により表し、左右方向については、右方向を正、左方向を負の値により表す。例えば、運転者が基準となる方向を向いた状態から、上方向に１０度顔を向けた場合、上下方向の顔の向きは１０度となり、下方向に１０度顔を向けた場合、上下方向の顔の向きは−１０度となり、右方向に１０度顔を向けた場合、左右方向の顔の向きは１０度となり、左方向に１０度顔を向けた場合、左右方向の顔の向きは−１０度となる。

視線方向検知部１５は、カメラ１３から供給された画像データに基づいて、運転者の顔の向きに対する視線の向きを検知する。視線方向検知部１５が視線の向きを検知する手法は、特定の手法に限定されるものではなく、視線の向きをより迅速かつ正確に検知できる手法が望ましい。視線方向検知部１５は、検知した運転者の視線の向きを示す情報をうなずき認識部２１および首振り認識部２２に供給する。

なお、例えば、視線方向検知部１５は、運転者の顔の向きに対する視線の向きを、顔の上下方向および左右方向とも５度単位の角度分解能で0.2秒ごとに検知する。なお、以下、視線の向きを、顔の向きを基準として、顔の上下方向については、上方向を正、下方向を負の値により表し、顔の左右方向については、右方向を正、左方向を負の値により表す。例えば、運転者の顔の向きを基準として、上方向に１０度視線を向けた場合、顔の上下方向における視線の向きは１０度となり、下方向に１０度視線を向けた場合、顔の上下方向における視線の向きは−１０度となり、右方向に１０度視線を向けた場合、顔の左右方向における視線の向きは１０度となり、左方向に１０度視線を向けた場合、顔の左右方向における視線の向きは−１０度となる。

なお、顔または視線の向きを検知する時間間隔および角度分解能、並びに、顔または視線の向きを表す座標系は、上述した例に限定されるものではない。

動作認識部１６は、運転者の顔の向きと視線の向きの違いに基づいて、運転者の意思を示す動作を認識する。

うなずき認識部２１は、図３を参照して後述するように、運転者の顔の向きと視線の向きの違いに基づいて、運転者が意思を示すためにうなずいたか否かを認識する。うなずき認識部２１は、認識結果を示す情報を意思認識部１７に供給する。

首振り認識部２２は、図１０を参照して後述するように、運転者の顔の向きと視線の向きの違いに基づいて、運転者が意思を示すために首を横に振ったか否かを認識する。首振り認識部２２は、認識結果を示す情報を意思認識部１７に供給する。

意思認識部１７は、うなずき認識部２１または首振り認識部２２により供給される認識結果に基づいて、運転者の意思を認識する。意思認識部１７は、認識結果を示す情報を運転者の意思の確認を要求したアプリケーション装置に出力する。

次に、図２乃至図１６を参照して、意思確認装置１の処理を説明する。

まず、図２のフローチャートを参照して、意思確認装置１により実行される意思確認処理を説明する。なお、この処理は、例えば、図示せぬ外部のアプリケーション装置から運転者の意思の確認を要求する情報が入力されたとき、開始される。

ステップＳ１において、音声出力部１１は、意思表示を促す。具体的には、音声出力部１１は、運転者に対して意思の表示を促す音声データを生成し、音声データに基づく音声をスピーカ１２から出力させる。

ステップＳ２において、顔方向検知部１４は、カメラ１３から供給される画像データに基づいて、顔の向きの検知を開始する。顔方向検知部１４は、検知した運転者の顔の向きを示す情報のうなずき認識部２１および首振り認識部２２への供給を開始する。

ステップＳ３において、視線方向検知部１５は、カメラ１３から供給される画像データに基づいて、視線の向きの検知を開始する。視線方向検知部１５は、検知した運転者の顔の向きを示す情報のうなずき認識部２１および首振り認識部２２への供給を開始する。

ステップＳ４において、うなずき認識部２１は、うなずき認識処理を実行する。うなずき認識処理の詳細は、図３を参照して後述するが、この処理により、意思の表示が促されたのに対して、運転者がうなずいたか否かが認識され、認識結果を示す情報がうなずき認識部２１から意識認識部１７に供給される。

ステップＳ５において、首振り認識部２２は、首振り認識処理を実行する。首振り認識処理の詳細は、図１０を参照して後述するが、この処理により、意思の表示が促されたのに対して、運転者が首を横に振ったか否かが認識され、認識結果を示す情報が首振り認識部２２から意識認識部１７に供給される。

なお、ステップＳ４とＳ５の処理は並行して実行される。

ステップＳ６において、意思認識部１７は、うなずき認識部２１または首振り認識部２２による認識結果に基づいて、意思を認識し、意思確認処理は終了する。具体的には、うなずき認識部２１により運転者がうなずいたと認識され、かつ、首振り認識部２２により運転者が首を横に振っていないと認識された場合、意思認識部１７は、運転者が肯定の意志を示したと認識する。また、うなずき認識部２１により運転者がうなずいていないと認識され、かつ、首振り認識部２２により運転者が首を横に振ったと認識された場合、意思認識部１７は、運転者が否定の意志を示したと認識する。さらに、意思認識部１７は、うなずき認識部２１により運転者がうなずいていないと認識され、かつ、首振り認識部２２により運転者が首を横に振っていないと認識された場合、運転者が意思を示していないと認識する。

また、うなずき認識部２１により運転者がうなずいたと認識され、かつ、首振り認識部２２により運転者が首を横に振ったと認識された場合、例えば、先または後に認識された動作に基づいて、運転者の意思を認識する。あるいは、例えば、運転者がうなずいたか否かを判定する基準となるうなずきらしさと、運転者が首を横に振ったか否かを判定する基準となる首振りらしさに基づいて、運転者の意思を認識するようにしてもよい。なお、うなずきらしさと首振りらしさについては後述する。

意思認識部１７は、認識結果を示す情報を、運転者の意思の確認を要求したアプリケーション装置に出力する。アプリケーション装置は、認識された運転者の意思に基づく処理を行う。

なお、国や文化などの違いにより、うなずく動作または首を横に振る動作が示す意思が異なる場合があるが、それらの違いに応じて運転者の意思を正確に認識できるように、例えば、意思確認装置１の設定が事前に変更される。

次に、図３のフローチャートを参照して、図２のステップＳ４のうなずき認識処理の詳細を説明する。

ステップＳ２１において、うなずき認識部２１は、基準方向を設定する。具体的には、うなずき認識部２１は、例えば、ステップＳ２において顔の向きの検知が開始された時点における顔の向き、または、運転中に運転者が最も多く顔を向ける方向を基準方向に設定する。

ステップＳ２２において、うなずき認識部２１は、うなずきらしさの算出を開始する。ここで、図４乃至図７を参照して、うなずきらしさの算出方法について説明する。

図４は、ほぼ正面を向いている人の頭部を横から見た場合の顔の向きと視線の向きを模式的に示した図であり、図５は、図４に示される状態における人の眼の状態を模式的に示した図である。図４に示されるように、人がほぼ正面を向いている場合、例えば、運転者が自動車を運転しながら前方を見ている場合、顔の向きと視線の向きはほぼ一致し、個人差はあるが、図５に示されるように、ほぼ眼の中央に黒目の部分が位置するようになる。

図６は、意思表示をするためにうなずいている人の頭部を横から見た場合の顔の向きと視線の向きを模式的に示した図であり、図６は、図７に示される状態における人の眼の状態を模式的に示した図である。人が意思表示をするためにうなずく場合、視線をなるべく動かさずに顔の向きだけを変える傾向がある。例えば、会話中の場合、人は相手からあまり視線を動かさずにうなずき、運転などの作業をしている場合、人は作業の対象からあまり視線を動かさずにうなずく。また、そのような注視する対象がない場合でも、うなずく方向を特に見る必要がないため、やはり、人は視線をあまり動かさずにうなずく。

従って、人がうなずいた場合、図６に示されるように、顔の動きと視線の動きに違いが生じ、顔が下を向くのに対して、顔の向きに対して上方向に視線が向くため、個人差はあるが、図７に示されるように、顔の移動方向とは逆の上方向に黒目の部分が眼の中を移動し、いわゆる上目遣いの状態となる。

うなずき認識部２１は、この人がうなずいた場合の上下方向の顔の動き（向き）と視線の動き（向き）の違いに着目して、うなずきらしさを算出する。具体的には、運転者の顔が基準方向から所定の第１の角度（例えば、５度）以上下方向を向き、かつ、顔の向きに対する視線の向きが所定の第２の角度（例えば、５度）以上上方向を向き、かつ、顔の左または右方向の向きが基準方向から所定の第３の角度（例えば、５度）未満である場合、すなわち、運転者の顔が、左右方向についてはほぼ基準方向を向いたまま下を向き、かつ、上目遣いになった場合、うなずきらしさは、以下の式（１）により算出される。

うなずきらしさ＝顔の向きに対する上下方向の視線の向き−上下方向の顔の向き
・・・（１）

すなわち、うなずきらしさは、顔の向きに対して視線が上目遣いになっている角度と、うつむいた角度の和（式（１）においては、角度を表す符号の関係で引き算となっている）により表される。

一方、顔および視線の向きが上述した状態とは異なる場合、うなずきらしさ＝０とされる。

うなずき認識部２１は、上述した方法に基づいて、うなずきらしさの算出を開始する。

ステップＳ２３において、うなずき認識部２１は、意思表示を促してから所定の時間が経過したか否かを判定する。ステップＳ１において意思表示を促してから所定の時間（例えば、７秒）が経過していないと判定された場合、処理はステップＳ２４に進む。

ステップＳ２４において、うなずき認識部２１は、うなずきらしさが所定の閾値以上であるか否かを判定する。うなずきらしさが所定の閾値（例えば、３０）未満であると判定された場合、処理はステップＳ２３に戻る。

その後、ステップＳ２３において、意思表示を促してから所定の時間が経過したと判定されるか、ステップＳ２４において、うなずきらしさが所定の閾値以上であると判定されるまで、ステップＳ２３およびＳ２４の処理が繰返し実行される。

ステップＳ２４において、うなずきらしさが所定の閾値以上であると判定された場合、処理はステップＳ２５に進む。

図８は、顔の向きに対する視線の上下方向の向きを横軸方向に示し、基準方向に対する顔の上下方向の向きを縦軸方向に示すグラフである。なお、横軸を原点から右に移動するほど、視線が上を向く角度が大きくなり、横軸を原点から左に移動するほど、視線が下を向く角度が大きくなる。また、縦軸を原点から上に移動するほど、顔が上を向く角度が大きくなり、縦軸を原点から下に移動するほど、顔が下を向く角度が大きくなる。

また、図８内の斜線で示される領域は、うなずきらしさが所定の閾値（図８に示される例において、３０）以上となる領域を示している。すなわち、斜線で示される領域は、運転者の顔が基準方向から所定の第１の角度（図８に示される例において、５度）以上下方向を向き、かつ、顔の向きに対して視線が所定の第２の角度（図８に示される例において、５度）以上上方向を向き、かつ、顔が基準方向から下方向に向いた角度と視線が顔の向きに対して上方向に向いた角度の和（うなずきらしさ）が所定の閾値（図８に示される例において、３０）以上となる領域である。

ステップＳ２５において、うなずき認識部２１は、運転者がうなずいたと認識し、うなずき認識処理は終了する。うなずき認識部２１は、認識結果を示す情報を意思認識部１７に供給する。

ステップＳ２３において、意思表示を促してから所定の時間が経過したと判定された場合、処理はステップＳ２６に進む。

ステップＳ２６において、うなずき認識部２１は、運転者がうなずいていないと認識し、うなずき認識処理は終了する。うなずき認識部２１は、認識結果を示す情報を意思認識部１７に供給する。

図９は、運転者がうなずいた場合の顔および視線の向き、並びに、うなずきらしさの遷移を示すグラフである。図９の横軸は時間を示し、縦軸は顔および視線の向き、並びに、うなずきらしさを示している。また、線５１は顔の上下方向の向きの遷移を示し、線５２は顔の向きに対する視線の上下方向の向きの遷移を示し、線５３は顔の左右方向の向きの遷移を示し、線５４はうなずきらしさの遷移を示している。

図９に示される例において、うなずいているか否かを判定する閾値を３０とした場合、5.2秒から5.6秒にかけてうなずきらしさが閾値以上となっており、運転者がうなずいたと認識される。

次に、図１０のフローチャートを参照して、図２のステップＳ５の首振り認識処理の詳細を説明する。

ステップＳ４１において、首振り認識部２２は、上述した図３のステップＳ２１におけるうなずき認識部２１による処理と同様に、基準方向を設定する。

ステップＳ４２において、首振り認識部２２は、首振りらしさの算出を開始する。ここで、図１１乃至図１４を参照して、首振りらしさの算出方法について説明する。

図１１は、ほぼ正面を向いている人の頭部を上から見た場合の顔の向きと視線の向きを模式的に示した図であり、図１２は、図１１に表される状態における人の眼の状態を模式的に示した図である。図１１に示されるように、人がほぼ正面を向いている場合、例えば、運転者が自動車を運転しながら前方を見ている場合、顔の向きと視線の向きはほぼ一致し、個人差はあるが、図１２に示されるように、ほぼ眼の中央に黒目の部分が位置するようになる。

図１３は、意思表示をするために首を横に振っている人の頭部を上から見た場合の顔の向きと視線の向きを模式的に示した図であり、図１３は、図１４に示される状態における人の眼の状態を模式的に示した図である。人が意思表示するために首を横に振る場合、視線をなるべく動かさずに顔の向きだけを変える傾向がある。例えば、会話中の場合、人は相手からあまり視線を動かさずに首を横に振り、運転などの作業をしている場合、人は作業の対象からあまり視線を動かさずに首を横に振る。また、そのような注視する対象がない場合でも、首（顔）を振る方向を特に見る必要がないため、やはり、人は視線をあまり動かさずに首を横に振る。

従って、人が首を横に振った場合、図１３に示されるように、顔の向きと視線の向きに違いが生じ、顔の向きに対して視線が顔の向きと逆方向に向くため、個人差はあるが、図１４に示されるように、顔の移動方向（いまの場合、右方向）とは逆方向（いまの場合、左方向）に黒目の部分が眼の中を移動し、いわゆる横目遣いの状態となる。

首振り認識部２２は、この人がうなずいた場合の左右方向の顔の動き（向き）と視線の動き（向き）の違いに着目して、首振りらしさを算出する。具体的には、運転者の顔が基準方向から所定の第１の角度（例えば、５度）以上右または左方向を向き、かつ、左右方向における顔の向きに対する視線の向きが所定の第２の角度（例えば、５度）以上顔の向きと逆の方向を向き、顔の上または下方向の向きが基準方向から所定の第３の角度（例えば、５度）未満である場合、すなわち、運転者の顔が、上下方向についてはほぼ基準方向を向いたまま左または右を向き、かつ、左右方向において顔の向きとは視線が逆方向に向いた場合、首振りらしさは、以下の式（２）により算出される。

首振りらしさ＝顔の向きに対する左右方向の視線の向き−左右方向の顔の向き
・・・（２）

すなわち、首振りらしさは、顔の向きに対して視線が横目遣いになっている角度と、顔が横を向いた角度の和（式（２）においては、角度を表す符号の関係で引き算となっている）により表される。

一方、顔および視線の向きが上述した状態とは異なる場合、首振りらしさ＝０とされる。

首振り認識部２２は、上述した方法に基づいて、首振りらしさの算出を開始する。

ステップＳ４３において、首振り認識部２２は、意思表示を促してから所定の時間が経過したか否かを判定する。ステップＳ４１において意思表示を促してから所定の時間（例えば、７秒）が経過していないと判定された場合、処理はステップＳ４４に進む。

ステップＳ４４において、首振り認識部２２は、顔の向きが左方向、かつ、首振りらしさが所定の上限閾値以上であるか否かを判定する。顔の向きが右方向（左右方向の顔の向きの角度が０度より大きい）、または、首振りらしさが所定の上限閾値（例えば、３０）より小さいと判定された場合、すなわち、運転者が左方向に首を振っていないと判定された場合、処理はステップＳ４５に進む。

ステップＳ４５において、首振り認識部２２は、顔の向きが右方向、かつ、首振りらしさが所定の下限閾値以下であるか否かを判定する。顔の向きが右方向（左右方向の顔の向きの角度が０度より小さい）、または、首振りらしさが所定の下限閾値（例えば、−３０）より大きいと判定された場合、すなわち、運転者が右方向に首を振っていないと判定された場合、処理はステップＳ４３に戻る。

その後、ステップＳ４３において、意思表示を促してから所定の時間が経過したと判定されるか、ステップＳ４４において、顔の向きが左方向かつ首振りらしさが所定の上限閾値以上であると判定されるか、ステップＳ４５において、顔の向きが右方向かつ首振りらしさが所定の下限閾値以下であると判定されるまで、ステップＳ４３乃至Ｓ４５の処理が繰り返し実行される。

ステップＳ４５において、顔の向きが右方向かつ首振りらしさが所定の下限閾値以下であると判定された場合、すなわち、運転者が右方向に首を振ったと判定された場合、処理はステップＳ４６に進む。

図１５は、顔の向きに対する視線の左右方向の向きを横軸方向に示し、基準方向に対する顔の左右方向の角度を縦軸方向に示すグラフである。なお、横軸を原点から右に移動するほど、視線が右に向く角度が大きくなり、横軸を原点から左に移動するほど、視線が左を向く角度が大きくなる。また、縦軸を原点から上に移動するほど、顔が右を向く角度が大きくなり、縦軸を原点から下に移動するほど、顔が左を向く角度が大きくなる。

また、図１５内の網掛けで示される領域Ｒは、顔が右方向を向いている場合に首振りらしさが所定の下限閾値（図１５に示される例において、−３０）以下となる領域を示している。すなわち、領域Ｒは、運転者の顔が基準方向から所定の第１の角度（図１５に示される例において、５度）以上右方向を向き、かつ、顔の向きに対して視線が所定の第２の角度（図１５に示される例において、５度）以上左方向を向き、かつ、顔が基準方向から右方向に向いた角度と視線が顔の向きに対して左方向に向いた角度の和（首振りらしさ）が所定の閾値（図１５に示される例において、３０（下限閾値の絶対値））以上となる領域である。

ステップＳ４６において、ステップＳ４３の処理と同様に、意思表示を促してから所定の時間が経過したか否かが判定される。意思表示を促してから所定の時間が経過していないと判定された場合、処理はステップＳ４７に進む。

ステップＳ４７において、ステップＳ４４の処理と同様に、顔の向きが左方向かつ首振りらしさが所定の上限閾値以上であるか否かが判定される。顔の向きが右方向、または、首振りらしさが所定の上限閾値（例えば、３０）より小さいと判定された場合、すなわち、運転者が左方向に首を振っていないと判定された場合、処理はステップＳ４６に戻る。

その後、ステップＳ４６において、意思表示を促してから所定の時間が経過したと判定されるか、ステップＳ４７において、顔の向きが左方向かつ首振りらしさが所定の上限閾値以上であると判定されるまで、ステップＳ４６およびＳ４７の処理が繰り返し実行される。

ステップＳ４７において、顔の向きが左方向かつ首振りらしさが所定の上限閾値以上であると判定された場合、すなわち、運転者が左方向に首を振ったと判定された場合、処理はステップＳ５０に進む。すなわち、これは、ステップＳ４５の判定処理と合わせて、意思表示を促してから所定の時間内に、運転者が左右両方向に首を振ったと判定された場合である。

図１５内の斜線で示される領域Ｌは、顔が左方向を向いている場合に首振りらしさが所定の上限閾値（図１５に示される例において、３０）以上となる領域を示している。すなわち、領域Ｌは、運転者の顔が基準方向から所定の第１の角度（図１５に示される例において、５度）以上左方向を向き、かつ、顔の向きに対して視線が所定の第２の角度（図１５に示される例において、５度）以上右方向を向き、かつ、顔が基準方向から左方向に向いた角度と視線が顔の向きに対して右方向に向いた角度の和（首振りらしさ）が所定の閾値（図１５に示される例において、３０）以上となる領域である。

ステップＳ４４において、顔の向きが左方向かつ首振りらしさが所定の上限閾値以上であると判定された場合、すなわち、運転者が左方向に首を振ったと判定された場合、処理はステップＳ４８に進む。

ステップＳ４８において、ステップＳ４３の処理と同様に、意思表示を促してから所定の時間が経過したか否かが判定される。意思表示を促してから所定の時間が経過していないと判定された場合、処理はステップＳ４９に進む。

ステップＳ４９において、ステップＳ４５の処理と同様に、顔の向きが右方向かつ首振りらしさが所定の下限閾値以下であるか否かが判定される。顔の向きが左方向、または、首振りらしさが所定の下限閾値より大きいと判定された場合、すなわち、運転者が右方向に首を振っていないと判定された場合、処理はステップＳ４８に戻る。

その後、ステップＳ４８において、意思表示を促してから所定の時間が経過したと判定されるか、ステップＳ４９において、顔の向きが右方向かつ首振りらしさが所定の下限閾値以下であると判定されるまで、ステップＳ４８およびＳ４９の処理が繰り返し実行される。

ステップＳ４８において、顔の向きが右方向かつ首振りらしさが所定の下限閾値以下であると判定された場合、すなわち、運転者が右方向に首を振ったと判定された場合、処理はステップＳ５０に進む。すなわち、これは、ステップＳ４４の判定処理と合わせて、意思表示を促してから所定の時間内に、運転者が左右両方向に首を振ったと判定された場合である。

ステップＳ５０において、首振り認識部２２は、運転者が首を横に振ったと認識し、首振り認識処理は終了する。首振り認識部２２は、認識結果を示す情報を意思認識部１７に供給する。

ステップＳ４３、Ｓ４６またはＳ４８において、意思表示を促してから所定の時間が経過したと判定された場合、すなわち、所定の時間内に、左または右方向のすくなくとも一つの方向に首が振られなかった場合、処理はステップＳ５１に進む。

ステップＳ５１において、首振り認識部２２は、運転者が首を横に振っていないと認識し、首振り認識処理は終了する。首振り認識部２２は、認識結果を示す情報を意思認識部１７に供給する。

図１６は、運転者が首を横に振った場合の顔および視線の向き、並びに、首振りらしさの遷移を示すグラフである。図１６の横軸は時間を示し、縦軸は顔および視線の向き、並びに、首振りらしさを示している。また、線６１は顔の左右方向の向きの遷移を示し、線６２は顔の向きに対する視線の左右方向の向きの遷移を示し、線６３は顔の上下方向の向きの遷移を示し、線６４は首振りらしさの遷移を示している。

図１６に示される例において、首を左に振っているか否かを判定する上限閾値を３０とし、首を右に振っているか否かを判定する下限閾値を−３０とした場合、3.4秒から3.6秒にかけて首振りらしさが上限閾値以上となり、運転者が首を左に振ったと認識され、4.4秒から5.0秒にかけて首振りらしさが下限閾値以下となり、運転者が首を右に振ったと認識される。

以上のように、ユーザ（運転者）の意思を示す動作を簡単かつ正確に認識することができ、その結果、ユーザの意思を簡単かつ確実に認識することができる。また、ユーザはうなずくか首を横に振るといったごく自然な動作を行うだけでよく、ユーザに負担を与えないようにすることができる。また、ユーザは、所定の方向に視線や顔を向けたり、手屋芦などを動かしたりする必要がないため、自動車の運転などの作業を継続したまま、意思確認装置１に対して意思を表示することができる。

なお、ここで、うなずきおよび首振りを認識する他の方法の例について説明する。

図１７に示されるように、上下方向の顔の向きと顔の向きに対する視線の向きの組み合わせにより、顔が上を向き、かつ、顔の向きに対して視線が下を向いている状態ＳＶ１、顔が上を向き、かつ、顔の向きと視線の向きがほぼ同じ状態ＳＶ２、顔が上を向き、かつ、顔の向きに対して視線が上を向いている状態ＳＶ３、顔がほぼ水平方向を向き、かつ、顔の向きに対して視線が下を向いている状態ＳＶ４、顔がほぼ水平方向を向き、かつ、顔の向きと視線の向きがほぼ同じ状態ＳＶ５、顔がほぼ水平方向を向き、かつ、顔の向きに対して視線が上を向いている状態ＳＶ６、顔が下を向き、かつ、顔の向きに対して視線が下を向いている状態ＳＶ７、顔が下を向き、かつ、顔の向きと視線の向きがほぼ同じ状態ＳＶ８、および、顔が下を向き、かつ、顔の向きに対して視線が上を向いている状態ＳＶ９の９つの状態が存在する。

上述したように、人がうなずくとき、顔が下を向き、顔の向きに対して視線が上を向く傾向があるので、人が状態ＳＶ９であることを検知した時点で、うなずいたと認識する方法が考えられる。この方法は、図３などを参照して上述した方法と比べて、精度は高くないが、より迅速に人がうなずくのを認識することができる。

同様に、図１８に示されるように、左右方向の顔の向きと顔の向きに対する視線の向きの組み合わせにより、顔が右を向き、かつ、顔の向きに対して視線が左を向いている状態ＳＨ１、顔が右を向き、かつ、顔の向きと視線の向きがほぼ同じ状態ＳＨ２、顔が右を向き、かつ、顔の向きに対して視線が右を向いている状態ＳＨ３、顔がほぼ正面方向を向き、かつ、顔の向きに対して視線が左を向いている状態ＳＨ４、顔がほぼ正面方向を向き、かつ、顔の向きと視線の向きがほぼ同じ状態ＳＨ５、顔がほぼ正面方向を向き、かつ、顔の向きに対して視線が右を向いている状態ＳＨ６、顔が左を向き、かつ、顔の向きに対して視線が左を向いている状態ＳＨ７、顔が左を向き、かつ、顔の向きと視線の向きがほぼ同じ状態ＳＨ８、および、顔が左を向き、かつ、顔の向きに対して視線が右を向いている状態ＳＨ９の９つの状態が存在する。

上述したように、人が首を横に振るとき、顔が左または右を向き、左右方向において顔の向きに対して視線が逆方向を向く傾向があるので、人が状態ＳＨ１であることを検知した時点で、首を右に振ったと認識し、人が状態ＳＨ９であることを検知した時点で、首を左に振ったと認識する方法が考えられる。この方法は、図１０などを参照して上述した方法と比べて、精度は高くないが、より迅速に人が首を横に振るのを認識することができる。

また、うなずきらしさを、上述した算出方法の代わりに、以下の式（３）および（４）により算出するとともに、うなずきらしさが所定の閾値以上となり、かつ、顔の左または右方向の向きが基準方向から所定の角度（例えば、５度）未満である場合、うなずいたと認識する方法が考えられる。

うなずきらしさ＝顔の向きに対する上下方向の視線の向き×（−１×上下方向の顔の向き） （上下方向の顔の向き＜０） ・・・（３）

うなずきらしさ＝０ （上下方向の顔の向き≧０） ・・・（４）

この場合、図８に示されるグラフと同じ座標軸を持つ図１９のグラフにおいて、斜線で示される曲線を境界とする領域が、うなずきらしさが所定の閾値以上となる領域である。

同様に、首振りらしさを、上述した算出方法の代わりに、以下の式（５）により算出し、首振りらしさが所定の閾値以下となり、かつ、顔の上または下方向の向きが基準方向から所定の角度（例えば、５度）未満である場合、首を横に振ったと認識する方法が考えられる。

首振りらしさ＝顔の向きに対する左右方向の視線の向き×（左右方向の顔の向き）
・・・（５）

この場合、図１５に示されるグラフと同じ座標軸を持つ図２０のグラフにおいて、双曲線を境界とする網掛けで示される領域Ｒと斜線で示される領域Ｌが、首振りらしさが所定の閾値以下となる領域である。また、領域Ｒが首を右に振った場合に対応する領域であり、領域Ｌが首を左に振った場合に対応する領域である。

さらに、図２１に示されるように、図８に示されるグラフと同じ座標軸を持つグラフを複数の領域に分割し、分割した領域ごとにうなずきらしさの値を割り当てる。そして、検知した顔の上下方向の向きと、顔の向きに対する上下方向の視線の向きとの組み合わせが属する領域に対応するうなずきらしさが所定の閾値以上であり、かつ、顔の左または右方向の向きが基準方向から所定の角度（例えば、５度）未満である場合、うなずいたと認識する方法が考えられる。

同様に、図２２に示されるように、図１５に示されるグラフと同じ座標軸を持つグラフを複数の領域に分割し、分割した領域ごとに首振りらしさの値を割り当てる。そして、検知した顔の左右方向の向きと、顔の向きに対する左右方向の視線の向きとの組み合わせが属する領域に対応する首振りらしさが所定の閾値以上であり、かつ、顔の上または下方向の向きが基準方向から所定の角度（例えば、５度）未満である場合、首を横に振ったと認識する方法が考えられる。

また、以上の説明では、うなずいたと判定される状態（以下、うなずき状態と称する）が検知された場合に、人がうなずいたと認識する例を示したが、うなずいていないと判定される状態（以下、非うなずき状態と称する）からうなずき状態への遷移が検知された場合、または、うなずき状態から非うなずき状態への遷移が検知された場合に、うなずいたと認識するようにしてもよい。さらに、所定の時間内に、所定の第１の回数以上うなずき状態から非うなずき状態への遷移を行い、かつ、所定の第２の回数以上非うなずき状態からうなずき状態への遷移を行ったことが検知された場合、すなわち、人がうなずく動作を繰返すのを検知した場合、うなずいたと認識するようにしてもよい。

また、以上の説明では、首を左右に１回ずつ振った状態を検知した場合、首を横に振ったと認識する例を示したが、首を左右どちらにも振っていないと判定される状態（以下、非首振り状態と称する）から首を右に振っていると判定される状態（以下、右首振り状態と称する）または首を左に振っていると判定される状態（以下、左首振り状態と称する）への遷移が検知された場合、または、右首振り状態または左首振り状態から非首振り状態への遷移が検知された場合、首を横に振ったと認識するようにしてもよい。さらに、所定の時間内に、所定の第１の回数以上非首振り状態から右首振り状態への遷移が検知され、かつ、所定の第２の回数以上非首振り状態から左首振り状態への遷移が検知された場合、すなわち、人が左右に首を振る動作を繰返すのを検知した場合、首を横に振ったと認識するようにしてもよい。

以上のように、第１の通信装置により、第１の表現方法、および、第１の表現方法と関連する第２の表現方法を設定し、通信を確立した第２の通信装置に、第２の表現方法を示すデータを送信し、第１の通信装置と第２の通信装置との間の通信が確立したことを、第２の通信装置が第２の表現方法で表すのに対応して、第１の表現方法で表し、第２の通信装置により、第１の通信装置から送信されてくる、第２の表現方法を示すデータを受信し、第１の通信装置と第２の通信装置との間の通信が確立したことを、第１の通信装置が第１の表現方法で表すのに対応して、第２の表現方法で表す場合には、他の通信装置との通信が確立したことを知ることができる。また、簡単に通信相手を特定することができ、簡単かつ確実に安全な通信を行うことができる。

なお、以上の説明では、ユーザの意思表示を促すときに、音声によるメッセージを出力する例を示したが、それ以外にも、例えば、ビープ音を鳴動したり、文字や記号を表示装置に表示させたり、ランプを点滅したりするようにしてもよい。

なお、本発明は、上述した車載用の装置以外にも、ユーザの意思を確認して処理を行う各種の装置、例えば、パーソナルコンピュータ、携帯電話機、PDA(Personal Digital Assistant)、PC（Personal Computer）、AV（Audio Visual）機器、各種の電気製品、自動販売機などに適用することが可能である。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）９０１は、ROM（Read Only Memory）９０２、または記録部９０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）９０３には、CPU９０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU９０１、ROM９０２、およびRAM９０３は、バス９０４により相互に接続されている。

CPU９０１にはまた、バス９０４を介して入出力インターフェース９０５が接続されている。入出力インターフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。CPU９０１は、入力部９０６から入力される指令に対応して各種の処理を実行する。そして、CPU９０１は、処理の結果を出力部９０７に出力する。

入出力インターフェース９０５に接続されている記録部９０８は、例えばハードディスクからなり、CPU９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

また、通信部９０９を介してプログラムを取得し、記録部９０８に記憶してもよい。

入出力インターフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部９０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２３に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９１１、または、プログラムが一時的もしくは永続的に格納されるROM９０２や、記録部９０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部９０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した意思確認装置の一実施の形態を示すブロック図である。 図１の意思確認装置の意思確認処理を説明するためのフローチャートである。 図２のステップＳ４のうなずき認識処理の詳細を説明するためのフローチャートである。 人が正面を向いている場合の顔の向きと視線の向きを模式的に示した図である。 図４に示される状態における人の眼の状態を模式的に示した図である。 人がうなずいている場合の顔の向きと視線の向きを模式的に示した図である。 図６に示される状態における人の眼の状態を模式的に示した図である。 うなずきらしさが閾値以上となる状態を説明するためのグラフである。 運転者がうなずいたことを認識する例を説明するためのグラフである。 図２のステップＳ５の首振り認識処理の詳細を説明するためのフローチャートである。 人が正面を向いている場合の顔の向きと視線の向きを模式的に示した図である。 図１１に示される状態における人の眼の状態を模式的に示した図である。 人が首を横に振っている場合の顔の向きと視線の向きを模式的に示した図である。 図１３に示される状態における人の眼の状態を模式的に示した図である。 首振りらしさが上限閾値以上または下限閾値以下となる状態を説明するためのグラフである。 運転者が首を横に振ったことを認識する例を説明するためのグラフである。 うなずいたことを認識する他の方法を説明するための図である。 首を横に振ったことを認識する他の方法を説明するための図である。 うなずいたことを認識するさらに他の方法を説明するための図である。 首を横に振ったことを認識するさらに他の方法を説明するための図である。 うなずいたことを認識するさらに他の方法を説明するための図である。 首を横に振ったことを認識するさらに他の方法を説明するための図である。 パーソナルコンピュータの構成の例を示すブロック図である。

符号の説明

１ 意思確認装置
１１ 音声出力部
１３ カメラ
１４ 顔方向検知部（顔方向検知手段）
１５ 視線方向検知部（視線方向検知手段）
１６ 動作認識部（動作認識手段）
１７ 意思認識部（意思認識手段）
２１ うなずき認識部
２２ 首振り認識部
９０１ CPU
９０２ ROM
９０３ RAM
９０８ 記録部
９１０ ドライブ
９１１ リムーバブルメディア

Claims (13)

1. ユーザの顔の向きを検知する顔方向検知手段と、
   前記ユーザの視線の向きを検知する視線方向検知手段と、
   前記顔の向きと前記視線の向きの違いに基づいて、前記ユーザの意思を示す動作を認識する動作認識手段と
   を含む認識装置。
2. 前記動作認識手段は、前記顔が下方向を向くのに対し、前記視線が前記顔の向きに対して上方向を向く状態である場合、前記ユーザが意思を示すためにうなずいたと認識する
   請求項１に記載の認識装置。
3. 前記動作認識手段は、前記ユーザに意思の表示が促されてから所定の時間内に、前記状態である第１の状態とは異なる第２の状態から前記第１の状態への第１の遷移、または、前記第１の状態から前記第２の状態への第２の遷移を行った場合、前記ユーザが意思を示すためにうなずいたと認識する
   請求項２に記載の認識装置。
4. 前記動作認識手段は、前記所定の時間内に、所定の第１の回数以上前記第１の遷移を行い、かつ、所定の第２の回数以上前記第２の遷移を行った場合、前記ユーザが意思を示すためにうなずいたと認識する
   請求項３に記載の認識装置。
5. 前記動作認識手段は、前記所定の時間内に、前記顔が所定の方向から所定の第１の角度以上下方向を向き、かつ、前記顔の向きに対して前記視線が所定の第２の角度以上上方向を向き、かつ、前記顔が前記所定の方向から下方向に向いた角度と前記視線が前記顔の向きに対して上方向に向いた角度の和が所定の閾値以上となり、かつ、前記顔の左または右方向の向きが前記所定の方向から所定の第３の角度未満である第１の状態である場合、前記ユーザが意思を示すためにうなずいたと認識する
   請求項２に記載の認識装置。
6. 前記動作認識手段は、前記顔が右方向を向くのに対し、前記視線が前記顔の向きに対して左方向を向く第１の状態、または、前記顔が左方向を向くのに対し、前記視線が前記顔の向きに対して右方向を向く第２の状態である場合、前記ユーザが意思を示すために首を横に振ったと認識する
   請求項１に記載の認識装置。
7. 前記動作認識手段は、前記ユーザに意思の表示が促されてから所定の時間内に、前記第１の状態および前記第２の状態とは異なる第３の状態から前記第１の状態への第１の遷移、前記第３の状態から前記第２の状態への第２の遷移、前記第１の状態から前記第３の状態への第３の遷移、または、前記第２の状態から前記第３の状態への第４の遷移を行った場合、前記ユーザが意思を示すために首を横に振ったと認識する
   請求項６に記載の認識装置。
8. 前記動作認識手段は、前記所定の時間内に、所定の第１の回数以上前記第１の遷移を行い、かつ、所定の第２の回数以上前記第２の遷移を行った場合、前記ユーザが意思を示すために首を横に振ったと認識する
   請求項７に記載の認識装置。
9. 前記動作認識手段は、前記所定の時間内に、前記顔が所定の方向から所定の第１の角度以上右方向を向き、かつ、前記視線が前記顔の向きに対して所定の第２の角度以上左方向を向き、かつ、前記顔が前記所定の方向から右方向に向いた角度と前記視線が前記顔の向きに対して左方向に向いた角度の和が所定の閾値以上となり、かつ、前記顔の上または下方向の向きが前記所定の方向から所定の第３の角度未満である第３の状態である場合、または、前記顔が前記所定の方向から前記第１の角度以上左方向を向き、かつ、前記視線が前記顔の向きに対して前記第２の角度以上右方向を向き、かつ、前記顔が前記所定の方向から左方向に向いた角度と前記視線が前記顔の向きに対して右方向に向いた角度の和が前記閾値以上となり、かつ、前記顔の上または下方向の向きが前記所定の方向から所定の第３の角度未満である第４の状態である場合、前記ユーザが意思を示すために首を横に振ったと認識する
   請求項６に記載の認識装置。
10. 前記動作認識手段により認識された前記ユーザの意思を示す動作に基づいて、前記ユーザの意思を認識する意思認識手段を
    さらに含む請求項１に記載の認識装置。
11. ユーザの顔の向きを検知し、
    前記ユーザの視線の向きを検知し、
    前記顔の向きと前記視線の向きの違いに基づいて、前記ユーザの意思を示す動作を認識する
    ステップを含む認識方法。
12. ユーザの顔の向きを検知する顔方向検知ステップと、
    前記ユーザの視線の向きを検知する視線方向検知ステップと、
    前記顔の向きと前記視線の向きの違いに基づいて、前記ユーザの意思を示す動作を認識する動作認識ステップと
    を含む処理をコンピュータに実行させるプログラム。
13. 請求項１２に記載のプログラムが記録されている記録媒体。

Images