JP2006350705A - 情報提供装置および方法並びにプログラム - Google Patents

Abstract

【課題】 文字等の各種情報を提供する際に、利用者が各種情報を理解できるような補助機能を自動的に提供する。
【解決手段】 抽出部４が、撮影部３が装置周辺の場景を撮影して得た画像から装置の利用者の顔を抽出し、検出部５が利用者の顔の動き、視線および表情のうち少なくとも１つを検出する。補助要否判断部６が、検出部５による検出結果に基づいて、利用者に対し情報の理解に必要な補助機能を提供することの要否を判断する。そして、補助要否判断部６の判断結果に基づいて、補助機能提供部７が補助機能を提供する。
【選択図】 図１

Description

本発明は、文字や音声等により情報を提供する情報提供装置および方法、並びに情報提供方法をコンピュータに実行させるためのプログラムに関するものである。

人物の外観からその者の能力を自動判定して補助機能を働かせる装置やシステムが知られている。例えば、コンピュータの操作を行う操作者の目、口等の顔器官部分の動きからマウスポインタの位置座標を算出し、マウスポインタをその位置座標に移動させるシステム（特許文献１参照）、表示面を視認している操作者の視線の方向を特定して、その方向を表示手段上の座標位置に変換し、所定時間以上座標が変化しなければ、その座標を含む所定領域を拡大表示する手法（特許文献２参照）が提案されている。また、発話者の凝視方向（頭の向きと目の向き）、体位（前傾等）、ジェスチャー、表情、発話速度、イントネーション、声の強度等から発話者の情緒状態や性格を判断して応対する会話シミュレータ装置も提案されている（特許文献３参照）。
特開２００２−３２３９５６号公報 特開平６−４３８５１号公報 特表２００４-５１３４４５号公報

ところで、駅の切符自動販売機のように画面に文字を表示して、切符の購入方法を案内するようなシステムにおいては、表示が日本語である場合に、利用者が日本人であれば表示された文字を読むことができるため問題なく切符を購入できる。しかしながら、利用者が日本語を理解できない外国人の場合、表示された文字を読むことができないため切符を購入することができない。

本発明は、上記事情に鑑みなされたものであり、文字等の各種情報を提供する際に、利用者が各種情報の理解に必要な補助機能を自動的に提供することを目的とする。

本発明による情報提供装置は、切符等の自動販売機や、博物館等に設置された案内装置等、文字や音声等により各種情報を提供する情報提供装置において、
装置周辺の場景を撮影して得た画像から、装置の利用者の顔を抽出する抽出手段と、
前記抽出した利用者の顔の動き、視線および表情の少なくとも１つを検出する検出手段と、
該検出手段による検出結果に基づいて、前記利用者に対し前記情報の理解に必要な補助機能を提供することの要否を判断する補助要否判断手段と、
該補助要否判断手段の判断結果に基づいて、前記補助機能を提供する補助機能提供手段とを備えたことを特徴とするものである。

なお、本発明による情報提供装置においては、前記各種情報の提供を、所定の言語の表示によるものとし、
前記補助機能提供手段を、前記判断結果に基づいて前記所定の言語を変更することにより前記補助機能を提供する手段としてもよい。

本発明による情報提供方法は、各種情報を提供する情報提供装置における情報提供方法において、
装置周辺の場景を撮影して得た画像から、装置の利用者の顔を抽出し、
前記抽出した利用者の顔の動き、視線および表情の少なくとも１つを検出し、
該検出結果に基づいて、前記利用者に対し前記情報の理解に必要な補助機能を提供することの要否を判断し、
該判断結果に基づいて、前記補助機能を提供することを特徴とするものである。

なお、本発明による情報提供方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、装置周辺の情景を撮影して得た画像から、装置の利用者の顔が抽出され、抽出された利用者の顔の動き、視線および表情の少なくとも１つが検出される。そしてこの検出結果に基づいて、その利用者に対して情報の理解に必要な補助機能を提供することの要否が判断され、判断結果に基づいて補助機能が提供される。したがって、装置の利用者が情報を理解できなくて、困った表情をしたり、首を横に振ったりしているような場合に、その利用者が情報を理解できるような補助機能を自動で提供することができる。したがって、利用者は装置が提供する情報を理解できることとなる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による情報提供装置を適用した切符自動販売機の構成を示す概略ブロックである。図１に示すように本実施形態による切符自動販売機は、切符販売の機能を有する切符販売部１と、切符販売に必要な各種表示を行う表示部２と、切符自動販売機の利用者の撮影を行う撮影部３と、撮影部３が撮影により取得した画像から利用者を抽出する抽出部４と、抽出した利用者の動き、視線および表情を検出する検出部５と、検出部５による検出結果に基づいて、利用者に対して補助機能を提供することの要否を判断する補助要否判断部６と、補助要否判断部６の判断結果に基づいて、補助機能を提供する補助機能提供部７と、販売機全体の制御を行う制御部８とを備える。

制御部８は、内部にＣＰＵとメモリを備えた制御基板もしくは半導体装置等からなる。制御部８のメモリには補助機能提供プログラムが記憶されており、表示部２への画像の表示の処理、撮影部３による撮影の処理、抽出部４による抽出の処理、検出部５による検出の処理、補助要否判断部６による補助機能提供の要否の判断の処理、および補助機能提供部７による補助機能提供の処理は、この補助機能提供プログラムにより制御される。

切符販売部１は、利用者による料金の投入を受ける機能、利用者が所望する切符の種類の入力を受け付ける機能、切符を発行する機能、および釣り銭を支払う機能等、切符を購入するのに必要な各種機能を提供する。

表示部２は、例えば液晶モニタからなり、制御部８の制御により切符の販売に必要な表示を行う。図２は表示部２に表示される表示画面の例を示す図である。図２に示すように、表示画面２０には、「行き先ボタンを押してください」の案内文を表示する案内文エリア２０Ａおよび行き先と料金とが記載された複数のボタンを表示するボタンエリア２０Ｂが表示される。なお、ボタンエリア２０Ｂには「次頁」のボタンが表示されており、利用者がこれに触れることにより、現在表示されている駅以外の他の駅の行き先ボタンをボタンエリア２０Ｂに表示できる。

撮影部３は、撮影レンズ、ＣＣＤおよびＡ／Ｄ変換器等を備え、販売機周辺の場景を撮影して、デジタルの動画像データＳ０を取得する。なお、撮影部３は表示部２を操作している利用者の顔を撮影可能なように、表示部２の表示画面と同一の方向を向くように販売機に設置されている。

抽出部４は、撮影部３が取得した画像データＳ０により表される画像（以下、画像についても同一の参照符号を用いる）Ｓ０から、利用者の顔画像Ｓｆ０を抽出する。顔画像Ｓｆ０を抽出する手法としては、画像Ｓ０における肌色を有する領域を検出し、検出した肌色領域を含む所定範囲の領域を顔画像Ｓｆ０として抽出する手法、顔に含まれる目、鼻および口等の特徴に基づいて顔を検出し、検出した顔を含む所定範囲の領域を顔画像Ｓｆ０として抽出する手法等、公知の任意の手法を用いることができる。これにより、例えば図３に示すように、利用者の顔画像Ｓｆ０が画像Ｓ０から抽出される。

なお、画像Ｓ０は動画像であるため、抽出部４は動画像を構成するすべてのフレームから所定時間間隔にてフレームを抽出し、抽出したフレームに対して顔画像Ｓｆ０を抽出する処理を行う。

検出部５は、抽出した顔画像Ｓｆ０を用いて、利用者の動き、視線および表情を検出する。まず、顔の動きの検出について説明する。

検出部５は、図４に示すように、顔画像Ｓｆ０に含まれる両目の目尻および鼻の頭の位置を検出して、顔画像Ｓｆ０上に逆三角形を設定する。そしてこの逆三角形の形状および形状の変化に基づいて、顔の動きを検出する。例えば、図４に示す逆三角形の頂角αを、顔が正面を向いている状態と横を向いている状態とを分別すべく設定されたしきい値Ｔｈ１と比較し、頂角αがしきい値Ｔｈ１以上の場合には正面を向き、頂角αがしきい値Ｔｈ１未満の場合には横を向いていると判断する。そして、この判断を行ってから、顔が移動しているか否かを分別すべく設定された時間ｔ１後のフレームから抽出した顔画像Ｓｆ０に設定した逆三角形を用いて、再度頂角αとしきい値Ｔｈ１との比較を行い、正面を向いていると判断された後にさらに正面を向いていると判断した場合には、利用者の顔は正面を向いて静止していると判断する。また、横を向いていると判断された後にさらに横を向いていると判断した場合には、利用者の顔は横を向いて静止していると判断する。さらに、正面を向いていると判断された後に横を向いていると判断した場合、および横を向いていると判断された後に正面を向いていると判断した場合には、利用者は首を振っていると判断する。

また、逆三角形の底辺Ｌ０が水平状態で静止してるか、傾いているかを判断して、利用者の顔が傾いているか否かを検出する。

なお、画像Ｓ０は動画像であるため、時間的に隣接するフレームから抽出された顔画像Ｓｆ０から顔の動きを表す特徴ベクトルを抽出し、特徴ベクトルを入力として、利用者の顔の動きを示す情報（正面を向いて静止している、横を向いて静止している、首を振っている、傾いている等）を出力するための、あらかじめ学習がなされたニューラルネットワークを用いて、利用者の顔の動きを検出してもよい。

次いで、視線の検出について説明する。検出部５は顔画像Ｓｆ０から利用者の目および瞳を検出し、さらに瞳の動きを検出する。画像Ｓ０は動画像であるため、時間的に隣接するフレームから抽出された顔画像Ｓｆ０から検出した瞳の動きを表す特徴ベクトルを抽出し、特徴ベクトルを入力として、瞳の動きを示す情報（正面を向いて静止している、横を向いて静止してる、きょろきょろしている、一定速度で横方向に移動している等）を出力するための、あらかじめ学習がなされたニューラルネットワークを用いて、視線を検出する。なお、一定速度で横方向に移動していることが検出された場合、利用者は表示部２に表示された文字を読んでいると推定できる。

次いで、表情の検出について説明する。検出部５は顔画像Ｓｆ０から利用者の目を検出し、目を開けているか、閉じているか、薄目を開けているかを判断する。そして、目の開閉の状態を表す情報および上述した視線の動きを表す情報を入力として、表情を示す情報（困っている、悩んでいる、通常の表情等）を出力するための、あらかじめ学習がなされたニューラルネットワークを用いて、表情を検出する。

以上のように検出部５は、利用者の顔の動き、視線および表情を検出し、顔の動き、視線および表情の情報を出力する。

補助要否判断部６は、顔の動き、視線および表情の情報に基づいて、利用者が表示部２の表示の理解に必要な補助機能を提供することの要否を判断する。ここで、顔の動きが正面を向いて静止しており、視線が一定速度で横に移動しており、かつ通常の表情であれば、利用者は表示部２に表示された文字を読んでいると判断できる。一方、顔が正面を向いているものの視線が表示部２から外れており、かつ困った表情をしていれば、利用者は表示部２に表示された文字が読めていないと判断できる。また、視線の動きが遅ければ文字を読む速度が遅いため、表示部２に表示された文字を読むことが困難であると判断できる。

補助要否判断部６は、顔の動き、視線および表情の情報に基づいて、文字が読めているか否かを表す情報を算出する評価関数を記憶しており、この評価関数を用いて算出した情報に基づいて、利用者が文字を読めているか否かを判断する。なお、顔の動き、視線および表情の情報を入力とし、文字が読めているか否かを出力とするニューラルネットワークを記憶しておき、ニューラルネットワークの出力に基づいて、利用者が文字を読めているか否かを判断してもよい。そして、補助要否判断部６は、利用者が文字を読めていると判断した場合には補助機能の提供は不要であると判断し、利用者が文字を読めていないと判断した場合には補助機能の提供は必要であると判断する。

補助機能提供部７は、補助要否判断部６の判断結果に基づいて補助機能を提供する。具体的には、補助機能の提供が必要であると補助要否判断部６が判定した場合に、表示部２に表示されている文字の言語を、図２に示す日本語から図５に示すように英語に切り替える。

次いで、本実施形態による切符自動販売機において行われる補助機能提供処理の動作について説明する。図６は補助機能提供処理の動作を示すフローチャートである。なお、本実施形態による切符自動販売機においては、表示部２には図２に示す表示画面２０が初期画面として表示されているものとする。

撮影部３が利用者を撮影して画像Ｓ０を取得することにより制御部８が処理を開始し、抽出部３が画像Ｓ０から顔画像Ｓｆ０を抽出する（ステップＳＴ１）。そして、検出部４が抽出した顔画像Ｓｆ０を用いて、利用者の動き、視線および表情を検出する（ステップＳＴ２）。さらに補助要否判断部６が、顔の動き、視線および表情の情報に基づいて、利用者が表示部２の表示の理解に必要な補助機能を提供することの要否を判断する（ステップＳＴ３）。

補助機能の提供が必要でありステップＳＴ３が肯定されると、補助機能提供部７が表示部２に表示された表示画面２０の言語を英語に切り替え（ステップＳＴ４）、処理を終了する。補助機能の提供が不要でありステップＳＴ３が否定されると処理を終了する。

このように、本実施形態においては、利用者が表示部２に表示された文字による情報を理解できなくて、困った表情をしたり、首を横に振ったりしているような場合に、その利用者が情報を理解できるような補助機能、すなわち言語の切り替えを自動で提供することができる。したがって、利用者は表示部２に表示された情報を理解できることとなる。

なお、上記実施形態においては、本実施形態による情報提供装置を切符自動販売機に適用しているが、文字の表示により情報を提供する他の自動販売機および博物館等の案内装置等、情報を提供する各種装置に本発明の情報提供装置を適用できることはもちろんである。

また、上記実施形態においては、利用者の顔の動き、視線および表情のすべてを用いて補助機能の提供の要否を判断しているが、利用者の顔の動き、視線および表情の少なくとも１つを用いて補助機能の提供の要否を判断してもよい。

また、上記実施形態においては、利用者の顔の動き、視線および表情の検出、さらには補助機能の提供の要否の判断にニューラルネットワークを用いているが、マシンラーニングの手法による学習結果を用いるのであれば、ニューラルネットワークに限定されるものではない。

また、上記実施形態においては、情報を文字として提供しているが、音声により情報を提供する場合であっても、使用する音声の言語を切り替えるように補助機能を提供できることはもちろんである。なお、音声および文字の双方により情報を提供する場合にも、使用する音声および文字の言語を切り替えるように補助機能を提供できる。

また、上記実施形態においては、表示する言語を切り替えているが、図７に示すように表示画面２０に追加の案内エリア２０Ｃを表示し、ここに英語の案内文を表示するようにしてもよい。

以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の抽出部４、検出部５、補助要否判断部６および補助機能提供部７に対応する手段として機能させ、図６に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。

本発明の実施形態による情報提供装置を適用した切符自動販売機の構成を示す概略ブロック 表示部に表示される表示画面の例を示す図（日本語） 顔画像の抽出を説明するための図 顔画像への逆三角形の設定を説明するための図 表示部に表示される表示画面の例を示す図（英語） 補助機能提供処理の動作を示すフローチャート 表示部に表示される表示画面の例を示す図（日本語および英語）

符号の説明

１ 切符販売部
２ 表示部
３ 撮影部
４ 抽出部
５ 検出部
６ 補助要否判断部
７ 補助機能提供部
８ 制御部

Claims (4)

1. 各種情報を提供する情報提供装置において、
   装置周辺の場景を撮影して得た画像から、装置の利用者の顔を抽出する抽出手段と、
   前記抽出した利用者の顔の動き、視線および表情の少なくとも１つを検出する検出手段と、
   該検出手段による検出結果に基づいて、前記利用者に対し前記情報の理解に必要な補助機能を提供することの要否を判断する補助要否判断手段と、
   該補助要否判断手段の判断結果に基づいて、前記補助機能を提供する補助機能提供手段とを備えたことを特徴とする情報提供装置。
2. 前記各種情報の提供が、所定の言語の表示によるものであり、
   前記補助機能提供手段が、前記判断結果に基づいて前記所定の言語を変更することにより前記補助機能を提供する手段であることを特徴とする請求項１記載の情報提供装置。
3. 各種情報を提供する情報提供装置における情報提供方法において、
   装置周辺の場景を撮影して得た画像から、装置の利用者の顔を抽出し、
   前記抽出した利用者の顔の動き、視線および表情の少なくとも１つを検出し、
   該検出結果に基づいて、前記利用者に対し前記情報の理解に必要な補助機能を提供することの要否を判断し、
   該判断結果に基づいて、前記補助機能を提供することを特徴とする情報提供方法。
4. 各種情報を提供する情報提供装置における情報提供方法をコンピュータに実行させるためのプログラムにおいて、
   装置周辺の場景を撮影して得た画像から、装置の利用者の顔を抽出する手順と、
   前記抽出した利用者の顔の動き、視線および表情の少なくとも１つを検出する手順と、
   該検出結果に基づいて、前記利用者に対し前記情報の理解に必要な補助機能を提供することの要否を判断する手順と、
   該判断結果に基づいて、前記補助機能を提供する手順とを有することを特徴とするプログラム。

Images