JP2008257363A

JP2008257363A - 操作支援装置

Info

Publication number: JP2008257363A
Application number: JP2007096923A
Authority: JP
Inventors: Shinji Sugiyama; 真治杉山; Hirokazu Kadoki; 寛和角木
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2007-04-02
Filing date: 2007-04-02
Publication date: 2008-10-23

Abstract

【課題】多数の操作対象が存在する環境においても、各操作対象に対応した適切な操作支援を適切なタイミングで出力する操作支援装置を提供すること。
【解決手段】操作支援装置１００は、操作者が操作する操作対象を検知する操作対象検知手段１２と、操作対象検知手段１２による操作対象の検知に応じたその操作対象に関する操作支援情報の出力を許可する対話モードとその操作支援情報の出力を禁止する待機モードとを切り替えるモード切り替え手段１５と、操作者の迷いの有無を判定する迷い判定手段１４と、を備え、モード切り替え手段１５は、迷い判定手段１４により迷いがあると判定された場合に、待機モードを対話モードに切り替える。
【選択図】図１

Description

本発明は、多数の操作対象が存在する環境において、各操作対象に対する操作を支援する操作支援装置に関し、特に、適切な支援を適切なタイミングで提供する操作支援装置に関する。

従来、適切なヘルプ情報を適切なタイミングで出力する無人端末装置が知られている（例えば、特許文献１参照。）。

この無人端末装置は、キャッシュディスペンサーや対話型情報案内装置等であって、利用者の視線や表情に基づいて利用者が入力操作に迷っているか否かを判断し、利用者が迷っていると判断した時点における無人端末装置の処理状況に応じてヘルプ情報を選択し、選択したヘルプ情報を出力するようにする。
特開平８−３２８７１５号公報

しかしながら、特許文献１に記載の無人端末装置が有するヘルプ情報出力機能は、入出金処理に特化したキャッシュディスペンサーで利用する場合であれば適切なヘルプ情報を適切なタイミングで出力することができるが、エアコン、ＡＶ(Audio-Visual)機器又はナビゲーション装置等の多数の操作対象を備えた車室内環境で利用する場合には利用者がどの操作に迷っているのかを特定することができず、適切なヘルプ情報を出力できない場合がある。

上述の点に鑑み、本発明は、多数の操作対象が存在する環境においても、各操作対象に対応した適切な操作支援を適切なタイミングで出力する操作支援装置を提供することを目的とする。

上述の目的を達成するために、第一の発明に係る操作支援装置は、操作者が操作する操作対象を検知する操作対象検知手段と、前記操作対象検知手段による操作対象の検知に応じた該操作対象に関する操作支援情報の出力を許可する対話モードと該操作支援情報の出力を禁止する待機モードとを切り替えるモード切り替え手段と、操作者の迷いの有無を判定する迷い判定手段と、を備え、前記モード切り替え手段は、前記迷い判定手段により迷いがあると判定された場合に、前記待機モードを前記対話モードに切り替えることを特徴とする。

また、第二の発明は、第一の発明に係る操作支援装置であって、前記操作対象検知手段は、操作者の手指の動き、視線方向、若しくは、発話内容、又は、操作者が触れた入力手段からの出力のうちの少なくとも一つに基づいて操作対象を検知することを特徴とする。

また、第三の発明は、第一又は第二の発明に係る操作支援装置であって、前記迷い判定手段は、操作者の表情、手指の動き、視線方向、又は、発話内容のうちの少なくとも一つに基づいて操作者の迷いの有無を判定することを特徴とする。

また、第四の発明は、第一乃至第三の何れかの発明に係る操作支援装置であって、前記操作支援情報を対話形式で出力する操作支援情報出力制御手段を更に備えることを特徴とする。

上述の手段により、本発明は、多数の操作対象が存在する環境においても、各操作対象に対応した適切な操作支援を適切なタイミングで出力する操作支援装置を提供することができる。

以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。

図１は、本発明に係る操作支援装置の構成例を示すブロック図であり、操作支援装置１００は、多数の車載装置に対する操作を支援する装置であって、制御部１、監視装置２、音声入力装置３、車載装置４、記憶部５、音声出力装置６及び表示装置７から構成される。

制御部１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）等を備えたコンピュータであって、例えば、挙動認識手段１０、発話認識手段１１、操作対象検知手段１２、表情推定手段１３、迷い判定手段１４、モード切り替え手段１５及び操作支援情報出力制御手段１６のそれぞれに対応するプログラムをＲＯＭに記憶しながら、各手段に対応する処理をＣＰＵに実行させる。

監視装置２は、操作者の挙動を監視するための装置であり、例えば、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)カメラ、サーモグラフィ等の画像センサであって、運転席に搭乗する操作者の顔が撮像できるようルームミラー周辺やダッシュボード上に取り付けられ、撮像した画像データを制御部１に出力する。

また、監視装置２は、運転席に搭乗する操作者の体の動きを撮像できるよう車室内天井の中央部や助手席の天井に取り付けられてもよい。

また、監視装置２は、ＡＶ機器やエアコン等の車載装置４の操作ボタン、操作スイッチ、操作ダイアル、操作ツマミ、操作レバー等（以下、「入力手段」とする。）が配置されたコントロールパネル付近に設定される静電容量式接触センサや超音波式接近センサ等であってもよい。この場合、監視装置２は、操作者の手指が各種入力手段に接触したり接近したりするのを監視し、接触又は接近を検出した場合にその検出結果を制御部１に出力する。

音声入力装置３は、操作者が発する音声を収集するための装置であり、例えば、マイクロフォンがあって、収集した音声を制御部１に出力する。

車載装置４は、車両に搭載される装置であり、例えば、ＡＶ機器、エアコン、ナビゲーション装置、車間距離制御装置、車線維持制御装置等の電装品であって、各装置の作動状態を示す信号（各車載装置４のどの機能が利用されたかを示す信号である。）を制御部１に出力する。なお、車載装置４は、ボンネットオープナー、フューエルリッドオープナー等の機械部品であってもよい。

記憶部５は、操作支援装置１００が各種演算を実行するために必要な情報を記憶するための装置であり、例えば、ハードディスクやＤＶＤ(Digital Versatile Disk)等の不揮発性記憶媒体であって、顔画像データベース（以下、「ＤＢ」とする。）５０、言語情報ＤＢ５１及び操作支援情報ＤＢ５２等を格納する。また、記憶部５は、制御部１からの問い合わせに応じて各種情報を制御部１に出力する。

顔画像ＤＢ５０は、各感情（喜び、悲しみ、迷い等がある。）に対応付けた操作者の顔画像を登録したデータベースである。

また、言語情報ＤＢ５１は、キーワードやキーフレーズ（以下、「キーワード等」とする。）とそれらキーワード等に対応する概念（例えば、操作者の心情（例えば、キーワード「なんだろう？」は、操作者の心情「迷い」に対応する。）、操作対象（例えば、キーワード「暑い」は、操作対象「エアコン」に対応する。）等がある。）とを関連付けて登録したデータベースである。

また、操作支援情報ＤＢ５２は、各操作対象の操作を支援するための文字情報、動画情報、静止画情報又は音声情報等で構成される操作支援情報を登録したデータベースである。

ここで、「操作対象」とは、操作者が操作しようとする対象であって、例えば、エアコン、ＡＶ機器、ナビゲーション装置、ボンネットオープナー、フューエルリッドオープナー等がある。

音声出力装置６は、音声を出力するための装置であり、例えば、車載スピーカであって、制御部１からの制御信号に基づいて記憶部５の操作支援情報ＤＢ５２に記憶された音声情報を音声出力する。

表示装置７は、各種情報を表示するための装置であり、例えば、液晶ディスプレイ等であって、制御部１からの制御信号に基づいて記憶部５の操作支援情報ＤＢ５２に記憶された文字情報、動画情報、静止画情報等を表示する。

また、表示装置７は、エアコンの温度調整ツマミやＡＶ機器の音量調整ボタン等のそれぞれに取り付けられたＬＥＤ（Light Emitting Diode）であってもよく、制御部１からの制御信号に基づいてそのＬＥＤを発光させたり、点滅させたりする。

次に、制御部１が有する各種手段について説明する。

挙動認識手段１０は、操作者の挙動を認識するための手段であり、例えば、監視装置２が取得した画像データに二値化処理、エッジ検出処理、フィルタ処理等の画像処理を施し、画像処理後の画像データと瞳孔認識等の既存の画像パターン認識アルゴリズムとに基づいて操作者の顔の向きや視線方向を認識したり、操作者の頭、腕、手、指等の動きを認識したりする。

また、挙動認識手段１０は、監視装置２により操作者の手指が所定の入力手段に接触したり接近したりしたことを検知することで、操作者の手指の動きを認識するようにしてもよい。

発話認識手段１１は、操作者の発話内容を認識するための手段であり、例えば、音声入力装置３が収集した操作者の発話から既存の形態素解析技術等を用いてキーワード等を抽出し、抽出したキーワード等と言語情報ＤＢ５１に登録された情報とに基づいて発話内容を認識する。

発話認識手段１１は、例えば、操作者の発話「このボタンはなんだろう」から操作者が所定の操作対象に疑問を持っていることを認識したり、或いは、操作者の発話「給油口の蓋はどうやって開けるのかな」から操作者がフューエルリッドオープナーを操作しようとしていることを認識したりする。

操作対象検知手段１２は、操作者が操作しようとする操作対象を検知するための手段であり、例えば、挙動認識手段１０が認識した操作者の視線方向に基づいてその視線の先にある入力手段に対応する車載装置４を操作対象として検知したり、挙動認識手段１０が認識した操作者の手指の位置に基づいてその手指を接触又は接近させた入力手段（例えば、エアコンの操作スイッチ）に対応する車載装置４（例えば、エアコン）を操作対象として検知したりする。

また、操作対象検知手段１２は、発話認識手段１１が認識した操作者の発話内容に基づいて発話内容に対応する車載装置４を操作対象として検知するようにしてもよく、車載装置４の出力（操作者が闇雲に車載装置４を操作したときの出力を含む。）に基づいてその車載装置４を操作対象として検知するようにしてもよい。

表情推定手段１３は、操作者の表情を推定するための手段であり、例えば、監視装置２がリアルタイムで撮像した操作者の顔画像データと記憶部５の顔画像ＤＢ５０に登録された顔画像データとに基づいて、自己組織化マップ等の既存のニューラルネットワーク技術により操作者の表情（怒り、喜び、迷い等がある。）を推定する。

また、表情推定手段１３は、監視装置２が撮像した操作者の顔画像データから目、鼻、口等の位置を示す特徴点を抽出し、その特徴点の相対位置やその位置の時間的変化に基づいて操作者の表情を推定するようにしてもよい。

迷い判定手段１４は、操作者の迷いの有無を判定するための手段であり、例えば、挙動認識手段１０が認識した操作者の挙動、発話認識手段１１が認識した操作者の発話内容、又は、表情推定手段１３が推定した操作者の表情等に基づいて、操作者が困惑しているか否かを判定する。

迷い判定手段１４は、例えば、挙動認識手段１０により、操作者の視線の先にある操作ボタンが押下されることなく、その視線が所定期間（例えば、５秒間）にわたって留まったことが認識された場合、或いは、操作者の手指が入力手段周辺で所定期間（例えば、５秒間）にわたって留まったことが認識された場合、操作者がその操作ボタンの操作に対し迷いを抱いていると判定する。操作者がその操作ボタンの機能を把握しておらず、その操作ボタンを押下することにためらっているものと推定されるからである。

また、迷い判定手段１４は、挙動認識手段１０により、操作者の視線方向が活発に移動していることが認識された場合（例えば、視線方向の移動角度、平均滞留時間、平均移動速度等を考慮する。）、操作者が迷いを抱いていると判定する。操作者が何れかの車載装置４を操作するために、その入力手段を探しているものと推定されるからである。

また、迷い判定手段１４は、発話認識手段１１により、操作者の発話から抽出したキーワード等に「分からない」、「何だろう」、「どうしよう」等が含まれる場合や、不自然な沈黙が生じた場合（例えば、発話を途中で中断した場合がある。）に、操作者が迷いを抱いているものと判定する。

なお、迷い判定手段１４は、挙動認識手段１０による操作者の挙動の認識結果、発話認識手段１１による発話内容の認識結果、及び、表情推定手段１３の推定結果を組み合わせながら操作者が迷いを抱いているか否かを判定するようにしてもよい。

モード切り替え手段１５は、操作支援装置１００の動作モードを切り替える手段であり、例えば、操作支援情報の出力を許可する対話モードと操作支援情報の出力を禁止する待機モードとを切り替える。

モード切り替え手段１５は、例えば、迷い判定手段１４により操作者に迷いがあると判定された場合に、待機モードを対話モードに切り替えるようにし、また、待機モードを対話モードに切り替えた後、操作対象検知手段１２が所定期間（例えば、１分間）にわたって操作対象を検知しなかった場合、対話モードを待機モードに切り替えるようにする。

仮に対話モードを継続させた場合、操作支援装置１００は、操作者が迷いを抱いていないときにも、操作対象の検知に応じて操作支援情報を逐一出力させることとなり、操作者に煩わしさを感じさせてしまうからである。

また、対話モード切り替え手段１５は、車両が停車している場合に限り待機モードから対話モードへの切り替えを許可するようにしてもよく、車両が走行している場合に待機モードから対話モードへの切り替えを行った場合には、文字情報、動画情報又は静止画情報を用いた操作支援情報の出力を制限し、音声情報のみを操作支援情報として出力させるようにしてもよい。運転を妨げないようにするためである。

操作支援情報出力制御手段１６は、操作支援情報の出力を制御するための手段であり、例えば、対話モードにおいて操作対象検知手段１２が操作対象を検知した場合に、検知した操作対象に関する操作支援情報を出力させ、一方で、待機モードにおいて操作対象検知手段１２が操作対象を検知した場合に、検知した操作対象に関する操作支援情報を出力させないようにする。

操作支援情報出力制御手段１６は、例えば、対話モードにおいて、発話認識手段１１が認識した発話（例えば、「エアコンはどうやって使うの？」）の内容に基づいて操作対象検知手段１２が操作対象（例えば、エアコン）を検知した場合、操作対象に対応する入力手段（例えば、エアコンの操作ボタン）の表面又はその周辺に取り付けられたＬＥＤを点滅させながら、その操作対象に関連する音声情報（例えば、エアコンの操作方法の説明）を音声出力装置６から出力させ、或いは、その操作対象に関連する文字情報、動画情報又は静止画情報を表示装置７に表示させて、その操作対象に対する操作を支援するようにする。

また、操作支援情報出力制御手段１６は、一連の操作支援情報を一括して出力させるようにしてもよいが、車載装置４からの出力に基づいて操作者による操作を確認しながら、対話形式で操作支援情報を一つずつ順番に出力させるようにしてもよい。操作者による操作をより確実に支援するためである。

次に、図２を参照しながら、操作支援装置１００が対話モードと待機モードとを切り替える処理（以下、「モード切り替え処理」とする。）について説明する。なお、図２は、モード切り替え処理の流れを示すフローチャートであり、操作支援装置１００は、周期的（例えば、５秒間隔）にモード切り替え処理を実行するものとする。

最初に、操作支援装置１００は、挙動認識手段１０により、監視装置２を介して運転席にいる運転者の顔画像を取得し（ステップＳ１）、表情推定手段１３により、取得した顔画像と顔画像ＤＢ５０に登録された顔画像とをニューラルネットワークを用いて比較し運転者の表情を推定する（ステップＳ２）。

その後、操作支援装置１００は、迷い判定手段１４により、推定した表情に基づいて操作者に迷いが生じているか否かを判定し（ステップＳ３）、操作者に迷いが生じていると判定した場合（ステップＳ３のＹＥＳ）、モード切り替え手段１５により、操作支援装置１００の動作モードを待機モードから対話モードに切り替えるようにする（ステップＳ４）。

一方、操作者に迷いが生じていないと判定した場合（ステップＳ３のＮＯ）、操作支援装置１００は、操作支援装置１００の動作モードを待機モードから対話モードに切り替えることなく、モード切り替え処理を終了させる。

なお、操作支援装置１００は、操作者に迷いが生じていないと判定した場合であって（ステップＳ３のＮＯ）、操作支援装置１００の動作モードが対話モードになっている場合には、モード切り替え手段１５により、操作支援装置１００の動作モードを対話モードから待機モードに切り替えるようにしてもよい。

以上の構成により、操作支援装置１００は、運転者に迷いが生じていると判定した上で動作モードを対話モードに切り替えるので、不適切なタイミングで操作支援情報を出力して運転者に煩わしさを感じさせてしまうようなことなく、操作支援を適切なタイミングで出力することができる。

次に、図３を参照しながら、操作支援装置１００が操作支援情報を出力させる処理（以下、「操作支援情報出力処理」とする。）について説明する。なお、図３は、操作支援情報出力処理の流れを示すフローチャートであり、操作支援装置１００は、周期的（例えば、５秒間隔）にこの操作支援情報出力処理を実行するものとする。

最初に、操作支援装置１００は、挙動認識手段１０により、監視装置２を介して運転席にいる運転者の顔画像を取得し（ステップＳ１１）、取得した画像に画像処理を施した上で、画像処理後の画像データと瞳孔認識等の既存の画像パターン認識アルゴリズムとに基づいて運転者の視線方向を認識する（ステップＳ１２）。

その後、操作支援装置１００は、操作対象検知手段１２により、視線の先に入力手段（入力手段の位置は既知である。）が存在するか否かを判定し（ステップＳ１３）、視線の先に入力手段が存在する場合にはその入力手段に対応する車載装置４を操作対象として検知し（ステップＳ１３のＹＥＳ）、操作支援装置１００の動作モードを確認する（ステップＳ１４）。

動作モードが対話モードである場合（ステップＳ１４のＹＥＳ）、操作支援装置１００は、操作支援情報出力制御手段１６により、操作対象検知手段１２が検知した操作対象に関する操作支援情報を音声出力装置６や表示装置７から出力させる（ステップＳ１５）。

動作モードが対話モード以外である場合（ステップＳ１４のＮＯ）、操作支援装置１００は、操作支援情報を出力させることなく操作支援情報出力処理を終了させる。不適切なタイミングで操作支援情報を出力させないようにするためである。

なお、視線の先に入力手段が存在しない場合（ステップＳ１３のＮＯ）も同様に、操作支援装置１００は、操作対象を検知できないため、操作支援情報を出力させることなく、操作支援情報出力処理を終了させる。

なお、操作支援装置１００は、動作モードが対話モードである場合に限り、周期的（例えば、５秒間隔）にこの操作支援情報出力処理を実行するようにしてもよい。制御部１における演算負荷を低減させることができるからである。

以上の構成により、操作支援装置１００は、運転者に迷いが生じている場合であって、かつ、操作対象を特定できた場合に限り、その操作対象に対応する操作支援情報を出力するので、多数の操作対象が存在する環境においても、各操作対象に対応する適切な操作支援情報を適切なタイミングで出力することができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例では、操作対象検知手段１２は、挙動認識手段１０が認識した操作者の視線方向若しくは操作者の手指の位置、発話認識手段１１が認識した操作者の発話内容、又は、操作者が闇雲に車載装置４を操作したときのその車載装置４の出力信号に基づいて操作対象を検知するが、室温センサの出力に基づいてエアコンを操作対象として検知したり、雨滴センサの出力に基づいてウインカを操作対象として検知したり、或いは、ナビゲーション装置の出力に基づいて、車両がガソリンスタンドに停車した場合にフューエルリッドオープナーを操作対象として検知したりするようにしてもよい。

操作支援装置の構成例を示すブロック図である。モード切り替え処理の流れを示すフローチャートである。操作支援情報出力処理の流れを示すフローチャートである。

符号の説明

１制御部
２監視装置
３音声入力装置
４車載装置
５記憶部
６音声出力装置
７表示装置
１０挙動認識手段
１１発話認識手段
１２操作対象検知手段
１３表情推定手段
１４迷い判定手段
１５モード切り替え手段
１６操作支援情報出力制御手段
５０顔画像ＤＢ
５１言語情報ＤＢ
５２操作支援情報ＤＢ
１００操作支援装置

Claims

操作者が操作する操作対象を検知する操作対象検知手段と、
前記操作対象検知手段による操作対象の検知に応じた該操作対象に関する操作支援情報の出力を許可する対話モードと該操作支援情報の出力を禁止する待機モードとを切り替えるモード切り替え手段と、
操作者の迷いの有無を判定する迷い判定手段と、を備え、
前記モード切り替え手段は、前記迷い判定手段により迷いがあると判定された場合に、前記待機モードを前記対話モードに切り替える、
ことを特徴とする操作支援装置。
前記操作対象検知手段は、操作者の手指の動き、視線方向、若しくは、発話内容、又は、操作者が触れた入力手段からの出力のうちの少なくとも一つに基づいて操作対象を検知する、
ことを特徴とする請求項１に記載の操作支援装置。
前記迷い判定手段は、操作者の表情、手指の動き、視線方向、又は、発話内容のうちの少なくとも一つに基づいて操作者の迷いの有無を判定する、
ことを特徴とする請求項１又は２に記載の操作支援装置。
前記操作支援情報を対話形式で出力する操作支援情報出力制御手段を更に備える、
ことを特徴とする請求項１乃至３の何れか一項に記載の操作支援装置。