JP2014134483A - 情報処理装置、音声操作システム、および、情報処理装置の音声操作方法 - Google Patents

Abstract

【課題】車両に搭載される車載装置などの情報処理装置で、音声によるアプリケーションの操作を指示するときに、車両走行中において安全に車両の運行をおこなう。
【解決手段】走行中に実行することを禁止する操作を意味する単語のリストである走行中操作可否リストを作成し、車載装置のコマンド可否実行部は、このリストとアプリケーションが備える音声操作可能なコマンドの名称を照らし合わせることにより、ユーザーが発話した内容に対応するコマンドが走行中に操作可能か否かを判断し、車両の走行状態を参照し、走行車両が走行中のときには、操作可能のときだけアプリケーション制御部に対して、そのコマンドの実行を指示し、操作不可能と判断されたときには、アプリケーション制御部に対して、そのコマンドの実行を指示しない。
【選択図】 図４

Description

本発明は、情報処理装置、音声操作システム、および、情報処理装置の音声操作方法に係り、特に、車両に搭載される情報処理装置で、車両走行中に音声によるアプリケーションの操作を指示するときに、安全に車両の運行をおこなうのに好適な情報処理装置、音声操作システム、および、情報処理装置の音声操作方法。

カーナビゲーションシステム（以下、「車載装置」ともいう）は、地図データを加工して運転者等のユーザーに目的地までの案内情報を提供するものである。特に、近年では、携帯電話を介した通信等によってセンタシステムと接続してリアルタイムの渋滞情報を提供する車載装置や、近年急速に普及しているスマートフォンと連携する機能を搭載した車載装置が考案され、実用に供されている。後者の例としては、スマートフォンで実行されるアプリケーションの出力映像を、有線ケーブル等を介して車載装置の画面に表示することで、より大きな画面で効果的にドライバーに情報を提供できる車載装置がある。

一般に、車載装置などの車両内で使用する機器の場合には、運転中のドライバーが安全に機器を操作できる必要がある。このため車載装置には、運転中のドライバーが注意力散漫になるのを防止することを目的として、車両走行中は一定の操作や情報表示を抑制する処理が実装されている。

例えば、特許文献１には、ユーザーが自由に購入した様々なアプリケーションを車載装置で実行する際の安全性を確保するため、車両走行中における安全性を確認したアプリケーションには認証情報を付与し、認証情報が付与されていないアプリケーションの場合は画像を縮小表示することにより、ドライバーが車載装置の画面を注視しないようにする技術が開示されている。

また、特許文献１のようにドライバーの操作を制限するのではなく、音声によって車載装置を操作する技術についても広く検討がなされている。例えば、特許文献２では、車載装置とスマートフォンのような携帯端末が連携して動作するシステムにおいて、音声により指示することで携帯端末上のアプリケーションを実行する技術が開示されている。この技術は、実行可能な機能の名称と、音声による実行が可能か否かを示す情報を格納したテーブルを保持し、ドライバーが発話した音声をテキストに変換して、変換されたテキストと前述のテーブルに保持された機能の名称が一致した場合に、該当するアプリケーションを実行するものである。

特開２０１１−２１９０５８号公報 特開２０１０−１３０２２３号公報

上記従来技術の特許文献１の車両用表示装置は、安全性が保障されていないプログラムを実行しても、画面表示を加工することにより、車両走行の安全性を保つようにしたものであり、特許文献２は、運転中のドライバーが音声により、車載装置を操作できるようにしたシステムである。

しかしながら、上記の特許文献１および特許文献２に開示された技術には、以下の問題がある。

先ず、特許文献１に記載されている技術の場合、車両走行中における安全性を世の中のすべてのアプリケーションに対して確認することは、現実的には困難である。運転中に制限すべき操作や情報表示の内容は、国や地域毎にガイドラインがあり、各国や地域のガイドラインのすべてに準拠するための機能をアプリケーションに実装するには多大な労力を必要とする。従来、各車載装置メーカーは、自社開発アプリケーションに対してのみガイドラインに準拠するための実装をおこなっていたが、第三者が開発したアプリケーションにまで同様の作業をおこなうことは現実的に困難である。

また、特許文献２に記載されている技術の場合、運転中か否かに関わらず、音声によってアプリケーションを操作できてしまうという問題がある。例えば、動画を視聴するようなアプリケーションの場合、音声操作によって運転中か否かに関わらず動画が再生されてしまい、これによって運転者の注意力が散漫となり事故の原因となる。特許文献２では、音声による実行可否をユーザーが設定する仕組みについて開示している（図５、段落番号００７２−００７５）が、ユーザーが自由に設定を変更できてしまうため、運転中の安全性を考慮しないユーザーに対しては有効ではない。ユーザーではなく車載装置メーカーが音声操作の可否を設定するという手段も考えられるが、第三者開発のアプリケーションに対してまで音声による操作の可否を各車載装置メーカーが定義することは、特許文献１と同様の理由で困難である。

本発明は、上記問題点を解決するためになされたもので、その目的は、車両に搭載される車載装置などの情報処理装置で、音声によるアプリケーションの操作を指示するときに、車両走行中において安全に車両の運行をおこなうことのできる情報処理装置を提供することにある。

上記の課題を解決するため、本発明は、走行中に実行することが好ましくない操作を意味する単語のリストを作成し、このリストと各アプリケーションが備える音声操作可能なコマンドの名称を照らし合わせることにより、ユーザーが発話した内容に対応するコマンドが走行中に操作可能か否かを判断することを最も主要な特徴とする。具体的な例として、ユーザーが音声で“再生”と発話した場合に動画の再生をおこなうようなアプリケーションに対しては、走行中に実行することが好ましくない操作を意味する単語として“再生”を含むリストを作成することにより、走行中は音声で“再生”を実行することを制限する。ここで、上記の音声操作可能なコマンドの名称は、例えばアプリケーションの画面に表示されるボタン等に設定されている名称から取得する。具体的には、アプリケーションが表示する画面に“再生”という名称を持つボタンが配置されている場合、その画面が車載装置に表示された際に、アプリケーションの実行環境が提供するＧＵＩコンポーネントの属性取得機能等を利用して画面に含まれるボタンの名称を取得し、これを音声操作可能なコマンドの名称として記憶する。ボタン上に表示されているものが“再生”等のテキスト名称ではなく再生を意味するマークである場合、表示されている内容ではなく、ボタンに設定されている代替テキストを音声操作可能なコマンドの名称として取得してもよい。

また、本発明は、走行中に実行することが好ましくない操作を示す単語のリストを言語に応じて複数作成するとともに、各操作が走行中に実行可能か否かを示す規制ルールを各国や地域のガイドラインに応じて複数作成し、どの単語リスト、およびどの規制ルールを使用するかをユーザーの使用言語、および車載装置が存在する地域に応じて選択することを第二の特徴とする。例えば、再生操作を規制する場合、ユーザーの使用言語が日本語の場合は“再生”を、使用言語が英語の場合は“Ｐｌａｙ”をリストに記載するとともに、再生操作の実行が日本、米国等の各国で規制されているか否かを規制ルールとして記載する。この禁止単語のリストと規制ルールは、すべての言語、地域用のものをあらかじめ車載装置に格納しておいてもよいし、通信ネットワークを介して車載装置と接続されたポリシー配信サーバに格納しておき、ポリシー配信サーバは、車載装置から送信される使用言語、地域の情報に応じて適切なものを、車載装置からの要求に応じて、応答する構成としてもよい。

上記の機能を達成するために、本発明の車載装置の構成は、車両に搭載され、前記車両走行中において音声によるアプリケーションソフトウェアの操作を音声によりおこなう車載装置であって、記アプリケーションソフトウェアを実行するアプリケーション制御部と、記車両の走行状態を取得する走行状態取得部と、車両の走行中に実行が禁止される操作に関する情報であるポリシー情報を記録するポリシー情報記録部と、ポリシー情報と、アプリケーションソフトウェアから操作するコマンドのリストを参照することにより、アプリケーションソフトウェアに対するコマンドが、車両の走行中に操作可能か否かを示す走行中操作可否リストを作成する走行中操作可否リスト作成部と、走行中操作可否リストを記録する走行中操作可否リスト記録部と、ユーザーが発話した音声データを入力する音声入力部と、音声データを解析してテキストデータに変換するテキスト変換部と、テキストデータと走行中操作可否リストを参照して、テキストデータとして記録されたユーザーが発話したコマンドが、車両の走行中に操作可能か否かを判定し、操作可能な場合には、アプリケーション制御部に対してコマンドの実行を指示し、操作不可能な場合には、アプリケーション制御部に対してコマンドの実行を指示しないようにするコマンド実行可否判定部とを有するようにしたものである。

また、ポリシー配信サーバの構成は、情報処理装置が使用される場所ごとに定義され、アプリーションソフトウェアの操作するコマンドに適用される規制ルールを記録している規制ルール記録部と、規制ルールのコマンドと関連付けられ、言語別に定義された禁止単語リストを記録している禁止単語リスト記録部と、情報処理装置が使用される場所を示す情報に基づいて前記規制ルールを選択する規制ルール選択部と、ユーザーが使用している言語の情報に基づいて禁止単語リストを選択する禁止単語リスト選択部とを有するものである。

そして、車載装置は、ポリシー配信サーバに、機器情報と、ユーザー情報を送信する。

ポリシー配信サーバの規制ルール選択部は、車載装置から受信した機器情報に基づき、規制ルールを選択し、ポリシー配信サーバの禁止単語リスト選択部は、車載装置から受信したユーザー情報に基づき、禁止単語リストを選択し、ポリシー配信サーバは、規制ルールと禁止単語リストを、ポリシー情報として、車載装置に送信する。

本発明によれば、車両に搭載される車載装置などの情報処理装置で、車両走行中に音声によるアプリケーションの操作を指示するときに、安全に車両の運行をおこなうことのできる情報処理装置を提供することができる。

本発明の第一の実施形態に係る音声操作システムの全体構成図である。 車載装置のハードウェア構成図である。 ポリシー配信サーバのハードウェア構成図である。 車載装置のデータフローと機能構成を示した図である。 ポリシー配信サーバのデータフローと機能構成を示した図である。 ポリシー配信サーバ３００が保持するデータベースの構造を示した図である。 車載装置１００で用いられるコマンドリスト２１０と、走行中操作可否リスト２２０のフォーマットを示した図である。 音声操作システムのアプリケーションにおいて動画視聴を実行しようしたときの画面例を示す図である。 動画視聴ボタン１２１２を押下し、動画視聴画面１２２ｂが表示されるまでの処理を示すフローチャートである。 コマンドリスト作成処理のステップＳ１１０の処理を詳細に示すフローチャートである。 走行中操作可否リスト２２０作成の処理のステップＳ１３０を詳細に示すフローチャートである。 動画視聴画面１２２ａ，１２２ｂの音声操作開始ボタン１２１４を押下し、音声による操作を実行する処理の流れを示したフローチャートである。 コマンド実行可否判定処理のステップＳ１５０を詳細に示すフローチャートである。 音声操作のための動画視聴時のポップアップメッセージの例を示した図である。 本発明の第一の実施形態において、規制ルール２３０をポリシー配信サーバ３００から取得する処理の流れを示すフローチャートである。 禁止単語リスト２３０ａをポリシー配信サーバ３００から取得する処理の流れを示すフローチャートである。 音声操作のためのポリシー情報取得時のポップアップメッセージの例を示す図である。 本発明の第二の実施形態に係る音声操作システムの全体構成図である。 携帯電話端末のハードウェア構成図である。 本発明の第二の実施形態に係る携帯電話端末と車載装置のデータフローと機能構成を示した図である。 本発明の第二の実施形態において、規制ルール２３０をポリシー配信サーバ３００から取得する処理の流れを示すフローチャートである。 本発明の第三の実施形態に係る音声操作システムの全体構成図である。 本発明の第三の実施形態に係る携帯電話端末と車載装置のデータフローと機能構成を示した図である。

以下、本発明に係る各実施形態を、図１ないし図２３を用いて説明する。

〔実施形態１〕
以下、本発明の第一の実施形態に係る音声操作システムを、図１ないし図１７を用いて説明する。

本実施形態の音声操作システムは、カーナナビゲーション上で動作するアプリケーションソフトウェア（以下、単に「アプリケーション」ともいう）を音声で操作する際、走行中に実行することが好ましくない操作を制限するものである。具体的には、アプリケーションの画面に表示されている操作ボタンに対応付けられているコマンド名称を音声操作可能なコマンドの名称として抽出するとともに、走行中に実行することが好ましくない操作を意味する単語のリストをサーバ装置から配信して、アプリケーションから抽出した音声操作コマンドの名称とサーバ装置から受信したリストに含まれる単語を照らし合わせることによって、各コマンドの実行可否を判断する。

先ず、図１ないし図５を用いて本発明の第一の実施形態に係る音声操作システムの構成について説明する。
図１は、本発明の第一の実施形態に係る音声操作システムの全体構成図である。
図２は、車載装置のハードウェア構成図である。
図３は、ポリシー配信サーバのハードウェア構成図である。
図４は、車載装置のデータフローと機能構成を示した図である。
図５は、ポリシー配信サーバのデータフローと機能構成を示した図である。

本発明の第一の実施形態に係る音声操作システムは、車両１のユーザーが、車両１に搭載される車載装置１００を音声で操作できるようにしたシステムであって、車載装置１００を備えた車両１と、基地局７０とグローバル網５０を介して接続されたポリシー配信サーバ３００を含んで構成される。

本実施形態における車載装置１００は、基地局７０との無線通信を介して、グローバル網５０に接続されているポリシー配信サーバ３００と通信する。ポリシー配信サーバ３００は、車載装置１００に、音声操作に関するポリシー情報２８０を配信するサーバである。

車載装置１００は、定期的、あるいは、ユーザーが明示的に指示したときに、ポリシー情報取得要求のリクエストを発行し、基地局７０により無線で通信する。基地局７０は、車載装置１００の無線通信を仲介して、グローバル網５０を中継する無線設備である。

そして、基地局７０は、グローバル網５０に接続されているポリシー配信サーバ３００に、リクエストを送信する。ポリシー配信サーバ３００は、リクエストに応じたポリシー情報２８０をレスポンスとして、車載装置１００に送信する。

ここで、グローバル網５０は、電話網やインターネット網などのグローバルな通信網のことである。

車載装置１００は、受信したポリシー情報２８０を参照して、音声によるアプリケーション５００の操作を制限する。

次に、図２を用いて車載装置１００のハードウェア構成について説明する。

図２に示されるように、車載装置１００は、ハードウェアとして、ＣＰＵ２０、ＲＯＭ２１、ＲＡＭ２２、無線通信インタフェース２３、測位センサ２４、ジャイロセンサ２５、表示装置２６、操作装置２７、補助記憶装置２８、ＬＡＮ通信インタフェース２９、カメラ３０、ラジオチューナ３１、テレビチューナ３２、マイク３３、スピーカ３４で構成されている。

ＣＰＵ（Central Processing Unit）２０は、車載装置１００の各部を制御し、ＲＡＭ２２上にロードされるカーナビゲーションのアプリケーションソフトウェアを実行する演算・制御のためのユニットである。

ＲＯＭ（Read Only Memory）２１は、制御プログラムなどが書き込まれた読み出し専用の記憶装置である。

ＲＡＭ（Read Access Memory）２２は、補助記憶装置２８に記憶されているプログラムをロードして一時的に保管したり、ワークデータを記憶する記憶装置である。

無線通信インタフェース部２３は、基地局７０を介して、グローバル網５０に接続された外部装置と接続して、データをやり取りするためのインタフェース装置である。

測位センサ２４は、地球上での緯度および経度で示される自身の位置を測位するためのセンサである。

ジャイロセンサ２５は、車両の角度や角速度を計測するためのセンサである。

表示装置２６は、液晶ディスプレイや有機ＥＬ（Electro−Luminescence）ディスプレイ等、ユーザーに画像情報を表示する装置である。

操作装置２７は、ユーザーが車載装置１００を指で操作するボタン、スイッチ、キーボード、タッチパネル等の装置である。

補助記憶装置２８は、地図データベース、ポリシー情報２８０、音声データ、動画データなどの各種データと、カーナビゲーションのアプリケーションソフトウェアを記憶する大容量の記憶装置であり、例えば、ＨＤＤ（Hard Disk Drive）やＳＤＤ（Solid State Drive）である。

ＬＡＮインタフェース２９は、車載ネットワーク４１と接続し、車両１の走行状態や内部状態を表す車載ネットワーク４１からのデータを内部に取り込むための装置である。

また、車載装置１００は、車両信号線４０とも接続されており、車両３０の走行状態や内部状態を取り込むことができる。

カメラ３０、車両１の外部環境を撮影して画像として取り込む光学装置である。

ラジオチューナ３１は、アンテナより短波、中波、超短波の電波を受信し、選曲して番組として聴取する装置である。特に、ＦＭ多重放送の受信として、ＶＩＣＳ（Vehicle Information and Communication System）（登録商標）から交通情報を受信することができる。

テレビチューナ３２は、超短波の電波を受信し、選曲して、ＴＶ番組として動画を再生する装置である。

マイク３３は、ユーザーの音声を収集するための装置である。

スピーカ３４は、音楽情報、経路案内時の音声案内および操作音等を出力するための装置である。

次に、図３を用いてポリシー配信サーバ３００のハードウェア構成について説明する。

ポリシー配信サーバ３００のハードウェア構成は、図３に示されるようにＣＰＵ８１、ＲＡＭ８２、表示インタフェース８３、入出力インタフェース８４、ネットワークインタフェース８５、補助記憶装置インタフェース８６がバスにより接続されたものである。

表示装置９０には、稼動状況のモニタや出力結果が表示される。入出力インタフェース８４には、キーボード９１やマウス９２などの入出力装置が接続され、管理者は、これらの入出力装置からコマンドなどを入力する。ネットワークインタフェース８５には、グローバル網５０が接続され、このインタフェースを介して外部の装置と通信をおこなう。補助記憶装置インタフェース８６には、データやプログラムを格納するハードディスク装置９３などの記憶装置が接続される。ハードディスク装置９３は、アレイ上に接続されてディスクアレイを構成する場合もある。

ポリシー情報２８０や、ポリシー配信のデータベース管理プログラム、ＯＳなどは、ハードディスク装置９３に格納されており、実行されるときにＲＡＭ８２にロードされて、ＣＰＵ８１により実行される。

次に、図４を用いて車載装置１００のデータフローと機能構成について説明する。

車載装置１００は、図４に示されるように、アプリケーション制御部１１０、画面表示部１２０、走行中操作可否リスト作成部１３０、走行中操作可否リスト記録部１９１、音声入力部１８１、テキスト変換部１４０、走行状態取得部１８２、コマンド実行可否判定部１５０、ユーザーＩＤ取得部１８３、機器ＩＤ取得部１８４、ポリシー情報更新部１６０、ポリシー情報記録部１９２、および、通信部１７０から構成される。

アプリケーション制御部１１０は、アプリケーション５００から音声操作可能なコマンドを抽出してコマンドリスト２１０（後述）を作成するとともに、アプリケーション５００に対して音声による操作を実行する部分である。

画面表示部１２０は、アプリケーション５００の実行画面を、表示装置２６に表示する部分である。

走行中操作可否リスト作成部１３０は、各音声操作コマンドの走行中における操作可否を判定するための走行中操作可否リスト２２０（後述）を作成する部分である。

走行中操作可否リスト記録部１９１は、作成された走行中操作可否リスト２２０を記録する部分である。

音声入力部１８１は、ユーザーが発話した音声データを入力する部分である。

テキスト変換部１４０は、入力された音声データをテキストに変換する部分である。

走行状態取得部１８２は、車両信号線４０や車載ネットワーク４１から車両の走行状態を取得する部分である。

コマンド実行可否判定部１５０は、テキストが示す音声操作コマンドの実行可否を判定する部分である。

ユーザーＩＤ取得部１８３は、車載装置１００を使用しているユーザーの識別情報であるユーザーＩＤ１８３を取得する部分である。

機器ＩＤ取得部１８４は、車載装置１００の識別子である機器ＩＤ１０００を取得する部分である。

ポリシー情報更新部１６０は、ユーザーＩＤ１８３と機器ＩＤ１０００を参照して、ポリシー配信サーバ３００から規制ルール２３０（後述）と禁止単語リスト２４０（後述）を含むポリシー情報２８０を取得する部分である。

ポリシー情報記録部１９２は、取得したポリシー情報を記録する部分である。

通信部１７０は、ポリシー配信サーバ３００との通信をおこなう部分である。

次に、ポリシー配信サーバ３００のデータフローと機能構成について説明する。

ポリシー配信サーバ３００は、図５に示されるように、規制ルール選択部３１０、機器情報データベース２５０、地域判定部３２０、規制ルールデータベース２３０ａ、規制ルール取得部３３０、禁止単語リスト選択部３４０、ユーザー情報データベース２６０、使用言語判定部３５０、禁止単語リストデータベース２４０ａ、禁止単語リスト取得部３６０、および、通信部３７０から構成される。

規制ルール選択部３１０は、車載装置１００から受信するポリシー情報取得要求２７０の内容に応じて規制ルール２３０を選択する部分である。

機器情報データベース２５０は、車載装置１００を含む複数の機器の情報を格納するデータベースである。

地域判定部３２０は、機器情報データベース２５０を参照して車載装置１００が位置する地域を判定する部分である。

規制ルールデータベース２３０ａは、地域毎に定義される複数の規制ルール２３０を格納するデータベースである。

規制ルール取得部３３０は、判定した地域用の規制ルール２３０を規制ルールデータベース２３０ａから取得する部分である。

禁止単語リスト選択部３４０は、車載装置１００から受信するポリシー情報取得要求２７０の内容に応じて禁止単語リストを選択する部分である。

ユーザー情報データベース２６０は、車載装置１００を使用するユーザーを含む複数のユーザーの情報を記録するデータベースである。

使用言語判定部３５０は、ユーザー情報データベース２６０を参照して車載装置１００を使用するユーザーが使用している言語を判定する部分である。

禁止単語リストデータベース２４０ａは、言語毎に定義される複数の禁止単語リストを格納するデータベースである。

禁止単語リスト取得部３６０は、判定した使用言語用の禁止単語リスト２４０を禁止単語リストデータベース２４０ａから取得する部分である。

通信部３７０は、車載装置１００との通信処理をおこなう部分である。

次に、図６および図７を用いて本発明の音声認識システムに用いられるデータ構造について説明する。
図６は、ポリシー配信サーバ３００が保持するデータベースの構造を示した図である。
図７は、車載装置１００で用いられるコマンドリスト２１０と、走行中操作可否リスト２２０のフォーマットを示した図である。

ポリシー配信サーバ３００が保持するデータベースは、図６に示されるように、機器情報データベース２５０、ユーザー情報データベース２６０、規制ルールデータベース２３０ａ、禁止単語リストデータベース２４０ａである。

機器情報データベース２５０は、機器を一意に識別する機器ＩＤ２５１、および、機器ＩＤ２５１が示す機器が使用される位置の地域２５２を記録する。

ユーザー情報データベース２６０は、ユーザーを一意に識別するユーザーＩＤ２６１、および、ユーザーＩＤ２６１が示すユーザーが使用している言語を示す使用言語２６２を記録する。

規制ルールデータベース２３０ａは、地域毎に定義される複数の規制ルール２３０を記録しており、図には、日本、欧州の規制ルール、および、地域が明らかではない場合に参照されるデフォルトルールが記載されている。

規制ルール２３０は、操作の内容を識別する操作ＩＤ２３１、および、操作ＩＤ２３１が示す操作が走行中に操作可能か否かを示す操作可否２３２を記録する。図の例は、日本の場合、操作ＩＤが“ＯＰＥ１”あるいは“ＯＰＥ２”の操作は、走行中に操作することが禁止され、操作ＩＤが“ＯＰＥ３”の操作は走行中でも操作可能であることを示している。

禁止単語リストデータベース２４０ａは、言語毎に定義される複数の禁止単語リスト２４０を記録しており、図は、日本語および英語の例を示している。

禁止単語リスト２４０は、操作の内容を識別する操作ＩＤ２４１、および、操作ＩＤ２４１が示す操作を意味する一つ以上の単語を記載した禁止単語２４２を記録する。図の例では、操作ＩＤが“ＯＰＥ１”の操作を表す単語として、“再生”、“停止”等を定義している。また、規制ルール２３０と、禁止単語リスト２４０は、操作ＩＤをキーとして結びついている。

車載装置１００で用いられるデータとしては、図７に示されるように、コマンドリスト２１０と、走行中操作可否リスト２２０があり、コマンドリスト２１０は、車載装置１００のアプリケーション制御部１１０が作成し、走行中操作可否リスト２２０は、走行中操作可否リスト作成部１３０が作成する。

コマンドリスト２１０は、コマンドの名称を示す文字列であるコマンド名称２１１、および、そのコマンドをアプリケーション５００内で一意に識別するコマンド識別子２１２を格納する。

走行中操作可否リスト２２０は、コマンドリスト２１０と同様のコマンド名称２２１およびコマンド識別子２２２に加えて、走行中に操作することが可能か否かを示す操作可否２２３のフラグを格納する。

次に、図８を用いて本発明の第一の実施形態に係る音声操作システムのユーザインタフェースの操作イメージについて説明する。

図８は、音声操作システムのアプリケーションにおいて動画視聴を実行しようしたときの画面例を示す図である。

メニュー画面１２１は、表示装置２６に表示される車載装置１００の起動後の画面を示したものである。メニュー画面１２１は、車載装置１００が備える機能に対応するナビボタン１２１１、動画視聴ボタン１２１２、電話ボタン１２１３、および、音声入力を開始するための音声入力開始ボタン１２１４を備えている。

このうち、動画視聴のアプリケーション５００を起動するための動画視聴ボタン１２１２を押下することにより、車両１が停車中のときには、アプリケーション５００の動画視聴画面１２２ａが表示される。動画視聴画面１２２ａは、映像コンテンツを表示するコンテンツ表示領域１２２１、再生可能なコンテンツの一覧を表示するコンテンツ一覧表示領域１２２２、コンテンツの再生を開始する再生ボタン１２２３、コンテンツの再生を停止する停止ボタン１２２４、メニュー画面１２１に戻るための戻るボタン１２２５、および、メニュー画面１２１と音声入力開始ボタン１２１４を備えている。

一方、動画視聴のアプリケーション５００を起動するための動画視聴ボタン１２１２を押下し、車両１が走行中のときには、アプリケーション５００の動画視聴画面１２２ｂが表示される。この動画視聴画面１２２ｂは、動画視聴画面１２２ａと比較して、映像コンテンツを表示するコンテンツ表示領域１２２１、コンテンツの一覧を表示するコンテンツ一覧表示領域１２２２、再生ボタン１２２３、および、停止ボタン１２２４は、ユーザーの注意力散漫を防止するため、操作ができないように無効化され、非入力表示になっている。ただし、戻るボタン１２２５は、走行中も操作可能であるため無効化されない。そして、画面１２２が表示されている状態でユーザーが音声入力開始ボタン１２１４を押下して、“戻る”と発話した場合、車両が走行中においてもメニュー画面１２１へ遷移する。ただし、画面１２２が表示されている状態でユーザーが音声入力開始ボタン１２１４を押下して、“再生”、“停止”という動画視聴に関するコマンドを発話した場合には、操作が禁止されているためそのコマンドは、無効となる。

ユーザーは、無効なコマンドに関するボタンが非入力表示になっているため、そのボタンを誤操作で押下することもないし、“再生”、“停止”という動画視聴に関する禁止されたコマンドを発話することも防止することができる。

次に、図９ないし図１１を用いて動画視聴ボタンを押下し、動画視聴画面を表示するまでの処理について説明する。
図９は、動画視聴ボタン１２１２を押下し、動画視聴画面１２２ｂが表示されるまでの処理を示すフローチャートである。
図１０は、コマンドリスト作成処理のステップＳ１１０の処理を詳細に示すフローチャートである。
図１１は、走行中操作可否リスト２２０作成の処理のステップＳ１３０を詳細に示すフローチャートである。

ユーザーが動画視聴ボタン１２１２を押下すると、画面表示部１２０からアプリケーション制御部１１０へ画面切り替え指示が伝達され、動画視聴画面１２２ｂを表示するタイミングで、アプリケーション制御部１１０は、コマンドリスト２１０を作成する（Ｓ１１０）。

次に、走行中操作可否リスト作成部１３０は、作成されたコマンドリスト２１０と、ポリシー情報記録部１９２に記録されている規制ルール２３０および禁止単語リスト２４０を参照して、走行中操作可否リスト２２０を作成する（Ｓ１３０）。

走行中操作可否リスト２２０を作成後、アプリケーション制御部１１０は、アプリケーション５００の画面１２２において操作できないボタンを無効化するとともに（Ｓ１１１）、走行中操作可否リスト作成部１３０は、走行中操作可否リスト２２０を作成し、走行中操作可否リスト記録部１９１は、補助記憶装置２８に作成された走行中操作可否リスト２２０を記録する（Ｓ１３１）。

次に、図１０を用いてコマンドリスト作成処理のステップＳ１１０の処理について詳細に説明する。

先ず、コマンドリスト２１０の記録領域を初期化して空の状態にする（Ｓ１１０１）。

次に、現在表示している画面（すなわち、動画視聴画面１２２ｂ）に含まれるオブジェクト（ボタン等）の数を変数Ｎにセットする（Ｓ１１０２）。

次に、Ｎが０（ゼロ）か否かを判定する（Ｓ１１０３）。

Ｎが０ではない場合、Ｎ番目のオブジェクトがボタンか否かを判定する（Ｓ１１０４）。

Ｎ番目のオブジェクトがボタンの場合、ボタンの表示名称と識別情報を取得してコマンドリスト２１０のコマンド名称２１１とコマンド識別子２１２にそれぞれ追加する（Ｓ１１０５）。例えば、図８の再生ボタン１２２３のオブジェクトとしての表示名称が、“再生”となっているとする。そのときには、それをコマンドリスト２１０のコマンド名称２１１に、“再生”としてセットする。また、プレイヤーの再生機器としては、再生のための記号として、右三角が一般に使われるが、そのボタンの表示名称として、“右三角”、その代替名称として、その機能を表す“再生”が定義されているときには、代替名称の“再生”をとってきて、それをコマンドリスト２１０のコマンド名称２１１に、“再生”としてセットする。

これにより、開発者は、表示名称とコマンドの機能を一致させておけば、表示名称を、そのままコマンド名称として利用することができるので、開発労力の軽減となる。

次に、Ｎから１を減算した値をＮにセットし（Ｓ１１０６）、Ｓ１１０３に戻る。

そして、Ｓ１１０３からＳ１１０６の手順を繰返し、Ｎが０になった時点でコマンドリスト２１０を走行中操作可否リスト作成部１３０に通知して処理を完了する（Ｓ１１０７）。なお、上記のＳ１１０２におけるオブジェクトの数の取得や、Ｓ１１０４におけるＮ番目のオブジェクトの取得等は、ＧＵＩ（Graphical User Interface）画面を作成するためのソフトウェアライブラリが一般的に備えているものであり、例えばスマートフォンのＯＳであるＡｎｄｒｏｉｄ上で動くアプリケーションの場合は、Ｊａｖａ（登録商標）言語によって提供されるｇｅｔＣｈｉｌｄＣｏｕｎｔ（）メソッドや、ｇｅｔＣｈｉｌｄＡｔ（）メソッド等を使用することにより取得することができる。

次に、図１１を用いて走行中操作可否リスト２２０作成の処理のステップＳ１３０の詳細について説明する。

先ず、作成されたコマンドリスト２１０の行数を変数Ｎにセットする（Ｓ１３０１）。

次に、Ｎが０（ゼロ）か否かを判定する（Ｓ１３０２）。

次に、Ｎが０ではない場合、ポリシー情報記録部１９２に記録している禁止単語リスト２４０を検索し（Ｓ１３０３）、コマンドリスト２１０のＮ行目のコマンド名称２１１が禁止単語リスト２４０の禁止単語２４２に含まれるか否かを調べる（Ｓ１３０４）。

Ｎ行目のコマンド名称２１１に一致する単語が禁止単語リスト２４０の禁止単語２４２に含まれる場合、一致する単語を含む行の操作ＩＤ２４１と、ポリシー情報記録部１９２に記録している規制ルール２３０を参照して、その操作ＩＤが示す操作の走行中の操作可否２３２を取得する（Ｓ１３０５）。

次に、取得した操作可否２３２が“可”と“不可”のいずれであるかを判定し（Ｓ１３０６），“不可”である場合は、走行中操作可否リスト２２０の操作可否２２３を“不可”に設定する（Ｓ１３０７）。

上記のステップＳ１３０４においてコマンド名称２１１を含む行が禁止単語リスト２４０に存在しない場合、あるいは、上記のステップＳ１３０６において取得した操作可否２３２が“可”の場合は、走行中操作可否リスト２２０の操作可否２２３を“可”に設定する（Ｓ１３０８）。

次に、Ｎから１を減算した値をＮにセットして（Ｓ１３０９）、Ｓ１３０２に戻る。

そして、Ｓ１３０２からＳ１３０９の手順を繰返し、Ｎが０になった時点で処理を完了する。

次に、図１２ないし図１４を用いてユーザーが発話した音声に対応するコマンドを実行する際の車載装置１００の処理について説明する。
図１２は、動画視聴画面１２２ａ，１２２ｂの音声操作開始ボタン１２１４を押下し、音声による操作を実行する処理の流れを示したフローチャートである。
図１３は、コマンド実行可否判定処理のステップＳ１５０を詳細に示すフローチャートである。
図１４は、音声操作のための動画視聴時のポップアップメッセージの例を示した図である。

音声操作開始ボタン１２１４を押下すると、画面表示部１２０から音声入力部１８１へ音声入力開始指示が伝達される。これを受けて、音声入力部１８１は、マイク３３を用いてユーザーが発話した音声を入力する（Ｓ１８１）。

次に、テキスト変換部１４０は、入力された音声データをテキストに変換する（Ｓ１４０）。なお、マイクで入力された音声データを解析してテキストに変換する処理は、公知であり、一般的にＳｐｅｅｃｈ−ｔｏ−Ｔｅｘｔと総称される技術として実用化されている。

次に、音声データをテキストへ変換できたか否かを判定する（Ｓ１４１）。何らかのテキストに変換できた場合、コマンド実行可否判定部１５０は、変換されたテキストと走行中操作可否リスト２２０を参照して、変換されたテキストに対応する音声操作コマンドの実行可否を判定する（Ｓ１５０）。

次に、判定した実行可否が“可”か否かを判断し（Ｓ１５１）、変換されたテキストに対応する音声操作コマンドの実行が可能な場合、走行中操作可否リスト２２０に記載されているコマンド識別子２２２をアプリケーション制御部１１０に伝達し、アプリケーション制御部１１０は、コマンド識別子２２２に対応するボタンの押下処理を実行する（Ｓ１１１）。

上記のステップＳ１４１において音声データからテキストへの変換ができなかった場合、あるいは、変換されたテキストに対応するコマンドの実行がＳ１５１において、“不可”と判断された場合、画面表示部１２０は、表示装置２６にエラー画面を表示する（Ｓ１２１）。

次に、図１３を用いてコマンド実行可否判定処理のステップＳ１５０の詳細について説明する。

コマンド実行可否判定部１５０は、先ず、走行中操作可否リスト２２０を検索し（Ｓ１５０１）、音声データから変換したテキストと走行中操作可否リスト２２０のコマンド名称２２１が一致する行があるか否かを検索する（Ｓ１５０２）。なお、この一致判定は、両者の文字列が厳密に一致することを判定の条件としても良いし、いずれか一方の文字列が他方の文字列に含まれる場合を判定の条件としても良いし、あるいは、Ｎ−ｇｒａｍ等の公知の手法によって２つの文字列の類似度を判定する仕組みとしてもよい。なお、Ｎ−ｇｒａｍとは、検索エンジン等で用いられている文字列の類似度を判定する手法であり、複数の文字列において、Ｎ個の連続する文字が一致する数をカウントして類似の度合いを判定するものである。

以上のような手法によって、変換したテキストとコマンド名称２２１が一致する行があると判定した場合、走行状態取得部１８２により走行状態を取得し（Ｓ１５０３）、取得した走行状態を参照して車両が走行中か否かを判定する（Ｓ１５０４）。なお、車両が走行しているか否かは、従来のカーナビは一般的に車両のシステムの車両信号線４０から車速パルス等の車両信号を取得しておこなっており、本実施形態における音声認識システムにおいても同様の手法で判定する。

そして、車両が走行中であると判定した場合、ステップＳ１５０２において検索した行における操作可否２２３を参照し、走行中に操作可能か否かを判定する（Ｓ１５０５）。

操作可能である場合、その行のコマンド識別子２２２をアプリケーション制御部１１０に通知する（Ｓ１５０６）。なお、上記のＳ１５０４において車両が走行中ではないと判定された場合も同様に、コマンド識別子２２２をアプリケーション制御部１１０に通知して処理を完了する。

ステップＳ１５０２において、変換したテキストと走行中操作可否リスト２２０のコマンド名称２２１が一致する行が無い場合、実行可能なコマンドは無いとして終了する（Ｓ１５０７）。また、上記のＳ１５０５において走行中の操作は不可であると判定した場合、アプリケーション５００が走行中の操作を許可された特別なアプリケーションとして認証されているか否かを判定し（Ｓ１５０９）、認証されたアプリケーションである場合は走行中の操作可否リストの内容に関わらずＳ１５０６を実行する。なお、認証済みアプリケーションか否かを識別する手段については、例えば、公開鍵暗号技術に基づくデジタル署名をアプリケーションに付与する等の手段によって実現可能である。アプリケーション５００が認証された特別なものでもない場合、ユーザーが発話した内容に対応するコマンドは存在するが走行中は実行できないとして終了する（Ｓ１５０８）。

このように、認証済みアプリケーションのときには、コマンドを実行不可としないことにより、例えば、カーナビゲーション対応のアプリケーションなどに関する操作については、常に、車両の走行状態にかかわらず常に実行することができる。

次に、図１４を用いて音声操作に関するユーザインタフェースについて説明する。

図１４（ａ）に示されるポップアップメッセージ１２３１は、ステップＳ１５０７が実行されて、実行可能なコマンドが無いことをユーザーに通知する場合のメッセージの例である。

また、図１４（ｂ）に示されるポップアップメッセージ１２３２は、ステップＳ１５０８が実行されて、ユーザーが発話した内容に対応するコマンドは存在するが走行中は実行できないことをユーザーに通知する場合のメッセージの例を示したものである。

いずれのポップアップメッセージも、ユーザーの操作の負担を軽減するために、一定の時間、例えば、１０秒程度表示された後には、自動的に閉じられるようにする。

次に、図１５および図１６を用いて参照した規制ルールおよび禁止単語リストをポリシー配信サーバから取得する処理について説明する。

図１５は、本発明の第一の実施形態において、規制ルール２３０をポリシー配信サーバ３００から取得する処理の流れを示すフローチャートである。

図１６は、禁止単語リスト２３０ａをポリシー配信サーバ３００から取得する処理の流れを示すフローチャートである。

車載装置１００が起動した際、図１５に示されるように、ポリシー情報更新部１６０は、機器ＩＤ取得部１８４から機器ＩＤを取得する（Ｓ１６０１）。そして、取得した機器ＩＤは、ポリシー情報取得要求２７０に含めてポリシー配信サーバ３００の規制ルール選択部３１０を経由して地域判定部３２０に送信される。地域判定部３２０は、機器情報データベース２５０を参照し、受信した機器ＩＤと機器情報データベース２５０の機器ＩＤ２５１が一致する行があるか否かを判定する（Ｓ３２０１）。

一致する行がある場合、その行に記載されている地域２５２を参照して車載装置１００が位置する地域を取得する（Ｓ３２０２）。

次に、規制ルール取得部３３０は、規制ルールデータベース２３０ａを参照し、判定した地域用の規制ルール２３０が存在するか否かを判定する（Ｓ３３０１）。

規制ルール２３０が存在する場合、その規制ルール２３０を規制ルールデータベース２３０ａから取得し（Ｓ３３０２）、規制ルール選択部３１０に通知する。

一方、ステップＳ３２０１において受信した機器ＩＤと一致する行が見つからなかった場合、あるいは、ステップＳ３３０１において、判定した地域用の規制ルールが存在しなかった場合、規制ルール選択部３１０は、デフォルトルールを選択する（Ｓ３１０１）。

規制ルール選択部３１０は、ステップＳ３３０２、あるいは、ステップＳ３１０１で取得した規制ルール２３０を、ポリシー情報更新部１６０に応答する（Ｓ３１０２）。

ポリシー情報更新部１６０は、受信した規制ルール２３０を、ポリシー情報記録部１９２により記録して処理を完了する（Ｓ１６０２）。なお、以上の処理では、規制ルールを取得する一連の手順においてエラーが起きた場合は、デフォルトルールを選択しているが、エラーが発生した場合は車載装置１００の動作を停止してユーザーに修理を促すようなポップアップメッセージを表示するようにしてもよい。

車載装置１００が起動した際、図１６に示されるように、ポリシー情報更新部１６０は、ユーザーＩＤ取得部１８３からユーザーＩＤを取得する（Ｓ１６０５）。

取得したユーザーＩＤは、ポリシー情報取得要求２７０に含めてポリシー配信サーバ３００の禁止単語リスト選択部３４０を経由して使用言語判定部３５０に送信される。

使用言語判定部３５０は、ユーザー情報データベース２６０を参照し、受信したユーザーＩＤとユーザー情報データベース２６０のユーザーＩＤ２６１が一致する行があるか否かを判定する（Ｓ３５０１）。

一致する行がある場合、その行に記載されている使用言語２６２を参照して受信したユーザーＩＤが示すユーザーの使用言語を判定する（Ｓ３５０２）。

次に、禁止単語リスト取得部３６０は、禁止単語リストデータベース２４０ａを参照し、判定した使用言語で記載された禁止単語リスト２４０が存在するか否かを判定する（Ｓ３６０１）。

禁止単語リスト２４０が存在する場合、その禁止単語リスト２４０を禁止単語リストデータベース２４０ａから取得し（Ｓ３６０２）、禁止単語リスト選択部３４０に通知する。

禁止単語リスト選択部３４０は、取得した禁止単語リスト２４０を、ポリシー情報更新部１６０に応答する（Ｓ３４０２）。

ポリシー情報更新部１６０は、受信した禁止単語リスト２４０を、ポリシー情報記録部１９２により記録して処理を完了する（Ｓ１６０７）。

一方、ステップＳ３５０１において受信したユーザーＩＤに対応するユーザーの使用言語を判定できなかった場合、あるいは、ステップＳ３６０１において、判定した使用言語用の禁止単語リストが存在しなかった場合、禁止単語リスト選択部３４０はポリシー情報更新部１６０に禁止単語リスト取得エラーを応答する（Ｓ３４０１）。

禁止単語リスト取得エラーを受信したポリシー情報更新部１６０は、画面表示部１２０にエラーメッセージを表示する（Ｓ１６０６）。

次に、図１７を用いて音声操作のためのポリシー情報取得時のユーザインタフェースについて説明する。
図１７は、音声操作のためのポリシー情報取得時のポップアップメッセージの例を示す図である。

ステップＳ３４０１において、禁止単語リストの取得に失敗したことをユーザーに通知する必要がある場合には、図１７のようなポップアップメッセージ１２４１が表示される。

なお、以上の説明では、規制ルール２３０を選択するために、あらかじめ車載装置１００が存在する地域の情報をデータベースに記録しているが、ＧＰＳ（Global Positioning System）等を用いて車載装置１００の現在地座標を取得し、これと地図データを照らし合わせて地域を判定する仕組みとしてもよい。また、この例では、禁止単語リスト２４０を選択するために、予めユーザーの使用言語をデータベースに記録しているが、ユーザーが車載装置１００に設定している使用言語の情報等を参照する仕組みとしてもよい。

以上のように、本実施形態の音声操作システムによって、車載装置１００上で動作するアプリケーションを音声で操作する際、走行中に実行することが好ましくない操作を制限することが可能となる。また、このような制限をおこなうためのポリシー情報をポリシー情報配信装置から配信する仕組みにすることにより、各国のガイドラインの改訂や、制限したい操作を意味する単語の追加等に柔軟に対応することが可能となる。

〔実施形態２〕
以下、本発明の第二の実施形態に係る音声操作システムを、図１８ないし図２１を用いて説明する。

本実施形態の音声操作システムは、近年急速に普及しているスマートフォン等の携帯電話端末で実行されるアプリケーションを音声で操作する際、第一の実施形態と同様に走行中に実行することが好ましくない操作の実行を制限するものである。

先ず、図１８ないし図２０を用いて本発明の第一の実施形態に係る音声操作システムの構成について説明する。
図１８は、本発明の第二の実施形態に係る音声操作システムの全体構成図である。
図１９は、携帯電話端末のハードウェア構成図である。
図２０は、本発明の第二の実施形態に係る携帯電話端末と車載装置のデータフローと機能構成を示した図である。

図１８に示すように、本実施形態の音声操作システムは、車両３０内に携帯電話端末２０が車載装置１００ａに接続され、携帯電話端末２０は、基地局７０との無線通信を介して、グローバル網５０のポリシー配信サーバ３００と通信する。

図１８に示したその他の構成要素については、図１と同様である。

ここで、携帯電話端末２０は、ユーザーが持ち歩くスマートフォン等の携帯電話端末であり、車載装置１００ａは、カーナビゲーション装置である。

次に、図１９を用いて本発明の第二の実施形態に係る携帯電話端末２０のハードウェア構成について説明する。

図１９に示されるように、携帯電話端末２０は、ハードウェアとして、ＡＰＵ（Application Processor Unit）８０、ベースバンドプロセッサ８１、ＲＡＭ８２、フラッシュメモリ８３、無線通信インタフェース８４、測位センサ８５、加速度センサ８６、ジャイロセンサ８７、表示装置８８、操作装置８９、機器間通信インタフェース９０、カメラ９１、マイク９２、スピーカ９３で構成されている。

ＡＰＵ８０は、携帯電話端末２０の各部を制御し、ＲＡＭ８１上にロードされる音声操作のアプリケーションソフトウェアのプログラムを実行する演算・制御のためのユニットである。

ベースバンドプロセッサ８１は、携帯電話端末２０の通信や通話に関するモジュールを制御するプロセッサである。

ＲＡＭ（Read Access Memory）８２は、フラッシュメモリ８３に記憶されているプログラムをロードして一時的に保管したり、ワークデータを記憶する記憶装置である。

フラッシュメモリ８２は、プログラムやデータを格納する不揮発性のメモリである。フラッシュメモリ８２は、地図ＤＢ、ポリシー情報２８０、音声データ、動画データなどの各種データと、音声操作のアプリケーションソフトウェアなどのプログラムを記憶する比較的大容量の記憶装置である。

無線通信インタフェース８４は、ベースバンドプロセッサ８１の信号を無線帯域の高周波信号に変換したり、逆に、無線帯域の高周波信号を、ベースバンドプロセッサ８１の信号に変換するためのインタフェース装置である。携帯電話端末２０は、無線通信インタフェース８３を介して基地局７０と通信し、これにより、通話や電子メール、ブラウザによるＷｅｂページの閲覧が可能になる。無線帯域は、通常、ＵＨＦ（ultra high frequency）帯が使われる。

測位センサ８５は、地球上での緯度および経度で示される自身の位置を測位するためのセンサである。

加速度センサ８６は、携帯電話端末２０の加速度を計測するためのセンサである。これにより、携帯電話端末２０の搭載されている車両３０の加速度も間接的に計測される。

ジャイロセンサ８７は、携帯電話端末２０の角度や角速度を計測するためのセンサである。これにより、車両３０の角度や角速度も間接的に計測される。

表示装置８８は、液晶ディスプレイや有機ＥＬ（Electro−Luminescence）ディスプレイ等のユーザーに画像情報を表示する装置であり、３インチ〜５インチ画面の表示サイズのものが一般に使用されている。

操作装置８９は、ユーザーが携帯電話端末２０を指で操作するボタン、スイッチ、キーボード、タッチパネル等の装置である。

機器間通信インタフェース９０は、他の装置、例えば、車載装置１００ａと接続して、データをやり取りするためのインタフェース装置である。接続方式は、ＵＳＢ（Universal Serial Bus）やＨＤＭＩ（High−Definition Multimedia Interface）等の規格に準拠した有線接続でもよいし、無線ＬＡＮ（Local Area Network）のIEEE 802.11a/b/g/nやＢｌｕｅｔｏｏｔｈ（登録商標）等の規格に準拠した無線接続でもよい。

カメラ９１、携帯電話端末２０の周囲を撮影して画像として取り込む光学装置である。

マイク９２は、ユーザーの発話、または、携帯電話端末２０の周囲の音声を収集するための装置である。

スピーカ９３は、ユーザーに音声により情報を伝えるための装置である。なお、図示しなかったが、音声出力装置として、イヤホーンやヘッドホンなども用いられる。

次に、図２０を用いて携帯電話端末２０と車載装置１００ａのデータフローと機能構成について説明する。

車載装置１００ａは、図２０に示されるように、機器ＩＤ取得部８８４、走行状態取得部８８２、映像受信部８８５、画面表示部８２０、および、通信部８７５を備えている。

携帯電話端末２０は、図２０に示されるように、アプリケーション制御部１１０、映像送信部１８５、走行中操作可否リスト作成部１３０、走行中操作可否リスト記録部１９１、音声入力部１８１、テキスト変換部１４０、コマンド実行可否判定部１５０、ユーザーＩＤ取得部１８３、ポリシー情報更新部１６０、ポリシー情報記録部１９２、および、通信部１７０から構成される。

ここで、第一の実施形態の車載装置１００との構成と比較すると、第一の実施形態の車載装置１００が備えていた機器ＩＤ取得部１８４、走行状態取得部１８２、画面表示部１２０が無くなり、映像送信部１８５、走行状態記憶部１８６、および、車載装置１００ａと通信をおこなうための通信部１７５が追加されている。

本実施形態の携帯電話端末２０に追加された映像送信部１８５は、実施例１の情報処理装置１００が備えていた画面表示部１２０の代わりに追加しているものであり、第一の実施形態の車載装置１００では、画面表示部１２０により表示装置２６に表示していたアプリケーションの画面を、映像データとして車載装置１００ａに送信するものである。車載装置１００ａの映像受信部８８５は、この映像データを受信するものであり、受信した映像データは、画面表示部８２０により表示装置８８に表示される。この映像送信部１８５および映像受信部８８５は、例えば、ビデオカメラとテレビをＨＤＭＩケーブル等で接続してビデオカメラの出力映像をテレビの画面に表示するなどの技術により、携帯電話端末２０（すなわち、スマートフォン）の出力映像を車載装置１００ａ（すなわち、カーナビゲーション装置）の画面に表示するためのものである。

本実施形態の携帯電話端末２０の走行状態記憶部１８６は、車載装置１００ａから定期的に受信する走行状態を記憶するためのものである。

本実施形態の車載装置１００ａが備える機器ＩＤ取得部８８４は、第一の実施形態の車載装置１００が備えていた機器ＩＤ取得部１８４と同様の機能を有し、車載装置１００ａを識別する情報である機器ＩＤを通信部８７５および通信部１７５を介してポリシー情報更新部１６０に通知するためのものである。

本実施形態の車載装置１００ａが備える走行状態取得部８８２は、第一の実施形態の車載装置１００が備えていた走行状態取得部１８２と同様に、車両の走行状態を取得するものであり、通信部８７５および通信部１７５を介して携帯電話端末２０の走行状態記憶部１８６に通知するためのものである。

アプリケーション５００の操作イメージは、図８に示した第一の実施形態におけるアプリケーション５００と同様である。また、ユーザーがメニュー画面１２１の動画視聴ボタン１２１２を押下してアプリケーション５００の画面１２２が表示された際の、情報処理装置１００において実行される走行中操作可否リスト２２０を作成する処理についても、図９ないし図１１に示した第一の実施形態における車載装置１００の処理の流れと同様である。

また、ユーザーが画面１２２の音声操作開始ボタン１２１４を押下し、音声による操作を実行する処理の流れについても、基本的に図１２ないし図１４に示した第一の実施形態における車載装置１００の処理の流れと同様である。ただし、本実施形態においては、図１３のＳ１５０３における走行状態の取得は、携帯電話端末２０の走行状態記憶部１８６が記憶している走行状態を参照することによりおこなう。

次に、図２１を用いて参照した規制ルールおよび禁止単語リストをポリシー配信サーバから取得する処理について説明する。
図２１は、本発明の第二の実施形態において、規制ルール２３０をポリシー配信サーバ３００から取得する処理の流れを示すフローチャートである。

基本的な流れは第一の実施形態の図１５で示した処理の流れと同様であるが、図１５において機器ＩＤを取得していたＳ１６０１が無くなり、機器ＩＤの取得は、車載装置１００ａの機器ＩＤ取得部８８４に対して機器ＩＤ取得要求を送信し、機器ＩＤ取得部８８４から車載装置１００ａの機器ＩＤを受信することによりおこなう。以降の処理については、図１５で示した処理の流れと同様である。

以上、本実施形態に示されるように、スマートフォンなどの携帯電話端末上で動作するアプリケーションの実行画面をカーナビゲーション装置の画面に表示して使用する形態のシステムにおいても、スマートフォンなどの携帯電話端末のアプリケーションを音声で操作する際に、走行中に実行することが好ましくない操作を制限することが可能となる。

〔実施形態３〕
以下、本発明の第三の実施形態に係る音声操作システムを、図２２および図２３を用いて説明する。
図２２は、本発明の第三の実施形態に係る音声操作システムの全体構成図である。
図２３は、本発明の第三の実施形態に係る携帯電話端末と車載装置のデータフローと機能構成を示した図である。

本実施形態の音声操作システムにおいても、第二の実施形態と同様に、近年急速に普及しているスマートフォン等の携帯電話端末で実行されるアプリケーションを音声で操作する際、走行中に実行することが好ましくない操作の実行を制限するものである。ただし、第二の実施形態は、スマートフォン等の携帯電話端末の出力映像をカーナビの画面に表示して使用する形態であるのに対して、本実施形態は、クレードル等を用いてスマートフォンを等の携帯電話端末を運転席に設置して使用する形態を想定したものである。

本実施形態に係る音声操作システムの全体構成図も、図２２に示されるように、第二の実施形態と同様、携帯電話端末２０ａと車載装置１００ｂが、接続された構成であるが、車載装置１００ｂの方が、基地局７０を介してポリシー配信サーバと通信をおこなうことが異なっている。

以下、第一の実施形態との差異を中心に、本実施形態における携帯電話端末と車載装置のデータフローと機能構成について説明する。

本実施形態の全体構成は、図４に示した第一の実施形態の全体構成と比較して、携帯電話端末２０ａが追加されている。携帯電話端末２０ａは、アプリケーション制御部９１０、画面表示部９２０、および、車載装置１０ｂと通信をおこなうための通信部９７７を備えている。

一方、車載装置１０ｂは、第一の実施例の車載装置１００と比較して、アプリケーション制御部１１０、画面表示部１２０が無くなり、携帯電話端末２０ａと通信をおこなうための通信部１７７が追加されている。

携帯電話端末２０ａが備えるアプリケーション制御部９１０、および、画面表示部９２０は、それぞれ、第一の実施形態の車載装置１００におけるアプリケーション制御部１１０、および、画面表示部１２０に相当する。すなわち、第一の実施形態との差異は、第一の実施形態におけるアプリケーション制御部１１０、および画面表示部１２０を備える装置を、携帯電話端末２０ａの機能として分離している点である。このように分離した上で、車載装置１０ｂと携帯電話端末２０ａの間でおこなわれる通信処理、すなわち、アプリケーション制御部９１０から走行中操作可否リスト作成部１３０へコマンドリスト２１０を送信する処理、走行中操作可否リスト作成部１３０からアプリケーション制御部９１０へ走行中操作可否リスト２２０を送信する処理、および、コマンド実行可否判定部１５０からアプリケーション制御部１１０へコマンド識別子を送信する処理を、通信部１７７および通信部９７７を介しておこなうようにしている。

以上、本実施形態に示されるように、スマートフォンなどの携帯電話端末をクレードルによって運転席に設置して使用するような形態においても、アプリケーションを音声で操作する際に、走行中に実行することが好ましくない操作を制限することが可能となる。

２０，２０ａ…携帯電話端末
１００，１００ａ，１００ｂ…車載装置
１１０…アプリケーション制御部
１２０…画面表示部
１３０…走行中操作可否リスト作成部
１４０…テキスト変換部
１５０…コマンド実行可否判定部
１６０…ポリシー情報更新部
１７０…通信部
１７５…通信部
１７７…通信部
１８１…音声入力部
１８２…走行状態取得部
１８３…ユーザーＩＤ取得部
１８４…機器ＩＤ取得部
１８５…映像送信部
１８６…走行状態記憶部
１９１…走行中操作可否リスト記録部
１９２…ポリシー情報記録部
２１０…コマンドリスト
２２０…走行中操作可否リスト
２３０…規制ルール
２３０ａ…規制ルールデータベース
２４０…禁止単語リスト
２４０ａ…禁止単語リストデータベース
２５０…機器情報データベース
２６０…ユーザー情報データベース
２７０…ポリシー情報取得要求
２８０…ポリシー情報
３００…ポリシー配信装置
３１０…規制ルール選択部
３２０…地域判定部
３３０…規制ルール取得部
３４０…禁止単語リスト選択部
３５０…使用言語判定部
３６０…禁止単語リスト取得部
３７０…通信部
５００…アプリケーション
８２０…画面表示部
８７５…通信部
８８２…走行状態取得部
８８４…機器ＩＤ取得部
８８５…映像受信部
９１０…アプリケーション制御部
９２０…画面表示部
９７７…通信部

Claims (13)

1. 車両に搭載され、前記車両走行中において音声によるアプリケーションソフトウェアの操作を音声によりおこなう情報処理装置であって、
   前記アプリケーションソフトウェアを実行するアプリケーション制御部と、
   前記車両の走行状態を取得する走行状態取得部と、
   前記車両の走行中に実行が禁止される操作に関する情報であるポリシー情報を記録するポリシー情報記録部と、
   前記前記ポリシー情報と、前記アプリケーションソフトウェアから操作するコマンドのリストを参照することにより、前記アプリケーションソフトウェアに対するコマンドが、前記車両の走行中に操作可能か否かを示す走行中操作可否リストを作成する走行中操作可否リスト作成部と、
   前記走行中操作可否リストを記録する走行中操作可否リスト記録部と、
   ユーザーが発話した音声データを入力する音声入力部と、
   前記音声データを解析してテキストデータに変換するテキスト変換部と、
   前記テキストデータと前記走行中操作可否リストを参照して、前記テキストデータとして記録された前記ユーザーが発話したコマンドが、前記車両の走行中に操作可能か否かを判定し、操作可能な場合には、前記アプリケーション制御部に対して前記コマンドの実行を指示し、操作不可能な場合には、前記アプリケーション制御部に対して前記コマンドの実行を指示しないようにするコマンド実行可否判定部とを有することを特徴とする情報処理装置。
2. さらに、
   前記ユーザーの使用言語に関する情報を含むユーザー情報を取得するユーザー情報取得部と、
   前記情報処理装置が使用される地域に関する機器情報を取得する機器情報取得部と、
   前記ユーザー情報および前記機器情報に応じて、予め設定された複数のポリシー情報から一つのポリシー情報を取得してポリシー情報を更新するポリシー情報更新部とを有することを特徴とする請求項１記載の情報処理装置。
3. さらに、
   前記アプリケーションソフトウェアを認証するアプリケーション認証部を有し、
   前記コマンド実行可否判定部は、前記アプリケーション認証部で認証されたアプリケーションソフトウェアに対して、前記走行中操作可否リストの内容に関わらず前記アプリケーション制御部に対して前記コマンドの実行を指示することを特徴とする請求項１記載の情報処理装置。
4. 前記アプリケーションソフトウェアの画面に表示されている操作用ボタンの名称を抽出することによって、前記アプリケーションソフトウェアから操作するコマンドのリストを作成することを特徴とする請求項１記載の情報処理装置。
5. 前記コマンド実行可否判定部は、前記走行中操作可否リストに含まれるコマンドの名称と、前記音声データから変換されたテキストデータの類似度を判定することを特徴とする請求項１記載の情報処理装置。
6. 前記情報処理装置は、カーナビゲーションシステムであることを特徴とする請求項１記載の情報処理装置。
7. 前記情報処理装置は、携帯電話端末であることを特徴とする請求項１記載の情報処理装置。
8. 車両に搭載され、前記車両走行中において音声によるアプリケーションソフトウェアの操作を音声によりおこなう情報処理装置と、ポリシー配信サーバとが通信網により接続された音声操作システムであって、
   前記情報処理装置は、
   前記アプリケーションソフトウェアを実行するアプリケーション制御部と、
   前記車両の走行状態を取得する走行状態取得部と、
   前記車両の走行中に実行が禁止される操作に関する情報であるポリシー情報を記録するポリシー情報記録部と、
   前記ポリシー情報と、前記アプリケーションソフトウェアから操作するコマンドのリストを参照することにより、前記アプリケーションソフトウェアに対するコマンドが、前記車両の走行中に操作可能か否かを示す走行中操作可否リストを作成する走行中操作可否リスト作成部と、
   前記走行中操作可否リストを記録する走行中操作可否リスト記録部と、
   ユーザーが発話した音声データを入力する音声入力部と、
   前記音声データを解析してテキストデータに変換するテキスト変換部と、
   前記テキストデータと前記走行中操作可否リストを参照して、前記テキストデータとして記録された前記ユーザーが発話したコマンドが、前記車両の走行中に操作可能か否かを判定し、操作可能な場合には、前記アプリケーション制御部に対して前記コマンドの実行を指示し、操作不可能な場合には、前記アプリケーション制御部に対して前記コマンドの実行を指示しないようにするコマンド実行可否判定部と、
   前記ユーザーの使用言語に関する情報を含むユーザー情報を取得するユーザー情報取得部と、
   前記情報処理装置が使用される地域に関する機器情報を取得する機器情報取得部と、
   前記ユーザー情報および前記機器情報に応じて、予め設定された複数のポリシー情報から一つのポリシー情報を取得してポリシー情報を更新するポリシー情報更新部とを有し、
   前記ポリシー配信サーバは、
   前記情報処理装置が使用される場所ごとに定義され、前記アプリーションソフトウェアの操作するコマンドに適用される規制ルールを記録している規制ルール記録部と、
   前記規制ルールのコマンドと関連付けられ、言語別に定義された禁止単語リストを記録している禁止単語リスト記録部と、
   前記情報処理装置が使用される場所を示す情報に基づいて前記規制ルールを選択する規制ルール選択部と、
   前記ユーザーが使用している言語の情報に基づいて禁止単語リストを選択する禁止単語リスト選択部とを有し、
   前記情報処理装置は、前記ポリシー配信サーバに、前記機器情報と、前記ユーザー情報を送信し、
   前記ポリシー配信サーバの規制ルール選択部は、前記情報処理装置から受信した前記機器情報に基づき、前記規制ルールを選択し、
   前記ポリシー配信サーバの禁止単語リスト選択部は、前記情報処理装置から受信した前記ユーザー情報に基づき、前記禁止単語リストを選択し、
   前記ポリシー配信サーバは、前記規制ルールと前記禁止単語リストを、ポリシー情報として、前記情報処理装置に送信し、
   前記情報処理装置のポリシー情報更新部は、前記ポリシー配信サーバから送信されてきたポリシー情報に基づき、前記ポリシー情報を更新し、
   前記情報処理装置のポリシー情報記録部は、前記ポリシー情報更新部により更新されたポリシー情報を記録し、
   前記走行中操作可否リスト作成部は、前記ポリシー配信サーバから送信されてきたポリシー情報を参照することを特徴とする音声操作システム。
9. 車両に搭載され、ＣＰＵと記憶装置を有し、前記記憶装置に格納されたプログラムを前記ＣＰＵが実行することにより、アプリケーションソフトウェアを実行し、かつ、前記車両走行中において音声によるアプリケーションソフトウェアの操作を音声によりおこなう情報処理装置の音声操作方法であって、
   前記アプリケーションソフトウェアを実行するアプリケーション制御ステップと、
   前記車両の走行状態を取得する走行状態取得ステップと、
   前記車両の走行中に実行が禁止される操作に関する情報であるポリシー情報を記録するポリシー情報記録ステップと、
   前記ポリシー情報と、前記アプリケーションソフトウェアから操作するコマンドのリストを参照することにより、前記アプリケーションソフトウェアに対するコマンドが、前記車両の走行中に操作可能か否かを示す走行中操作可否リストを作成する走行中操作可否リスト作成ステップと、
   前記走行中操作可否リストを記録する走行中操作可否リスト記録ステップと、
   ユーザーが発話した音声データを入力する音声入力ステップと、
   前記音声データを解析してテキストデータに変換するテキスト変換ステップと、
   前記テキストデータと前記走行中操作可否リストを参照して、前記テキストデータとして記録された前記ユーザーが発話したコマンドが、前記車両の走行中に操作可能か否かを判定し、操作可能な場合には、前記アプリケーション制御ステップにおいて前記コマンドの実行を指示し、操作不可能な場合には、前記アプリケーション制御ステップにおいて前記コマンドの実行を指示しないようにするコマンド実行可否判定ステップとを有することを特徴とする情報処理装置の音声操作方法。
10. さらに、
    前記ユーザーの使用言語に関する情報を含むユーザー情報を取得するユーザー情報取得ステップと、
    前記情報処理装置が使用される地域に関する機器情報を取得する機器情報取得ステップと、
    前記ユーザー情報および前記機器情報に応じて、予め設定された複数のポリシー情報から一つのポリシー情報を取得してポリシー情報を更新するポリシー情報更新ステップとを有することを特徴とする請求項９記載の情報処理装置の音声操作方法。
11. さらに、
    前記アプリケーションソフトウェアを認証するアプリケーション認証ステップを有し、
    前記コマンド実行可否判定ステップにおいて、前記アプリケーション認証ステップで認証されたアプリケーションソフトウェアに対して、前記走行中操作可否リストの内容に関わらず前記アプリケーション制御部に対して前記コマンドの実行を指示することを特徴とする請求項９記載の情報処理装置の音声操作方法。
12. 前記アプリケーションソフトウェアの画面に表示されている操作用ボタンの名称を抽出することによって、前記アプリケーションソフトウェアから操作するコマンドのリストを作成することを特徴とする請求項９記載の情報処理装置の音声操作方法。
13. 前記コマンド実行可否判定ステップにおいて、前記走行中操作可否リストに含まれるコマンドの名称と、前記音声データから変換されたテキストデータの類似度を判定することを特徴とする請求項９記載の情報処理装置の音声操作方法。

Images