JP2021033929A - 制御システム、及び制御方法 - Google Patents

Abstract

【課題】乗員の発話に応じて、乗員が所望する車両機器の制御を記憶させることができる制御システム、及び制御方法を提供すること。【解決手段】制御対象装置制御装置第１記憶部第２記憶部第３記憶部及び音声インターフェース装置を含む制御システムであって利用者により発話された音声を示すデータを取得する取得部とデータに基づいて利用者の発話の内容を解釈する発話内容解釈部と発話の内容に制御対象装置における制御対象を制御する指示が含まれる場合指示と制御対象の動作量とが対応付けられた第２記憶部に記憶された第１対応情報を参照し制御対象の動作量を決定する決定部と決定された動作量で制御対象を制御するように制御装置に指示する指示部とを備えるとともに指示部は制御装置によって実際に制御対象が制御された際の制御量を発話内容解釈部により解釈された指示に基づく情報に対応付けられた第２対応情報として第１記憶部に登録させる制御システム。【選択図】図１

Description

本発明は、制御システム、及び制御方法に関する。

従来、車両に搭載された汎用スイッチに乗員が所望する車両機器の制御を対応付けて記憶させ、乗員が汎用スイッチを操作するだけで所望する車両機器の制御を実行することができるようにする技術が開示されている（例えば、特許文献１）。

特開２００３−３１２３８８号公報

近年、車両の乗員と対話を行いながら、乗員の要求に応じた運転支援に関する情報や車両の制御、その他のアプリケーション等を提供する応答機能が知られている。しかしながら、従来の技術では、乗員の発話に応じて乗員が所望する車両機器の制御を記憶させることまでは困難であった。

本発明は、このような事情を考慮してなされたものであり、乗員の発話に応じて乗員が所望する車両機器の制御を記憶させる制御システム、及び制御方法を提供することを目的の一つとする。

この発明に係る制御システム、及び制御方法は、以下の構成を採用した。
（１）この発明の一態様の制御システムは、制御対象装置、制御装置、第１記憶部、第２記憶部、第３記憶部、及び音声インターフェース装置とを含む制御システムであって、利用者により発話された音声を示すデータを取得する取得部と、前記取得部により取得された前記データに基づいて、前記利用者の発話の内容を解釈する発話内容解釈部と、前記発話の内容に、前記制御対象装置における制御対象を制御する指示が含まれる場合、指示と前記制御対象の動作量とが対応付けられた第２記憶部に記憶された第１対応情報を参照し、前記制御対象の動作量を決定する決定部と、前記決定部により決定された動作量で前記制御対象を制御するように前記制御装置に指示する指示部と、を備えるとともに、前記指示部は、前記制御装置によって実際に前記制御対象が制御された際の制御量を、前記発話内容解釈部により解釈された指示に基づく情報に対応付けられた第２対応情報として前記第１記憶部に登録させるものである。

（２）の態様は、上記（１）の態様に係る制御システムにおいて、前記指示部は、前記発話内容解釈部に解釈された指示と、前記第２対応情報とに更に基づいて、前記制御対象を制御するように前記制御装置に指示するものである。

（３）の態様は、上記（１）または（２）の態様に係る制御システムが、前記利用者の操作を受け付ける受付部を更に備え、前記指示部は、当該指示部の指示に応じて前記制御対象が制御される場合において、前記受付部により前記利用者の操作が受け付けられた場合に、前記指示部の指示による制御の内容を、前記利用者の操作に対応付けた第３対応情報として前記第１記憶部に記憶させるものである。

（４）の態様は、上記（１）または（２）の態様に係る制御システムが、前記利用者の操作を受け付ける受付部を、前記制御対象の該制御対象装置専用に更に備え、前記指示部は、当該指示部の指示に応じて前記制御対象が制御される場合において、前記受付部により前記利用者の操作が受け付けられた場合に、前記指示部の指示による制御の内容を、前記利用者の操作に対応付けた第４対応情報として第３記憶部に記憶させるものである。

（５）の態様は、上記（３）の態様に係る制御システムにおいて、前記指示部は、前記受付部に受け付けられた操作と、前記第３対応情報とに更に基づいて、前記制御対象を制御するように前記制御装置に指示するものである。

（６）の態様は、上記（３）または（４）の態様に係る制御システムが、前記指示部の指示に応じて前記制御対象が制御される場合において、前記受付部の操作を促す通知部を更に備えるものである。

（７）の態様は、上記（１）から（５）のいずれかの態様に係る制御システムにおいて、前記指示部の指示に応じて前記制御対象が制御される場合において、解釈された前記発話の内容に前記制御量を補正する指示が含まれる場合、当該指示に基づいて前記第２対応情報を更新するものである。

（８）この発明の他の態様の制御方法は、制御対象装置、制御装置、第１記憶部、第２記憶部、第３記憶部、及び音声インターフェース装置とを構成する複数のコンピュータが実行する、利用者により発話された音声を示すデータを取得する取得プロセスと、取得された前記データに基づいて、前記利用者の発話の内容を解釈する発話内容解釈プロセスと、前記発話の内容に前記制御対象装置を制御する指示が含まれる場合、指示と前記制御対象装置の動作量とが対応付けられた第２記憶部に記憶された第１対応情報を参照し、前記制御対象装置の動作量を決定する決定プロセスと、決定された前記動作量で前記制御対象装置を制御するように前記制御装置に指示する指示プロセスと、前記制御装置により実際に前記制御対象装置が制御された際の制御量が、解釈された指示に基づく情報に対応付けられた第２対応情報として前記第１記憶部に登録される登録プロセスと、を有するものである。

（１）〜（８）によれば、乗員の発話に応じて、乗員が所望する車両機器の制御を記憶させることができる。

（２）によれば、乗員の発話に応じた制御が行われて以降、同様の発話に係る車両機器の制御を簡便に行うことができる。

（３）によれば、乗員の操作に応じて、乗員が所望する車両機器の制御を記憶させることができる。

（５）によれば、乗員の発話に応じた制御が行われて以降、同様の発話を用いずに簡便に車両機器の制御を行うことができる。

（６）によれば、発話を用いない車両機器の制御を促すことができる。

（７）によれば、乗員が所望する車両機器の制御を補正することができる。

エージェント装置１００を含むエージェントシステム１の構成図である。 実施形態に係るエージェント装置１００の構成と、車両Ｍに搭載された機器とを示す図である。 車両機器６０の構成の一例を示す図である。 制御量情報１５２の内容の一例を示す図である。 第２対応情報１５４の内容の一例を示す図である。 実施形態に係るエージェントサーバ２００の構成と、エージェント装置１００の構成の一部とを示す図である。 第１対応情報２６０の内容の一例を示す図である。 エージェント機能部１３０が運転席のパワーウィンドウ装置を制御する場面を模式的に示す図である。 スイッチと制御を対応付ける場面の一例を示す図である。 第３対応情報１５６の内容の一例を示す図である。 第４対応情報８４２の内容の一例を示す図である。 実施形態に係るエージェントシステム１の一連の動作の一例を示すフローチャートである。 車両Ｍの乗員が制御量を補正する指示を発話している場面の一例を示す図である。 変形例に係るエージェントシステム１の一連の動作の一例を示すフローチャートである。

以下、図面を参照し、本発明の制御システム、及び制御方法の実施形態について説明する。

＜実施形態＞
エージェント装置は、本実施形態のエージェントシステム１の一部または全部を実現する装置である。以下では、エージェント装置の一例として、乗員（利用者の一例）が搭乗する車両（以下、車両Ｍ）に搭載され、エージェント機能を備えたエージェント装置について説明する。なお、本発明の適用上、必ずしもエージェント装置がエージェント機能を有している必要はない。また、エージェント装置は、スマートフォン等の可搬型端末装置（汎用端末）であってもよいが、以下では、車両に搭載されたエージェント機能を備えたエージェント装置を前提として説明する。エージェント機能とは、例えば、車両Ｍの乗員と対話をしながら、乗員の発話の中に含まれる要求（コマンド）に基づく各種の情報提供や各種機器制御を行ったり、ネットワークサービスを仲介したりする機能である。エージェント装置が複数のエージェント機能を有する場合、エージェント機能は、それぞれに果たす機能、処理手順、制御、出力態様・内容がそれぞれ異なってもよい。また、エージェント機能の中には、車両内の機器（例えば運転制御や車体制御に関わる機器）の制御等を行う機能を有するものがあってよい。

エージェント機能は、例えば、乗員の音声を認識する音声認識機能（音声をテキスト化する機能）に加え、自然言語処理機能（テキストの構造や意味を理解する機能）、対話管理機能、ネットワークを介して他装置を検索し、或いは自装置が保有する所定のデータベースを検索するネットワーク検索機能等を統合的に利用して実現される。これらの機能の一部または全部は、ＡＩ（Artificial Intelligence）技術によって実現されてよい。また、これらの機能を行うための構成の一部（特に、音声認識機能や自然言語処理解釈機能）は、車両Ｍの車載通信装置または車両Ｍに持ち込まれた汎用通信装置と通信可能なエージェントサーバ（外部装置）に搭載されてもよい。以下の説明では、構成の一部がエージェントサーバに搭載されており、エージェント装置とエージェントサーバとが協働してエージェントシステムを実現することを前提とする。また、エージェント装置とエージェントサーバが協働して仮想的に出現させるサービス提供主体（サービス・エンティティ）をエージェントと称する。

＜全体構成＞
図１は、エージェント装置１００を含むエージェントシステム１の構成図である。エージェントシステム１は、例えば、エージェント装置１００と、一以上のエージェントサーバ２００と、を備える。本実施形態におけるエージェントシステム１を提供する提供者は、例えば、自動車メーカー、ネットワークサービス事業者、電子商取引事業者、携帯端末の販売者や製造者等が挙げられ、任意の主体（法人、団体、個人等）がエージェントシステム１の提供者となり得る。なお、図１では、エージェントサーバ２００が一つである場合について説明したが、これに限られず、エージェントシステム１は、二以上のエージェントサーバ２００を備えるものであってもよい。この場合、各エージェントサーバ２００は、互いに異なる任意の主体によって提供されてもよい。

エージェント装置１００は、ネットワークＮＷを介してエージェントサーバ２００と通信する。ネットワークＮＷは、例えば、インターネット、セルラー網、Ｗｉ−Ｆｉ網、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、公衆回線、電話回線、無線基地局等の通信網のうち一部または全部を含む。ネットワークＮＷには、各種ウェブサーバ３００が接続されており、エージェントサーバ２００またはエージェント装置１００は、ネットワークＮＷを介して各種ウェブサーバ３００からウェブページを取得することができる。

エージェント装置１００は、車両Ｍの乗員と対話を行い、乗員からの音声をエージェントサーバ２００に送信し、エージェントサーバ２００から得られた回答を、音声出力や画像表示の形で乗員に提示する。

［車両］
図２は、実施形態に係るエージェント装置１００の構成と、車両Ｍに搭載された機器とを示す図である。車両Ｍには、例えば、一以上のマイク１０と、スピーカ２０と、表示・操作装置３０と、汎用スイッチ４０と、ナビゲーション装置５０と、車両機器６０と、車載通信装置７０と、エージェント装置１００とが搭載される。これらの装置は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図２に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。エージェント装置１００は、「制御対象、第１記憶部、及び制御装置を含む装置」の一例である。

マイク１０は、車室内で発せられた音を収集する収音部である。スピーカ２０は、例えば、車室内に配設されたスピーカ（音出力部）を含む。表示・操作装置３０は、画像を表示するとともに、入力操作を受付可能な装置（或いは装置群）である。表示・操作装置３０は、例えば、タッチパネルとして構成されたディスプレイ装置を含む。表示・操作装置３０は、更に、ＨＵＤ（Head Up Display）や機械式の入力装置を含んでもよい。表示・操作装置３０は、エージェント装置１００とナビゲーション装置５０とで共用されてもよい。

汎用スイッチ４０は、例えば、一以上のスイッチを備え、乗員の操作を受け付ける。以下、汎用スイッチ４０が、第１スイッチＳＷ１と、第２スイッチＳＷ２と、第３スイッチＳＷ３との三つの押しボタンスイッチを備えるものとする。また、以下、押しボタンスイッチは、スイッチとスイッチを乗員に明示するＬＥＤ（Light Emitting Diode）とが一体に構成されたものとする。なお、汎用スイッチ４０が備えるスイッチの数は一例であり、これに限られず、一つであってもよく、二つであってもよく、四つ以上であってもよい。また、汎用スイッチ４０に代えて（或いは、加えて）、乗員の操作を受け付ける機能部がＭに搭載されていてもよい。この機能部は、例えば、タッチパネル等であってもよい。第１スイッチＳＷ１、第２スイッチＳＷ２、及び第３スイッチＳＷ３にそれぞれ設けられるＬＥＤは、「通知部」の一例である。

ナビゲーション装置５０は、ナビＨＭＩ（Human Machine Interface）と、ＧＰＳ（Global Positioning System）等の位置測位装置と、地図情報を記憶した記憶装置と、経路探索等を行う制御装置（ナビゲーションコントローラ）とを備える。マイク１０、スピーカ２０、及び表示・操作装置３０のうち一部または全部がナビＨＭＩとして用いられてもよい。ナビゲーション装置５０は、位置測位装置によって特定された車両Ｍの位置から、乗員によって入力された目的地まで移動するための経路（ナビ経路）を探索し、経路に沿って車両Ｍが走行できるように、ナビＨＭＩを用いて案内情報を出力する。経路探索機能は、ネットワークＮＷを介してアクセス可能なナビゲーションサーバにあってもよい。この場合、ナビゲーション装置５０は、ナビゲーションサーバから経路を取得して案内情報を出力する。

なお、エージェント装置１００は、ナビゲーションコントローラを基盤として構築されてもよい。この場合、ナビゲーションコントローラとエージェント装置１００は、ハードウェア上は一体に構成される。

車両機器６０は、例えば、エンジンや走行用モータ等の駆動力出力装置、エンジンの始動モータ、ドアロック装置、ドア開閉装置、パワーウィンドウ制御装置、シート位置の制御装置、ルームミラーの角度位置制御装置、車両内外の照明装置の制御装置、ワイパーやデフォッガーの制御装置、方向指示灯の制御装置、空調装置、走行距離やタイヤの空気圧の情報や燃料の残量情報等の車両情報を取得する取得装置等を含む。また、車両機器６０は、車両Ｍの速度を検出する車速センサや加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両Ｍの向きを検出する方位センサ等を含んでもよい。

図３は、車両機器６０の構成の一例を示す図である。以下、車両機器６０がパワーウィンドウ制御装置であるものとする。この場合、車両機器６０は、例えば、窓の開閉に係る駆動部６２と、車両機器用ＥＣＵ８０と、操作スイッチ９０とを備える。

駆動部６２は、例えば、アクチュエータにより実現され、車両機器用ＥＣＵ８０の制御に基づいて駆動することによって車両Ｍの窓を開状態、又は閉状態にする。

操作スイッチ９０は、専用第１スイッチＳＷ４と、専用第２スイッチＳＷ５と、専用第３スイッチＳＷ６と、汎用第１スイッチＳＷ７と、汎用第２スイッチＳＷ８と、汎用第３スイッチＳＷ９とを備える。以降の説明において、専用第１スイッチＳＷ４と、専用第２スイッチＳＷ５と、専用第３スイッチＳＷ６とを区別しない場合には、「専用スイッチ」と記載し、汎用第１スイッチＳＷ７と、汎用第２スイッチＳＷ８と、汎用第３スイッチＳＷ９とを区別しない場合には、「汎用スイッチ」と記載する。専用スイッチは、例えば、車両機器６０の機能（この場合、窓の開閉）に係る操作を受け付けるスイッチである。汎用スイッチは、例えば、車両Ｍの乗員によって割り当てられた制御に係る操作を受け付けるスイッチである。車両Ｍの乗員によって汎用スイッチに制御を割り当てる処理の詳細は、後述する。

車両機器用ＥＣＵ８０は、例えば、受付部８２と、制御部８３と、記憶部８４とを備える。記憶部８４には、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）により実現されてもよく、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）により実現されてもよく、ドライブ装置に装着される記憶媒体であってもよい。また、記憶部８４の一部又は全部は、ＮＡＳや外部のストレージサーバ等、車両機器６０が（直接、或いは、エージェント装置１００を介して）アクセス可能な外部装置であってもよい。記憶部８４には、第４対応情報８４２が記憶される。第４対応情報８４２の詳細については、後述する。記憶部８４は、「第３記憶部」の一例である。

受付部８２は、操作スイッチ９０において受け付けられた操作を受け付ける。制御部８３は、受付部８２によって受け付けられた車両Ｍの乗員の操作と、第４対応情報８４２に基づいて、駆動部６２を制御する。

図２に戻り、車載通信装置７０は、例えば、セルラー網やＷｉ−Ｆｉ網を利用してネットワークＮＷにアクセス可能な無線通信装置である。

［エージェント装置］
エージェント装置１００は、管理部１１０と、エージェント機能部１３０と、車載通信部１４０と、記憶部１５０とを備える。管理部１１０は、例えば、音響処理部１１２と、エージェントＷＵ（Wake Up）判定部１１４と、通信制御部１１６と、出力制御部１２０と備える。図２に示すソフトウェア配置は説明のために簡易に示しており、実際には、例えば、エージェント機能部１３０と車載通信装置７０の間に管理部１１０が介在してもよいように、任意に改変することができる。また、以下では、エージェント機能部１３０とエージェントサーバ２００が協働して出現させるエージェントを、単に「エージェント」と称する場合がある。

エージェント装置１００の各構成要素は、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。記憶部１５０は、ＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）により実現されてもよく、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）により実現されてもよく、ドライブ装置に装着される記憶媒体であってもよい。また、記憶部１５０の一部又は全部は、ＮＡＳや外部のストレージサーバ等、エージェント装置１００がアクセス可能な外部装置であってもよい。記憶部１５０には、例えば、エージェント装置１００において実行されるプログラム等の他、制御量情報１５２、第２対応情報１５４、第３対応情報１５６等の情報が記憶される。まず、制御量情報１５２、及び第２対応情報１５４について説明し、第３対応情報１５６の詳細については、後述する。記憶部１５０は、「第１記憶部」の一例である。

図４は、制御量情報１５２の内容の一例を示す図である。制御量情報１５２は、例えば、車両Ｍに搭載される車両機器６０の動作量と、当該動作量だけ車両機器６０を動作させる際の車両機器６０の制御装置の制御量とが車両機器６０毎に互いに対応付けられた情報である。例えば、車両機器６０が運転席のパワーウィンドウ装置である場合、車両機器６０の動作量は、窓の開閉の程度であり、車両機器６０の制御装置の制御量は、パワーウィンドウ装置のアクチュエータの制御量（例えば、モータの回転数）である。窓の開閉の程度は、例えば、窓が完全に閉じている状態を０［％］、窓が完全に開いている状態を１００［％］として示した開度、又は窓が完全に閉じている状態を１００［％］、窓が完全に開いている状態を０［％］として示した閉度等である。

図４の例において、制御量情報１５２は、運転席のパワーウィンドウ装置に係る動作量の「１０％開ける」に対して、制御量の「モータ１０回転」が対応付けられ、動作量の「２０％開ける」に対して、制御量の「モータ２０回転」が対応付けられ、動作量の「３０％開ける」に対して、制御量の「モータ３０回転」が対応付けられた情報が含まれる。ここで、同一の動作量であっても、車両Ｍに搭載される車両機器６０の性能によっては、制御量が車両Ｍ（或いは、車種、性能等）毎に異なる場合がある。したがって、制御量情報１５２は、予め車両Ｍ毎に定められた情報である。

図５は、第２対応情報１５４の内容の一例を示す図である。第２対応情報１５４は、例えば、車両Ｍに搭載される車両機器６０に対する乗員の指示と、当該指示に対応する車両機器６０の制御装置の制御量とが車両機器６０毎に互いに対応付けられた情報である。例えば、車両機器６０が運転席のパワーウィンドウ装置である場合、車両機器６０に対する乗員の指示は、窓の開閉の程度（例えば、開度）を指定する指示であり、指示に対応する車両機器６０の制御量は、パワーウィンドウ装置のアクチュエータの制御量（例えば、モータの回転数）である。窓の開閉の程度を指定する指示は、例えば、「ちょっと開けて」、「少し開けて」、「結構開けて」等の指示である。

図５の例において、第２対応情報１５４は、運転席のパワーウィンドウ装置に係る乗員の指示の「ちょっと開けて」に対して、制御量の「モータ１０回転」が対応付けられ、乗員の指示の「少し開けて」に対して、制御量の「モータ２０回転」が対応付けられ、乗員の指示の「結構開けて」に対して、制御量の「モータ３０回転」が対応付けられる。第２対応情報１５４は、後述するエージェント機能部１３０によって生成され、記憶部１５０に記憶される。

図２に戻り、管理部１１０は、ＯＳ（Operating System）やミドルウェア等のプログラムが実行されることで機能する。

管理部１１０の音響処理部１１２は、マイク１０から収集される音を受け付け、受け付けた音に対して、エージェントごとに予め設定されているウエイクアップワードを認識したり、その他の発話内容を認識するのに適した状態になるようにしたりする音響処理を行う。ウエイクアップワードとは、例えば、対象のエージェントを起動させるためのワード（単語）やフレーズ等である。ウエイクアップワードは、単体のエージェントを起動させるものでもよく、複数のエージェントを起動させるものでもよい。音響処理とは、例えば、バンドパスフィルタ等のフィルタリングによるノイズ除去や音の増幅等である。また、音響処理部１１２は、音響処理された音声を、エージェントＷＵ判定部１１４や起動中のエージェント機能部１３０に出力する。音響処理部１１２は、「取得部」の一例である。

エージェントＷＵ判定部１１４は、エージェントに予め定められているウエイクアップワードを認識する。エージェントＷＵ判定部１１４は、音響処理が行われた音声（音声ストリーム）から発話された音声を認識する。まず、エージェントＷＵ判定部１１４は、音声ストリームにおける音声波形の振幅と零交差に基づいて音声区間を検出する。エージェントＷＵ判定部１１４は、混合ガウス分布モデル（ＧＭＭ；Gaussian mixture model) に基づくフレーム単位の音声識別、及び非音声識別に基づく区間検出を行ってもよい。

次に、エージェントＷＵ判定部１１４は、検出した音声区間における音声をテキスト化し、文字情報とする。そして、エージェントＷＵ判定部１１４は、テキスト化した文字情報がウエイクアップワードに該当するか否かを判定する。ウエイクアップワードであると判定した場合、エージェントＷＵ判定部１１４は、ウエイクアップワードに対応するエージェント機能部１３０を起動させる。なお、エージェントＷＵ判定部１１４に相当する機能が、エージェントサーバ２００に搭載されてもよい。この場合、管理部１１０は、音響処理部１１２によって音響処理が行われた音声ストリームをエージェントサーバ２００に送信し、エージェントサーバ２００がウエイクアップワードであると判定した場合、エージェントサーバ２００からの指示に従ってエージェント機能部１３０が起動する。また、各エージェント機能部１３０は、常時起動しており且つウエイクアップワードの判定を自ら行うものであってよい。この場合、管理部１１０がエージェントＷＵ判定部１１４を備える必要はない。

また、エージェントＷＵ判定部１１４は、上述した手順と同様の手順で、発話された音声に含まれる終了ワードを認識した場合であり、且つ、終了ワードに対応するエージェントが起動している状態（以下、必要に応じて「起動中」と称する）である場合、起動中のエージェント機能部を終了（停止）させる。なお、エージェントの起動、及び終了は、例えば、表示・操作装置３０から所定の操作を受け付けることによって実行されてもよいが、以下では、音声による起動、及び停止の例を説明する。また、起動中のエージェントは、音声の入力を所定時間以上受け付けなかった場合に停止させてもよい。

通信制御部１１６は、エージェント機能部１３０を、ネットワークＮＷに接続可能にするための制御を行う。例えば、通信制御部１１６は、エージェント機能部１３０がネットワークを介して外部装置（例えば、エージェントサーバ２００）と通信を行う場合の接続状態等を制御する。また、通信制御部１１６は、通信が途切れた場合の再接続や、接続状態の切り替え等の制御を行う。

出力制御部１２０は、通信制御部１１６またはエージェント機能部１３０等からの指示に応じて表示部またはスピーカ２０に応答内容等の情報を出力させることで、乗員にサービス等の提供を行う。出力制御部１２０は、例えば、音声制御部１２２と、表示制御部１２４と、受付部１２６とを備える。

音声制御部１２２は、エージェント機能部１３０がエージェントサーバ２００から取得した情報に基づいて、エージェントが車両Ｍの乗員の発話に応答する応答内容を、車両Ｍの乗員に通知するために用いられる音声をスピーカ２０に出力させる。

表示制御部１２４は、エージェント機能部１３０がエージェントサーバ２００から取得した情報に基づいて、エージェントが車両Ｍの乗員の発話に応答する応答内容を、車両Ｍの乗員に通知するために用いられる画像を表示・操作装置３０のディスプレイ装置に表示させる。また、表示制御部１２４は、汎用スイッチ４０が備える第１スイッチＳＷ１、第２スイッチＳＷ２、及び第３スイッチＳＷ３のＬＥＤを点灯、又は滅灯させる。

受付部１２６は、汎用スイッチ４０が備える第１スイッチＳＷ１、第２スイッチＳＷ２、及び第３スイッチＳＷ３に入力された乗員の操作を受け付ける。

エージェント機能部１３０は、エージェントサーバ２００と協働して、車両の乗員の発話に応じて、音声、及び画像による応答を含むサービスを提供する。エージェント機能部１３０には、例えば、車両Ｍ、又は車両Ｍに搭載される車載機器を制御する権限が付与されており、後述する処理によりエージェントサーバ２００によって認識された車両Ｍの発話内容が、車両Ｍに搭載される車両機器６０の動作を指示するコマンドである場合、エージェント機能部１３０は、コマンドに基づいてそれらの車両機器６０を制御する。エージェント機能部１３０は、通信制御部１１６の制御に基づいて、車載通信部１４０によって車載通信装置７０を介してエージェントサーバ２００と通信する。

なお、エージェント機能部１３０には、法律や条例、エージェントを提供する事業者同士の契約等に応じて、車両機器６０を制御する権限が割り振られるものであってもよい。車両機器６０の制御に係る処理において、エージェント機能部１３０は、「指示部」の一例である。

車載通信部１４０は、例えば、エージェント機能部１３０がネットワークＮＷに接続する場合に、車載通信装置７０を介して通信させる。車載通信部１４０は、エージェント機能部１３０からの情報を、車載通信装置７０を介してエージェントサーバ２００やその他の外部装置に出力する。また、車載通信部１４０は、車載通信装置７０により出力された情報をエージェント機能部１３０に出力する。

エージェント機能部１３０は、エージェントＷＵ判定部１１４による起動指示に基づいて起動し、乗員の発話に対して、エージェントサーバ２００を介して乗員の発話の音声に含まれる要求に対する応答内容を生成し、生成した応答内容を出力制御部１２０に出力する。また、エージェント機能部１３０は、エージェントサーバ２００と通信を行う場合には、通信制御部１１６により制御された接続状態によって通信を行う。また、エージェント機能部１３０は、エージェントＷＵ判定部１１４による制御に基づいて、エージェントを停止させてもよい。

［エージェントサーバ］
図６は、実施形態に係るエージェントサーバ２００の構成と、エージェント装置１００の構成の一部とを示す図である。以下、エージェントサーバ２００の構成とともに、エージェント機能部１３０等の動作について説明する。ここでは、エージェント装置１００からネットワークＮＷまでの物理的な通信についての説明を省略する。エージェントサーバ２００は、「音声インターフェース装置」の一例である。

エージェントサーバ２００は、通信部２１０を備える。通信部２１０は、例えば、ＮＩＣ（Network Interface Card）等のネットワークインターフェースである。更に、エージェントサーバ２００は、例えば、音声認識部２２０と、自然言語処理部２２１と、対話管理部２２２と、ネットワーク検索部２２３と、応答内容生成部２２４との機能部を備える。これらの構成要素は、例えば、ＣＰＵ等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。音声認識部２２０と、自然言語処理部２２１とを合わせたものは、「発話内容解釈部」の一例である。

また、エージェントサーバ２００は、記憶部２５０を備える。記憶部２５０は、上記の記憶部１５０を実現する各種記憶装置と同様の装置により実現される。記憶部２５０には、例えば、辞書ＤＢ２５２、パーソナルプロファイル２５４、知識ベースＤＢ２５６、応答規則ＤＢ２５８、第１対応情報２６０等のデータやプログラムが格納される。記憶部２５０は、「第２記憶部」の一例である。

エージェント装置１００において、エージェント機能部１３０は、例えば、音響処理部１１２等から入力される音声ストリーム、或いは圧縮や符号化等の処理を行った音声ストリームを、エージェントサーバ２００に送信する。エージェント機能部１３０は、ローカル処理（エージェントサーバ２００を介さない処理）が可能なコマンド（要求内容）が認識できた場合には、コマンドで要求された処理を実行してもよい。ローカル処理が可能なコマンドとは、例えば、エージェント装置１００が備える記憶部１５０を参照することで応答可能なコマンドである。より具体的には、ローカル処理が可能なコマンドとは、例えば、記憶部１５０内に存在する電話帳データ（不図示）から特定者の名前を検索し、合致した名前に対応付けられた電話番号に電話をかける（相手を呼び出す）コマンドである。したがって、エージェント機能部１３０は、エージェントサーバ２００が備える機能の一部を有してもよい。

音声ストリームを取得すると、音声認識部２２０が音声認識を行ってテキスト化された文字情報を出力し、自然言語処理部２２１が文字情報に対して辞書ＤＢ２５２を参照しながら意味解釈を行う。辞書ＤＢ２５２は、例えば、文字情報に対して抽象化された意味情報が対応付けられたものである。辞書ＤＢ２５２は、例えば、機能辞書２５２Ａと、汎用辞書２５２Ｂとを含む。

機能辞書２５２Ａは、エージェントサーバ２００がエージェント機能部１３０と協働して実現するエージェントが提供する機能（サービス）をカバーするための辞書である。例えば、エージェントが車載エアコンを制御する機能を提供する場合、機能辞書２５２Ａには、「エアコン」、「空調」、「つける」、「消す」、「温度」、「上げる」、「下げる」、「内気」、「外気」等の単語が、動詞、目的語等の単語種別、及び抽象化された意味と対応付けられて登録されている。また、機能辞書２５２Ａには、同時に使用可能であることを示す単語間リンク情報が含まれてよい。

汎用辞書２５２Ｂは、エージェントの提供する機能に限らず、一般的な物事の事象を抽象化された意味と対応付けた辞書である。機能辞書２５２Ａと汎用辞書２５２Ｂのそれぞれは、同義語や類義語の一覧情報を含んでもよい。機能辞書２５２Ａと汎用辞書２５２Ｂとは、複数の言語のそれぞれに対応して用意されてよく、その場合、音声認識部２２０及び自然言語処理部２２１は、予め設定されている言語設定に応じた機能辞書２５２Ａ及び汎用辞書２５２Ｂ、並びに文法情報（不図示）を使用する。音声認識部２２０の処理と、自然言語処理部２２１の処理は、段階が明確に分かれるものではなく、自然言語処理部２２１の処理結果を受けて音声認識部２２０が認識結果を修正する等、相互に影響し合って行われてよい。

自然言語処理部２２１は、音声認識部２２０による認識結果に基づく意味解析の一つとして、音声に含まれるサービスの要求に対応するために必要な機能に関する情報（以下、必要機能と称する）を取得する。例えば、認識結果として、「ちょっと開けて」等の乗員の指示に係る発話の意味が認識された場合、自然言語処理部２２１は、辞書ＤＢ２５２等を参照し、「パワーウィンドウ装置制御」という機能種別を取得する。そして、自然言語処理部２２１は、取得した必要機能をエージェント機能部１３０に出力し、機能必要情報に対する実行可否の判定結果を取得する。自然言語処理部２２１は、必要機能が実行可能である場合に、要求に対応できるものとして、解釈された発話内容に対応したコマンドを生成する。

例えば、自然言語処理部２２１は、認識結果として、「窓を少し開けて」、「少し窓を開けて」、「少し開けて窓を」等の乗員の指示の発話が認識された場合に、標準文字情報「少し窓を開ける」「OPEN_WINDOW_A_LITTLE」等に置き換える。これにより、リクエスト（要求）の発話に表現の揺れが有った場合にも要求に合ったサービスの提供をし易くすることができる。また、自然言語処理部２２１は、例えば、確率を利用した機械学習処理等の人工知能処理を用いて文字情報の意味を認識したり、認識結果に基づくコマンドを生成したりしてもよい。そして、自然言語処理部２２１は、置き換えた標準文字情報と、第１対応情報２６０とに基づいて、認識された乗員の指示に対応する車両機器６０の動作量を特定する。

図７は、第１対応情報２６０の内容の一例を示す図である。第１対応情報２６０は、例えば、車両Ｍに搭載される車両機器６０に対する乗員の指示と、当該指示に対応する車両機器６０の動作量とが車両機器６０毎に対応付けられた情報である。例えば、車両機器６０が運転席のパワーウィンドウ装置である場合、車両機器６０に対する乗員の指示は、運転席の窓の開閉の程度を指定する指示であり、当該指示に対応する車両機器６０の動作量は、運転席の窓の開閉の程度である。

図７の例において、第１対応情報２６０は、運転席のパワーウィンドウ装置に係る乗員の指示の「ちょっと窓を開けて」に対して、動作量の「１０％窓を開ける」が対応付けられ、乗員の指示の「少し窓を開けて」に対して、動作量の「２０％窓を開ける」が対応付けられ、乗員の指示の「結構窓を開けて」に対して、動作量の「３０％窓を開ける」が対応付けられる。自然言語処理部２２１は、認識された乗員の指示の意味（標準文字情報）を検索キーとして第１対応情報２６０を検索し、特定された車両機器６０と、当該指示に対応付けられた動作量とを、エージェント装置１００へのコマンドとして生成する。コマンドには、例えば、乗員の指示を示す情報と、特定した車両機器６０を示す情報と、特定した車両機器６０の動作量を示す情報とが含まれる。例えば、自然言語処理部２２１は、認識された乗員の指示の意味が「少し窓を開けて」であった場合、「少し窓を開けて」を検索キーとして第１対応情報２６０を検索し、「少し窓を開けて」という指示に対応付けられた運転席のパワーウィンドウ装置の動作量である「２０％窓を開ける」を特定する。そして、自然言語処理部２２１は、乗員の指示（この場合、「少し窓を開けて」）と、特定した車両機器６０（この場合、「運転席のパワーウィンドウ装置」）と、特定した車両機器６０の動作量（この場合、「２０％窓を開ける」）とを含むコマンドを生成する。

対話管理部２２２は、自然言語処理部２２１により生成されたコマンドに基づいて、パーソナルプロファイル２５４や知識ベースＤＢ２５６、応答規則ＤＢ２５８を参照しながら車両Ｍの乗員に対する応答内容（例えば、乗員への発話内容や出力部から出力する画像、音声）を決定する。知識ベースＤＢ２５６は、物事の関係性を規定した情報である。応答規則ＤＢ２５８は、コマンドに対してエージェントが行うべき動作（回答や機器制御の内容等）を規定した情報である。

また、対話管理部２２２は、音声ストリームから得られる特徴情報を用いて、パーソナルプロファイル２５４と照合を行うことで、乗員を特定してもよい。この場合、パーソナルプロファイル２５４には、例えば、音声の特徴情報が更に応付けられている。音声の特徴情報とは、例えば、声の高さ、イントネーション、リズム（音の高低のパターン）等の喋り方の特徴や、メル周波数ケプストラム係数（Mel Frequency Cepstrum Coefficients）等による特徴量に関する情報である。音声の特徴情報は、例えば、乗員の初期登録時に所定の単語や文章等を乗員に発声させ、発声させた音声を認識することで得られる情報である。対話管理部２２２は、例えば、自然言語処理部２２１により生成されたコマンドが「少し窓を開ける」である場合、当該コマンドが、音声ストリームにより特定した乗員の近傍の窓（運転席の乗員が特定された場合、運転席のパワーウィンドウ装置）に係るコマンドであると特定し、自然言語処理部２２１が生成したコマンドに含まれる車両機器６０に係る情報を更新してもよい。

対話管理部２２２は、コマンドがネットワークＮＷを介して検索可能な情報を要求するものである場合、ネットワーク検索部２２３に検索を行わせる。ネットワーク検索部２２３は、ネットワークＮＷを介して各種ウェブサーバ３００にアクセスし、所望の情報を取得する。「ネットワークＮＷを介して検索可能な情報」とは、例えば、車両Ｍの周辺にあるレストランの一般ユーザによる評価結果であったり、その日の車両Ｍの位置に応じた天気予報であったりする。

応答内容生成部２２４は、対話管理部２２２により決定された発話の内容が車両Ｍの乗員に理解されるように、応答文を生成し、生成した応答文（応答内容の一例）をエージェント装置１００に送信する。また、応答内容生成部２２４は、乗員認識装置８０による認識結果をエージェント装置１００から取得し、取得した認識結果によりコマンドを含む発話を行った乗員がパーソナルプロファイル２５４に登録された乗員であることが特定されている場合に、乗員の名前を呼んだり、乗員の話し方に似せた話し方にしたりした応答文を生成してもよい。

エージェント機能部１３０は、応答文を取得すると、音声合成を行って音声を出力するように音声制御部１２２に指示する。また、エージェント機能部１３０は、応答文を含む画像等を表示するように表示制御部１２４に指示する。

また、エージェント機能部１３０は、自然言語処理部２２１によって生成されたコマンドを取得し、取得したコマンドに基づいて、車両機器６０を制御する。エージェント機能部１３０は、例えば、これまでに処理実績の有るコマンドを取得した場合、第２対応情報１５４に基づいて車両機器６０を制御し、これまでに処理実績の無いコマンドを取得した場合、制御量情報１５２、及び制御量情報１５２に基づいて車両機器６０を制御する。以下、エージェント機能部１３０が車両機器６０を制御する制御処理の詳細について説明する。

［制御処理の例（その１）：処理実績の無いコマンドを取得した場合］
まず、処理実績のないコマンドを取得した場合のエージェント機能部１３０の制御処理について説明する。エージェント機能部１３０は、エージェントサーバ２００からコマンドを取得する。エージェント機能部１３０は、取得したコマンドと、第２対応情報１５４とに基づいて、取得したコマンドに含まれる車両機器６０に係る指示が、第２対応情報１５４に含まれるか否かを判定する。エージェント機能部１３０は、第２対応情報１５４にコマンドが含まれないと判定する場合、当該コマンドについて処理実績が無いものとみなし、制御量情報１５２に基づいて、制御量を特定する。エージェント機能部１３０は、コマンドに含まれる車両機器６０に係る動作量を検索キーとして制御量情報１５２を検索し、当該動作量に対応付けられた制御量を特定する。換言すると、エージェント機能部１３０は、コマンドと、制御量情報１５２に基づいて、動作量を制御量に変換する。エージェント機能部１３０は、変換した制御量をコマンドに含まれる制御対象の車両機器６０に対する制御の制御量として決定し、制御を実行する。車両機器６０の制御の実行に係る処理において、エージェント機能部１３０は、「指示部」の一例である。

そして、エージェント機能部１３０は、コマンドに含まれる指示と、実際に車両機器６０を制御した制御量とを対応付けた情報を、制御対象の車両機器６０に係る第２対応情報１５４として生成（更新）する。エージェント機能部１３０は、次回以降、同一の指示に係る車両機器６０の制御について第２対応情報１５４を参照すれば、動作量を制御量に変換する処理を行わなくとも、取得したコマンドに含まれる指示から制御量を決定できるため、同様の発話に係る制御を簡便に行うことができる。

［制御処理の例（その２）：処理実績の有るコマンドを取得した場合］
次に、処理実績の有るコマンドを取得した場合のエージェント機能部１３０の制御処理について説明する。エージェント機能部１３０は、エージェントサーバ２００からコマンド（指示）をエージェントサーバ２００から取得する。エージェント機能部１３０は、取得したコマンドと、第２対応情報１５４とに基づいて、取得したコマンドに含まれる車両機器６０に係る指示が、第２対応情報１５４に含まれるか否かを判定する。エージェント機能部１３０は、第２対応情報１５４にコマンドが含まれると判定する場合、当該コマンドについて処理実績が有るものとみなし、コマンドに含まれる指示に対応付けられた制御量を特定する。エージェント機能部１３０は、特定した制御量をコマンドに含まれる制御対象の車両機器６０に対する制御の制御量として決定し、制御を実行する。

［制御場面］
図８は、エージェント機能部１３０により運転席のパワーウィンドウ装置の制御が行われる場面（以下、制御場面）を模式的に示す図である。図８において、車両Ｍの乗員（この場合、運転席に着座する乗員）は、運転席の窓を開けることを意図してエージェントに対して、「ちょっと窓を開けて」の指示を行う。音響処理部１１２は、１０から収集される車両Ｍの乗員の発話の音声に基づいて、音声ストリームを生成し、エージェント機能部１３０に出力する。エージェント機能部１３０は、音響処理部１１２によって生成された音声ストリームをエージェントサーバ２００に送信する。自然言語処理部２２１は、音声ストリームが音声認識部２２０により音声認識された認識結果に基づいて、制御対象の車両機器６０に係る動作量を特定し、コマンドを生成する。図８において、自然言語処理部２２１は、乗員の指示である、「ちょっと窓を開けて」と、特定した車両機器６０である「運転席のパワーウィンドウ装置」と、特定した車両機器６０の動作量である、「１０％窓を開ける」とを含むコマンドを生成する。

上述したように、エージェント機能部１３０は、コマンドに含まれる車両Ｍの乗員の指示について、処理実績が有る場合には、第２対応情報１５４に基づいて制御量を決定し、処理実績が無い場合には、制御量情報１５２に基づいて制御量を決定する。図５に示す第２対応情報１５４には、「ちょっと窓を開けて」の指示が含まれるため、エージェント機能部１３０は、「ちょっと窓を開けて」という指示に対応する制御量を「モータ１０回転」として決定する。そして、エージェント機能部１３０は、決定した制御量によって制御対象の車両機器６０を制御する。

図８において、運転席のパワーウィンドウ装置ＰＷは、窓部ＷＤと、駆動部ＡＱとを備える。窓部ＷＤと、駆動部ＡＱとは、互いに固定され、駆動部ＡＱがエージェント機能部１３０の制御に基づいてレールＷＲに沿って移動することにより、窓部ＷＤは、上下方向に移動（開閉）される。エージェント機能部１３０は、運転席のパワーウィンドウ装置ＰＷに対して、駆動部ＡＱを「モータ１０回転」の制御量によって制御して、窓部ＷＤを開状態にするように指示し、窓部ＷＤを「１０％窓を開ける」状態にする。

これにより、エージェントシステム１は、乗員の発話に応じて乗員が所望する車両機器６０の制御を行いつつ、当該制御を第２対応情報１５４として記憶させ、次回から乗員の発話に応じた車両機器６０の制御を簡便な処理によって行うようにすることができる。

［コマンドと汎用スイッチ４０との対応付け］
また、制御場面において、第１スイッチＳＷ１〜第３スイッチＳＷ３のいずれかのスイッチに対する車両Ｍの乗員の操作が受付部１２６によって受け付けられた場合、当該操作が受け付けられたスイッチに、車両機器６０に対する制御を対応付けてもよい。図９は、スイッチと制御を対応付ける場面の一例を示す図である。表示制御部１２４は、例えば、制御場面において、第１スイッチＳＷ１〜第３スイッチＳＷ３のうちいずれか（図示では第１スイッチＳＷ１）のＬＥＤを点灯させ、スイッチの操作を車両Ｍの乗員に促す。エージェント機能部１３０は、受付部１２６によりスイッチへの入力が受け付けられた場合、入力を受け付けたスイッチを示す情報と、制御場面において制御対象の車両機器６０に対して行われた制御に係る情報とを互いに対応付けた一以上のレコードを含む第３対応情報１５６を生成する。

図１０は、第３対応情報１５６の内容の一例を示す図である。第３対応情報１５６は、例えば、スイッチを示す情報と、制御場面の制御対象の車両機器６０を示す情報と、制御場面の制御に係るコマンドに含まれる指示を示す情報と、制御場面の制御対象の車両機器６０を制御する制御量を示す情報とが互いに対応付けられた情報である。第３対応情報１５６が生成（更新）された以降、エージェント機能部１３０は、受付部１２６によって第１スイッチＳＷ１〜第３スイッチＳＷ３のいずれかのスイッチに対する車両Ｍの乗員の操作が受け付けられた場合、第３対応情報１５６に基づいて、当該スイッチに制御に係る情報が対応付けられているか否かを判定する。エージェント機能部１３０は、当該スイッチに制御に係る情報が対応付けられている場合、当該スイッチに対応付けられた制御量によって、当該スイッチに対応付けられた制御対象の車両機器６０を制御する。

［コマンドと車両機器のスイッチとの対応付け］
また、制御場面において、車両機器６０の汎用スイッチのいずれかのスイッチに対する車両Ｍの乗員の操作が、車両機器６０の受付部８２によって受け付けられた場合、当該操作が受け付けられたスイッチに、車両機器６０に対する制御を対応付けてもよい。例えば、音声制御部１２２が、制御場面において、汎用スイッチのうちいずれか（例えば、汎用第１スイッチＳＷ７）に対して、スイッチの操作を車両Ｍの乗員に促すための音声をスピーカ３０から出力させる。エージェント機能部１３０は、車両機器６０の受付部８２によりスイッチへの入力が受け付けられた場合、入力を受け付けたスイッチを示す情報と、制御場面において制御対象の車両機器６０に対して行われた制御に係る情報とを互いに対応付けた一以上のレコードを含む第４対応情報８４２を生成する。

図１１は、第４対応情報８４２の内容の一例を示す図である。第４対応情報８４２は、例えば、スイッチを示す情報と、制御場面の制御対象の車両機器６０（この場合、運転席のパワーウィンドウ装置）において、制御場面の制御に係るコマンドに含まれる指示を示す情報と、制御場面の制御対象の車両機器６０を制御する制御量を示す情報とが互いに対応付けられた情報である。第４対応情報８４２が生成（更新）された以降、車両機器６０の車両機器用ＥＣＵ８０は、車両機器６０の受付部８２によって汎用スイッチのいずれかのスイッチに対する車両Ｍの乗員の操作が受け付けられた場合、第４対応情報８４２に基づいて、当該スイッチに制御に係る情報が対応付けられているか否かを判定する。車両機器６０の車両機器用ＥＣＵ８０は、当該スイッチに制御に係る情報が対応付けられている場合、当該スイッチに対応付けられた制御量によって、当該スイッチに対応付けられた制御対象の車両機器６０を制御する。

これにより、エージェントシステム１は、乗員の発話に応じて乗員が所望する車両機器６０に対して行われた制御とスイッチとを対応付けて記憶させることができ、対応付けた以降は乗員の発話を用いずにスイッチを操作するだけで車両機器６０の制御を行うようにすることができる。

なお、上述では、表示制御部１２４は、第１スイッチＳＷ１〜第３スイッチＳＷ３のうちいずれかのＬＥＤを点灯させる場合について説明したが、これに限られない。表示制御部１２４は、例えば、第３対応情報１５６を参照し、制御が対応付けられていないスイッチのＬＥＤを点灯させ、当該スイッチの操作を車両Ｍの乗員に促すようにしてもよい。例えば、表示制御部１２４は、第３対応情報１５６がいずれのスイッチにも制御が対応付けられていないことを示す場合、複数のスイッチ（全てでもよい）のＬＥＤを点灯させてもよい。また、表示制御部１２４は、ＬＥＤを単に点灯させる以外にも、点滅させたりすることによって、より車両Ｍの乗員の操作を促すようにしてもよい。

［動作フロー］
図１２は、実施形態に係るエージェントシステム１の一連の動作の一例を示すフローチャートである。本フローチャートの処理は、例えば、所定周期或いは所定のタイミングで繰り返し実行されてよい。また、図１２の例では、エージェント装置１００により実行される処理のうち、主にウエイクアップワードによりエージェントを起動し、乗員の発話に含まれる要求に応答する処理について説明するものとし、エージェント装置１００のエージェント機能部１３０と協働して実行されるエージェントサーバ２００の処理も含めて説明するものとする。

図１２の例において、まず、エージェントＷＵ判定部１１４は、ウエイクアップワードに対応付けられたエージェント（エージェント機能部１３０）を起動させる（ステップＳ１００）。次に、音響処理部１１２は、マイク１０等により音声を受け付けたか否かを判定する（ステップＳ１０２）。音声を受け付けた場合、音響処理部１１２は、受け付けた音声に対して発話内容を認識するのに適した状態になるように音響処理を行う（ステップＳ１０４）。音響処理された音声は、エージェント機能部１３０からエージェントサーバ２００に送信される。

エージェントサーバ２００の音声認識部２２０は、受け付けた音声の認識を行い、音声をテキスト化する（ステップＳ１０６）。次に、自然言語処理部２２１は、テキスト化された文字情報に対する自然言語処理を実行し、文字情報の意味解析を行う（ステップＳ１０８）。次に、自然言語処理部２２１は、意味解析結果に対応する機能を抽出し、コマンドを生成する（ステップＳ１１０）。自然言語処理部２２１により生成されたコマンドは、通信部２１０からエージェント装置１００に送信される。次に、エージェント機能部１３０は、自然言語処理部２２１により生成されたコマンドを取得（受信）し、取得したコマンドに含まれる指示が、第２対応情報１５４に含まれるか否かを判定する（ステップＳ１１０）。

エージェント機能部１３０は、取得したコマンドに含まれる指示が、第２対応情報１５４に含まれると判定した場合、第２対応情報１５４に基づいて、当該指示に対応付けられた制御量を、制御対象の車両機器６０の制御に係る制御量として決定する（ステップＳ１１２）。エージェント機能部１３０は、取得したコマンドに含まれる指示が、第２対応情報１５４に含まれないと判定した場合、制御量情報１５２に基づいて、当該コマンドに含まれる動作量に対応付けられた制御量を、制御対象の車両機器６０の制御に係る制御量として決定する（ステップＳ１１４）。エージェント機能部１３０は、ステップＳ１１２、又はステップＳ１１４において決定した制御量によって制御対象の車両機器６０を制御する（ステップＳ１１８）。エージェント機能部１３０は、例えば、決定した制御量によって車両機器６０を制御するように、車両機器６０の制御装置ＥＣＵ１に指示する。エージェント機能部１３０は、制御量情報１５２に基づいて制御量を決定した場合、取得したコマンドと、決定した制御量とに基づいて、第２対応情報１５４を生成（更新）する（ステップＳ１２０）。

応答内容生成部２２４は、生成した応答内容をエージェント装置１００に送信し、エージェント機能部１３０は、エージェントサーバ２００から取得した応答結果を出力部に出力させる（ステップＳ１２２）。具体的には、エージェント機能部１３０は、エージェントサーバ２００から取得した応答結果を、音声として音声制御部１２２にスピーカ２０から出力させ、画像として表示制御部１２４に表示・操作装置３０の表示装置に表示させる。ステップＳ１２２の処理後、またはステップＳ１２０の処理において音声を受け付けていない場合、エージェント機能部１３０は、エージェントの処理を終了させるか否かを判定する（ステップＳ１２４）。エージェントを終了させないと判定された場合には、ステップＳ１０２の処理に戻る。また、エージェントを終了させると判定された場合、管理部１１０は、エージェントを終了させる（ステップＳ１２６）。エージェントを終了させる場合には、例えば、エージェントを終了させる終了ワードの音声を受け付けた場合、エージェントを終了させる車載スイッチが押された場合、マイク１０が音声を受け付けない状態が所定時間以上継続した場合等が含まれる。本フローチャートの処理は、終了する。

［実施形態のまとめ］
以上説明したように、本実施形態のエージェントシステム１によれば、乗員の発話に応じて、乗員が所望する車両機器６０の制御に係る制御量情報１５２を記憶部１５０に記憶させることができる。そして、本実施形態のエージェントシステム１によれば、制御量情報１５２が記憶された以降、同様の発話に係る車両機器６０の制御を、動作量と制御量との変換をせずに簡便に行うことができる。また、本実施形態のエージェントシステム１によれば、乗員の発話に応じて、乗員が所望する車両機器６０の制御を、汎用スイッチ４０が備える一以上の受付部（本実施形態では、スイッチ）に対応付けた第３対応情報１５６を記憶部１５０に記憶させることができる。そして、本実施形態のエージェントシステム１によれば、第３対応情報１５６が記憶された以降、同様の車両機器６０の制御を、発話を用いずに簡便に行うことができる。

ここで、車両Ｍの乗員が、車両Ｍ以外の他の車両に乗車する場合であり、且つ車両Ｍと他の車両とが同様の機能を有する場合がある。この場合、車両Ｍと、他の車両との間で第２対応情報１５４や、第３対応情報１５６が共有可能である場合、他の車両に乗車する乗員は、車両Ｍに乗車する際と同様の発話によって、同様に車両機器６０を制御することができ、車両Ｍの汎用スイッチ４０に対する操作と同様の操作によって、同様に車両機器６０を制御することができる。したがって、本実施形態のエージェントシステム１によれば、車両機器６０の制御に係る発話、或いは操作を車両間で同期することができる。

なお、車両Ｍの乗員が、車両Ｍ以外の他の車両に乗車する場合であり、且つ車両Ｍと他の車両とが同一の機能を有していない場合には、エージェント機能部１３０は、車両Ｍと他の車両とに係る変換情報（不図示）を参照し、第２対応情報１５４の制御量を他の車両に応じた制御量に変換してもよい。これにより、本実施形態のエージェントシステム１は、車両Ｍと他の車両とが同一の機能を有していない場合であっても、車両機器６０の制御に係る発話、或いは操作を車両間で同期することができる。

［変形例］
以下、図面を参照して本実施形態に係る変形例について説明する。実施形態では、変形例では、車両Ｍの乗員の発話の内容に制御量を補正する指示が含まれる場合に、当該補正する指示に基づいて、第２対応情報１５４を更新する場合について説明する。なお、上述した実施形態と同様の構成については、同一の符号を付して説明を省略する。

図１３は、車両Ｍの乗員が制御量を補正する指示を発話している場面の一例を示す図である。エージェント機能部１３０は、先の乗員の発話（この一例では、「ちょっと窓を開けて」）に基づき、上述した制御によって、運転席のパワーウィンドウ装置の制御量を「モータ１０回転」と決定し、制御する。車両Ｍの乗員は、この制御に係る制御場面において所望の制御が行われなかった場合等に、制御量の補正に係る発話を行う。制御場面において所望の制御が行われなかった場合とは、例えば、乗員の発話に基づく制御量によって車両機器６０が制御されたものの、乗員が所望するような制御状態まで車両機器６０が制御されなかった場合等である。具体的には、乗員の「ちょっと窓を開けて」という発話に対して、パワーウィンドウ装置が「モータ１０回転」の制御量によって制御されたものの、乗員が所望するような開度まで窓が開かなかった場合等である。また、制御量の補正に係る発話は、例えば、現在の制御状態から変更したい車両機器６０の制御状態や、車両機器６０の動作量の程度等を含む発話である。具体的には、制御量の補正に係る発話は、「もっと開けて」、「もうちょっと開けて」、「もっと閉めて」、「もうちょっと閉めて」等の発話である。

変形例において、自然言語処理部２２１は、制御場面において音声制御部１２２によって生成された音声ストリームに基づいて、意味解釈を行う。そして、自然言語処理部２２１は、意味解釈された結果、制御場面における車両Ｍの乗員の発話が、車両Ｍの乗員が制御量の補正に係る発話であるか否かを判定する。自然言語処理部２２１は、制御場面における車両Ｍの乗員の発話が、車両Ｍの乗員が制御量の補正に係る発話であると判定された場合、当該発話の内容に基づいて、制御量を補正する指示を特定する。図１３に示す例では、自然言語処理部２２１は、「もっと開けて」という指示を、直前の制御量を補正する指示として特定する。

エージェント機能部１３０は、自然言語処理部２２１により特定された制御量を補正する指示に基づいて、第２対応情報１５４に示される制御量を補正する。この場合、エージェント機能部１３０は、制御量を補正する指示から、現在の制御状態から変更したい車両機器６０の制御状態（この場合、窓を「開ける」）や、車両機器６０の動作量の程度（この場合、「もっと」）を特定し、特定した情報に基づいて、第２対応情報１５４を補正する。エージェント機能部１３０は、制御場面において制御された車両機器６０について、補正した第２対応情報１５４に基づいて、更に制御し、車両Ｍの乗員が所望する制御が行われるまでの間（つまり、制御場面において制御量を補正する指示が含まれた発話がなくなるまでの間）、処理を繰り返す。

［動作フロー］
図１４は、変形例に係るエージェントシステム１の一連の動作の一例を示すフローチャートである。図１４に示す処理のうち、図１２に示す処理と同一の処理については、同一のステップ番号を付して説明を省略する。

ステップＳ１１８において、エージェント機能部１３０が決定した制御量によって制御対象の車両機器６０を制御した後、変形例の自然言語処理部２２１は、ステップＳ１０２〜Ｓ１０８と同様の処理を行い、意味解釈された車両Ｍの乗員の発話が、車両Ｍの乗員が制御量の補正に係る発話であるか否かを判定する（ステップＳ２００）。自然言語処理部２２１は、意味解釈された車両Ｍの乗員の発話が、車両Ｍの乗員が制御量の補正に係る発話ではないと判定した場合、処理をステップＳ１２０に進める。エージェント機能部１３０は、自然言語処理部２２１により、意味解釈された車両Ｍの乗員の発話が、車両Ｍの乗員が制御量の補正に係る発話であると判定された場合、発話の内容に基づいて、第２対応情報１５４を補正する（ステップＳ２０２）。エージェント機能部１３０は、例えば、制御量を補正する指示から、現在の制御状態から変更したい車両機器６０の制御状態や、車両機器６０の動作量の程度を特定し、特定した情報に基づいて、第２対応情報１５４を補正する。また、エージェント機能部１３０は、補正の結果、他の指示と制御量が同一になってしまった場合、当該補正に応じた制御量だけ、他の指示の制御量を増やしたり、減らしたりする補正を更に行ってもよい。エージェント機能部１３０は、補正した第２対応情報１５４に基づいて、制御量を決定し（ステップＳ２０４）、処理をステップＳ１１８に進める。エージェント機能部１３０は、ステップＳ２０４において決定された制御量に基づいて、車両機器６０を制御する。

［変形例のまとめ］
以上説明したように、変形例のエージェントシステム１によれば、乗員の発話に応じて第２対応情報１５４を補正し、乗員が所望する車両機器６０の制御を補正することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…エージェントシステム、１０…マイク、２０…スピーカ、３０…表示・操作装置、４０…汎用スイッチ、５０…ナビゲーション装置、６０…車両機器、７０…車載通信装置、８０…乗員認識装置、１００…エージェント装置、１１０…管理部、１１２…音響処理部、１１４…エージェントＷＵ判定部、１１６…通信制御部、１２０…出力制御部、１２２…音声制御部、１２４…表示制御部、１２６…受付部、１３０…エージェント機能部、１４０…車載通信部、１５０…記憶部、１５２…制御量情報、１５４…第２対応情報、１５６…第３対応情報、２００…エージェントサーバ、２１０…通信部、２２０…音声認識部、２２１…自然言語処理部、２２２…対話管理部、２２３…ネットワーク検索部、２２４…応答内容生成部、２５０…記憶部、２５２Ａ…機能辞書、２５２Ｂ…汎用辞書、２５２…辞書ＤＢ、２５４…パーソナルプロファイル、２５６…知識ベースＤＢ、２５８…応答規則ＤＢ、２６０…第１対応情報、３００…各種ウェブサーバ

Claims (8)

1. 制御対象装置、制御装置、第１記憶部、第２記憶部、第３記憶部、及び音声インターフェース装置とを含む制御システムであって、
   利用者により発話された音声を示すデータを取得する取得部と、
   前記取得部により取得された前記データに基づいて、前記利用者の発話の内容を解釈する発話内容解釈部と、
   前記発話の内容に、前記制御対象装置における制御対象を制御する指示が含まれる場合、指示と前記制御対象の動作量とが対応付けられた第２記憶部に記憶された第１対応情報を参照し、前記制御対象の動作量を決定する決定部と、
   前記決定部により決定された動作量で前記制御対象を制御するように前記制御装置に指示する指示部と、を備えるとともに、
   前記指示部は、前記制御装置によって実際に前記制御対象が制御された際の制御量を、前記発話内容解釈部により解釈された指示に基づく情報に対応付けられた第２対応情報として前記第１記憶部に登録させる、
   制御システム。
2. 前記指示部は、前記発話内容解釈部に解釈された指示と、前記第２対応情報とに更に基づいて、前記制御対象を制御するように前記制御装置に指示する、
   請求項１に記載の制御システム。
3. 前記利用者の操作を受け付ける受付部を更に備え、
   前記指示部は、当該指示部の指示に応じて前記制御対象が制御される場合において、前記受付部により前記利用者の操作が受け付けられた場合に、前記指示部の指示による制御の内容を、前記利用者の操作に対応付けた第３対応情報として前記第１記憶部に記憶させる、
   請求項１または２に記載の制御システム。
4. 前記利用者の操作を受け付ける受付部を、前記制御対象の該制御対象装置専用に更に備え、
   前記指示部は、当該指示部の指示に応じて前記制御対象が制御される場合において、前記受付部により前記利用者の操作が受け付けられた場合に、前記指示部の指示による制御の内容を、前記利用者の操作に対応付けた第４対応情報として第３記憶部に記憶させる、
   請求項１または２に記載の制御システム。
5. 前記指示部は、前記受付部に受け付けられた操作と、前記第３対応情報とに更に基づいて、前記制御対象を制御するように前記制御装置に指示する、
   請求項３に記載の制御システム。
6. 前記指示部の指示に応じて前記制御対象が制御される場合において、前記受付部の操作を促す通知部を更に備える、
   請求項３または４に記載の制御システム。
7. 前記指示部の指示に応じて前記制御対象が制御される場合において、解釈された前記発話の内容に前記制御量を補正する指示が含まれる場合、当該指示に基づいて前記第２対応情報を更新する、
   請求項１から５のうちいずれか一項に記載の制御システム。
8. 制御対象装置、制御装置、第１記憶部、第２記憶部、第３記憶部、及び音声インターフェース装置とを構成する複数のコンピュータが実行する、
   利用者により発話された音声を示すデータを取得する取得プロセスと、
   取得された前記データに基づいて、前記利用者の発話の内容を解釈する発話内容解釈プロセスと、
   前記発話の内容に前記制御対象装置を制御する指示が含まれる場合、指示と前記制御対象装置の動作量とが対応付けられた第２記憶部に記憶された第１対応情報を参照し、前記制御対象装置の動作量を決定する決定プロセスと、
   決定された前記動作量で前記制御対象装置を制御するように前記制御装置に指示する指示プロセスと、
   前記制御装置により実際に前記制御対象装置が制御された際の制御量が、解釈された指示に基づく情報に対応付けられた第２対応情報として前記第１記憶部に登録される登録プロセスと、
   を有する制御方法。

Images