JP2018005722A - 音声操作装置及び制御方法 - Google Patents

Abstract

【課題】音声認識を用いた操作形態の利便性を向上する。
【解決手段】音声操作装置は、イラスト画像を制御対象に対応付けて、制御対象の操作画面に表示する表示手段と、イラスト画像で表された物象の名称と物象の数量とを組合せた入力音声を音声認識すると共に、イラスト画像に対応付けられた制御対象を音声認識された物象の名称から特定し、特定した制御対象の制御量を音声認識された数量に対応する量に基づいて変更する処理手段と、を備える。
【選択図】図２

Description

本発明は、音声操作装置及び制御方法に関する。

従来から、音声入力を入力インターフェースに用いる車載用の入力装置が知られている。車載用の入力装置は、例えば、ＡＶＮ機（車載用オーディオ・ビジュアル・ナビゲーション一体機）の一部を構成する。入力装置は、例えば、マイクロフォン等を介して受け付けた乗員等の音声入力に対して音声認識処理を行い、受け付けた音声入力の指示内容を特定する。ＡＶＮ機は、例えば、入力装置で特定された音声入力の指示内容を操作入力として受け付けると共に、受け付けた指示内容に沿ってＡＶＮ機の操作制御を行う。ＡＶＮ機の操作制御は、例えば、アプリケーションプログラム（以下、アプリとも称す）の実行により提供される。

例えば、ナビゲーションアプリが機能し、目的地への指示入力を待っている状態では、ＡＶＮ機は、受け付けた音声入力の指示内容に沿って表示デバイスに表示される地図画面の切替を行う。また、例えば、オーディオアプリが機能し、再生対象の楽曲の指示入力を待っている状態では、ＡＶＮ機は、受け付けた音声入力の指示内容に沿って再生対象の楽曲を選択し、選択した楽曲の再生を行う。ＡＶＮ機が搭載される車両においては、例えば、乗員の発声指示によるＡＶＮ機の操作が行えるため、車両走行中の安全性を高めることが可能になる。

なお、本明細書で説明する技術に関連する技術が記載されている先行技術文献としては、以下の特許文献が存在している。

特開２０１４−１６４３２５号公報

ところで、音声入力を用いた入力インターフェースにおいては、例えば、音声入力を行う操作者（以下、ユーザとも称す）は、操作対象への命令指示の単語や文章を予め学習することが求められる。また、楽曲の選択といった操作においては、ユーザは、例えば、選択対象について長い発音を求められる場合があり、曲名を正確に発音することが求められる傾向にあった。このため、音声入力機能を備えていても、ユーザは音声認識処理を難易度が高いものと捉える傾向があり、音声入力機能の使用を敬遠する傾向にあった。本発明は、音声認識を用いた操作形態の利便性を向上することにある。

開示の技術の一側面は、音声操作装置によって例示される。すなわち、音声操作装置は、イラスト画像を制御対象に対応付けて、制御対象の操作画面に表示する表示手段と、イラスト画像で表された物象の名称と物象の数量とを組合せた入力音声を音声認識すると共に、イラスト画像に対応付けられた制御対象を音声認識された物象の名称から特定し、特定した制御対象の制御量を音声認識された数量に対応する量に基づいて変更する処理手段と、を備えることを特徴とする。

本音声操作装置によれば、音声認識を用いた操作形態の利便性が向上できる。

音声操作装置のハードウェア構成の一例を示す図である。 音声入力により音量の増加減を調節する音声操作の一例を説明する図である。 音声入力により楽曲選択時の表示リストの送り・戻しを行う音声操作の一例を説明する図である。 音声入力により、車内に配置されたスピーカ群について音場制御を行う音声操作の一例を説明する図である。 本実施形態の音声操作装処理の一例を示すフローチャートである。

以下、図面を参照して、一実施形態に係る音声操作装置について説明する。以下の実施形態の構成は例示であり、本音声操作装置は実施形態の構成には限定されない。

＜１．装置構成＞
図１は、本実施形態の音声入力を入力インターフェースに用いる車載用の入力装置のハードウェア構成の一例を示す構成図である。音声入力を入力インターフェースに用いる車載用の入力装置１０（以下、音声操作装置１０とも称す）は、ＡＶＮ機（車載用オーディオ・ビジュアル・ナビゲーション一体機）の一部を構成する。

本実施形態に係る音声操作装置１０は、例えば、音量や温度、照明の明るさといった制御量の変更を音声入力による操作可能な制御対象とする。そして、音声操作装置１０は、例えば、制御対象の制御量の可変方向を発声音の短い簡易な単語として受け付ける。また、音声操作装置１０は、制御量を可変する制御幅を単位ステップに対する乗数（数量）として受け付ける。音声操作装置１０は、上記単語と上記数量とを組合せた言葉を制御対象への操作指示として受け付ける。なお、音声操作装置１０の表示デバイス１４上には、上記単語を名称とする挿絵（イラスト）画像が制御対象に対する操作画面と共に表示される。

例えば、ＡＶＮ機においてオーディオアプリが機能し、音声操作装置１０の表示デバイス１４上には、音量を制御対象とし該音量の増減を可変するための操作画面が表示されるとする。本実施形態に係る音声操作装置１０においては、表示デバイス１４に表示される操作画面には、例えば、音量の増加方向を示すイラスト画像、および、音量の減少方向を示すイラスト画像が表示される。

ここで、各イラスト画像は、制御対象の内容（音量）とは無関係な、発声音の短い簡便な単語を名称に持つ具体性を有する物事のイメージ画像である。つまり、各イラスト画像は、制御対象の制御内容とは直接的な関係を連想しない事象を示すイラストである。このようなイラスト画像として、例えば、「ぞう」や「ぶどう」といった生物、「太陽」や「地球」といった無生物、「青」や「赤」といった色彩等が例示できる。

本実施形態に係る音声操作装置１０は、例えば、ユーザの音声入力から、操作画面に表示されたイラスト画像で表された物事の名称と、名称に組合せられた数量とを音声認識により識別する。そして、音声操作装置１０は、操作画面に表示されたイラスト画像の名称から制御量の操作方向を特定し、名称と組合せられた数量から制御幅を特定する。音声操作装置１０は、特定された制御量の操作方向および制御幅に沿って、例えば、操作画面に表示された制御対象の操作を行う。

本実施形態に係る音声操作装置１０では、イラスト画像の名称（発声音の短い簡便な単語）が使用されるため、単純な発声により制御対象の操作方向が指定できる。音声入力を行うユーザは、長い発音を求められることはない。また、本実施形態に係る音声操作装置１０では、名称と数量とを組合せることでユーザの所望する制御対象を所望の量だけ変更することができる。本実施形態に係る音声操作装置１０によれば、音声認識を用いた操作形態の利便性が向上できる。

本実施形態に係る音声操作装置１０は、図１に例示のように、接続バス１７によって相互に接続されたＣＰＵ（Central Processing Unit）１１、主記憶装置１２、補助記憶装
置１３、表示デバイス１４、通信ＩＦ（Interface）１５、入出力ＩＦ１６を備える。な
お、表示デバイス１４は、例えば、表示デバイス１４面に重畳させて接触させた操作指の接触位置を検出するタッチセンサ等のデバイスを備え、タッチパネルとして機能するとしてもよい。表示デバイス１４は、タッチパネルとして機能することで、例えば、表示デバイス１４に表示されたボタンやスライドスイッチ等の表示部品に対する接触操作を受けることが可能になる。なお、表示部品は、グラフィックユーザインターフェース（ＧＵＩ）部品とも呼ばれる。以下では、表示デバイス１４は、タッチパネル機能を有するとして説明する。

ＣＰＵ１１は、音声操作装置１０全体の制御を行う中央処理演算装置である。ＣＰＵ１１はプロセッサとも呼ばれる。ただし、ＣＰＵ１１は、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のＣＰＵ１１がマルチコア構成であってもよい。ＣＰＵ１１は、補助記憶装置１３に記憶されたプログラムを主記憶装置１２の作業領域に実行可能に展開し、プログラムの実行を通じて周辺機器の制御を行うことで所定の目的に合致した機能を提供する。

主記憶装置１２は、ＣＰＵ１１がプログラムやデータをキャッシュしたり、作業領域を展開したりする記憶媒体である。主記憶装置１２は、例えば、フラッシュメモリ、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）を含む。補助記憶装置１３は、ＣＰＵ１１により実行されるプログラムや、動作の設定情報などを記憶する記憶媒体である。補助記憶装置１３は、例えば、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、ＥＰＲＯＭ（Erasable Programmable ROM）、フラッシュメモリ、ＵＳＢメモリ
、ＳＤ（Secure Digital）メモリカード等である。通信ＩＦ１５は、音声操作装置１０に接続するネットワークとのインターフェースである。入出力ＩＦ１６は、音声操作装置１０に接続するセンサや装置との間でデータの入出力を行うインターフェースである。

音声操作装置１０は、例えば、入出力ＩＦ１６を介し、マイクロフォン１６ａ、スピーカ１６ｂ等に接続する。マイクロフォン１６ａは、ＡＶＮ機を搭載する車両の、乗員等の発声する音声が入力される入力デバイスである。マイクロフォン１６ａから入力された情報は、接続バス１７を介してＣＰＵ１１に通知される。スピーカ１６ｂは、ＣＰＵ１１等で処理されたデータが出力される出力デバイスである。スピーカ１６ｂには、１以上の複数のスピーカが含まれ得る。なお、上記の構成要素はそれぞれ複数に設けられてもよいし、一部の構成要素を設けないようにしてもよい。また、上記の構成要素は、ＡＶＮ機の構成要素に含まれるとしてもよい。

表示デバイス１４は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electroluminescence）パネル、有機ＥＬパネル等である。なお
、タッチパネルとして機能する表示デバイス１４では、操作指等の接触位置は、例えば、左上角部を原点とし、表示デバイス１４の左右方向をＸ軸、上下方向をＹ軸とした（Ｘ，Ｙ）の２次元座標として表される。タッチパネルとして機能する表示デバイス１４は、例えば、ユーザの接触操作が可能なように表示デバイス１４面を露出するようにして車両の
センターコンソール等に収容される。

音声操作装置１０では、ＣＰＵ１１のプログラムの実行により、音声認識部２１、操作処理部２２の処理が提供される。但し、上記各処理部の少なくとも一部の処理がDigital Signal Processor(DSP)、Application Specific Integrated Circuit（ASIC）等によって提供されてもよい。また、上記各処理部の少なくとも一部が、Field-Programmable Gate Array(FPGA)等の専用large scale integration（LSI）、その他のデジタル回路であって
もよい。また、上記各処理部の少なくとも一部にアナログ回路を含むとしてもよい。音声操作装置１０は、上記各処理部が参照し、或いは、管理するデータの格納先として補助記憶装置１３に音声認識辞書ＤＢ２０１、部品管理ＤＢ２０２を備える。

音声認識部２１は、入出力ＩＦ１６を介し、マイクロフォン１６ａに入力されたユーザの発声音声を音声データとして受け付ける。マイクロフォン１６ａに入力された発声音声には、ＡＶＮ機が提供するナビゲーション機能、オーディオ機能等についての操作指示が含まれる。音声認識部２１は、例えば、音声認識辞書ＤＢ２０１を参照し、マイクロフォン１６ａに入力された音声に対して音声認識処理を行う。音声認識処理では、音声認識辞書ＤＢ２０１に予め登録された音響モデルや、音声データに対応した言葉（文章、単語等の文字列）とのマッチングが行われる。音声認識処理の結果、マイクロフォン１６ａに入力された音声の中のユーザの発声指示に合致する言葉が特定される。音声認識部２１は、音声データから特定した言葉を操作処理の対象データとして操作処理部２２に引き渡す。

操作処理部２２は、部品管理ＤＢ２０２を参照し、音声認識部２１から引き渡された対象データに対応する表示部品（ＧＵＩ部品）を特定する。操作処理部２２は、上記対象データに対応する表示部品が部品管理ＤＢ２０２に登録されている場合には、該表示部品に関連付けられた制御対象をさらに特定する。操作処理部２２は、音声認識部２１から引き渡された対象データの示す情報に基づいて、特定した表示部品に関連付けされた制御対象の制御量を操作する。

例えば、ＡＶＮ機においてオーディオアプリが機能し、表示デバイス１４上には、音量を制御対象とし該音量の増減を可変するための操作画面が表示されているとする。表示デバイス１４に表示された操作画面には、音量の増減を可変するためのスライド操作が可能な表示部品や、短押しや長押しによるボタン操作が可能な表示部品が表示されている。上記表示部品には、操作対象となる制御量、及び、該制御量を操作するためのアプリ機能（アプリ名）等が関連付けられている。上記表示部品に関連付けられた各種情報は、部品管理ＤＢ２０２に予め登録されている。

操作処理部２２は、例えば、表示デバイス１４に表示された上記表示部品への操作指示が対象データに含まれる場合には、部品管理ＤＢ２０２から上記表示部品に関連付けられたアプリ機能を特定する。操作処理部２２は、例えば、特定したアプリ機能に対し、対象データに含まれる制御量（操作量）を引き渡す。操作処理部２２により、例えば、音量の増減を可変する表示部品が操作され、ユーザの発声指示に対応した音量の増加操作、或いは、減少操作が可能になる。

＜２．音声操作例＞
（ケース１）
図２は、音声入力により音量の増加減を調節する音声操作の一例を説明する図である。図２に示すように、音声操作装置１０の表示デバイス１４上には、オーディオアプリを機能させたＡＶＮ機から提供された、上記音量を調節するための操作画面Ｚ１が表示される。操作画面Ｚ１において、表示部品Ｚ４−Ｚ１３は、音量を制御するためのボタン操作が可能な表示部品である。音声操作装置１０は、例えば、表示部品Ｚ４−Ｚ１３のそれぞれ
の領域内への短押しによる接触操作を検知し、接触操作が検知された表示部品に対応する制御量へ音量を増加減する。なお、図２に例示の表示部品は、音量の最大値を「ＭＡＸ（表示部品Ｚ１３）」とし、同音量の最小値を「Ｍｕｔｅ（表示部品Ｚ４）」とする一例である。また、音量の最大値と最小値との間は、「Ｖｏｌ１（表示部品Ｚ５）」から「Ｖｏｌ８（表示部品Ｚ１２）」に至る８段階の制御幅で区分けされる一例である。

図２に示すように、本実施形態に係る音声操作装置１０においては、制御対象（図２では、音量）の操作画面内に、制御対象とは無関係な、発声音の短い簡便な単語を名称に持つ具体性を有する物象のイラスト画像Ｚ２、Ｚ３が表示される。イラスト画像Ｚ２，Ｚ３として、例えば、「クジラ」や「スイカ」といった動植物、「富士山」や「月」といった地形や天体惑星、「黒」や「白」といった色彩等のイメージ画像が例示できる。イラスト画像Ｚ２、Ｚ３として、例えば、「クマ」、「キリン」、「ゾウ」といった動物や、「リンゴ」、「ブドウ」、「イチゴ」といった果物等のように、高齢者や子供が親近感を思える単語名称のイメージ画像を用いることが好ましい。上記単語名称を用いる場合には、車両に搭乗する高齢者や子供に対し、音声入力操作への親しみ易さを持たせることが期待される。

なお、操作画面内に表示されるイラスト画像は、制御対象とは無関係な、発声音の短い簡便な単語を名称に持つ具体性を有する物事のイメージ画像であれば、静止画像であってもよく、動画像であってもよい。また、イラスト画像の表示形態は、例えば、静止画像が音声操作の受付期間中に動きを伴うアニメーション画像となり、受け付けた音声操作の操作完了と共に静止画像の状態に戻るとしてもよい。音声操作の受付期間中の他の表示態様として、例えば、イラスト画像の表示箇所の明るさを明滅（ブリンク）させたり、イラスト画像の表示色の濃淡を一定周期で変化させるとしてもよい。

本実施形態に係る音声操作装置１０においては、イラスト画像Ｚ２、Ｚ３は、例えば、制御量の増加減、送りや戻し、ＵＰやＤＯＷＮといった制御方向を示す端部側に表示される。図２の例では、音声操作装置１０は、最大値の音量になる表示部品Ｚ１３（「ＭＡＸ」）側、および、最小値の音量になる表示部品Ｚ４（Ｍｕｔｅ）側のそれぞれに、音量の増加方向を示すイラスト画像Ｚ２、音量の減少方向を示すイラスト画像Ｚ３を表示する。なお、図２は、制御対象（音量）の制御方向（増加方向）を表すイラスト画像Ｚ２として動物「ゾウ」のイメージ画像を用い、制御方向（減少方向）を表すイラスト画像Ｚ３として動物「ネズミ」のイメージ画像を用いた一例である。

図２に例示のように、例えば、制御対象の制御方向が双方向である場合には、イラスト画像として、対向関係で表現可能な具体的な物象を一対に組合せて表示することが好ましい。例えば、体の大きさやサイズの大小関係を有する動植物、強弱関係にある動物、濃淡関にある色彩等が例示できる。制御対象の制御方向が双方向である場合には、対向関係で表現可能な具体的な物象のイラスト画像を組合せて表示することで、増加減、送りや戻し、ＵＰやＤＯＷＮといった制御量の制御方向をイメージし易くなることが期待される。

体の大きさやサイズの大小関係を有する動植物の例として、例えば、「ゾウとネズミ」、「クジラとメダカ」、「スイカとイチゴ」等が例示できる。強弱関係にある動物例として、例えば、「ネコとネズミ」、「ライオンとウサギ」、「シャチとサンマ」等が例示できる。濃淡関係にある色彩例として、例えば、「黒と白」等が例示できる。その他、大小関係の事象として、例えば、「太陽と地球」、「地球と月」、「富士山と＊＊山（＊＊山は、例えば、ユーザが居住する地区の低山）」、「海と沼」等が例示できる。また、他の対向関係として、例えば、「ホットコーヒーとアイスコーヒー」等が例示される。

図２において、本実施形態に係る音声操作装置１０では、音声入力の操作指示は、例え
ば、「イラスト画像の名称＋数量」との組合せによって簡略化される。音声操作装置１０は、例えば、「ゾウ３匹」との音声入力を受け付けた場合には、現在の音量レベル（例えば、「Ｖｏｌ３」）から３段階高い音量レベル（例えば、「Ｖｏｌ６」）に引き上げる。また、「ネズミ２匹」との音声入力を受け付けた場合には、現在の音量レベル（例えば、「Ｖｏｌ６」）から２段階低い音量レベル（例えば、「Ｖｏｌ４」）に引き下げる。

音声操作装置１０は、操作画面に表示されたイラスト画像Ｚ２，Ｚ３についての名称と数量とを組合せた、簡略化された音声指示を受け付けることで、発声するユーザの所望する制御対象を所望の量だけ変更することができる。このため、音声操作装置１０では、音声認識を用いた操作形態の利便性が向上できる。

（ケース２）
図３は、音声入力により楽曲選択時の表示リストの送り・戻しを行う音声操作の一例を説明する図である。図３に示すように、音声操作装置１０の表示デバイス１４上には、オーディオアプリを機能させたＡＶＮ機から提供された、楽曲選択時の表示リストの送り・戻しを行うための操作画面Ｚ１４が表示される。操作画面Ｚ１４の領域Ｚ１７には、例えば、楽曲名１−４の、４曲についての楽曲名がリスト形式により表示されている。なお、操作画面Ｚ１４に表示される楽曲は、例えば、ＡＶＮ機の利用可能な記録媒体に記憶された楽曲である。ＡＶＮ機の利用可能な記録媒体には、ＨＤＤやＳＳＤ、フラッシュメモリ、ＵＳＢメモリ、ＳＤメモリカード等が含まれる。また、操作画面Ｚ１４に表示される楽曲は、例えば、ＡＶＮ機の外部入力インターフェースを介して接続されたｉＰｏｄ（登録商標）に記録された楽曲であってもよい。

図２を用いて説明したように、制御対象である表示リストの送り・戻しの操作画面Ｚ１４には、制御対象とは無関係な、発声音の短い簡便な単語を名称に持つ具体性を有する物象のイラスト画像Ｚ１５、Ｚ１６が表示される。操作画面Ｚ１４に表示されるイラスト画像Ｚ１５、Ｚ１６は、対向関係で表現可能な具体的な物象の名称であり、一対に組合せて表示される。音声操作装置１０においては、例えば、ユーザの発声する「イラスト画像の名称＋数量」との組合せによって簡略化された音声操作を用いて、上記表示リストの送り・戻し操作が行われる。

図３においては、表示リストの送り方向側にはイラスト画像Ｚ１５が表示され、戻し方向側にはイラスト画像Ｚ１６が表示されている。例えば、操作画面Ｚ１４のイラスト画像Ｚ１５には「ゾウ」が表示され、イラスト画像Ｚ１６には「ネズミ」が表示されていると想定する。

ここで、ユーザの視聴する楽曲には、例えば、楽曲名としてイラスト画像Ｚ１５、Ｚ１６の名称と重複する単語が使用される場合が想定される。例えば、イラスト画像Ｚ１５として「ゾウ」が用いられ、楽曲名に「ぞう」を含む「ぞうさんの歌」等が存在する場合では、音声入力される音声「ゾウ」は重複することになる。音声操作装置１０では、例えば、名称「ゾウ」を音声認識した場合、音声操作による指示なのか、リスト表示された楽曲名を呼称した発声なのか区分けが困難になる。このため、楽曲名を読み上げた発声を音声操作による指示と誤認識してしまい、例えば、視聴中の楽曲を中断して送り操作を行うといった誤操作が生じる虞があった。

音声操作装置１０は、例えば、操作画面Ｚ１４に表示される楽曲名称が、イラスト画像Ｚ１５、Ｚ１６の名称と重複する場合には、イラスト画像の名称が楽曲名称とは重複しない単語となるように、イラスト画像の表示切替を行う。図３の例では、音声操作装置１０は、例えば、イラスト画像Ｚ１５として表示された「ゾウ」のイメージ画像を「くじら」のイラスト画像に変更する。なお、制御対象である表示リストの送り・戻し操作は、制御
方向が双方向である。このため、音声操作装置１０は、「ゾウ」と一対となって用いられる「ネズミ」のイラスト画像Ｚ１６を、「くじら」と相対的な大小関係により組合せられる「メダカ」のイメージ画像に変更する。操作画面Ｚ１４に表示されるイラスト画像Ｚ１５、Ｚ１６は、「ゾウとネズミ」が関連付けられた相対的な大小関係を保持した状態で「くじらとメダカ」のイメージ画像に切り替えられる。

具体的には、音声操作装置１０は、例えば、ＡＶＮ機から提供された楽曲群について、イラスト画像Ｚ１５、Ｚ１６の名称を検索キーとして検索を行う。ＡＶＮ機から提供された楽曲群は、例えば、音声操作装置１０の主記憶装置１２の所定の領域に一時的に格納されている。音声操作装置１０は、上記楽曲群の名称にイラスト画像Ｚ１５、Ｚ１６の名称となる単語（文字、文字列）が含まれる場合には、例えば、部品管理ＤＢ２０２に予め格納された、上記楽曲群の名称とは重複しない名称を有する他のイラスト画像を取得し、操作画面Ｚ１４上に表示する。

音声操作装置１０は、リスト表示される楽曲名と重複する名称のイラスト画像が表示された場合であっても、上記楽曲の名称とは重複しない名称の他のイラスト画像に切り替えることが可能になる。音声操作装置１０では、誤認識による音声操作の発生が抑制可能になる。

なお、図３においては、例えば、「くじら３匹」との音声入力を受け付けた場合には、現在の楽曲名に対して３行後の楽曲名が表示されるよう、リスト単位で送り操作が行われる。また、例えば、「メダカ２匹」との音声入力を受け付けた場合には、現在の楽曲名に対して２行前の楽曲名が表示されるよう、リスト単位で戻し操作が行われる。但し、表示リストの送り・戻し操作は、例えば、一つの画面に表示可能な楽曲数を単位として（図３の例では４曲）、画面単位毎の送り・戻し操作が行われるとしてもよい。

（ケース３）
（ケース１）、（ケース２）の音声操作例では、制御対象の制御方向が一軸の双方向の場合を説明した。本実施形態に係る音声操作装置１０においては、制御対象が多軸の場合であっても適用が可能である。次に、制御対象の制御方向が２軸である場合の音声操作例を説明する。

図４は、音声入力により、車内に配置されたスピーカ群について音場（視聴位置における音場のバランス）制御を行う音声操作の一例を説明する図である。スピーカ群は、例えば、車内の、運転席前部側、運転席後部側、助手席前部側、助手席後部側のそれぞれの計４か所に配置される。音場制御においては、例えば、乗員が着座する運転席、運転席後部席、助手席、助手席後部席のそれぞれの着座位置における相対的な音場のバランスが制御される。音場制御により、例えば、車内に配置されたスピーカ群によって提供される、上記各着座位置における音響空間の臨場感や強弱といった音場バランスが調節される。

図４に示すように、音声操作装置１０の表示デバイス１４上には、オーディオアプリを機能させたＡＶＮ機から提供された、音場制御を行うための操作画面Ｚ１８が表示される。操作画面Ｚ１には、例えば、スピーカ群の配置位置を示すアイコン画像Ｚ１９−Ｚ２２が表示される。アイコン画像Ｚ１９は、運転席前部側に配置されたスピーカを表し、アイコン画像Ｚ２０は、運転席後部側に配置されたスピーカを表す。同様にして、アイコン画像Ｚ２１は、助手席前部側に配置されたスピーカを表し、アイコン画像Ｚ２２は、助手席後部側に配置されたスピーカを表す。

図４の領域Ｚ２７に示すように、車内に配置されたスピーカ群によって提供される音響空間（音場）は、例えば、車両の前後方向、左右方向の２軸を用いた平面空間で表すこと
が可能である。本実施形態の音声操作装置１０では、音場制御の対象となる平面空間の各軸が、イラスト画像Ｚ２３、Ｚ２４、Ｚ２５、Ｚ２６を用いて表示される。なお、音場制御の対象となる平面空間の左右方向の軸となるイラスト画像Ｚ２３、Ｚ２４は、相対的に対向関係になる一対の名称を有する。同様にして、音場制御の対象となる平面空間の前後方向の軸となるイラスト画像Ｚ２５、Ｚ２６は、相対的に対向関係になる一対の名称を有する。

図４の例では、音場制御の対象となる平面空間の左右方向の軸となるイラスト画像Ｚ２３は「青ぶどう」の名称を有し、イラスト画像Ｚ２４は「赤ぶどう」の名称を有する。なお、イラスト画像Ｚ２３、Ｚ２４が表示された音場制御の対象となる平面空間の左右方向の軸は、車内空間の左右方向の中心位置を原点とし、左右のそれぞれの方向に５段階に区分けされた座標を有する。

同様にして、図４においては、音場制御の対象となる平面空間の前後方向の軸となるイラスト画像Ｚ２５は「赤りんご」の名称を有し、イラスト画像Ｚ２６は「青りんご」の名称を有する。また、イラスト画像Ｚ２５、Ｚ２６が表示された音場制御の対象となる平面空間の前後方向の軸は、車内空間の前後方向の中心位置を原点とし、前後のそれぞれの方向に３段階に区分けされた座標を有する。

音声操作装置１０は、例えば、音場制御を行うユーザが発声した、「赤りんご３個」、「青ぶどう３個」との音声入力を連続して受け付ける。そして、音声操作装置１０は、音声入力で指定された座標位置（Ｚ２８）の音響空間に対し、スピーカ群の提供する音場バランスが最適となるように調節する。なお、音場制御を実行するＡＶＮ機のアプリにおいては、予め座標位置毎に最適化した音場バランスデータに基づいてスピーカ群の音声出力制御が行われる。

図４で説明したように、音声操作装置１０においては、制御対象の制御方向が多軸の場合であっても、各軸の制御方向を相対的な対向関係にある一対の名称を有するイラスト画像の組合せで表すことができる。そして、各軸の名称と共に発声される各軸の制御幅を示す数量に基づいて、多軸の制御対象についての操作を行うことが可能になる。本実施形態に係る音声操作装置１０によれば、制御対象が多軸の場合であっても、イラスト画像の有する名称の適宜な組合せに基づいて、制御操作を行うことができる。

＜３．処理フロー＞
以下、図５を参照し、本実施形態に係る音声操作装置１０の音声操作処理を説明する。図５は、音声操作処理の一例を示すフローチャートである。本実施形態の音声操作装置１０は、例えば、ＣＰＵ１１等が補助記憶装置１３に記憶された各種プログラムや各種データを読み出して実行することで、図５に例示の音声操作処理を提供する。なお、音声操作装置１０のＣＰＵ１１等は、音声認識辞書ＤＢ２０１、部品管理ＤＢ２０２を参照し、図５に例示の音声操作処理を実行する。図５に例示の音声操作処理は、主に、音声認識部２１、操作処理部２２により行われる。

図５のフローチャートにおいて、処理の開始は、音声入力を受け付けるための操作のときが例示できる。音声操作装置１０は、例えば、表示デバイス１４上に、オーディオアプリを機能させたＡＶＮ機から提供された、操作画面を表示する。音声操作装置１０は、例えば、部品管理ＤＢ２０２を参照し、操作画面に対応付けられた操作可能な制御対象（音量、リストの表示送り・戻し、音響バランス等）を特定する。また、音声操作装置１０は、部品管理ＤＢ２０２を参照し、操作画面に対応付けられた、制御対象の制御方向（増加減、送り・戻し、多軸の音響バランス等）へ表示するイラスト画像の描画データを取得する。イラスト画像の描画データは、該イラスト画像の表示位置を示す座標情報と共に予め
部品管理ＤＢ２０２に登録される。音声操作装置１０は、部品管理ＤＢ２０２から取得した描画データおよび座標情報に基づいて、制御対象の操作画面と共に取得したイラスト画像を表示デバイス１４上に表示する。そして、音声操作装置１０は、例えば、マイクロフォン１６ａを介して入力されるユーザの発声する音声指示を入力インターフェースとして機能させるための操作入力を受け付ける。音声入力を受け付けるための操作入力として、例えば、センターコンソール等に配置されたハードウェア部品である音声入力ボタン等の押下操作が例示できる。なお、上記音声入力ボタンは、例えば、表示デバイス１４上に表示された操作画面内のＧＵＩ部品であってもよい。音声操作装置１０は、例えば、表示デバイス１４上に表示された上記ＧＵＩ部品に重畳して接触させたユーザの接触操作を、タッチパネル機能を介して検知すればよい。

図５に例示のフローチャートにおいて、音声操作装置１０は、上記の音声入力ボタンの押下操作、或いは、ＧＵＩ部品への接触操作の検知と共に、例えば、マイクロフォン１６ａを介して入力されるユーザの発声音声を入力音声として受け付ける（Ｓ１）。マイクロフォン１６ａを介して入力された入力音声は、音声認識部２１を実行するＣＰＵ１１等に音声データとして受け付けられる。

音声操作装置１０は、補助記憶装置１３に格納された音声認識辞書ＤＢ２０１を参照し、Ｓ１の処理で受け付けた音声データに対応する言葉（文章、単語等の文字列）を特定する（Ｓ２）。音声データに対応する言葉の特定は、マイクロフォン１６ａを介して受け付けた音声データと音声認識辞書ＤＢ２０１に予め登録された音響モデルや辞書とのマッチングにより行われる。音声操作装置１０は、音声データから特定された言葉を対象データとして、操作処理部２２を実行するＣＰＵ１１等に引き渡す。

音声操作装置１０は、部品管理ＤＢ２０２を参照し、Ｓ２の処理から引き渡された対象データと、部品管理ＤＢ２０２に予め登録されたイラスト画像の名称との照合を行う。そして、音声操作装置１０は、対象データに上記イラスト画像の名称と該イラスト画像で表された物象への数量が含まれているかを判定する（Ｓ３）。

音声操作装置１０は、対象データに記イラスト画像の名称と該イラスト画像で表された物象への数量が含まれている場合には（Ｓ３，Ｙｅｓ）、Ｓ５の処理に移行する。一方、音声操作装置１０は、対象データに記イラスト画像の名称と該イラスト画像で表された物象への数量が含まれている場合には（Ｓ３，Ｎｏ）、Ｓ４の処理に移行する。

Ｓ４の処理では、音声操作装置１０は、音声操作の終了操作、或いは、所定時間の経過（タイムアウト）を検出したかを判定する。音声操作の終了操作は、例えば、押下された音声入力ボタンの解放、音声操作終了と関連付けられたＧＵＩ部品への接触操作等が例示される。また、所定時間の経過は、例えば、音声入力を受け付けるための操作を検知してからの時間経過に対する閾値との比較等が例示できる。所定時間の経過を判定するための閾値は、実験的に音声操作装置１０を機能させ、音声入力についての操作指示期間を計測し、該計測した計測値に基づいて予め設定することが可能である。

音声操作装置１０は、音声操作の終了操作、或いは、所定時間の経過（タイムアウト）が検出された場合には（Ｓ４，Ｙｅｓ）、図５の処理を終了する。一方、音声操作装置１０は、音声操作の終了操作、或いは、所定時間の経過（タイムアウト）を検出しない場合には（Ｓ４，Ｎｏ）、Ｓ１の処理に移行し、図５の処理を継続する。

Ｓ５の処理では、音声操作装置１０は、部品管理ＤＢ２０２を参照し、イラスト画像の名称に対応する制御対象、制御方向を特定する。そして、音声操作装置１０は、特定された制御対象について、イラスト画像の名称に対応する制御方向、および、イラスト画像で
表された物象への数量に沿って、制御対象の制御量を操作する。Ｓ５の処理により、例えば、図２を用いて説明した音量の増加・減少操作を行うことができる。また、例えば、図３を用いて説明した表示リストの送り・戻し操作を行うことができる。また、例えば、図４を用いて説明した２軸の制御方向を有する音場制御操作を行うことができる。音声操作装置１０は、Ｓ５の処理の実行後、図５の処理を終了する。

以上の処理により、音声操作装置１０は、操作画面に表示されたイラスト画像についての名称と数量とを組合せた、簡略化された音声指示を受け付けることができる。そして、音声操作装置１０は、音声指示に沿って、所望する制御対象を所望の量だけ変更することができる。本実施形態の音声操作装置１０によれば、音声認識を用いた操作形態の利便性が向上できる。

音声操作装置１０は、制御対象とは無関係な、発声音の短い簡便な単語を名称に持つ具体性を有する物事のイメージ画像、例えば、「クジラ」や「スイカ」といった動植物、「富士山」や「月」といった地形や天体惑星、「黒」や「白」といった色彩等のイメージ画像をイラスト画像として表示できる。本実施形態の音声操作装置１０によれば、車両に搭乗する高齢者や子供に対し、音声入力操作への親しみ易さを持たせることができる。

また、音声操作装置１０は、例えば、操作画面に表示される楽曲名称が、イラスト画像の名称と重複する場合には、イラスト画像の名称が楽曲名称とは重複しない単語となるように、イラスト画像を変更することができる。本実施形態の音声操作装置１０によれば、例えば、操作画面に表示される楽曲名称とイラスト画像の名称との重複による誤操作を抑制できる。

また、音声操作装置１０は、例えば、制御対象の制御方向が双方向である場合には、イラスト画像として、対向関係で表現可能な具体的な物象を一対に組合せて表示することができる。例えば、音声操作装置１０は、体の大きさやサイズの大小関係を有する動植物、強弱関係にある動物、濃淡関にある色彩等をイラスト画像として表示できる。本実施形態の音声操作装置１０によれば、対向関係にある一対の物象のイラスト画像を用いることで、増加減、送りや戻し、ＵＰやＤＯＷＮといった制御量の操作方向をイメージし易くすることができる。

また、音声操作装置１０は、例えば、制御対象の制御方向が多軸の場合であっても、各軸の制御方向を相対的な対向関係にある一対の名称を有するイラスト画像の組合せで表すことができる。そして、音声操作装置１０は、各軸の名称と共に発声される各軸の制御幅を示す数量に基づいて、多軸の制御対象についての操作を行うことができる。本実施形態の音声操作装置１０によれば、制御対象の制御方向が多軸の場合であっても、イラスト画像の有する名称の適宜な組合せに基づいて、制御操作を行うことができる。

音声操作装置１０が表示するイラスト画像には、制御対象の制御内容とは無関係な、発声音の短い簡便な文字や用語の画像が含まれるとしてもよい。例えば、「Ａ」と「Ｚ」、「あ」と「お」、「山」と「海」といった文字をイラスト画像として、制御対象の操作画面に表示するとしてもよい。図２を用いて説明した例では、音声操作装置１０は、例えば、イラスト画像Ｚ２として、文字「Ａ」が記述されたイラスト画像を表示すると共に、イラスト画像Ｚ３として、文字「Ｚ」が記述されたイラスト画像を表示すればよい。

音声操作装置１０は、例えば、「Ａ３」との音声入力を受け付けた場合には、現在の音量レベル３段階高い音量レベルに引き上げるとし、「Ｚ２」との音声入力を受け付けた場合には、現在の音量レベルから２段階低い音量レベルに引き下げることができる。音声操作装置１０は、発声音の短い簡便な文字や用語と数量との組合せに基づいて、該文字や用
語を記述したイラスト画像に関連付けられた制御対象を制御することができる。

＜４．変形形態＞
本実施形態に係る音声操作装置１０が提供する音声操作処理は、例えば、車内の空調温度の調節、車内照明の明度の調節を行う電装制御に適用するとしてもよい。制御対象とは無関係な、発声音の短い簡便な単語を名称に持つ具体性を有する物事のイラスト画像名称と数量とを組合せた、簡略化された音声指示により、車内の空調温度や車内照明の明度を調節することができる。変形形態の音声操作装置１０によれば、車内の電装制御を操作対象とする場合であっても、音声認識を用いた操作形態の利便性が向上できる。

１０ 音声操作装置
１１ ＣＰＵ
１２ 主記憶装置
１３ 補助記憶装置
１４ 表示デバイス
１５ 通信ＩＦ
１６ 入出力ＩＦ
１６ａ マイクロフォン
１６ｂ スピーカ
１７ 接続バス
２１ 音声認識部
２２ 操作処理部
２０１ 音声認識辞書ＤＢ
２０２ 部品管理ＤＢ

Claims (10)

1. イラスト画像を制御対象に対応付けて、前記制御対象の操作画面に表示する表示手段と、
   前記イラスト画像で表された物象の名称と前記物象の数量とを組合せた入力音声を音声認識すると共に、前記イラスト画像に対応付けられた制御対象を前記音声認識された物象の名称から特定し、特定した制御対象の制御量を前記音声認識された数量に対応する量に基づいて変更する処理手段と、を備えることを特徴とする音声操作装置。
2. 前記表示手段は、前記制御対象の制御方向が双方向である場合には、対向関係にある物象のイラスト画像を一対に組合せて前記制御対象の操作画面に表示し、
   前記処理手段は、前記一対に組合せられたイラスト画像で表された物象の名称と前記物象の数量とを組合せた入力音声の音声認識結果に基づいて、制御対象の制御量を変更する、請求項１に記載の音声操作装置。
3. 前記表示手段は、大小関係によって対向関係にある物象のイラスト画像を一対に組合せて前記制御対象の操作画面に表示する、請求項２に記載の音声操作装置。
4. 前記表示手段は、強弱関係によって対向関係にある物象のイラスト画像を一対に組合せて前記制御対象の操作画面に表示する、請求項２に記載の音声操作装置。
5. 前記表示手段は、色彩の濃淡関係によって対向関係にある物象のイラスト画像を一対に組合せて前記制御対象の操作画面に表示する、請求項２に記載の音声操作装置。
6. 前記処理手段は、相互に独立した２次元の制御方向を有する制御対象の制御量を変更する、請求項１または２に記載の音声操作装置。
7. 前記処理手段は、前記制御対象の操作画面内に、前記イラスト画像で表された物象の名称が文字列として表示される場合には、表示済みの前記イラスト画像を前記文字列とは重複しない名称のイラスト画像に変更する、請求項１または２に記載の音声操作装置。
8. 音声操作装置のコンピュータが、
   イラスト画像を制御対象に対応付けて、前記制御対象の操作画面に表示する表示ステップと、
   前記イラスト画像で表された物象の名称と前記物象の数量とを組合せた入力音声を音声認識すると共に、前記イラスト画像に対応付けられた制御対象を前記音声認識された物象の名称から特定し、特定した制御対象の制御量を前記音声認識された数量に対応する量に基づいて変更する処理ステップと、
   を実行する制御方法。
9. 制御対象の制御内容とは無関係な文字または用語の何れか一つを前記制御対象に対応付けて、前記制御対象の操作画面に表示する表示手段と、
   前記文字または用語の何れか一つと前記物象の数量とを組合せた入力音声を音声認識すると共に、前記文字または用語の何れか一つに対応付けられた制御対象を前記音声認識された文字または用語の何れか一つから特定し、特定した制御対象の制御量を前記音声認識された数量に対応する量に基づいて変更する処理手段と、を備えることを特徴とする音声操作装置。
10. 音声操作装置のコンピュータが、
    制御対象の制御内容とは無関係な文字または用語の何れか一つを前記制御対象に対応付
    けて、前記制御対象の操作画面に表示する表示ステップと、
    前記文字または用語の何れか一つと前記物象の数量とを組合せた入力音声を音声認識すると共に、前記文字または用語の何れか一つに対応付けられた制御対象を前記音声認識された文字または用語の何れか一つから特定し、特定した制御対象の制御量を前記音声認識された数量に対応する量に基づいて変更する処理ステップと、
    を実行する制御方法。

Images