JP2021043762A

JP2021043762A - 提示装置

Info

Publication number: JP2021043762A
Application number: JP2019165995A
Authority: JP
Inventors: 尚貴砂川; Naotaka Sunakawa
Original assignee: Tokai Rika Co Ltd
Current assignee: Tokai Rika Co Ltd
Priority date: 2019-09-12
Filing date: 2019-09-12
Publication date: 2021-03-18

Abstract

【課題】操作の分かり易さの確保を可能にした提示装置を提供する。【解決手段】音声認識システム３は、ユーザが入力した選択要求に従ってユーザが望む態様で操作対象２を作動させる際に、その操作対象２に係る各種情報を直感的に認識し易くする提示装置９を備える。提示装置９には、ユーザが望む態様で操作対象２を作動させるにあたってユーザが選択要求を入力した場合に、その選択要求に係る選択情報Ｓａを取得する取得部２４が設けられる。提示装置９には、取得部２４で取得した選択情報Ｓａを基に、操作対象２の操作の際に用いる入力機器１０の表示部１８と操作対象２の表示部１６とを各々対応付けた表示に制御する制御部２５が設けられる。【選択図】図１

Description

本発明は、操作対象の操作案内を行う提示装置に関する。

従来、ユーザから発話された音声を認識して操作対象を作動させる音声認識システムが周知である（特許文献１等参照）。車両の分野では、この種の音声認識システムを車両に搭載して、音声によりエアーコンディショナー装置やオーディオ装置等を作動させて、ユーザの利便性向上を図ることが検討されている。

特開２０００−３９８９８号公報

例えば、ユーザが音声認識を通じて操作対象やその機能を設定した場合に、その操作対象を、車載された手元の入力機器で操作する操作態様をとることも想定される。この場合、手元の入力機器で、どの操作対象をどのように操作することができるのかが分かり難い現状があった。

本発明の目的は、操作の分かり易さの確保を可能にした提示装置を提供することにある。

前記問題点を解決する提示装置は、ユーザが望む態様で操作対象を作動させるにあたってユーザが選択要求を入力した場合に、その選択要求に係る選択情報を取得する取得部と、前記取得部で取得した前記選択情報を基に、前記操作対象の操作の際に用いる入力機器の表示部と前記操作対象の表示部とを、各々対応付けた表示に制御する制御部とを備えた。

本発明によれば、操作の分かり易さを確保できる。

一実施形態の提示装置の構成図。入力機器の概要図。操作対象の一例である送風口の斜視図。操作対象の一例であるスピーカ部の斜視図。提示装置の作動例を示す説明図。入力機器及びその表示部の一例を示す概要図。入力機器及びその表示部の他の例を示す概要図。入力機器及びその表示部の他の例を示す概要図。入力機器及びその表示部の他の例を示す概要図。

以下、提示装置の一実施形態を図１〜図９に従って説明する。
図１に示すように、車両１は、ユーザから発話された音声を音声認識して操作対象２を作動させる音声認識機能として音声認識システム３を備える。音声認識システム３は、ユーザが発話する音声を入力する音声入力装置４と、音声入力装置４で収集した音声を基に音声認識システム３を作動させる制御装置５とを備える。音声入力装置４は、例えば車載されたマイク等の集音部である。音声入力装置４及び制御装置５は、有線及び無線のどちらで接続されてもよい。

操作対象２は、車内を空調するエアーコンディショナー装置、音楽を再生出力するオーディオ装置などがある。また、これら以外の操作対象２は、例えば自車の現在位置表示や目的地案内等を実行するカーナビゲーション装置がある。これら以外の操作対象２は、例えばユーザが着座するシート装置でもよい。

制御装置５は、音声認識システム３の作動を制御する音声認識部６を備える。音声認識部６は、音声入力装置４から入力する音声信号Ｓ１を音声認識する。音声認識の手法は、既知の種々の手法を用いることができる。音声認識部６は、音声認識の認識結果（音声認識結果）を基に、音声認識結果に応じた態様で操作対象２が作動するように操作対象２を制御する。このように、ユーザから発話される音声を通じて、エアーコンディショナー装置やオーディオ装置等が操作される。

音声認識システム３は、ユーザが入力した選択要求に従ってユーザが望む態様で操作対象２を作動させる際に、その操作対象２に係る各種情報を直感的に認識し易くする機能（提示装置９）を備える。本例の提示装置９は、ユーザの選択要求に沿う内容を色や模様等により表示して、いま選択下にある操作対象２の操作に関し、どのように操作することができるのかを直感的に認識し易くする。本例の場合、ユーザが望む操作対象２の作動の設定は、音声認識システム３を通じて実行されることが好ましい。この場合、ユーザの選択要求は、音声による操作対象２の指定の発話である。また、本例の提示装置９は、ユーザの選択要求に従って操作対象２が設定された場合に、操作対象２の表示と、操作対象２を操作する際に用いる入力機器１０の表示とを対応付けることで、操作対象２に係る各種情報を認識し易くする。

図２に示すように、入力機器１０は、操作対象２が搭載された車両１を運転する際に操作する操作部１１に設けられている。本例の操作部１１は、車両１のステアリングホイール１２である。入力機器１０は、ユーザによるタッチ操作を入力操作とするタッチパッド１３である。タッチパッド１３は、運転者がステアリングホイール１２を握ったままタッチ操作できる位置に配置されている。本例のタッチパッド１３は、操作対象２を操作する際の入力系として使用される。タッチパッド１３には、例えば静電容量方式や抵抗膜方式などがある。

図１に示す通り、操作対象２は、ユーザの選択要求に基づく操作対象２（又はその機能）の選択結果（本例は、音声認識結果）に応じた表示をとる表示部１６と、操作対象２のメカ部分となる機構部１７とを備える。表示部１６は、例えばＬＥＤを用いた照明であることが好ましい。

入力機器１０は、ユーザの選択要求に基づく操作対象２（又はその機能）の選択結果（本例は、音声認識結果）に応じた表示をとる表示部１８と、入力機器１０のメカ部分となる機構部１９とを備える。表示部１８は、例えばＬＥＤを用いた照明であることが好ましい。本例の場合、操作対象２の表示部１６と入力機器１０の表示部１８は、音声認識システム３の音声認識結果を基に、それぞれ同様の画像態様を表示する。

図３に、操作対象２の一例を図示する。図３に示す操作対象２は、車内に設けられたエアーコンディショナー装置の送風口２０である。送風口２０は、車内において複数設けられている。送風口２０（機構部１７）には、組をなす表示部１６が近傍に配置されている。

図４に、操作対象２の他の例を図示する。図４に示す操作対象２は、車両１に設けられたオーディオ装置のスピーカ部２１である。スピーカ部２１は、車内において複数設けられている。スピーカ部２１（機構部１９）には、組をなす表示部１８が近傍に配置されている。

図１に示す通り、提示装置９は、ユーザにより選択された操作対象２（又はその機能）に係る選択情報Ｓａを取得する取得部２４を備える。取得部２４は、制御装置５に設けられている。取得部２４は、ユーザが望む態様で操作対象２を作動させるにあたってユーザが選択要求を入力した場合に、その選択要求に係る選択情報Ｓａを取得する。選択情報Ｓａは、ユーザによって選択された操作対象２又はその機能が何であるのかを表す各種情報であって、本例の場合、音声認識部６から取得する。

提示装置９は、ユーザにより入力された操作対象２の選択要求を基に提示装置９の作動を制御する制御部２５を備える。制御部２５は、制御装置５に設けられている。制御部２５は、取得部２４で取得した選択情報Ｓａを基に、操作対象２の操作の際に用いる入力機器１０の表示部１８と、操作対象２の表示部１６とを、各々対応付けた表示に制御する。また、制御部２５は、入力機器１０に対し、ユーザが望む態様で作動する操作対象２に応じた操作機能を割り当てる。すなわち、本例の入力機器１０は、操作対象２がユーザの操作要求に応じた態様に設定された場合に、その態様に準じた操作機能が割り当てられる。

次に、図５〜図９を用いて、本実施形態の提示装置９の作用について説明する。
図５に示すように、ステップ１０１において、ユーザ（運転者）は、ユーザが望む対応で操作対象２を作動させるにあたり、所望の操作対象２の機能について発話する。例えば、ユーザは、「エアコンの温度を下げたい。」などと発話する。なお、ユーザが望む態様で操作対象２を作動させるとは、複数の操作対象２のうちのどの操作対象２を作動させるのかの対象選択や、１つの操作対象２においてどの機能を作動させるのかの機能選択のいずれでもよい。

ステップ１０２において、音声入力装置４は、ユーザの発話を検出すると、その音声信号Ｓ１を制御装置５に出力する。制御装置５は、入力した音声信号Ｓ１を音声認識部６で音声認識する。制御装置５は、音声認識部６の音声認識結果を基に、車載された操作対象２のうち、どの操作対象２をどのように作動させるのかを把握する。

ステップ１０３において、制御部２５は、音声認識部６の音声認識結果を基に、入力機器１０に機能割当信号Ｓ２を出力して、ユーザにより指定された操作対象２（又はその機能）の入力系として設定する。これにより、音声入力によって指定した操作対象２を操作する際には、入力機器１０を用いて操作することができる。よって、入力機器１０を操作することで、操作対象２を所望の態様に適宜設定することができる。

ステップ１０４において、制御部２５は、操作対象２の表示部１６と入力機器１０の表示部１８とに対し、表示部１６，１８の表示制御に係る制御信号Ｓ３を各々出力して、表示部１６，１８の表示を制御する。例えば、音声入力で「エアコンの温度を下げたい」という発話がなされた場合、空調の温度調整の表示に係る制御信号Ｓ３を、操作対象２の表示部１６と入力機器１０の表示部１８とに出力する。表示部１６，１８は、入力した制御信号Ｓ３を基に、空調の温度調整に係る表示を実行する。従って、表示部１６，１８には、空調の温度調整を直感的に認識し易い同様の表示態様（表示パターン）が表示される。

図６に、入力機器１０の表示部１８の例を図示する。同図に示す例は、入力機器１０であるタッチパッド１３の機構部１９の近傍に、例えばＬＥＤ照明等からなる表示部１８を設けたパターンである。表示部１８には、選択された操作対象２で調整可能な機能に応じた画像が表示される。この画像例としては、例えば青〜赤に変化する色の並びがある。この画像から、ユーザに温度を直感的にイメージさせる。また、表示部１８には、選択された操作対象２の操作方法を認識可能な画像が表示される。この画像例としては、例えば左右の色変化のグラデーションがある。この画像から、ユーザに左右のなぞり操作を直感的にイメージさせる。

また、ユーザが音声入力を通じて選択した操作対象２の表示部１６には、入力機器１０の表示部１８に表示したものと同様の画像が表示される。このため、ユーザは、いま入力機器１０でどの操作対象２を操作することができるのかを直感的にイメージできる。

図７に、入力機器１０の表示部１８の他の例を図示する。同図に示す例は、入力機器１０自体（機構部１９自体）を発色可能な部材とすることにより、表示部１８及び機構部１９が一体となった構造のものである。この構造の場合、入力機器１０自体（機構部１９自体）が、ユーザにより選択された操作対象２（又はその機能）に応じた態様で発色する。このとき、表示部１８に表示される画像は、選択された操作対象２の表示部１６にも同様に表示される。

図８に、入力機器１０の表示部１８の他の例を図示する。同図に示す例は、入力機器１０（機構部１９）に対し、プロジェクタ２９によって表示部１８を映し出すパターンである。この場合、プロジェクタ２９によって機構部１９の表面（及びその付近も含む）に画像投影された箇所が表示部１８となる。このとき、操作対象２の近傍にも、プロジェクタ投影による同様の画像が表示部１６として表示される。

また、図９に示すように、入力機器１０（機構部１９）は、ダイヤル操作が可能なサムホイール３０としてもよい。この例の場合、サムホイール３０は、上下方向にダイヤル操作ができるように縦向き（上下向き）に配置されている。このため、表示部１８には、サムホイールの操作方向に合わせて、青〜赤の色変化が上下のグラデーションで表示される。このとき、表示部１８に表示される画像は、選択された操作対象２の表示部１６にも同様に表示される。

図５に示す通り、ステップ１０５において、制御装置５は、ユーザが入力機器１０を操作した場合、その操作信号Ｓ４を制御装置５に出力する。例えば、入力機器１０にエアーコンディショナー装置の温度調整の操作機能が割り当てられて、入力機器１０がなぞり操作された場合、なぞり操作のタッチ位置に応じた操作信号Ｓ４が制御装置５に出力される。

ステップ１０６において、制御装置５は、入力機器１０から入力した操作信号Ｓ４に基づく制御信号Ｓ５を操作対象２（機構部１７）に出力して、入力機器１０の操作に応じた動作状態に操作対象２を制御する。よって、入力機器１０で操作した態様で操作対象２が作動する。このため、例えば、音声入力でエアーコンディショナー装置の温度調整をする場合、操作対象２である送風口２０からは、入力機器１０で指定した温度の風が出力される。

上記実施形態の提示装置９によれば、以下のような効果を得ることができる。
（１）提示装置９には、ユーザが望む態様で操作対象２を作動させるにあたってユーザが選択要求を入力した場合に、その選択情報Ｓａを取得する取得部２４が設けられる。提示装置９には、取得部２４で取得した選択情報Ｓａを基に、操作対象２の操作の際に用いる入力機器１０の表示部１８と、操作対象２の表示部１６とを、各々対応付けた表示に制御する制御部２５が設けられる。

本例によれば、ユーザが選択要求を入力してユーザが望む態様で操作対象２を作動させる場合に、選択要求に沿って操作可能となった操作対象２の表示部１６と、その操作対象２を操作する際に用いる入力機器１０の表示部１８とには、各々対応付けられた表示がなされる。このため、操作対象２と入力機器１０との関連付けをユーザに通知することが可能となる。よって、操作の分かり易さを確保することができる。

（２）提示装置９には、選択要求としてユーザから音声を入力し、その音声を認識することにより、ユーザが望む操作対象２の作動の態様を識別する音声認識部６が設けられる。この場合、音声認識によってユーザの選択要求を入力するので、ユーザが行う選択要求の入力操作を簡便なものにすることができる。

（３）入力機器１０は、操作対象２が搭載された車両１を運転する際に操作する操作部１１に設けられている。よって、操作部１１を操作しながら入力機器１０の操作が可能となるので、操作部１１の操作最中に入力機器１０を操作する場合に、操作部１１からわざわざ手を離して入力機器１０を操作しなければならない手間を省くことができる。

（４）制御部２５は、入力機器１０に対し、ユーザが望む態様で作動する操作対象２に応じた操作機能を割り当てる。よって、複数の操作対象２や操作対象２の各機能において入力機器１０が共用可能となるので、部品点数の削減に有利となる。

（５）制御部２５は、ユーザが望む態様で操作対象２が作動されるにあたり、その操作対象２で調整可能な機能に応じた画像を表示部１６，１８に表示する。よって、表示部１６，１８に表示される画像から、操作対象２で調整可能な機能を直感的に認識することが可能となるので、操作の分かり易さの確保に一層寄与する。

（６）制御部２５は、ユーザが望む態様で操作対象２が作動されるにあたり、その操作対象２の操作方法を認識可能な画像を表示部１６，１８に表示する。よって、表示部１６，１８に表示される画像から、操作対象２の操作方法を直感的に認識することが可能となるので、操作の分かり易さの確保に一層寄与する。

（７）操作対象２（機構部１７）には、組をなす表示部１６が近傍に配置されている。よって、入力機器１０で操作できる操作対象２が決まった場合には、その操作対象２の近傍に配置された表示部１６に入力機器１０の表示部１８と同様の表示がなされるので、どの操作対象２を入力機器１０で操作可能なのかを直ぐに把握することができる。

なお、本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
［操作対象２及びその表示部１６について］
・操作対象２は、実施形態に述べた具体例に限定されず、入力機器１０で操作できる種々のものを適用してもよい。

・操作対象２の表示部１６は、例えばディスプレイやモニタ等でもよい。また、表示部１６は、例えば車載されたカーナビゲーション装置のディスプレイを使用してもよいし、タッチ操作を検出するタッチパネルとしてもよい。

・操作対象２の表示部１６は、例えばヘッドアップディスプレイを用いてもよい。
・表示部１６は、機構部１７の近傍に配置されることに限定されず、機構部１７から離れた場所に配置されてもよい。

［入力機器１０及びその表示部１８について］
・入力機器１０は、タッチパッド１３に限定されず、各種スイッチやセンサであればよい。

・入力機器１０は、ステアリングホイール１２に設けられることに限らず、例えばセンターコンソール、シート、車両ドア内壁など、他の位置に設けられてもよい。
・入力機器１０の表示部１８は、例えばインジケータ等の他の報知手段を採用してもよい。

・入力機器１０の表示部１８は、例えばヘッドアップディスプレイを使用してもよい。
［入力機器１０に割り当てる操作機能について］
・入力機器１０に割り当てる操作機能は、タッチ座標を検出するものに限定されず、例えばタッチ操作の有無、すなわち操作のオンオフを検出する機能でもよい。

・入力機器１０に割り当てる操作機能は、選択された操作対象２やその機能に応じた態様をとるものであればよい。
［操作部１１について］
・操作部１１は、ステアリングホイール１２に限定されず、例えば車載された各種スイッチでもよい。

・操作部１１は、運転者によって操作される機器や装置であればよい。
［操作対象２で調整可能な機能に応じた画像について］
・操作対象２で調整可能な機能に応じた画像は、表示部１６，１８に表示される画像色合いに限定されず、例えば絵柄やデザイン等で機能を通知する画像としてもよい。

・操作対象２で調整可能な機能に応じた画像は、例えば動画を用いた表現としてもよい。
・操作対象２の表示部１６に表示される画像は、入力機器１０の表示部１８に表示される画像と同じに限定されず、関連がイメージできる異なる画像としてもよい。

［操作対象２の操作方法を認識可能な画像について］
・操作対象２の操作方法を認識可能な画像は、左右のグラデーション変化に限定されず、例えば大きさの異なる複数のマークを配列した画像など、種々の画像が適用できる。

・操作対象２の操作方法を認識可能な画像は、例えば擬人のキャラクタによって操作方法を通知する画像としてもよい。
［ユーザが望む態様で操作対象２を作動させる方法について］
・ユーザが望む態様で操作対象２を作動させる方法は、音声認識に限定されず、例えばジェスチャ認識としてもよい。この場合、ユーザのジェスチャをカメラ等で撮影し、それを画像認識して、ユーザの操作意図を認識する。

・ユーザが望む態様で操作対象２を作動させる方法は、例えばスイッチやセンサを用いた操作としてもよい。
［選択要求及び選択情報Ｓａについて］
・選択要求は、音声による発話に限定されず、ユーザの選択要求を認識する方法に応じて、種々のものが適用可能である。

・選択情報Ｓａは、いまどの操作対象２が選択されたのか、又は操作対象２のどの機能が選択されたのかを通知する情報であればよい。
・取得部２４は、選択情報Ｓａを音声認識部６から取得することに限らず、音声認識部６以外の部材から取得してもよい。

［取得部２４及び制御部２５について］
・取得部２４及び制御部２５は、制御装置５に限定されず、他の装置に設けられてもよい。

・取得部２４及び制御部２５は、同じ部材（制御装置５）に設けられることに限定されず、各々異なる部材に設けられてもよい。
［その他］
・ユーザは、運転者に限らず、同乗者でもよい。

・提示装置９は、車両１に使用されることに限定されず、車両１以外の装置やシステムに使用されてもよい。

１…車両、２…操作対象、６…音声認識部、１０…入力機器、１１…操作部、１６…表示部、１８…表示部、２４…取得部、２５…制御部、Ｓａ…選択情報。

Claims

ユーザが望む態様で操作対象を作動させるにあたってユーザが選択要求を入力した場合に、その選択要求に係る選択情報を取得する取得部と、
前記取得部で取得した前記選択情報を基に、前記操作対象の操作の際に用いる入力機器の表示部と前記操作対象の表示部とを、各々対応付けた表示に制御する制御部と
を備えた提示装置。
前記選択要求としてユーザから音声を入力し、その音声を認識することにより、ユーザが望む前記操作対象の作動の態様を識別する音声認識部を備える
請求項１に記載の提示装置。
前記入力機器は、前記操作対象が搭載された車両を運転する際に操作する操作部に設けられている
請求項１又は２に記載の提示装置。
前記制御部は、前記入力機器に対し、ユーザが望む態様で作動する前記操作対象に応じた操作機能を割り当てる
請求項１〜３のうちいずれか一項に記載の提示装置。
前記制御部は、ユーザが望む態様で前記操作対象が作動されるにあたり、その操作対象で調整可能な機能に応じた画像を前記表示部に表示する
請求項１〜４のうちいずれか一項に記載の提示装置。
前記制御部は、ユーザが望む態様で前記操作対象が作動されるにあたり、その操作対象の操作方法を認識可能な画像を前記表示部に表示する
請求項１〜５のうちいずれか一項に記載の提示装置。
前記操作対象には、組をなす前記表示部が近傍に配置されている
請求項１〜６のうちいずれか一項に記載の提示装置。