JP2005260507A

JP2005260507A - 操作器

Info

Publication number: JP2005260507A
Application number: JP2004068058A
Authority: JP
Inventors: Kazuhiro Miki; 一浩三木
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2004-03-10
Filing date: 2004-03-10
Publication date: 2005-09-22
Anticipated expiration: 2024-03-10
Also published as: JP4169714B2

Abstract

【課題】一連の操作においてステップごとに音声の出力／非出力の切り替えを自動的に行うことを、利用者が選択できる操作器を提供する。
【解決手段】本発明は、所定の操作を実行する操作器であって、利用者が操作を入力する操作モードとして、音声非出力モード、音声出力モード、または自動判別モードのいずれかを選択して入力する操作モード入力手段と、利用者が所定の操作の指示を入力する操作入力手段と、前記入力された操作内容を音声で出力する音声出力手段と、前記自動選択モードで入力された操作が、利用者の所望する操作かどうかを判定する操作判定手段とを備え、利用者が所望する操作であると判定された操作を実行する操作器である。
【選択図】図１

Description

本発明は、機器を操作する操作器に関する。

機器を操作するための操作器では、利用者が操作面を見ながら、キー操作を行って、所望する操作を行う。しかし、操作面が見えにくい場所に設けられている場合には、利用者は、操作を行う際に操作面を確認しなければならず、操作しにくいという問題がある。また、周囲が暗い場合には、利用者が操作面を認識することが困難である。

また、電子機器の高機能化に伴い、電子機器の動作を制御する操作器も高機能化している。このような操作器は、キー数の増加や操作手順の複雑化を招来する。特に、操作器の操作が複雑な場合には、習熟度の低い利用者は、正しい操作を行っているかどうかを確認しながら、操作の入力を望む場合がある。

この様な問題を解決するため、所定の操作手順の各ステップにおいてその操作方法を音声により案内する操作器が提案されている（例えば、特許文献１参照）。

特開２００２−２４７６７０号公報（特許請求の範囲、段落０００５〜段落００１１）

しかし、同一の利用者であっても、各操作への習熟度は異なる。あるいは利用者ごとに同一の操作に対する習熟度は異なる。このため、特許文献１に記載の操作器のように、各ステップにおいて常時音声を出力することとすると、利用者が、操作内容を認知して行っている場合には、煩わしさを感ずる。

この場合に、利用者が操作を入力する際に、その操作方法を音声により出力するか否かを切り替える方法も考えられる。しかし、利用者が操作のステップごとに音声の出力／非出力の切り替えを選択することは、利用者に操作の煩わしさを与える。

すなわち、本発明は、上記問題に鑑みなされたものであり、その目的は、一連の操作においてステップごとに音声の出力／非出力の切り替えを自動的に行うことを、利用者が選択できる操作器を提供することにある。

また、本発明の別の目的は、音声の出力／非出力の切り替えを精度良く行える操作器を提供することにある。

上記目的を達成するために、本発明の操作器では、操作モードは、利用者が選択することにより、（１）入力した操作をそのまま確定する音声非出力モードと、（２）入力した操作を音声で出力して、利用者に所望の操作かどうかを確認する音声出力モードと、（３）入力した操作が利用者の所望する操作であるかどうかを自動的に判定する自動判定モードとを、選択することができることを特徴とする。自動判定モードでは、入力された操作が利用者の所望する操作であると判定された場合には、その操作が自動的に実行される。一方、入力された操作が利用者の所望する操作でないと判定された場合には、入力した操作を音声で出力して、利用者は所望の操作かどうかを確認することができる。さらに、本発明の操作器は、自動判定モードにおいて、入力した操作が利用者の所望する操作であるかどうかを判定する際に、その入力以前に入力された操作の情報を閾値として用い、自動判定を行うこととする。すなわち、本発明は、以下の構成である。

本発明は、所定の操作を実行する操作器であって、利用者が操作を入力する操作モードとして、音声非出力モード、音声出力モード、または自動判別モードのいずれかを選択して入力する操作モード入力手段と、利用者が所定の操作の指示を入力する操作入力手段と、前記入力された操作内容を音声で出力する音声出力手段と、前記自動選択モードで入力された操作が、利用者の所望する操作かどうかを判定する操作判定手段とを備え、利用者が所望する操作であると判定された操作を実行するものである。

上記構成によれば、利用者が自動判定モードを選択した場合には、入力した操作が利用者の所望する操作であるかどうかが判定される。判定結果から、入力された操作が利用者の所望する操作である場合には、その操作が実行される。この結果、操作に慣れていない者や、操作面が見づらい状態で操作する者であっても、正しく操作をすることができる。

また、本発明は、所定の操作を実行する操作器であって、利用者が操作を入力する操作モードとして、音声非出力モード、音声出力モード、または自動判別モードのいずれかを選択して入力する操作モード入力手段と、利用者が所定の操作の指示を入力する操作入力手段と、前記自動選択モードで入力された操作が、利用者の所望する操作かどうかを判定する操作判定手段と、前記入力された操作内容を音声で出力する音声出力手段と、前記音声で出力された操作を確定する操作確定手段とを備え、音声で操作内容が出力された操作に対しては、操作が確定された操作のみを実行するものである。

音声出力モードで、操作が入力された場合には、音声で操作内容を確認して、所望の操作の場合は、操作を確定する必要がある。また、自動判定モードの場合で、入力された操作が利用者の所望する操作でないと判定された場合には、入力した操作を音声で出力して、利用者が所望の操作かどうかを確認する。利用者が所望の操作であると判断した場合には、操作を確定する必要がある。すなわち、この構成によれば、音声で出力された操作のうち、確定された操作のみが実行されるので、誤動作の少ない操作器が提供される。

前記操作器は、前記操作器周囲の明度を計測する明度計測手段と、前記計測された明度と予め設定された閾値とに基づいて、利用者が認知して操作をしたかどうかを判断する操作認知判断手段とを備えるものであってもよい。

この構成によると、利用者が操作を入力した際の操作器周囲の明度を用いて、利用者が操作の入力を認知して行ったかどうかが判断される。操作器周囲が明るい状態で操作が入力された場合には、利用者は操作の入力を認知して行ったと判断できる。一方、操作器周囲が暗い状態で操作が入力された場合には、利用者は操作の入力を認知して行っていないと判断できる。すなわち、明度を用いることで、利用者が入力を認知して行ったか否かが判断されるので、音声を出力／非出力を自動的に切り替えることができる。

予め設定された閾値は、例えば利用者が操作モードを変更する際の明度を用いて、前記閾値を逐次変更することができる。このように逐次変更していくことで、より正確に利用者の所望する操作かどうかを判定することができる。

また、前記操作器は、所定の操作に対する習熟度を抽出する習熟度抽出手段と、前記抽出された習熟度と、予め設定された習熟度に基づく閾値とに基づいて、利用者が認知して操作をしたかどうかを判断する操作認知判断手段と、音声出力時の操作の正誤を用いて、前記習熟度に基づく閾値を更新する習熟度更新手段とを備えるものであってもよい。

音声出力時には、音声で出力された操作が正しいかどうかを利用者が確認し、判断する。したがって、利用者が正しい操作と判断した操作に関しては、利用者が習熟している操作であると判断できる。一方、利用者が誤っている操作と判断した操作に関しては、利用者が習熟していない操作であると判断できる。この結果、利用者の入力した操作の正しさ・間違えやすさを基準にして操作が判定されるので、誤動作の少ない操作器を提供できる。

また、音声出力時の操作の正誤を用いて、前記習熟度に基づく閾値が更新されるので、より正確に操作を判定できる。

前記操作器は、所定の操作に対する習熟度を抽出する習熟度抽出手段と、前記抽出された習熟度と予め設定された習熟度に基づく閾値とに基づいて、利用者が認知して操作をしたかどうかを判断する操作認知判断手段と、音声出力開始時から、操作確定時までにかかった時間を用いて、前記時間に基づく閾値を更新する習熟度更新手段とを備えるものであってもよい。

音声出力時に、音声出力開始時から操作確定時までにかかった時間が短ければ、利用者が習熟している操作であると判断できる。一方、音声出力開始時から操作確定時までにかかった時間が長ければ、利用者が習熟している操作でないと判断できる。すなわち、この構成によると、音声出力開始時から操作確定時までにかかった時間に基づいて、習熟度が判断されるので、自動判定の精度に優れる操作器を提供できる。

また、音声出力開始時から操作確定時までにかかった時間を用いて、前記時間に基づく閾値を更新するので、より正確に操作を判定できる。

前記習熟度更新手段は、操作器に設けられた入力装置ごとに、閾値を更新することとしてもよい。操作器に設けられた入力装置は、設けられた位置により、利用者の操作習熟度が異なる。したがって、この構成によると、入力装置ごとに、閾値を更新されるので、より正確に所望する動作かどうかが判定できる。また、同様に、前記操作認知判断手段は、操作器に設けられた入力装置ごとに、利用者が認知して操作をしたかどうかを判断することとしてもよい。

また、本発明の操作器においては、前記計測された明度と予め設定された閾値とに基づいて、利用者が認知して操作をしたかどうかを判断する操作認知判断手段と、習熟度に基づく操作認知判断手段とを組み合わせて使用してもよい。この構成によると、２種類の方法で、利用者が認知して操作をしたかが判断されるので、さらに正確に所望する動作かどうかが判定できる。

また、上記操作器は、さらに、連続的に変化する可能性のある操作であって、予め設定された操作について、前回の操作確定時から操作開始時までの時間を測定する操作間時間計測手段と、前記操作間時間の長さに基づいて、利用者が認知して操作をしたかどうかを判断する操作認知判断手段とを備えていてもよい。この構成によれば、例えば、ボリュームの調整、チャンネルの順送りなどのような連続的に変化する可能性のある操作について、所定期間内に同様の操作があった場合には音声出力を行わないなどの設定を予めしておけば、容易に判定できる。

本発明によれば、所定の操作を実行する操作方法であって、利用者が操作を入力する操作モードを入力する操作モード入力ステップと、利用者が所定の操作の指示を入力する操作入力ステップと、前記入力された操作内容を音声で出力する音声出力ステップと、前記入力された操作が、利用者の所望する操作かどうかを判定する操作判定ステップとを備え、利用者が所望する操作であると判定された操作を実行する操作方法が提供される。

また、本発明によれば、所定の操作を実行する操作プログラムであって、コンピュータに、利用者が操作モードとして、音声非出力モード、音声出力モード、または自動判別モードのいずれかを選択して入力する操作モード入力ステップと、利用者が所定の操作の指示を入力する操作入力ステップと、前記入力された操作内容を音声で出力する音声出力ステップと、前記自動選択モードで入力された操作が、利用者の所望する操作かどうかを判定する操作判定ステップとを備え、利用者が所望する操作であると判定された操作を実行させる操作プログラムが提供される。

また、本発明によれば、所定の操作を実行する操作方法であって、利用者が操作を入力する操作モードとして、音声非出力モード、音声出力モード、または自動判別モードのいずれかを選択して入力する操作モード入力ステップと、利用者が所定の操作の指示を入力する操作入力ステップと、前記自動選択モードで入力された操作が、利用者の所望する操作かどうかを判定する操作判定ステップと、前記入力された操作内容を音声で出力する音声出力ステップと、前記入力された操作を確定する操作確定ステップとを備え、音声で入力された操作内容が出力された操作に対しては、操作が確定された操作のみを実行することを特徴とする操作方法が提供される。

また、本発明によれば、所定の操作を実行する操作プログラムであって、コンピュータに、利用者が操作を入力する操作モードとして、音声非出力モード、音声出力モード、または自動判別モードのいずれかを選択して入力する操作モード入力ステップと、利用者が所定の操作の指示を入力する操作入力ステップと、前記自動選択モードで入力された操作が、利用者の所望する操作かどうかを判定する操作判定ステップと、前記入力された操作内容を音声で出力する音声出力ステップと、前記入力された操作を確定する操作確定ステップとを備え、音声で入力された操作内容が出力された操作に対しては、操作が確定された操作のみを実行させる操作プログラムが提供される。

また、本発明は、前記操作プログラムを記録したコンピュータ読み取り可能な記録媒体であってもよい。

本発明の操作器は、入力された操作が、利用者の所望する操作かどうかを自動的に判定する操作判定手段を備える。この構成により、利用者が自動判定モードを選択した場合には、入力した操作が利用者の所望する操作であるかどうかを判定することができる。判定結果から、入力された操作が利用者の所望する操作である場合には、その操作が実行される。この結果、一連の操作においてステップごとに音声の出力／非出力の切り替えを自動的に行うことを、利用者が選択できる操作器を提供することができる。

また、本発明の操作器は、自動判定モードにおいて、入力した操作が利用者の所望する操作であるかどうかを判定する際に、その入力以前に入力された操作の情報を閾値として用い、自動判定の精度を向上させることとする。この結果、音声の出力／非出力の切り替えを精度良く行える操作器を提供することができる。

以下に、本発明を実施するための最良の形態を、図面を参照しながら説明する。なお、本発明は、これらによって限定されるものではない。

［実施の形態］
図１は、本発明の操作器のブロック図である。本発明の操作器とは、操作対象機器に、コマンドコードを送信して操作対象機器を制御するコマンダである。図１に示すように本発明の操作器は、操作モードを入力する操作モード入力部１０１と、利用者が所定の操作の指示を入力する操作入力部１０２と、入力された操作モードに従って、入力された操作を処理する操作モード判定部１０３と、自動選択モードで入力された操作が所望の操作かどうかを判定する操作判定部１０４と、入力された操作内容を音声で出力する音声出力部１０５と、音声で出力された操作を確定する操作確定部１０６と、各モードを選択した際の明度情報や、操作の履歴を保存する操作履歴保存部１０７とを有し、利用者が所望する操作を操作対象機器１０８に指示する。

本発明の操作器では、まず利用者が、音声非出力モード、音声出力モード、または自動判別モードのいずれかの操作モードを選択して、操作モード入力部１０１に入力する。次に、利用者は、所定の操作の指示を操作入力部１０２に入力する。操作入力部は、操作器上に設けられているボタンや、スティック、トラックボールなどの入力装置である。

操作モードが音声非出力モードである場合には、操作モード判定部１０３は、入力された操作の実行をそのまま操作対象機器１０８に指示する。操作対象機器１０８は、指示された操作を実行する。

操作モードが音声出力モードである場合には、操作モード判定部１０３は、音声出力部１０５に、操作内容を音声出力するよう指示する。音声出力部１０５は、操作内容を音声で出力する。利用者は、音声で出力された操作内容が所望の操作である場合には、操作確定部１０６で、操作を確定する。操作確定部１０６は、確定された操作の実行を操作対象機器１０８に指示する。操作対象機器１０８は、指示された操作を実行する。音声で出力された操作内容が所望の操作でない場合には、利用者は、再度操作の入力を行うことになる。

操作モードが自動判別モードである場合には、モード判定部１０３は、利用者が入力した操作が、利用者の所望する操作であるかどうかの判定を、操作判定部１０４にゆだねる。操作判定部１０４は、操作履歴保存部１０７に保存されている情報などを用いて、入力された操作を利用者が認知して行ったか否かを判断する。利用できる情報としては、操作器周囲の明度、利用者の習熟度などが挙げられる。これらの情報は、処理しようとしている操作が入力される前に、音声出力モード、音声非出力モード、および自動判別モードのいずれかの操作モードを利用した際の情報を用いる。利用者が認知して操作を行ったと判定された場合には、操作判定部１０４は、入力された操作の実行を操作対象機器に指示する。利用者が認知して操作を行っていないと判定された場合には、その操作は、音声出力部１０５に送られ、操作内容が音声出力される。後の手順は、音声出力モードと同様に行われる。

（動作）
以下に本発明の操作器の動作を図２および図３を参照しながら説明する。図２は、本発明にかかる操作器の動作を説明するフローチャートである。図３は、本発明の実施形態である携帯電話を利用したテレビリモコンソフトウェア（以下、リモコンということもある）の外観を示す図である。図中、３０１はボタンを、３０２はカメラ部を、３０３はボタン「＃」を、３０４はボタン「５」を、３０５はボタン「６」をそれぞれ示す。

ステップＳ１０１では、利用者が操作モードを入力する。図３のリモコンにおいて、操作モードの入力は、各ボタン３０１に割り当てられた機器操作用のボタンのうち、操作モード入力用のボタンを押下する。
なお、以下に述べる自動判別モードで、明度を用いて、利用者が認知して操作を入力したかどうかを判別する場合には、（１）音声非出力モード、（２）音声出力モード、（３）自動判別モードのいずれのモードであっても、操作モード入力時の明度を計測する。明度の計測は、例えば図３に示す携帯電話の場合であれば、デジタルカメラ機能のカメラ部からの入力画像から行う。また、カメラ機能が搭載されていない操作器においては、別途光入力センサを設ければよい。ステップＳ１０９では、計測された明度を、操作モードに対応させて記録し、操作履歴を更新する。

ステップＳ１０２では、利用者は、所望の操作を入力する。たとえば、図３のリモコンで、各番号のボタンにテレビのチャンネルが割り当てられているとする。この場合に、チャネル変更の操作入力手段は、ボタンの押下である。ここで、利用者がチャンネルを「６チャンネル」に変更するためにボタン「６」３０６を押下した場合、ボタン「６」を押下げしたという情報が、ステップＳ１０２に与えられる。ステップＳ１０３では、入力された操作を、与えられた操作モードに基づいて以下の処理を行う。以下に、（１）音声非出力モード、（２）音声出力モード、（３）自動判別モードの各モードにおける処理を説明する。

（１）音声非出力モード
操作モードが音声非出力モードである場合では、利用者は、入力した操作を認知して行っていると考えられる。したがって、１回操作ボタンを押下げすれば、ステップＳ１０８に進み、入力した操作を実行する。

（２）音声出力モード
操作モードが音声出力モードである場合では、利用者は、入力した操作を認知して行っていないと考えられる。音声出力モードでは、１回操作ボタンを押下げすれば、ステップＳ１０５に進む。ステップＳ１０５では、操作内容が音声で出力される。例えば、利用者がチャンネルを「６チャンネル」に変更するためにボタン「６」３０６を押下した場合、操作内容として「６チャンネル」が音声で出力される。この音声出力は、外部から設定される各種手段により、操作内容を対応付けて音声出力できる方法であれば、特に限定されない。例えば、予め収録されている音声を出力する、あるいはテキストで与えられた情報を読み上げるテキスト音声合成を用いるなど、公知の方法を用いることができる。

ステップＳ１０５にて、音声で出力された操作内容は、ステップＳ１０６にて利用者により所望の操作か否かが判断される。所望の操作であると判断された場合は、ステップＳ１０７に進み、この操作を確定する。操作の確定は、例えば、操作を入力したボタンと同じボタンを再度押下することによってもよく、別に定めた操作確定ボタンを押し下げることによってもよい。具体的には、音声で出力された「６チャンネル」が、利用者の所望の操作である場合には、利用者が再度ボタン「６」３０６を押下することによって、操作が確定する。あるいは、ボタン「＃」３０３が、別に定めた操作確定ボタンである場合には、利用者が、ボタン「＃」を押下することによって、操作が確定する。確定された操作は、ステップＳ１０８にて、実行される。

音声で出力された操作内容が、利用者の所望の操作でないと判断された場合には、ステップＳ１０２に戻り、再度操作が入力される。

音声で出力された操作内容が、利用者の所望の操作であるか否かに関わらず、ステップＳ１０９で、操作履歴が更新される。操作履歴には、その操作モードの明度に加え、入力された操作が所望の操作であったか否か、あるいは音声出力がされてから操作が確定するまでの時間などが記録される。

（自動判別モード）
操作モードが自動判別モードである場合では、利用者は、入力した操作を認知して行っていないと考えられる。このため、入力された操作が、利用者の所望の操作であるか否かの判断は、リモコンが行う。自動選択モードで入力された操作が、利用者の所望する操作かどうかの判定は、ステップＳ１０４で行われる。ステップＳ１０４で、利用者の所望する操作であると判断された場合は、ステップＳ１０８に進み、入力した操作を実行する。一方、ステップＳ１０４で、利用者の所望する操作でないと判断された場合は、ステップＳ１０５に進み、操作内容が音声で出力される。これ以降は、上記音声出力モードの場合と同様に動作する。

自動判別モードで、最も重要なのは、利用者の所望の操作であるか否かの判定である。判定方法は特に制限されないが、以下では、（Ａ）操作器周囲の明度を用いる方法、（Ｂ）操作の習熟度を用いる方法、（Ｃ）明度と習熟度とを組み合わせて用いる方法について説明する。

（Ａ）操作器周囲の明度を用いる方法
図４は、明度を用いる自動判定モードにおける操作判定部の構成要素と、明度を用いる自動判定モードの動作を説明する図である。図４（ａ）は、操作器周囲の明度を用いる場合に必要な操作判定部の構成要素を示し、図４（ｂ）は、明度を用いる自動判定モードでの動作を詳細に説明するフローチャートを示す、図４（ｃ）は、利用者が操作モードを変更する際の明度を用いて、前記閾値を逐次変更する動作を説明するフローチャートを示す。

図４（ａ）に示すように、操作判定部１０４は、操作器周囲の明度を計測する明度計測部４０１と、計測された明度と予め設定された閾値とに基づいて、利用者が認知して操作をしたかどうかを判断する操作認知判断部４０２とを有する。操作器周囲の明度は、携帯電話に設けられたカメラ部からの入力や光センサからの入力に基づいて計測される。操作認知判断部４０２では、この計測された明度と、操作履歴保存部１０７に保存されている閾値とを比較して、利用者が認知して操作をしたかどうかが判断される。また、明度計測部４０１で、計測された明度は、操作履歴保存部１０７に送られ、閾値の更新に用いられる。

（動作）
図４（ｂ）に示すように、ステップＳ２０１では、操作モード入力時の操作器周囲の明度が計測される。ステップＳ２０２では、ステップＳ２０１で計測された明度Ｘと、リモコン内に保存されている予め設定された閾値ＭＬとを比較する。計測された明度Ｘが、閾値ＭＬより大きいと判断された場合は、利用者が入力する操作を認知して行っていると考えられる。したがって、この場合には、ステップＳ１０８に進み、操作対象機器に対する操作を実行する。計測された明度が、閾値より小さいと判断された場合は、利用者が入力する操作を認知して行っていないと考えられる。したがって、この場合には、ステップＳ１０５に進み、入力された操作の内容が音声で出力される。

［閾値］
明度の比較に用いられる閾値ＭＬは、当該操作が入力される以前に、利用者が行った操作により決定される。最も簡単な閾値ＭＬの設定は、音声出力モードから音声非出力モードへの操作モードの変更された際、および自動判別モードから音声非出力モードへの操作モードの変更された際の操作器周囲の明度を用いればよい。これらの操作モードの変更時には、利用者が明確にその操作を認識できる明るさであり、操作内容を音声出力しなくてもよいことが最低限保障される明るさであると考えられるからである。

閾値の変更は、以下のようにして行う。図４（ｃ）に示すように、ステップＳ３０１で、操作モードを変更した際の明度Ｌを計測する。次に、ステップＳ３０２で、上記のように操作モードを変更した際の明度Ｌと予め操作履歴データベースに保存されている閾値ＭＬとを比較する。明度Ｌが閾値ＭＬより小さい場合には、ステップＳ３０３で、閾値ＭＬをＬに変更する。このようにして、閾値ＭＬは、自動的に逐次変更される。この閾値の変更は、操作モードの変更が、利用者が明確にその操作を認識できる明るさのもとで行われたことを利用する。明度Ｌが閾値ＭＬより小さい場合に閾値を変更するため、誤動作を生ずる可能性がある。しかし、誤動作が起こっても問題が少ない操作に関しては、操作内容を音声で出力される回数が減るので、利用者が感ずる煩わしさを軽減できる。

一方、誤動作の発生を軽減したい場合には、操作モードを変更した際の明度Ｌと予め操作履歴データベースに保存されている閾値ＭＬとを比較して、明度Ｌが閾値ＭＬより大きい場合に、閾値ＭＬをＬに変更すればよい。より明度が大きいものを閾値として採用するので、より確実に自動判定することが可能になる。

閾値および閾値の変更は、特に制限されず、上記以外に種々の方法を採用してもよい。例えば、音声出力モードの場合であって操作が確定した場合、および自動判定モードにおいて音声出力され、操作が確定した場合にも、利用者が明確にその操作を認識できる明るさで操作したと考えられ、操作内容を音声出力しなくてもよいことが最低限保障される明るさであると考えられる。したがって、この場合の明度を、閾値として採用することもできる。さらに、操作内容が、音声で出力されたが、操作が確定しなかった場合の明度を用いて、利用者が操作を認識できなかった明度を利用して、閾値を上げる、すなわち操作内容を音声出力し易いほうに変更することもできる。このように、操作が確定しなかった場合の明度を用いることで、自動判別モードで、読み上げが必要な領域にあることが望ましい場合に、閾値を読み上げが必要な値に修正することができる。閾値は、単独の明度を用いずに、複数の明度の平均値を用いて、閾値とすることもできる。また、操作内容を音声出力しやすくなる方向には、動き辛く、音声出力しにくくなる方向には、動きやすい関数を設定して、閾値を変更してもよい。

このような動的に閾値を変更せずに、静的な値を用いることもできる。また、明度は、物理量として定義できるものであれば、どのようなパラメータを用いてもよい。

（Ｂ）操作の習熟度を用いる方法
図５は、習熟度を用いる自動判定モードにおける操作判定部の構成要素と、明度を用いる自動判定モードの動作を説明する図である。図５（ａ）は、習熟度を用いる場合に必要な操作判定部の構成要素を示し、図５（ｂ）は、習熟度を用いる自動判定モードでの動作を詳細に説明するフローチャートを示す。

図５（ａ）に示すように、操作判定部１０４は、所定の操作に対する習熟度を抽出する習熟度抽出部５０１と、抽出された習熟度と、予め設定された習熟度に基づく閾値とに基づいて、利用者が認知して操作をしたかどうかを判断する操作認知判断部５０２とを有する。また、操作履歴保存部１０７は、前記習熟度に基づく閾値を更新する習熟度更新部５０３を有する。

（動作）
図５（ｂ）に示すように、ステップＳ５０１では、利用者が操作を入力する際の慣れを数値化できるものを習熟度として習熟度を抽出する。ステップＳ４０２では、ステップＳ４０１で抽出された習熟度と、操作履歴保存部に保存されている予め設定された習熟度に基づく閾値とが比較される。抽出された習熟度が、閾値より大きいと判断された場合は、利用者が入力する操作を認知して行っていると考えられる。したがって、この場合には、ステップＳ１０８に進み、操作対象機器に対する操作を実行する。抽出された習熟度が、閾値より小さいと判断された場合は、利用者が入力する操作を認知して行っていないと考えられる。したがって、この場合には、ステップＳ１０５に進み、入力された操作の内容が音声で出力される。

［習熟度］
習熟度は、利用者が操作を入力する際の「慣れ」を数値化できるものであれば、特に制限はされない。以下に、音声出力時の操作の正誤を用いる習熟度の例と、音声出力開始時から操作確定時までにかかった時間を用いる習熟度の例を説明する。図６は、習熟度に関する閾値を逐次変更する動作を説明するフローチャートである。図６（ａ）は、音声出力時の操作の正誤を用いる習熟度に関する閾値を逐次変更する動作を説明するフローチャートを示し、図６（ｂ）は、音声出力開始時から操作確定時までにかかった時間を用いる習熟度に関する閾値を逐次変更する動作を説明するフローチャートを示す。

（操作の正誤を用いる習熟度）
図６（ａ）に示すように、操作内容が音声で出力された場合には、ステップＳ５０１では、この操作が所望の操作であるかどうかが判断される。所望の操作であった場合には、利用者は、当該操作を行うことに習熟していると考えられる。この場合に、ステップＳ５０２で、その習熟度を＋１として、加算する。一方、所望の操作でなかった場合には、利用者は、当該操作を行うことに習熟していないと考えられる。この場合に、ステップＳ５０３で、その習熟度を−１として、減算する。このような習熟度の計算は操作ごとに行い、各操作における習熟度の閾値とする。このように、閾値は、操作が入力されるたびに更新される。また、入力される回数が多い操作の閾値は、精度が高くなる。

操作の習熟度は、操作器上の入力装置の配置や入力装置の形状により、変動する。例えば、操作器の角に設けられたボタンや特殊な形状のボタンは、利用者が覚えやすく、操作の間違いを生じにくい。一方、同様の形状のボタンが多数並んで配置されている中に位置するボタンは、利用者が覚えにくく、操作の間違いを生じやすい。操作の正誤を用いて得られる習熟度は、操作ごとに習熟度が得られるので、このような入力装置の配置の場所や形状による習熟度の違いに対応しやすい。

上記例では、習熟度のカウントは、＋１と−１とを用いた。さらに、覚えやすいボタンと覚えにくいボタンなどを考慮して、カウント数に重みを加えてもよい。

（時間を用いる習熟度）
利用者が普段よく利用する操作に関しては、容易に行われる。このような操作では、操作器上で入力装置が配置されている位置に関係なく、利用者は操作面を見なくても操作できる。例えば、図３において、利用者がボタン「５」３０４をよく利用する場合には、特徴的な位置にないボタン「５」３０４に対する利用者の習熟度は高くなる。このように利用者が入力に習熟している操作については、音声出力開始時から操作が決定されるまでの時間は短い。一方、利用者が入力に習熟していない操作については、音声出力開始時から操作が決定されるまでの時間は長くなる。したがって、音声出力開始時から操作が決定されるまでの時間を用いて、利用者が認知して操作を行ったかどうかの判断が行える。

時間に基づく閾値は、操作履歴保存部１０７に記録されている、その操作が入力されるより前の音声出力開始時から操作が決定されるまでの時間に基づいて、入力された音声出力開始時から操作が決定されるまでの時間が、操作履歴保存部に記録されている時間よりより短いかどうかを判断する。時間Ｔが、操作履歴保存部に記録されている閾値より短ければ、閾値を変更する。一方、入力された音声出力開始時から操作が決定されるまでの時間が、操作履歴保存部に記録されている時間より長ければ、閾値変更の処理を行わない。

習熟度を判断する閾値は、入力装置全体に対する閾値であってもよく、入力装置ごとに設定してもよい。入力装置ごとに閾値を設定する場合には、上記操作の正誤による習熟度の場合と同様に、操作器上に配置される入力装置の位置によって、閾値に重みを付けてもよい。例えば、角に位置する入力装置に対して、習熟度算出時に、習熟度を２倍の値にするなどである。

（その他）
上記操作の正誤を用いる習熟度と時間を用いる習熟度とは、それぞれ単独で用いてもよいが、両者を組み合わせて使用してもよい。この場合には、図６（ａ）の閾値の更新に加え、図６（ｂ）に示す閾値の更新が行われる。ステップＳ６０１で、入力された音声出力開始時から操作が決定されるまでの時間Ｔが、操作履歴保存部に記録されている閾値より短いかどうかを判断する。時間Ｔが、操作履歴保存部に記録されている閾値より短ければ、ステップ６０２で、閾値に＋１を加える。一方、入力された音声出力開始時から操作が決定されるまでの時間Ｔが、操作履歴保存部に記録されている閾値より長ければ、閾値変更の処理を行わない。

（Ｃ）明度と習熟度とを組み合わせて用いる方法
図７は、明度と習熟度を用いる自動判定モードにおける操作判定部の構成要素と、明度と習熟度を用いる自動判定モードの動作を説明する図である。図７（ａ）は、明度と習熟度を用いる場合に必要な操作判定部の構成要素を示し、図７（ｂ）は、明度と習熟度を用いる自動判定モードでの動作を詳細に説明するフローチャートを示す。

図７（ａ）に示すように、操作判定部１０４は、操作器周囲の明度を計測する明度計測部４０１と、計測された明度と予め設定された閾値とに基づいて、利用者が認知して操作をしたかどうかを判断する第１の操作認知判断部６０２と、所定の操作に対する習熟度を抽出する習熟度抽出部５０１と、抽出された習熟度と予め設定された習熟度に基づく閾値とに基づいて、利用者が認知して操作をしたかどうかを判断する第２の操作認知判断部６０２とを有する。操作履歴保存部１０７は、閾値を更新する習熟度更新部５０３を有する。操作器周囲の明度は、携帯電話に設けられたカメラ部からの入力や光センサからの入力に基づいて計測される。第１の操作認知判断部６０２では、この計測された明度と、操作履歴保存部に保存されている閾値とを比較して、利用者が認知して操作をしたかどうかが判断される。第２の操作認知判定部では、第１の操作認知判断部６０２で、利用者が認知して操作を行っていないと判断された操作について、習熟度に基づいて利用者が認知して操作をしたかどうかが判断される。

（動作）
図７（ｂ）に示すように、ステップＳ７０１では、操作モード入力時の操作器周囲の明度が計測される。ステップＳ７０２では、ステップＳ７０１で計測された明度Ｘと、リモコン内に保存されている予め設定された閾値ＭＬとが比較される。計測された明度Ｘが、閾値ＭＬより大きいと判断された場合は、利用者が入力する操作を認知して行っていると考えられる。したがって、この場合には、ステップＳ１０８に進み、操作対象機器に対する操作を実行する。計測された明度が、閾値より小さいと判断された場合は、利用者が入力する操作を認知して行っていない可能性がある。したがって、この場合には、ステップＳ７０３に進み、入力された操作について習熟度に基づく閾値を用いて、利用者が認知して操作をしたかどうかが判断される。

ステップＳ７０３では、利用者が操作を入力する際の慣れを数値化できるものを習熟度として習熟度を抽出する。ステップＳ７０４では、ステップＳ７０３で抽出された習熟度と、操作履歴保存部に保存されている予め設定された習熟度に基づく閾値とが比較される。抽出された習熟度が、閾値より大きいと判断された場合は、利用者が入力する操作を認知して行っていると考えられる。したがって、この場合には、ステップＳ１０８に進み、操作対象機器に対する操作を実行する。抽出された習熟度が、閾値より小さいと判断された場合は、利用者が入力する操作を認知して行っていないと考えられる。したがって、この場合には、ステップＳ１０５に進み、入力された操作の内容が音声で出力される。

このように、明度と習熟度とを組み合わせて、利用者が入力する操作を認知して行っているかどうかを判断するので、より確実に自動判定することができる。

［実施の形態の変形例］
この変形例は、ボリュームの調整、チャンネルの順送りなどの、連続的に変化する可能性のある操作に対して適用される。このような操作に関しては、前回操作から所定の期間内に同様の操作が行われた場合には、読み上げを行わないなどの条件を予め設定しておく。この場合には、操作の履歴をそのまま利用して、利用者が認知して操作をしたかどうかが判断できる。連続操作の可能性がある操作のうち、本変形例を適用する操作については、利用者が予め選択して、設定しておけばよい。

（動作）
図８は、実施の形態の変形例の動作を説明するフローチャートである。ステップＳ８０１では、連続操作の可能性のある第１の操作が操作時刻１で、入力される。ステップＳ８０２では、先の操作と同じ操作である第２の操作が操作時刻２で入力される。ステップＳ８０３では、第１の操作と第２の操作が連続操作であるかどうかが判断される。連続操作でないと判断されれば、ステップＳ１０５に進み、操作内容が音声出力される。連続操作であると判断されれば、ステップＳ８０４に進む。ステップＳ８０４では、操作間時間計測部にて第１の操作の確定時刻から第２の操作開示時刻までの時間から、操作間時間を求める。次に、操作認知判断部にて、求めた操作間時間と予め設定したし閾値とを比較する。操作間時間が、閾値より小さいと判断された場合は、利用者が入力する操作を認知して行っていると考えられる。したがって、この場合には、ステップＳ１０８に進み、操作対象機器に対する操作を実行する。操作間時間が、閾値より大きいと判断された場合は、利用者が入力する操作を認知して行っていないと考えられる。したがって、この場合には、ステップＳ１０５に進み、入力された操作の内容が音声で出力される。

（その他の実施形態）
ところで、上記各実施の形態における操作器としての機能は、プログラム記録媒体に記録された情報処理プログラムによって実現される。上記各実施の形態における上記プログラム記録媒体は、ＲＡＭ（ランダム・アクセス・メモリ）とは別体に設けられたＲＯＭ（リード・オンリー・メモリ）でなるプログラムメディアである。または、外部補助記録装置に装着されて読み出されるプログラムメディアであってもよい。尚、何れの場合においても、上記プログラムメディアから情報処理プログラムを読み出すプログラム読み出し手段は、上記プログラムメディアに直接アクセスして読み出す構成を有していてもよいし、ＲＡＭに設けられたプログラム記憶エリアにダウンロードし、上記プログラム記憶エリアにアクセスして読み出す構成を有していてもよい。尚、上記プログラムメディアからＲＡＭの上記プログラム記録エリアにダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。

ここで、上記プログラムメディアとは、本体側と分離可能に構成され、磁気テープやカセットテープ等のテープ系、フレキシブルディスク、ハードディクス等の磁気ディスクやＣＤ（コンパクトディスク）−ＲＯＭ、ＭＯ（光磁気）ディスク、ＭＤ(ミニディスク)、ＤＶＤ（デジタル多用途ディスク）等の光ディスクのディスク系、ＩＣ（集積回路）カードや光カード等のカード系、マスクＲＯＭ、ＥＰＲＯＭ（紫外線消去型ＲＯＭ）、ＥＥＰＲＯＭ（電気的消去型ＲＯＭ）、フラッシュＲＯＭ等の半導体メモリ系を含めた、固定的にプログラムを坦持する媒体である。

また、上記実施の形態における操作器は、モデムを備えてインターネットを含む通信ネットワークと接続可能となっている。この場合、上記プログラムメディアは、通信ネットワークからのダウンロード等によって流動的にプログラムを坦持する媒体であっても差し支えない。尚、その場合における上記通信ネットワークからダウンロードするためのダウンロードプログラムは、予め本体装置に格納されているものとする。あるいは、別の記録媒体からインストールされるものとする。
尚、上記記録媒体に記録されるものはプログラムのみに限定されるものではなく、データも記録することが可能である。

図１は、本発明の操作器のブロック図である。図２は、本発明にかかる操作器の動作を説明するフローチャートである。図３は、本発明の実施形態である携帯電話を利用したテレビリモコンソフトウェアの外観を示す図である。図４は、明度を用いる自動判定モードにおける操作判定部の構成要素と、明度を用いる自動判定モードの動作を説明する図である。図４（ａ）は、操作器周囲の明度を用いる場合に必要な操作判定部の構成要素を示し、図４（ｂ）は、明度を用いる自動判定モードでの動作を詳細に説明するフローチャートを示し、図４（ｃ）は、利用者が操作モードを変更する際の明度を用いて、前記閾値を逐次変更する動作を説明するフローチャートを示す。図５は、習熟度を用いる自動判定モードにおける操作判定部の構成要素と、明度を用いる自動判定モードの動作を説明する図である。図５（ａ）は、習熟度を用いる場合に必要な操作判定部の構成要素を示し、図５（ｂ）は、習熟度を用いる自動判定モードでの動作を詳細に説明するフローチャートを示す。図６は、習熟度に関する閾値を逐次変更する動作を説明するフローチャートである。図６（ａ）は、音声出力時の操作の正誤を用いる習熟度に関する閾値を逐次変更する動作を説明するフローチャートを示し、図６（ｂ）は、音声出力開始時から操作確定時までにかかった時間を用いる習熟度に関する閾値を逐次変更する動作を説明するフローチャートを示す。図７は、明度と習熟度を用いる自動判定モードにおける操作判定部の構成要素と、明度と習熟度を用いる自動判定モードの動作を説明する図である。図７（ａ）は、明度と習熟度を用いる場合に必要な操作判定部の構成要素を示し、図７（ｂ）は、明度と習熟度を用いる自動判定モードでの動作を詳細に説明するフローチャートを示す。図８は、実施の形態の変形例の動作を説明するフローチャートである。

符号の説明

１０１操作モード入力部
１０２操作入力部
１０３操作モード判定部
１０４操作判定部
１０５音声出力部
１０６操作確定部
１０７操作履歴保存部
１０８操作対象機器
３０１ボタン
３０２カメラ部
３０３ボタン「＃」
３０４ボタン「５」
３０６ボタン「６」
４０１明度計測部
４０２、５０２操作認知判断部
５０１習熟度抽出部
５０３習熟度更新部
６０２第１の操作認知判定部
６０３第２の操作認知判定部

Claims

所定の操作を実行する操作器であって、
利用者が操作を入力する操作モードとして、音声非出力モード、音声出力モード、または自動判別モードのいずれかを選択して入力する操作モード入力手段と、
利用者が所定の操作の指示を入力する操作入力手段と、
前記入力された操作内容を音声で出力する音声出力手段と、
前記自動選択モードで入力された操作が、利用者の所望する操作かどうかを判定する操作判定手段と
を備え、
利用者が所望する操作であると判定された操作を実行することを特徴とする操作器。
所定の操作を実行する操作器であって、
利用者が操作を入力する操作モードとして、音声非出力モード、音声出力モード、または自動判別モードのいずれかを選択して入力する操作モード入力手段と、
利用者が所定の操作の指示を入力する操作入力手段と、
前記自動選択モードで入力された操作が、利用者の所望する操作かどうかを判定する操作判定手段と、
前記入力された操作内容を音声で出力する音声出力手段と、
前記音声で出力された操作を確定する操作確定手段と
を備え、
音声で操作内容が出力された操作に対しては、操作が確定された操作のみを実行することを特徴とする操作器。
前記操作器は、
前記操作器周囲の明度を計測する明度計測手段と、
前記計測された明度と予め設定された閾値とに基づいて、利用者が認知して操作をしたかどうかを判断する操作認知判断手段と
を備える請求項１または請求項２に記載の操作器。
利用者が操作モードを変更する際の明度を用いて、前記閾値を逐次変更する閾値変更手段を備える請求項３に記載の操作器。
前記操作器は、
所定の操作に対する習熟度を抽出する習熟度抽出手段と、
前記抽出された習熟度と、予め設定された習熟度に基づく閾値とに基づいて、利用者が認知して操作をしたかどうかを判断する操作認知判断手段と、
音声出力時の操作の正誤を用いて、前記習熟度に基づく閾値を更新する習熟度更新手段と
を備える請求項１または請求項２に記載の操作器。
前記操作器は、
所定の操作に対する習熟度を抽出する習熟度抽出手段と、
前記抽出された習熟度と、予め設定された習熟度に基づく閾値とに基づいて、利用者が認知して操作をしたかどうかを判断する操作認知判断手段と、
音声出力開始時から、操作確定時までにかかった時間を用いて、前記時間に基づく閾値を更新する習熟度更新手段と
を備える請求項１または請求項２に記載の操作器。
前記習熟度更新手段は、操作器に設けられた入力装置ごとに、閾値を更新することを特徴とする請求項５または６に記載の操作器。
前記操作認知判断手段は、操作器に設けられた入力装置ごとに、利用者が認知して操作をしたかどうかを判断することを特徴とする請求項５または６に記載の操作器。
前記操作器は、
前記操作器周囲の明度を計測する明度計測手段と、
前記計測された明度と予め設定された閾値とに基づいて、利用者が認知して操作をしたかどうかを判断する第１の操作認知判断手段と、
所定の操作に対する習熟度を抽出する習熟度抽出手段と、
前記抽出された習熟度と予め設定された習熟度に基づく閾値とに基づいて、利用者が認知して操作をしたかどうかを判断する第２の操作認知判断手段と、
前記閾値を更新する習熟度更新手段と
を備える請求項１または請求項２に記載の操作器。
連続的に変化する可能性のある操作であって、予め設定された操作について、前回の操作確定時から操作開始時までの時間を測定する操作間時間計測手段と、
前記操作間時間の長さに基づいて、利用者が認知して操作をしたかどうかを判断する操作認知判断手段と
を備える請求項１または請求項２に記載の操作器。
所定の操作を実行する操作方法であって、
利用者が操作を入力する操作モードとして、音声非出力モード、音声出力モード、または自動判別モードのいずれかを選択して入力する操作モード入力ステップと、
利用者が所定の操作の指示を入力する操作入力ステップと、
前記入力された操作内容を音声で出力する音声出力ステップと、
前記自動選択モードで入力された操作が、利用者の所望する操作かどうかを判定する操作判定ステップと
を備え、
利用者が所望する操作であると判定された操作を実行することを特徴とする操作方法。
所定の操作を実行する操作プログラムであって、
コンピュータに、
利用者が操作を入力する操作モードとして、音声非出力モード、音声出力モード、または自動判別モードのいずれかを選択して入力する操作モード入力ステップと、
利用者が所定の操作の指示を入力する操作入力ステップと、
前記入力された操作内容を音声で出力する音声出力ステップと、
前記自動選択モードで入力された操作が、利用者の所望する操作かどうかを判定する操作判定ステップと
を備え、
利用者が所望する操作であると判定された操作を実行させることを特徴とする操作プログラム。
請求項１５に記載の操作プログラムを記録したコンピュータ読み取り可能な記録媒体。
所定の操作を実行する操作方法であって、
利用者が操作を入力する操作モードとして、音声非出力モード、音声出力モード、または自動判別モードのいずれかを選択して入力する操作モード入力ステップと、
利用者が所定の操作の指示を入力する操作入力ステップと、
前記自動選択モードで入力された操作が、利用者の所望する操作かどうかを判定する操作判定ステップと、
前記入力された操作内容を音声で出力する音声出力ステップと、
前記入力された操作を確定する操作確定ステップと
を備え、
音声で入力された操作内容が出力された操作に対しては、操作が確定された操作のみを実行することを特徴とする操作方法。
所定の操作を実行する操作プログラムであって、
コンピュータに、
利用者が操作を入力する操作モードとして、音声非出力モード、音声出力モード、または自動判別モードのいずれかを選択して入力する操作モード入力ステップと、
利用者が所定の操作の指示を入力する操作入力ステップと、
前記自動選択モードで入力された操作が、利用者の所望する操作かどうかを判定する操作判定ステップと、
前記入力された操作内容を音声で出力する音声出力ステップと、
前記入力された操作を確定する操作確定ステップと
を備え、
音声で入力された操作内容が出力された操作に対しては、操作が確定された操作のみを実行させることを特徴とする操作プログラム。
請求項１８に記載の操作プログラムを記録したコンピュータ読み取り可能な記録媒体。