JP2014097112A - 操作装置及び操作方法 - Google Patents

Abstract

【課題】操作者が、手指以外の身体部分を用いて、確実にあるいは簡単に機器を操作することができる操作装置及び操作方法を提供すること。
【解決手段】本実施形態に係る操作装置１００の制御部２０は、呼吸気センサ５０による検出信号に基づき、イメージセンサ３０による検出処理を開始（または終了）するので、口腔部の動きの状態を確実に検出することができる。その結果、実行部４０は、確実にその操作内容を特定して、対象機器５を確実に操作することができる。
【選択図】図２

Description

本発明は、人が機器を操作するための操作装置及びその操作方法に関する。

一般的に、人が、家電やその他の機器を操作する時、機器の操作部またはその機器のリモートコントローラに設けられた、ボタンやタッチパネルを操作する。

例えば、特許文献１には、身体に障害を持つ人が操作する機器として、ナースコール用の呼び出し装置が開示されている。この呼び出し装置は、呼気圧力を検出する圧力センサ、患者の身体の接触を検出する静電容量型の接触センサ、瞬きや視線を検出する画像センサ等を備えている（例えば、特許文献１の明細書段落［００１３］〜［００１５］参照）。そして、この呼び出し装置は、これらのセンサのうち、患者の体の状況に応じて、単一または複数のセンサを選択してそれを稼働させることができる。

特開２００７−１１７４５７号公報

しかしながら、従来までの装置では、現実的には、操作者が手指以外の身体部分を用いて確実に操作することが難しかった。

本技術の目的は、操作者が、手指以外の身体部分を用いて、確実にあるいは簡単に機器を操作することができる操作装置及び操作方法を提供することにある。

上記目的を達成するため、本発明の一形態に係る操作装置は、第１の検出手段と、第２の検出手段と、実行手段と、制御手段とを具備する。
前記第１の検出手段は、操作者の口腔部の動きの状態を検出する。
第２の検出手段は、前記操作者の呼吸気の発生の状態を検出する。
前記実行手段は、前記第１の検出手段による検出信号に基づき、前記操作者による操作の対象となる対象機器に、所定の処理を実行させる。
前記制御手段は、前記第２の検出手段による検出信号に基づき、前記第１の検出手段による検出を開始させ及び終了させることのうち少なくとも一方を行う。

制御手段は、第２の検出手段による検出信号に基づき、第１の検出手段による検出を開始または終了させるので、口腔部の動きの状態を確実に検出することができる。その結果、実行手段は、確実にその操作内容を特定して、対象機器の操作を確実に行うことができる。

前記実行手段は、前記第１の検出手段による検出信号に基づき、前記対象機器の操作内容を特定し、前記第２の検出手段による検出信号に基づき、前記特定された操作内容に対応する処理を前記対象機器に実行させてもよい。これにより、ユーザは、操作内容の選択とその決定を分けて行うことができるので、操作の実行の確実性が向上する。

前記第１の検出手段は、前記口腔部のうち舌または唇の動きの状態を検出してもよい。舌または唇は、微小な動きを実現できるので、対象機器の細かな操作内容の選択が可能となる。

前記第１の検出手段は、イメージセンサを有してもよい。前記イメージセンサは、複数のイメージセンサであってもよい。これにより、第１の検出手段による検出の情報量が増えるので、制御手段は、正確に操作内容を特定することができる。

前記第２の検出手段は、前記呼吸気による空気の振動を検出する呼吸気センサを有してもいよい。

前記第２の検出手段は、前記呼吸気による空気の圧力変化を検出する圧力センサを有してもよい。

前記制御手段は、前記舌または唇の状態のパターン情報と、前記操作内容の情報とを対応付けて記憶する記憶部を有してもよい。これにより、制御手段による、舌または唇の状態のパターンの認識から操作内容の特定までの処理速度が向上する。

前記操作装置または前記対象機器に接続された表示部であって、前記操作内容を示す操作領域を含む画像を表示する表示部があってもよい。その場合、前記実行手段は、前記第１の検出手段により検出された前記舌または唇の特定部位の位置に応じて、前記表示部に表示された前記操作領域を指定することで、前記操作内容を特定してもよい。これにより、操作者は、舌または唇の特定部位に応じた、表示部の位置を選択（特定）することができ、直感的な操作が可能となる。

前記第２の検出手段は、前記呼吸気を検出する呼吸気センサを有し、前記複数のイメージセンサは、前記センサを中心として対称位置に配置されてもよい。これにより、操作者の口腔部の動きの状態及び呼吸気の検出精度を向上させることができる。

前記制御手段は、前記第２の検出手段による検出の閾値を記憶してもよい。

本発明の別の形態に係る操作装置では、前記実行手段は、前記第２の検出手段による検出信号に基づき、前記操作者による操作の対象となる対象機器に、所定の処理を実行させる。
前記制御手段は、前記第１の検出手段による検出信号に基づき、前記第２の検出手段による検出を開始させ及び終了させることのうち少なくとも一方を行う。

本発明のさらに別の形態に係る操作装置は、第１の検出手段と、第２の検出手段と、制御手段とを具備する。
前記第１の検出手段は、操作者の口腔部の動きの状態を検出する。
前記第２の検出手段は、前記操作者の呼吸気の発生の状態を検出する。
前記制御手段は、前記第１の検出手段による検出信号に基づき、前記操作者による操作の対象となる対象機器の第１の操作内容を特定し、前記第２の検出手段により検出信号に基づき、前記第１の操作内容とは異なる、前記対象機器の第２の操作内容を特定する。また、制御手段は、前記特定された第１の操作内容及び第２の操作内容にそれぞれ対応する処理を、前記対象機器に実行させる。

制御手段は、検出された口腔部の動きび呼吸気のそれぞれの状態に基づいて、所定の処理を対象機器に実行させる。すなわち、ユーザの異なる操作が、異なる操作内容にそれぞれ割り当てられるので、簡単に対象機器を操作することができる。

前記対象機器がカメラである場合、前記制御手段は、前記第１の操作内容及び前記第２の操作内容のうちいずれか一方を、撮影のためのシャッタ機能として設定してもよい。

本発明の一形態に係る操作方法は、操作者の口腔部の動きの状態を第１の検出手段で検出することを含む。また、この操作方法は、
前記操作者の呼吸気の発生の状態を第２の検出手段で検出すること、
前記第１の検出手段による検出信号に基づき、前記操作者による操作の対象となる対象機器に、所定の処理を実行させること、
前記第２の検出手段による検出信号に基づき、前記第１の検出手段による検出を開始させ及び終了させることのうち少なくとも一方を行うことを含む。

本発明の他の形態に係る操作方法は、操作者の口腔部の動きの状態を第１の検出手段で検出することを含む。また、この操作方法は、
前記操作者の呼吸気の発生の状態を第２の検出手段で検出すること、
前記第２の検出手段による検出信号に基づき、前記操作者による操作の対象となる対象機器に、所定の処理を実行させること、
前記第１の検出手段による検出信号に基づき、前記第２の検出手段による検出を開始させ及び終了させることのうち少なくとも一方を行うことを含む。

図１は、本発明の第１の実施形態に係る操作装置を概略的に示す図である。 図２は、その操作装置の構成を示す機能ブロック図である。 図３は、操作装置の処理を示すフローチャートである。 図４は、舌の位置または形状と、操作内容の情報とを対応付けた例を示す。 図５は、操作装置の第２の実施形態に係る処理を示すフローチャートである。 図６は、第３の実施形態に係る操作装置の構成を示す機能ブロック図である。 図７は、図６に示した操作装置の処理を示すフローチャートである。 図８は、第４の実施形態に係る操作装置の構成を示す機能ブロック図である。 図９は、図８に示した操作装置が内蔵されたカメラを示す。 図１０は、ユーザがこのカメラを操作する様子を示す。 図１１は、ユーザの口腔部の動きの状態のうち、舌または唇の特定部位の位置によって選択される操作領域を、ＧＵＩで表示した画面の例を示す。 図１２Ａ〜Ｃは、操作装置のイメージセンサの配置や姿勢が変更された例をそれぞれ示す。

以下、図面を参照しながら、本発明の実施形態を説明する。

［第１の実施形態］
（操作装置の構成）
図１は、本発明の第１の実施形態に係る操作装置を概略的に示す図である。図２は、その操作装置の構成を示す機能ブロック図である。

操作装置１００は、ユーザ（操作者）の操作の対象となる対象機器５（図２参照）を操作する装置である。図１に示すように、操作装置１００は、本体１０、イメージセンサ３０及び呼吸気センサ５０を備える。すなわち、本体１０は、これら少なくともイメージセンサ３０及び呼吸気センサ５０を一体に保持する保持体または筐体として機能する。

本体１０の形状は、図１に示したような形状に限られず、ユーザにとってそれを持ちやすくするように、人間工学に基づいて設計されればよい。あるいは、本体１０の形状は、任意の位置に置いたり、壁面等に掛けたりしても、安定するような形状に設計されればよい。

例えば、操作装置１００は、例えばヘッドマウント型やメガネ型の機器であってもよい。後述するように操作装置１００が対象機器５に組み込まれて一体化される場合、その対象機器５の種類、用途及び機能に応じて、本体１０の形状、サイズ及び対象機器５の中の位置が適宜設計され得る。

イメージセンサ３０は、主にユーザの口腔部の動きの状態を検出する機能を有し、第１の検出手段の少なくとも一部として機能する。本実施形態では、操作装置１００は、複数のイメージセンサ３０、例えば２つのイメージセンサ３０を備える。イメージセンサ３０としては、例えばＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のセンサが用いられ得る。

呼吸気センサ５０は、例えばユーザの呼気及び吸気のうち少なくとも一方の発生の状態を検出する。これは、第２の検出手段の少なくとも一部として機能する。呼吸気センサ５０としては、典型的には、例えばユーザの呼吸気による空気の振動を検出する、振動板を含むセンサが用いられる。そのセンサとしては、例えばマイクロフォンがある。マイクロフォンは、静電容量型、圧電型等、公知の型を採用し得る。

呼吸気センサ５０として、空気の圧力変化を検出する圧力センサが用いられてもよい。圧力センサとしては、静電容量型、電気抵抗型、圧電型等、公知のセンサが用いられる。

２つのイメージセンサ３０は、呼吸気センサ５０を中心として対称位置に配置されている。具体的には、２つのイメージセンサ３０は、呼吸気センサ５０を通る軸を中心として、線対称位置に配置されている。これにより、呼吸気センサ５０に対向するようにユーザの口腔部が配置されることにより、イメージセンサ３０は、ユーザの口腔部を３次元で撮影することができる。

イメージセンサ３０に像を導くレンズ系の性能、あるいは、後述の画像解析部１３による画像処理のアルゴリズム等によるが、２つのイメージセンサ３０間の距離は、例えば３ｃｍ〜３０ｃｍ程度に設定され得る。

図２に示すように、操作装置１００は、実行手段として機能する実行部４０、及び、制御手段として機能する制御部２０を含む。

実行部４０は、画像解析部１３、操作内容特定部１４及び通信部１５を含み、所定の処理を、対象機器５に実行させる。制御部２０は、スイッチ１２及び判定部１１を含み、少なくとも、イメージセンサ３０の検出を開始させる機能を有する。

画像解析部１３は、所定のアルゴリズムにしたがって、イメージセンサ３０で検出信号である画像を解析し、解析により得られた解析情報を操作内容特定部１４に送る。

操作内容特定部１４は、得られた解析情報に応じて、対象機器５の操作内容を特定し、特定した操作内容の情報を通信部１５に送る。

通信部１５は、対象機器５との間で有線または無線の通信を行う機能を有し、操作内容特定部１４から送られた操作内容の情報を対象機器５に送る。通信部１５には、公知の通信方式、例えば、イーサネット（登録商標）、ＷｉＦｉ、インターネット、移動体通信、ＵＳＢ（Universal Serial Bus）、ＰＳ／２、ＨＤＭＩ（High Definition Multimedia Interface）、ブルートゥース、または、光（赤外線または可視光）通信等の方式が採用され得る。

判定部１１は、例えば、呼吸気センサ５０の検出信号レベルが閾値を超える否かを判定する。

スイッチ１２は、判定部１１の判定結果の情報に応じて、スイッチング処理を実行する。例えば、スイッチ１２は、判定部１１の判定の結果、呼吸気センサ５０の検出信号レベルが閾値を超えた場合、ＯＮとなり、イメージセンサ３０の検出信号を画像解析部１３に出力する。

制御部２０及び実行部４０等の機能ブロックは、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のハードウェア要素及びソフトウェアにより実現される。あるいは、制御部２０及び実行部４０は、ＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device）、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスにより実現されてもよい。あるいは、制御部２０は、ＤＳＰ（Digital Signal Processor）等のデバイスにより実現されてもよい。

制御部２０及び実行部４０を実現するハードウェアは、上記本体１０内に、各センサと一体的に保持される。

対象機器５は、携帯電話等の通信端末機器、ＰＣ（Personal Computer）、カメラ、その他の家電等であるが、これらに限られない。対象機器５は、操作装置１００の通信部１５の通信方式に対応した通信インターフェースを備える。

（操作装置の処理）

以上のように構成された操作装置１００の処理を説明する。図３は、その処理を示すフローチャートである。

ユーザが、呼吸気センサ５０に向けて呼気を発生させる（意図的に息を吹きかける）。そうすると、呼吸気センサ５０はそれを検出する（ステップ１０１）。具体的には、呼吸気センサ５０は、その呼気を受けたことによる振動板の振動レベルの大きさに応じた検出信号を出力し、判定部１１は、その検出信号（またはそのレベル）を取得する。

呼吸気センサ５０が、例えば空気の圧力変化を検出する圧力センサである場合、ユーザが吸気を発生させる（意図的に息を吸う）ことによっても、そのことを検出可能である。

呼吸気センサ５０が検出信号を出力すると、判定部１１は、その検出信号のレベルを閾値で判定する（ステップ１０２）。例えば検出信号のレベルが閾値を超えた場合、制御部２０は、スイッチ１２をＯＮとする（ステップ１０３）。スイッチ１２がＯＮとされると、制御部２０は、イメージセンサ３０による検出を開始する（ステップ１０５）。

スイッチ１２がＯＮとされた状態で、ユーザが口腔部、特に舌または唇を動かして、所定の形状を作る。イメージセンサ３０は、その舌または唇の動きの状態を検出（撮影）する（ステップ１０５）。本処理では、口腔部のうち、舌の少なくとも一部の動きの状態（例えば舌の位置または形状）に応じて、操作内容を特定する形態について説明する。

図４は、その舌の位置または形状と、操作内容の情報とを対応付けた例を示す。図４に示す例では、舌先の横方向（ｙ方向）の位置、または舌の横方向の長さが、操作内容Ａ及びＢにそれぞれ割り当てられている。舌先の口の中での奥行方向（ｚ方向）での位置、または舌の横幅が、操作内容Ｃ及びＤにそれぞれ割り当てられている。舌先の縦方向（ｘ方向）の位置、または舌の縦方向の長さが、操作内容Ｅ及びＦにそれぞれ割り当てられている。すなわち、合計６種類の舌の位置または形状が、各操作内容にそれぞれ割り当てられる。もちろん、操作内容は６つに限られず、さらに多く設定されてもよい。

制御部２０は、これらの６種類の舌のサンプル画像と、操作内容Ａ〜Ｆの情報とを対応付けた対応テーブルをメモリ（記憶部）に記憶している。ユーザがこの対応テーブルの設定をカスタマイズできるプログラムを、制御部２０がメモリに保持していてもよい。制御部２０が、舌のサンプル画像を工場出荷の時点において既に記憶していてもよいし、ユーザが、初期設定時に自身の舌を撮影することにより、舌のサンプル画像を作って制御部２０がこれらを記憶しておいてもよい。

ユーザは、上記対応テーブルの設定のカスタマイズや、サンプル画像に関する初期設定等を行う場合、例えば、対象機器５やＰＣに操作装置１００を接続して、画面を見ながらそれらを行うようにすればよい。

このように、舌の状態のパターン情報が対応テーブルにより記憶されるていることにより、舌の状態のパターンの認識から操作内容の特定までの処理速度が向上する。

図３を参照して、ユーザが舌の形状を作り、イメージセンサ３０がそれを撮影すると、画像解析部１３は、撮影された画像を取得し、画像処理を実行する（ステップ１０６）。具体的な画像処理として、例えば、舌の画像の多値化（例えば２値化）、舌先の画像の抽出、舌のサイズのパラメータ（上述の舌の長さ、幅、あるいは舌先の傾き等）の測定、等の処理がある。

操作内容特定部１４は、画像処理された後の画像に基づき、上記の対応テーブルを参照して操作内容を特定する（ステップ１０７のＹＥＳ）。具体的には、操作内容特定部１４は、上記したパラメータに基づいて、対応テーブルの舌のサンプル画像のうち最も近い画像を特定し、それに対応する操作内容を特定する。このように、公知のパターンマッチング技術によって、画像を特定することができる。特定できない場合、フローはステップ１０５に戻る。

画像がが特定された場合、実行部４０は、対象機器５にその操作内容に対応する処理を実行させるために、その操作内容の情報を、通信部１５を介して対象機器５に送信する（ステップ１０８）。

対象機器５は、その操作内容の情報を受け、それに応じた処理を実行する。

以上のように、本実施形態に係る操作装置１００の制御部２０は、呼吸気センサ５０による検出信号に基づき、イメージセンサ３０による検出処理を開始するので、口腔部の動きの状態を確実に検出することができる。その結果、実行部４０は、確実にその操作内容を特定して、対象機器５を確実に操作することができる。

特に、ユーザは、一連の操作を、口腔部のみを活動させる（呼吸気の発生を含む）ことによって行うことができるので、手指以外の身体部分を用いて、スムーズに操作を対象機器５に入力することができる。

特に、人は呼吸気を発生させるタイミングを、手指の操作によるタイミングよりも高精度なタイミングで発生させることができる。人が身体的に何らかのアクションを起こそうとする場合に、そのことを脳で意識してから身体の部位が実際に動くまでの時間について、呼吸気と手指とで差があるからである。すなわち、人は、呼吸気の発生の方が手指を動かすことよりも速く行うことができる。

本実施形態では、舌または唇は、手指以外の身体部分のどの部分よりも微小な動きを実現できるので、対象機器５の細かな操作入力を行うことができる。

もちろん、手指による操作と、この操作装置１００による操作との組み合わせにより、対象機器５が操作されてもよい。

本実施形態では、複数のイメージセンサ３０が設けられている。したがって、それらによる検出の情報量が増えるので、実行部４０は正確に操作内容を特定することができる。また、複数のイメージセンサ３０により、口腔部の状態を高精度に検出することができるので、口腔部の多くの状態のパターンを複数の操作内容に割り当てることができる。また、操作装置のコンパクト化を実現できる。

ここで、本技術は、例えば、高齢者または身体障害者を対象者とする福祉分野、あるいは、高度な操作が必要とされる分野に適している。

例えば身体障害者の場合、例えば手足を動かすことができない場合であっても、口腔部を動かすことができる場合が多いので、身体障害者への本技術の適用は有用である。

イメージセンサ３０の個数によっては、舌及び唇の状態の組み合わせのパターンを、日本語かなやアルファベットに対応させることも可能である。したがって、例えば自由に言葉を発することができない人が本操作装置１００を使用することで、彼らの意思を表現することができる。

現在、製造及び販売されている呼気スイッチは、人が咥えるチューブを備えており、人がチューブを咥えて息を吹くことによってその呼気を検出する。しかし、この呼気スイッチでは、人がチューブ咥える仕様であるため、衛生面で劣り、装置の外観もよくない。これに対し、本実施形態に係る操作装置によれば、そのような問題を解決することができる。

高度な動作が必要とされる分野として、例えば産業用のロボットアーム等を操作する作業者（技術者や医者など）は、手指と同等に複雑かつ繊細な作業を行うことが可能となる。

また、宇宙飛行士が、宇宙船の船内及び船外で活動する場合のうち、特にロボットアームを操作する場合等がある。宇宙飛行士の場合、宇宙服を着用するので、手指による細かな作業ができない。本技術を宇宙飛行士に適用することで、船内及び船外での活動の幅を広げることができる。この場合、宇宙服のヘルメット部に操作装置１００が搭載されればよい。

宇宙での活動には、宇宙船同士のドッキングが含まれる。ドッキング作業は、通常、地上からの遠隔操作により行われる。ドッキング作業の操作は熟練を要し、非常に難しく、操作のタイミングが重要となる。本実施形態によれば、高精度なタイミングでの操作を必要とするこのようなドッキング操作に効果的である。

また、本実施形態に係る対象機器５を、ゲーム機器として利用することもできる。

（対象機器の具体例）
次に、対象機器５が、例えばＡＶ（Audio Visual）機器の場合について、操作内容の具体例を説明する。ＡＶ機器としては、例えばＴＶ、ビデオレコーダ、音響装置などがある。

ＡＶ機器の場合、音量調整、ビデオデータの再生、早送り、巻き戻し、画面の明るさ等の操作内容がある。例えば図４に示した対応テーブルの舌の動きの状態に、それらの操作内容が下記のように割り当てられる。

操作内容Ａ：音量増
操作内容Ｂ：音量減
操作内容Ｃ：ビデオデータの再生
操作内容Ｄ：ビデオデータの早送り（または巻き戻し）
操作内容Ｅ：画面の明るさ増
操作内容Ｆ：画面の明るさ減

上記の例の割り当て以外にも、「増」「減」を行う調整操作については、例えば舌を一方向に伸ばした場合は増、その反対方向に伸ばした場合は減、という割り当てでもよい。ビデオデータの早送り及び巻き戻しも、これと同様である。

操作装置１００は、図示しない表示装置に、操作のメニュー画面を表示させ、そのメニュー画面に沿って、つまり、画面内のＧＵＩ（Graphical User Interface）を介してユーザが舌を用いて操作してもよい。この場合、操作のメニュー画面を表示させるための処理も、イメージセンサ３０及び実行部４０によって行われればよい。表示装置は、操作装置１００またはＡＶ機器が持っていてもよい。

［第２の実施形態］
図５は、操作装置１００の第２の実施形態に係る処理を示すフローチャートである。これ以降の説明では、図１等に示した実施形態に係る操作装置１００が含むハードウェア、機能及び処理等について同様のものは説明を簡略化または省略し、異なる点を中心に説明する。

この処理において、図３に示した処理と異なる処理は、ステップ２０９〜２１２である。すなわち、ステップ２０８の後、呼吸気センサ５０が呼吸気を検出し（ステップ２０９）、判定部１１が、その呼吸気の検出信号レベルが閾値を超えるか否かを検出する（ステップ２１０）。それが閾値を超えた場合、制御部２０はスイッチ１２をＯＦＦとする（ステップ２１１）。スイッチ１２がＯＦＦとされることにより、イメージセンサ３０による検出が終了する（ステップ２１２）。

このように、呼吸気センサ５０の検出によって、イメージセンサ３０により検出を終了させるので、そのイメージセンサ３０による画像の検出精度が向上する。すなわち、イメージセンサ３０による開始及び終了のタイミングが明確になるため、その検出精度が向上する。

［第３の実施形態］
図６は、第３の実施形態に係る操作装置の構成を示す機能ブロック図である。

この実施形態に係る操作装置２００の制御部２１は、上記スイッチ１２と同じ機能を有する第１スイッチ１２と、それとは別に、第２スイッチ１６を有する。制御部２０は、この第２スイッチ１６を制御することにより、判定部１１の判定結果の情報に基づいて、操作内容特定部１４で特定された操作内容を通信部１５へ出力したり、それを遮断したりする。

図７は、この操作装置２００の処理を示すフローチャートである。この処理において、図３に示した処理と異なる処理は、ステップ３０８〜３１０である。すなわち、ステップ３０７の後、呼吸気センサ５０は、ユーザの呼吸気を検出し（ステップ３０８）、判定部１１が、その呼吸気の検出信号レベルが閾値を超えるか否かを検出する（ステップ３０９）。それが閾値を超えた場合、制御部２１は第２スイッチ１６をＯＮとする（ステップ３１０）。スイッチ１２がＯＮとされることにより、操作内容の情報が、通信部１５を介して対象機器５に送信され、対象機器５はその操作内容に対応する処理を実行する。

本実施形態では、ユーザは、イメージセンサ３０の検出による操作内容の選択と、呼吸気センサ５０の検出によるその操作内容の決定とを分けて行うことができるので、操作の実行の確実性が向上する。

［第４の実施形態］
（操作装置の構成）
図８は、第４の実施形態に係る操作装置の構成を示す機能ブロック図である。

本実施形態に係る操作装置３００の制御部２２は、画像解析部１３からの解析結果の情報を受ける第１操作内容特定部１４と、呼吸気センサ５０からの検出信号に基づき、その検出信号を解析する信号解析部１７と、信号解析部１７からの解析結果の情報を受ける第２操作内容特定部１８とを有する。

上記各実施形態と同様に、イメージセンサ３０で検出されて画像処理されたユーザの口腔部の画像から、上記各実施形態と同様に操作内容（第１の操作内容）が特定される。

信号解析部１７は、例えば、呼吸気の検出信号レベル、その検出信号の長さ、あるいは、これらの組み合わせのパターンを解析する。第２操作内容特定部１８は、それらのパターンと、複数の操作項目とを対応付け、これを対応テーブルとして記憶している。これにより、ユーザは、呼吸気の発生の状態に応じた操作を行うことができる。

単純な例として、信号解析部１７は、複数の検出信号レベルの閾値を持っていてもよい。そして、信号解析部１７は、その検出信号レベルに応じて、第２の操作内容特定部１４は、予めそれらに対応付けられた複数種類の操作内容のうち１つの操作内容を指定すればよい。

本実施形態に係る操作装置３００は、検出された口腔部の動きび呼吸気のそれぞれの状態に基づいて、それぞれの所定の処理を対象機器５に実行させる。これにより、ユーザは、各種の操作を口腔部を活動させる（呼吸気の発生を含む）ことによって行うことができるので、簡単に対象機器５を操作することができる。

（対象機器がカメラである場合の例）

次に、この第４の実施形態において、対象機器５がカメラである場合の実施形態を説明する。

図９は、操作装置３００が内蔵されたカメラ６を示す。すなわち、この例では、上記したように操作装置３００が対象機器５に組み込まれて一体化されている。カメラ６は、例えばデジタル一眼レフカメラである。例えば、カメラ６の光の入射側とは逆側、例えば液晶等の表示部６２が配置される側の下部に、操作装置３００が配置されている。操作装置３００のイメージセンサ３０は、表示部６２の左右両側に配置され、呼吸気センサ５０は、表示部６２の下部に配置される。

なお、本実施形態のように操作装置３００と対象機器５（カメラ６）とが一体とされる場合、操作装置３００の制御部２２を構成するハードウェアの一部と、対象機器５を構成するハードウェアの一部とが重複する、すなわち、同じ１つのハードウェアである場合もある。また、操作装置３００は通信部１５を持たない場合もある。

カメラ６の操作内容として、ホワイトバランス、露出、シャッタスピード、ピント等がある。例えば図４に示した対応テーブルの舌の動きの状態に、これらの操作内容が下記のように割り当てられる。

操作内容Ａ及びＢ：ホワイトバランスの調整
操作内容Ｃ及びＤ：シャッタスピードの調整
操作内容Ｅ及びＦ：露出の調整

なお、この例では、各項目の調整はそれぞれ２段階に設定されているが、もちろん、対応テーブルの設定に応じて、３段階以上に調整することができる。また、舌の動きの状態を検出する場合に代えて、または、舌の動きの状態を検出する場合に加えて、唇の動きの状態が検出されてもよい。

図１０は、ユーザがこのカメラ６を操作する様子を示す。上の図は、ユーザが舌を動かして、上記各項目を調整する様子を示す。この場合、ユーザは表示部６２（図９参照）を見ながら操作してもよいし、ファインダ６１を覗きながら操作してもよい。図１０の下の図は、ユーザが操作装置３００の呼吸気センサ５０に向けて息を吹きかけて、シャッタ動作を行う様子を示す。

すなわち、このカメラ６の例では、最後のシャッタ機能（シャッタを押す操作）が呼吸気の発生の状態に割り当てられ、それ以外の操作は、口腔部の動きの状態に割り当てられる。この場合、例えば制御部２２は、上記実施形態に係る判定部１１による閾値判定のような処理を、信号解析部１７に実行させ、呼吸気を検出すればよい。

本実施形態では、ユーザの異なる操作が、異なる操作内容にそれぞれ割り当てられるので、ユーザは簡単かつ確実に対象機器５を操作することができる。

特に、一眼レフカメラなどを比較的重いカメラを使用する場合、両手でカメラ６の本体６３及びレンズ部６４をそれぞれ支えた状態で様々な設定が必要となる。しかしながら、その設定作業は、同時にカメラ６を安定して保持することの支障となり、手振れが発生しやすくなる。その各種設定をこの操作装置３００によって行うことにより、ユーザはしっかりとカメラ６を保持した状態で、手を動かすことなくカメラ６を操作することが可能となる。

なお、上記とは逆に、シャッタ機能が口腔部の動きの状態に割り当てられ、それ以外の調整等の操作内容のうち少なくとも１つが呼吸気の発生の状態に割り当てられてもよい。

［第５の実施形態］
図１１は、ユーザの口腔部の動きの状態のうち、舌または唇の特定部位の位置によって選択される操作内容（操作領域）を、ＧＵＩで表示した画面の例を示す。本例は、図６に示した構成の操作装置２００に適用され得る。

図１１に示すように、例えばこの画面は、任意の位置に配置された操作領域としてボタンａ、ｂ、ｃ及びｄを含み、操作装置に接続された表示装置（操作装置と一体化された場合も含む）、または、対象機器５が持つ表示装置等によって表示される。

ユーザは、この画面を見ながら舌を動かし、その舌先でこれらのボタンａ〜ｄのうち１つのボタンを選択することで、実行部４０はそのボタンを指定する。具体的には、イメージセンサ３０により撮影される口腔部の画像に基づき、画像解析部１３はその舌先の２次元での位置を検出し、操作内容特定部１４は、その舌先の位置に対応するボタンを指定することで、ボタンａ〜ｄに対応する操作内容を特定する。この場合、舌先による選択されるボタンがハイライト表示されることが好ましい。

このような処理により、ユーザがこの画面を見ながら、例えば右下に舌先を動かすと、ボタンｄを選択することができる。あるいは、ユーザが舌先を右方向（左、上、または下でもよい）へ伸ばすように口から出すたびに、選択対象のボタンが右（左、上、または下でもよい）へ移動していく、すなわちハイライト表示が移動していくように、制御部はその画面の表示を制御してもよい。

そして、ボタンａ〜ｄのうち１つのボタンが選択された状態で、ユーザが意図的に呼吸気を発生することにより、実行部４０は、その選択されたボタンの操作内容に対応する処理を対象機器５に実行させる。

このように、舌または唇の特定部位の位置に応じた操作領域が特定されることにより、ユーザは直感的な操作が可能となる。

この第６の実施形態は、上記操作装置２００（図６参照）に適用されるものとして説明した。しかし、この第６の実施形態は、上記操作装置２００において、第１スイッチ１２を持っておらず、第２スイッチ１６を有する操作装置にも適用可能である。

［その他の実施形態］
本発明は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

（イメージセンサについて）
図１２Ａ〜Ｃは、操作装置のイメージセンサ３０の配置や姿勢が変更された例をそれぞれ示す。図１に示したイメージセンサ３０の入射光の光軸の向きは平行であった。図１２Ａは操作装置１００を上から見た図であり、このように、光軸は平行でなくてもよい。この図１２Ａに示す例では、イメージセンサ３０が互いに内側を向いている。

あるいは、図１２Ｂに示すように、３つのイメージセンサ３０が設けられる場合、中央のイメージセンサ３０の光軸はその本体１０の横方向に直交する方向（ｚ方向）に設定され、両端のイメージセンサ３０の光軸は互いに内側を向くように設定されてもよい。

図１２Ｃは、操作装置１００の矩形の本体１０の４つのコーナーにそれぞれイメージセンサ３０が配置されている例を示す。この場合も、図１２Ａに示すように、光軸が内向きに設定されてもよい。

図１及び図１２Ａ〜Ｃに示した操作装置のイメージセンサ３０の光軸の向きが、ユーザにより可変に調整できるように、操作装置が構成されていてもよい。

上記では、イメージセンサ３０の配置は、線対称とされたが、点対称でもよい。この場合の点は、呼吸気センサ５０が配置される領域内であるならどこでもよい。

上記では、イメージセンサ３０は、口腔部のうち舌または唇を撮影したが、口腔部のうち歯を撮影してもよい。例えばこの場合、操作装置は、上下の歯の相対位置に応じて操作内容を特定してもよい。

イメージセンサ３０に代えて、または、それに加えて、超音波センサが設けられていてもよい。例えば、複数の超音波センサによって、口腔部の動きの状態を３次元的に検出することができる。

（呼吸気センサについて）
例えばユーザが図示しないチューブ等を咥え、そのチューブ内またはチューブの端部に呼吸気センサ５０が取り付けられていてもよい。

チューブを用いる場合、例えば呼吸気センサとしての振動センサや圧力センサに代えて、チューブ内の圧力変化に応じて動く、電気接点を持つメカニカルスイッチが用いられてもよい。

呼吸気センサ５０は、所定の位置に複数配置されていてもよい。その場合、例えば、それらの呼吸気センサ５０のうち、所定の検出信号を得た呼吸気センサ５０に応じて、所定の操作内容が実行される。

（その他）
上記実施形態では、イメージセンサ３０及び呼吸気センサ５０が本体１０に一体に保持されたが、それらのセンサは別体で設けられてもよい。

上記各実施形態に係る制御部２０は、閾値（すなわちセンサ感度）の設定をユーザが変更できるようなプログラムを備えていてもよい。

判定部１１は、上でも説明したが、複数種類の閾値を持っていていもよい。例えば、判定部１１は、検出信号レベルの閾値判定に加え、その検出信号レベルの継続時間が閾値を超えるか否かを判定してもよい。この場合、検出信号レベル、その継続時間、及び、それらの組み合わせのパターンに応じて、実行処理に関連する操作内容が割り当てられてもよい。実行処理に関連する操作内容とは、例えばその実行処理の取り消し、一時停止、再開等である。

舌の動きの状態のパラメータは、その幅や長さに代えて、あるいはこれらに加えて、舌の全体形状を含んでいてもよい。例えば、舌が、延びている、縮んでいる、少なくとも一部が丸まっている、一部が曲っているなど、多種の状態を舌で表現することができる。このことは、唇についても同様である。

上記各実施形態における操作の他の例として、呼吸気センサ５０による呼吸気の状態の検出によって、または、イメージセンサ３０による口腔部の動きの状態の検出によって、操作装置１００は、操作画面全体の表示を制御してもよい。操作画面全体の表示の制御とは、例えば、画面のスクロール、画面の切り替え、または、表示色の切り替え等である。

上記第１の実施形態では、呼吸気センサ５０による呼吸気発生の検出に基づいて、イメージセンサ３０による検出が開始または終了された。しかし、これとは逆に、イメージセンサ３０による口腔部の所定の動きの状態の検出に基づいて、呼吸気センサ５０による検出が開始または終了されてもよい。

上記第３の実施形態では、イメージセンサ３０により検出された口腔部の画像に基づいて、操作内容が特定され、呼吸気センサ５０による検出信号に基づいて、その特定された操作内容に対応する処理が実行された。これとは逆に、呼吸気センサ５０による検出信号に基づいて操作内容が特定され、イメージセンサ３０検出された口腔部の動きの状態（例えばその画像）に基づいて、その特定された操作内容に対応する処理が実行されてもよい。この場合、第４の実施形態のように、信号解析部１７及び第２操作内容特定部１８が持つアルゴリズムで、呼吸気の発生の状態を検出して操作内容を特定してもよいし、判定部１１が持つ複数段階の閾値判定に基づき、各閾値のレベルに対応する操作内容を特定してもよい。

口腔部の動きの状態及び呼吸気の発生の状態の組み合わせのパターンによって、操作内容が特定され、かつ、その特定された操作に対応する処理が実行されてもよい。

上記実施形態に係る操作装置１００は、イメージセンサ３０及び呼吸気センサ５０の両方を備えていたが、これら２種類のセンサのうち、イメージセンサ３０のみを備えていてもよい。操作装置１００は、口腔部（例えば舌、唇及び歯のうち少なくとも１つ）の動きのパターンの組み合わせによって、様々な操作を実行することができる。例えば、その口腔部の動きに応じて、異なる周波数及びボリュームを持つ音に変換して、これをスピーカにより出力してもよい。例えば、娯楽の分野において、ホーミーやテルミンのような無段階で流動的な音を奏でることができる。

以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。

５…対象機器
１１…判定部
１２…スイッチ（第１のスイッチ）
１３…画像解析部
１４…操作内容特定部（第１の操作内容特定部）
１５…通信部
１６…第２のスイッチ
１７…信号解析部
１８…第２の操作内容特定部
２０、２１、２２…制御部
３０…イメージセンサ
４０…実行部
５０…呼吸気センサ
１００、２００、３００…操作装置

Claims (17)

1. 操作者の口腔部の動きの状態を検出する第１の検出手段と、
   前記操作者の呼吸気の発生の状態を検出する第２の検出手段と、
   前記第１の検出手段による検出信号に基づき、前記操作者による操作の対象となる対象機器に、所定の処理を実行させる実行手段と、
   前記第２の検出手段による検出信号に基づき、前記第１の検出手段による検出を開始させ及び終了させることのうち少なくとも一方を行う制御手段と
   を具備する操作装置。
2. 請求項１に記載の操作装置であって、
   前記実行手段は、前記第１の検出手段による検出信号に基づき、前記対象機器の操作内容を特定し、前記第２の検出手段による検出信号に基づき、前記特定された操作内容に対応する処理を前記対象機器に実行させる
   を具備する操作装置。
3. 請求項１または２に記載の操作装置であって、
   前記第１の検出手段は、前記口腔部のうち舌または唇の動きの状態を検出する
   操作装置。
4. 請求項１から３のうちいずれか１項に記載の操作装置であって、
   前記第１の検出手段は、イメージセンサを有する
   操作装置。
5. 請求項４に記載の操作装置であって、
   前記イメージセンサは、複数のイメージセンサである
   操作装置。
6. 請求項１から５のうちいずれか１項に記載の操作装置であって、
   前記第２の検出手段は、前記呼吸気による空気の振動を検出する呼吸気センサを有する
   操作装置。
7. 請求項１から５のうちいずれか１項に記載の操作装置であって、
   前記第２の検出手段は、前記呼吸気による空気の圧力変化を検出する圧力センサを有する
   操作装置。
8. 請求項３に記載の操作装置であって、
   前記制御手段は、前記舌または唇の状態のパターン情報と、前記操作内容の情報とを対応付けて記憶する記憶部を有する
   操作装置。
9. 請求項３に記載の操作装置であって、
   前記操作装置または前記対象機器に接続された表示部が、前記操作内容を示す操作領域を含む画像を表示する場合、
   前記実行手段は、前記第１の検出手段により検出された前記舌または唇の特定部位の位置に応じて、前記表示部に表示された前記操作領域を指定することで、前記操作内容を特定する
   操作装置。
10. 請求項６に記載の操作装置であって、
    前記第２の検出手段は、前記呼吸気を検出する呼吸気センサを有し、
    前記複数のイメージセンサは、前記センサを中心として対称位置に配置されている
    操作装置。
11. 請求項１から１０のうちいずれか１項に記載の操作装置であって、
    前記制御手段は、前記第２の検出手段による検出の閾値を記憶する
    操作装置。
12. 操作者の口腔部の動きの状態を検出する第１の検出手段と、
    前記操作者の呼吸気の発生の検出する第２の検出手段と、
    前記第２の検出手段による検出信号に基づき、前記操作者による操作の対象となる対象機器に、所定の処理を実行させる実行手段と、
    前記第１の検出手段による検出信号に基づき、前記第２の検出手段による検出を開始させ及び終了させることのうち少なくとも一方を行う制御手段と
    を具備する操作装置。
13. 操作者の口腔部の動きの状態を検出する第１の検出手段と、
    前記操作者の呼吸気の発生の状態を検出する第２の検出手段と、
    前記第１の検出手段による検出信号に基づき、前記操作者による操作の対象となる対象機器の第１の操作内容を特定し、前記第２の検出手段により検出信号に基づき、前記第１の操作内容とは異なる、前記対象機器の第２の操作内容を特定し、前記特定された第１の操作内容及び第２の操作内容にそれぞれ対応する処理を、前記対象機器に実行させる制御手段と
    を具備する操作装置。
14. 請求項１３に記載の操作装置であって、
    前記対象機器がカメラである場合、
    前記制御手段は、前記第１の操作内容及び前記第２の操作内容のうちいずれか一方を、撮影のためのシャッタ機能として設定する
    操作装置。
15. 請求項１３または１４に記載の操作装置であって、
    前記制御手段は、前記第１の検出手段による検出信号に基づき、前記対象機器の操作内容を特定し、前記第２の検出手段による検出信号に基づき、前記特定された操作内容に対応する処理を前記対象機器に実行させる
    を具備する操作装置。
16. 操作者の口腔部の動きの状態を第１の検出手段で検出し、
    前記操作者の呼吸気の発生の状態を第２の検出手段で検出し、
    前記第１の検出手段による検出信号に基づき、前記操作者による操作の対象となる対象機器に、所定の処理を実行させ、
    前記第２の検出手段による検出信号に基づき、前記第１の検出手段による検出を開始させ及び終了させることのうち少なくとも一方を行う
    操作方法。
17. 操作者の口腔部の動きの状態を第１の検出手段で検出し、
    前記操作者の呼吸気の発生の状態を第２の検出手段で検出し、
    前記第２の検出手段による検出信号に基づき、前記操作者による操作の対象となる対象機器に、所定の処理を実行させ、
    前記第１の検出手段による検出信号に基づき、前記第２の検出手段による検出を開始させ及び終了させることのうち少なくとも一方を行う
    操作方法。

Images