JP2016011029A - 電子機器操作システム - Google Patents

Abstract

【課題】操作器に対する制限が少ない電子機器操作システムを提供する。
【解決手段】操作器３０に対して行われた操作量を表す操作量信号に基づいて制御を行う制御部４６、５４を備えた空調装置４０、窓開閉装置５０を操作する電子機器操作システムであって、カメラ２０と、操作器３０の位置の変化を伴う操作がユーザの手により行われたことによる操作量を、カメラ２０が撮像した画像に基づいて決定する操作量決定部１２５と、操作量決定部１２５が決定した操作量に基づいて操作量信号を決定して、決定した操作量信号を制御部４６、５４に対して出力する操作量信号出力部１２６と、を備える。
【選択図】図３

Description

本発明は、電子機器を操作する電子機器操作システムに関し、特に、操作器が電子機器と別体になっている電子機器操作システムに関する。

ユーザが電子機器を操作する場合、ユーザは、電子機器を操作するために設けられている操作器を手で操作することが一般的である。特許文献１では、操作器としてダイアルを備えている。特許文献１では、ダイアルは電子機器の一部品となっており、ダイアルの回転量を検出する検出部と信号線により接続されている。

特開２００７−１４８９９８号公報

特許文献１とは異なり、電子機器の本体とは別体となっており、電子機器の本体に対して制御信号を無線送信する操作器も知られている。一般にリモコンと呼ばれるものである。

専用品ではなく、スマートフォンをリモコンとして用いることができる技術も知られている。専用のリモコンも、スマートフォンをリモコン、すなわち操作器として使用する場合も、操作器は、電子機器に対して信号を無線送信する信号送信部を備える必要がある。すなわち、操作器は、信号送信部から信号を電子機器に送信する必要があるので、操作器として用いることができるのは、電子機器に信号を送信する信号送信部を備えている装置に限られるという問題があった。

本発明は、この事情に基づいて成されたものであり、その目的とするところは、操作器に対する制限が少ない電子機器操作システムを提供することにある。

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、発明の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

上記目的を達成するための本発明は、操作器（３０、１３０、２３０、３３０、４３０、５３０）に対して行われた操作量を表す操作量信号に基づいて制御を行う制御部（４６、５４）を備えた電子機器（４０、５０）を操作する電子機器操作システム（１）であって、カメラ（２０）と、操作器の位置の変化を伴う操作、および、操作器に対するタップ操作の少なくともいずれかが、ユーザの手により行われたことによる操作量を、カメラが撮像した画像に基づいて決定する操作量決定部（１２５）と、操作量決定部が決定した操作量に基づいて操作量信号を決定して、決定した操作量信号を制御部に対して出力する操作量信号出力部（１２６）と、を備える。

本発明によれば、操作量決定部は、操作器に対してユーザの手により行われた操作量を、カメラが撮像した画像に基づいて決定する。したがって、操作器は、電子機器に操作量信号を送信する信号送信部を備える必要がなく、また、形状も種々の形状とすることができる。したがって、操作器に対する制限が少ない。

さらに、操作器はカメラで認識できる位置であれば配置位置も自由であり、また、操作器には、操作量信号を送信するための電力も必要ない。また、信号送信部が不要となるので、操作器の製造コストが安価になる。

なお、カメラが撮像した画像に基づいて操作量を決定するのであるから、操作器すら不要にすることも考えられる。しかし、操作器がない場合には、ユーザは、どのように手を動かしてよいか分かりにくいという問題がある。また、どのように手を動かしてよいか分かりにくいことから、同じ操作に対する動きであっても、ユーザが異なると、手の動きが大きく異なる可能性がある。その結果、ユーザによって行われた操作を認識する精度が低下する恐れもある。

これに対して、本発明では、操作器が存在するため、ユーザの操作は、操作器を持って行う操作に限定される。これにより、ユーザは、何もないところで、手により電子機器に対する操作量を示すよりも、操作が行いやすい。また、操作量決定部が決定する操作量の精度も向上する。

本発明の実施形態となる電子機器操作システム１と、空調装置４０、窓開閉装置５０を示す図である。 実施形態の操作器３０の外観を示す図である。 電子機器操作システム１、空調装置４０、窓開閉装置５０の構成を示すブロック図である。 操作検出装置１０のコンピュータ１２が実行する処理を示すフローチャートである。 図４に続いて操作検出装置１０のコンピュータ１２が実行する処理を示すフローチャートである。 変形例１において、操作検出装置１０のコンピュータ１２が実行する処理の一部を示すフローチャートである。 変形例２の操作器１３０の外観を示す図である。 変形例３の操作器１３０の外観を示す図である。 変形例４の操作器１３０の外観を示す図である。 変形例５の操作器１３０の外観を示す図である。 変形例６の操作器１３０の外観を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。図１において、空調装置４０と窓開閉装置５０は、本発明の実施形態となる電子機器操作システム１により操作される電子機器である。これら空調装置４０と窓開閉装置５０は、電子機器操作システム１により操作される電子機器の一例であり、他の電子機器が、電子機器操作システム１により操作されるようになっていてもよい。

電子機器操作システム１、空調装置４０、窓開閉装置５０は、車両１００で用いられる。電子機器操作システム１は、操作検出装置１０、カメラ２０、操作器３０を備える。

カメラ２０は、車室１１０内の上端部分に固定され、車室１１０内を逐次撮像する。カメラ２０の撮像範囲には、運転席および助手席が含まれている。また、後席が撮像範囲に含まれていてもよい。カメラ２０が撮像した車室１１０内の画像を、以下、車室内画像という。

操作器３０は、車室１１０内に持ち込まれて乗員に使用される。この操作器３０は、カメラ２０や操作検出装置１０と接続されていない。一方、カメラ２０と操作検出装置１０は有線または無線により互いに接続されており、操作検出装置１０と空調装置４０、窓開閉装置５０も有線または無線により互いに接続されている。

本実施形態の操作器３０は、図２に示す外観を備える。図２に示すように、操作器３０は、基板３１と、把持部３２と、突き出し板部３３とを備える。把持部３２は円柱形状であり、把持部３２の直径は、乗員が把持部３２を掴みやすい大きさになっている。また、把持部３２は、高さが直径よりも小さい。通常、回転操作する部材は、高さが直径よりも小さいことから、把持部３２の高さが直径よりも小さくなっていることにより、乗員は、操作器３０が回転操作する部材であることを容易に認識できる。

突き出し板部３３は、把持部３２の下部から把持部３２の径方向に突き出す円環板状部材である。把持部３２と突き出し板部３３は一体化されており、これら把持部３２と突き出し板部３３は、把持部３２の軸心を回転中心として、基板３１に対して相対回転できる。

また、突き出し板部３３の表面には、周方向に一定間隔で複数の丸印３４が表されている。図２には、３つの丸印３４しか示されていないが、本実施形態の突き出し板部３３は、その周方向に等間隔に４つの丸印３４が表されているものとする。この丸印３４は、操作器３０の操作量を検出するための目印記号であるとともに、操作器３０を他の部材と区別するための識別記号でもある。このような外観形状を有する本実施形態の操作器３０は、電子部品は備えていない。したがって、電子部品を作動させるための電池も備えていない。

電子機器操作システム１、空調装置４０、窓開閉装置５０の構成を、図３を用いて詳しく説明する。操作検出装置１０は、記憶部１１と、コンピュータ１２を備える。

記憶部１１には、操作器３０における目印記号および識別記号である丸印３４の形状、大きさが記憶されている。

コンピュータ１２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。そのＣＰＵが、ＲＡＭの記憶機能を利用しつつ、ＲＯＭに記憶されているプログラムを実行することで、コンピュータ１２は、位置決定部１２１、走行判定部１２２、機能決定部１２３、操作判定部１２４、操作量決定部１２５、操作量信号出力部１２６として機能する。なお、これらの各部の一部または全部を、一つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。

位置決定部１２１は、車室内画像を解析して、操作器３０の位置および操作器３０のユーザである乗員の手の位置を逐次決定する。なお、手とは、手首よりも先の部分であり、腕は、本実施形態では手に含まない。この位置決定部１２１は、請求項の第１位置決定部および第２位置決定部として機能している。

操作器３０の位置の決定は、記憶部１１に記憶している丸印３４を車室内画像から探すことにより行う。本実施形態では、正確に操作器３０の位置を決定する必要はないので、丸印３４の位置を操作器３０の位置とすればよい。複数の丸印３４が検出できたときは、たとえば、複数の丸印３４の重心位置を操作器３０の位置とする。

乗員の手の位置の決定は、一般物体認識の分野で知られている種々の手法を用いて行うことができる。たとえば、車室内画像から局所画像を切り出し、局所画像に対してＢｏｆ（Bag-of-features）法を適用することにより、手の位置を決定する。

走行判定部１２２には、車両１００の車速を表す車速信号が供給される。この車速信号に基づいて、走行判定部１２２は、車両１００が走行状態にあるか停止状態にあるかを逐次判定する。なお、車速信号に加えてシフト位置も用いて車両１００が走行状態にあるか停止状態にあるかを判定してもよい。

機能決定部１２３は、位置決定部１２１が決定した操作器３０の位置と、走行判定部１２２の判定結果とに基づいて、操作器３０の機能をオンとするかオフとするかを決定する。操作器３０の機能がオンである状態とは、操作器３０が操作されたことにより、操作量信号出力部１２６から操作量信号が出力される状態をいう。

さらに機能決定部１２３は、操作器３０の機能をオンにすると決定した場合には、操作器３０により制御する電子機器（以下、制御対象機器）を決定する。制御対象機器は、位置決定部１２１が決定した操作器３０の位置に基づいて決定する。操作器３０の位置と電子機器との対応は予め設定されている。たとえば、操作器３０が車両ドアから一定範囲内あれば、制御対象機器は窓開閉装置５０であるとする。操作器３０の位置が車両ドアから一定範囲外であれば、制御対象機器は空調装置４０であるとする。

操作判定部１２４は、位置決定部１２１が決定した操作器３０の位置と乗員の手の位置とから、乗員の手が操作器３０に触れているか否かを判定する。ただし、機能決定部１２３が、操作器３０の機能をオフにすると決定している場合には、この判定は行わない。

操作量決定部１２５は、操作判定部１２４が、乗員の手が操作器３０に触れていると判定している場合に、乗員の手により操作器３０に対して行われた操作量を決定する。この操作量の決定には車室内画像を用いる。車室内画像を逐次解析することで、操作器３０の位置の変化を決定する。

本実施形態のように、操作器３０に対する操作が回転操作である場合、操作器３０の位置の変化は回転位置の変化である。また、操作器３０には、把持部３２から突き出す突き出し板部３３を備えており、この突き出し板部３３には丸印３４が表されている。本実施形態の操作量決定部１２５は、丸印３４の位置変化を決定し、この位置変化から突き出し板部３３の回転移動量を決定する。この突き出し板部３３の回転移動量を操作器３０の回転移動量とする。この操作器３０の回転移動量が操作量である。

操作量信号出力部１２６は、操作量決定部１２５が決定した操作量に基づいて操作量信号を生成する。そして、生成した操作量信号を、機能決定部１２３が決定した制御対象機器の制御部、すなわち、本実施形態では空調装置４０および窓開閉装置５０のいずれかの制御部４６、５４に出力する。

空調装置４０は、操作部４２、温度センサ４４、制御部４６、駆動部４８などを備え、車室１１０内の温度を調整する。操作部４２は、制御部４６に対して、オン、オフや設定温度を指示するために乗員が操作する部分である。操作部４２が乗員により操作されると、その操作に応じた信号が制御部４６に出力される。温度センサ４４は、車室１１０内の温度を検出して、その温度を表す信号を制御部４６に逐次出力する。

制御部４６には、操作部４２および温度センサ４４からの信号に加えて、操作量信号出力部１２６から操作量信号も入力される。そして、制御部４６は、操作部４２から入力される信号あるいは操作量信号出力部１２６から入力される操作量信号に基づいて設定温度を決定し、その設定温度になるように、駆動部４８のオンオフや、駆動部４８の出力を決定する。駆動部４８は、制御部４６により制御されて、車室内の温度を上下させる。

窓開閉装置５０は、操作部５２、制御部５４、駆動部５６などを備え、車両１００の窓を開閉させる。操作部５２は、車両ドアの車室１１０側の側面に設けられており、車両ドアを開閉させる際に乗員が操作する部分である。操作部５２が乗員により操作されると、その操作に応じた信号が制御部５４に出力される。

制御部５４には、操作部５２からの信号に加えて、操作量信号出力部１２６から操作量信号も入力される。そして、操作部５２から入力される信号あるいは操作量信号出力部１２６から入力される操作量信号に基づいて、駆動部５６の駆動量を決定し、決定した駆動量に応じた駆動信号を駆動部５６に出力する。駆動部５６は、モータを備えており、駆動信号に応じてモータを駆動させることで、車両ドアの窓を開閉させる。

次に、操作検出装置１０のコンピュータ１２が実行する処理を図４、図５のフローチャートを用いて説明する。操作検出装置１０のコンピュータ１２は、図４、図５の処理を車両１００の電源がオンである間、周期的に実行する。

図４のステップＳ２では、車室内画像をカメラ２０から取得する。ステップＳ４では、ステップＳ２で取得した車室内画像を解析して、操作器３０を検出できたか否かを判断する。操作器３０の検出は、前述のように、操作器３０に表されている丸印３４を車室内画像から検出することにより行う。操作器３０が検出できない場合には（Ｓ４：ＮＯ）、図４の処理を終了する。操作器３０が検出できた場合には（Ｓ４：ＹＥＳ）、ステップＳ６に進む。

ステップＳ６では、車室内画像の解析結果から、操作器３０の位置を決定し、決定した位置を記憶部１１に記憶する。ここまでのステップＳ２〜Ｓ６は、位置決定部１２１が行う。

ステップＳ８では、ステップＳ６で決定した操作器３０の位置が運転席であるか否かを判断する。このステップＳ８は機能決定部１２３が行う。ステップＳ８の判断がＹＥＳであればステップＳ１０に進む。

ステップＳ１０では、車両１００が走行中か否かを判断する。このステップＳ１０は走行判定部１２２が行う。ステップＳ１０の判断がＹＥＳであれば、図４の処理を終了する。したがって、操作器３０が運転席にあり、車両１００が走行中であれば、操作器３０の機能はオフになり、操作器３０を操作しても、操作検出装置１０は操作量信号を空調装置４０や窓開閉装置５０に送信しないことになる。このステップＳ１０の判断がＮＯであれば、ステップＳ１２に進む。

ステップＳ１２では、操作器３０の機能をオンにすると決定する。さらに、ステップＳ６で決定した操作器３０の位置に基づいて、制御対象機器を決定する。このステップＳ１２は機能決定部１２３が行う。

ステップＳ１４では、ステップＳ２で取得した車室内画像を解析して、乗員の手の位置を決定する。このステップＳ１２は位置決定部１２１が行う。

ステップＳ１６では、ステップＳ６で決定した操作器３０の位置に、ステップＳ１４で決定した乗員の手の位置があるか否かを判断する。このステップＳ１６は操作判定部１２４が行う。操作器３０の位置に乗員の手の位置がないと判断した場合には（Ｓ１６：ＮＯ）、図４の処理を終了する。操作器３０の位置に乗員の手の位置があると判断した場合には（Ｓ１６：ＹＥＳ）、図５に進む。

図５において、ステップＳ２０では、再び、車室内画像をカメラ２０から取得する。ステップＳ２２では、ステップＳ２０で取得した車室内画像を解析して、乗員の手の位置を決定する。これらステップＳ２０、Ｓ２２は位置決定部１２１が行う。

ステップＳ２４では、今回のステップＳ２２で決定した乗員の手の位置が、図４のステップＳ６で決定した操作器３０の位置にあるか否かを判断する。このステップＳ２４は操作判定部１２４が行う。操作器３０の位置に乗員の手の位置がないと判断した場合には（Ｓ２４：ＮＯ）、図５の処理を終了する。したがって、乗員の手が操作器３０から離れていれば、ステップＳ２６の処理を実行しないことになる。乗員の手が操作器３０から離れている状態ではステップＳ２６以降を実行しないので、車両１００の揺れ等により操作器３０が転がったときの操作器３０の移動に基づいて操作量を決定してしまう恐れが低減する。

ステップＳ２４の判断がＹＥＳである場合には、ステップＳ２６に進む。ステップＳ２６および次のステップＳ２８は操作量決定部１２５が行う。ステップＳ２６では、今回のステップＳ２０で取得した車室内画像を解析して、丸印３４の位置を決定し、決定した位置をコンピュータ１２のＲＡＭあるいは記憶部１１に記憶する。

続くステップＳ２８では、乗員の手により操作器３０に対して行われた操作量を決定する。操作量の決定には、前回のステップＳ２６で決定した丸印３４の車室内画像における位置、今回のステップＳ２６で決定した丸印３４の車室内画像における位置、車室内画像における丸印３４の回転半径から求める。

車室内画像における丸印３４の回転半径としては、車室内画像における突き出し板部３３の半径の値を用いる。あるいは、車室内画像における突き出し板部３３の半径に１よりも少し小さい予め設定されている係数、たとえば０．９を乗じた値を、車室内画像における丸印３４の回転半径とする。このようにして求めた丸印３４の回転半径から、丸印３４が一回転したときの車室内画像における丸印３４の移動長さを求める。車室内画像における突き出し板部３３の半径は、車室内画像における突き出し板部３３の外周縁の形状から算出する。

また、前回のステップＳ２６で決定した丸印３４の車室内画像における位置と、今回のステップＳ２６で決定した丸印３４の車室内画像における位置とから、車室内画像における丸印３４の移動長さを求める。この移動長さは、車室内画像における丸印３４の回転半径の円上を丸印３４が移動しているとして求める。

そして、把持部３２が一回転したときの車室内画像における丸印３４の移動長さに対する、車室内画像における丸印３４の移動長さの比を算出する。この比は、操作器３０の回転角度を意味する。この回転角度が操作量である。

続くステップＳ３０、Ｓ３２は操作量信号出力部１２６が行う。ステップＳ３０では、ステップＳ２８で決定した操作量、すなわち、操作器３０の回転角度に、予め設定された換算係数を乗じることで、操作量信号を決定する。たとえば、操作器３０が１回転したときの操作量信号を６とするのであれば、換算係数は６となる。また、丸印３４の位置が移動していないときは、操作量信号は０となる。

続くステップＳ３２では、ステップＳ３０で生成した操作量信号を、図４のステップＳ１２で決定した制御対象機器の制御部に出力する。ステップＳ３２を実行した後は、ステップＳ２０に戻る。操作器３０に乗員の手が触れている状態が継続している間は、図５の処理が繰り返し実行されて、操作量信号が継続的に出力され、操作器３０から乗員の手が離れると、図５の処理を終了し、一定時間後に図４の処理を開始する。

以上、説明した本実施形態では、操作量決定部１２５は、操作器３０に対して乗員の手により行われた操作量を、カメラ２０が撮像した車室内画像に基づいて決定する（Ｓ２６、Ｓ２８）。このようにして操作量を決定しているので、操作器３０は、操作量信号を送信する信号送信部を備えていない。また、形状も種々の形状とすることができる。したがって、操作器に対する制限が少ない。なお、操作器の形状の別例は後述する。

さらに、操作器３０はカメラ２０で認識できる位置であれば配置位置も自由である。また、操作器３０は、電子部品や電子部品を作動させるための電池を備えていないので、製造コストが安価になる。

このような単純な構造の操作器３０であるが、この操作器３０があることにより、乗員の操作は、操作器３０を持って行う操作に限定される。これにより、乗員は、何もないところで手により操作量を示すよりも操作が行いやすい。また、操作量決定部１２５が決定する操作量の精度も向上する。

また、本実施形態の操作器３０は、把持部３２に加えて、把持部３２から径方向に突き出し、把持部３２と一体回転する突き出し板部３３を備えている。把持部３２を乗員が掴んだ状態でも、突き出し板部３３は、乗員の手によって隠されずに、車室内画像に写っている可能性が高い。そして、操作量決定部１２５は、突き出し板部３３の回転移動量を操作器３０の回転移動量として決定するので、操作器３０の回転移動量を決定できない場合が少なくなる。

さらに、操作量決定部１２５は、突き出し板部３３に表されている丸印３４の位置の変化から、突き出し板部３３の回転移動量を検出する（Ｓ２６、Ｓ２８）。丸印３４は、突き出し板部３３の周方向に４つ表されており、操作器３０の回転に伴い位置が変化する。したがって、丸印３４の位置の変化をもとにすることにより、突き出し板部３３の回転移動量を容易に検出することができる。

また、本実施形態では、操作判定部１２４を備えており、乗員の手が操作器３０に触れていないと判定した場合には（Ｓ２４：ＮＯ）、操作量を決定しない。したがって、乗員が操作していない状態での操作器３０の移動に基づいて操作量を決定してしまう恐れが低減する。

また、本実施形態では、カメラ２０で操作器３０の操作量を決定するという特徴を利用して、操作器３０の位置も決定している。そして、操作器３０の位置に基づいて、操作器３０の機能のオン、オフを決定している。すなわち、操作器３０の位置が運転席でなければ、車両１００が走行中であるかどうかによらず、操作器３０の機能をオンにしている（Ｓ８：ＮＯ）。したがって、運転者以外の乗員は、車両１００が走行中でも、操作器３０を操作して、制御対象機器を制御することができる。

これに対して、操作器３０が運転席にあり（Ｓ８：ＹＥＳ）、かつ、車両１００が走行中であれば（Ｓ１０：ＹＥＳ）、操作器３０の機能はオフになるので、運転者に対しては走行強制を実施できる。

さらに、操作器３０の位置に基づいて操作器３０の機能のオンオフを行うだけでなく、操作器３０の位置に基づいて制御対象機器も決定しているので、１つの操作器３０により、複数の制御対象機器を制御することができる。

以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の変形例も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。なお、以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。

＜変形例１＞
変形例１では、図６に示すように、ステップＳ２４がＹＥＳである場合、図５のステップＳ２６に代えて、ステップＳ２７を実行する。ステップＳ２７は操作量決定部１２５が実行する。

ステップＳ２７では、今回のステップＳ２０で取得した車室内画像を解析して、操作器３０に触れている乗員の手の指の位置を決定する。指の位置は、車室内画像を解析して決定できる全ての指に対して決定する。

ステップＳ２９では、前回のステップＳ２７で決定した乗員の指の位置に対する、今回のステップＳ２７で決定した乗員の指の位置の変化から、乗員の手により操作器３０に対して行われた操作量を決定する。

＜変形例２＞
前述の実施形態の操作器３０は、突き出し板部３３を備えていたが、図７に示す操作器１３０のように、把持部３２は備えているが、突き出し板部３３を備えていない操作器１３０でもよい。なお、この操作器１３０は、把持部３２の上面に丸印３４が設けられている。把持部３２の上面に丸印３４が設けられている場合、乗員が把持部３２を掴んだ状態では、丸印３４は乗員の手に隠れてしまい、車室内画像に丸印３４が写っていない可能性が高い。したがって、丸印３４は、回転移動量を検出するための目印記号としては機能しない。しかし、乗員が把持部３２を掴んでいなければ、車室内画像に操作器１３０が写っている状態では、丸印３４も車室内画像に写っている可能性が十分にある。したがって、変形例１でも、丸印３４は、操作器１３０を他の部材と区別するための識別記号としては機能する。

＜変形例３＞
図８に示す操作器２３０のように、把持部３２と、吸盤３５と、それら把持部３２と吸盤３５とを連結する連結部３６を備えている操作器２３０を用いることもできる。

＜変形例４＞
図９に示す操作器３３０は、長方形状の板状部材である。この操作器３３０は、長手方向の両側に二次元情報コード３３１が表されている。この操作器３３０に対する操作はタップ操作であり、ユーザは、操作器３３０を手に持って、二次元情報コード３３１の部分をタップする。操作量決定部１２５は、タップ操作の回数を操作量とする。また、左右の二次元情報コード３３１を区別してタップ操作の回数を決定してもよい。

二次元情報コード３３１には、この二次元情報コード３３１が表された部材が操作器３３０であることがコード化されて格納されており、操作器３３０を他の部材と区別するための識別記号として機能する。位置決定部１２１は、二次元情報コード３３１を読み取って操作器３３０であると判定した場合に、二次元情報コード３３１の位置、あるいは、二次元情報コード３３１がある部材の位置を、操作器３３０の位置とする。

操作器３３０は、二次元情報コード３３１がない場合には単なる板であり、他にも形状が似た部材が周囲に存在する可能性がある。しかし、二次元情報コード３３１を備えることにより、位置決定部１２１は、他の部材の位置を、操作器３３０の位置と誤認識してしまうことを抑制できる。

なお、二次元情報コードに代えて、一次元情報コードを用いることもできる。そして、情報コードを用いる場合には、情報コードを表したシールを製造し、ユーザが所望の部材にシールを貼り付ければ、任意の部材を操作器とすることができる。また、情報コードでなくても、他の部材と区別することができる識別記号であれば、その識別記号を表したシールを製造すれば、情報コードを表したシールと同様、任意の部材を操作器とすることができる。

＜変形例５＞
図１０に示す操作器４３０は、長方形の板状の基板４３１と、角柱形の把持部４３３を備えている。基板４３１には、長手方向にレール４３２が形成されている。把持部４３３はレール４３２に沿って、基板４３１の長手方向に移動する。この操作器４３０のように、操作器４３０の位置の変化、より正確には操作器４３０の一部材である把持部４３３の位置の変化は、平行移動であってもよい。

＜変形例６＞
図１１の操作器５３０は、円柱形状の基部５３１と操作部５３３を備えている。操作部５３３の直径は、基部５３１の直径よりも小さくなっており、基部５３１に設けられた収容穴５３２に、操作部５３３の下側の一部が収容される。そして、操作部５３３と、収容穴５３２の底面との間に設けられたバネにより、操作部５３３は、基部５３１に対して上下方向に移動する。この操作器５３０においては、操作器５３０の位置の変化は、基部５３１に対する操作部５３３の位置の変化であり、操作量は、操作部５３３が押された回数である。

＜変形例７、８＞
変形例４で示した操作器３３０を用い、操作器３３０の角度が変化する操作に基づいて、操作量を決定してもよい。たとえば、操作器３３０の長手方向両端をそれぞれ左右の手で持って、操作器３３０の一方の端を、他方の端に対して上下させる操作に基づいて、操作量を決定してもよい（変形例７）。

また、ジョイスティックのように、ある基台から棒状部材が突き出した操作器を用いることもできる（変形例８）。

＜変形例９＞
前述の実施形態では、操作器３０は移動量を検出するために、目印記号として丸印３４を備えていたが、操作器が目印記号を備えず、操作器自体の移動量を検出してもよい。

＜変形例１０、１１＞
前述の実施形態の操作器３０は、複数の電子機器を操作できるようになっていたが、一つの電子機器のみを操作できるようになっていてもよい。この場合において、複数の電子機器にそれぞれ対応した複数の操作器を用意してもよい（変形例１０）。

また、操作器３０により複数の電子機器を操作できるようになっている場合でも、制御対象機器の決定方法は前述の実施形態の態様に限られない。たとえば、車室１１０内に備えられた表示器に制御対象機器の候補を表示し、乗員の操作により、１つの制御対象機器を決定するようにしてもよい（変形例１１）。このようにすれば、乗員は、カメラ２０が操作器３０を認識できる位置であれば、乗員の好きな位置で操作器３０を操作して制御対象機器を制御することができる。

＜変形例１２＞
前述の実施形態では、操作器３０の位置が運転席にあり（Ｓ８：ＹＥＳ）、走行中であれば（Ｓ１０：ＹＥＳ）、図４の処理を終了、すなわち、操作器３０による操作を受け付けないことにしていた。しかし、ステップＳ１０がＹＥＳになった場合にも、操作器３０による操作を受け付ける状態としてもよい。

なお、操作器３０の位置が運転席にあり、車両１００が走行中である状態で操作器３０による操作を受け付ける場合、操作器３０を操作して行うことができる制御を、操作器３０が運転席にない場合や走行中でない場合よりも制限してもよい。一例としては、操作器３０が運転席にあり、車両１００が走行中である状態では、操作器３０を操作して行うことができる制御を、音量の調整など、画面を見ないで調整できる制御に限定する例がある。

＜変形例１３＞
前述の実施形態の電子機器操作システム１は車両１００で用いられていたが、建物内で電子機器操作システム１を用いることもできる。

＜変形例１４＞
操作検出装置１０は、制御対象機器とは別の装置であったが、制御対象機器が操作検出装置１０としての機能を備えていてもよい。

１：電子機器操作システム、 １０：操作検出装置、 １１：記憶部、 １２：コンピュータ、 ２０：カメラ、 ３０：操作器、 ３１：基板、 ３２：把持部、 ３３：突き出し板部、 ３４：丸印、 ３５：吸盤、 ３６：連結部、 ４０：空調装置、 ４６：制御部、 ５０：窓開閉装置、 ５４：制御部、 １００：車両、 １１０：車室、 １２１：位置決定部、 １２２：走行判定部、 １２３：機能決定部、 １２４：操作判定部、 １２５：操作量決定部、 １２６：操作量信号出力部、 １３０：操作器、 ２３０：操作器、 ３３０：操作器、 ３３１：二次元情報コード、 ４３０：操作器、 ５３０：操作器

Claims (11)

1. 操作器（３０、１３０、２３０、３３０、４３０、５３０）に対して行われた操作量を表す操作量信号に基づいて制御を行う制御部（４６、５４）を備えた電子機器（４０、５０）を操作する電子機器操作システム（１）であって、
   カメラ（２０）と、
   前記操作器の位置の変化を伴う操作、および、前記操作器に対するタップ操作の少なくともいずれかが、ユーザの手により行われたことによる操作量を、前記カメラが撮像した画像に基づいて決定する操作量決定部（１２５）と、
   前記操作量決定部が決定した前記操作量に基づいて前記操作量信号を決定して、決定した前記操作量信号を前記制御部に対して出力する操作量信号出力部（１２６）と、
   を備える電子機器操作システム。
2. 請求項１において、
   前記操作量決定部は、前記操作器に対して、前記操作器の位置の変化を伴う操作が前記ユーザの手により行われたことによる操作量を決定するものであり、前記操作器の移動量を検出し、検出した移動量を前記操作量とすることを特徴とする電子機器操作システム。
3. 請求項２において、
   前記操作器（３０）を備え、
   前記操作器は、
   円柱形状であって、前記ユーザの手により把持されて回転移動させられる把持部（３２）と、
   前記把持部と一体回転し、前記把持部の下部から前記把持部の径方向に突き出す板状の突き出し板部（３３）とを備え、
   前記操作量決定部は、前記操作器の回転移動量を前記操作量として決定するものであって、前記操作器の突き出し板部の回転移動量を、前記操作器の回転移動量とすることを特徴とする電子機器操作システム。
4. 請求項３において、
   前記突き出し板部の表面に、前記突き出し板部の回転により位置が変化する目印記号（３４）が複数備えられ、
   前記操作量決定部は、前記目印記号の位置変化に基づいて、前記操作器の回転移動量を検出することを特徴とする電子機器操作システム。
5. 請求項１において、
   前記操作量決定部は、前記操作器に対して、前記操作器の位置の変化を伴う操作が前記ユーザの手により行われたことによる操作量を決定するものであり、前記ユーザの手の移動量を検出し、検出した移動量に基づいて前記操作量を決定することを特徴とする電子機器操作システム。
6. 請求項１〜５のいずれか１項において、
   前記カメラが撮像した画像に基づいて、前記操作器の位置および前記ユーザの手の位置を決定する第１位置決定部（１２１）と、
   前記第１位置決定部が決定した前記操作器の位置および前記ユーザの手の位置に基づいて、前記ユーザの手が前記操作器に触れているか否かを判定する操作判定部（１２４）と、を備え、
   前記操作量決定部は、前記操作判定部が前記ユーザの手が前記操作器に触れていると判定している状態で、前記操作量を決定することを特徴とする電子機器操作システム。
7. 請求項６において、
   前記操作器（３０、１３０、２３０、３３０）を備え、
   前記操作器は、他の部材と区別するための識別記号（３４、３３１）を備え、
   前記第１位置決定部は、前記識別記号に基づいて前記操作器の位置を決定することを特徴とする電子機器操作システム。
8. 請求項７において、
   前記識別記号は情報コード（３３１）であることを特徴とする電子機器操作システム。
9. 請求項１〜５のいずれか１項において、
   前記カメラが撮像した画像に基づいて、前記操作器の位置を決定する第２位置決定部（１２１）と、
   前記第２位置決定部が決定した前記操作器の位置に基づいて、前記操作器の機能を決定する機能決定部（１２３）と、
   を備えることを特徴とする電子機器操作システム。
10. 請求項９において、
    前記電子機器操作システムは、１つの前記操作器により、複数の前記電子機器を制御するものであり、
    前記機能決定部は、前記操作器の位置に基づいて、前記操作器により制御する前記電子機器を決定することを特徴とする電子機器操作システム。
11. 請求項９または１０において、
    前記電子機器操作システムは車両で用いられ、
    前記車両が走行状態であるか否かを逐次判定する走行判定部（１２２）を備え、
    前記カメラは、前記車両の車室内の運転席および運転席以外の少なくとも一つの座席を撮像範囲としており、
    前記機能決定部は、
    前記走行判定部が走行状態であると判定しており、且つ、前記第２位置決定部が、前記操作器が前記運転席にあると決定している場合には、前記操作器の機能をオフにし、
    前記走行判定部が走行状態でないと判定している場合、または、前記走行判定部が走行状態であると判定しているが、前記第２位置決定部が、前記操作器が前記運転席にないと決定している場合には、前記操作器の機能をオンにすることを特徴とする電子機器操作システム。

Images