JP2021056630A - 操作検出装置 - Google Patents

Abstract

【課題】カメラ機能によるユーザ操作の検出性能を向上させる。【解決手段】操作検出装置は、透明な板状部材と、板状部材の側面に設けられ、ユーザ操作により移動又は回転が可能な操作部材と、板状部材を介して操作部材を撮像する撮像部と、撮像部により撮像された画像に基づきユーザ操作を検出する検出部と、を備える。【選択図】図１

Description

本発明は、ユーザ操作を検出する操作検出装置に関する。

スマートフォンにはタッチパネル及び側面に設置されたボタンのほか、カメラ、加速度センサ、近接センサ、及び指紋センサなどが搭載されており、ユーザは、それらを用いた入力を行うことができる。また、有線又は無線で別なデバイスと接続し、そのデバイスを介してスマートフォンを操作することもできる。このように、スマートフォンには多様な入力方法があるが、タッチパネルを用いた入力が主流となっている。タッチパネルには、ジェスチャ又はマルチタッチなどを用いた多彩な入力が可能である点、及び、ディスプレイの表示内容を変化させることでユーザの入力操作の意味を動的に変化させることができる点などの利点がある。しかしながら、指によってディスプレイの表示内容が隠されてしまう点、及び、触覚フィードバックに乏しい点などの欠点がある。これらの欠点は特にゲームに影響を与えており、スマートフォンと既存の携帯型ゲーム機とを比較した場合、その操作性及びゲーム体験は大きく異なる。

特許文献１には、上記の欠点を解決するための入力補助装置についての記載がある。この入力補助装置は、スマートフォンなどの携帯端末に装着され、入力装置及び反射部材を備える。入力装置は、ユーザ操作を受け付けることで外形状態を変化させる。携帯端末は、入力装置の外形状態を反射部材を介してカメラ機能によって検出することでユーザ操作に応じた処理を行う。

特開２０１９−０６１５３９号公報

特許文献１に記載の入力補助装置は、入力装置の配置によっては入力装置と反射部材との間にユーザの指などの物体が入り込む場合があり、入力装置の外形状態をカメラ機能によって適切に検出できない場合がある。これにより、携帯端末は、入力補助装置に対するユーザ操作に応じた処理を実行できない場合がある。

そこで、本発明は、ユーザ操作の検出性能をより向上させることができる操作検出装置を提供することを目的とする。

上記課題を解決するために、本発明の操作検出装置は、透明な板状部材と、板状部材の側面に設けられ、ユーザ操作により移動又は回転が可能な操作部材と、板状部材を介して操作部材を撮像する撮像部と、撮像部により撮像された画像に基づきユーザ操作を検出する検出部と、を備える。

この発明によれば、光が透明な板状部材内を反射しながら進むため、撮像部は、板状部材を介して操作部材を撮像することができる。操作部材から撮像部までの光路には板状部材が存在するため、操作部材と撮像部との間に光の遮蔽物が入り込むことが抑制され、検出部によりユーザ操作が適切に検出される。したがって、ユーザ操作の検出性能を向上させることができる。

本発明によれば、ユーザ操作の検出性能をより向上させることができる。

本発明の実施形態の操作検出装置の外観構成の斜視図である。 本発明の実施形態の操作検出装置の断面図である。 本発明の実施形態の携帯端末の機能構成を示すブロック図である。 本発明の実施形態の操作検出装置の動作方法のフローチャートである。 本発明の実施形態の操作検出装置における板状部材内の光の経路を示す模式的な側面図である。 本発明の実施形態の撮像部により撮像した画像である。 本発明の実施形態の撮像部により撮像された画像から注目領域を抽出する一例を示す模式図である。 本発明の実施形態の撮像部により撮像された画像からユーザ操作を検出する一例を示す模式図である。 本発明の実施形態の撮像部により撮像された画像からユーザ操作を検出する一例を示す模式図である。 本発明の実施形態の撮像部により撮像された画像からユーザ操作を検出する一例を示す模式図である。 本発明の実施形態の撮像部により撮像された画像からユーザ操作を検出する一例を示す模式図である。 本発明の実施形態の操作検出装置における板状部材内の光の経路を示す模式的な上面図である。 本発明の実施形態の撮像部により撮像された画像の一例を示す模式図である。 本発明の実施形態に係る携帯端末のハードウェア構成を示す図である。

添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。図面の寸法比率は、説明のものと必ずしも一致していない。

図１は、本実施形態の操作検出装置１を示す外観構成の斜視図である。図２は、本実施形態の操作検出装置１の断面図である。図１及び図２に示されるように、操作検出装置１は、携帯端末１０と、携帯端末１０に設けられる板状部材２０と、板状部材２０に設けられる回転用操作部材３０（操作部材の一例）と、を備えている。

携帯端末１０は、例えば、カメラ機能付き携帯端末である。携帯端末１０は、例えば、スマートフォンである。ユーザは、携帯端末１０に入力操作を加えることにより、携帯端末１０内に備わる様々なアプリケーションを利用することができる。ここで、アプリケーションとは、ユーザの作業の目的に応じて使われるソフトウェアを指す。また、ユーザ操作とは、例えば、ユーザによってアプリケーションに対する動作を付与する操作を指す。

携帯端末１０は、例えば、概ね矩形板状をなす。携帯端末１０は、ユーザによる操作を受け付けるタッチパネルディスプレイ（図示せず）が設けられている主面１０ａ（図１及び図２における下側の面）と、主面１０ａの反対の面である背面１０ｂ（図１及び図２における上側の面）とを有する。携帯端末１０に板状部材２０及び回転用操作部材３０が設けられることで、ユーザは、回転用操作部材３０を介してアプリケーションに対する入力操作を行うことができる。

タッチパネルディスプレイは、ユーザにより入力操作を受け付けるとともに、アプリケーションに基づいた情報を表示する。板状部材２０及び回転用操作部材３０が携帯端末１０に設けられた場合であっても、タッチパネルディスプレイはユーザによる入力操作を受け付けてもよい。

図３は、携帯端末１０の機能構成を示すブロック図である。図３に示すように、携帯端末１０は、撮像部１１、検出部１２、制御部１３及び記憶部１４を有する。携帯端末１０は、操作検出装置１として撮像部１１及び検出部１２を有する装置として制御を行う。

撮像部１１は、画像を撮像する。撮像部１１は、例えば、従来のスマートフォンに設けられているカメラである。図１及び図２に示すように撮像部１１のレンズ１１ａは、携帯端末１０の背面１０ｂに設けられる。撮像部１１の撮像方向は、例えば背面１０ｂに対して直交する。撮像部１１は、例えば１秒あたり３０枚以上の画像を撮像する。以下、撮像部１１により撮像された画像を撮像画像と記載する。

検出部１２は、撮像画像に基づきユーザ操作を検出する。詳細は後述する。検出部１２は、検出されたユーザ操作を制御部１３に送信する。

制御部１３は、携帯端末１０において起動しているアプリケーションに応じて検出部１２により検出されたユーザ操作に基づいて、アプリケーションの動作を制御する。制御部１３は、例えば従来と同様の手法を用いてアプリケーションの動作を制御する。

記憶部１４は、撮像画像を記憶する。記憶部１４は、検出部１２においてユーザ操作の検出に必要な撮像画像を記憶する。記憶部１４は、携帯端末１０にインストールされているアプリケーションを記憶する。

再び図１及び図２を参照する。携帯端末１０は、その背面１０ｂに撮像部１１のレンズ１１ａ及び第１取付部１９を有する。第１取付部１９は、携帯端末１０と板状部材２０とを接合させるための部材である。第１取付部１９は、例えば板状の磁石である磁石板であり、後述の板状部材２０の第２取付部２９の磁石板と磁力によって接合する。第１取付部１９は、撮像部１１のレンズ１１ａを覆わない位置に位置決めされ、例えば、一方の主面が携帯端末１０の背面１０ｂに接着されて設けられる。第１取付部１９は、後述の第２取付部２９の個数と同一の数だけ設けられる。

板状部材２０は、回転用操作部材３０を携帯端末１０の背面１０ｂに設けるために利用され、且つ、撮像部１１が回転用操作部材３０を撮像する場合に利用される。板状部材２０は、透明である。板状部材２０は、操作検出装置１が使用される環境及び後述の第２取付部２９より屈折率の大きい媒質で構成される。板状部材２０は、概ね矩形板状をなす。板状部材２０は、例えばアクリル板で形成される。

板状部材２０は、主面２０ａ、背面２０ｂ、第１側面２０ｃ、第２側面２０ｄ、第３側面２０ｅ、回転用操作部材３０が挿入される穴２０ｆ、及び反射面２０ｇを有する。操作検出装置１は、板状部材２０に取り付けられる第２取付部２９をさらに有する。

板状部材２０は、携帯端末１０の背面１０ｂの少なくとも一部を覆うように装着可能である。板状部材２０の主面２０ａ及び背面２０ｂは、例えば、携帯端末１０の背面１０ｂに概ね平行に延在する面である。板状部材２０の主面２０ａは、携帯端末１０の背面１０ｂに向かい合うように位置する。板状部材２０の延在方向は、撮像部１１の撮像方向とは異なる。以下、延在方向のうち、板状部材２０の長手方向を単に長手方向といい、板状部材２０の短手方向を単に短手方向という。主面２０ａ及び背面２０ｂは、板状部材２０内の光を板状部材２０内に向かって反射する概ね矩形の面である。

板状部材２０は、撮像部１１のレンズ１１ａの少なくとも一部を覆うように位置する。板状部材２０の長手方向のレンズ１１ａ側の端部は、例えば、撮像部１１のレンズ１１ａを覆うように位置し、撮像部１１のレンズ１１ａに接触又は近接している。板状部材２０の主面２０ａと背面２０ｂとの間の長さ（板状部材２０の厚み）は、板状部材２０内で光が全反射する厚みであり、例えば５ｍｍである。

第１側面２０ｃは、撮像部１１によって撮像される撮像画像に写る、概ね矩形の面である。第１側面２０ｃは、板状部材２０と後述の回転用操作部材３０との区別をより明瞭にする機能を有する。第１側面２０ｃは、長手方向におけるレンズ１１ａ側とは反対側の側面である。第１側面２０ｃの色は、操作部材（後述の回転用操作部材３０、ボタン用操作部材３１、スライダ用操作部材３２及びポインタ用操作部材３３）の色とは異なる。第１側面２０ｃは、例えば、明度の低い色に着色されている。第１側面２０ｃの色は、例えば黒色である。

第２側面２０ｄ及び第３側面２０ｅは、板状部材２０内の光を板状部材２０内に向かって反射する概ね矩形の面である。第２側面２０ｄ及び第３側面２０ｅは、長手方向及び厚さ方向に延在する。第２側面２０ｄ及び第３側面２０ｅは、短手方向において向かい合うように位置する。第２側面２０ｄ及び第３側面２０ｅの機能の詳細は後述する。

穴２０ｆは、板状部材２０の側面に沿って開口し、回転用操作部材３０が挿入される穴である。穴２０ｆは、板状部材２０を厚さ方向に貫通している。穴２０ｆは、例えば、厚さ方向から見て円形をなす。穴２０ｆは、板状部材２０の厚さ方向に凹んだ形状であってもよい。なお、板状部材２０の側面とは、本体部２１の外側の側面だけでなく、穴２０ｆの厚さ方向の面も含む。穴２０ｆは、回転用操作部材３０の個数と同一の数だけ設けられる。

反射面２０ｇは、板状部材２０内の光を反射する。板状部材２０が携帯端末１０の背面１０ｂに設けられた場合、反射面２０ｇは、撮像部１１が板状部材２０に設けられた回転用操作部材３０を撮像できるように光を反射する。反射面２０ｇは、撮像部１１のレンズ１１ａを覆うように位置する。反射面２０ｇは、板状部材２０の長手方向及び撮像部１１の撮像方向に面する。すなわち、反射面２０ｇは、背面２０ｂから主面２０ａの方向において、長手方向のレンズ１１ａ側に向かって傾斜している。反射面２０ｇは、例えば、板状部材２０の長手方向のレンズ１１ａ側の側面であり、短手方向に延在する面である。この構成により、反射面２０ｇは、板状部材２０において、長手方向のレンズ１１ａ側に向かって進む光を厚さ方向における撮像部１１のレンズ１１ａに向けて反射させる。撮像部１１は、反射面２０ｇを介して穴２０ｆに設けられた回転用操作部材３０を撮像する。

第２取付部２９は、携帯端末１０と板状部材２０とを接合させるための部材である。第２取付部２９が第１取付部１９と接合することにより、板状部材２０は、携帯端末１０の背面１０ｂに取り付けられる。第２取付部２９は、例えば板状の磁石である磁石板であり、第１取付部１９の磁石板と磁力によって接合する。第２取付部２９は、板状部材２０の延在方向において（厚さ方向から見たときに）反射面２０ｇと重ならない位置に位置決めされ、例えば、一方の主面が板状部材２０の主面２０ａに接着されて設けられる。第２取付部２９は、例えば第１取付部１９の磁石板と反対の極性を有し、第１取付部１９の磁石板と同一の大きさ、形状及び個数を有する磁石板である。

回転用操作部材３０は、板状部材２０の側面に設けられ、ユーザ操作により回転が可能である。回転用操作部材３０が板状部材２０の側面に設けられるとは、板状部材２０の側面に接触又は近接するように配置されることを指す。回転用操作部材３０は、例えば、板状部材２０に設けられた穴２０ｆ内に挿入される。回転用操作部材３０は、板状部材２０に１又は複数設けられる。回転用操作部材３０の表面は、複数の色又は模様を含む標識部３０ａを有する。回転用操作部材３０は、例えばプラスチックで形成される。

回転用操作部材３０は、穴２０ｆにおいて厚さ方向に概ね平行な軸を中心として回転可能であるように設けられる。ユーザは、板状部材２０に対して回転用操作部材３０を回転させることができる。回転用操作部材３０は、例えば、穴２０ｆに挿入される挿入部位３０ｂと、穴２０ｆ外に位置しユーザが操作する対象である操作部位３０ｃとから構成される。

挿入部位３０ｂ及び操作部位３０ｃは、例えば円柱状をなす。挿入部位３０ｂの軸方向の長さは、穴２０ｆの厚さ方向の長さと同一又は穴２０ｆの厚さ方向の長さよりわずかに大きい。挿入部位３０ｂ及び操作部位３０ｃは、例えば、それぞれの中心が厚さ方向に平行な同一の軸上に位置し、挿入部位３０ｂ上に操作部位３０ｃが接合している。穴２０ｆの径は、挿入部位３０ｂの径と同一又は挿入部位３０ｂの径よりわずかに大きい。例えば、操作部位３０ｃの径は、穴２０ｆの径及び挿入部位３０ｂの径より大きい。ユーザは、操作部位３０ｃを保持し、軸を中心に時計回り又は反時計回りに回転させることでユーザ操作を行う。これにより、ユーザは、アプリケーションに対するユーザ操作である回転の動作を実行できる。

回転用操作部材３０は、穴２０ｆに挿入され、第２取付部２９と着脱可能に接合する。回転用操作部材３０は、例えば磁力により第２取付部２９と着脱可能に接合する。回転用操作部材３０の挿入部位３０ｂの底部は、第２取付部２９の磁石板と反対の極性を有する磁石部を有する。回転用操作部材３０の挿入部位３０ｂの円周面は、複数の色又は模様を含む標識部３０ａを有する。標識部３０ａは、例えば、赤、緑、青の３色からなり、軸方向に延びている縞を円周方向に繰り返した模様である。標識部３０ａは、穴２０ｆの側面に近接又は接触している。

以下、操作検出装置１の動作方法の一連の流れを説明する。図４は、本発明の実施形態の操作検出装置１の動作方法のフローチャートである。図４に示される動作方法は、ユーザが所定のトリガーとなる準備を実施したときに実行される。例えば、ユーザが携帯端末１０に板状部材２０を取り付け、且つ、ユーザがアプリケーションを起動した場合に動作方法が実行される。携帯端末１０の背面１０ｂに設けられた第１取付部１９に対して板状部材２０の第２取付部２９が取り付けられることにより、携帯端末１０と板状部材２０とが接合する。また、例えば、ユーザがタッチパネルディスプレイに対してユーザ操作を実行することで、アプリケーションが起動する。

図４に示されるように、操作検出装置１の動作方法は、初期撮像ステップ（Ｓ１１０）、抽出ステップ（Ｓ１２０）、取得ステップ（Ｓ１３０）、検出ステップ（Ｓ１４０）、適用ステップ（Ｓ１５０）及び終了判定ステップ（Ｓ１６０）から構成される。初期撮像ステップ（Ｓ１１０）及び抽出ステップ（Ｓ１２０）は、アプリケーション起動時に実行される設定用のステップである。検出ステップ（Ｓ１４０）、適用ステップ（Ｓ１５０）及び終了判定ステップ（Ｓ１６０）は、アプリケーションに対する動作用のステップである。

設定用のステップ及び動作用のステップのそれぞれは、例えば、携帯端末１０のタッチパネルディスプレイ等に対するユーザの操作をトリガーとして実行される。設定用のステップでは、板状部材２０には回転用操作部材３０が設けられていない状態とされ、動作用のステップでは、板状部材２０には回転用操作部材３０が設けられている状態とされる。

最初に、初期撮像ステップ（Ｓ１１０）として、撮像部１１は、初期設定用の撮像画像を撮像する。ここで、撮像部１１が回転用操作部材３０を撮像する詳細な原理を説明する。なお、撮像画像に写る操作部材の像についても説明するため、ここでは、回転用操作部材３０が設けられている状態での原理を説明する。図５は、本発明の実施形態の操作検出装置１における板状部材２０内の光の経路を示す模式的な側面図である。図５の（ａ）は、操作検出装置１における板状部材２０内の光の経路を示す模式的な側面図である。

図５の（ａ）に示すように、ユーザが板状部材２０に触れていない状態で操作検出装置１を使用した場合、板状部材２０の外部から入射した光が板状部材２０の穴２０ｆに設けられた回転用操作部材３０の標識部３０ａに当たって乱反射する。板状部材２０は、操作検出装置１が使用される環境に対して屈折率の大きい媒質であり、板状の部材であるため、標識部３０ａから乱反射した光が板状部材２０内を全反射して進む。これにより、標識部３０ａから乱反射した光は、板状部材２０内を反射することで反射面２０ｇに到達する。

反射面２０ｇは、標識部３０ａからの光を反射する。反射面２０ｇは、板状部材２０の長手方向と撮像部１１の撮像方向とに面するため、標識部３０ａから乱反射した光をレンズ１１ａへ曲げて入射させることができる。これにより、撮像部１１は、板状部材２０を介して回転用操作部材３０の標識部３０ａを撮像することができ、撮像画像内に回転用操作部材３０の標識部３０ａの像を表示させることができる。

図５の（ｂ）は、ユーザが板状部材２０に触れている状態での操作検出装置における板状部材内の光の経路を示す模式的な側面図である。図５の（ｂ）に示すように、ユーザの指などの物体である遮蔽物６０が板状部材２０に接触又は近接した場合、遮蔽物６０により板状部材２０の背面２０ｂ側から入射する光を遮蔽し、触れた部分に対して照射される光は少なくなる。このため、板状部材２０内に入射する遮蔽物６０から乱反射する光は少ない。

また、板状部材２０の背面２０ｂに遮蔽物が接触又は近接した場合、遮蔽物６０から乱反射する光は背面２０ｂから主面２０ａに向かって、厚さ方向に沿って進み、長手方向及び短手方向へ進む割合は少ない。これらから、撮像部１１が撮像する撮像画像の板状部材２０内に表示される遮蔽物６０の像は、回転用操作部材３０の標識部３０ａの像に比べてわずかであるため、検出部１２における検出への影響は小さい。なお、板状部材２０は、レンズ１１ａに接触又は近接しているため、ユーザの指などの物体がレンズ１１ａと板状部材２０との間に入ることは物理的に難しい。このことからも、検出部１２における遮蔽物６０による検出への影響は小さい。

図６は、本発明の実施形態の撮像部１１による板状部材２０及び回転用操作部材３０を撮像した画像である。なお、以下、撮像部１１によって撮像した画像に写る部材及び部位の符号も、適宜実物と同一の符号を付す。撮像部１１によって板状部材２０及び回転用操作部材３０を撮像した画像である撮像画像５０において、板状部材２０の短手方向が画像の上下方向に対応し、板状部材２０の厚さ方向が画像の左右方向に対応する。左側部５２側が背面２０ｂ側であり、右側部５３側が主面２０ａ側である。

図６の（ａ）は、本体部の背面に遮蔽物６０がない状態で撮像部１１が撮像した画像である。図６の（ａ）に示すように、撮像画像５０の中央部５１には、反射面２０ｇにより反射された板状部材２０の第１側面２０ｃ及び回転用操作部材３０が写っている。撮像部１１の画角により、撮像画像５０の左側部５２及び右側部５３には、板状部材２０及び回転用操作部材３０以外のものが写っている。

図６の（ｂ）は、板状部材２０の背面２０ｂに遮蔽物６０がある状態で撮像部１１が撮像した画像である。図６の（ｂ）に示すように、撮像画像５０の左側部５２及び右側部５３において、遮蔽物６０の像が写っている。しかしながら、撮像画像５０の中央部５１において板状部材２０及び回転用操作部材３０が明瞭に写っている。このように、遮蔽物６０の有無に関わらず、撮像部１１は、板状部材２０により撮像部１１は板状部材２０又は回転用操作部材３０を撮像することができる。初期撮像ステップ（Ｓ１１０）による撮像画像の撮像が終了した場合、図４に示す動作方法は、抽出ステップ（Ｓ１２０）に移行する。

次に、抽出ステップ（Ｓ１２０）として、検出部１２は、撮像画像５０内で回転用操作部材３０が写る領域である注目領域Ｒ１を抽出する。図７は、本発明の実施形態の撮像部１１により撮像された画像から注目領域Ｒ１を抽出する一例を示す模式図である。以降の模式図においても、撮像画像５０には中央部５１に板状部材２０（第１側面２０ｃ）が写り、左側部５２及び右側部５３に板状部材２０以外の空間が写るものとする。また、以降の模式図においても、板状部材２０の短手方向が画像の上下方向（画像の短手方向）であり、板状部材２０の厚さ方向が画像の左右方向（画像の長手方向）である。左側部５２側が背面２０ｂ側であり、右側部５３側が主面２０ａ側である。

図７に示す撮像画像５０は、初期撮像ステップ（Ｓ１１０）において、穴２０ｆが短手方向に沿って２つ設けられた板状部材２０を撮像部１１が撮像したものである。なお、板状部材２０には回転用操作部材３０が設けられていない。撮像画像５０の中央部５１は、板状部材２０のうち穴２０ｆが写っている領域である穴領域５１ａと、板状部材２０のうち穴２０ｆが写っていない領域である穴無し領域５１ｂとを有する。

撮像画像５０における中央部５１と左側部５２及び右側部５３とは、第１側面２０ｃと板状部材２０以外のものとの色彩の相違があるため、彩度、明度、及び色相の少なくとも１つが異なる。また、中央部５１において、穴領域５１ａと穴無し領域５１ｂとは、穴２０ｆの側面において板状部材２０の外部からの光が乱反射するため、例えば明度が異なる。彩度、明度、及び色相の少なくとも１つを基準として、撮像画像５０から穴２０ｆの領域（穴領域５１ａ）を注目領域Ｒ１として抽出する。以下、詳細を説明する。

撮像画像５０がＲＧＢカラー画像であった場合、検出部１２は、撮像画像５０をＨＳＶカラー画像に変換し、撮像画像５０の各画素の彩度、明度、及び色相を得る。検出部１２は、例えば、予め定められ、記憶部１４に記憶されている彩度、明度、及び色相のうち少なくとも１つの指標を基準として、その指標の値が予め記憶された値の範囲内に入る画素を注目領域Ｒ１として抽出する。

例えば、撮像画像５０において、穴領域５１ａの方が穴無し領域５１ｂより明度が高いことから、検出部１２は、明度を用いて穴領域５１ａと、穴無し領域５１ｂとを区別する。検出部１２は、撮像画像５０の各画素の明度を得る。検出部１２は、撮像画像５０において、穴領域５１ａに相当する、予め定められ記憶部１４に記憶されている明度以上の領域を、注目領域Ｒ１として抽出する。注目領域Ｒ１は、穴２０ｆの大きさ及び形状により異なる大きさ及び形状を有する。

なお、検出部１２はこの抽出ステップ（Ｓ１２０）を実行しなくてもよい。例えば、撮像画像５０における穴領域５１ａの位置を記憶部１４に記憶しておき、検出部１２は、記憶部１４から撮像画像５０における穴領域５１ａの画素の位置（座標）を読み出し、当該画素の位置を注目領域Ｒ１として設定すればよい。

検出部１２は、穴２０ｆ内に回転用操作部材３０が挿入された後であっても注目領域Ｒ１を設定してもよい。この場合、検出部１２は、色相、明度、又は彩度など、１又は複数の種類の値を閾値として設定することで、閾値以上又は閾値以下の領域を注目領域Ｒ１として設定してもよい。

図８は、本発明の実施形態の撮像部１１により撮像された画像からユーザ操作を検出する一例を示す模式図である。図８に示す撮像画像５０は、穴２０ｆが短手方向に沿って２つ設けられた板状部材２０を撮像部１１により撮像されたものである。このとき、２つの穴２０ｆのうち、１つの穴２０ｆに回転用操作部材３０が挿入されている。

図８の（ａ）は、注目領域Ｒ１において色計測領域Ｒ２を設定する一例を示す模式図である。色計測領域Ｒ２とは、撮像画像５０内の回転用操作部材３０の標識部３０ａの一部が写る領域であり、ユーザ操作の検出に用いる領域を指す。図８の（ａ）に示すように、検出部１２は、注目領域Ｒ１内に標識部３０ａの縞を認識するための領域である色計測領域Ｒ２を設定する。検出部１２は、予め定められ、記憶部１４に記憶された注目領域Ｒ１に対する色計測領域Ｒ２の位置を読み出すことで、色計測領域Ｒ２の位置を設定する。

検出部１２は、例えば、予め定められ、記憶部１４に記憶された標識部３０ａの縞１つ分の円周方向の長さに対応する撮像画像５０上の長さを色計測領域Ｒ２の短手方向の長さとして設定する。撮像部１１による解像度が大きければ大きいほど、検出部１２は、色計測領域Ｒ２の短手方向の長さを狭くすることができる。検出部１２は、色計測領域Ｒ２の短手方向の長さを縞１つ分の円周方向の長さに対応する撮像画像５０上の長さ以上に設定してもよい。

次に、図４に示す取得ステップ（Ｓ１３０）として、抽出ステップ（Ｓ１２０）が終了し、ユーザが回転用操作部材３０を穴２０ｆに挿入した後に、撮像部１１は撮像画像５０を撮像する。取得ステップ（Ｓ１３０）は、抽出ステップ（Ｓ１２０）が終了した後、撮像部１１によって撮像画像５０を撮像し続けることで開始されてもよい。この場合、記憶部１４に予め記憶されている回転用操作部材３０の標識部３０ａの彩度、明度、及び色相のうち少なくとも１つの指標により、検出部１２は、注目領域Ｒ１の色が変わったか否かを判定する。このとき、検出部１２が注目領域Ｒ１の色が変わったと判定した場合、回転用操作部材３０が穴２０ｆに挿入されたことを意味する。この後に、取得ステップ（Ｓ１３０）が実行される。これにより、撮像部１１及び検出部１２は、ユーザが操作するときの画像を取得することができる。

次に、取得ステップ（Ｓ１３０）によって撮像画像５０が取得された場合、検出ステップ（Ｓ１４０）として、検出部１２は、撮像画像５０から回転用操作部材３０に対するユーザ操作を検出する。

図８の（ｂ）は、回転用操作部材３０に対するある時点の撮像画像（以下、第１の撮像画像５０ａと記載）の一例を示す模式図である。図８の（ｃ）は、回転用操作部材３０に対するある時点の撮像画像の次に撮像された撮像画像（以下、第２の撮像画像５０ｂと記載）の一例を示す模式図である。すなわち、図８の（ｂ）及び（ｃ）に示す第１の撮像画像５０ａ及び第２の撮像画像５０ｂは、撮像部１１により時間的に連続で撮像されている。

記憶部１４は、第１の撮像画像５０ａ及び第２の撮像画像５０ｂを記憶する。ユーザ操作に合わせて回転用操作部材３０は回転するため、撮像画像５０における回転用操作部材３０の標識部３４ａは、回転操作に合わせて異なる色を色計測領域Ｒ２内に表示させることになる。すなわち、第１の撮像画像５０ａ及び第２の撮像画像５０ｂにおける各色計測領域Ｒ２の色相の値はユーザの回転操作により異なる。

検出部１２は、色計測領域Ｒ２内の各画素の色相の値を取得し、第１の撮像画像５０ａ及び第２の撮像画像５０ｂにおける各色計測領域Ｒ２内の色相の平均値を算出する。さらに、検出部１２は、第１の撮像画像５０ａの色計測領域Ｒ２内の色相の平均値と、第２の撮像画像５０ｂの色計測領域Ｒ２内の色相の平均値との差分を算出する。検出部１２は、上記の差分、それぞれの平均値、又はこれらの組み合わせに対応付いた、回転用操作部材３０の回転量及び回転方向の情報を有している。検出部１２は、差分、それぞれの平均値、又はこれらの組み合わせに対応した、回転用操作部材３０の回転量及び回転方向を導出することにより、第２の撮像画像５０ｂが撮像された時点のユーザ操作として回転用操作部材３０の回転量及び回転方向を検出する。

なお、記憶部１４は、撮像部１１により連続で撮像された第１の撮像画像５０ａ及び第２の撮像画像５０ｂを記憶しなくてもよい。この場合、記憶部１４は、第１の撮像画像５０ａ及び第２の撮像画像５０ｂの代わりに、第１の撮像画像５０ａの色計測領域Ｒ２内の色相の平均値、及び第２の撮像画像５０ｂの色計測領域Ｒ２内の色相の平均値のみを記憶してもよい。

なお、撮像部１１は１秒あたりの撮像枚数を増やすことにより、検出部１２はユーザ操作による回転用操作部材３０の回転量及び回転方向をさらに正確に検出することができる。また、回転用操作部材３０の標識部３４ａの各縞に対して異なる色彩若しくは模様をさらに加えること、又は、撮像部１１の解像度を増大させて回転用操作部材３０の標識部３４ａの縞の幅を小さくすることによっても検出部１２は適切にユーザ操作をさらに正確に検出することができる。

次に、図４に示す適用ステップ（Ｓ１５０）として、制御部１３は、検出部１２で検出されたユーザ操作をアプリケーションに適用する。これにより、ユーザは操作検出装置１を介してアプリケーションを利用することができる。

次に、終了判定ステップ（Ｓ１６０）として、制御部１３は、アプリケーションを終了するか否かを判定する。ユーザ操作の検出後、所定の時間後にユーザがアプリケーションを終了しない場合（Ｓ１６０：ＮＯ）は、撮像部１１は、取得ステップ（Ｓ１３０）を再び実行する。このとき、直前の取得ステップ（Ｓ１３０）において撮像された第２の撮像画像５０ｂは第１の撮像画像５０ａとして用いられ、新たに実行される取得ステップ（Ｓ１３０）において撮像された撮像画像５０が第２の撮像画像５０ｂとなる。すなわち、検出部１２は、撮像部１１による撮像のタイミング毎のユーザ操作を検出する。ユーザ操作の検出後、所定の時間後にユーザがアプリケーションを終了する場合（Ｓ１６０：ＹＥＳ）は、制御部１３は、操作検出装置１の動作方法を終了する。

ここまで、操作部材の一例として、板状部材２０の穴２０ｆに回転用操作部材３０が挿入される場合を説明したが、穴２０ｆには他の操作部材が挿入されてもよい。操作部材は、例えば、ボタン用操作部材３１、スライダ用操作部材３２、又はポインタ用操作部材３３を有してもよい。以下、ボタン用操作部材３１、スライダ用操作部材３２、及びポインタ用操作部材３３の構成について説明する。回転用操作部材３０と重複する構成及び機能については適宜省略する。

図９は、本発明の実施形態の撮像部１１により撮像された画像からユーザ操作を検出する一例を示す模式図である。図９は、注目領域Ｒ１においてボタン用操作部材３１が押下される過程を順に示す模式図である。図９に示すように、ボタン用操作部材３１は、穴２０ｆにおいて、板状部材２０の厚さ方向に移動可能に設けられる。ユーザは、板状部材２０に対してボタン用操作部材３１を移動させることができる。ボタン用操作部材３１は、例えば、穴２０ｆに挿入される挿入部位と穴２０ｆ外に位置しユーザが操作する対象である操作部位（図示せず）とを有する。ボタン用操作部材３１の挿入部位３１ｂ及び操作部位は、例えば円柱状をなす。ボタン用操作部材３１の挿入部位３１ｂ及び操作部位は、それぞれの中心が厚さ方向に平行な同一の軸上に位置し、挿入部位３１ｂ上に操作部位が接合している。

さらに、ボタン用操作部材３１は、挿入部位３１ｂの底部に接続している弾性部と、弾性部に接続されている磁石部とを有する。ボタン用操作部材３１の挿入部位３０ｂの底部は、ばね状の弾性部の一端と接続される。弾性部の他端は、第２取付部２９の磁石板と反対の極性を有する磁石部と接合される。

穴２０ｆの径は、ボタン用操作部材３１の挿入部位の径と同一又はボタン用操作部材３１の挿入部位の径よりわずかに大きい。例えば、ボタン用操作部材３１の操作部位の径は、穴２０ｆの径及びボタン用操作部材３１の挿入部位の径より大きい。

ボタン用操作部材３１は、穴２０ｆに挿入され、第２取付部２９と着脱可能に接続する。ボタン用操作部材３１は、例えば磁力により第２取付部２９と着脱可能に接合する。例えば、ボタン用操作部材３１は、弾性部及び磁石部を介して第２取付部２９と接合している。弾性部における弾性力により、ボタン用操作部材３１は厚さ方向に移動することができる。ユーザは、操作部位を保持し、第２取付部２９に対して厚さ方向に移動させる（押す）ことでユーザ操作を行う。ユーザが押していない状態では、ボタン用操作部材３１の弾性部が伸びるため、例えば、ボタン用操作部材３１の挿入部位３１ｂの一部は、穴２０ｆの外部に位置する。ユーザが押している状態では、弾性部が縮み、ユーザは操作部位を介してボタン用操作部材３１の挿入部位３１ｂを穴２０ｆ内に押し込むことができる。これにより、ユーザは、アプリケーションに対するユーザ操作である移動の動作（押し込み）を実行できる。

ボタン用操作部材３１の挿入部位３１ｂの円周面は、一又は複数の色又は模様を含む標識部３１ａを有する。ボタン用操作部材３１の標識部３１ａは、例えば、赤色に塗布されている。ボタン用操作部材３１の標識部３１ａは、穴２０ｆの側面に近接又は接触している。

続いて、撮像画像５０からボタン用操作部材３１に対するユーザ操作を検出する方法を説明する。図９は、注目領域Ｒ１においてボタン用操作部材３１が移動する過程を順に示す模式図である。なお、ボタン用操作部材３１においては、色計測領域Ｒ２を設定する必要はなく、注目領域Ｒ１が標識部３１ａの色を認識するための領域である。

図９に示す撮像画像５０は、穴２０ｆとして穴２０ｆが１つ設けられた板状部材２０を撮像部１１により撮像されたものである。穴２０ｆには、ボタン用操作部材３１が挿入されている。図９の（ａ）は、ボタン用操作部材３１に対するある時点の撮像画像（以下、第３の撮像画像５０ｃと記載）の一例を示す模式図である。図９の（ｂ）は、ボタン用操作部材３１に対するある時点の撮像画像の次に撮像された撮像画像（以下、第４の撮像画像５０ｄと記載）の一例を示す模式図である。図９の（ｃ）は、ボタン用操作部材３１に対するある時点の撮像画像の次の次に撮像された撮像画像（以下、第５の撮像画像５０ｅと記載）の一例を示す模式図である。すなわち、図９に示す第３の撮像画像５０ｃ、第４の撮像画像５０ｄ、及び第５の撮像画像５０ｅは、撮像部１１により時間的に連続で撮像されている。

図９の（ａ）に示すように、ユーザ操作によりボタン用操作部材３１が移動する（押下される）ことで、注目領域Ｒ１にボタン用操作部材３１の標識部３１ａが表示される。検出部１２は、注目領域Ｒ１内の各画素の彩度、明度、及び色相のうち少なくとも１つの指標の値を測定し、記憶部１４に予め記憶された指標の閾値の上下によって注目領域Ｒ１の色と標識部３１ａの色とを区別する。検出部１２は、例えば、注目領域Ｒ１内において、標識部３１ａの色が占める画素を１とし、標識部３１ａ以外の色が占める画素を０として２値化することで標識部３１ａの面積を算出する。

図９の（ｂ）及び（ｃ）に示すように、ボタン用操作部材３１が厚さ方向において背面２０ｂ側から主面２０ａ側へ移動するに従って、注目領域Ｒ１内に占めるボタン用操作部材３１の標識部３１ａの面積の割合が大きくなる。

検出部１２が１つの撮像画像５０からユーザ操作を検出する例を説明する。検出部１２は、例えば、記憶部１４に予め記憶された標識部３１ａの面積の閾値以上の標識部３１ａの面積を検出した場合、ボタン用操作部材３１がユーザにより押し込まれた状態であるというステータス（信号）をユーザ操作として検出する。検出部１２は、例えば、記憶部１４に予め記憶された標識部３１ａの面積の閾値未満の標識部３１ａの面積を検出した場合、ボタン用操作部材３１がユーザにより押し込まれていない状態であるというステータス（信号）をユーザ操作として検出する。

また、検出部１２は、注目領域Ｒ１の面積に対する標識部３１ａの面積の割合を算出してもよい。検出部１２は、上記の面積の割合、又は標識部３１ａの面積に対応付いたユーザ操作とする移動量（押し込み量）の情報を有しており、面積の割合、又は標識部３１ａの面積に対応した移動量を撮像画像５０が撮像された時点のユーザ操作として検出してもよい。

検出部１２が複数の撮像画像５０からユーザ操作を検出する例を説明する。記憶部１４は、第３の撮像画像５０ｃ及び第４の撮像画像５０ｄ、又は、第４の撮像画像５０ｄ及び第５の撮像画像５０ｅを記憶する。検出部１２は、第３の撮像画像５０ｃ及び第４の撮像画像５０ｄ、又は、第４の撮像画像５０ｄ及び第５の撮像画像５０ｅにおける注目領域Ｒ１内の標識部３１ａ以外の色、又は模様を有する標識部３１ａの面積の割合を取得する。検出部１２は、第３の撮像画像５０ｃ及び第４の撮像画像５０ｄ、又は、第４の撮像画像５０ｄ及び第５の撮像画像５０ｅの面積の割合の差分を算出する。

検出部１２は、上記の面積の割合の差分に対応付いた、ボタン用操作部材３１の移動速度（押し込み速度）の情報を有している。検出部１２は、面積の割合の差分に対応した、ボタン用操作部材３１の移動速度を導出することにより、撮像画像５０が撮像された時点のユーザ操作によるボタン用操作部材３１の移動速度を検出する。すなわち、第４の撮像画像５０ｄ又は第５の撮像画像５０ｅが撮像された時点でのボタン用操作部材３１の厚さ方向に対する移動速度（押し込み速度）をユーザ操作として検出する。

次に、図１０は、本発明の実施形態の撮像部１１により撮像された画像からユーザ操作を検出する一例を示す模式図である。図１０に示す撮像画像５０は、穴２０ｆが１つ設けられた板状部材２０を撮像部１１により撮像されたものである。穴２０ｆは、長尺状に開口している。穴２０ｆは、例えば、板状部材２０の短手方向に延在した開口である。スライダ用操作部材３２は、穴２０ｆにおいて、板状部材２０に沿って短手方向に移動可能に設けられる。

スライダ用操作部材３２は、例えば、穴２０ｆに挿入される挿入部位３２ｂと穴２０ｆ外に位置しユーザが操作する対象である操作部位（図示せず）とから構成される。スライダ用操作部材３２の挿入部位３２ｂ及び操作部位は、円柱状をなす。スライダ用操作部材３２の挿入部位３２ｂ及び操作部位は、それぞれの中心が厚さ方向に平行な同一の軸上に位置し、挿入部位３２ｂ上に操作部位が接合している。

穴２０ｆの幅（板状部材２０の長手方向における長さ）は、スライダ用操作部材３２の挿入部位３２ｂの径と同一又はスライダ用操作部材３２の挿入部位３２ｂの径よりわずかに大きい。例えば、スライダ用操作部材３２の操作部位の径は、穴２０ｆの幅及びスライダ用操作部材３２の挿入部位３２ｂの径より大きい。

スライダ用操作部材３２は、穴２０ｆに挿入され、第２取付部２９と着脱可能に接続する。スライダ用操作部材３２は、例えば磁力により第２取付部２９と着脱可能に接合する。スライダ用操作部材３２の挿入部位３２ｂの底部は、例えば、第２取付部２９の磁石板と反対の極性を有する磁石部を有する。スライダ用操作部材３２の挿入部位３２ｂの円周面は、一又は複数の色又は模様を含む標識部３２ａを有する。スライダ用操作部材３２の標識部３２ａは、例えば、青色に塗布されている。スライダ用操作部材３２の標識部３２ａは、穴２０ｆの側面に近接又は接触している。ユーザは、板状部材２０に対して第２取付部２９上を滑るようにスライダ用操作部材３２を短手方向に移動させることができる。

続いて、撮像画像５０からスライダ用操作部材３２に対するユーザ操作を検出する方法を説明する。図１０は、注目領域Ｒ１においてスライダ用操作部材３２が移動する過程を順に示す模式図である。図１０は、本発明の実施形態の撮像部１１により撮像された画像からスライダ用操作部材３２に対するユーザ操作を検出する一例を示す模式図である。図１０は、注目領域Ｒ１においてスライダ用操作部材３２が短手方向に沿って移動する一例を示す模式図である。

図１０に示す撮像画像５０は、穴２０ｆとして穴２０ｆが１つ設けられた板状部材２０を撮像部１１により撮像されたものである。穴２０ｆには、スライダ用操作部材３２が挿入されている。図１０の（ａ）は、スライダ用操作部材３２に対するある時点の撮像画像（以下、第６の撮像画像５０ｆと記載）の一例を示す模式図である。図１０の（ａ）に示すように、検出部１２は、穴２０ｆの中心位置Ｃを定める。検出部１２は、穴２０ｆとして注目領域Ｒ１を設定した後に中心位置Ｃを定める。検出部１２は、例えば、中心位置Ｃから穴２０ｆの第２側面２０ｄ側を正の方向とし、中心位置Ｃから穴２０ｆの第３側面２０ｅ側を負の方向とする。例えば、中心位置Ｃを原点とし、短手方向をｘ軸方向とした場合に、スライダ用操作部材３２を移動させることでｘ軸方向での移動に係るユーザ操作を行うことができる。

図１０の（ｂ）は、スライダ用操作部材３２に対するある時点の次に撮像された撮像画像（以下、第７の撮像画像５０ｇと記載）の一例を示す模式図である。図１０の（ｃ）は、スライダ用操作部材３２に対するある時点の次の次に撮像された撮像画像（以下、第８の撮像画像５０ｈと記載）の一例を示す模式図である。すなわち、図１０に示す第６の撮像画像５０ｆ、第７の撮像画像５０ｇ、及び第８の撮像画像５０ｈは、撮像部１１により時間的に連続で撮像されている。

図１０に示すように、ユーザ操作によりスライダ用操作部材３２が移動することで、注目領域Ｒ１にスライダ用操作部材３２の標識部３２ａが表示される。検出部１２は、注目領域Ｒ１内の各画素の彩度、明度、及び色相のうち少なくとも１つの指標の値を測定し、記憶部１４に予め記憶された指標の閾値の上下によって注目領域Ｒ１の色と標識部３２ａの色とを区別する。検出部１２は、注目領域Ｒ１内において、標識部３２ａの色が占める画素を１とし、標識部３２ａ以外の色が占める画素を０として２値化することで、このあとのスライダ用操作部材３２の位置の算出過程において、注目領域Ｒ１における標識部３２ａの位置（正の方向又は負の方向への中心位置Ｃからの長さ）を検出する。

検出部１２が１つの撮像画像５０からユーザ操作を検出する例を説明する。図１０の（ｂ）に示すように、検出部１２は、スライダ用操作部材３２が中心位置Ｃから正の方向に位置する場合、穴２０ｆの第２側面２０ｄ側の端面から中心位置Ｃまでの長さに対する標識部３２ａの短手方向の中心から中心位置Ｃまでの長さの割合を算出する。

図１０の（ｃ）に示すように、検出部１２は、スライダ用操作部材３２が中心位置Ｃから負の方向に位置する場合、穴２０ｆの第３側面２０ｅ側の端面から中心位置Ｃまでの長さに対する標識部３２ａの短手方向の中心から中心位置Ｃまでの長さの割合に−１を掛けて負の値として算出する。

検出部１２は、スライダ用操作部材３２が移動しない場合、穴２０ｆの第２側面２０ｄから中心位置Ｃまでの長さに対する標識部３２ａの短手方向の中心から中心位置Ｃまでの長さの割合を０として算出する。すなわち、検出部１２は、標識部３２ａが座標上、０であることを算出する。

検出部１２は、例えば、記憶部１４に予め記憶された閾値以上の長さの割合を検出した場合、スライダ用操作部材３２が正の方向に位置している状態であるというステータス（信号）をユーザ操作として検出する。検出部１２は、例えば、記憶部１４に予め記憶された閾値以下の長さの割合を検出した場合、スライダ用操作部材３２が負の方向に位置している状態であるというステータス（信号）をユーザ操作として検出する。検出部１２は、例えば、記憶部１４に予め記憶された閾値の範囲内の長さの割合を検出した場合、ポインタ用操作部材３３が正の方向及び負の方向に位置していない状態であるというステータス（信号）をユーザ操作として検出する。

検出部１２は、上記の長さの割合、又は割合の正負に対応付いた、ユーザ操作とする位置（ｘ軸における座標）の情報を有しており、算出した長さの割合、又は割合の正負に対応した位置を撮像画像５０が撮像された時点のユーザ操作として検出してもよい。

検出部１２が複数の撮像画像５０からユーザ操作を検出する例を説明する。記憶部１４は、撮像部１１により連続で撮像された第６の撮像画像５０ｆ及び第７の撮像画像５０ｇを記憶する。検出部１２は、第６の撮像画像５０ｆ及び第７の撮像画像５０ｇにおける注目領域Ｒ１内のスライダ用操作部材３２の移動した長さを取得する。検出部１２は、取得した長さの差分を算出する。

検出部１２は、上記の長さの差分に対応付いた、ユーザ操作とする移動速度及び移動方向の情報を有しており、算出した長さの差分に対応した移動速度及び移動方向を撮像画像５０が撮像された時点のユーザ操作として検出してもよい。すなわち、第７の撮像画像５０ｇが撮像された時点でのスライダ用操作部材３２の短手方向に対する移動速度及び移動方向をユーザ操作として検出する。

なお、スライダ用操作部材３２が正の方向に移動した場合として第６の撮像画像５０ｆ及び第７の撮像画像５０ｇを用いて説明したが、負の方向に移動した場合として、第７の撮像画像５０ｇ及び第８の撮像画像５０ｈを用いて同一の方法で第８の撮像画像５０ｈが撮像された時点でのユーザ操作によるスライダ用操作部材３２の移動速度及び移動方向を検出することができる。

次に、図１１は、本発明の実施形態の撮像部１１により撮像された画像からユーザ操作を検出する一例を示す模式図である。図１１に示す図１１に示す撮像画像５０は、穴２０ｆが１つ設けられた板状部材２０を撮像部１１により撮像されたものである。ポインタ用操作部材３３は、穴２０ｆにおいて、板状部材２０の延在方向に移動可能に設けられる。ユーザは、板状部材２０に対してポインタ用操作部材３３を移動させることができる。

ポインタ用操作部材３３は、例えば、穴２０ｆに挿入される挿入部位３３ｂと穴２０ｆ外に位置しユーザが操作する対象である操作部位（図示せず）とから構成される。ポインタ用操作部材３３の挿入部位３３ｂ及び操作部位は、円柱状を呈する。ポインタ用操作部材３３が挿入される穴２０ｆの径は、ポインタ用操作部材３３の挿入部位３３ｂの径より大きい。また、例えば、ポインタ用操作部材３３において、操作部位の径は挿入部位３３ｂの径より大きい。

ポインタ用操作部材３３は、穴２０ｆに挿入され、例えば磁力により第２取付部２９と着脱可能に接続する。ポインタ用操作部材３３の挿入部位３３ｂの底部は、例えば、第２取付部２９の磁石板と反対の極性を有する磁石部を有する。ポインタ用操作部材３３の操作部位の円周面は、一又は複数の色又は模様を含む標識部３３ａを有する。ポインタ用操作部材３３の標識部３３ａは、例えば、緑色に塗布されている。ポインタ用操作部材３３の標識部３３ａは、ユーザ操作により穴２０ｆの側面に近接又は接触する。ユーザは、板状部材２０に対して第２取付部２９上を滑るようにポインタ用操作部材３３を長手方向、短手方向及びそれらを組み合わせた方向に移動させることができる。

板状部材２０の第１側面２０ｃ及び操作部材の標識部（回転用操作部材３０の標識部３０ａ、ボタン用操作部材３１の標識部３１ａ、スライダ用操作部材３２の標識部３２ａ及びポインタ用操作部材３３の標識部３３ａのそれぞれ）は、例えば、互いに異なる色又は模様を有する。

続いて、撮像画像５０からポインタ用操作部材３３に対するユーザ操作を検出する方法を説明する。図１１は、注目領域Ｒ１においてポインタ用操作部材３３が長手方向及び短手方向に沿って移動する一例を示す模式図である。

図１１に示す撮像画像５０は、穴２０ｆとして穴２０ｆが１つ設けられた板状部材２０を撮像部１１により撮像されたものである。穴２０ｆには、ポインタ用操作部材３３が挿入されている。図１１に示すように、検出部１２は、穴２０ｆの短手方向の中心位置Ｃを定め、長手方向の中心位置Ｄを定める。検出部１２は、穴２０ｆとして注目領域Ｒ１を設定した後に中心位置Ｃ，Ｄを定める。例えば、中心位置Ｃ，Ｄの交点を原点とし、短手方向をｘ軸方向、長手方向をｙ軸とした場合に、ポインタ用操作部材３３を移動させることでｘ軸方向及びｙ軸方向での移動に係るユーザ操作を行うことができる。ポインタ用操作部材３３における板状部材２０の短手方向における移動の検出は、スライダ用操作部材３２の短手方向における移動の検出と同一であるため省略し、板状部材２０の長手方向に沿った移動の検出について説明する。

図１１は、ポインタ用操作部材３３に対するある時点に撮像された撮像画像（以下、第９の撮像画像５０ｉと記載）の一例と、ある時点の次に撮像された撮像画像（以下、第１０の撮像画像５０ｊと記載）の一例と、ある時点の次の次に撮像された撮像画像（以下、第１１の撮像画像５０ｋと記載）の一例を示す模式図である。すなわち、図１１に示す第９の撮像画像５０ｉ、第１０の撮像画像５０ｊ、及び第１１の撮像画像５０ｋは、撮像部１１により時間的に連続で撮像されている。

図１１に示すように、ユーザ操作によりポインタ用操作部材３３が移動することで、注目領域Ｒ１にポインタ用操作部材３３の標識部３３ａが表示される。検出部１２は、注目領域Ｒ１内の各画素の彩度、明度、及び色相のうち少なくとも１つの指標の値を測定し、記憶部１４に予め記憶された指標の閾値の上下によって注目領域Ｒ１の色と標識部３３ａの色とを区別する。検出部１２は、注目領域Ｒ１内において、標識部３３ａの色が占める画素を１とし、標識部３３ａ以外の色が占める画素を０として２値化することで、このあとのポインタ用操作部材３３の位置の算出過程において、注目領域Ｒ１における標識部３３ａの位置を容易に検出する。

検出部１２が１つの撮像画像５０からユーザ操作を検出する例を説明する。ポインタ用操作部材３３が穴２０ｆにおいて中心位置Ｄから移動した場合、撮像画像５０における標識部３３ａの面積が変動する。

検出部１２は、ポインタ用操作部材３３が穴２０ｆの中心位置Ｄに位置した場合における標識部３３ａの面積に対する、ユーザ操作により移動したポインタ用操作部材３３における標識部３３ａの面積の割合を算出する。例えば、検出部１２は、記憶部１４に予め記憶されている、ポインタ用操作部材３３が穴２０ｆの中心位置Ｄに位置した場合における標識部３３ａの面積を読み出し、ユーザ操作後の標識部３３ａの画素数を数え上げることで面積を除することで割合（以下、「操作後割合」と記載）を算出する。

操作後割合が１より大きい場合、ポインタ用操作部材３３は穴２０ｆにおいてレンズ１１ａ側に位置することを示し、操作後割合が１より小さい場合、ポインタ用操作部材３３は穴２０ｆにおいて第１側面２０ｃ側に位置することを示す。操作後割合が１の場合、ポインタ用操作部材３３は穴２０ｆにおいて中心位置Ｄに位置することを示す。

検出部１２は、例えば、記憶部１４に予め記憶された閾値以上の操作後割合を検出した場合、ポインタ用操作部材３３がレンズ１１ａ側に位置している状態であるというステータス（信号）をユーザ操作として検出する。検出部１２は、例えば、記憶部１４に予め記憶された閾値以下の操作後割合を検出した場合、ポインタ用操作部材３３が第１側面２０ｃ側に位置している状態であるというステータス（信号）をユーザ操作として検出する。検出部１２は、例えば、記憶部１４に予め記憶された閾値の範囲内の操作後割合を検出した場合、ポインタ用操作部材３３がレンズ１１ａ側及び第１側面２０ｃ側に位置していない状態であるというステータス（信号）をユーザ操作として検出する。

このように、検出部１２は、これらの操作後割合を算出することにより、各撮像画像５０によりポインタ用操作部材３３の延在方向、すなわち長手方向の位置を検出することができる。

また、検出部１２は、記憶部１４に予め記憶されている、ポインタ用操作部材３３の穴２０ｆにおける標識部３３ａの中心位置Ｄにおける面積に対する最大面積及び最小面積の割合として最大割合及び最小割合をそれぞれ算出する。

検出部１２は、最大割合と操作後割合との差分、又は、最小割合と操作後割合との差分に対応付いた、ユーザ操作とする位置（ｙ軸における座標）の情報を有しており、算出した差分に対応した位置を撮像画像５０が撮像された時点のユーザ操作として検出してもよい。

検出部１２が複数の撮像画像５０からユーザ操作を検出する例を説明する。記憶部１４は、撮像部１１により連続で撮像された第９の撮像画像５０ｉ及び第１０の撮像画像５０ｊを記憶する。検出部１２は、第９の撮像画像５０ｉ及び第１０の撮像画像５０ｊにおける注目領域Ｒ１内の標識部３３ａの面積を取得する。

検出部１２は、上記の面積の差分に対応付いた、ユーザ操作とする移動速度及び移動方向の情報を有しており、算出した面積の差分に対応した移動速度及び移動方向を撮像画像５０が撮像された時点のユーザ操作として検出してもよい。

なお、ポインタ用操作部材３３が長手方向のレンズ１１ａ側に移動した場合として第９の撮像画像５０ｉ及び第１０の撮像画像５０ｊを用いて説明したが、ポインタ用操作部材３３が長手方向の第１側面２０ｃ側に移動した場合として、第１０の撮像画像５０ｊ及び第１１の撮像画像５０ｋを用いて同一の方法で第１１の撮像画像５０ｋが撮像された時点でのユーザ操作として移動速度及び移動方向を検出することができる。

このように、回転用操作部材３０、ボタン用操作部材３１、スライダ用操作部材３２及びポインタ用操作部材３３のうち少なくとも１つに対しユーザ操作が行われた場合、検出部１２は上記の方法でユーザ操作を検出する。

なお、取得ステップ（Ｓ１３０）は、抽出ステップ（Ｓ１２０）が終了した後、撮像部１１によって撮像画像５０を撮像し続けることで開始されてもよい。この場合、記憶部１４に予め記憶されている回転用操作部材３０、ボタン用操作部材３１、スライダ用操作部材３２、及びポインタ用操作部材３３の標識部３０ａ，３１ａ，３２ａ，３３ａの彩度、明度、及び色相のうち少なくとも１つの指標により、検出部１２は、注目領域Ｒ１の色又は模様が何かを判定する。これにより、検出部１２は注目領域Ｒ１の色又は模様を特定することで、その色又は模様に対応する標識部を有する回転用操作部材３０、ボタン用操作部材３１、スライダ用操作部材３２、及びポインタ用操作部材３３のいずれかが穴２０ｆに挿入されたことを特定する。

ユーザは、回転用操作部材３０、ボタン用操作部材３１、スライダ用操作部材３２、及びポインタ用操作部材３３のうち、少なくとも１つの操作部材を板状部材２０に設けてもよい。すなわち、複数の種類の操作部材、又は、同一の種類で複数の操作部材（以下、単に「複数の操作部材」と記載）を板状部材２０に設けてもよい。以下、複数の操作部材を板状部材２０に設けた場合を説明する。

図１２は、本発明の実施形態の操作検出装置１における板状部材２０内の光の経路を示す模式的な上面図である。図１２は、撮像部１１、及び２つの操作部材が長手方向に沿って並んでいる状態を示している。２つの操作部材のうち撮像部１１から近い操作部材を操作部材３０ｄ、２つの操作部材のうち撮像部１１から遠い（第１側面２０ｃから近い）操作部材を操作部材３０ｅとする。

図１２の（ａ）は、２つの操作部材のうち、撮像部１１から近い操作部材を撮像する場合の光の経路を示す模式的な上面図である。図１２の（ａ）に示すように、操作部材３０ｄからの光は、板状部材２０の主面２０ａ、背面２０ｂ及び反射面２０ｇにおける反射により撮像部１１に到達可能である。一方、操作部材３０ｅからの光のうち、板状部材２０の主面２０ａ、背面２０ｂ及び反射面２０ｇのみの反射による光は、操作部材３０ｄ及び操作部材３０ｄが挿入される穴２０ｆにより遮蔽されるため、撮像部１１に到達できない。

図１２の（ｂ）は、２つの操作部材のうち、撮像部１１から遠い操作部材を撮像する場合の光の経路を示す模式的な上面図である。図１２の（ｂ）に示すように、操作部材３０ｅからの光は、板状部材２０の長手方向に沿った第２側面２０ｄ及び第３側面２０ｅのうち少なくとも一方における反射を利用することで撮像部１１に到達可能である。すなわち、操作部材３０ｅからの光は、板状部材２０の主面２０ａ、背面２０ｂ、反射面２０ｇ、並びに、長手方向に延在する第２側面２０ｄ及び第３側面２０ｅのうち少なくとも一方における反射により撮像部１１に到達可能である。なお、撮像部１１は、操作部材３０ｄも第２側面２０ｄ及び第３側面２０ｅのうち少なくとも一方の反射を利用して撮像できる。

撮像画像５０内において、第２側面２０ｄ又は第３側面２０ｅで反射せず写った操作部材３０ｄと、第２側面２０ｄ又は第３側面２０ｅで反射して写った操作部材３０ｅの像の位置はそれぞれ異なる。図１３は、本発明の実施形態の撮像部１１による板状部材２０及び操作部材を撮像した画像の一例を示す模式図である。図１３に示すように、例えば、撮像画像５０において、操作部材３０ｄ，ｅは、板状部材２０が写る部分の重複しない位置に並んで写る。このように、複数の穴２０ｆ又は複数の操作部材が長手方向に並んで配置されていた場合であっても、撮像部１１は、板状部材２０により穴２０ｆ又は複数の操作部材を撮像することができる。これにより、検出部１２は、長手方向に並んで設けられた複数の操作部材に基づくユーザ操作を検出することができる。

以上のように、本実施形態では、光が透明な板状部材２０内を反射しながら進むため、撮像部１１は、板状部材２０を介して操作部材（回転用操作部材３０、ボタン用操作部材３１、スライダ用操作部材３２、又はポインタ用操作部材３３）を撮像することができる。操作部材から撮像部１１までの光路には板状部材２０が存在するため、操作部材と撮像部１１との間に光の遮蔽物が入り込むことが抑制され、検出部１２によりユーザ操作が適切に検出される。したがって、ユーザ操作の検出性能を向上させることができる。

また、板状部材２０がアクリル板及び磁石板で形成され、操作部材がプラスチック及び磁石板で形成されることから、板状部材２０及び操作部材は、安価に製造することができる。さらに、検出部１２は撮像画像５０を利用して注目領域Ｒ１を検出し、注目領域Ｒ１内の色相の平均値若しくは色相の平均値の差分、又は、２値化することにより求められた長さ、面積若しくは割合を算出することから、簡易な処理でユーザ操作を検出することができる。これにより、検出部１２は、高速にユーザ操作を検出することができる。

また、本実施形態のように板状部材２０は、延在方向が撮像部１１の撮像方向とは異なるように設けられ、板状部材２０は、板状部材２０の延在方向及び撮像部１１の撮像方向に面し、撮像部１１が操作部材を撮像できるように光を反射する反射面２０ｇを有してもよい。この構成によれば、板状部材２０の全反射を利用して別部材を取り付けることなく、撮像部１１は操作部材を撮像することができる。したがって、簡易な構成でユーザ操作の検出性能を向上させることができる。なお、板状部材２０は、反射面２０ｇを有さなくてもよい。この場合、板状部材２０の反射面２０ｇが設けられた位置に、鏡などの反射部材の反射面を板状部材２０内に向けて接着させてもよい。

また、本実施形態のように操作部材は、複数の色又は模様を含む標識部３０ａを有し、撮像部１１は、操作部材の標識部（標識部３０ａ，３１ａ，３２ａ，３３ａ）を撮像してもよい。この構成によれば、検出部１２は、標識部が撮像された撮像画像５０を１又は複数用いることによって、操作部材に実施された移動又は回転などのユーザ操作を検出することができる。なお、標識部は、複数の色又は模様でなくてもよい。この場合、例えば、標識部は、１色を有するのみであってもよい。

また、本実施形態のように板状部材２０の主面２０ａは、操作部材を挿入可能な穴２０ｆを有してもよい。この構成によれば、操作部材は、板状部材２０に容易に保持される。なお、板状部材２０は、穴２０ｆは有さなくてもよい。この場合、操作部材は、板状部材２０とは別の部材により操作可能に板状部材２０に取り付けられてもよい。

また、本実施形態のように撮像部１１によって操作部材が撮像される際に当該操作部材の背後に位置する板状部材２０の第１側面２０ｃの色は、当該操作部材の色とは異なってもよい。この構成によれば、検出部１２は、撮像画像５０内における注目領域Ｒ１（穴２０ｆの像、又はユーザ操作を検出する操作部材の像の位置）と、それ以外の領域（穴無し領域５１ｂ）との区別を容易にすることができる。なお、第１側面２０ｃの色は、操作部材の色と同一であってもよい。この場合、検出部１２は、記憶部１４が予め記憶した、穴２０ｆの像、又はユーザ操作を検出する操作部材の像の位置である穴領域５１ａを注目領域Ｒ１として設定してもよい。

また、本実施形態のように操作部材は、板状部材２０に複数設けられ、検出部１２は、撮像部１１により撮像された画像に基づき複数の操作部材のそれぞれにおけるユーザ操作を検出してもよい。本実施形態のように検出部１２は、撮像部１１により撮像された画像のうち、板状部材２０の長手方向に延びる側面（第２側面２０ｄ又は第３側面２０ｅ）の反射を利用して得られた操作部材の像に基づき、操作部材に対するユーザ操作を検出してもよい。この構成によれば、撮像部１１は、板状部材２０の主面２０ａ、背面２０ｂ、又は長手方向に延びる側面の反射を利用して操作部材を撮像することができ、検出部１２は操作部材に実施されたユーザ操作を検出することができる。したがって、携帯端末１０のアプリケーションに対応して適切な操作部材を複数設けることができるため、操作部材を１つだけしか配置できない場合と比べて操作性及び利便性が向上する。なお、操作部材は板状部材２０に１つだけ設けられてもよい。

また、本実施形態のように板状部材２０は、撮像部１１に対して着脱自在に設けられてもよい。携帯端末１０が第１取付部１９を有し、板状部材２０が第２取付部２９を有する構成であれば、携帯端末１０（撮像部１１）に対し操作検出装置１が必要な場合に、板状部材２０及び操作部材を携帯端末１０（撮像部１１）に容易に取り付けることができる。なお、板状部材２０は撮像部１１に対して着脱自在に設けられていなくてもよく、撮像部１１（携帯端末１０）に固定されていてもよい。

また、本実施形態のように操作部材は、板状部材２０に対して着脱自在に設けられてもよい。この構成によれば、板状部材２０に対し操作部材が必要な場合のみに操作部材を取り付けることができるため、携帯端末１０のアプリケーションに応じた操作部材をユーザが選択することができる。なお、操作部材は板状部材２０に対して着脱自在に設けられていなくてもよく、板状部材２０に移動又は回転可能に固定されていてもよい。

また、本実施形態のように撮像部１１を有する携帯端末１０を備え、板状部材２０は、携帯端末１０の撮像部１１が設けられた面の少なくとも一部を覆うように携帯端末１０に装着可能であってもよい。この構成によれば、ユーザは、携帯端末１０の背面１０ｂ側に設けられた操作部材により操作を行うため、指によってタッチパネルディスプレイ１５の表示内容が隠されることなく、触覚フィードバックを得られる。なお、板状部材２０は、携帯端末１０の撮像部１１が設けられた面の少なくとも一部を覆わなくてもよい。この場合、板状部材２０は、携帯端末１０の側面（主面１０ａ及び背面１０ｂ以外の面）に装着可能なように設けられていてもよい。

なお、携帯端末１０は、スマートフォンだけでなく、撮像部１１が設けられたデバイスであればよい。すなわち、携帯端末１０の代わりに撮像部１１のみを備える装置であってもよい。この場合、検出部１２は撮像部１１を備える装置内に設けられてもよく、撮像部１１を備える装置の外部において有線又は無線で接続する装置に設けられてもよい。

回転用操作部材３０、ボタン用操作部材３１、スライダ用操作部材３２及びポインタ用操作部材３３は、各機能を複合させた部材により代替されてもよい。例えば、ポインタ用操作部材３３の標識部３３ａは、回転用操作部材３０の標識部３０ａと同一の縞模様を有し、ユーザによる回転操作を検出させてもよい。

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

例えば、本開示の一実施の形態における携帯端末１０などは、本開示の情報処理を行うコンピュータとして機能してもよい。図１４は、本発明の実施形態に係る携帯端末のハードウェア構成の一例を示す図である。上述の携帯端末１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。携帯端末１０のハードウェア構成は、図１４に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

携帯端末１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、上述の検出部１２又は制御部１３などは、プロセッサ１００１によって実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、携帯端末１０は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る情報処理を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の携帯端末１０が備える記憶媒体（記憶部１４）は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

また、携帯端末１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

１…操作検出装置、１０…携帯端末、１１…撮像部、１２…検出部、１３…制御部、１４…記憶部、１９…第１取付部、２０…板状部材、２０ａ…主面、２０ｂ…背面、２０ｃ…第１側面、２０ｄ…第２側面、２０ｅ…第３側面、２０ｆ…穴、２０ｇ…反射面、２９…第２取付部、３０…回転用操作部材、３０ａ，３１ａ，３２ａ，３３ａ…標識部、３１…ボタン用操作部材，３２…スライダ用操作部材、３３…ポインタ用操作部材、５０…撮像画像、６０…遮蔽物、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス、Ｃ…中心位置、Ｒ１…注目領域、Ｒ２…色計測領域。

Claims (10)

1. 透明な板状部材と、
   前記板状部材の側面に設けられ、ユーザ操作により移動又は回転が可能な操作部材と、
   前記板状部材を介して前記操作部材を撮像する撮像部と、
   前記撮像部により撮像された画像に基づき前記ユーザ操作を検出する検出部と、
   を備える、操作検出装置。
2. 前記板状部材は、その延在方向が前記撮像部の撮像方向とは異なるように設けられ、
   前記板状部材は、前記板状部材の前記延在方向及び前記撮像部の撮像方向に面し、前記撮像部が前記操作部材を撮像できるように光を反射する反射面を有する、請求項１に記載の操作検出装置。
3. 前記板状部材の主面には、前記操作部材を挿入可能な穴を有する、請求項１又は２に記載の操作検出装置。
4. 前記撮像部によって前記操作部材が撮像される際に当該操作部材の背後に位置する前記板状部材の側面の色は、当該操作部材の色とは異なる、請求項３に記載の操作検出装置。
5. 前記操作部材は、複数の色又は模様を含む標識部を有し、
   前記撮像部は、前記操作部材の前記標識部を撮像する、請求項１〜４のいずれか一項に記載の操作検出装置。
6. 前記操作部材は、前記板状部材に複数設けられ、
   前記検出部は、前記撮像部により撮像された画像に基づき複数の前記操作部材のそれぞれにおける前記ユーザ操作を検出する、請求項１〜５のいずれか一項に記載の操作検出装置。
7. 前記検出部は、前記撮像部により撮像された画像のうち、前記板状部材の側面の反射を利用して得られた前記操作部材の像に基づき、前記操作部材に対する前記ユーザ操作を検出する、請求項１〜６のいずれか一項に記載の操作検出装置。
8. 前記板状部材は、前記撮像部に対して着脱自在に設けられる、請求項１〜７のいずれか一項に記載の操作検出装置。
9. 前記操作部材は、前記板状部材に対して着脱自在に設けられる、請求項１〜８のいずれか一項に記載の操作検出装置。
10. 前記撮像部を有する携帯端末を備え、
    前記板状部材は、前記携帯端末の前記撮像部が設けられた面の少なくとも一部を覆うように前記携帯端末に装着可能である、請求項１〜９のいずれか１項に記載の操作検出装置。

Images