JP2017068797A - Input support system and electronic apparatus - Google Patents
Input support system and electronic apparatus Download PDFInfo
- Publication number
- JP2017068797A JP2017068797A JP2015197068A JP2015197068A JP2017068797A JP 2017068797 A JP2017068797 A JP 2017068797A JP 2015197068 A JP2015197068 A JP 2015197068A JP 2015197068 A JP2015197068 A JP 2015197068A JP 2017068797 A JP2017068797 A JP 2017068797A
- Authority
- JP
- Japan
- Prior art keywords
- display
- electronic device
- pointer
- displayed
- display unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、入力支援システム、及び、電子機器に関する。 The present invention relates to an input support system and an electronic device.
従来より、ユーザーの頭部に装着され、ユーザーに画像を視認させる画像生成部と、ユーザーの身体に装着され、２次元である検出領域上のユーザーの記入操作の座標である記入操作座標を検出する記入操作検出手段と、を有するヘッドマウントディスプレイがある。ヘッドマウントディスプレイは、前記記入操作座標に基づいて、記入操作の軌跡画像を生成し、前記画像生成部に出力する記入軌跡画像生成手段をさらに有する。ヘッドマウントディスプレイは、前記記入操作座標に基づき、ユーザーによる記入操作の前記検出領域上の開始位置座標を検出するとともに、当該開始位置座標を前記画像生成部の表示領域上の初期位置座標に変換し、更に、前記初期位置座標と、前記記入操作座標と前記開始位置座標との位置関係を用いて、前記表示領域上の記入軌跡座標を決定する座標変換手段をさらに有する。前記記入軌跡画像生成手段は、前記記入軌跡座標に基づいて記入操作の軌跡画像を生成することを特徴とする（例えば、特許文献１参照）。 Conventionally, an image generation unit that is attached to the user's head and makes the user visually recognize the image, and an entry operation coordinate that is attached to the user's body and that is the coordinate of the user's entry operation on a two-dimensional detection area is detected. There is a head mounted display having an entry operation detecting means. The head-mounted display further includes an entry trajectory image generation means for generating a trajectory image of the entry operation based on the entry operation coordinates and outputting it to the image generator. The head mounted display detects the start position coordinate on the detection area of the entry operation by the user based on the entry operation coordinate, and converts the start position coordinate to the initial position coordinate on the display area of the image generation unit. Further, the image processing apparatus further includes coordinate conversion means for determining an entry trajectory coordinate on the display area using a positional relationship between the initial position coordinates and the entry operation coordinates and the start position coordinates. The entry trajectory image generation means generates a trajectory image of an entry operation based on the entry trajectory coordinates (see, for example, Patent Document 1).
ところで、従来のヘッドマウントディスプレイは、ユーザーが手元の端末機で記入操作を行おうとするときに、記入前に記入を開始する位置を確認することが困難である。 By the way, it is difficult for the conventional head mounted display to confirm the position where the entry is started before the entry when the user tries to perform the entry operation with the terminal at hand.
また、記入操作を行っているときに、軌跡を少し戻す、あるいは、軌跡を少し延ばすというような微妙な位置調整を行うことが困難である。 In addition, it is difficult to perform a fine position adjustment such as returning the locus a little or extending the locus a little while performing the entry operation.
また、このような課題は、ヘッドマウントディスプレイを装着しているときに限らず、例えば、手元の端末機への入力内容を別のモニタに表示して操作する場合にも同様に生じる。 Such a problem occurs not only when the head-mounted display is mounted, but also occurs when, for example, the input content to the terminal at hand is displayed and operated on another monitor.
以上のように、従来の装置は、操作性が良好ではないという課題がある。 As described above, the conventional apparatus has a problem that the operability is not good.
そこで、操作性の良好な入力支援システム、及び、電子機器を提供することを目的とする。 Therefore, it is an object to provide an input support system and an electronic device with good operability.
本発明の実施の形態の入力支援システムは、第１利用者の操作対象になるＧＵＩ部品を表示する第１表示部と、前記第１表示部の表示面側に配設され、第１操作面を有する第１トップパネルと、前記第１操作面に非接触で近接する第１利用者の身体の一部の第１位置を検出する、静電容量式の第１位置検出部と、前記位置検出部によって検出される前記第１位置と前記第１操作面との間の距離が所定値以下になると、前記第１表示部の表示領域のうちの前記第１位置を前記第１表示部に投影した第１投影位置に、第１ポインタを表示する第１ポインタ制御部とを有する、電子機器と、前記電子機器とは独立して設けられるとともに、前記電子機器と通信可能に接続され、前記第１表示部に表示される前記ＧＵＩ部品と前記第１ポインタとを相対位置関係を保持して表示するモニタとを含む。 An input support system according to an embodiment of the present invention includes a first display unit that displays a GUI component to be operated by a first user, a display surface side of the first display unit, and a first operation surface. A first top panel having a capacitance; a first position detection unit that detects a first position of a part of a first user's body that is in close contact with the first operation surface; and the position. When the distance between the first position detected by the detection unit and the first operation surface is equal to or less than a predetermined value, the first position in the display area of the first display unit is set to the first display unit. An electronic device having a first pointer control unit that displays a first pointer at the projected first projection position, and the electronic device are provided independently of each other and are communicably connected to the electronic device, The GUI component displayed on the first display unit and the first pointer Holding the positional relationship and a monitor for displaying.
操作性の良好な入力支援システム、及び、電子機器を提供することができる。 An input support system with good operability and an electronic device can be provided.
以下、本発明の入力支援システム、及び、電子機器を適用した実施の形態について説明する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments to which an input support system and electronic equipment according to the present invention are applied will be described below.
＜実施の形態１＞
図１は、実施の形態１の入力支援システムに含まれる電子機器１００を示す斜視図である。
<
FIG. 1 is a perspective view showing an
電子機器１００は、一例として、タッチパネルを入力操作部とする、スマートフォン端末機、又は、タブレット型コンピュータである。電子機器１００は、タッチパネルを入力操作部とする機器であればよいため、例えば、携帯情報端末機、又は、ＰＣ(Personal Computer)であってもよい。
As an example, the
電子機器１００の入力操作部１０１は、タッチパネルの下にディスプレイパネルが配設されており、ディスプレイパネルにＧＵＩ(Graphic User Interface)による様々なボタン１０２Ａ、又は、スライダー１０２Ｂ等（以下、ＧＵＩ部品１０２と称す）が表示される。
The
また、ＧＵＩ部品は、上述のような操作用の部品に限らず、例えば、ゲームのアプリケーションを実行しているときに表示されるキャラクタ、又は、パズルゲームで表示されるパズルのピース等の様々な部品であってもよい。 In addition, the GUI parts are not limited to the above-described parts for operation, but include various characters such as a character displayed when a game application is executed or a puzzle piece displayed in a puzzle game. It may be a part.
電子機器１００の利用者は、通常、ＧＵＩ部品１０２を操作、移動、又は特定等するために、指先で入力操作部１０１に触れる。なお、電子機器１００は、第１電子機器の一例であり、電子機器１００の利用者は、第１利用者の一例である。
A user of the
次に、図２を用いて、電子機器１００の具体的な構成について説明する。
Next, a specific configuration of the
図２は、実施の形態１の電子機器１００を示す平面図であり、図３は、図２に示す電子機器１００のＡ−Ａ矢視断面を示す図である。なお、図２及び図３では、図示するように直交座標系であるＸＹＺ座標系を定義する。
2 is a plan view showing
電子機器１００は、筐体１１０、トップパネル１２０、両面テープ１３０、タッチパネル１５０、ディスプレイパネル１６０、及び基板１７０を含む。
The
筐体１１０は、例えば、樹脂製であり、図３に示すように凹部１１０Ａに基板１７０、ディスプレイパネル１６０、及びタッチパネル１５０が配設されるとともに、両面テープ１３０によってトップパネル１２０が接着されている。
The
トップパネル１２０は、平面視で長方形の薄い平板状の部材であり、透明なガラス、又は、ポリカーボネートのような強化プラスティックで作製される。トップパネル１２０の表面（Ｚ軸正方向側の面）は、電子機器１００の利用者が操作入力を行う操作面の一例である。
The
トップパネル１２０は、平面視における四辺が両面テープ１３０によって筐体１１０に接着されている。なお、両面テープ１３０は、トップパネル１２０の四辺を筐体１１０に接着できればよく、図３に示すように矩形環状である必要はない。
The
トップパネル１２０のＺ軸負方向側にはタッチパネル１５０が配設される。トップパネル１２０は、タッチパネル１５０の表面を保護するために設けられている。なお、トップパネル１２０の表面に、さらに別なパネル又は保護膜等が設けられていてもよい。
A
タッチパネル１５０は、ディスプレイパネル１６０の上（Ｚ軸正方向側）で、トップパネル１２０の下（Ｚ軸負方向側）に配設されている。タッチパネル１５０は、電子機器１００の利用者がトップパネル１２０に触れる位置（以下、操作入力の位置と称す）と、利用者がトップパネル１２０に触れる前に、トップパネル１２０に近づける指先の位置とを検出する位置検出部の一例である。なお、ここでは、利用者が指先をトップパネル１２０に近づける形態について説明するが、指先には限らず、利用者の身体の一部であればよい。
The
タッチパネル１５０の下にあるディスプレイパネル１６０には、ＧＵＩによる様々なボタン等（以下、ＧＵＩ部品と称す）が表示される。このため、電子機器１００の利用者は、通常、ＧＵＩ部品を操作するために、指先でトップパネル１２０に触れる。
On the
タッチパネル１５０は、利用者のトップパネル１２０への操作入力の位置（又は座標）と、利用者がトップパネル１２０に触れる前に、トップパネル１２０に近づける指先の位置とを検出できる位置検出部であればよく、例えば、静電容量型の位置検出部であればよい。タッチパネル１５０とトップパネル１２０との間に隙間があっても、静電容量型のタッチパネル１５０は、トップパネル１２０への操作入力を検出できる。
The
タッチパネル１５０は、利用者がトップパネル１２０に触れる前に、トップパネル１２０に近づける指先の位置を検出することができる。これは、タッチパネル１５０のホバリング機能によって実現される。人体は導電性を有するため、静電容量型のタッチパネル１５０は、指先が近づいて来ると、静電容量の変化を検出する。このため、タッチパネル１５０は、指先が接触する前において、指先の三次元的な位置を特定することができる。
The
トップパネル１２０に触れる前の指先の位置は、図２及び図３に示すＸＹＺ座標系の座標で表される。
The position of the fingertip before touching the
また、ここでは、タッチパネル１５０の入力面側にトップパネル１２０が配設される形態について説明するが、トップパネル１２０はタッチパネル１５０と一体的であってもよい。この場合、タッチパネル１５０の表面が図２及び図３に示すトップパネル１２０の表面になり、操作面を構築する。また、図２及び図３に示すトップパネル１２０を省いた構成であってもよい。この場合も、タッチパネル１５０の表面が操作面を構築する。
In addition, here, a form in which the
また、タッチパネル１５０が静電容量型の場合は、トップパネル１２０の上にタッチパネル１５０が配設されていてもよい。この場合も、タッチパネル１５０の表面が操作面を構築する。また、タッチパネル１５０が静電容量型の場合は、図２及び図３に示すトップパネル１２０を省いた構成であってもよい。この場合も、タッチパネル１５０の表面が操作面を構築する。
In the case where the
ディスプレイパネル１６０は、例えば、液晶ディスプレイパネル又は有機ＥＬ(Electroluminescence)パネル等の画像を表示できる表示部であればよい。ディスプレイパネル１６０は、筐体１１０の凹部１１０Ａの内部で、図示を省略するホルダ等によって基板１７０の上（Ｚ軸正方向側）に設置される。
The
ディスプレイパネル１６０は、後述するドライバＩＣ(Integrated Circuit)によって駆動制御が行われ、電子機器１００の動作状況に応じて、ＧＵＩ部品、画像、文字、記号、図形等を表示する。
The
基板１７０は、筐体１１０の凹部１１０Ａの内部に配設される。基板１７０の上には、ディスプレイパネル１６０及びタッチパネル１５０が配設される。ディスプレイパネル１６０及びタッチパネル１５０は、図示を省略するホルダ等によって基板１７０及び筐体１１０に固定されている。
The
基板１７０には、後述する駆動制御装置の他に、電子機器１００の駆動に必要な種々の回路等が実装される。
In addition to the drive control device described later, various circuits necessary for driving the
図４は、実施の形態１の入力支援システム３００を示す図である。
FIG. 4 is a diagram illustrating the
入力支援システム３００は、電子機器１００と表示装置２００を含む。
The
表示装置２００は、一例として、液晶のディスプレイパネル２１０を有する、表示装置の一例である。ディスプレイパネル２１０のサイズは、一例として、１００インチである。表示装置２００は、電子機器１００とは独立して設けられる。
The
表示装置２００のディスプレイパネル２１０には、電子機器１００のディスプレイパネル１６０と同一の画像が表示される。
The same image as the
利用者は、ディスプレイパネル２１０を見ながら、手元の電子機器１００のトップパネル１２０に触れた指先でフリック、タップ、又はスワイプ等の操作入力を行うことにより、電子機器１００を操作することができる。
The user can operate the
なお、フリックは、指先をトップパネル１２０の表面に沿って、はじく（スナップする）ように比較的短い距離移動させる操作である。タップは、指先をトップパネル１２０の表面で移動させずに軽く触れる操作である。スワイプは、指先をトップパネル１２０の表面に沿って掃くように比較的長い距離移動させる操作である。
The flick is an operation of moving the fingertip along a surface of the
また、電子機器１００は、トップパネル１２０に触れることなく近づけられた指先の位置をホバリング機能によって検出し、指先の位置をディスプレイパネル１６０に投影した位置に、ポインタを表示する。
In addition, the
ポインタは、トップパネル１２０に触れることなく近づけられた指先の位置を表すものである。電子機器１００は、トップパネル１２０に触れることなく近づけられた指先の位置の座標（Ｘ１，Ｙ１，Ｚ１）を検出することができる。ポインタが表示される位置の座標は（Ｘ１，Ｙ１）である。
The pointer represents the position of the fingertip brought close without touching the
すなわち、ポインタが表示される位置の座標（Ｘ１，Ｙ１）は、指先の位置の座標（Ｘ１，Ｙ１，Ｚ１）をディスプレイパネル１６０に投影した位置である。
That is, the coordinates (X1, Y1) of the position where the pointer is displayed are the positions where the coordinates (X1, Y1, Z1) of the position of the fingertip are projected on the
このようなポインタをディスプレイパネル１６０に表示すると、表示装置２００のディスプレイパネル２１０には、ポインタ２１１が表示される。表示装置２００のディスプレイパネル２１０は、電子機器１００のディスプレイパネル１６０と同一内容の画像を表示する。このため、表示装置２００のディスプレイパネル２１０が表示する画像の中におけるポインタ２１１の位置は、電子機器１００のディスプレイパネル１６０が表示する画像の中におけるポインタの位置と等しい。
When such a pointer is displayed on the
このため、利用者は、電子機器１００のディスプレイパネル１６０を見ずに、表示装置２００のディスプレイパネル２１０を見ながら、手元の電子機器１００のトップパネル１２０に近づけた指先をトップパネル１２０に触れることなく移動させると、指先の位置をポインタ２１１で確認することができる。
For this reason, the user touches the
電子機器１００のディスプレイパネル１６０に表示されるポインタは、指先の陰になって見えにくいが、利用者の眼前にある表示装置２００のディスプレイパネル２１０に表示されるポインタ２１１は、利用者にとって非常に見えやすいものである。
The pointer displayed on the
なお、ディスプレイパネル２１０は、液晶のディスプレイパネルに限らず、有機ＥＬ(Electroluminescence)ディスプレイパネルであってもよく、プラズマディスプレイパネルであってもよい。また、表示装置２００の代わりに、プロジェクター装置から画像が投影されるスクリーンを用いてもよく、電子機器１００とは独立して設けられる、様々な形式の画像表示装置であってよい。
The
また、ここでは、表示装置２００のディスプレイパネル２１０が、電子機器１００のディスプレイパネル１６０と同一内容の画像を表示する形態について説明する。ディスプレイパネル２１０が表示する画像の中におけるポインタ２１１の位置は、電子機器１００のディスプレイパネル１６０が表示する画像の中におけるポインタの位置と等しい。
Here, a mode in which the
しかしながら、ディスプレイパネル２１０が表示する画像は、電子機器１００のディスプレイパネル１６０と完全に同一の画像ではなくてもよい。例えば、ディスプレイパネル１６０が表示する画像の一部をディスプレイパネル２１０に表示してもよい。
However, the image displayed on the
また、ディスプレイパネル１６０が表示する画像に含まれる一部のデータを省いてもよい。例えば、ディスプレイパネル１６０に表示される時刻等のデータを省いてディスプレイパネル２１０に表示してもよい。
Further, some data included in the image displayed on the
また、これとは逆に、ディスプレイパネル１６０が表示する画像に対して、データを追加した画像をディスプレイパネル２１０に表示してもよい。例えば、電子機器１００の利用者の名前（実名）、ハンドルネーム、又はＩＤ(Identification)等を表すデータ追加した画像をディスプレイパネル２１０に表示してもよい。
Conversely, an image obtained by adding data to the image displayed on the
ディスプレイパネル２１０は、ディスプレイパネル１６０に表示されるＧＵＩ部品とポインタとの相対位置関係を保持して、ＧＵＩ部品とポインタ２１１を表示することができるものであればよい。
The
次に、図５を用いて、入力支援システム３００のより詳細なハードウェア構成について説明する。
Next, a more detailed hardware configuration of the
図５は、入力支援システム３００のより詳細なハードウェア構成を示す図である。電子機器１００及び表示装置２００は、入力支援システム３００を構築する。
FIG. 5 is a diagram showing a more detailed hardware configuration of the
電子機器１００は、制御部１４０を含む。図５では電子機器１００の構成要素のうちの制御部１４０以外を省略して示す。制御部１４０は、図３に示す筐体１１０の内部に配設される。
制御部１４０は、第１制御部の一例であり、ＣＰＵ(Central Processing Unit)１４１、ディスプレイインターフェース１４２、タッチパネルインターフェース１４３、無線通信インターフェース１４４、バス１４５、ＲＡＭ(Random Access Memory)１４６、内蔵ストレージ１４７、及び記憶媒体１４８を含む。
The
ＣＰＵ１４１は、電子機器１００の動作に伴う処理を行う演算処理部である。ＣＰＵ１４１は、バス１４５によって、ディスプレイインターフェース１４２、タッチパネルインターフェース１４３、無線通信インターフェース１４４、バス１４５、ＲＡＭ１４６、内蔵ストレージ１４７、及び記憶媒体１４８に接続されている。
The
ＣＰＵ１４１は、アプリケーションプロセッサ１４１Ａを有する。アプリケーションプロセッサ１４１Ａは、オペレーティングシステム（ＯＳ：Operating System)を実行するとともに、電子機器１００の種々のアプリケーションを実行する処理を行う。また、アプリケーションプロセッサ１４１Ａは、ポインタ制御部１４１Ｂを有する。なお、ＣＰＵ１４１は、アプリケーションプロセッサ１４１Ａの他に、ベースバンドプロセッサ及びメモリコントローラ等を含むが、ここでは省略する。
The
ポインタ制御部１４１Ｂは、タッチパネル１５０のホバリング機能による出力に応じて、ディスプレイパネル１６０に表示するポインタの位置を制御する。このようなポインタ制御部１４１Ｂは、例えば、ＯＳの１つの機能として実現される。
The pointer control unit 141B controls the position of the pointer displayed on the
ポインタ制御部１４１Ｂは、トップパネル１２０に触れることなく近づけられた指先の位置を検出し、指先の位置をディスプレイパネル１６０に投影した位置に、ポインタを表示する。
The pointer control unit 141B detects the position of the fingertip that is brought close without touching the
タッチパネル１５０がホバリング機能によって検出する指先の位置の座標（Ｘ１，Ｙ１，Ｚ１）であるときに、ポインタ制御部１４１Ｂは、ディスプレイパネル１６０の座標（Ｘ１，Ｙ１）にポインタを表示する。
When the
利用者の指先がトップパネル１２０に非接触で近接しているときにタッチパネル１５０がホバリング機能によって検出する指先の位置の座標（Ｘ１，Ｙ１，Ｚ１）を表すデータと、利用者の指先がトップパネル１２０に接触しているときにタッチパネル１５０が検出する指先の位置の座標を表すデータとは、静電容量の変化の度合が異なる。
Data representing the coordinates (X1, Y1, Z1) of the position of the fingertip detected by the
このため、例えば、電子機器１００にインストールされるＯＳが静電容量の変化の度合の閾値を用いれば、ホバリング機能によって検出する指先の位置の座標を表すデータと、利用者の指先がトップパネル１２０に接触しているときにタッチパネル１５０が検出する指先の位置の座標を表すデータとを区別することができる。
For this reason, for example, if the OS installed in the
ポインタ制御部１４１Ｂは、タッチパネル１５０がホバリング機能によって検出する指先の位置の座標（Ｘ１，Ｙ１，Ｚ１）を表すデータを用いて、Ｚ座標が所定値以下になったときに、ディスプレイパネル１６０にポインタを表示する。すなわち、ポインタ制御部１４１Ｂによってディスプレイパネル１６０にポインタが表示されるのは、指先がトップパネル１２０にある程度近づいた（Ｚ座標が所定値以下になった）ときである。
The pointer control unit 141B uses the data representing the coordinates (X1, Y1, Z1) of the position of the fingertip detected by the
ここで、トップパネル１２０に触れることなく（非接触で）指先を近づけることは、ディスプレイパネル１６０にポインタを表示するための操作になるため、近接操作と称す。近接操作による指先の位置の座標（Ｘ，Ｙ，Ｚ）は、タッチパネル１５０のホバリング機能によって検出される。
Here, bringing the fingertip close without touching the top panel 120 (without touching) is an operation for displaying a pointer on the
近接操作によってディスプレイパネル１６０に表示されるポインタについては、図６を用いて後述する。
The pointer displayed on the
ディスプレイインターフェース１４２には、図２及び図３に示すディスプレイパネル１６０が接続される。タッチパネルインターフェース１４３には、図２及び図３に示すタッチパネル１５０が接続される。また、無線通信インターフェース１４４には、ＲＦ(Radio Frequency)トランシーバ等の通信系のデバイス等が接続される。
A
ＲＡＭ１４６は、ＣＰＵ１４１のメインメモリである。ＲＡＭ１４６には、例えば、ＣＰＵ１４１が実行するプログラムが展開される。内蔵ストレージ１４７は、電子機器１００の動作に必要なデータ又はプログラムを格納するメモリであり、書き換え可能な記憶媒体である。記憶媒体１４８は、電子機器１００の動作に必要なオペレーティングシステム（ＯＳ）、アプリケーションプログラム、及びデータファイル等を格納するメモリである。
A
表示装置２００は、ディスプレイパネル２１０、ＣＰＵチップ２２１、無線通信インターフェース２２２、及びバス２２３を含む。ＣＰＵチップ２２１は、バス２２３を通じて、ディスプレイパネル２１０と無線通信インターフェース２２２に接続される。
The
このようなハードウェア構成を有する電子機器１００と表示装置２００は、無線通信インターフェース１４４及び２２２を介してデータ通信を行う。なお、ここでは、電子機器１００と表示装置２００が、無線通信インターフェース１４４及び２２２を介してデータ通信を行う形態について説明するが、電子機器１００と表示装置２００は、例えば、ＵＳＢ(Universal Serial Bus)ケーブルを介して接続されることにより、有線でのデータ通信を行う構成であってもよい。
The
ＣＰＵチップ２２１は、無線通信インターフェース２２２を介して電子機器１００から受信する画像データをディスプレイパネル２１０に表示する。これにより、表示装置２００のディスプレイパネル２１０には、電子機器１００のディスプレイパネル１６０と同一の画像が表示される。
The
次に、図６及び図７を用いて、電子機器１００のディスプレイパネル１６０に表示されるポインタ１６１と、表示装置２００のディスプレイパネル２１０に表示されるポインタ２１１について説明する。
Next, the
図６及び図７は、電子機器１００及び表示装置２００の動作を説明する図である。
6 and 7 are diagrams for explaining operations of the
図６には、利用者の指先がトップパネル１２０に非接触で近づいており、平面視でアイコン１８１と１８２の間に位置している状態を示す。このとき、指先がトップパネル１２０にある程度近づく（Ｚ座標が所定値以下になる）と、ポインタ制御部１４１Ｂは、ディスプレイパネル１６０にポインタ１６１を表示する。図６には、ポインタ１６１の大部分が指先に隠れて左端の一部分のみが見えている状態を示す。
FIG. 6 illustrates a state in which the user's fingertip is approaching the
図６に示すように電子機器１００のディスプレイパネル１６０にポインタ１６１が表示されているときに、表示装置２００のディスプレイパネル２１０の表示は、図７に示すようになる。
When the
図７に示すように、表示装置２００のディスプレイパネル２１０には、電子機器１００のディスプレイパネル１６０に表示される画像と同一の画像が表示される。アイコン２８１と２８２は、それぞれ、電子機器１００のディスプレイパネル１６０に表示されるアイコン１８１と１８２と同一である。アイコン１８１と１８２以外のアイコンについても、同一のものが表示される。そして、アイコン２８１と２８２の間には、ポインタ２１１が表示される。ポインタ２１１は、ディスプレイパネル１６０に表示されるポインタ１６１と同一である。
As shown in FIG. 7, the same image as that displayed on the
表示装置２００のディスプレイパネル２１０に表示されるアイコン２８１、２８２、その他のアイコン、及びポインタ２１１の位置関係は、すべて、電子機器１００のディスプレイパネル１６０に表示されるアイコン１８１、１８２、その他のアイコン、及びポインタ１６１の位置関係と同一である。
The positional relationship between the
すなわち、表示装置２００のディスプレイパネル２１０には、電子機器１００のディスプレイパネル１６０に表示されるアイコン１８１、１８２、その他のアイコン、及びポインタ１６１の相対位置関係を保持して、アイコン２８１、２８２、その他のアイコン、及びポインタ２１１が表示される。
That is, the
従って、図４に示すように電子機器１００を手に持っている利用者が、指先をトップパネル１２０に接触させずに近づけると、ポインタ制御部１４１Ｂがディスプレイパネル１６０にポインタ１６１を表示し、表示装置２００がディスプレイパネル２１０にポインタ２１１を表示する。
Therefore, when the user holding the
このため、利用者が、電子機器１００のディスプレイパネル１６０を見ずに、表示装置２００のディスプレイパネル２１０を見ながら、手元の電子機器１００のトップパネル１２０に指先を近づけると、利用者は、トップパネル１２０に接触していない指先の位置をディスプレイパネル２１０に表示されるポインタ２１１の位置で認識することができる。
For this reason, when the user brings his fingertip close to the
そして、利用者がトップパネル１２０に指先を接触させて操作入力を行うと、アプリケーションプロセッサ１４１Ａがタッチパネル１５０によって検出される操作入力の位置の座標に基づいて、操作入力（タッチ）によって指定されたアプリケーションを実行する。例えば、ゲームのアイコンがタッチされた場合は、ゲームのアプリケーションが実行される。
When the user makes an operation input by bringing the fingertip into contact with the
次に、図８を用いて、アプリケーションプロセッサ１４１Ａによって実行される処理について説明する。
Next, processing executed by the
図８は、アプリケーションプロセッサ１４１Ａが実行する処理を示すフローチャートである。
FIG. 8 is a flowchart showing processing executed by the
アプリケーションプロセッサ１４１Ａは、無線通信インターフェース１４４を介して、表示装置２００と無線通信で接続する（ステップＳ１）。
The
アプリケーションプロセッサ１４１Ａは、ディスプレイパネル１６０に表示している画像のデータを表示装置２００に送信する（ステップＳ２）。
The
アプリケーションプロセッサ１４１Ａは、近接操作による指先の位置の座標（Ｘ，Ｙ，Ｚ）を表すデータがタッチパネル１５０から入力されたかどうかを判定する（ステップＳ３）。利用者の指先がトップパネル１２０に近づいているかどうかを判定するためである。ステップＳ３の処理は、アプリケーションプロセッサ１４１Ａの中のポインタ制御部１４１Ｂによって実行される。
The
アプリケーションプロセッサ１４１Ａは、近接操作による座標（Ｘ，Ｙ，Ｚ）のデータがタッチパネル１５０から入力された（Ｓ３：ＹＥＳ）と判定すると、Ｚ座標が所定値以下であるかどうかを判定する（ステップＳ４）。所定値は、例えば、５ｍｍである。ステップＳ４の処理は、アプリケーションプロセッサ１４１Ａの中のポインタ制御部１４１Ｂによって実行される。
If the
アプリケーションプロセッサ１４１Ａは、Ｚ座標が所定値以下である（Ｓ４：ＹＥＳ）と判定すると、ディスプレイパネル１６０にポインタ１６１を表示する（ステップＳ５）。なお、既にポインタ１６１をディスプレイパネル１６０に表示している場合は、アプリケーションプロセッサ１４１Ａは、ステップＳ５において、ポインタ１６１をディスプレイパネル１６０に表示している状態を保持する。ステップＳ５の処理は、アプリケーションプロセッサ１４１Ａの中のポインタ制御部１４１Ｂによって実行される。
If the
アプリケーションプロセッサ１４１Ａは、タッチパネル１５０の出力に基づき、操作入力（タッチ）が行われているかどうかを判定する（ステップＳ６）。アプリケーションプロセッサ１４１Ａは、タッチパネル１５０の出力が、利用者の指先がトップパネル１２０に接触しているときにタッチパネル１５０が検出する指先の位置の座標を表すデータであるかどうかを判定することによってステップＳ６の判定を行う。
The
アプリケーションプロセッサ１４１Ａは、操作入力（タッチ）が行われている（Ｓ６：ＹＥＳ）と判定すると、操作入力（タッチ）が行われた位置の座標に基づいて、所定の処理を行い、ディスプレイパネル１６０に表示する画像を更新する（ステップＳ７）。
If the
所定の処理は、例えば、アプリケーションの実行、又は、実行中のアプリケーションにおける操作入力（タッチ）に対応する処理（ＧＵＩ部品の表示又は移動等）である。 The predetermined process is, for example, a process (such as display or movement of a GUI component) corresponding to an execution of an application or an operation input (touch) in the application being executed.
アプリケーションプロセッサ１４１Ａは、すべての処理が終了したかどうかを判定する（ステップＳ８）。
The
すべての処理が終了したかどうかは、例えば、電源ボタンの操作によって、あるいは、近接操作及び操作入力が所定時間以上行われないことによって、電子機器１００がスリープモードになるかどうかで判定すればよい。また、電源ボタンの長押しによって電子機器１００の電源がオフにされた場合にも、すべての処理が終了したと判定してよい。
Whether or not all the processes have been completed may be determined, for example, by whether or not the
アプリケーションプロセッサ１４１Ａは、すべての処理が終了した（Ｓ８：ＹＥＳ）と判定すると、表示装置２００との無線通信を切断する（ステップＳ９）。
If the
アプリケーションプロセッサ１４１Ａは、ステップＳ９の処理を終えると、一連の処理を終了する（エンド）。
After finishing the process of step S9, the
なお、アプリケーションプロセッサ１４１Ａは、ステップＳ３において、近接操作による座標（Ｘ，Ｙ，Ｚ）のデータがタッチパネル１５０から入力されていない（Ｓ３：ＮＯ）と判定すると、フローをステップＳ２にリターンする。ディスプレイパネル１６０に表示している画像のデータを表示装置２００に送信するためである。
If the
また、アプリケーションプロセッサ１４１Ａは、ステップＳ４において、Ｚ座標が所定値以下ではない（Ｓ４：ＮＯ）と判定すると、ディスプレイパネル１６０にポインタ１６１を表示しているかどうかを判定する（ステップＳ１０）。ポインタ１６１を表示している場合にＺ座標が所定値以下ではないときには、ポインタ１６１を非表示にするためである。ステップＳ１０の処理は、アプリケーションプロセッサ１４１Ａの中のポインタ制御部１４１Ｂによって実行される。
If the
アプリケーションプロセッサ１４１Ａは、ポインタ１６１を表示している（Ｓ１０：ＹＥＳ）と判定すると、ポインタ１６１を非表示にする（ステップＳ１１）。Ｚ座標が所定値よりも大きい位置に指先が遠ざかったので、ポインタ１６１を非表示にする。ステップＳ１１の処理は、アプリケーションプロセッサ１４１Ａの中のポインタ制御部１４１Ｂによって実行される。
If the
アプリケーションプロセッサ１４１Ａは、ステップＳ１１の処理を終えると、フローをステップＳ２にリターンする。ディスプレイパネル１６０に表示している画像のデータを表示装置２００に送信するためである。
After finishing the process of step S11, the
また、アプリケーションプロセッサ１４１Ａは、ディスプレイパネル１６０にポインタ１６１を表示していない（Ｓ１０：ＮＯ）と判定すると、フローをステップＳ２にリターンする。
If the
アプリケーションプロセッサ１４１Ａは、ステップＳ６において、操作入力（タッチ）が行われていない（Ｓ６：ＮＯ）と判定すると、フローをステップＳ２にリターンする。ディスプレイパネル１６０に表示している画像のデータを表示装置２００に送信するためである。
If the
アプリケーションプロセッサ１４１Ａは、ステップＳ８において、すべての処理が終了していない（Ｓ８：ＮＯ）と判定すると、フローをステップＳ２にリターンする。ディスプレイパネル１６０に表示している画像のデータを表示装置２００に送信するためである。
If the
以上、実施の形態１によれば、利用者が指先をトップパネル１２０に接触させずに近づけると、ディスプレイパネル１６０にポインタ１６１が表示され、表示装置２００のディスプレイパネル２１０にポインタ２１１が表示される。ディスプレイパネル２１０の表示内容は、ディスプレイパネル１６０の表示内容と同一であり、ポインタ２１１は、ディスプレイパネル１６０のポインタ１６１をディスプレイパネル２１０に表示したものである。
As described above, according to the first embodiment, when the user brings the fingertip close to the
ポインタ１６１は、手の陰になるため利用者にとって見えにくいが、利用者の眼前に配置される表示装置２００のディスプレイパネル２１０に表示されるポインタ２１１は、利用者にとっては非常に見えやすいものである。
Although the
このため、利用者が手元の電子機器１００に操作入力を行う前に、トップパネル１２０に指先を接触させずに近づけているときに、指先の位置をポインタ２１１で容易かつ正確に認識することができる。
For this reason, the user can easily and accurately recognize the position of the fingertip with the
従って、実施の形態１によれば、操作性の良好な入力支援システム３００、及び、電子機器１００を提供することができる。
Therefore, according to the first embodiment, it is possible to provide the
例えば、電子機器１００でゲームのアプリケーションを実行する場合に入力支援システム３００を利用すれば、電子機器１００を入力装置として利用し、非接触の状態でトップパネル１２０に近づけた指先の位置を表示装置２００で認識できるので、非常に新しい感覚でゲームを楽しむことができる。
For example, if the
また、ゲーム以外の用途で電子機器１００を利用するときでも、操作入力（タッチ）を行う前に、指先の位置を把握できるので、ミスタッチを抑制することができ、より簡単かつ確実な操作入力（タッチ）が可能になる。
Even when the
なお、以上では、表示装置２００のディスプレイパネル２１０が非常に大きい形態について説明したが、ディスプレイパネル２１０の大きさは、電子機器１００のディスプレイパネル１６０と等しくてもよく、どのようなサイズであってもよい。
In the above, the
また、以上では、電子機器１００と表示装置２００を無線通信で接続する形態について説明したが、電子機器１００と表示装置２００を有線通信で接続してもよい。
In the above description, the
また、以上では、入力支援システム３００が電子機器１００と表示装置２００を含む形態について説明した。表示装置２００は、一例として、１００インチのディスプレイパネル２１０を含む大画面モニタである。
In the above description, the
しかしながら、表示装置２００の代わりに、利用者が頭部に装着するヘッドマウントディスプレイを用いてもよい。
However, instead of the
図９は、ヘッドマウントディスプレイ１０を示す図である。ヘッドマウントディスプレイ１０は、フレーム１１及びディスプレイパネル１２を有する。ヘッドマウントディスプレイ１０を装着している利用者は、頭部にフレーム１１を装着し、眼前に配置されるディスプレイパネル１２を見る。
FIG. 9 is a diagram showing the head mounted
ディスプレイパネル１２には、利用者の手元にある電子機器１００のディスプレイパネル１６０に表示される画像と同一の画像が表示される。ヘッドマウントディスプレイ１０を装着した状態では、利用者は、手元の電子機器１００のディスプレイパネル１６０を見ることはできず、電子機器１００に対して近接操作又を行いながら、ディスプレイパネル１２に表示されるポインタを見て、操作入力を行う。
On the
利用者が手元の電子機器１００に操作入力を行う前に、トップパネル１２０に指先を接触させずに近づけているときに、指先の位置をディスプレイパネル１２に表示されるポインタで容易かつ正確に認識することができる。
The user can easily and accurately recognize the position of the fingertip with the pointer displayed on the
従って、実施の形態１の変形例によれば、表示装置２００の代わりに、利用者が頭部に装着するヘッドマウントディスプレイを用いることにより、操作性の良好な入力支援システム、及び、電子機器１００を提供することができる。
Therefore, according to the modification of the first embodiment, by using a head-mounted display that a user wears on the head instead of the
＜実施の形態２＞
図１０は、実施の形態２の入力支援システム３００Ａを示す図である。入力支援システム３００Ａは、電子機器１００Ａ、１００Ｂ、１００Ｃと、表示装置２００とを含む。なお、図１０では、電子機器１００Ａ、１００Ｂ、１００Ｃと、表示装置２００とのブロック図で示す。
<Embodiment 2>
FIG. 10 is a diagram illustrating an
電子機器１００Ａは、実施の形態１の電子機器１００と基本的に同様であるが、電子機器１００Ｂ、１００Ｃを従属化させるための機能が追加されている。
The
電子機器１００Ｂ、１００Ｃは、電子機器１００Ａと同様の電子機器であるが、ここでは、電子機器１００Ｂ、１００Ｃは電子機器１００Ａに従属し、サブの電子機器として利用される。
The
電子機器１００Ａは、実施の形態１の電子機器１００と同様に、表示装置２００と無線通信で接続される。また、電子機器１００Ａは、電子機器１００Ｂ、１００Ｃとも無線通信で接続される。電子機器１００Ａの無線通信インターフェース１４４と、電子機器１００Ｂ、１００Ｃの無線通信インターフェース１４４とを無線通信で接続することにより、電子機器１００Ａと、電子機器１００Ｂ、１００Ｃとが無線通信で接続される。
電子機器１００Ａは、電子機器１００Ａのディスプレイパネル１６０に表示される画像を電子機器１００Ｂ、１００Ｃに送信する。電子機器１００Ｂ、１００Ｃのディスプレイパネル１６０には、電子機器１００Ａのディスプレイパネル１６０に表示される画像と同一の画像が表示される。
The
電子機器１００Ｂ、１００Ｃのタッチパネル１５０がホバリング機能によって検出する指先の位置の座標を表すデータは、電子機器１００Ａに送信される。電子機器１００Ａのアプリケーションプロセッサ１４１Ａは、電子機器１００Ｂ、１００Ｃに行われる近接操作の指先の位置の座標を表すデータのＺ座標が所定値以下であれば、電子機器１００Ａのディスプレイパネル１６０に、電子機器１００Ｂ、１００Ｃのポインタを表示する。
Data representing the coordinates of the fingertip position detected by the
また、電子機器１００Ａは、電子機器１００Ｂ、１００Ｃのポインタを含む画像のデータを電子機器１００Ｂ、１００Ｃに送信する。この結果、電子機器１００Ｂ、１００Ｃのディスプレイパネル１６０に、電子機器１００Ｂ、１００Ｃに対して行われる近接操作による指先の位置に対応するポインタが表示される。
Also, the
ここで、例えば、電子機器１００Ｂに対して近接操作が行われて、電子機器１００Ｃに対して近接操作が行われていない場合には、電子機器１００Ｂに行われている近接操作による指先の位置を表すデータが電子機器１００Ａに送信される。
Here, for example, when the proximity operation is performed on the
そして、電子機器１００Ａは、電子機器１００Ｂに行われている近接操作の位置のＺ座標が所定値以下であれば、電子機器１００Ａのディスプレイパネル１６０に、電子機器１００Ｂに行われている近接操作の位置を表すポインタを表示する。
Then, if the Z coordinate of the position of the proximity operation performed on the
また、電子機器１００Ａは、自己のディスプレイパネル１６０に表示されている画像のデータを電子機器１００Ｂ、１００Ｃに送信する。この結果、電子機器１００Ｂ、１００Ｃのディスプレイパネル１６０にも、電子機器１００Ｂに行われている近接操作の位置を表すポインタが表示される。
Also, the
また、電子機器１００Ｃに対して近接操作が行われて、電子機器１００Ｂに対して近接操作が行われていない場合においても、同様の処理が行われ、電子機器１００Ａ、１００Ｂ、１００Ｃのディスプレイパネル１６０に、電子機器１００Ｃに行われている近接操作の位置を表すポインタが表示される。
Further, when the proximity operation is performed on the electronic device 100C and the proximity operation is not performed on the
なお、電子機器１００Ａについては、トップパネル１２０は第１トップパネルの一例であり、タッチパネル１５０は第１位置検出部の一例であり、ディスプレイパネル１６０は第１表示部の一例である。電子機器１００Ａの利用者は、第１利用者の一例である。
For
電子機器１００Ｂについては、トップパネル１２０は第２トップパネルの一例であり、タッチパネル１５０は第２位置検出部の一例であり、ディスプレイパネル１６０は第２表示部の一例である。電子機器１００Ｂの利用者は、第２利用者の一例である。
Regarding the
電子機器１００Ｃについては、トップパネル１２０は第２トップパネルの一例であり、タッチパネル１５０は第２位置検出部の一例であり、ディスプレイパネル１６０は第２表示部の一例である。電子機器１００Ｃの利用者は、第２利用者の一例である。
Regarding the electronic device 100C, the
図１１は、実施の形態２の電子機器１００ＡのＲＡＭ１４６が保持するデータの一部を示す図である。
FIG. 11 is a diagram illustrating a part of data stored in the
図１１に示すデータは、電子機器１００Ｂ、１００Ｃの近接操作の指先の位置の座標を表すデータであり、電子機器１００ＡのＲＡＭ１４６が保持するデータである。
The data shown in FIG. 11 is data representing the coordinates of the position of the fingertip of the proximity operation of the
ＩＤ(Identification)は、電子機器１００Ａが電子機器１００Ｂ、１００Ｃに割り当てる識別子である。電子機器１００Ａは、従属化する電子機器１００Ｂ、１００ＣにＩＤを割り当てる。ここでは、一例として、電子機器１００Ｂ、１００ＣのＩＤは、それぞれ、０、１である。電子機器１００Ａは、従属化するサブの電子機器がｎ（ｎは１以上の任意の自然数）台ある場合は、ＩＤを０から順番に割り当てる。サブの電子機器がｎ台ある場合のＩＤの値ｉは、ｉ＝０〜ｎ−１である。
ID (Identification) is an identifier that the
また、電子機器１００Ａは、電子機器１００Ｂ、１００Ｃの近接操作の位置の座標を表すデータをＩＤと関連付けて保持する。ここでは、一例として、電子機器１００Ｂ、１００Ｃの近接操作の位置の座標は、それぞれ、（Ｘ２，Ｙ２，Ｚ２）、（Ｘ３，Ｙ３，Ｚ３）である。
Also, the
電子機器１００Ａは、電子機器１００Ｂ、１００Ｃの近接操作の位置の座標を表すデータを電子機器１００Ｂ、１００Ｃから受信する度に更新する。電子機器１００Ｂ、１００Ｃの近接操作の位置の座標のうちのＺ座標が所定値以下であれば、電子機器１００Ａのディスプレイパネル１６０にポインタを表示し、自己のディスプレイパネル１６０に表示する画像のデータを電子機器１００Ｂ、１００Ｃに送信する。
The
図１２は、電子機器１００Ａ、１００Ｂ、１００Ｃの近接操作によるポインタ１６１Ａ、１６１Ｂ、１６１Ｃを示す図である。図１３は、表示装置２００のディスプレイパネル２１０に表示されるポインタ２１１Ａ、２１１Ｂ、２１１Ｃを示す図である。
FIG. 12 is a
図１２及び図１３には、電子機器１００Ａ、１００Ｂ、１００Ｃを利用する３人の利用者が、自分の操作するキャラクタを風景のどこに設置しようか近接操作で検討している状態の画像を示す。
FIGS. 12 and 13 show images in a state where three users who use the
図１２に示すように、例えば、ゲームのアプリケーションを実行しているときに、ポインタ１６１Ａ、１６１Ｂ、１６１Ｃを表示すれば、電子機器１００Ａ、１００Ｂ、１００Ｃをそれぞれ利用する３人の利用者は、お互いに近接操作でどの辺りに操作入力（タッチ）を行おうとしているのかが分かる。このため、電子機器１００Ａ、１００Ｂ、１００Ｃの利用価値が飛躍的に高まる。
As shown in FIG. 12, for example, when the
次に、図１４を用いて、電子機器１００Ｂのアプリケーションプロセッサ１４１Ａによって実行される処理について説明する。電子機器１００Ｂのアプリケーションプロセッサ１４１Ａと、電子機器１００Ｃのアプリケーションプロセッサ１４１Ａとは同一の処理を実行するため、ここでは、電子機器１００Ｂのアプリケーションプロセッサ１４１Ａが実行する処理について説明する。
Next, processing executed by the
図１４は、電子機器１００Ｂのアプリケーションプロセッサ１４１Ａが実行する処理を示すフローチャートである。
FIG. 14 is a flowchart illustrating processing executed by the
アプリケーションプロセッサ１４１Ａは、無線通信インターフェース１４４を介して、電子機器１００Ａと無線で接続する（ステップＳ２１）。
The
アプリケーションプロセッサ１４１Ａは、電子機器１００Ａから、電子機器１００Ａのディスプレイパネル１６０に表示している画像のデータを受信し、自己のディスプレイパネル１６０に表示する（ステップＳ２２）。
The
アプリケーションプロセッサ１４１Ａは、タッチパネル１５０がホバリング機能によって検出する指先の位置の座標（Ｘ２，Ｙ２，Ｚ２）を表すデータがタッチパネル１５０から入力されたかどうかを判定する（ステップＳ２３）。利用者が近接操作を行っているかどうかを判定するためである。ステップＳ２３の処理は、アプリケーションプロセッサ１４１Ａの中のポインタ制御部１４１Ｂによって実行される。
The
アプリケーションプロセッサ１４１Ａは、近接操作による指先の位置の座標（Ｘ２，Ｙ２，Ｚ２）のデータがタッチパネル１５０から入力された（Ｓ２３：ＹＥＳ）と判定すると、座標（Ｘ２，Ｙ２，Ｚ２）を表すデータを電子機器１００Ａに送信する（ステップＳ２４）。
If the
アプリケーションプロセッサ１４１Ａは、無線通信が切断されたかどうかを判定する（ステップＳ２５）。
The
アプリケーションプロセッサ１４１Ａは、無線通信が切断された（Ｓ２５：ＹＥＳ）と判定すると、一連のフローを終了する（エンド）。
If the
アプリケーションプロセッサ１４１Ａは、無線通信が切断されてない（Ｓ２５：ＮＯ）と判定すると、フローをステップＳ２２にリターンする。電子機器１００Ａのディスプレイパネル１６０に表示している画像のデータを自己のディスプレイパネル１６０に表示するためである。
If the
また、アプリケーションプロセッサ１４１Ａは、ステップＳ２３において、座標（Ｘ２，Ｙ２，Ｚ２）のデータがタッチパネル１５０から入力されていない（Ｓ２３：ＮＯ）と判定すると、フローをステップＳ２２にリターンする。電子機器１００Ａのディスプレイパネル１６０に表示している画像のデータを自己のディスプレイパネル１６０に表示するためである。
If the
以上のような処理により、電子機器１００Ｂのアプリケーションプロセッサ１４１Ａは、近接操作による指先の位置の座標（Ｘ２，Ｙ２，Ｚ２）のデータを取得し、電子機器１００Ａに送信する。
Through the processing as described above, the
次に、図１５を用いて、電子機器１００Ａのアプリケーションプロセッサ１４１Ａによって実行される処理について説明する。
Next, processing executed by the
図１５は、電子機器１００Ａのアプリケーションプロセッサ１４１Ａが実行する処理を示すフローチャートである。
FIG. 15 is a flowchart illustrating processing executed by the
アプリケーションプロセッサ１４１Ａは、無線通信インターフェース１４４を介して、表示装置２００と無線通信で接続する（ステップＳ３１）。
The
アプリケーションプロセッサ１４１Ａは、無線通信インターフェース１４４を介して、サブの電子機器と無線通信で接続する（ステップＳ３２）。ここでは、電子機器１００Ｂ、１００Ｃと接続されたこととする。なお、サブの電子機器の数は、幾つであってもよい。
The
アプリケーションプロセッサ１４１Ａは、サブの電子機器にＩＤを割り当て、サブの電子機器にＩＤを表すデータを送信する（ステップＳ３３）。ここでは、電子機器１００Ｂ、１００Ｃに、ＩＤとして００１、００２をそれぞれ割り当てて、ＩＤを表すデータを電子機器１００Ｂ、１００Ｃに送信したこととする。
The
なお、電子機器１００Ｂ、１００ＣにＩＤを割り当てる前に無線通信を行う段階では、電子機器１００Ｂ、１００Ｃの固有の識別子を利用して、電子機器１００Ｂと１００Ｃの違いを認識することができる。電子機器１００Ｂ、１００Ｃに割り当てるＩＤと、電子機器１００Ｂ、１００Ｃの固有の識別子とを関連付けたデータを、電子機器１００Ａの内部メモリに補間しておけばよい。
Note that, in the stage of performing wireless communication before assigning IDs to the
アプリケーションプロセッサ１４１Ａは、ディスプレイパネル１６０に表示している画像のデータを表示装置２００と電子機器１００Ｂ、１００Ｃに送信する（ステップＳ３４）。
The
アプリケーションプロセッサ１４１Ａは、タッチパネル１５０がホバリング機能によって検出する指先の位置の座標（Ｘ，Ｙ，Ｚ）を表すデータがタッチパネル１５０から入力されたかどうかを判定する（ステップＳ３５）。利用者の指先がトップパネル１２０に近づいているかどうかを判定するためである。ステップＳ３５の処理は、アプリケーションプロセッサ１４１Ａの中のポインタ制御部１４１Ｂによって実行される。
The
アプリケーションプロセッサ１４１Ａは、ホバリング機能による座標（Ｘ，Ｙ，Ｚ）のデータがタッチパネル１５０から入力された（Ｓ３５：ＹＥＳ）と判定すると、Ｚ座標が所定値以下であるかどうかを判定する（ステップＳ３６）。所定値は、例えば、５ｍｍである。ステップＳ４の処理は、アプリケーションプロセッサ１４１Ａの中のポインタ制御部１４１Ｂによって実行される。
If the
アプリケーションプロセッサ１４１Ａは、Ｚ座標が所定値以下である（Ｓ３６：ＹＥＳ）と判定すると、ディスプレイパネル１６０にポインタ１６１Ａを表示する（ステップＳ３７）。なお、既にポインタ１６１Ａをディスプレイパネル１６０に表示している場合は、アプリケーションプロセッサ１４１Ａは、ステップＳ３７において、ポインタ１６１Ａをディスプレイパネル１６０に表示している状態を保持する。ステップＳ３７の処理は、アプリケーションプロセッサ１４１Ａの中のポインタ制御部１４１Ｂによって実行される。
If the
アプリケーションプロセッサ１４１Ａは、タッチパネル１５０の出力に基づき、操作入力（タッチ）が行われているかどうかを判定する（ステップＳ３８）。アプリケーションプロセッサ１４１Ａは、タッチパネル１５０の出力が、利用者の指先がトップパネル１２０に接触しているときにタッチパネル１５０が検出する指先の位置の座標を表すデータであるかどうかを判定することによってステップＳ３８の判定を行う。
The
アプリケーションプロセッサ１４１Ａは、操作入力（タッチ）が行われている（Ｓ３８：ＹＥＳ）と判定すると、操作入力（タッチ）が行われた位置の座標に基づいて、所定の処理を行い、ディスプレイパネル１６０に表示する画像を更新する（ステップＳ３９）。
If the
所定の処理は、例えば、アプリケーションの実行、又は、実行中のアプリケーションにおける操作入力（タッチ）に対応する処理（ＧＵＩ部品の表示又は移動等）である。 The predetermined process is, for example, a process (such as display or movement of a GUI component) corresponding to an execution of an application or an operation input (touch) in the application being executed.
なお、アプリケーションプロセッサ１４１Ａは、ステップＳ３５において、近接操作による座標（Ｘ，Ｙ，Ｚ）のデータがタッチパネル１５０から入力されていない（Ｓ３５：ＮＯ）と判定すると、フローをステップＳ４０に進行させる。
If the
また、アプリケーションプロセッサ１４１Ａは、ステップＳ３６において、Ｚ座標が所定値以下ではない（Ｓ３６：ＮＯ）と判定した場合と、ステップＳ３８において、操作入力（タッチ）が行われていない（Ｓ３８：ＹＥＳ）と判定した場合にも、フローをステップＳ４０に進行させる。
The
これらの場合に、フローをステップＳ４０に進行させるのは、サブの電子機器１００Ｂ、１００Ｃから受信する近接操作の位置の座標に基づいて、ポインタ１６１Ｂ、１６１Ｃを表示するための処理を行うためである。
In these cases, the flow proceeds to step S40 in order to perform processing for displaying the pointers 161B and 161C based on the coordinates of the position of the proximity operation received from the sub
アプリケーションプロセッサ１４１Ａは、近接操作の座標のデータを受信する電子機器のＩＤの値ｉを０に設定する（ステップＳ４０）。ＩＤが０のサブの電子機器から順番に近接操作の座標のデータを受信するためである。
The
アプリケーションプロセッサ１４１Ａは、ＩＤがｉのサブの電子機器から、近接操作の指先の座標（Ｘ，Ｙ，Ｚ）を表すデータを受信したかどうかを判定する（ステップＳ４１）。
The
利用者の指先がトップパネル１２０に近づいているかどうかを判定するためである。ステップＳ４１の処理は、アプリケーションプロセッサ１４１Ａの中のポインタ制御部１４１Ｂによって実行される。
This is to determine whether the user's fingertip is approaching the
アプリケーションプロセッサ１４１Ａは、近接操作の指先の座標（Ｘ，Ｙ，Ｚ）を表すデータを受信した（Ｓ４１：ＹＥＳ）と判定すると、Ｚ座標の値が所定値以下であるかどうかを判定する（ステップＳ４２）。ここでは、所定値は、一例として、５ｍｍである。ステップＳ４１の処理は、アプリケーションプロセッサ１４１Ａの中のポインタ制御部１４１Ｂによって実行される。
If the
アプリケーションプロセッサ１４１Ａは、Ｚ座標が所定値以下である（Ｓ４２：ＹＥＳ）と判定すると、ディスプレイパネル１６０にＩＤがｉのサブの電子機器のポインタを表示する（ステップＳ４３）。
If the
なお、例えば、既に電子機器１００Ｂのポインタ１６１Ｂをディスプレイパネル１６０に表示している場合に、ステップＳ４３でポインタ１６１Ｂを表示すると判定した場合は、アプリケーションプロセッサ１４１Ａは、ポインタ１６１Ｂをディスプレイパネル１６０に表示している状態を保持する。ステップＳ４３の処理は、アプリケーションプロセッサ１４１Ａの中のポインタ制御部１４１Ｂによって実行される。
For example, when the pointer 161B of the
アプリケーションプロセッサ１４１Ａは、ＩＤがｉのサブの電子機器のタッチパネル１５０の出力に基づき、操作入力（タッチ）が行われているかどうかを判定する（ステップＳ４４）。アプリケーションプロセッサ１４１Ａは、ＩＤがｉのサブの電子機器のタッチパネル１５０の出力が、利用者の指先がトップパネル１２０に接触しているときにタッチパネル１５０が検出する指先の位置の座標を表すデータであるかどうかを判定することによってステップＳ４４の判定を行う。
The
アプリケーションプロセッサ１４１Ａは、操作入力（タッチ）が行われている（Ｓ４４：ＹＥＳ）と判定すると、操作入力（タッチ）が行われた位置の座標に基づいて、所定の処理を行い、ディスプレイパネル１６０に表示する画像を更新する（ステップＳ４５）。
If the
所定の処理は、例えば、ＩＤがｉのサブの電子機器１００Ｂの操作に基づくアプリケーションの実行、又は、実行中のアプリケーションにおける操作入力（タッチ）に対応する処理（ＧＵＩ部品の表示又は移動等）である。
The predetermined process is, for example, a process (such as display or movement of a GUI component) corresponding to an execution of an application based on an operation of the sub
アプリケーションプロセッサ１４１Ａは、ＩＤの値ｉをインクリメントする（ｉ＝ｉ＋１）（ステップＳ４６）。次のＩＤのサブの電子機器について処理を行うためである。
The
アプリケーションプロセッサ１４１Ａは、ＩＤの値ｉがｎに到達したかどうかを判定する（ステップＳ４７）。すべてのサブの電子機器について処理を行ったかどうかを判定するためである。
The
アプリケーションプロセッサ１４１Ａは、ＩＤの値ｉがｎに到達した（Ｓ４７：ＹＥＳ）と判定すると、すべての処理が終了したかどうかを判定する（ステップＳ４８）。
When the
アプリケーションプロセッサ１４１Ａは、すべての処理が終了した（Ｓ４８：ＹＥＳ）と判定すると、サブの電子機器との無線通信を切断する（ステップＳ４９）。
If the
次いで、アプリケーションプロセッサ１４１Ａは、表示装置２００との無線通信を切断する（ステップＳ５０）。
Next, the
アプリケーションプロセッサ１４１Ａは、ステップＳ５０の処理を終えると、一連の処理を終了する（エンド）。
After finishing the process of step S50, the
なお、アプリケーションプロセッサ１４１Ａは、ステップＳ４１において、近接操作による座標（Ｘ，Ｙ，Ｚ）のデータをＩＤがｉのサブの電子機器から受信していない（Ｓ４１：ＮＯ）と判定すると、フローをステップＳ４６に進行させる。
If the
また、アプリケーションプロセッサ１４１Ａは、ステップＳ４２において、Ｚ座標が所定値以下ではない（Ｓ４２：ＮＯ）と判定した場合と、ステップＳ４４において、操作入力（タッチ）が行われていない（Ｓ４４：ＹＥＳ）と判定した場合にも、フローをステップＳ４６に進行させる。
The
これらの場合に、フローをステップＳ４６に進行させるのは、サブの電子機器から受信する近接操作の位置の座標に基づいて、ポインタを表示するための処理を行うためである。 In these cases, the flow proceeds to step S46 in order to perform processing for displaying the pointer based on the coordinates of the position of the proximity operation received from the sub electronic device.
また、アプリケーションプロセッサ１４１Ａは、ＩＤの値ｉがｎに到達していない（Ｓ４７：ＮＯ）と判定すると、フローをステップＳ４１にリターンする。ステップＳ４６でインクリメントしたＩＤの値ｉを有するサブの電子機器について、ステップＳ４２〜Ｓ４５の処理を実行するためである。
If the
以上の処理を実行することにより、電子機器１００Ａのアプリケーションプロセッサ１４１Ａが電子機器１００Ａ、１００Ｂ、１００Ｃに行われる近接操作に基づいてポインタ１６１Ａ、１６１Ｂ、１６１Ｃを表示する処理を行うことにより、図１２に示すようにポインタ１６１Ａ、１６１Ｂ、１６１Ｃが表示される。また、表示装置２００には、図１３に示すように、ポインタ２１１Ａ、２１１Ｂ、２１１Ｃが表示される。
By executing the above processing, the
そして、電子機器１００Ａ、１００Ｂ、１００Ｃに操作入力が行われると、入力内容に応じて、アプリケーションの実行、又は、実行中のアプリケーションにおける操作入力（タッチ）に対応する処理（ＧＵＩ部品の表示又は移動等）が行われる。
When an operation input is performed on the
例えば、３人の利用者が電子機器１００Ａ、１００Ｂ、１００Ｃを用いてゲーム等を行えば、お互いの近接操作による指先の位置をポインタ１６１Ａ、１６１Ｂ、１６１Ｃで知ることができる。また、お互いの操作入力がどこで行われるかをポインタ１６１Ａ、１６１Ｂ、１６１Ｃで予想することができる。
For example, if three users play a game or the like using the
以上、実施の形態２によれば、複数の利用者がそれぞれの電子機器１００Ａ、１００Ｂ、１００Ｃに近接操作を行うと、ディスプレイパネル１６０にポインタ１６１Ａ、１６１Ｂ、１６１Ｃが表示され、表示装置２００のディスプレイパネル２１０にポインタ２１１Ａ、２１１Ｂ、２１１Ｃが表示される。
As described above, according to the second embodiment, when a plurality of users perform proximity operations on the respective
ディスプレイパネル２１０の表示内容は、電子機器１００Ａ、１００Ｂ、１００Ｃの各々のディスプレイパネル１６０の表示内容と同一であり、ポインタ２１１Ａ、２１１Ｂ、２１１Ｃは、ディスプレイパネル１６０のポインタ１６１Ａ、１６１Ｂ、１６１Ｃをディスプレイパネル２１０に表示したものである。
The display content of the
ポインタ１６１Ａ、１６１Ｂ、１６１Ｃは、それぞれ、手の陰になるため３人の利用者にとって見えにくいが、利用者の眼前に配置される表示装置２００のディスプレイパネル２１０に表示されるポインタ２１１Ａ、２１１Ｂ、２１１Ｃは、利用者にとっては非常に見えやすいものである。
The
このため、３人の利用者がそれぞれ手元の電子機器１００Ａ、１００Ｂ、１００Ｃに操作入力を行う前に、トップパネル１２０に指先を接触させずに近づけているときに、指先の位置をポインタ２１１Ａ、２１１Ｂ、２１１Ｃで容易かつ正確に認識することができる。
For this reason, when the three users approach the
従って、実施の形態２によれば、操作性の良好な入力支援システム３００Ａ、及び、電子機器１００Ａ、１００Ｂ、１００Ｃを提供することができる。
Therefore, according to the second embodiment, it is possible to provide the
例えば、電子機器１００Ａ、１００Ｂ、１００Ｃでゲームのアプリケーションを実行する場合に入力支援システム３００Ａを利用すれば、電子機器１００Ａ、１００Ｂ、１００Ｃを入力装置として利用し、非接触の状態でトップパネル１２０に近づけた指先の位置を表示装置２００で認識できるので、非常に新しい感覚でゲームを楽しむことができる。
For example, if the
また、ゲーム以外の用途で電子機器１００Ａ、１００Ｂ、１００Ｃを利用するときでも、操作入力（タッチ）を行う前に、指先の位置を把握できるので、ミスタッチを抑制することができ、より簡単かつ確実な操作入力（タッチ）が可能になる。
In addition, even when using the
なお、以上では、表示装置２００のディスプレイパネル２１０が非常に大きい形態について説明したが、ディスプレイパネル２１０の大きさは、電子機器１００Ａ、１００Ｂ、１００Ｃのディスプレイパネル１６０と等しくてもよく、どのようなサイズであってもよい。
In the above description, the
また、以上では、一例として、３人の利用者がそれぞれ電子機器１００Ａ、１００Ｂ、１００Ｃを利用する形態について説明したが、実施の形態２では、利用者は２人以上いればよい。
In the above description, an example in which three users use
また、実施の形態２では、３つの電子機器１００Ａ、１００Ｂ、１００Ｃのうちの電子機器１００Ａをメインの電子機器として機能させ、電子機器１００Ｂ、１００Ｃをサブの電子機器として機能させている。
In the second embodiment, among the three
３つの電子機器１００Ａ、１００Ｂ、１００Ｃのディスプレイパネル１６０に表示する内容は、すべてメインの電子機器１００Ａのアプリケーションプロセッサ１４１Ａの処理によって決定される。また、表示装置２００のディスプレイパネル２１０に表示する内容も、メインの電子機器１００Ａのアプリケーションプロセッサ１４１Ａの処理によって決定される。
The contents displayed on the
このため、電子機器１００Ａが処理を統括することにより、複数の電子機器１００Ａ、１００Ｂ、１００Ｃへの近接操作に基づくポインタ１６１Ａ、１６１Ｂ、１６１Ｃの表示と、操作入力に基づく処理の実行とを効率的かつ正確に行うことができる。また、サブとしての電子機器１００Ｂ、１００Ｃのアプリケーションプロセッサ１４１Ａの処理の負担を軽減することができる。
For this reason, the
あるいは、高速化および電子機器１００Ａの処理負担軽減のために、電子機器１００Ａのアプリケーションプロセッサ１４１Ａが更新した画像を無線送信するのは、表示装置２００に対してのみに行ってもよい。
Alternatively, the image transmitted by the
また、以上では、電子機器１００Ａ、１００Ｂ、１００Ｃと、表示装置２００とを無線通信で接続する形態について説明したが、図１６に示すように、電子機器１００Ａ、１００Ｂ、１００Ｃと、表示装置２００とを有線通信で接続してもよい。
In the above description, the
図１６は、実施の形態２の変形例の入力支援システム３００Ｂを示す図である。入力支援システム３００Ｂは、電子機器１００Ａ１、１００Ｂ１、１００Ｃ１と、表示装置２００Ａと、有線通信ハブ２０とを含む。 FIG. 16 is a diagram illustrating an input support system 300B according to a modification of the second embodiment. The input support system 300B includes electronic devices 100A1, 100B1, and 100C1, a display device 200A, and a wired communication hub 20.
電子機器１００Ａ１、１００Ｂ１、１００Ｃ１は、それぞれ、図１０に示す電子機器１００Ａ、１００Ｂ、１００Ｃの無線通信インターフェース１４４を有線通信インターフェース１４４Ａに変更したものである。その他の構成は、図１０に示す電子機器１００Ａ、１００Ｂ、１００Ｃと同様である。
Electronic devices 100A1, 100B1, and 100C1 are obtained by changing the
表示装置２００Ａは、図１０に示す表示装置２００の無線通信インターフェース２２２を有線通信インターフェース２２２Ａに変更したものである。その他の構成は、図１０に示す表示装置２００と同様である。
The display device 200A is obtained by changing the
電子機器１００Ａ１、１００Ｂ１、１００Ｃ１の有線通信インターフェース１４４Ａと、表示装置２００Ａの有線通信インターフェース２２２Ａとは、有線通信ハブ２０で接続されている。
The
図１６に示すように、電子機器１００Ａ１、１００Ｂ１、１００Ｃ１と、表示装置２００Ａとを有線通信ハブ２０を介して、有線通信で接続してもよい。なお、有線通信ハブ２０を用いなくても接続できる場合は、電子機器１００Ａ１、１００Ｂ１、１００Ｃ１と、表示装置２００Ａとを直接的に接続してもよい。 As illustrated in FIG. 16, the electronic devices 100A1, 100B1, and 100C1 may be connected to the display device 200A via a wired communication hub 20 by wired communication. In addition, when connection is possible without using the wired communication hub 20, the electronic devices 100A1, 100B1, and 100C1 may be directly connected to the display device 200A.
＜実施の形態３＞
図１７は、実施の形態３の入力支援システムに含まれる電子機器１００Ｄを示す図である。
<Embodiment 3>
FIG. 17 is a diagram illustrating an electronic device 100D included in the input support system according to the third embodiment.
電子機器１００Ｄは、図６に示す実施の形態１の電子機器１００に、ボリュームボタン１０３Ａ、１０３Ｂを追加した構成を有する。ボリュームボタン１０３Ａはボリューム（音量）を下げるためのボタンであり、ボリュームボタン１０３Ｂはボリュームを上げるためのボタンである。
Electronic device 100D has a configuration in which
また、電子機器１００Ｄは、実施の形態１の電子機器１００と同様の構成を有するが、アプリケーションプロセッサ１４１Ａ（図５参照）の機能が異なる。アプリケーションプロセッサ１４１Ａの機能が異なることと、ボリュームボタン１０３Ａ、１０３Ｂを追加したこと以外は、電子機器１００Ｄは、実施の形態１の電子機器１００と同様のハードウェア構成を有するため、以下では図５を援用して説明する。
The electronic device 100D has the same configuration as the
実施の形態３の電子機器１００Ｄでは、アプリケーションプロセッサ１４１Ａは、ボリュームボタン１０３Ａ、１０３Ｂが両方とも押されているかどうかを判定することができる。
In electronic device 100D of the third embodiment,
アプリケーションプロセッサ１４１Ａは、ボリュームボタン１０３Ａ、１０３Ｂが両方とも押されているときに、トップパネル１２０に操作入力（タッチ）が行われると、ポインタ１６２を表示する。ポインタ１６２は、ボリュームボタン１０３Ａ、１０３Ｂが両方とも押されている間に操作入力（タッチ）が行われると、利用者の指先がトップパネル１２０に触れている位置（操作入力（タッチ）の位置）において、ディスプレイパネル１６０に表示される。
The
このため、実施の形態３の電子機器１００Ｄでは、ボリュームボタン１０３Ａ、１０３Ｂを両方とも押しながらスワイプ操作を行うと、スワイプ操作でポインタ１６２を移動することができる。例えば、図１７に示すように、位置Ａでスワイプ操作を開始して、トップパネル１２０に触れている指先を位置Ｂまで移動させると、ポインタ１６２は、位置Ａで表示が開始され、位置Ｂまで移動する。
For this reason, in electronic device 100D of Embodiment 3, if swipe operation is performed while pressing both
そして、位置Ｂで指先をトップパネル１２０から離すと、ポインタ１６２は表示されなくなる。
When the fingertip is released from the
図１８は、実施の形態３の電子機器１００Ｄのアプリケーションプロセッサ１４１Ａが実行する処理を示すフローチャートである。
FIG. 18 is a flowchart illustrating processing executed by the
アプリケーションプロセッサ１４１Ａは、無線通信インターフェース１４４を介して、表示装置２００と無線通信で接続する（ステップＳ６１）。
The
アプリケーションプロセッサ１４１Ａは、ディスプレイパネル１６０に表示している画像のデータを表示装置２００に送信する（ステップＳ６２）。
The
アプリケーションプロセッサ１４１Ａは、ボリュームボタン１０３Ａ、１０３Ｂが両方とも押されているかどうかを判定する（ステップＳ６３）。
The
アプリケーションプロセッサ１４１Ａは、ボリュームボタン１０３Ａ、１０３Ｂが両方とも押されている（Ｓ６３：ＹＥＳ）と判定すると、操作入力（タッチ）が行われているかどうかを判定する（ステップＳ６４）。
If the
アプリケーションプロセッサ１４１Ａは、操作入力（タッチ）が行われている（Ｓ６４：ＹＥＳ）と判定すると、ディスプレイパネル１６０にポインタ１６２を表示する（ステップＳ６５）。なお、既にポインタ１６２をディスプレイパネル１６０に表示している場合は、アプリケーションプロセッサ１４１Ａは、ステップＳ６５において、ポインタ１６２をディスプレイパネル１６０に表示している状態を保持する。ステップＳ６５の処理は、アプリケーションプロセッサ１４１Ａの中のポインタ制御部１４１Ｂによって実行される。
If the
アプリケーションプロセッサ１４１Ａは、すべての処理が終了したかどうかを判定する（ステップＳ６６）。
The
アプリケーションプロセッサ１４１Ａは、すべての処理が終了した（Ｓ６６：ＹＥＳ）と判定すると、無線通信を切断する（ステップＳ６７）。
If the
以上、実施の形態３によれば、ボリュームボタン１０３Ａ、１０３Ｂが両方とも押されている間に操作入力（タッチ）が行われると、利用者の指先がトップパネル１２０に触れている位置（操作入力（タッチ）の位置）において、ポインタ１６２がディスプレイパネル１６０に表示される電子機器１００Ｄを提供することができる。
As described above, according to the third embodiment, when an operation input (touch) is performed while both of the
そして、表示装置２００のディスプレイパネル２１０には、ポインタ１６２に対応するポインタが表示される。
A pointer corresponding to the
ポインタ１６２は、手の陰になるため利用者にとって見えにくいが、利用者の眼前に配置される表示装置２００のディスプレイパネル２１０に表示されるポインタは、利用者にとっては非常に見えやすいものである。
Although the
このため、利用者が手元の電子機器１００Ｄに対して、ボリュームボタン１０３Ａ、１０３Ｂが両方を押すとともに、操作入力（タッチ）を行えば、指先の位置をディスプレイパネル２１０に表示されるポインタで容易かつ正確に認識することができる。
For this reason, if the user presses both of the
また、実施の形態３の電子機器１００Ｄでは、ボリュームボタン１０３Ａ、１０３Ｂを両方とも押しながらスワイプ操作を行うと、スワイプ操作でポインタ１６２を移動することができる。
In electronic device 100D of the third embodiment, when swipe operation is performed while pressing both
例えば、従来の電子機器では、アイコンに触れた指先をスワイプ操作で意図的に動かした場合と、アイコンに触れてから、そのアイコンに触れたことによる操作入力をキャンセルするために指先を離さずに移動させたこととの違いをうまく認識できない場合がある。後者も指先の動きはスワイプ操作と同様である。 For example, in a conventional electronic device, when a fingertip touching an icon is intentionally moved by a swipe operation, and after touching the icon, the fingertip is not released to cancel the operation input by touching the icon. There may be cases where the difference from moving is not recognized well. In the latter case, the movement of the fingertip is the same as that of the swipe operation.
このような場合に、両方のボリュームボタン１０３Ａ、１０３Ｂを押しながらスワイプ操作を行った場合を有効な操作入力として受け付け、両方のボリュームボタン１０３Ａ、１０３Ｂを押さずにスワイプ操作を行った場合を操作入力として受け付けないようにすればよい。
In such a case, a case where a swipe operation is performed while pressing both
こうすることにより、実施の形態３によれば、スワイプ操作による操作入力を行いやすい電子機器１００Ｄを提供することができる。また、両方のボリュームボタン１０３Ａ、１０３Ｂを押しながらスワイプ操作を行えば、表示装置２００のディスプレイパネル２１０にスワイプ操作の位置を表すポインタが表示されるため、操作性も向上させることができる。
Thus, according to the third embodiment, it is possible to provide the electronic device 100D that can easily perform an operation input by a swipe operation. Further, if a swipe operation is performed while pressing both
従って、実施の形態３によれば、操作性の良好な入力支援システム、及び、電子機器１００Ｄを提供することができる。 Therefore, according to the third embodiment, it is possible to provide an input support system with good operability and the electronic device 100D.
なお、以上では、ボリュームボタン１０３Ａ、１０３Ｂが両方とも押されている間に操作入力（タッチ）が行われると、ポインタ１６２をディスプレイパネル１６０に表示する形態について説明した。すなわち、ボリュームボタン１０３Ａ、１０３Ｂが両方とも押されることにより、ポインタ１６２を表示することが可能になる特定の動作モードになる形態について説明した。
In the above description, the mode in which the
しかしながら、このような特定の動作モードを選択するための操作は、ボリュームボタン１０３Ａ、１０３Ｂを両方とも押す操作に限られない。例えば、カメラを操作するためのボタン（ＧＵＩ部品ではない電気機械式のボタン）がある場合には、カメラを動作させていないときに、カメラを操作するためのボタンを押すことによって、特定の動作モードを選択できるようにしてもよい。その他、電子機器１００Ｄの様々な操作によって、上述のような特定の動作モードを選択できるようにしてもよい。
However, the operation for selecting such a specific operation mode is not limited to the operation of pressing both of the
以上、本発明の例示的な実施の形態の入力支援システム、及び、電子機器について説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
以上の実施の形態に関し、さらに以下の付記を開示する。
（付記１）
第１利用者の操作対象になるＧＵＩ部品を表示する第１表示部と、
前記第１表示部の表示面側に配設され、第１操作面を有する第１トップパネルと、
前記第１操作面に非接触で近接する第１利用者の身体の一部の第１位置を検出する、静電容量式の第１位置検出部と、
前記第１位置検出部によって検出される前記第１位置と前記第１操作面との間の距離が所定値以下になると、前記第１表示部の表示領域のうちの前記第１位置を前記第１表示部に投影した第１投影位置に、第１ポインタを表示する第１ポインタ制御部と
を有する、電子機器と、
前記電子機器とは独立して設けられるとともに、前記電子機器と通信可能に接続され、前記第１表示部に表示される前記ＧＵＩ部品と前記第１ポインタとを相対位置関係を保持して表示する表示装置と
を含む、入力支援システム。
（付記２）
前記第１位置検出部は、ホバリング機能によって前記第１位置を検出する、付記１記載の入力支援システム。
（付記３）
前記表示装置は、第１利用者の眼前に配置されるディスプレイパネルを有する装置、又は、第１利用者が装着するヘッドマウントディスプレイである、付記１又は２記載の入力支援システム。
（付記４）
前記電子機器と通信可能に接続されるサブ電子機器をさらに含み、
前記サブ電子機器は、
第２利用者の操作対象として前記ＧＵＩ部品を表示する第２表示部と、
前記第２表示部の表示面側に配設され、第２操作面を有する第２トップパネルと、
前記第２操作面に非接触で近接する第２利用者の身体の一部の第２位置を検出する、静電容量式の第２位置検出部と、
前記第２位置検出部によって検出される前記第２位置と前記第２操作面との間の距離が所定値以下になると、前記第２表示部の表示領域のうちの前記第２位置を前記第２表示部に投影した第２投影位置に、第２ポインタを表示する第２ポインタ制御部と、
前記第２表示部における前記第２投影位置を表すデータを前記電子機器に送信する送信部と
を有し、
前記電子機器は、前記サブ電子機器から受信する前記第２投影位置に前記第１表示部の中で対応する位置に、前記第２ポインタを表示し、
前記表示装置は、さらに、前記第１表示部に表示される前記第２ポインタを、前記ＧＵＩ部品と前記第２ポインタとの相対位置関係を保持して表示する、付記１乃至３のいずれか一項記載の入力支援システム。
（付記５）
第１利用者の操作対象になるＧＵＩ部品を表示する第１表示部と、
前記第１表示部の表示面側に配設され、第１操作面を有する第１トップパネルと、
前記第１操作面に非接触で近接する第１利用者の身体の一部の第１位置を検出する、静電容量式の第１位置検出部と、
前記第１位置検出部によって検出される前記第１位置と前記第１操作面との間の距離が所定値以下になると、前記第１表示部の表示領域のうちの前記第１位置を前記第１表示部に投影した第１投影位置に、第１ポインタを表示する第１ポインタ制御部と、
前記電子機器とは独立して設けられる表示装置に、前記ＧＵＩ部品及び前記第１ポインタの画像データと、前記第１表示部に表示される前記ＧＵＩ部品と前記第１ポインタとの相対位置を表すデータとを送信する送信部と
を含む、電子機器。
（付記６）
第１利用者の操作対象になるＧＵＩ部品を表示する第１表示部と、
前記第１表示部の表示面側に配設され、第１操作面を有する第１トップパネルと、
前記第１操作面に行われる操作入力の第１位置を検出する第１位置検出部と、
前記第１表示部に表示される第１ポインタのスワイプ操作を可能にする特定の動作モードにおいて、前記位置検出部によって検出される前記第１位置に第１ポインタを表示し、前記操作入力によるスワイプ操作が行われると、前記第１ポインタを移動させる第１ポインタ制御部と
を有する、電子機器と、
前記電子機器とは独立して設けられるとともに、前記電子機器と通信可能に接続され、前記第１表示部に表示される前記ＧＵＩ部品と前記第１ポインタとを相対位置関係を保持して表示する表示装置と
を含む、入力支援システム。
（付記７）
前記表示装置は、第１利用者の眼前に配置されるディスプレイパネルを有する装置、又は、第１利用者が装着するヘッドマウントディスプレイである、付記６記載の入力支援システム。
（付記８）
前記電子機器と通信可能に接続されるサブ電子機器をさらに含み、
前記サブ電子機器は、
第２利用者の操作対象になるＧＵＩ部品を表示する第２表示部と、
前記第２表示部の表示面側に配設され、第２操作面を有する第２トップパネルと、
前記第２操作面に行われる操作入力の第２位置を検出する第２位置検出部と、
前記第２表示部に表示される第２ポインタのスワイプ操作を可能にする特定の動作モードにおいて、前記位置検出部によって検出される前記第２位置に第２ポインタを表示し、前記操作入力によるスワイプ操作が行われると、前記第２ポインタを移動させる第２ポインタ制御部と、
前記第２表示部における前記第２位置を表すデータを前記電子機器に送信する送信部と
を有し、
前記電子機器は、前記サブ電子機器から受信する前記第２位置に前記第１表示部の中で対応する位置に、前記第２ポインタを表示し、
前記表示装置は、さらに、前記第１表示部に表示される前記第２ポインタを、前記ＧＵＩ部品と前記第２ポインタとの相対位置関係を保持して表示する、付記６又は７記載の入力支援システム。
（付記９）
第１利用者の操作対象になるＧＵＩ部品を表示する第１表示部と、
前記第１表示部の表示面側に配設され、第１操作面を有する第１トップパネルと、
前記第１操作面に行われる操作入力の第１位置を検出する第１位置検出部と、
前記第１表示部に表示される第１ポインタのスワイプ操作を可能にする特定の動作モードにおいて、前記位置検出部によって検出される前記第１位置に第１ポインタを表示し、前記操作入力によるスワイプ操作が行われると、前記第１ポインタを移動させる第１ポインタ制御部と、
前記電子機器とは独立して設けられる表示装置に、前記ＧＵＩ部品及び前記第１ポインタの画像データと、前記第１表示部に表示される前記ＧＵＩ部品と前記第１ポインタとの相対位置を表すデータとを送信する送信部と
を含む、電子機器。
The input support system and the electronic device according to the exemplary embodiment of the present invention have been described above, but the present invention is not limited to the specifically disclosed embodiment, and is not limited to the claims. Various modifications and changes can be made without departing from the above.
Regarding the above embodiment, the following additional notes are disclosed.
(Appendix 1)
A first display unit for displaying a GUI component to be operated by the first user;
A first top panel disposed on a display surface side of the first display unit and having a first operation surface;
A first position detection unit of a capacitance type that detects a first position of a part of the body of the first user that is close to the first operation surface without contact;
When the distance between the first position detected by the first position detection unit and the first operation surface becomes a predetermined value or less, the first position in the display area of the first display unit is changed to the first position. An electronic device having a first pointer control unit that displays a first pointer at a first projection position projected on one display unit;
The GUI component is provided independently of the electronic device and is communicably connected to the electronic device, and displays the GUI component displayed on the first display unit and the first pointer while maintaining a relative positional relationship. An input support system including a display device.
(Appendix 2)
The input support system according to
(Appendix 3)
The input support system according to
(Appendix 4)
A sub-electronic device that is communicably connected to the electronic device;
The sub-electronic device is
A second display unit that displays the GUI component as an operation target of the second user;
A second top panel disposed on the display surface side of the second display unit and having a second operation surface;
A capacitance-type second position detection unit that detects a second position of a part of the body of the second user that is in close contact with the second operation surface;
When the distance between the second position detected by the second position detection unit and the second operation surface is equal to or less than a predetermined value, the second position in the display area of the second display unit is changed to the second position. A second pointer control unit that displays a second pointer at a second projection position projected on the two display units;
A transmission unit that transmits data representing the second projection position in the second display unit to the electronic device,
The electronic device displays the second pointer at a position corresponding to the second projection position received from the sub electronic device in the first display unit,
The display device further displays the second pointer displayed on the first display unit while maintaining a relative positional relationship between the GUI component and the second pointer. The input support system described in the section.
(Appendix 5)
A first display unit for displaying a GUI component to be operated by the first user;
A first top panel disposed on a display surface side of the first display unit and having a first operation surface;
A first position detection unit of a capacitance type that detects a first position of a part of the body of the first user that is close to the first operation surface without contact;
When the distance between the first position detected by the first position detection unit and the first operation surface becomes a predetermined value or less, the first position in the display area of the first display unit is changed to the first position. A first pointer control unit that displays a first pointer at a first projection position projected on one display unit;
The display device provided independently from the electronic device represents the GUI component and the image data of the first pointer, and the relative position of the GUI component and the first pointer displayed on the first display unit. An electronic device including a transmitter that transmits data.
(Appendix 6)
A first display unit for displaying a GUI component to be operated by the first user;
A first top panel disposed on a display surface side of the first display unit and having a first operation surface;
A first position detector for detecting a first position of an operation input performed on the first operation surface;
In a specific operation mode that enables swipe operation of the first pointer displayed on the first display unit, the first pointer is displayed at the first position detected by the position detection unit, and swipe by the operation input is performed. An electronic device having a first pointer control unit that moves the first pointer when an operation is performed;
The GUI component is provided independently of the electronic device and is communicably connected to the electronic device, and displays the GUI component displayed on the first display unit and the first pointer while maintaining a relative positional relationship. An input support system including a display device.
(Appendix 7)
The input support system according to appendix 6, wherein the display device is a device having a display panel arranged in front of the first user's eyes or a head mounted display worn by the first user.
(Appendix 8)
A sub-electronic device that is communicably connected to the electronic device;
The sub-electronic device is
A second display unit for displaying a GUI part to be operated by the second user;
A second top panel disposed on the display surface side of the second display unit and having a second operation surface;
A second position detection unit for detecting a second position of an operation input performed on the second operation surface;
In a specific operation mode that enables swipe operation of the second pointer displayed on the second display unit, the second pointer is displayed at the second position detected by the position detection unit, and swipe by the operation input A second pointer control unit that moves the second pointer when an operation is performed;
A transmission unit that transmits data representing the second position in the second display unit to the electronic device,
The electronic device displays the second pointer at a position corresponding to the second position received from the sub electronic device in the first display unit,
The input support according to appendix 6 or 7, wherein the display device further displays the second pointer displayed on the first display unit while maintaining a relative positional relationship between the GUI component and the second pointer. system.
(Appendix 9)
A first display unit for displaying a GUI component to be operated by the first user;
A first top panel disposed on a display surface side of the first display unit and having a first operation surface;
A first position detector for detecting a first position of an operation input performed on the first operation surface;
In a specific operation mode that enables swipe operation of the first pointer displayed on the first display unit, the first pointer is displayed at the first position detected by the position detection unit, and swipe by the operation input is performed. A first pointer control unit that moves the first pointer when an operation is performed;
The display device provided independently from the electronic device represents the GUI component and the image data of the first pointer, and the relative position of the GUI component and the first pointer displayed on the first display unit. An electronic device including a transmitter that transmits data.
１００、１００Ａ、１００Ｂ、１００Ｃ 電子機器
１０１ 入力操作部
１０２ ＧＵＩ部品
１１０ 筐体
１２０ トップパネル
１３０ 両面テープ
１４０ 制御部
１４１ ＣＰＵ
１４２ ディスプレイインターフェース
１４３ タッチパネルインターフェース
１４４ 無線通信インターフェース
１４５ バス
１４６ ＲＡＭ
１４７ 内蔵ストレージ
１４８ 記憶媒体
１５０ タッチパネル
１６０ ディスプレイパネル
１６１Ａ、１６１Ｂ、１６１Ｃ ポインタ
１７０ 基板
２００ 表示装置
２１０ ディスプレイパネル
２１１Ａ、２１１Ｂ、２１１Ｃ ポインタ
３００、３００Ａ 入力支援システム
100, 100A, 100B,
142
147 Built-in
ディスプレイパネル１２には、利用者の手元にある電子機器１００のディスプレイパネル１６０に表示される画像と同一の画像が表示される。ヘッドマウントディスプレイ１０を装着した状態では、利用者は、手元の電子機器１００のディスプレイパネル１６０を見ることはできず、電子機器１００に対して近接操作を行いながら、ディスプレイパネル１２に表示されるポインタを見て、操作入力を行う。
On the
Claims (6)
前記第１表示部の表示面側に配設され、第１操作面を有する第１トップパネルと、
前記第１操作面に非接触で近接する第１利用者の身体の一部の第１位置を検出する、静電容量式の第１位置検出部と、
前記第１位置検出部によって検出される前記第１位置と前記第１操作面との間の距離が所定値以下になると、前記第１表示部の表示領域のうちの前記第１位置を前記第１表示部に投影した第１投影位置に、第１ポインタを表示する第１ポインタ制御部と
を有する、電子機器と、
前記電子機器とは独立して設けられるとともに、前記電子機器と通信可能に接続され、前記第１表示部に表示される前記ＧＵＩ部品と前記第１ポインタとを相対位置関係を保持して表示する表示装置と
を含む、入力支援システム。 A first display unit for displaying a GUI component to be operated by the first user;
A first top panel disposed on a display surface side of the first display unit and having a first operation surface;
A first position detection unit of a capacitance type that detects a first position of a part of the body of the first user that is close to the first operation surface without contact;
When the distance between the first position detected by the first position detection unit and the first operation surface becomes a predetermined value or less, the first position in the display area of the first display unit is changed to the first position. An electronic device having a first pointer control unit that displays a first pointer at a first projection position projected on one display unit;
The GUI component is provided independently of the electronic device and is communicably connected to the electronic device, and displays the GUI component displayed on the first display unit and the first pointer while maintaining a relative positional relationship. An input support system including a display device.
前記サブ電子機器は、
第２利用者の操作対象として前記ＧＵＩ部品を表示する第２表示部と、
前記第２表示部の表示面側に配設され、第２操作面を有する第２トップパネルと、
前記第２操作面に非接触で近接する第２利用者の身体の一部の第２位置を検出する、静電容量式の第２位置検出部と、
前記第２位置検出部によって検出される前記第２位置と前記第２操作面との間の距離が所定値以下になると、前記第２表示部の表示領域のうちの前記第２位置を前記第２表示部に投影した第２投影位置に、第２ポインタを表示する第２ポインタ制御部と、
前記第２表示部における前記第２投影位置を表すデータを前記電子機器に送信する送信部と
を有し、
前記電子機器は、前記サブ電子機器から受信する前記第２投影位置に前記第１表示部の中で対応する位置に、前記第２ポインタを表示し、
前記表示装置は、さらに、前記第１表示部に表示される前記第２ポインタを、前記ＧＵＩ部品と前記第２ポインタとの相対位置関係を保持して表示する、請求項１乃至３のいずれか一項記載の入力支援システム。 A sub-electronic device that is communicably connected to the electronic device;
The sub-electronic device is
A second display unit that displays the GUI component as an operation target of the second user;
A second top panel disposed on the display surface side of the second display unit and having a second operation surface;
A capacitance-type second position detection unit that detects a second position of a part of the body of the second user that is in close contact with the second operation surface;
When the distance between the second position detected by the second position detection unit and the second operation surface is equal to or less than a predetermined value, the second position in the display area of the second display unit is changed to the second position. A second pointer control unit that displays a second pointer at a second projection position projected on the two display units;
A transmission unit that transmits data representing the second projection position in the second display unit to the electronic device,
The electronic device displays the second pointer at a position corresponding to the second projection position received from the sub electronic device in the first display unit,
4. The display device according to claim 1, wherein the display device further displays the second pointer displayed on the first display unit while maintaining a relative positional relationship between the GUI component and the second pointer. 5. The input support system according to one item.
前記第１表示部の表示面側に配設され、第１操作面を有する第１トップパネルと、
前記第１操作面に非接触で近接する第１利用者の身体の一部の第１位置を検出する、静電容量式の位置検出部と、
前記位置検出部によって検出される前記第１位置と前記第１操作面との間の距離が所定値以下になると、前記第１表示部の表示領域のうちの前記第１位置を前記第１表示部に投影した第１投影位置に、第１ポインタを表示する第１ポインタ制御部と、
独立して設けられる表示装置に、前記ＧＵＩ部品及び前記第１ポインタの画像データと、前記第１表示部に表示される前記ＧＵＩ部品と前記第１ポインタとの相対位置を表すデータとを送信する送信部と
を含む、電子機器。 A first display unit for displaying a GUI component to be operated by the first user;
A first top panel disposed on a display surface side of the first display unit and having a first operation surface;
A capacitance-type position detection unit that detects a first position of a part of the body of the first user that is in close contact with the first operation surface;
When the distance between the first position detected by the position detection unit and the first operation surface is equal to or less than a predetermined value, the first position in the display area of the first display unit is displayed in the first display. A first pointer control unit that displays a first pointer at a first projection position projected onto the unit;
The GUI component and the image data of the first pointer, and data representing the relative position of the GUI component and the first pointer displayed on the first display unit are transmitted to an independent display device. An electronic device including a transmitter.
前記第１表示部の表示面側に配設され、第１操作面を有する第１トップパネルと、
前記第１操作面に行われる操作入力の第１位置を検出する第１位置検出部と、
前記第１表示部に表示される第１ポインタのスワイプ操作を可能にする特定の動作モードにおいて、前記第１位置検出部によって検出される前記第１位置に第１ポインタを表示し、前記操作入力によるスワイプ操作が行われると、前記第１ポインタを移動させる第１ポインタ制御部と
を有する、電子機器と、
前記電子機器とは独立して設けられるとともに、前記電子機器と通信可能に接続され、前記第１表示部に表示される前記ＧＵＩ部品と前記第１ポインタとを相対位置関係を保持して表示する表示装置と
を含む、入力支援システム。 A first display unit for displaying a GUI component to be operated by the first user;
A first top panel disposed on a display surface side of the first display unit and having a first operation surface;
A first position detector for detecting a first position of an operation input performed on the first operation surface;
In a specific operation mode that enables swipe operation of the first pointer displayed on the first display unit, the first pointer is displayed at the first position detected by the first position detection unit, and the operation input is performed. An electronic device having a first pointer control unit that moves the first pointer when a swipe operation is performed by
The GUI component is provided independently of the electronic device and is communicably connected to the electronic device, and displays the GUI component displayed on the first display unit and the first pointer while maintaining a relative positional relationship. An input support system including a display device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015197068A JP2017068797A (en) | 2015-10-02 | 2015-10-02 | Input support system and electronic apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015197068A JP2017068797A (en) | 2015-10-02 | 2015-10-02 | Input support system and electronic apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017068797A true JP2017068797A (en) | 2017-04-06 |
Family
ID=58492649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015197068A Pending JP2017068797A (en) | 2015-10-02 | 2015-10-02 | Input support system and electronic apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017068797A (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009193423A (en) * | 2008-02-15 | 2009-08-27 | Panasonic Corp | Input device for electronic equipment |
| JP2013073412A (en) * | 2011-09-28 | 2013-04-22 | Kddi Corp | User interface device for generating projection image signal for pointer projection and image projection method and program |
| JP2013125247A (en) * | 2011-12-16 | 2013-06-24 | Sony Corp | Head-mounted display and information display apparatus |
| JP2013242742A (en) * | 2012-05-22 | 2013-12-05 | Nec Casio Mobile Communications Ltd | Portable terminal apparatus, input method for portable terminal apparatus, and computer program |
| JP2014112398A (en) * | 2010-10-26 | 2014-06-19 | Ricoh Co Ltd | Screen sharing service providing system, information processing device, projection device, screen sharing service providing method, and screen sharing service providing program |
| US20150009143A1 (en) * | 2013-07-08 | 2015-01-08 | Funai Electric Co., Ltd. | Operating system |
| JP2015510211A (en) * | 2012-03-15 | 2015-04-02 | ノキア コーポレイション | Touch screen hover input processing |
-
2015
- 2015-10-02 JP JP2015197068A patent/JP2017068797A/en active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009193423A (en) * | 2008-02-15 | 2009-08-27 | Panasonic Corp | Input device for electronic equipment |
| JP2014112398A (en) * | 2010-10-26 | 2014-06-19 | Ricoh Co Ltd | Screen sharing service providing system, information processing device, projection device, screen sharing service providing method, and screen sharing service providing program |
| JP2013073412A (en) * | 2011-09-28 | 2013-04-22 | Kddi Corp | User interface device for generating projection image signal for pointer projection and image projection method and program |
| JP2013125247A (en) * | 2011-12-16 | 2013-06-24 | Sony Corp | Head-mounted display and information display apparatus |
| US20140320383A1 (en) * | 2011-12-16 | 2014-10-30 | Sony Corporaton | Head-mounted display and information display apparatus |
| JP2015510211A (en) * | 2012-03-15 | 2015-04-02 | ノキア コーポレイション | Touch screen hover input processing |
| JP2013242742A (en) * | 2012-05-22 | 2013-12-05 | Nec Casio Mobile Communications Ltd | Portable terminal apparatus, input method for portable terminal apparatus, and computer program |
| US20150009143A1 (en) * | 2013-07-08 | 2015-01-08 | Funai Electric Co., Ltd. | Operating system |
| JP2015014998A (en) * | 2013-07-08 | 2015-01-22 | 船井電機株式会社 | Operation system |
Non-Patent Citations (2)
| Title |
|---|
| 飯田 成康: "触ってわかった使い心地！ 新ＯＳのポイントを徹底チェック！！ Ｍｏｕｎｔａｉｎ Ｌｉｏｎパワーリポー", ＭＡＣ ＰＥＯＰＬＥ, vol. 18, no. 12, JPN6020017933, 28 July 2012 (2012-07-28), JP, pages 32 - 39, ISSN: 0004274137 * |
| 飯田 成康: "触ってわかった使い心地！ 新ＯＳのポイントを徹底チェック！！ Ｍｏｕｎｔａｉｎ Ｌｉｏｎパワーリポー", ＭＡＣ ＰＥＯＰＬＥ, vol. 第１８巻第１２号通巻２９４号, JPN6019041980, 28 July 2012 (2012-07-28), JP, pages 32 - 39, ISSN: 0004143883 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | Interaction methods for smart glasses: A survey | |
| US8830189B2 (en) | Device and method for monitoring the object's behavior | |
| JP6073782B2 (en) | Display device, display control method and display control program, and input device, input support method and program | |
| EP2975497B1 (en) | Terminal device, terminal device control method, and program | |
| WO2017177006A1 (en) | Head mounted display linked to a touch sensitive input device | |
| WO2016079774A1 (en) | System and method for data and command input | |
| US20090213081A1 (en) | Portable Electronic Device Touchpad Input Controller | |
| US9395816B2 (en) | Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same | |
| US20100328209A1 (en) | Input device for electronic apparatus | |
| US9721365B2 (en) | Low latency modification of display frames | |
| JP2016513832A (en) | Mechanical actuator device for touch screen | |
| JP2014509768A (en) | Cursor control and input device that can be worn on the thumb | |
| KR20140078180A (en) | Touch sensitive device and controlling method for providing mini-map of tactile user interface | |
| JP6386897B2 (en) | Electronic blackboard, information processing program, and information processing method | |
| US20120075202A1 (en) | Extending the touchable area of a touch screen beyond the borders of the screen | |
| GB2509651A (en) | Object designation method, device and computer program | |
| KR20160008890A (en) | Apparatus and method for providing touch inputs by using human body | |
| US20150009136A1 (en) | Operation input device and input operation processing method | |
| CN108595010B (en) | Interaction method and device for virtual objects in virtual reality | |
| TW201325101A (en) | Distant multipoint remote control device and system | |
| US11392237B2 (en) | Virtual input devices for pressure sensitive surfaces | |
| Yeo et al. | WristLens: Enabling Single-Handed Surface Gesture Interaction for Wrist-Worn Devices Using Optical Motion Sensor | |
| JP2017068797A (en) | Input support system and electronic apparatus | |
| JP3211484U (en) | Tactile controller | |
| KR20080017194A (en) | Wireless mouse and driving method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151007 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20151016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20151016 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20180105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180105 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180719 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190409 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190527 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191210 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200602 |