JP2013164736A - Input device for portable information device - Google Patents
Input device for portable information device Download PDFInfo
- Publication number
- JP2013164736A JP2013164736A JP2012027541A JP2012027541A JP2013164736A JP 2013164736 A JP2013164736 A JP 2013164736A JP 2012027541 A JP2012027541 A JP 2012027541A JP 2012027541 A JP2012027541 A JP 2012027541A JP 2013164736 A JP2013164736 A JP 2013164736A
- Authority
- JP
- Japan
- Prior art keywords
- portable information
- camera
- information device
- input device
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、カメラで撮像された物体の相対的な位置情報を用いたユーザー・インターフェース技術であって、スマートフォンやタブレット端末などのカメラ付き携帯型情報機器に利用できる入力装置に関する。 The present invention relates to an user interface technology using relative position information of an object imaged by a camera, and relates to an input device that can be used for a portable information device with a camera such as a smartphone or a tablet terminal.
一般にパソコンなどの情報機器への操作入力には、キーボードやマウスなどが主に使われている。キーボードではキャラクター（文字や数字）情報をそれぞれ対応するボタンを指等で押すことにより入力することができる。また、マウスではその平面上の動きで表示装置内の２次元指示位置を自由に移動させることができ、マウスと一体となったボタン等によって何らかの操作を実行するタイミングを決定することができる。テレビやオーディオ機器などでは、それぞれの操作機能毎のボタンが多数搭載された赤外線通信方式のリモコン装置によって所望の機能を手元で入力操作することができる。 In general, a keyboard and a mouse are mainly used for operation input to an information device such as a personal computer. On the keyboard, character (character or number) information can be input by pressing a corresponding button with a finger or the like. Further, the mouse can freely move the two-dimensional indication position in the display device by the movement on the plane, and the timing for executing any operation can be determined by a button or the like integrated with the mouse. In televisions, audio devices, and the like, desired functions can be input and operated by an infrared communication type remote control device equipped with a number of buttons for each operation function.
これら何れの入力方式においても、情報機器とは別に用意されたボタンや移動検知機能を備えた専用装置を用いて、手や指等でそれらを操作することを特徴としている。 Any of these input methods is characterized by operating them with a hand or a finger using a dedicated device equipped with a button and a movement detection function prepared separately from the information device.
一方、スマートフォンやタブレット端末などの携帯型情報機器においては、その機器に備えられた小型のボタン群や、表示装置と一体となったタッチパネル等を指などで操作して入力を行っている。これらは携帯端末向けに小さな領域でもストレス無く操作できるように、操作入力予想機能等を用いて少ないボタン数や操作数で所望の入力ができるように工夫されている。しかし、何れの携帯情報端末においても、その入力操作には少なくとも片方の手が必要である。携帯情報端末は通常、手で保持する場合が多いので、保持する手と操作する手の両方が塞がり、他の物を持ったままや他の作業をしながら操作するのが難しい。また、タブレット端末など片手で安定して持つのが難しいサイズのものは、一旦何処かに置かないと操作できない。
今後、携帯型情報端末の利便性を更に向上させるためには、入力方法の工夫が必要である。
On the other hand, in a portable information device such as a smartphone or a tablet terminal, a small button group provided in the device, a touch panel integrated with a display device, or the like is operated with a finger or the like for input. These are devised so that a desired input can be performed with a small number of buttons and operations using an operation input prediction function or the like so that the portable terminal can be operated without stress even in a small area. However, in any portable information terminal, the input operation requires at least one hand. Since the portable information terminal is usually held by hand, both the holding hand and the operating hand are blocked, and it is difficult to operate while holding other objects or performing other operations. Also, tablets that are difficult to hold stably with one hand, such as tablet terminals, cannot be operated unless they are placed somewhere.
In the future, in order to further improve the convenience of the portable information terminal, it is necessary to devise an input method.
本発明に係る、携帯型情報機器に付属したカメラで撮像された物体の相対的な位置情報を用いた入力装置は、このような背景のもとに考案され、先に出願した発明（出願番号：特願２０１１−０１３２８９、発明の名称：「携帯型情報機器用入力装置」）に関連するものである。先の発明では三次元空間センサーを用いてその機能を実現していたが、本発明では、携帯型情報機器に付属したカメラを利用して、当該携帯型情報機器の入力操作を可能にする。 An input device using relative position information of an object imaged by a camera attached to a portable information device according to the present invention has been devised based on such a background, and is a previously filed invention (application number). : Japanese Patent Application No. 2011-013289, title of invention: “input device for portable information equipment”). In the previous invention, the function was realized using a three-dimensional space sensor. However, in the present invention, an input operation of the portable information device is made possible by using a camera attached to the portable information device.
パソコン等の入力装置として、カメラ（２次元イメージセンサー）で撮像した画像データを用いる方法が提案されている（例えば、特許文献１〜５参照）。それらは、カメラで撮像された画像から顔内の眼や瞳、虹彩、口などをパターンマッチング手法等によって検知し、その２次元的位置情報あるいは、その形状の変化情報を、表示装置内の２次元指示位置情報や何らかの操作情報として用いることを共通の特徴としている。 As an input device such as a personal computer, a method using image data captured by a camera (two-dimensional image sensor) has been proposed (see, for example, Patent Documents 1 to 5). They detect eyes, pupils, irises, mouths, and the like in a face from an image captured by a camera by using a pattern matching method or the like, and use the two-dimensional position information or the change information of the shape as 2 A common feature is that it is used as dimension indication position information or some operation information.
これらの手法は、特定の対象に対するパターンマッチング手法等で対象物の位置や形状の変化を検知しており、様々な環境で安定に検知動作させるためには、様々な画像調整処理やパターンマッチング処理を大量に行う必要があり、装置コストや処理時間が大きくなる。 These methods detect changes in the position and shape of an object using a pattern matching method for a specific object. Various image adjustment processes and pattern matching processes are required for stable detection in various environments. Need to be carried out in large quantities, resulting in increased apparatus costs and processing time.
また、携帯端末に内蔵された多数の加速度センサーや角速度センサー（ジャイロ等）を用いて、その装置を傾けることで表示装置内のカーソル等を移動させる方法が考案されている（例えば、特許文献６，７参照）。 Also, a method has been devised in which a cursor or the like in a display device is moved by tilting the device using a number of acceleration sensors and angular velocity sensors (gyro etc.) built in the portable terminal (for example, Patent Document 6). , 7).
しかし、一般的に用いられる加速度センサーは角度の変化に対する検知感度が低く、また角速度センサーは回転動作しか検知できない。従って、装置を傾ける場合の静的な角度精度が十分に得られない。そこで一般には、傾きの変化の大きさに比例して、その方向への力という表現でカーソル等を移動させる方法をとるが、所望の所に精度良くカーソルを静止させることが難しい。また、仮にコスト等を犠牲にして加速度センサーの感度を十分に高くできたとしても、傾き角度を検知するために利用する重力加速度と装置自体に掛かるその他の加速度を原理的に分離できず、移動している場合や、体勢が変化する場合など、生活上頻繁に遭遇する状況での利用が難しくなる。 However, generally used acceleration sensors have low detection sensitivity to changes in angle, and angular velocity sensors can only detect rotational motion. Therefore, sufficient static angle accuracy cannot be obtained when the device is tilted. Therefore, in general, a method of moving the cursor or the like by expressing the force in the direction in proportion to the magnitude of the change in inclination is used, but it is difficult to accurately stop the cursor at a desired place. Also, even if the sensitivity of the acceleration sensor can be sufficiently increased at the expense of cost etc., the gravitational acceleration used to detect the tilt angle cannot be separated in principle from the other acceleration applied to the device itself, and the movement It becomes difficult to use in situations that are frequently encountered in daily life, such as when you are doing or when your posture changes.
その他、ステレオ画像により３次元位置を検知し、検知した手で指し示した方向の画像を出力する装置（例えば、特許文献８参照）が提案されているが、本発明とは装置構成要件が異なる。 In addition, a device that detects a three-dimensional position from a stereo image and outputs an image in the direction indicated by the detected hand (see, for example, Patent Document 8) has been proposed, but the device configuration requirements are different from the present invention.
上述したように、スマートフォンなどの携帯型情報機器に備えられた入力装置は多数のボタンやタッチパネル等であり、それらは指やタッチペンなどで操作する必要がある。通常、携帯機器を保持するために片方の手が用いられるので、操作する手と合わせて両方の手が、その機器を操作するのに必要である。 As described above, an input device provided in a portable information device such as a smartphone is a large number of buttons, a touch panel, and the like, which need to be operated with a finger, a touch pen, or the like. Usually, one hand is used to hold the portable device, so both hands together with the operating hand are needed to operate the device.
また、タブレット端末など片手で安定に保持するのが難しいサイズの携帯機器に対しては、両手で保持すると入力操作ができなくなるので、机や膝などの上にその機器を置いて操作することになる。この制約は利用環境や使用機会を大きく損なうことになり、その機器の利用範囲を狭くしている。そこで、両手で保持しながらでも容易に操作ができる入力装置の開発が望まれている。 Also, for portable devices that are difficult to hold stably with one hand, such as a tablet device, input operations cannot be performed if the device is held with both hands, so the device should be placed on a desk or knee. Become. This restriction greatly impairs the use environment and use opportunity, and narrows the use range of the device. Therefore, development of an input device that can be easily operated while being held with both hands is desired.
本発明は、携帯型情報機器を両手で持った状態でも、あるいは、片方の手で機器を持ちかつ他方の手が塞がって使えない状態でも、簡単な動作で入力操作ができる携帯型情報機器用入力装置を提供することを目的とする。 The present invention is for a portable information device in which an input operation can be performed with a simple operation even when the portable information device is held with both hands, or even when the device is held with one hand and the other hand is blocked. An object is to provide an input device.
前記課題を解決するため、本発明は、携帯型情報機器の利用環境を考慮し、手の他にその機器周辺に存在する物体を利用して入力する手法を提案する。
本発明の第１の構成は、表示装置側にカメラを備えた携帯型情報機器用入力装置であって、前記カメラで撮像された対象物の縦方向あるいは横方向の少なくとも２点の射影情報を基に、前記表示装置内の２次元位置情報と、前記携帯型情報機器と前記対象物との間の距離情報を検知することを特徴とする携帯型情報機器用入力装置である。
In order to solve the above-described problems, the present invention proposes a method of inputting using an object existing around the device in addition to the hand in consideration of the use environment of the portable information device.
A first configuration of the present invention is an input device for a portable information device provided with a camera on the display device side, and projection information of at least two points in a vertical direction or a horizontal direction of an object captured by the camera. Based on the two-dimensional position information in the display device and distance information between the portable information device and the object, the portable information device input device is characterized.
この第１の構成においては、携帯型情報機器に備えられているカメラによって対象物の縦方向あるいは横方向の少なくとも２点の射影情報を検知する。２点の射影情報に対応する表示装置上の中間位置が２次元位置情報となる。またこの２点の射影情報の間の長さは予め設定されているので、２点の射影情報の長さと撮像された表示装置における２点の長さに基づいて、携帯型情報機器と対象物との間の距離を求めることができる。 In the first configuration, the projection information of at least two points in the vertical direction or the horizontal direction of the object is detected by a camera provided in the portable information device. The intermediate position on the display device corresponding to the projection information of the two points becomes the two-dimensional position information. Further, since the length between the projection information of the two points is set in advance, the portable information device and the object are based on the length of the projection information of the two points and the length of the two points in the imaged display device. The distance between can be determined.
本発明の第２の構成は、前記携帯型情報機器に備えられたカメラのレンズを覆うように可視光カットフィルターを設置し、当該カメラの視野内に赤外光発光源を設置することを特徴とする。カメラで撮像された画像には、所望の画像以外に、多くの画像が含まれており、２次元的位置を求める基礎になる情報以外はノイズとなる。そこで、この第２の構成においては、２次元的位置を求めるための情報を赤外光発生源（少なくとも２つ）とし、カメラではそれ以外の情報を除去するために、可視光カットフィルターをレンズに装着する。これにより、２つの赤外光発生源に基づいて、精度よく携帯型情報機器と赤外光発生源との間の距離を求めることができる。 According to a second aspect of the present invention, a visible light cut filter is installed so as to cover a lens of a camera provided in the portable information device, and an infrared light source is installed in the field of view of the camera. And The image captured by the camera includes many images in addition to the desired image, and noise other than information that is the basis for obtaining the two-dimensional position is noise. Therefore, in this second configuration, information for obtaining a two-dimensional position is used as an infrared light generation source (at least two), and the camera uses a visible light cut filter as a lens to remove other information. Attach to. Thereby, based on the two infrared light generation sources, the distance between the portable information device and the infrared light generation source can be obtained with high accuracy.
本発明の第３の構成は、第２の構成において、カメラと表示装置を傾けることによって、前記カメラで検知している人に装着された赤外光発光源の視認位置を相対的に変化させ、表示装置内の２次元位置情報を決定することを特徴とする。この第３の構成では、カメラと表示装置を傾けることにより、傾ける前後の赤外光発光源の変化を表示装置上のカーソルの動きと捉え、２次元指示位置を決定する。これにより、表示装置上で指等でなぞると同様の操作を行うことができる。 According to a third configuration of the present invention, in the second configuration, by tilting the camera and the display device, the viewing position of the infrared light source mounted on the person detected by the camera is relatively changed. The two-dimensional position information in the display device is determined. In this third configuration, by tilting the camera and the display device, the change in the infrared light source before and after tilting is regarded as the movement of the cursor on the display device, and the two-dimensional designated position is determined. Accordingly, the same operation can be performed by tracing with a finger or the like on the display device.
本発明の第４の構成は、第１〜３の構成において、何らかの操作の実行タイミングを決定するスイッチ動作を、前記携帯型情報機器に内蔵された加速度センサーもしくは角速度センサーもしくは前記カメラとは別のイメージセンサーの出力の瞬間的な変化量を基に実行することを特徴とする。この第４の構成においては、携帯型情報機器に内蔵された加速度センサーなどの信号の瞬間的変化情報をもとにボタン機能に相当する任意の機能の操作タイミングを決定することができる。これによって、携帯型情報機器を保持している手でその機器を少し傾けたり移動したりするだけで、検知している対象物を表示装置上で相対的に移動させることができ、高い精度（感度）で位置を静的に設定できると共に任意のタイミングでスイッチ操作を行うことが可能となる。 According to a fourth configuration of the present invention, in the first to third configurations, a switch operation that determines execution timing of some operation is different from an acceleration sensor, an angular velocity sensor, or the camera built in the portable information device. It is performed based on the instantaneous change amount of the output of the image sensor. In the fourth configuration, the operation timing of an arbitrary function corresponding to the button function can be determined based on instantaneous change information of a signal from an acceleration sensor or the like built in the portable information device. As a result, the detected object can be moved relatively on the display device by simply tilting or moving the device with the hand holding the portable information device, with high accuracy ( The position can be set statically with sensitivity, and the switch can be operated at an arbitrary timing.
本発明によれば、スマートフォン等の片手で保持できる携帯情報端末に関しては、その保持した片方の手だけで入力操作が可能になり、他のものを持った状態での操作や、他の作業をしながらの操作が可能となる。また、タブレット端末等両手で保持する必要がある機器に関しては、両手で保持したままで入力操作が可能になり、様々な状況での利用が出来るようになる。これらのことから、携帯型情報機器の利用が更に容易になり、それぞれの利用分野を拡大できる効果がある。 According to the present invention, with respect to a portable information terminal that can be held with one hand such as a smartphone, an input operation can be performed with only one held hand, and operations with other objects or other work can be performed. Operation becomes possible. In addition, devices that need to be held with both hands, such as a tablet terminal, can be input while being held with both hands, and can be used in various situations. For these reasons, the use of the portable information device is further facilitated, and the respective fields of use can be expanded.
以下、本発明の実施の形態を、図面を参照しながら説明する。
図１に示すように、本発明の実施の形態に係る携帯型情報機器１は、表示装置２とカメラ（イメージセンサー）３を一体に備えている。本例では、カメラ３のレンズを覆うように短波長カットフィルター（可視光カットフィルター）４が装着されている。
また、図２で示す別の実施例の場合では短波長カットフィルター４を設けないこともある。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
As shown in FIG. 1, a portable information device 1 according to an embodiment of the present invention is integrally provided with a display device 2 and a camera (image sensor) 3. In this example, a short wavelength cut filter (visible light cut filter) 4 is attached so as to cover the lens of the camera 3.
In the case of another embodiment shown in FIG. 2, the short wavelength cut filter 4 may not be provided.
図２に示す実施例では、携帯型情報機器１に設置されたカメラ３の視野内にそれを操作する人の頭ないし顔が撮像され、表示装置２上に映し出されるようにする。例えば、操作する人、特に当該携帯型情報機器１の所有者の頭や顔の目や鼻や顎などのパーツのうちの特徴点の２点を予め認識させておく。使用に際しては、カメラ３でその２点の射影情報を検知する。その２点の射影情報に対応する表示装置上の中間位置が２次元位置情報となる。この２点の射影情報の間の長さを予め入力しておくことにより、２点の射影情報の長さと撮像された表示装置における２点の長さに基づいて、携帯型情報機器と対象物との間の距離を求めることができる。 In the embodiment shown in FIG. 2, the head or face of the person who operates the camera 3 is imaged in the field of view of the camera 3 installed in the portable information device 1 and displayed on the display device 2. For example, two feature points of parts such as the head, face eyes, nose and chin of the operator, in particular, the owner of the portable information device 1 are recognized in advance. In use, the camera 3 detects the projection information of the two points. The intermediate position on the display device corresponding to the projection information of the two points becomes the two-dimensional position information. By inputting the length between the projection information of the two points in advance, based on the length of the projection information of the two points and the length of the two points on the imaged display device, the portable information device and the object The distance between can be determined.
他の好ましい実施例は、図４内に示す赤外線発光装置６を取り付けたメガネ５を、図３に示すように利用者が装着して使用することである。赤外線発光装置６は、図４に示すように、２つの近赤外線発光ダイオード７が備えられており、それらは、携帯型情報機器１に搭載されたカメラ３の視野内に映るよう、その携帯機器に向けて装着治具８等でメガネ５等に装着されている。ここでは、近赤外線発光ダイオード７が２つ設けられている場合を例示しているが、その数は特に限定しない。近赤外線発光ダイオード７を発光させる電源として、一般には、赤外線発光装置６内もしくは電源線で繋がれたバッテリーボックス内に二次電池などを内蔵し、必要に応じてその充電用端子や発光のＯＮ，ＯＦＦを制御するスイッチ等が設置される。図４では、メガネ５に赤外線発光装置６を設置する場合の例を示しているが、携帯型情報機器１に搭載されたカメラ３の視野内に映れば設置場所は何処でも良く、襟元やイヤホーン、胸ポケット等に装着しても良い。 Another preferred embodiment is that the user wears and uses the glasses 5 to which the infrared light emitting device 6 shown in FIG. 4 is attached as shown in FIG. As shown in FIG. 4, the infrared light emitting device 6 includes two near-infrared light emitting diodes 7, and these portable devices are reflected in the field of view of the camera 3 mounted on the portable information device 1. It is mounted on the glasses 5 or the like with the mounting jig 8 or the like. Here, a case where two near-infrared light emitting diodes 7 are provided is illustrated, but the number is not particularly limited. As a power source for emitting near-infrared light emitting diode 7, a secondary battery or the like is generally built in infrared light emitting device 6 or a battery box connected by a power line, and if necessary, its charging terminal or light emission ON , A switch for controlling OFF is installed. FIG. 4 shows an example in which the infrared light emitting device 6 is installed in the glasses 5, but the installation location may be anywhere as long as it is reflected in the field of view of the camera 3 mounted on the portable information device 1. It may be worn in earphones, breast pockets, etc.
図５の背面図および図７のフローチャートを用いて、図３で示した実施形態における、位置検知方法の例を示す。使用者が２つの光源（近赤外線発光ダイオード７）を含む赤外線発光装置６の像をカメラ３で撮像すると（図７ステップＳ１００）、カメラ３の撮像例９内に、１０で示す発光体の検知の例が映っている。視野内に別の発熱体等がない場合には、赤外線発光装置６からの発光体のみが検知される。そこで、その画面の横方向および縦方向に、検知画像の輝度等の射影を算出する（ステップＳ１１０）。図５内では、横方向射影１１と縦方向射影１２をそれぞれ対応する画像の辺に例示している。そして、それぞれの射影の最大値（１３、１４）を検出して（ステップＳ１２０）、一定のオフセット値１５を引いた値となる射影の値の最も外側の間の幅（１６、１７）を算出する（ステップＳ１３０）。そして、それぞれの中央の座標を表示装置内カーソル等の２次元位置座標（ｘ、ｙ）とし、それらの幅の大きい方の値を携帯型情報機器１と赤外線発光装置６との距離（ｚ）と関連付ける（ステップＳ１４０）。 An example of the position detection method in the embodiment shown in FIG. 3 will be described using the rear view of FIG. 5 and the flowchart of FIG. When the user captures an image of the infrared light emitting device 6 including two light sources (near infrared light emitting diodes 7) with the camera 3 (step S100 in FIG. 7), the detection of the illuminant indicated by 10 is performed in the imaging example 9 of the camera 3. The example of is reflected. When there is no other heating element in the field of view, only the light emitting body from the infrared light emitting device 6 is detected. Therefore, projections such as the brightness of the detected image are calculated in the horizontal and vertical directions of the screen (step S110). In FIG. 5, the horizontal projection 11 and the vertical projection 12 are illustrated as corresponding image sides. Then, the maximum values (13, 14) of the respective projections are detected (step S120), and the width (16, 17) between the outermost values of the projection values obtained by subtracting the constant offset value 15 is calculated. (Step S130). Then, the coordinates of each center are set as two-dimensional position coordinates (x, y) such as a cursor in the display device, and the larger value thereof is the distance (z) between the portable information device 1 and the infrared light emitting device 6. (Step S140).
図２で示した実施例の場合の位置検知方式では、発光体の代わりに、顔等の特定の色情報を用いる。特定の色を検知した画素の数に関して、縦方向及び横方向の射影を取り、その後の処理は前述と同様に行う。 In the position detection method in the embodiment shown in FIG. 2, specific color information such as a face is used instead of the light emitter. With respect to the number of pixels that have detected a specific color, projections in the vertical and horizontal directions are taken, and the subsequent processing is performed in the same manner as described above.
図６に示すように、携帯型情報機器１に内蔵されている加速度センサー１８や裏面カメラ１９などの出力情報を用いて、任意のタイミングでスイッチ操作を行うことが可能となる（ステップＳ１５０）。具体的には、その携帯型情報機器１を保持している手２０の指２１を使って、その携帯型情報機器１を軽く叩けば、携帯型情報機器１の平面に垂直な方向の加速度センサー１８の出力値が急激に変化するので、その変化を捉えることでスイッチ操作を実行することができる。また、裏面カメラ１９のレンズ等を指２１で覆ったりする動作によって、その出力信号の変化からスイッチ操作が可能となる。このように保持している手の指による操作によって、携帯型情報機器１の傾きとは独立に、任意のタイミングでスイッチ操作（マウスにおけるクリック操作）を実行できるので、携帯型情報機器１を保持している片手だけで表示画面内の指示位置の移動とスイッチ操作（マウスと同様の操作）が可能となる。次のスイッチ操作に対応する操作が行われると、ステップＳ１００に戻って繰り返し携帯型情報機器の操作を行うことができる。 As shown in FIG. 6, the switch operation can be performed at an arbitrary timing using output information from the acceleration sensor 18 and the rear camera 19 incorporated in the portable information device 1 (step S150). Specifically, if the portable information device 1 is tapped using the finger 21 of the hand 20 holding the portable information device 1, an acceleration sensor in a direction perpendicular to the plane of the portable information device 1. Since the output value of 18 changes abruptly, a switch operation can be executed by capturing the change. Further, the operation of covering the lens or the like of the rear camera 19 with the finger 21 enables the switch operation from the change of the output signal. Since the switch operation (click operation with the mouse) can be executed at an arbitrary timing independently of the tilt of the portable information device 1 by the operation with the finger of the hand held in this way, the portable information device 1 is held. It is possible to move the indicated position in the display screen and operate the switch (the same operation as a mouse) with only one hand. When an operation corresponding to the next switch operation is performed, it is possible to return to step S100 and repeatedly operate the portable information device.
なお、図７に示す各ステップの処理は、携帯型端末装置１にアプリケーションを組み込むことで、既存のカメラ付きスマートフォンやタブレット端末等の携帯型情報機器で実行することができる。 7 can be executed by an existing portable information device such as a smartphone with a camera or a tablet terminal by incorporating an application into the portable terminal device 1.
本発明は、スマートフォンやタブレット端末などの携帯型情報端末に付属しているカメラを用いて、両手を用いないでカーソル操作が可能な入力装置として、好適に利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be suitably used as an input device that can perform a cursor operation without using both hands, using a camera attached to a portable information terminal such as a smartphone or a tablet terminal.
１ 携帯型情報端末
２ 表示装置
３ イメージセンサー（カメラ）
４ 短波長カットフィルター（可視光カットフィルター）
５ メガネ
６ 赤外線発光装置
７ 近赤外線発光ダイオード
８ 装着治具
９ 撮像例
１０ 発光体検知例
１１ 横方向射影
１２ 縦方向射影
１３，１４ 射影の最大値
１５ オフセット値
１６，１７ 射影の値の最も外側の間の幅
１８ 加速度センサー
１９ 裏面カメラ
２０ 手
２１ 指
1 portable information terminal 2 display device 3 image sensor (camera)
4 Short wavelength cut filter (visible light cut filter)
5 Glasses 6 Infrared light emitting device 7 Near-infrared light emitting diode 8 Mounting jig 9 Imaging example 10 Illuminant detection example 11 Horizontal projection 12 Vertical projection 13, 14 Maximum value of projection 15 Offset value 16, 17 Outermost value of projection Width between 18 Accelerometer 19 Rear camera 20 Hand 21 Finger
Claims (4)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012027541A JP2013164736A (en) | 2012-02-10 | 2012-02-10 | Input device for portable information device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012027541A JP2013164736A (en) | 2012-02-10 | 2012-02-10 | Input device for portable information device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013164736A true JP2013164736A (en) | 2013-08-22 |
Family
ID=49176048
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012027541A Pending JP2013164736A (en) | 2012-02-10 | 2012-02-10 | Input device for portable information device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013164736A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114397961A (en) * | 2021-12-28 | 2022-04-26 | 杭州灵伴科技有限公司 | Head-mounted display device control method, head-mounted display device assembly, and medium |
-
2012
- 2012-02-10 JP JP2012027541A patent/JP2013164736A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114397961A (en) * | 2021-12-28 | 2022-04-26 | 杭州灵伴科技有限公司 | Head-mounted display device control method, head-mounted display device assembly, and medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10908694B2 (en) | Object motion tracking with remote device | |
| EP3438790B1 (en) | Input device and image display system | |
| US20160232715A1 (en) | Virtual reality and augmented reality control with mobile devices | |
| US20150220158A1 (en) | Methods and Apparatus for Mapping of Arbitrary Human Motion Within an Arbitrary Space Bounded by a User's Range of Motion | |
| US20140198130A1 (en) | Augmented reality user interface with haptic feedback | |
| US20160292922A1 (en) | Display control device, display control method, and recording medium | |
| KR101343748B1 (en) | Transparent display virtual touch apparatus without pointer | |
| US10261327B2 (en) | Head mounted display and control method for head mounted display | |
| JP2010108500A (en) | User interface device for wearable computing environmental base, and method therefor | |
| JP2015114818A (en) | Information processing device, information processing method, and program | |
| CN105264572A (en) | Information processing device, information processing method and program | |
| JP3201426U (en) | Virtual two-dimensional positioning module of input device and virtual input device | |
| JPWO2012011263A1 (en) | Gesture input device and gesture input method | |
| CN103299259A (en) | Detection device, input device, projector, and electronic apparatus | |
| JP6344530B2 (en) | Input device, input method, and program | |
| WO2017057107A1 (en) | Input device, input method, and program | |
| JP6483556B2 (en) | Operation recognition device, operation recognition method and program | |
| US20220155881A1 (en) | Sensing movement of a hand-held controller | |
| US11360550B2 (en) | IMU for touch detection | |
| CN109313510A (en) | Integrated free space and surface input device | |
| TWI493382B (en) | Hand posture detection device for detecting hovering and click | |
| TWI471757B (en) | Hand posture detection device for detecting hovering and click | |
| Colaço | Sensor design and interaction techniques for gestural input to smart glasses and mobile devices | |
| JP2013164736A (en) | Input device for portable information device | |
| TW201913298A (en) | Virtual reality system capable of showing real-time image of physical input device and controlling method thereof |