JP2010067090A - Information terminal device - Google Patents
Information terminal device Download PDFInfo
- Publication number
- JP2010067090A JP2010067090A JP2008233945A JP2008233945A JP2010067090A JP 2010067090 A JP2010067090 A JP 2010067090A JP 2008233945 A JP2008233945 A JP 2008233945A JP 2008233945 A JP2008233945 A JP 2008233945A JP 2010067090 A JP2010067090 A JP 2010067090A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- information
- terminal device
- information terminal
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明は、情報を表示する情報端末装置に関し、特に、キーパッド操作および撮影部と撮影対象との間の空間的位置関係を変化させることによって表示部に表示される情報の選択を容易に行うことができる情報端末装置に関する。 The present invention relates to an information terminal device that displays information, and in particular, easily selects information displayed on a display unit by operating a keypad and changing a spatial positional relationship between a shooting unit and a shooting target. The present invention relates to an information terminal device that can
超高齢化社会と情報化社会を迎え、高齢者はその好むと好まざるとに係わらず様々な情報端末(券売機、ATM等)と付き合わざるを得ない状況になってきている。今後ますますその傾向が強まると考えられることから、高齢者が無理なく使いこなせる操作インタフェースを提供することが喫緊の課題となっている。
特に、携帯型情報端末装置において、電子機器回路の集積化に伴って小型・軽量化が進んでいるため、キーパッドの面積を十分に確保できないまま細かな操作を強いられている。その一方、処理性能の向上および記録容量の増大に伴い、情報端末が扱えるサービスやメニュー、アプリケーションの操作は複雑化の一途を辿っている。
このような状況下においては、情報端末装置の操作に不慣れな高齢者だけでなく、ゲーム専用機のコントローラに慣れた若年者にとっても、情報端末装置のキーパッドに代わるインタフェースの提案が期待されていた。
With the arrival of a super-aging society and an information-oriented society, elderly people have no choice but to associate with various information terminals (ticket machines, ATMs, etc.). Since this tendency is expected to increase in the future, it is an urgent task to provide an operation interface that can be used comfortably by the elderly.
In particular, since portable information terminal devices are becoming smaller and lighter with the integration of electronic device circuits, they are forced to perform fine operations without securing a sufficient keypad area. On the other hand, with the improvement of processing performance and the increase in recording capacity, operations of services, menus, and applications that can be handled by information terminals are becoming increasingly complicated.
Under such circumstances, not only elderly people who are unfamiliar with the operation of information terminal devices but also young people who are familiar with controllers for game consoles are expected to propose an interface that replaces the keypad of information terminal devices. It was.
情報端末装置における操作を簡単にして情報を入力したり、情報端末装置の表示部に情報を表示させる技術については、種々の手法が提案されている。
例えば、特許文献1には、地図データ提供装置において、画面上に仮想的なキーを装備し、ユーザによるキー操作に応じて画面上に表示される地図の表示領域や縮尺を変化させる技術が開示されている。
Various techniques have been proposed for inputting information by simplifying operations in the information terminal device or displaying information on the display unit of the information terminal device.
For example,
特許文献2には、テンキーの使用方法に関して、テンキーを用いてディスプレイに表示させるデータ範囲をスクロールさせる操作方法が開示されている。
特許文献3には、携帯電話機において、撮影部が異なるタイミングで撮影した複数の画像を解析して携帯電話機の向きの変化すなわち表示部(撮影部)の方向の変化を算出し、算出した表示部の方向の変化を表示制御装置(サーバ)に送信し、表示制御装置では、携帯電話機から送信された表示部の方向の変化に基づいて、表示すべき表示画像を選択して携帯電話機に送信し、携帯電話機では表示制御装置から送信された表示画像に更新することにより、表示部の方向によって表示している画像を切り換える画像表示システムが記載されている。
In
特許文献4には、表示部近傍に3軸加速度センサなどのセンサを内蔵させ、機器本体を持って表示部がその表示画面に対して垂直方向および水平方向へ移動されたときの移動量を検出し、垂直方向への移動量に応じて情報表示サイズを動的に変更させ、水平方向への移動量に応じて情報表示範囲を動的に変更するようにした電子機器が記載されている。
In
特許文献5には、携帯端末装置に加速度センサを備えることで、手書き文字を認識し表示させる装置が記載されている。
特許文献6には、情報表示装置において加速度センサ等の付加的な装置を搭載することなく、撮影部から入力された画像に対して、連続する画像から複数の局所的な動きを推定し、局所的動き情報を統合した大域的な動きに応じて、表示範囲を変化させる技術が開示されている。
In
特許文献7には、携帯端末装置において、前景の人物が影になるような逆光の環境下で、人物の位置を推定することで、画面内のカーソルの座標を変化させる技術が開示されている。
特許文献8には、携帯電話に搭載されたカメラにより本体の傾きを検出することで、文字入力を行う技術が開示されている。
特許文献9には、携帯端末装置に内蔵するカメラにより、眼球の動きの回数を検出し、その回数により携帯端末装置に対する操作を行う技術が開示されている。 Patent Document 9 discloses a technique in which the number of eyeball movements is detected by a camera built in a mobile terminal device, and an operation is performed on the mobile terminal device based on the number of times.
特許文献10には、携帯端末装置に内蔵するカメラにより、口唇の形状や動きを検出して文字の入力を行う技術が開示されている。
上述した特許文献1及び特許文献2によれば、所望の表示領域に至るまでのキー操作が煩雑であるだけでなく、小さなキーを正しく押下する必要があるため操作性に難があるという問題点がある。
According to
特許文献3によれば、利用者の動作の度にサーバへの通信が発生するためコストが増大するだけでなく、レスポンスが遅くなるという問題点がある。
According to
特許文献4及び特許文献5によれば、直感的かつ容易な操作で表示範囲の変更が実現可能であるが、高価な3軸加速度センサを組み込まなければならないだけでなく、センサの追加に伴う消費電力が増加するという問題点がある。
According to
特許文献6乃至特許文献10によれば、特別なセンサを必要とせずに、携帯電話に搭載される一般的なカメラだけを用いて直感的な操作を実現できる。ただし、操作性は動き推定や位置推定の精度に依存する。特許文献6では速すぎる動きや大きすぎる動きには正しく動作しない虞があるため、慎重で細やかな操作が求められる。
According to
特許文献7によれば、逆光環境下でしか使用できないという問題点がある。また、自由度が高すぎるため必ずしも正確な操作がしやすいとは限らない。特許文献8では、利用者の顔部画像に基づいて表示部を見ているか否かを認識することで傾き誤検出を防止するため複雑な処理が必要であり、顔検出における検出精度や処理速度が課題になる。また、入力文字種を切り替えるだけで文字入力には従前通りキー入力が必要である。
According to
特許文献9及び特許文献10によれば、眼球や口唇を忙しなく動かす必要があるため、入力方法として利用できる状況やユーザが限定されるという問題点がある。 According to Patent Document 9 and Patent Document 10, since it is necessary to move the eyeball and lips without busyness, there is a problem that a situation and a user that can be used as an input method are limited.
本発明は上記実情に鑑みて提案されたもので、付加的なハードウェアを搭載することなく、情報端末装置に対する空間的な動作とキーパッド操作の連携によって、情報端末装置の表示部に表示される情報を制御できる装置を提供することを目的とする。 The present invention has been proposed in view of the above circumstances, and is displayed on the display unit of the information terminal device through the cooperation of the spatial operation and the keypad operation on the information terminal device without mounting additional hardware. An object of the present invention is to provide a device capable of controlling information.
上記目的を達成するため請求項1の発明は、情報を表示する表示部を有する情報端末装置であって、次の各構成を含むことを特徴としている。
前記表示部に表示する情報を記憶するメモリ。
前記情報端末装置の空間的位置関係の変化を推定する推定部。情報端末装置の空間的位置関係の変化は、カメラ認識や加速度センサにより検出する。
前記メモリから読み出して前記表示部に表示する情報を、前記推定部により推定された空間位置関係の変化に応じて制御する制御部。
前記表示部における情報の表示を操作するキーパッド部。
In order to achieve the above object, an invention according to
A memory for storing information to be displayed on the display unit.
An estimation unit that estimates a change in a spatial positional relationship of the information terminal device. A change in the spatial positional relationship of the information terminal device is detected by camera recognition or an acceleration sensor.
A control unit that controls information read from the memory and displayed on the display unit according to a change in a spatial positional relationship estimated by the estimation unit.
A keypad unit for operating display of information on the display unit;
請求項2は、請求項1の情報端末装置において、一定間隔で画像を入力する撮影部を備える一方、
前記推定部は、前記撮影部から入力された画像を解析することで撮影部と撮影対象との間の空間的位置関係の変化を推定することを特徴としている。
In a second aspect of the information terminal device according to the first aspect of the present invention, the information terminal device includes a photographing unit that inputs images at regular intervals.
The estimation unit estimates a change in a spatial positional relationship between the imaging unit and the imaging target by analyzing an image input from the imaging unit.
請求項3は、請求項1又は請求項2の情報端末装置において、前記表示部は、選択可能な情報及び情報選択のためのカーソルを表示する一方、前記キーパッド部は、押下と解放を検知することで前記カーソルの離散的な動きを指定する複数の操作キーを備えて成ることを特徴としている。 According to a third aspect of the present invention, in the information terminal device according to the first or second aspect, the display unit displays selectable information and a cursor for selecting information, while the keypad unit detects pressing and releasing. Thus, a plurality of operation keys for designating discrete movements of the cursor are provided.
請求項4は、請求項1 乃至請求項3のいずれかの情報端末装置において、前記推定部は、前記撮影部により入力された画像から検出された特徴量を用いて、前記撮影部と撮影対象との間の空間的位置関係の変化を方向別に推定する機能を備えて成ることを特徴としている。 According to a fourth aspect of the present invention, in the information terminal device according to any one of the first to third aspects, the estimation unit uses the feature amount detected from the image input by the photographing unit to use the photographing unit and the photographing target. It is characterized by having a function of estimating the change of the spatial positional relationship between and each direction.
請求項5は、請求項4の情報端末装置において、前記推定部は、方向が異なる複数の特徴量を算出し方向別に時間的変化を評価することで、前記撮影部と撮影対象との空間的位置関係の移動量と方向を推定する機能を備えて成ることを特徴としている。 According to a fifth aspect of the present invention, in the information terminal device according to the fourth aspect, the estimation unit calculates a plurality of feature amounts having different directions and evaluates temporal changes for each direction, whereby the spatial relationship between the photographing unit and the photographing target is calculated. It is characterized by having a function of estimating the movement amount and direction of the positional relationship.
請求項6は、請求項4の情報端末装置において、前記推定部は、前記キーパッド部から入力されたキーの状態に応じて、前記撮影部から入力された画像から検出された特徴量を選別することで、選別された特徴量のみによって、前記撮影部と撮影対象との間の空間的位置関係の変化を推定する機能を備えて成ることを特徴としている。
例えば、キーパッド部の特定のキーを押下することで、表示部内におけるカーソル位置の移動範囲が横方向のみ又は縦方向のみとすることで検出される特徴量を制限するように構成する。
According to a sixth aspect of the present invention, in the information terminal device according to the fourth aspect, the estimation unit selects a feature amount detected from an image input from the photographing unit according to a state of a key input from the keypad unit. Thus, it is characterized in that it has a function of estimating a change in the spatial positional relationship between the image capturing unit and the object to be imaged only by the selected feature amount.
For example, by pressing a specific key on the keypad unit, the feature amount detected by limiting the movement range of the cursor position in the display unit to only the horizontal direction or only the vertical direction is limited.
請求項7は、請求項4の情報端末装置において、前記推定部は、時間的に異なる複数画像から差分画像を算出し、該差分画像のそれぞれ方向別に算出した射影の類似性が最大となる移動量をもって、前記撮影部と撮影対象との間の空間的位置関係の変化を推定する機能を備えて成ることを特徴としている。 According to a seventh aspect of the present invention, in the information terminal device according to the fourth aspect, the estimation unit calculates a difference image from a plurality of temporally different images, and the movement that maximizes the similarity of the projection calculated for each direction of the difference image. It is characterized in that it has a function of estimating a change in the spatial positional relationship between the imaging unit and the imaging target with a quantity.
請求項8は、請求項4の情報端末装置において、前記推定部は、前記キーパッド部の操作状況に応じて、前記推定部の特徴量算出における認識方向の切替を制御する機能を備えて成ることを特徴としている。
例えば、キーパッド部の特定のキーを押下することで、水平方向のみの特徴量を算出し、キーの押下が解放された段階で水平及び垂直方向の特徴量を算出するように構成する。
According to an eighth aspect of the present invention, there is provided the information terminal device according to the fourth aspect, wherein the estimation unit has a function of controlling the switching of the recognition direction in the feature amount calculation of the estimation unit according to the operation state of the keypad unit. It is characterized by that.
For example, a feature amount only in the horizontal direction is calculated by pressing a specific key of the keypad unit, and a feature amount in the horizontal and vertical directions is calculated when the key press is released.
請求項9は、請求項4の情報端末装置において、前記推定部は、方向別の特徴量毎に平均値を算出し、予め設定した閾値との大小関係から前記撮影部と撮影対象との間の空間的位置関係の有無を判断する機能を備えて成り、
前記閾値は前記キーパッド部により複数の値を設定可能としたことを特徴としている。
According to a ninth aspect of the present invention, in the information terminal device according to the fourth aspect, the estimation unit calculates an average value for each feature amount in each direction, and determines between the photographing unit and the photographing target based on a magnitude relationship with a preset threshold value. With the ability to determine the presence or absence of the spatial position of
The threshold value is characterized in that a plurality of values can be set by the keypad unit.
請求項10は、請求項4の情報端末装置において、前記推定部は、時間的に異なる複数画像から方向別に算出した各特徴量の極値の座標における二乗誤差和が最小になる移動量をもって、前記撮影部と撮影対象との間の空間的位置関係の変化を推定する機能を備えて成ることを特徴としている。
In the information terminal device according to
請求項11は、請求項1乃至請求項3のいずれかの情報端末装置において、前記制御部は、前記推定部で検出された空間的な動作とキーパッド部で入力されたキー情報との組み合わせに応じて、前記表示部に表示される内容が異なるように制御する機能を備えて成ることを特徴としている。
例えば、表示部において地図を表示する場合に、キーパッド部の特定のキー押下がない状態では、推定部で得られた動きに応じて地図の座標を連続的に移動させ、キー押下がある状態では、推定部で得られた動きに応じてカーソルが地図上のランドマークだけを指すように離散的に移動させるようにする。
An eleventh aspect of the present invention is the information terminal device according to any one of the first to third aspects, wherein the control unit is a combination of a spatial operation detected by the estimation unit and key information input by a keypad unit. According to the above, it is characterized in that it has a function of controlling so that the content displayed on the display unit is different.
For example, when displaying a map on the display unit, if there is no specific key press on the keypad unit, the coordinates of the map are continuously moved according to the movement obtained by the estimation unit, and there is a key press Then, according to the movement obtained by the estimation unit, the cursor is discretely moved so as to point only to the landmark on the map.
請求項12は、選択可能な情報及び情報選択のためのカーソルを表示する表示部と、前記情報の情報選択を行うための操作キーとを有する情報端末装置であって、次の各構成を含む。
前記操作キーは複数設けられ、各操作キーの押下と解放を検知することで前記カーソルの移動範囲を指定するキーパッド部。
一定間隔で画像を入力する撮影部。
前記表示部に表示する情報を記憶するメモリ。
前記撮影部から入力された画像を解析することで撮影部と撮影対象との間の空間的位置関係の変化を推定する推定部。
前記メモリから読み出して前記表示部に表示する情報における前記カーソルの位置を、前記推定部により推定された空間位置関係の変化に応じて制御する制御部。
そして、前記表示部に表示される情報は複数行又は複数列から成る文字行列であり、
前記キーパッド部で指定されたカーソルの移動範囲が前記文字行列の内の一行又は一列であることを特徴としている。
A keypad unit that is provided with a plurality of the operation keys, and designates a movement range of the cursor by detecting depression and release of each operation key.
Shooting unit that inputs images at regular intervals.
A memory for storing information to be displayed on the display unit.
An estimation unit that estimates a change in a spatial positional relationship between an imaging unit and an imaging target by analyzing an image input from the imaging unit.
A control unit that controls the position of the cursor in the information read from the memory and displayed on the display unit according to a change in a spatial positional relationship estimated by the estimation unit.
And the information displayed on the display unit is a character matrix consisting of a plurality of rows or a plurality of columns,
The range of movement of the cursor specified in the keypad section is one row or one column in the character matrix.
本発明によれば、情報端末装置を動かすことによる空間的位置関係の変化(例えば、撮影部に対する空間的な動作)とキーパッド操作を連携させることにより、情報端末装置の入力画像から空間的な相対的位置関係を推定し、表示部で表示される情報又は情報画面におけるカーソルの位置を、推定部により推定された空間位置関係の変化に応じて制御するので、ユーザは情報端末装置の空間的位置を変化させるという直観的な操作で、表示される情報を制御できる。
したがって、情報端末装置の利用者は、情報端末装置の動き及びキー操作に対応づけられた表示部でのカーソル位置の移動について、直感的に行うことが可能となる。
According to the present invention, a spatial positional change caused by moving an information terminal device (for example, a spatial operation with respect to a photographing unit) and a keypad operation are linked to obtain a spatial response from an input image of the information terminal device. The relative positional relationship is estimated, and the position of the cursor on the information displayed on the display unit or the information screen is controlled according to the change in the spatial positional relationship estimated by the estimating unit. The information displayed can be controlled by an intuitive operation of changing the position.
Therefore, the user of the information terminal device can intuitively perform the movement of the information terminal device and the movement of the cursor position on the display unit associated with the key operation.
また、撮影部に対する空間的な動作に加えて、キーパッド操作を連携させることにより、空間的な相対的位置関係を推定する場合の処理の簡略化を図ることができる。 Further, in addition to the spatial operation for the photographing unit, it is possible to simplify the processing when estimating the spatial relative positional relationship by linking keypad operations.
情報端末装置の表示部で表示される情報の制御は、撮影部に入力された画像を解析することにより推定される撮影部と撮影対象との間の空間的位置関係の変化を元に行うのでソフトウエアで可能であり、ジャイロや加速度センサなどの特別なハードウェアを情報端末に組み込む必要がない。 Control of information displayed on the display unit of the information terminal device is performed based on a change in the spatial positional relationship between the imaging unit and the imaging target estimated by analyzing the image input to the imaging unit. This is possible with software, and it is not necessary to incorporate special hardware such as a gyroscope or an acceleration sensor into the information terminal.
以下、本発明の情報端末装置の一実施形態について、図面を参照しながら説明する。
図1は本発明の情報端末装置の第1の実施形態を示す機能ブロック図である。図2は情報端末装置の外観図であり、通常の携帯電話の外観を有して構成されている。
Hereinafter, an embodiment of an information terminal device of the present invention will be described with reference to the drawings.
FIG. 1 is a functional block diagram showing a first embodiment of the information terminal device of the present invention. FIG. 2 is an external view of the information terminal device, which is configured to have the appearance of a normal mobile phone.
情報端末装置1は、図1及び図2に示すように、画像を取り込む撮影部11と、情報入力のためのキーパッド部12と、撮影部11からの画像信号とキーパッド部12からの情報により情報端末装置1の動きを推定する推定部13と、文字情報や地図情報等の情報を表示するための表示部14と、表示部14に表示させるための情報を記録するメモリ15と、キーパッド部12・推定部13・メモリ15からの信号を受けて表示部14に表示する情報の制御を行う制御部16を備えている。
As shown in FIGS. 1 and 2, the
撮影部11は、情報端末装置1に内蔵されたカメラで構成され、一定間隔で任意の画像を入力し、入力画像を推定部13に出力するようになっている。撮影部11は情報端末装置内に備えられているので、利用者が情報端末装置1を撮影部11の撮影面に対して垂直方向や水平方向などに移動させると、撮影部11と撮影対象との間の空間的位置関係が移動に応じて同じように変化することになる。
したがって、例えば、入力文字行列や地図が表示部14に表示されている場合に、表示されている文字や地図の表示位置について、表示部内に表示される画像のスクロール移動に際して、又は、表示部内に表示されたカーソル位置を移動するに際して、利用者が情報端末装置を撮影部の撮影面に対して垂直方向や水平方向などに移動させると、撮影部と撮影対象との間の空間的位置関係に応じて画像がスクロール移動、又は、画像内のカーソル位置が移動するよう構成されている。
The
Therefore, for example, when an input character matrix or a map is displayed on the
キーパッド部12は、テンキー、十字キー、その他のキーを備えて構成され、他の処理部と並列に動作し、複数のキー毎にユーザによる押下と解放を独立して検出するようになっている。キーパッド部12におけるキーの種類とキーの状態とから判断されるキー情報は、推定部13及び制御部16へ出力され、この情報に基づいて表示部14における情報の表示を操作する。例えば、複数キーの押下と解放を検知することで表示部14に表示されるカーソルの離散的な動きを指定する。
The
推定部13は、特徴量抽出手段131と動き推定手段132を有し、撮影部11により入力された画像を解析して撮影部11と撮影対象との間の空間的位置関係の変化を推定する。この推定の手法については後述する。
The
メモリ15上には表示部14で表示する表示情報が予め展開されている。
制御部16は、推定部13で推定された撮影部11と撮影対象との間の空間的位置関係の変化およびキーパッド部12で入力されたキー情報に応じてメモリ上の該当する情報を読み出し、表示部14に送る。
表示部14は、制御部16から送出されてきた表示情報を表示する。
Display information to be displayed on the
The
The
また、制御部16は、推定部13による動きの推定結果とキーパッド部12の2系統から同時に入力を受け付けることで、動き推定手段131で推定された動きに対して、ユーザによって押下されたキーの種類毎に異なる動作を割り付ける。したがって、同一の動き推定結果であってもキー入力との組み合わせによって異なる制御を適用する。
In addition, the
例えば、動き推定手段131で推定される動きと、ユーザによって押下されたキーパッド部12のキー操作との組み合わせは、次のようなものが考えられる。
(1)キーパッド部の特定のキー押下がない状態では、推定部で得られた動きに応じて表示部内のカーソル位置を連続的に移動させ、キー押下でカーソル位置を選択する。
(2)キーパッド部の特定のキーを押下することで、表示部内におけるカーソル位置の移動範囲が横方向のみ又は縦方向のみとすることで検出される特徴量を制限し、キー解放でカーソル位置を選択する。
(3)キーパッド部の特定のキーを押下することで、水平方向のみの特徴量を算出し、キーの押下が解放された段階で水平及び垂直方向の特徴量を算出するように構成する。
(4)キーパッド部の特定のキー押下がない状態では、推定部で得られた動きに応じて表示部内の座標を連続的に移動させ、キー押下がある状態では、推定部で得られた動きに応じてカーソルが予め設定された部位だけを指すように離散的に移動させる。
(5)キーパッド部の複数のキーの一つを押下することで、表示部に表示されて各キーに対応する範囲内でのみカーソル位置の移動範囲が限定されて検出される特徴量を制限し、キー解放でカーソル位置を選択する。
For example, the following may be considered as a combination of the motion estimated by the
(1) In a state where a specific key of the keypad is not pressed, the cursor position in the display unit is continuously moved according to the movement obtained by the estimation unit, and the cursor position is selected by pressing the key.
(2) By pressing a specific key on the keypad unit, the feature amount detected by limiting the moving range of the cursor position in the display unit only in the horizontal direction or only in the vertical direction is limited. Select.
(3) A feature amount only in the horizontal direction is calculated by pressing a specific key of the keypad unit, and a feature amount in the horizontal and vertical directions is calculated when the key press is released.
(4) The coordinates in the display unit are continuously moved in accordance with the movement obtained by the estimation unit in a state where no specific key is pressed on the keypad unit, and obtained in the estimation unit when there is a key press. According to the movement, the cursor is discretely moved so as to point only to a preset part.
(5) By pressing one of a plurality of keys on the keypad unit, the moving amount of the cursor position is limited only within the range corresponding to each key displayed on the display unit, and the detected feature amount is limited. Select the cursor position by releasing the key.
上記構成により、利用者が情報端末装置を、例えばその空間的位置を上下左右方向に変化させれば表示画面や画面内のカーソル位置が変化するので、表示部14に表示されるカーソル位置の操作や画面スクロール等の操作を直感的に行うことができる。また、利用者が情報端末装置の空間的位置を連続的に変化させれば、表示部14の表示もそれに応じて連続的に変化するように切り替えられる。
With the above configuration, if the user changes the information terminal device, for example, its spatial position in the vertical and horizontal directions, the display screen and the cursor position in the screen change, so the operation of the cursor position displayed on the
上記例では、情報端末装置1の空間的位置関係の変化を推定する推定部として撮影部11を使用し、入力される画像の変化により情報端末装置1の空間的位置関係の変化をカメラ認識で検出するようにしたが、情報端末装置に加速度センサを搭載して検出するようにしてもよい。すなわち、加速度センサにより情報端末装置1の動きの変化を検知し、空間的位置関係の変化を推定する。加速度センサを使用する場合には、撮影部11は不要となる。
In the above example, the
次に、推定部13で撮影部11と撮影対象との間の空間的位置関係の変化を推定し、表示部14に表示する動作について、図3乃至図5を参照しながら説明する。
撮影部11と撮影対象との間の空間的位置関係の変化は、利用者が情報端末装置を持ってそれを移動させる動作に基づくので、以下ではそれを利用者の動作として説明する。
Next, an operation in which the
Since the change in the spatial positional relationship between the
利用者の動作は、撮影部11で入力された画像から動き情報を検出し、検出される動き情報の分布に基づいて推定できる。入力された画像から検出される動き情報は、図3に示したフローチャートの手順で処理される。以下、キーパッド部12からのキー情報で押下された状態のキーが存在せず、水平方向及び垂直方向の特徴量が算出できる場合について説明する。
例えば、利用者が情報端末装置を左に振った場合、一定の時間間隔で撮影部11に入力される各画像は、それぞれ図4(a)(b)に示すようになり、各画像から水平方向及び垂直方向のついての特徴量を抽出する。
すなわち、撮影部11で取得された画像およびキーパッド部12からキー情報が特徴量抽出手段131に入力され、入力画像から複数の特徴量を抽出する(ステップ31)。動き推定手段132は特徴量の時間的変化を評価することにより、垂直または水平方向の動きの有無を検出する。
The user's operation can be estimated based on motion information detected from an image input by the photographing
For example, when the user shakes the information terminal device to the left, the images input to the photographing
That is, key information is input from the image acquired by the photographing
特徴量の算出は、入力時間が異なる複数の画像から差分画像を算出し、差分画像の空間的な方向毎に射影を計算する(図4(a)(b))。方向に関しては水平垂直に限らず、斜め方向に対する特徴量を算出しても良い。 The feature amount is calculated by calculating a difference image from a plurality of images having different input times and calculating a projection for each spatial direction of the difference image (FIGS. 4A and 4B). The direction is not limited to horizontal and vertical, and a feature amount with respect to an oblique direction may be calculated.
続いて、特徴量抽出手段131で抽出された特徴量は動き推定手段132に入力され、特徴量の時間的変化を評価することで動作を推定する(ステップ32)。方向別の特徴量はユーザが動かした方向に依存して変化するため、各方向における特徴量の変化を比較(図4(c)(d))することで動きの方向と大きさを推定する。
Subsequently, the feature amount extracted by the feature
推定部13において選択された方向及び移動量については、推定された動き(空間的な位置関係の変化)として制御部16へ出力される。制御部16では、推定部13で推定された撮影部11と撮影対象との間の空間的位置関係の変化に合わせてメモリ15上の該当する表示情報を読み出し、表示部14に送出する。
The direction and amount of movement selected by the
推定部13における特徴量からの移動量の推定(算出)及びこれに基づいて制御部16が行う表示部14への表示は、図5のフローチャートの手順で処理される。
方向別に特徴量の平均を算出した後、先ず水平方向における平均値|x|が予め設定された閾値t1より大きいか否かを判定する(ステップ51)。ここで平均値|x|が閾値t1以下の場合は、当該方向の動きはないと判断する。平均値|x|が閾値t1より大きいと判定した場合は、動きが存在すると判断し、後述する方法で移動量を算出し(ステップ52)、対応する移動方向に前記移動量に対応する画素数だけ水平移動した情報をメモリ15から読み出す(ステップ53)。これにより表示部14の表示情報が移動量に対応する画素数だけ水平移動する。
なお、動きの検出感度を変化させるために、複数の閾値を特定のキーに割り当てておき、キーの押下によって閾値を随時変化させることができるようになっている。
The estimation (calculation) of the movement amount from the feature amount in the
After calculating the average of the feature values for each direction, it is first determined whether or not the average value | x | in the horizontal direction is greater than a preset threshold value t1 (step 51). If the average value | x | is equal to or less than the threshold value t1, it is determined that there is no movement in the direction. When it is determined that the average value | x | is larger than the threshold value t1, it is determined that there is a motion, and a movement amount is calculated by a method described later (step 52), and the number of pixels corresponding to the movement amount in the corresponding movement direction. Only the horizontally moved information is read from the memory 15 (step 53). Thereby, the display information on the
In order to change the motion detection sensitivity, a plurality of threshold values are assigned to specific keys, and the threshold values can be changed at any time by pressing the key.
ステップ53の処理後、あるいは平均値|x|が閾値t1以下であると判定した場合には、垂直方向の平均値|y|が閾値t2より大きいかどうか判定する(ステップ54)。ここで平均値|y|が閾値t2より大きいと判定した場合、移動量を算出し(ステップ55)、対応する移動方向に前記移動量に対応する画素数だけ垂直移動した情報をメモリ15から読み出す(ステップ56)。これにより表示部14の表示情報が移動量に対応する画素数だけ垂直移動する。
After
上記のように、特徴量の水平方向の平均値|x|が閾値t1より大きい、特徴量の垂直方向の平均値|y|が閾値t2より大きい場合だけ表示部14の情報表示を移動することにより、手振れによる情報表示の過剰な移動を抑制できる。特定のキーの押下によって閾値の値を随時変化させることができるので、手振れに対する感度を調整することができる。
As described above, the information display on the
移動前(過去)および移動後(現在)の特徴量について、類似性が最大となる移動量の算出について説明する。相互の特徴量の時間的変化を評価する方法としては、特徴量の極値の移動量を比較する(図4(e))。現在の極値と過去の極値の座標との差を算出し、探索初期値として設定し、特徴量の畳み込みで二乗誤差和が最小となる移動量を求める。過去の特徴量ft-1(i)と現在の特徴量ft(i)とすると、移動量xを次式で求める。 A description will be given of the calculation of the movement amount that maximizes the similarity with respect to the feature amount before movement (past) and after movement (present). As a method for evaluating the temporal change of the mutual feature value, the movement amount of the extreme value of the feature value is compared (FIG. 4E). The difference between the current extreme value and the coordinates of the past extreme value is calculated, set as a search initial value, and the amount of movement that minimizes the sum of square errors is obtained by convolution of the feature value. Assuming that the past feature quantity ft-1 (i) and the current feature quantity ft (i), the movement amount x is obtained by the following equation.
キーパッド部12からのキー情報で押下された状態のキーが存在する場合は、予め定めた対応関係に応じて算出する特徴量を限定し、対応する方向の特徴量だけが抽出される。例えば、特定のキーが押下されている間は水平方向のみの特徴量を算出し、解放された段階で水平および垂直方向の特徴量を算出する。他のキーの場合は押下・解放に関わらず水平および垂直方向の特徴量を算出する。
この場合、キーパッド部12で入力されたキー情報によって特徴量抽出手段131が抽出する方向に制限が課せられ、自動的に該方向の特徴量が選択される(水平移動又は垂直移動の単一の制御)。
If there is a key pressed down with key information from the
In this case, a restriction is imposed on the direction in which the feature
次に、利用者が情報端末装置を動かすことで撮影部11に生じる空間的な動きと、キーパッド部12へのキー操作と、それらにより表示部14に表示される表示(カーソル位置)の対応関係の具体例として、文字入力を行うインタフェースを例に説明する。
情報端末装置の表示部14には、図6(a)(b)に示すような文字行列60から構成される各文字行61又は各文字列62が表示されている。表示部14には、各文字行61又は各文字列62内の各文字を選択するカーソル65が表示され、カーソル65の位置は、推定部13で得られた動き(空間的な位置関係の変化)に応じて移動することにより、撮影部11の動き及びキーパッド部12のキーの操作により、文字が入力できるようになっている。
Next, the correspondence between the spatial movement that occurs in the photographing
Each
撮影部11の動き及びキーパッド部12のキーの操作による文字の入力は、例えば撮影部11の空間的な位置関係の変化に応じて表示部14のカーソル65の位置が上下左右に動き、キーパッド部12における特定のキーを押下した時にカーソル65が指している文字が入力される。
また、キー操作でカーソル65の動きを制限する場合は、例えば文字行61又は文字列62のあ行に対応するキーを押し続ける間はカーソルの移動があ行の範囲(「あ」「い」「う」「え」「お」「1」)に限定されると同時に可動範囲が強調表示されユーザに分かりやすく表示されるようにする。強調表示は、ハイライト表示、拡大表示などが指定できるようにする。また、入力途中の文字列および押下されたキー、入力履歴、入力されようとしている単語を推定し、推定された文字にカーソルの初期位置を設定する。また、推定された単語を選択できるように表示することもできる。キーを離した時点でカーソル65が指している文字(あ行の文字又は「1」)を入力する。
The input of characters by the movement of the
Further, when the movement of the
あ行が横表示された図6(a)の例に対応させて説明すると、キー押下の状態が続く間は横方向の特徴量だけを抽出し、左右の動きあるいは左右のひねりの動きを検知してカーソル65の動きを選択された一つの文字行61に対応させる。キーが解放された時点でカーソル65が指している座標の文字(図6(a)の場合「せ」)が入力される。
また、あ行が縦表示された図6(b)の場合は、キー押下の状態が続く間は縦方向の特徴量だけを抽出し、上下の動きあるいは上下のひねりの動きを検知してカーソル65の動きを選択された一つの文字列62に対応させる。キーが解放された時点でカーソル65が指している座標の文字を入力する。
Explaining in correspondence with the example of FIG. 6A in which the row is displayed horizontally, only the horizontal feature amount is extracted while the key is pressed, and the left / right movement or the left / right twist movement is detected. Thus, the movement of the
In the case of FIG. 6B in which the row is vertically displayed, only the vertical feature amount is extracted while the key is pressed, and the cursor is detected by detecting the vertical movement or the vertical movement. 65 movements are made to correspond to one selected
上述した文字の入力によれば、小さなキーを何度も押すことなく、直感的かつ素早く文字入力を実現できる。また、意図する方向への動作が正確に反映され、意図しない方向へのぶれを操作に反映しないことが可能となり、入力操作の正確性が確保される。さらに、キー押下によるカーソル可動範囲の設定により、カーソルの移動量が削減することから入力速度の改善と効率化が実現できる。 According to the character input described above, the character input can be realized intuitively and quickly without repeatedly pressing a small key. In addition, the motion in the intended direction is accurately reflected, and it is possible not to reflect the shake in the unintended direction in the operation, thereby ensuring the accuracy of the input operation. Furthermore, since the cursor movement amount is reduced by setting the cursor movable range by pressing a key, the input speed can be improved and the efficiency can be improved.
図7は、表示部14に表示される画像が地図70である場合に、撮影部11に生じる空間的な動きと、キーパッド部12へのキー操作と、それらにより表示部14に表示される表示(カーソル位置)の対応関係を示すものである。
表示部14の地図表示において、キーパッド部12におけるキー押下がない状態では推定部13で得られた動きに応じて地図70の座標を連続的に移動させる。キーパッド部12におけるキー押下がある状態では、推定部13で得られた動きに応じて地図上のランドマークA,B,Cだけをカーソル75が指すように離散的に移動させるようにする。
FIG. 7 shows a case where the image displayed on the
In the map display on the
特定のキーに特定のランドマークを割り当てることもできる。例えば、「1」のキーが押下されている間は地図上の飲食店だけに移動でき、「2」のキーが押下されている間は地図上の駅だけに移動できるようにしてもよい。選択された場所が変化するときにはバイブレータを動作させたり、ライトを点滅させることで動作を強調することも可能である。 A specific landmark can be assigned to a specific key. For example, it is possible to move only to restaurants on the map while the “1” key is pressed, and to move only to stations on the map while the “2” key is pressed. When the selected location changes, the operation can be emphasized by operating the vibrator or blinking the light.
上述した情報端末装置1によれば、情報端末装置1を動かすことによる撮影部11に対する空間的な動作とキーパッド部12のキー操作を連携させることにより、撮影部11の入力画像から空間的な相対的位置関係を推定し、表示部14で表示される情報(文字行列60、地図70)におけるカーソル65,75の位置を、推定部13により推定された空間位置関係の変化に応じて制御するので、ユーザは情報端末装置1を動かすことで空間的位置を変化させるという直観的な操作で、表示される情報を制御できる。
したがって、情報端末装置1の利用者は、情報端末装置1の動き及びキーパッド部12でのキー操作に対応づけられた表示部14でのカーソル65,75の位置の移動について、直感的な動作で行うことが可能となる。
According to the
Therefore, the user of the
1…情報端末装置、 11…撮影部、 12…キーパッド部、 13…推定部、 14…表示部、 15…メモリ、 16…制御部、 60…文字行列、 61…文字行、 62…文字列、 65…カーソル、 70…地図、 75…カーソル、 131…特徴量抽出手段、 132…動き推定手段。
DESCRIPTION OF
Claims (12)
前記表示部に表示する情報を記憶するメモリと、
前記情報端末装置の空間的位置関係の変化を推定する推定部と、
前記メモリから読み出して前記表示部に表示する情報を、前記推定部により推定された空間位置関係の変化に応じて制御する制御部と、
前記表示部における情報の表示を操作するキーパッド部と
を具備することを特徴とする情報端末装置。 An information terminal device having a display unit for displaying information,
A memory for storing information to be displayed on the display unit;
An estimation unit for estimating a change in a spatial positional relationship of the information terminal device;
A control unit that controls information read out from the memory and displayed on the display unit according to a change in a spatial positional relationship estimated by the estimation unit;
An information terminal device comprising: a keypad unit for operating display of information on the display unit.
前記推定部は、前記撮影部から入力された画像を解析することで撮影部と撮影対象との間の空間的位置関係の変化を推定する
ことを特徴とする請求項1に記載の情報端末装置。 While equipped with a shooting unit that inputs images at regular intervals,
The information terminal apparatus according to claim 1, wherein the estimation unit estimates a change in a spatial positional relationship between the imaging unit and the imaging target by analyzing the image input from the imaging unit. .
前記キーパッド部は、押下と解放を検知することで前記カーソルの離散的な動きを指定する複数の操作キーを備えて成る請求項1 又は請求項2に記載の情報端末装置。 While the display unit displays selectable information and a cursor for selecting information,
The information terminal device according to claim 1, wherein the keypad unit includes a plurality of operation keys for designating discrete movements of the cursor by detecting depression and release.
前記閾値は前記キーパッド部により複数の値を設定可能とした請求項4に記載の情報端末装置。 The estimation unit has a function of calculating an average value for each feature amount by direction and determining the presence or absence of a spatial positional relationship between the imaging unit and the imaging target based on a magnitude relationship with a preset threshold value. Consisting of
The information terminal device according to claim 4, wherein a plurality of values can be set for the threshold value by the keypad unit.
前記操作キーは複数設けられ、各操作キーの押下と解放を検知することで前記カーソルの移動範囲を指定するキーパッド部と、
一定間隔で画像を入力する撮影部と、
前記表示部に表示する情報を記憶するメモリと、
前記撮影部から入力された画像を解析することで撮影部と撮影対象との間の空間的位置関係の変化を推定する推定部と、
前記メモリから読み出して前記表示部に表示する情報における前記カーソルの位置を、前記推定部により推定された空間位置関係の変化に応じて制御する制御部とを具備し、
前記表示部に表示される情報は複数行又は複数列から成る文字行列であり、
前記キーパッド部で指定されたカーソルの移動範囲が前記文字行列の内の一行又は一列であることを特徴とする情報端末装置。
An information terminal device comprising: a display unit that displays selectable information and a cursor for selecting information; and an operation key for performing information selection of the information,
A plurality of the operation keys are provided, and a keypad unit for designating a movement range of the cursor by detecting depression and release of each operation key;
A shooting unit that inputs images at regular intervals;
A memory for storing information to be displayed on the display unit;
An estimation unit that estimates a change in a spatial positional relationship between the imaging unit and the imaging target by analyzing an image input from the imaging unit;
A control unit that controls the position of the cursor in the information read from the memory and displayed on the display unit according to a change in the spatial positional relationship estimated by the estimation unit;
The information displayed on the display unit is a character matrix composed of a plurality of rows or a plurality of columns,
The information terminal device characterized in that the range of movement of the cursor designated by the keypad section is one row or one column of the character matrix.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008233945A JP5080409B2 (en) | 2008-09-11 | 2008-09-11 | Information terminal equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008233945A JP5080409B2 (en) | 2008-09-11 | 2008-09-11 | Information terminal equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010067090A true JP2010067090A (en) | 2010-03-25 |
JP5080409B2 JP5080409B2 (en) | 2012-11-21 |
Family
ID=42192613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008233945A Expired - Fee Related JP5080409B2 (en) | 2008-09-11 | 2008-09-11 | Information terminal equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5080409B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012063593A1 (en) | 2010-11-08 | 2012-05-18 | 株式会社エヌ・ティ・ティ・ドコモ | Object display device and object display method |
US9020196B2 (en) | 2012-08-15 | 2015-04-28 | International Business Machines Corporation | Extracting feature quantities from an image to perform location estimation |
WO2017158647A1 (en) * | 2016-03-17 | 2017-09-21 | 日本電気株式会社 | Passenger counting device, system, method and program, and vehicle travel amount calculation unit, method and program |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004534302A (en) * | 2001-05-16 | 2004-11-11 | マイオリゴ オサケ ユキチュア | Method and apparatus for browsing information on a display device |
-
2008
- 2008-09-11 JP JP2008233945A patent/JP5080409B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004534302A (en) * | 2001-05-16 | 2004-11-11 | マイオリゴ オサケ ユキチュア | Method and apparatus for browsing information on a display device |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012063593A1 (en) | 2010-11-08 | 2012-05-18 | 株式会社エヌ・ティ・ティ・ドコモ | Object display device and object display method |
US9171388B2 (en) | 2010-11-08 | 2015-10-27 | Ntt Docomo, Inc. | Object display device and object display method |
US9020196B2 (en) | 2012-08-15 | 2015-04-28 | International Business Machines Corporation | Extracting feature quantities from an image to perform location estimation |
US9087268B2 (en) | 2012-08-15 | 2015-07-21 | International Business Machines Corporation | Extracting feature quantities from an image to perform location estimation |
WO2017158647A1 (en) * | 2016-03-17 | 2017-09-21 | 日本電気株式会社 | Passenger counting device, system, method and program, and vehicle travel amount calculation unit, method and program |
JPWO2017158647A1 (en) * | 2016-03-17 | 2018-11-15 | 日本電気株式会社 | Passenger number measuring device, system, method and program, vehicle movement amount calculating device, method and program |
US10318829B2 (en) | 2016-03-17 | 2019-06-11 | Nec Corporation | Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program |
US10755124B2 (en) | 2016-03-17 | 2020-08-25 | Nec Corporation | Passenger counting device, system, method and program, and vehicle movement amount calculation device, method and program |
Also Published As
Publication number | Publication date |
---|---|
JP5080409B2 (en) | 2012-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107493495B (en) | Interactive position determining method, system, storage medium and intelligent terminal | |
JP5802667B2 (en) | Gesture input device and gesture input method | |
US10511778B2 (en) | Method and apparatus for push interaction | |
JP5765019B2 (en) | Display control apparatus, display control method, and program | |
JP5412227B2 (en) | Video display device and display control method thereof | |
US20190384450A1 (en) | Touch gesture detection on a surface with movable artifacts | |
WO2011142317A1 (en) | Gesture recognition device, method, program, and computer-readable medium upon which program is stored | |
EP2068235A2 (en) | Input device, display device, input method, display method, and program | |
US10234955B2 (en) | Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program | |
WO2006036069A1 (en) | Information processing system and method | |
CN111475059A (en) | Gesture detection based on proximity sensor and image sensor | |
AU2011296204A1 (en) | Use camera to augment input for portable electronic device | |
JP2006209563A (en) | Interface device | |
KR101631011B1 (en) | Gesture recognition apparatus and control method of gesture recognition apparatus | |
US10296096B2 (en) | Operation recognition device and operation recognition method | |
CN103019518A (en) | Method of automatically adjusting human-computer interaction interface | |
CN113253908B (en) | Key function execution method, device, equipment and storage medium | |
US20240184403A1 (en) | Personal digital assistant | |
US11886643B2 (en) | Information processing apparatus and information processing method | |
JP5080409B2 (en) | Information terminal equipment | |
US9665232B2 (en) | Information-processing device, storage medium, information-processing method, and information-processing system for enlarging or reducing an image displayed on a display device | |
US9235338B1 (en) | Pan and zoom gesture detection in a multiple touch display | |
US9350918B1 (en) | Gesture control for managing an image view display | |
JP5252579B2 (en) | Information terminal equipment | |
US20240160294A1 (en) | Detection processing device, detection processing method, information processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120718 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120808 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120830 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |