JP2014106924A - Terminal device, control method, and computer program - Google Patents
Terminal device, control method, and computer program Download PDFInfo
- Publication number
- JP2014106924A JP2014106924A JP2012261700A JP2012261700A JP2014106924A JP 2014106924 A JP2014106924 A JP 2014106924A JP 2012261700 A JP2012261700 A JP 2012261700A JP 2012261700 A JP2012261700 A JP 2012261700A JP 2014106924 A JP2014106924 A JP 2014106924A
- Authority
- JP
- Japan
- Prior art keywords
- display
- area
- control unit
- terminal device
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Abstract
Description
本発明は、表示面に対する角度に応じて複数の異なる表示が可能な装置におけるポインティングデバイスの制御技術に関する。 The present invention relates to a pointing device control technique in an apparatus capable of a plurality of different displays depending on an angle with respect to a display surface.
近年、裸眼立体ディスプレイが急速に普及している。裸眼立体ディスプレイの実装方式として、例えばパララックスバリア方式、レンチキュラレンズ方式などが提案されている。これらの方式の基本原理は、左右両眼に異なる画像を見せることで両眼視差を作り出し、立体として知覚させるものである。この左右両眼に異なる画像を提示する機能を利用して、視点によって異なる映像を提示する多指向ディスプレイも提案されている(非特許文献1参照)。 In recent years, autostereoscopic displays have rapidly become widespread. As a method for mounting an autostereoscopic display, for example, a parallax barrier method, a lenticular lens method, and the like have been proposed. The basic principle of these systems is to create binocular parallax by showing different images to the left and right eyes, and to perceive them as a solid. A multi-directional display that presents different images depending on the viewpoint using the function of presenting different images to the left and right eyes has been proposed (see Non-Patent Document 1).
多指向ディスプレイは、主にパブリックビュー、カーナビゲーションシステムなどにおいて、視点位置に応じた映像を提示する用途で用いられてきた。近年では、多指向ディスプレイをスマートフォン、タブレットPC(Personal Computer)、据え置き型PCなどの端末装置に適用することも検討されている。このような端末装置は、仮想的に複数のディスプレイを持つ端末装置(仮想マルチディスプレイ端末装置)として利用可能である。そのため、例えば一台の端末装置で複数のユーザそれぞれに対し異なる表示を提示することが可能となる。 Multi-directional displays have been used mainly in public views, car navigation systems, and the like to present images according to viewpoint positions. In recent years, application of multi-directional displays to terminal devices such as smartphones, tablet PCs (Personal Computers), and stationary PCs has also been studied. Such a terminal device can be used as a terminal device (virtual multi-display terminal device) having a plurality of virtual displays. Therefore, for example, it is possible to present different displays to a plurality of users with one terminal device.
しかしながら、仮想マルチディスプレイ端末装置では、ポインティングデバイス(マウス、タッチスクリーン等)を用いて操作がなされた際に、複数存在する表示のうち、どの表示において行われた操作であるのか判断することが困難となる。 However, in a virtual multi-display terminal device, when an operation is performed using a pointing device (mouse, touch screen, etc.), it is difficult to determine which display is performed from among a plurality of displays. It becomes.
上記事情に鑑み、本発明は、表示面に対する角度に応じて複数の異なる表示が可能な装置において、ポインティングデバイスを用いた操作が行われた際に、どの表示に対する操作であるのか判断可能な技術の提供を目的としている。 In view of the above circumstances, the present invention is a technology capable of determining which display operation is performed when an operation using a pointing device is performed in an apparatus capable of a plurality of different displays depending on an angle with respect to the display surface. The purpose is to provide.
本発明の一態様は、表示面に対する角度に応じて複数の異なる表示を行う表示部と、ポインティングデバイスによる操作を受け付ける入力部と、前記入力部において、操作領域において操作位置に応じた処理が必要となる何らかの操作がなされた場合に、前記複数の異なる表示の中から前記操作が行われた対象の表示である操作対象表示を判定し、前記操作対象表示において、前記操作の結果を反映させる制御部と、を備える端末装置である。 One embodiment of the present invention requires a display unit that performs a plurality of different displays depending on an angle with respect to a display surface, an input unit that receives an operation using a pointing device, and a process corresponding to the operation position in the operation region in the input unit Control for determining an operation target display that is a display of an object on which the operation has been performed from among the plurality of different displays, and reflecting the result of the operation in the operation target display A terminal device.
本発明の一態様は、上記の端末装置であって、前記操作領域を、前記複数の異なる表示間で重複した位置に表示されないように制御する操作領域制御部をさらに備え、前記制御部は、前記操作領域のうち前記操作がなされた位置を含む操作領域に対応する表示を前記操作対象表示として判定する。 One aspect of the present invention is the terminal device described above, further including an operation region control unit that controls the operation region so that the operation region is not displayed at an overlapping position between the plurality of different displays, and the control unit includes: The display corresponding to the operation area including the position where the operation is performed in the operation area is determined as the operation target display.
本発明の一態様は、上記の端末装置であって、前記操作対象表示を指示するための操作がなされる領域である初期操作領域を、前記複数の異なる表示間で重複した位置に表示されないように制御する操作領域制御部をさらに備え、前記制御部は、前記初期操作領域のうち前記操作がなされた位置を含む初期操作領域に対応する表示を前記操作対象表示として判定する。 One aspect of the present invention is the above-described terminal device, wherein an initial operation area, which is an area in which an operation for instructing the operation target display is performed, is not displayed at an overlapping position between the plurality of different displays. The control unit further includes an operation region control unit that controls the display, and the control unit determines, as the operation target display, a display corresponding to an initial operation region including a position where the operation is performed in the initial operation region.
本発明の一態様は、上記の端末装置であって、前記入力部に対して操作を行うユーザを撮影した画像を入力する画像入力部と、前記画像入力部によって入力された画像において前記ユーザの顔を検出し、前記表示部の画面とユーザの顔との相対的な位置関係を算出する顔検出部と、をさらに備え、前記制御部は、前記顔検出部によって算出された位置関係に基づいて、前記操作対象表示を判定する。 One aspect of the present invention is the terminal device described above, in which an image input unit that inputs an image of a user who performs an operation on the input unit, and an image input by the image input unit, the user's A face detection unit that detects a face and calculates a relative positional relationship between the screen of the display unit and the user's face, and the control unit is based on the positional relationship calculated by the face detection unit Then, the operation target display is determined.
本発明の一態様は、表示面に対する角度に応じて複数の異なる表示を行う表示部と、ポインティングデバイスによる操作を受け付ける入力部と、を備える端末装置が行う制御方法であって、前記入力部において、操作領域において操作位置に応じた処理が必要となる何らかの操作がなされた場合に、前記複数の異なる表示の中から前記操作が行われた対象の表示である操作対象表示を判定するステップと、前記操作対象表示において、前記操作の結果を反映させるステップと、を有する制御方法である。 One embodiment of the present invention is a control method performed by a terminal device including a display unit that performs a plurality of different displays according to an angle with respect to a display surface, and an input unit that receives an operation by a pointing device. Determining an operation target display that is a display of a target on which the operation is performed from among the plurality of different displays when an operation that requires processing according to the operation position is performed in the operation region; Reflecting the result of the operation in the operation target display.
本発明の一態様は、上記の端末装置としてコンピュータを機能させるためのコンピュータプログラムである。 One embodiment of the present invention is a computer program for causing a computer to function as the terminal device.
本発明により、表示面に対する角度に応じて複数の異なる表示が可能な装置において、ポインティングデバイスを用いた操作が行われた際に、どの表示に対する操作であるのか判断することが可能となる。 According to the present invention, when an operation using a pointing device is performed in an apparatus capable of a plurality of different displays depending on the angle with respect to the display surface, it is possible to determine which display the operation is for.
図1は、本発明の一実施形態である端末装置100の特徴を示す概略図である。端末装置100は、ポインティングデバイスを用いた操作を受け付ける。端末装置100の画面は、表示面に対する角度に応じて複数の異なる表示を行う事が可能である。例えば、表示面に対して異なる角度から複数のユーザが画面を見ている場合には、端末装置100は複数のユーザに対して異なる表示を提示することが可能である。図1に示される例では、それぞれ異なる角度から画面を見ている4人のユーザ20(20−1〜20−4)に対し、端末装置100の画面は異なる表示を提示している。即ち、ユーザ20−1が見ている画面の表示と、ユーザ20−2が見ている画面の表示と、ユーザ20−3が見ている画面の表示と、ユーザ20−4が見ている画面の表示とはそれぞれ異なる。以下、端末装置100が図1のような状態で複数のユーザによって目視されており、各ユーザが一つの表示に対して操作を行っている場合を例に説明する。ただし、このような状態は、端末装置100の使用状態の一例にすぎない。例えば、端末装置100は一人のユーザによって複数の表示に対する操作が行われても良いし、複数のユーザそれぞれに複数の表示(例えば2人のユーザそれぞれに2つずつの表示)がなされても良い。
FIG. 1 is a schematic diagram illustrating features of a
このような端末装置100の画面は、例えば裸眼立体ディスプレイ装置を用いることによって実現できる。裸眼立体ディスプレイをの実装方式として、例えばパララックスバリア方式、レンチキュラレンズ方式などが提案されている。これらの方式の基本原理は、左右両眼に異なる画像を見せることで両眼視差を作り出し、立体として知覚させるものである。
Such a screen of the
端末装置100は、上述した裸眼立体ディスプレイ装置を備えた情報処理装置であり、例えばスマートフォン、パーソナルコンピュータ、タブレットPC、ゲーム装置、テレビ受像機、家電製品、メインフレーム、ワークステーションなどの情報処理装置を用いて構成される。端末装置100は、なんらかの装置の操作画面として構成されても良い。
The
端末装置100は、いずれかのユーザ20によってポインティングデバイスを用いた操作が行われた際に、いずれのユーザ20によって行われた操作であるか判定する。以下、操作を行ったユーザ20を「操作ユーザ」という。そして、端末装置100は、操作ユーザに対して提示されている表示内容と操作がなされた位置(以下、「操作位置」という。)とに基づいて、操作内容を判断する。
端末装置100には、その処理内容に応じて複数の実施形態がある。以下、3つの実施形態について説明する。
When any user 20 performs an operation using the pointing device, the
The
[第一実施形態]
図2は、端末装置100の第一実施形態(端末装置100a)の機能構成を表す概略ブロック図である。端末装置100aは、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備える。端末装置100aは、プログラムを実行することによって、入力部11、表示部12、操作領域制御部13a、操作領域記憶部14a及び制御部15aを備える装置として機能する。なお、端末装置100aの各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されても良い。端末装置100aが実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。
[First embodiment]
FIG. 2 is a schematic block diagram illustrating a functional configuration of the first embodiment (terminal device 100a) of the
入力部11は、ポインティングデバイス(マウス、トラックボール、タブレット、タッチパネル等)を用いて構成される。入力部11に用いられるポインティングデバイスは、操作位置が判断可能な装置であれば適用可能であり、物理的な操作面を有する装置に限定される必要は無い。例えば、カメラ等によってユーザの指の位置を判定し、指の動きに応じて操作位置を判断する装置がポインティングデバイスとして用いられても良い。入力部11は、ユーザの指示を端末装置100aに入力する際にユーザによって操作される。入力部11は、入力装置を端末装置100aに接続するためのインタフェースであっても良い。この場合、入力部11は、入力装置においてユーザの入力に応じ生成された入力信号を端末装置100aに入力する。
The
表示部12は、複数のユーザに対して異なる表示を提示することが可能な画面を有した画像表示装置である。表示部12は、例えば裸眼立体ディスプレイ装置を用いて構成される。表示部12は、複数のユーザに対して異なる表示を提示可能であれば、その実現方法としてCRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等が適用されても良い。表示部12は、文字や画像を表示する。表示部12は、画像表示装置を端末装置100aに接続するためのインタフェースであっても良い。この場合、表示部12は、文字や画像を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。
The
操作領域制御部13aは、表示部12に表示される操作領域の位置を決定し、操作領域テーブルを更新する。操作領域とは、表示部12に表示される表示のうち、入力部11のポインティングデバイスにおいて、操作位置に応じた処理が必要となる何らかの操作(以下、「位置依存操作」という。:例えば、クリック、タップ、フリック)がなされる領域である。例えば、操作領域上で位置依存操作がなされることによって、文字や数字の入力、ボタンの押下、などの命令がなされる。
The operation
操作領域記憶部14aは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。操作領域記憶部14aは、操作領域テーブルを記憶する。
図3は、操作領域テーブルの具体例を示す概略図である。操作領域テーブルは、領域識別子、操作識別子及び領域情報の各値を有するレコード41を複数有する。各レコード41は、1つの操作領域を表す。領域識別子は、操作領域を一意に識別するための識別情報である。操作識別子は、その操作領域がどのユーザに対して提示されている操作領域であるかを表す。領域情報は、操作領域が表示される画面上の位置を表す。例えば、最も上に図示されているレコード41は、ユーザ“U1”によって操作される操作領域であり、イメージ座標系において4点(x11,y11),(x12,y12),(x13,y13),(x14,y14)によって囲まれる矩形の領域を表す。
The operation
FIG. 3 is a schematic diagram illustrating a specific example of the operation area table. The operation area table includes a plurality of
図2に戻って端末装置100aの説明を続ける。制御部15aは、端末装置100a全体の制御を行う。制御部15aは、領域識別子毎に、その操作領域において位置依存操作がなされていた場合に入力される操作内容を記憶している。制御部15aは、操作領域記憶部14aによって記憶されている操作領域テーブルに基づいて、表示部12に表示される画面を制御する。また、制御部15aは、入力部11を介して位置依存操作がなされると、操作を行ったユーザ(操作ユーザ)を判定する。そして、制御部15aは、操作ユーザに提示されている画面の操作領域と、操作がなされた位置(操作位置)と、に応じた処理を行う。例えば、操作ユーザに提示されている画面において操作位置に存在する操作領域が電子メールの送信を命令するための操作領域である場合、制御部15aは、現時点で操作ユーザによって入力されていた内容で電子メールを送信する。
Returning to FIG. 2, the description of the terminal device 100a will be continued. The control unit 15a controls the entire terminal device 100a. The control unit 15a stores, for each region identifier, an operation content that is input when a position-dependent operation is performed in the operation region. The control unit 15a controls the screen displayed on the
図4は、第一実施形態の端末装置100aにおける表示の具体例を示す概略図である。図4(A)は、ユーザ“U1”に対して提示されている画面の具体例を示す。図4(B)は、ユーザ“U2”に対して提示されている画面の具体例を示す。 FIG. 4 is a schematic diagram illustrating a specific example of display in the terminal device 100a of the first embodiment. FIG. 4A shows a specific example of a screen presented to the user “U1”. FIG. 4B shows a specific example of a screen presented to the user “U2”.
ユーザ“U1”に対して提示されている画面には、以下に示す3つの操作領域が示されている。新規の電子メールを作成する画面を表示させるためのボタンを表す操作領域50−1。チャットを開始するための画面を表示させるためのボタンを表す操作領域50−2。ホーム画面に戻るためのボタンを表す操作領域50−3。 On the screen presented to the user “U1”, the following three operation areas are shown. An operation area 50-1 representing a button for displaying a screen for creating a new e-mail. An operation area 50-2 representing a button for displaying a screen for starting a chat. An operation area 50-3 representing a button for returning to the home screen.
ユーザ“U2”に対して提示されている画面には、動画像を表示するための領域である動画表示領域61が示されている。さらに、ユーザ“U2”に対して提示されている画面には、以下に示す2つの操作領域が示されている。動画像の再生を停止させるためのボタンを表す操作領域50−4。動画像の再生を開始させるためのボタンを表す操作領域50−5。
On the screen presented to the user “U2”, a moving
表示部12は、制御部15aの制御に応じて、ユーザ“U1”の位置からは図4(A)に示される画面が見えるように表示を行い、ユーザ“U2”の位置からは図4(B)に示される画面が見えるように表示を行う。5つの操作領域50(50−1〜50−5)に関するレコード41は、いずれも操作領域テーブルに登録されている。操作領域制御部13aは、各操作領域の位置が重複しないように操作領域を制御する。
以下、操作領域制御部13aの動作に関して複数の具体例を説明する。
Under the control of the control unit 15a, the
Hereinafter, a plurality of specific examples regarding the operation of the operation
[最適化アルゴリズム法]
操作領域制御部13aは、各操作領域の位置を、組み合わせ最適化問題のアルゴリズムを利用することによって決定しても良い。このようなアルゴリズムの具体例として、遺伝的アルゴリズムがある。遺伝的アルゴリズムは、進化のメカニズムに着想を得た最適化方法の一つである。遺伝的アルゴリズムでは、最適化対象の状態が遺伝子と呼ばれる数値列により表される。また、遺伝的アルゴリズムでは、遺伝子の適合度合いを評価するための評価関数が定義される。
[Optimization algorithm method]
The operation
例えば、画面に表示されるウィンドウの領域と、ウィンドウに内包される操作領域とについて、物理的な画面上でのそれぞれの座標を並べたものが遺伝子となる。そして、適合関数は、操作領域の離れ度合いとする。離れ度合いとは、各操作領域が離れている度合いを示す値であり、離れているほど高い値を有する。 For example, a gene is obtained by arranging the coordinates on the physical screen of the window area displayed on the screen and the operation area included in the window. The fitness function is the degree of separation of the operation area. The degree of separation is a value indicating the degree to which each operation area is separated, and has a higher value as it is separated.
まず、遺伝子1〜Nをランダムに初期化する。Nは予め定められた定数とする。次に、遺伝子1〜Nを予め定められた評価関数により評価する。評価結果を適合度と呼ぶ。例えば、操作領域間の距離の和を適合度とする。次に、適合度に応じて2つの遺伝子を選択し、交差を行う。交差には1点交差を用いるものとする。1点交差とは、遺伝子中のある1点の前後を交換する方法である。この処理を、遺伝子数がNになるまで繰り返す。評価及び交差の処理を一定回数繰り返すことによって、操作領域の位置を決定することが可能となる。
First,
[随時選択法]
操作領域制御部13aは以下のように動作しても良い。制御部15aは、画面に操作領域を新たに表示する必要が生じた場合には、操作領域制御部13aに対し操作領域生成要求を通知する。操作領域制御部13aは、制御部15aから操作領域生成指示を受けると、操作領域テーブルを参照し、全てのレコード41の領域情報を取得する。操作領域制御部13aは、画面上の領域のうち、未だに操作領域が形成されていない領域を判定する。そして、操作領域制御部13aは、判定された領域において新たな操作領域を形成し、新たに形成された操作領域を表すレコード41を操作領域テーブルに登録する。
[Selection method as needed]
The operation
[領域割り当て法]
操作領域制御部13aは以下のように動作しても良い。操作領域制御部13aは、各ユーザに対して割り当てられる領域を予め決定する。この領域の決定は、予め端末装置100aに対して設計者や操作者によって設定されていても良い。図4の例では、画面の上半分がユーザ“U1”に対して割り当てられた領域であり、画面の下半分がユーザ“U2”に対して割り当てられた領域である。制御部15aは、画面に操作領域を新たに表示する必要が生じた場合には、操作領域制御部13aに対し操作領域生成要求を通知する。操作領域制御部13aは、制御部15aから操作領域生成指示を受けると、操作領域テーブルを参照し、操作ユーザに関するレコード41の領域情報を取得する。すなわち、操作領域制御部13aは、レコード41のうち、操作識別子が操作ユーザに該当するレコード41を取得する。操作領域制御部13aは、操作ユーザに対して予め割り当てられている画面上の領域のうち、未だに操作領域が形成されていない領域を判定する。そして、操作領域制御部13aは、判定された領域において新たな操作領域を形成し、新たに形成された操作領域を表すレコード41を操作領域テーブルに登録する。
以上で操作領域制御部13aの処理の説明を終える。次に、制御部15aの処理について説明する。
[Area allocation method]
The operation
Above, description of the process of the operation
入力部11を介して位置依存操作がなされると、制御部15aは、操作位置の座標を取得する。制御部15aは、操作領域テーブルの各レコード41の領域情報を参照し、操作位置の座標を包含する領域情報を判定する。制御部15aは、判定された領域情報を有するレコード41を取得する。制御部15aは、取得したレコード41の操作識別子を参照し、どのユーザによってなされたどのような操作であるか判定する。すなわち、制御部15aは、取得したレコード41の操作識別子の値によって表されるユーザが操作ユーザであると判定し、取得したレコード41の領域識別子の値によって表される操作内容が入力されたと判定する。そして、制御部15aは、操作ユーザに対して提示している画面において、操作内容を反映させた表示を行う。
When a position-dependent operation is performed via the
例えば、図4(A)の操作領域50−1内において位置依存操作がなされた場合、制御部15aは、その操作位置に応じて、位置依存操作がユーザ“U1”による操作であると判定する。そして、制御部15aは、ユーザ“U1”に対して提示している画面において、新規の電子メールを作成するための画面を表示する。 For example, when a position-dependent operation is performed in the operation region 50-1 in FIG. 4A, the control unit 15a determines that the position-dependent operation is an operation by the user “U1” according to the operation position. . Then, the control unit 15a displays a screen for creating a new e-mail on the screen presented to the user “U1”.
例えば、図4(B)の操作領域50−5内において位置依存操作がなされた場合、制御部15aは、その操作位置に応じて、位置依存操作がユーザ“U2”による操作であると判定する。そして、制御部15aは、ユーザ“U2”に対して提示している画面において、再生の準備がなされている動画像の再生を開始する。 For example, when a position-dependent operation is performed in the operation region 50-5 in FIG. 4B, the control unit 15a determines that the position-dependent operation is an operation by the user “U2” according to the operation position. . Then, the control unit 15a starts the reproduction of the moving image that is prepared for reproduction on the screen presented to the user “U2”.
このように構成された第一実施形態の端末装置100aによれば、制御部15aは、位置依存操作がなされた位置(操作位置)に応じて、操作ユーザを判定することができる。そのため、複数のユーザに対して異なる表示が可能な装置において、ポインティングデバイスを用いた操作が行われた際に、どのユーザによる操作であるのか判断することが可能となる。 According to the terminal device 100a of the first embodiment configured as described above, the control unit 15a can determine the operating user according to the position (operation position) where the position-dependent operation is performed. Therefore, when an operation using a pointing device is performed in an apparatus capable of different display for a plurality of users, it is possible to determine which user is performing the operation.
<変形例>
上述したように、端末装置100は一人のユーザによって複数の表示に対する操作が行われても良い。端末装置100を操作するユーザの人数にかかわらず、上述した操作ユーザを判定する処理は、複数の異なる表示の中から操作が行われた対象の表示(以下、「操作対象表示」という。)を判定する処理と同義である。そのため、制御部15aは、操作領域を、複数の異なる表示間で重複した位置に表示されないように制御する。
<Modification>
As described above, the
[第二実施形態]
図5は、端末装置100の第二実施形態(端末装置100b)の機能構成を表す概略ブロック図である。端末装置100bは、バスで接続されたCPUやメモリや補助記憶装置などを備える。端末装置100bは、プログラムを実行することによって、入力部11、表示部12、操作領域制御部13b、操作領域記憶部14b及び制御部15bを備える装置として機能する。なお、端末装置100bの各機能の全て又は一部は、ASICやPLDやFPGA等のハードウェアを用いて実現されても良い。端末装置100bが実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。
[Second Embodiment]
FIG. 5 is a schematic block diagram illustrating a functional configuration of the
端末装置100bが備える入力部11及び表示部12は、第一実施形態の端末装置100aが備える入力部11及び表示部12と同じ構成である。そのため説明を省略する。
操作領域制御部13bは、表示部12に表示される初期操作領域及び操作領域の位置を決定し、初期操作領域テーブル及び操作領域テーブルを更新する。初期操作領域とは、表示部12に表示される表示のうち、操作ユーザを指示するための位置依存操作がなされる領域である。
The
The operation
操作領域記憶部14bは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。操作領域記憶部14bは、初期操作領域テーブル及び操作領域テーブルを記憶する。
The operation
図6は、初期操作領域テーブルの具体例を示す概略図である。初期操作領域テーブルは、初期領域識別子、操作識別子及び領域情報の各値を有するレコード42を複数有する。各レコード42は、1つの初期操作領域を表す。初期領域識別子は、初期操作領域を一意に識別するための識別情報である。操作識別子は、その初期操作領域がどのユーザに対して提示されている初期操作領域であるかを表す。領域情報は、初期操作領域が表示される画面上の位置を表す。例えば、最も上に図示されているレコード42は、ユーザ“U1”に対して提示される初期操作領域であり、イメージ座標系において4点(x101,y101),(x102,y102),(x103,y103),(x104,y104)によって囲まれる矩形の領域を表す。
FIG. 6 is a schematic diagram showing a specific example of the initial operation area table. The initial operation area table includes a plurality of
図5に戻って端末装置100bの説明を続ける。制御部15bは、端末装置100b全体の制御を行う。制御部15bは、領域識別子毎に、その操作領域において位置依存操作がなされていた場合に入力される操作内容を記憶している。制御部15bは、例えば操作領域記憶部14bによって記憶されている初期操作領域テーブル及び操作領域テーブルに基づいて、表示部12に表示される画面を制御する。また、制御部15bは、入力部11を介して位置依存操作がなされると、初期操作領域テーブルに基づいて、操作を行ったユーザ(操作ユーザ)を判定する。そして、制御部15bは、操作ユーザに提示されている画面の操作領域と、初期操作領域に続いて位置依存操作がなされた位置(操作位置)と、に応じた処理を行う。例えば、操作ユーザに提示されている画面において操作位置に存在する操作領域が電子メールの送信を命令するための操作領域である場合、制御部15bは、現時点で操作ユーザによって入力されていた内容で電子メールを送信する。
Returning to FIG. 5, the description of the
図7は、第二実施形態の端末装置100bにおける表示の具体例を示す概略図である。図7(A)は、ユーザ“U1”に対して提示されている画面の具体例を示す。図7(B)は、ユーザ“U2”に対して提示されている画面の具体例を示す。
FIG. 7 is a schematic diagram illustrating a specific example of display in the
ユーザ“U1”に対して提示されている画面には、動画像を表示するための領域である動画表示領域61が示されている。さらに、ユーザ“U1”に対して提示されている画面には、以下に示す1つの初期操作領域と2つの操作領域とが示されている。操作ユーザがユーザ“U1”であることを指示するためのボタンを表す初期操作領域51−1。動画像の再生を停止させるためのボタンを表す操作領域50−11。動画像の再生を開始させるためのボタンを表す操作領域50−12。
On the screen presented to the user “U1”, a moving
ユーザ“U2”に対して提示されている画面には、動画像を表示するための領域である動画表示領域61が示されている。さらに、ユーザ“U2”に対して提示されている画面には、以下に示す1つの初期操作領域と2つの操作領域とが示されている。操作ユーザがユーザ“U2”であることを指示するためのボタンを表す初期操作領域51−2。動画像の再生を停止させるためのボタンを表す操作領域50−13。動画像の再生を開始させるためのボタンを表す操作領域50−14。
On the screen presented to the user “U2”, a moving
表示部12は、制御部15bの制御に応じて、ユーザ“U1”の位置からは図7(A)に示される画面が見えるように表示を行い、ユーザ“U2”の位置からは図7(B)に示される画面が見えるように表示を行う。2つの初期操作領域51(51−1及び51−2)に関するレコード42は、いずれも初期操作領域テーブルに登録されている。4つの操作領域50(50−11〜50−14)に関するレコード41は、いずれも操作領域テーブルに登録されている。操作領域制御部13bは、各初期操作領域の位置が重複しないように初期操作領域を制御する。ただし、操作領域制御部13bは、第一実施形態の操作領域制御部13aと異なり、操作領域に関しては重複するか否かに関わらず操作領域を制御する。
Under the control of the
操作領域制御部13bが初期操作領域を決定する処理に関しては、第一実施形態の操作領域制御部13aが操作領域を決定する際の処理と同様の処理が適用されても良い。また、操作領域制御部13bは、予めユーザ毎に設定されている初期操作領域に応じて動作しても良い。この場合、必ずしも操作領域制御部13bが初期操作領域を制御する必要は無く、単に予め設定された初期操作領域に関する情報が操作領域記憶部14bに記憶されていても良い。
以上で操作領域制御部13bの処理の説明を終える。次に、制御部15bの処理について説明する。
Regarding the process in which the operation
Above, description of the process of the operation
入力部11を介して位置依存操作がなされると、制御部15bは、過去所定の期間の間に初期操作領域において位置依存操作がなされたか否か判定する。
過去所定の期間の間に初期操作領域において位置依存操作がなされていない場合、制御部15bは以下のように動作する。
When a position-dependent operation is performed via the
When a position-dependent operation has not been performed in the initial operation area during a predetermined period in the past, the
まず、制御部15bは、操作位置の座標を取得する。制御部15bは、初期操作領域テーブルの各レコード42の領域情報を参照し、操作位置の座標を包含する初期領域情報を判定する。制御部15bは、判定された領域情報を有するレコード42を取得する。制御部15bは、取得したレコード42の操作識別子を参照し、どのユーザによってなされた操作であるか判定する。すなわち、制御部15bは、取得したレコード42の操作識別子の値によって表されるユーザが操作ユーザであると判定する。そして、制御部15bは、その後所定の期間の間になされた操作については、直前に判定された操作ユーザによって行われた操作であると判定する。
First, the
一方、過去所定の期間の間に初期操作領域において位置依存操作がなされていた場合、制御部15bは以下のように動作する。
まず、制御部15bは、操作位置の座標を取得する。制御部15bは、操作領域テーブルの各レコード41のうち、直前に判定された操作ユーザに該当する操作識別子の値を有するレコード41を判定する。制御部15bは、判定したレコード41の領域情報を参照し、操作位置の座標を包含する領域情報を判定する。制御部15bは、判定された領域情報を有するレコード41を取得する。制御部15bは、領域識別子に応じて、その操作領域に対応付けられている操作内容を判定する。そして、制御部15bは、操作ユーザに対して提示している画面において、操作内容を反映させた表示を行う。
On the other hand, when a position-dependent operation has been performed in the initial operation area during a predetermined period in the past, the
First, the
例えば、図7(A)の初期操作領域51−1内において位置依存操作がなされた場合、制御部15bは、その後の所定期間はユーザ“U1”によって操作がなされていると判定する。この期間中に操作領域50−12内において位置依存操作がなされた場合、制御部15bは、ユーザ“U1”に対して提示している画面において、再生の準備がなされている動画像の再生を開始する。
For example, when a position-dependent operation is performed in the initial operation region 51-1 in FIG. 7A, the
例えば、図7(B)の初期操作領域51−2内において位置依存操作がなされた場合、制御部15bは、その後の所定期間はユーザ“U2”によって操作がなされていると判定する。この期間中に操作領域50−14内において位置依存操作がなされた場合、制御部15bは、ユーザ“U2”に対して提示している画面において、再生の準備がなされている動画像の再生を開始する。
For example, when a position-dependent operation is performed in the initial operation region 51-2 in FIG. 7B, the
このように構成された第二実施形態の端末装置100bによれば、制御部15bは、位置依存操作がなされた位置(操作位置)が初期操作領域内である場合、その後の所定期間の操作に関する操作ユーザを判定することができる。そのため、複数のユーザに対して異なる表示が可能な装置において、ポインティングデバイスを用いた操作が行われた際に、どのユーザによる操作であるのか判断することが可能となる。
According to the
また、第二実施形態の端末装置100bによれば、操作領域50が重複して配置されても良い。例えば、図7(A)と図7(B)とでは、操作領域50−11及び50−13が重複して配置されている。また、操作領域50−12及び50−14も重複して配置されている。そのため、操作領域50の配置の自由度を高める事が可能となる。
Moreover, according to the
<変形例>
端末装置100bは、ジャイロセンサをさらに備えるように構成されても良い。この場合、制御部15bは、初期操作領域51において位置依存操作がなされていた際に、判定結果(操作ユーザ)とジャイロセンサの出力値とを対応付けて記憶する。その後、制御部15bは、初期操作領域51において位置依存操作がなされた後に所定期間が経過したか否かに関わらず、操作領域50において位置依存操作がなされた場合には、ジャイロセンサの出力値に基づいて操作ユーザを判定する。
<Modification>
The
このように構成された第二実施形態の端末装置100bによれば、一度初期操作領域51において位置依存操作がなされた後は、初期操作領域51に対して位置依存操作を行うことなくスムーズに操作を行う事が可能となる。
According to the
上述したように、端末装置100は一人のユーザによって複数の表示に対する操作が行われても良い。端末装置100を操作するユーザの人数にかかわらず、上述した操作ユーザを判定する処理は、複数の異なる表示の中から操作対象表示を判定する処理と同義である。そのため、制御部15bは、操作対象表示を指示するための操作がなされる領域である初期操作領域を、複数の異なる表示間で重複した位置に表示されないように制御する。
As described above, the
[第三実施形態]
図8は、端末装置100の第三実施形態(端末装置100c)の機能構成を表す概略ブロック図である。端末装置100cは、バスで接続されたCPUやメモリや補助記憶装置などを備える。端末装置100cは、プログラムを実行することによって、入力部11、表示部12、操作領域制御部13c、操作領域記憶部14c、制御部15c、画像入力部16及び顔検出部17を備える装置として機能する。なお、端末装置100cの各機能の全て又は一部は、ASICやPLDやFPGA等のハードウェアを用いて実現されても良い。端末装置100cが実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。
[Third embodiment]
FIG. 8 is a schematic block diagram showing a functional configuration of the third embodiment (terminal device 100 c) of the
端末装置100cが備える入力部11及び表示部12は、第一実施形態の端末装置100aが備える入力部11及び表示部12と同じ構成である。そのため説明を省略する。
操作領域制御部13cは、表示部12に表示される操作領域の位置を決定し、操作領域テーブルを更新する。操作領域制御部13cは、重複するか否かを判定することなく操作領域の位置を決定可能である。この点で、操作領域制御部13cと操作領域制御部13aとは異なる。
The
The operation
操作領域記憶部14cは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。操作領域記憶部14cは、操作領域テーブルを記憶する。操作領域記憶部14cが記憶する操作領域テーブルでは、異なるレコード41の領域情報において、その領域の一部又は全部が重複しても良い。
The operation
制御部15cは、端末装置100c全体の制御を行う。制御部15cは、領域識別子毎に、その操作領域において位置依存操作がなされていた場合に入力される操作内容を記憶している。制御部15cは、操作領域記憶部14cによって記憶されている操作領域テーブルに基づいて、表示部12に表示される画面を制御する。また、制御部15cは、入力部11を介して位置依存操作がなされると、顔検出部17の検出結果に基づいて、操作を行ったユーザ(操作ユーザ)を判定する。そして、制御部15cは、操作ユーザに提示されている画面の操作領域と、操作がなされた位置(操作位置)と、に応じた処理を行う。例えば、操作ユーザに提示されている画面において操作位置に存在する操作領域が電子メールの送信を命令するための操作領域である場合、制御部15cは、現時点で操作ユーザによって入力されていた内容で電子メールを送信する。
The control unit 15c controls the entire terminal device 100c. The control unit 15c stores, for each region identifier, the operation content that is input when a position-dependent operation is performed in the operation region. The control unit 15c controls the screen displayed on the
画像入力部16は、端末装置100cに対して入力される画像のデータを受け付ける。画像入力部16は、外部に設置されたスチルカメラやビデオカメラによって撮像された画像を、カメラから受信しても良い。また、端末装置100cがスチルカメラやビデオカメラを備えている場合は、画像入力部16は撮像された画像又は撮像前の画像をバスから受信しても良い。画像入力部16は、端末装置100のユーザの画像データの入力を受けることが可能な構成であれば、さらに異なる態様で構成されても良い。画像入力部16によって入力が受け付けられた画像を「入力画像」という。
The
顔検出部17は、入力画像において顔の検出を行う。顔検出部17には、例えばOpenCVライブラリで提供されている顔検出アルゴリズムが適用されても良い。顔検出部17は、顔検出処理によって、入力画像上の顔の位置及びサイズを取得する。次に、顔検出部17は、検出されたサイズに基づいて、撮影装置から顔までの距離を推定する。この推定処理は、例えば平均顔として予め設定されているサイズとの比較に基づいて行われても良い。また、予め定められた距離(例えば撮影装置から1m)でユーザの顔を撮像しておくことによって推定処理が行われても良い。次に、顔検出部17は、顔の位置及び距離に基づいて、画面とユーザの顔との相対的な位置関係(例えば角度)を算出する。顔検出部17は、算出結果を制御部15cに出力する。
なお、制御部15cは、顔検出部17によって算出された相対的な位置関係に応じて、操作ユーザを判定する。
The
Note that the control unit 15 c determines the operating user according to the relative positional relationship calculated by the
図9は、第三実施形態の端末装置100cにおける表示の具体例を示す概略図である。図9(A)は、ユーザ“U1”に対して提示されている画面の具体例を示す。図9(B)は、ユーザ“U2”に対して提示されている画面の具体例を示す。 FIG. 9 is a schematic diagram illustrating a specific example of display in the terminal device 100c according to the third embodiment. FIG. 9A shows a specific example of a screen presented to the user “U1”. FIG. 9B shows a specific example of a screen presented to the user “U2”.
ユーザ“U1”に対して提示されている画面には、動画像を表示するための領域である動画表示領域61が示されている。さらに、ユーザ“U1”に対して提示されている画面には、以下に示す2つの操作領域が示されている。動画像の再生を停止させるためのボタンを表す操作領域50−11。動画像の再生を開始させるためのボタンを表す操作領域50−12。
On the screen presented to the user “U1”, a moving
ユーザ“U2”に対して提示されている画面には、動画像を表示するための領域である動画表示領域61が示されている。さらに、ユーザ“U2”に対して提示されている画面には、以下に示す2つの操作領域が示されている。動画像の再生を停止させるためのボタンを表す操作領域50−13。動画像の再生を開始させるためのボタンを表す操作領域50−14。
On the screen presented to the user “U2”, a moving
表示部12は、制御部15cの制御に応じて、ユーザ“U1”の位置からは図9(A)に示される画面が見えるように表示を行い、ユーザ“U2”の位置からは図9(B)に示される画面が見えるように表示を行う。4つの操作領域50(50−11〜50−14)に関するレコード41は、いずれも操作領域テーブルに登録されている。
Under the control of the control unit 15c, the
入力部11を介して位置依存操作がなされると、顔検出部17は、画面とユーザの顔との相対的な位置関係を算出する。顔検出部17は、算出結果を制御部15cに出力する。制御部15cは、画面とユーザの顔との相対的な位置関係に基づいて、操作ユーザを判定する。例えば、制御部15cは、顔検出部17によって算出された角度の方向から見えている表示に対応するユーザを、操作ユーザとして判定する。次に、制御部15cは、操作位置の座標を取得する。制御部15cは、操作領域テーブルの各レコード41のうち、操作ユーザに該当する操作識別子の値を有するレコード41を判定する。制御部15cは、判定したレコード41の領域情報を参照し、操作位置の座標を包含する領域情報を判定する。制御部15cは、判定された領域情報を有するレコード41を取得する。制御部15cは、領域識別子に応じて、その操作領域に対応付けられている操作内容を判定する。そして、制御部15cは、操作ユーザに対して提示している画面において、操作内容を反映させた表示を行う。
When a position-dependent operation is performed via the
例えば、図9(A)の画面が提示されている方向に位置するユーザ(ユーザ“U1”)が操作ユーザであると判定された場合、制御部15cは、ユーザ“U1”に対して提示している画面において、再生や停止の処理を行う。 For example, when it is determined that the user (user “U1”) located in the direction in which the screen of FIG. 9A is presented is the operating user, the control unit 15c presents the user “U1”. Play or stop on the current screen.
例えば、図9(B)の画面が提示されている方向に位置するのユーザ(ユーザ“U2”)が操作ユーザであると判定された場合、制御部15cは、ユーザ“U2”に対して提示している画面において、再生や停止の処理を行う。 For example, when it is determined that the user (user “U2”) located in the direction in which the screen of FIG. 9B is presented is the operating user, the control unit 15c presents to the user “U2”. Play or stop the current screen.
このように構成された第三実施形態の端末装置100cによれば、制御部15cは、顔検出部17の算出結果に基づいて操作ユーザを判定することができる。そのため、複数のユーザに対して異なる表示が可能な装置において、ポインティングデバイスを用いた操作が行われた際に、どのユーザによる操作であるのか判断することが可能となる。
According to the terminal device 100c of the third embodiment configured as described above, the control unit 15c can determine the operating user based on the calculation result of the
また、第三実施形態の端末装置100cによれば、操作領域50が重複して配置されても良い。そのため、操作領域50の配置の自由度を高める事が可能となる。
また、第三実施形態の端末装置100cによれば、第二実施形態の端末装置100bとは異なり、初期操作領域を配置する必要が無い。そのため、例えば、図9からも明らかなように、画面をより広く使用することが可能となる。例えば図7と図9とを比較すると、初期操作領域51を表示する必要が無い分、動画表示領域61をより広く表示することが可能となっている。
Moreover, according to the terminal device 100c of 3rd embodiment, the operation area | region 50 may be arrange | positioned overlappingly. Therefore, it is possible to increase the degree of freedom of arrangement of the operation area 50.
Also, according to the terminal device 100c of the third embodiment, unlike the
<変形例>
端末装置100cは、ジャイロセンサをさらに備えるように構成されても良い。この場合、制御部15cは、顔検出部17によって算出結果が出力された際に、判定結果(操作ユーザ)とジャイロセンサの出力値とを対応付けて記憶する。その後、制御部15cは、顔検出部17による算出結果に関わらず、操作領域50において位置依存操作がなされた場合には、ジャイロセンサの出力値に基づいて操作ユーザを判定する。
<Modification>
The terminal device 100c may be configured to further include a gyro sensor. In this case, when the calculation result is output by the
このように構成された第三実施形態の端末装置100cによれば、一度顔検出部17において顔検出処理がなされた後は、顔検出処理を行うことなくスムーズに操作を行う事が可能となる。
According to the terminal device 100c of the third embodiment configured as described above, once face detection processing is performed in the
上述したように、端末装置100は一人のユーザによって複数の表示に対する操作が行われても良い。端末装置100を操作するユーザの人数にかかわらず、上述した操作ユーザを判定する処理は、複数の異なる表示の中から操作対象表示を判定する処理と同義である。そのため、制御部15cは、顔検出部によって算出された位置関係に基づいて、操作対象表示を判定する。
As described above, the
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
100(100a,100b,100c)…端末装置, 11…入力部, 12…表示部, 13a,13b,13c…操作領域制御部, 14a,14b,14c…操作領域記憶部, 15a,15b,15c…制御部, 16…画像入力部, 17…顔検出部, 50−1〜50−5,50−11〜50−14…操作領域, 51−1,51−2…初期操作領域, 61…動画表示領域 DESCRIPTION OF SYMBOLS 100 (100a, 100b, 100c) ... Terminal device, 11 ... Input part, 12 ... Display part, 13a, 13b, 13c ... Operation area control part, 14a, 14b, 14c ... Operation area memory | storage part, 15a, 15b, 15c ... Control unit, 16 ... image input unit, 17 ... face detection unit, 50-1 to 50-5, 50-11 to 50-14 ... operation area, 51-1, 51-2 ... initial operation area, 61 ... animation display region
Claims (6)
ポインティングデバイスによる操作を受け付ける入力部と、
前記入力部において、操作領域において操作位置に応じた処理が必要となる何らかの操作がなされた場合に、前記複数の異なる表示の中から前記操作が行われた対象の表示である操作対象表示を判定し、前記操作対象表示において、前記操作の結果を反映させる制御部と、
を備える端末装置。 A display unit that performs a plurality of different displays according to an angle with respect to the display surface;
An input unit for receiving an operation by a pointing device;
In the input unit, when an operation requiring processing according to the operation position is performed in the operation area, an operation target display that is a display of the target on which the operation has been performed is determined from the plurality of different displays. And a control unit that reflects the result of the operation in the operation target display;
A terminal device comprising:
前記制御部は、前記操作領域のうち前記操作がなされた位置を含む操作領域に対応する表示を前記操作対象表示として判定する、請求項1に記載の端末装置。 An operation region control unit that controls the operation region so that the operation region is not displayed at an overlapping position between the plurality of different displays;
The terminal device according to claim 1, wherein the control unit determines, as the operation target display, a display corresponding to an operation region including a position where the operation is performed in the operation region.
前記制御部は、前記初期操作領域のうち前記操作がなされた位置を含む初期操作領域に対応する表示を前記操作対象表示として判定する、請求項1に記載の端末装置。 An operation area control unit that controls an initial operation area, which is an area in which an operation for instructing the operation target display, is performed so as not to be displayed at an overlapping position between the plurality of different displays;
The terminal device according to claim 1, wherein the control unit determines a display corresponding to an initial operation area including a position where the operation is performed in the initial operation area as the operation target display.
前記画像入力部によって入力された画像において前記ユーザの顔を検出し、前記表示部の画面とユーザの顔との相対的な位置関係を算出する顔検出部と、をさらに備え、
前記制御部は、前記顔検出部によって算出された位置関係に基づいて、前記操作対象表示を判定する、請求項1に記載の端末装置。 An image input unit for inputting an image of a user who performs an operation on the input unit;
A face detection unit that detects the user's face in the image input by the image input unit and calculates a relative positional relationship between the screen of the display unit and the user's face;
The terminal device according to claim 1, wherein the control unit determines the operation target display based on the positional relationship calculated by the face detection unit.
前記入力部において、操作領域において操作位置に応じた処理が必要となる何らかの操作がなされた場合に、前記複数の異なる表示の中から前記操作が行われた対象の表示である操作対象表示を判定するステップと、
前記操作対象表示において、前記操作の結果を反映させるステップと、
を有する制御方法。 A control method performed by a terminal device including a display unit that performs a plurality of different displays according to an angle with respect to a display surface, and an input unit that receives an operation by a pointing device,
In the input unit, when an operation requiring processing according to the operation position is performed in the operation area, an operation target display that is a display of the target on which the operation has been performed is determined from the plurality of different displays. And steps to
Reflecting the result of the operation in the operation target display;
Control method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012261700A JP2014106924A (en) | 2012-11-29 | 2012-11-29 | Terminal device, control method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012261700A JP2014106924A (en) | 2012-11-29 | 2012-11-29 | Terminal device, control method, and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014106924A true JP2014106924A (en) | 2014-06-09 |
Family
ID=51028308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012261700A Pending JP2014106924A (en) | 2012-11-29 | 2012-11-29 | Terminal device, control method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014106924A (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007207146A (en) * | 2006-02-06 | 2007-08-16 | Alpine Electronics Inc | Display device, user interface therefor and menu provision method |
JP2009163659A (en) * | 2008-01-10 | 2009-07-23 | Nikon Corp | Information display device |
US20120262448A1 (en) * | 2011-04-12 | 2012-10-18 | Lg Electronics Inc. | Mobile terminal and control method thereof |
-
2012
- 2012-11-29 JP JP2012261700A patent/JP2014106924A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007207146A (en) * | 2006-02-06 | 2007-08-16 | Alpine Electronics Inc | Display device, user interface therefor and menu provision method |
JP2009163659A (en) * | 2008-01-10 | 2009-07-23 | Nikon Corp | Information display device |
US20120262448A1 (en) * | 2011-04-12 | 2012-10-18 | Lg Electronics Inc. | Mobile terminal and control method thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9836146B2 (en) | Method of controlling virtual object or view point on two dimensional interactive display | |
EP3050030B1 (en) | Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor | |
JP6569496B2 (en) | Input device, input method, and program | |
RU2720356C1 (en) | Control device, control method and storage medium | |
US9268410B2 (en) | Image processing device, image processing method, and program | |
EP2717140B1 (en) | Equipment control device, operation reception method, and program | |
US20240040211A1 (en) | Methods, Systems, and Media For Presenting Interactive Elements Within Video Content | |
WO2013029162A1 (en) | Detecting pointing gestures iν a three-dimensional graphical user interface | |
US8938093B2 (en) | Addition of immersive interaction capabilities to otherwise unmodified 3D graphics applications | |
CN101553843A (en) | Interacting with 2D content on 3D surfaces | |
JP7267753B2 (en) | Control device, control method, and program | |
EP3062506B1 (en) | Image switching method and apparatus | |
JP2019057291A (en) | Control device, control method, and program | |
CN107688426B (en) | Method and device for selecting target object | |
JP2014106924A (en) | Terminal device, control method, and computer program | |
EP3337165A1 (en) | Video communication method and system | |
JP2017056607A (en) | Data processing device, data processing method, and program | |
JP2020053088A (en) | Control device, control method, and program | |
GB2569179A (en) | Method for editing digital image sequences | |
EP2854008A1 (en) | Method to deduce topography of a group of devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160202 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160809 |