JP2014106924A - Terminal device, control method, and computer program - Google Patents
Terminal device, control method, and computer program Download PDFInfo
- Publication number
- JP2014106924A JP2014106924A JP2012261700A JP2012261700A JP2014106924A JP 2014106924 A JP2014106924 A JP 2014106924A JP 2012261700 A JP2012261700 A JP 2012261700A JP 2012261700 A JP2012261700 A JP 2012261700A JP 2014106924 A JP2014106924 A JP 2014106924A
- Authority
- JP
- Japan
- Prior art keywords
- display
- area
- control unit
- terminal device
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、表示面に対する角度に応じて複数の異なる表示が可能な装置におけるポインティングデバイスの制御技術に関する。 The present invention relates to a pointing device control technique in an apparatus capable of a plurality of different displays depending on an angle with respect to a display surface.
近年、裸眼立体ディスプレイが急速に普及している。裸眼立体ディスプレイの実装方式として、例えばパララックスバリア方式、レンチキュラレンズ方式などが提案されている。これらの方式の基本原理は、左右両眼に異なる画像を見せることで両眼視差を作り出し、立体として知覚させるものである。この左右両眼に異なる画像を提示する機能を利用して、視点によって異なる映像を提示する多指向ディスプレイも提案されている（非特許文献１参照）。 In recent years, autostereoscopic displays have rapidly become widespread. As a method for mounting an autostereoscopic display, for example, a parallax barrier method, a lenticular lens method, and the like have been proposed. The basic principle of these systems is to create binocular parallax by showing different images to the left and right eyes, and to perceive them as a solid. A multi-directional display that presents different images depending on the viewpoint using the function of presenting different images to the left and right eyes has been proposed (see Non-Patent Document 1).
多指向ディスプレイは、主にパブリックビュー、カーナビゲーションシステムなどにおいて、視点位置に応じた映像を提示する用途で用いられてきた。近年では、多指向ディスプレイをスマートフォン、タブレットＰＣ（Personal Computer）、据え置き型ＰＣなどの端末装置に適用することも検討されている。このような端末装置は、仮想的に複数のディスプレイを持つ端末装置（仮想マルチディスプレイ端末装置）として利用可能である。そのため、例えば一台の端末装置で複数のユーザそれぞれに対し異なる表示を提示することが可能となる。 Multi-directional displays have been used mainly in public views, car navigation systems, and the like to present images according to viewpoint positions. In recent years, application of multi-directional displays to terminal devices such as smartphones, tablet PCs (Personal Computers), and stationary PCs has also been studied. Such a terminal device can be used as a terminal device (virtual multi-display terminal device) having a plurality of virtual displays. Therefore, for example, it is possible to present different displays to a plurality of users with one terminal device.
しかしながら、仮想マルチディスプレイ端末装置では、ポインティングデバイス（マウス、タッチスクリーン等）を用いて操作がなされた際に、複数存在する表示のうち、どの表示において行われた操作であるのか判断することが困難となる。 However, in a virtual multi-display terminal device, when an operation is performed using a pointing device (mouse, touch screen, etc.), it is difficult to determine which display is performed from among a plurality of displays. It becomes.
上記事情に鑑み、本発明は、表示面に対する角度に応じて複数の異なる表示が可能な装置において、ポインティングデバイスを用いた操作が行われた際に、どの表示に対する操作であるのか判断可能な技術の提供を目的としている。 In view of the above circumstances, the present invention is a technology capable of determining which display operation is performed when an operation using a pointing device is performed in an apparatus capable of a plurality of different displays depending on an angle with respect to the display surface. The purpose is to provide.
本発明の一態様は、表示面に対する角度に応じて複数の異なる表示を行う表示部と、ポインティングデバイスによる操作を受け付ける入力部と、前記入力部において、操作領域において操作位置に応じた処理が必要となる何らかの操作がなされた場合に、前記複数の異なる表示の中から前記操作が行われた対象の表示である操作対象表示を判定し、前記操作対象表示において、前記操作の結果を反映させる制御部と、を備える端末装置である。 One embodiment of the present invention requires a display unit that performs a plurality of different displays depending on an angle with respect to a display surface, an input unit that receives an operation using a pointing device, and a process corresponding to the operation position in the operation region in the input unit Control for determining an operation target display that is a display of an object on which the operation has been performed from among the plurality of different displays, and reflecting the result of the operation in the operation target display A terminal device.
本発明の一態様は、上記の端末装置であって、前記操作領域を、前記複数の異なる表示間で重複した位置に表示されないように制御する操作領域制御部をさらに備え、前記制御部は、前記操作領域のうち前記操作がなされた位置を含む操作領域に対応する表示を前記操作対象表示として判定する。 One aspect of the present invention is the terminal device described above, further including an operation region control unit that controls the operation region so that the operation region is not displayed at an overlapping position between the plurality of different displays, and the control unit includes: The display corresponding to the operation area including the position where the operation is performed in the operation area is determined as the operation target display.
本発明の一態様は、上記の端末装置であって、前記操作対象表示を指示するための操作がなされる領域である初期操作領域を、前記複数の異なる表示間で重複した位置に表示されないように制御する操作領域制御部をさらに備え、前記制御部は、前記初期操作領域のうち前記操作がなされた位置を含む初期操作領域に対応する表示を前記操作対象表示として判定する。 One aspect of the present invention is the above-described terminal device, wherein an initial operation area, which is an area in which an operation for instructing the operation target display is performed, is not displayed at an overlapping position between the plurality of different displays. The control unit further includes an operation region control unit that controls the display, and the control unit determines, as the operation target display, a display corresponding to an initial operation region including a position where the operation is performed in the initial operation region.
本発明の一態様は、上記の端末装置であって、前記入力部に対して操作を行うユーザを撮影した画像を入力する画像入力部と、前記画像入力部によって入力された画像において前記ユーザの顔を検出し、前記表示部の画面とユーザの顔との相対的な位置関係を算出する顔検出部と、をさらに備え、前記制御部は、前記顔検出部によって算出された位置関係に基づいて、前記操作対象表示を判定する。 One aspect of the present invention is the terminal device described above, in which an image input unit that inputs an image of a user who performs an operation on the input unit, and an image input by the image input unit, the user's A face detection unit that detects a face and calculates a relative positional relationship between the screen of the display unit and the user's face, and the control unit is based on the positional relationship calculated by the face detection unit Then, the operation target display is determined.
本発明の一態様は、表示面に対する角度に応じて複数の異なる表示を行う表示部と、ポインティングデバイスによる操作を受け付ける入力部と、を備える端末装置が行う制御方法であって、前記入力部において、操作領域において操作位置に応じた処理が必要となる何らかの操作がなされた場合に、前記複数の異なる表示の中から前記操作が行われた対象の表示である操作対象表示を判定するステップと、前記操作対象表示において、前記操作の結果を反映させるステップと、を有する制御方法である。 One embodiment of the present invention is a control method performed by a terminal device including a display unit that performs a plurality of different displays according to an angle with respect to a display surface, and an input unit that receives an operation by a pointing device. Determining an operation target display that is a display of a target on which the operation is performed from among the plurality of different displays when an operation that requires processing according to the operation position is performed in the operation region; Reflecting the result of the operation in the operation target display.
本発明の一態様は、上記の端末装置としてコンピュータを機能させるためのコンピュータプログラムである。 One embodiment of the present invention is a computer program for causing a computer to function as the terminal device.
本発明により、表示面に対する角度に応じて複数の異なる表示が可能な装置において、ポインティングデバイスを用いた操作が行われた際に、どの表示に対する操作であるのか判断することが可能となる。 According to the present invention, when an operation using a pointing device is performed in an apparatus capable of a plurality of different displays depending on the angle with respect to the display surface, it is possible to determine which display the operation is for.
図１は、本発明の一実施形態である端末装置１００の特徴を示す概略図である。端末装置１００は、ポインティングデバイスを用いた操作を受け付ける。端末装置１００の画面は、表示面に対する角度に応じて複数の異なる表示を行う事が可能である。例えば、表示面に対して異なる角度から複数のユーザが画面を見ている場合には、端末装置１００は複数のユーザに対して異なる表示を提示することが可能である。図１に示される例では、それぞれ異なる角度から画面を見ている４人のユーザ２０（２０−１〜２０−４）に対し、端末装置１００の画面は異なる表示を提示している。即ち、ユーザ２０−１が見ている画面の表示と、ユーザ２０−２が見ている画面の表示と、ユーザ２０−３が見ている画面の表示と、ユーザ２０−４が見ている画面の表示とはそれぞれ異なる。以下、端末装置１００が図１のような状態で複数のユーザによって目視されており、各ユーザが一つの表示に対して操作を行っている場合を例に説明する。ただし、このような状態は、端末装置１００の使用状態の一例にすぎない。例えば、端末装置１００は一人のユーザによって複数の表示に対する操作が行われても良いし、複数のユーザそれぞれに複数の表示（例えば２人のユーザそれぞれに２つずつの表示）がなされても良い。
FIG. 1 is a schematic diagram illustrating features of a
このような端末装置１００の画面は、例えば裸眼立体ディスプレイ装置を用いることによって実現できる。裸眼立体ディスプレイをの実装方式として、例えばパララックスバリア方式、レンチキュラレンズ方式などが提案されている。これらの方式の基本原理は、左右両眼に異なる画像を見せることで両眼視差を作り出し、立体として知覚させるものである。
Such a screen of the
端末装置１００は、上述した裸眼立体ディスプレイ装置を備えた情報処理装置であり、例えばスマートフォン、パーソナルコンピュータ、タブレットＰＣ、ゲーム装置、テレビ受像機、家電製品、メインフレーム、ワークステーションなどの情報処理装置を用いて構成される。端末装置１００は、なんらかの装置の操作画面として構成されても良い。
The
端末装置１００は、いずれかのユーザ２０によってポインティングデバイスを用いた操作が行われた際に、いずれのユーザ２０によって行われた操作であるか判定する。以下、操作を行ったユーザ２０を「操作ユーザ」という。そして、端末装置１００は、操作ユーザに対して提示されている表示内容と操作がなされた位置（以下、「操作位置」という。）とに基づいて、操作内容を判断する。
端末装置１００には、その処理内容に応じて複数の実施形態がある。以下、３つの実施形態について説明する。
When any user 20 performs an operation using the pointing device, the
The
［第一実施形態］
図２は、端末装置１００の第一実施形態（端末装置１００ａ）の機能構成を表す概略ブロック図である。端末装置１００ａは、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備える。端末装置１００ａは、プログラムを実行することによって、入力部１１、表示部１２、操作領域制御部１３ａ、操作領域記憶部１４ａ及び制御部１５ａを備える装置として機能する。なお、端末装置１００ａの各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。端末装置１００ａが実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。
[First embodiment]
FIG. 2 is a schematic block diagram illustrating a functional configuration of the first embodiment (terminal device 100a) of the
入力部１１は、ポインティングデバイス（マウス、トラックボール、タブレット、タッチパネル等）を用いて構成される。入力部１１に用いられるポインティングデバイスは、操作位置が判断可能な装置であれば適用可能であり、物理的な操作面を有する装置に限定される必要は無い。例えば、カメラ等によってユーザの指の位置を判定し、指の動きに応じて操作位置を判断する装置がポインティングデバイスとして用いられても良い。入力部１１は、ユーザの指示を端末装置１００ａに入力する際にユーザによって操作される。入力部１１は、入力装置を端末装置１００ａに接続するためのインタフェースであっても良い。この場合、入力部１１は、入力装置においてユーザの入力に応じ生成された入力信号を端末装置１００ａに入力する。
The
表示部１２は、複数のユーザに対して異なる表示を提示することが可能な画面を有した画像表示装置である。表示部１２は、例えば裸眼立体ディスプレイ装置を用いて構成される。表示部１２は、複数のユーザに対して異なる表示を提示可能であれば、その実現方法としてＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等が適用されても良い。表示部１２は、文字や画像を表示する。表示部１２は、画像表示装置を端末装置１００ａに接続するためのインタフェースであっても良い。この場合、表示部１２は、文字や画像を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。
The
操作領域制御部１３ａは、表示部１２に表示される操作領域の位置を決定し、操作領域テーブルを更新する。操作領域とは、表示部１２に表示される表示のうち、入力部１１のポインティングデバイスにおいて、操作位置に応じた処理が必要となる何らかの操作（以下、「位置依存操作」という。：例えば、クリック、タップ、フリック）がなされる領域である。例えば、操作領域上で位置依存操作がなされることによって、文字や数字の入力、ボタンの押下、などの命令がなされる。
The operation
操作領域記憶部１４ａは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。操作領域記憶部１４ａは、操作領域テーブルを記憶する。
図３は、操作領域テーブルの具体例を示す概略図である。操作領域テーブルは、領域識別子、操作識別子及び領域情報の各値を有するレコード４１を複数有する。各レコード４１は、１つの操作領域を表す。領域識別子は、操作領域を一意に識別するための識別情報である。操作識別子は、その操作領域がどのユーザに対して提示されている操作領域であるかを表す。領域情報は、操作領域が表示される画面上の位置を表す。例えば、最も上に図示されているレコード４１は、ユーザ“Ｕ１”によって操作される操作領域であり、イメージ座標系において４点（ｘ１１，ｙ１１），（ｘ１２，ｙ１２），（ｘ１３，ｙ１３），（ｘ１４，ｙ１４）によって囲まれる矩形の領域を表す。
The operation
FIG. 3 is a schematic diagram illustrating a specific example of the operation area table. The operation area table includes a plurality of
図２に戻って端末装置１００ａの説明を続ける。制御部１５ａは、端末装置１００ａ全体の制御を行う。制御部１５ａは、領域識別子毎に、その操作領域において位置依存操作がなされていた場合に入力される操作内容を記憶している。制御部１５ａは、操作領域記憶部１４ａによって記憶されている操作領域テーブルに基づいて、表示部１２に表示される画面を制御する。また、制御部１５ａは、入力部１１を介して位置依存操作がなされると、操作を行ったユーザ（操作ユーザ）を判定する。そして、制御部１５ａは、操作ユーザに提示されている画面の操作領域と、操作がなされた位置（操作位置）と、に応じた処理を行う。例えば、操作ユーザに提示されている画面において操作位置に存在する操作領域が電子メールの送信を命令するための操作領域である場合、制御部１５ａは、現時点で操作ユーザによって入力されていた内容で電子メールを送信する。
Returning to FIG. 2, the description of the terminal device 100a will be continued. The control unit 15a controls the entire terminal device 100a. The control unit 15a stores, for each region identifier, an operation content that is input when a position-dependent operation is performed in the operation region. The control unit 15a controls the screen displayed on the
図４は、第一実施形態の端末装置１００ａにおける表示の具体例を示す概略図である。図４（Ａ）は、ユーザ“Ｕ１”に対して提示されている画面の具体例を示す。図４（Ｂ）は、ユーザ“Ｕ２”に対して提示されている画面の具体例を示す。 FIG. 4 is a schematic diagram illustrating a specific example of display in the terminal device 100a of the first embodiment. FIG. 4A shows a specific example of a screen presented to the user “U1”. FIG. 4B shows a specific example of a screen presented to the user “U2”.
ユーザ“Ｕ１”に対して提示されている画面には、以下に示す３つの操作領域が示されている。新規の電子メールを作成する画面を表示させるためのボタンを表す操作領域５０−１。チャットを開始するための画面を表示させるためのボタンを表す操作領域５０−２。ホーム画面に戻るためのボタンを表す操作領域５０−３。 On the screen presented to the user “U1”, the following three operation areas are shown. An operation area 50-1 representing a button for displaying a screen for creating a new e-mail. An operation area 50-2 representing a button for displaying a screen for starting a chat. An operation area 50-3 representing a button for returning to the home screen.
ユーザ“Ｕ２”に対して提示されている画面には、動画像を表示するための領域である動画表示領域６１が示されている。さらに、ユーザ“Ｕ２”に対して提示されている画面には、以下に示す２つの操作領域が示されている。動画像の再生を停止させるためのボタンを表す操作領域５０−４。動画像の再生を開始させるためのボタンを表す操作領域５０−５。
On the screen presented to the user “U2”, a moving
表示部１２は、制御部１５ａの制御に応じて、ユーザ“Ｕ１”の位置からは図４（Ａ）に示される画面が見えるように表示を行い、ユーザ“Ｕ２”の位置からは図４（Ｂ）に示される画面が見えるように表示を行う。５つの操作領域５０（５０−１〜５０−５）に関するレコード４１は、いずれも操作領域テーブルに登録されている。操作領域制御部１３ａは、各操作領域の位置が重複しないように操作領域を制御する。
以下、操作領域制御部１３ａの動作に関して複数の具体例を説明する。
Under the control of the control unit 15a, the
Hereinafter, a plurality of specific examples regarding the operation of the operation
［最適化アルゴリズム法］
操作領域制御部１３ａは、各操作領域の位置を、組み合わせ最適化問題のアルゴリズムを利用することによって決定しても良い。このようなアルゴリズムの具体例として、遺伝的アルゴリズムがある。遺伝的アルゴリズムは、進化のメカニズムに着想を得た最適化方法の一つである。遺伝的アルゴリズムでは、最適化対象の状態が遺伝子と呼ばれる数値列により表される。また、遺伝的アルゴリズムでは、遺伝子の適合度合いを評価するための評価関数が定義される。
[Optimization algorithm method]
The operation
例えば、画面に表示されるウィンドウの領域と、ウィンドウに内包される操作領域とについて、物理的な画面上でのそれぞれの座標を並べたものが遺伝子となる。そして、適合関数は、操作領域の離れ度合いとする。離れ度合いとは、各操作領域が離れている度合いを示す値であり、離れているほど高い値を有する。 For example, a gene is obtained by arranging the coordinates on the physical screen of the window area displayed on the screen and the operation area included in the window. The fitness function is the degree of separation of the operation area. The degree of separation is a value indicating the degree to which each operation area is separated, and has a higher value as it is separated.
まず、遺伝子１〜Ｎをランダムに初期化する。Ｎは予め定められた定数とする。次に、遺伝子１〜Ｎを予め定められた評価関数により評価する。評価結果を適合度と呼ぶ。例えば、操作領域間の距離の和を適合度とする。次に、適合度に応じて２つの遺伝子を選択し、交差を行う。交差には１点交差を用いるものとする。１点交差とは、遺伝子中のある１点の前後を交換する方法である。この処理を、遺伝子数がＮになるまで繰り返す。評価及び交差の処理を一定回数繰り返すことによって、操作領域の位置を決定することが可能となる。
First,
［随時選択法］
操作領域制御部１３ａは以下のように動作しても良い。制御部１５ａは、画面に操作領域を新たに表示する必要が生じた場合には、操作領域制御部１３ａに対し操作領域生成要求を通知する。操作領域制御部１３ａは、制御部１５ａから操作領域生成指示を受けると、操作領域テーブルを参照し、全てのレコード４１の領域情報を取得する。操作領域制御部１３ａは、画面上の領域のうち、未だに操作領域が形成されていない領域を判定する。そして、操作領域制御部１３ａは、判定された領域において新たな操作領域を形成し、新たに形成された操作領域を表すレコード４１を操作領域テーブルに登録する。
[Selection method as needed]
The operation
［領域割り当て法］
操作領域制御部１３ａは以下のように動作しても良い。操作領域制御部１３ａは、各ユーザに対して割り当てられる領域を予め決定する。この領域の決定は、予め端末装置１００ａに対して設計者や操作者によって設定されていても良い。図４の例では、画面の上半分がユーザ“Ｕ１”に対して割り当てられた領域であり、画面の下半分がユーザ“Ｕ２”に対して割り当てられた領域である。制御部１５ａは、画面に操作領域を新たに表示する必要が生じた場合には、操作領域制御部１３ａに対し操作領域生成要求を通知する。操作領域制御部１３ａは、制御部１５ａから操作領域生成指示を受けると、操作領域テーブルを参照し、操作ユーザに関するレコード４１の領域情報を取得する。すなわち、操作領域制御部１３ａは、レコード４１のうち、操作識別子が操作ユーザに該当するレコード４１を取得する。操作領域制御部１３ａは、操作ユーザに対して予め割り当てられている画面上の領域のうち、未だに操作領域が形成されていない領域を判定する。そして、操作領域制御部１３ａは、判定された領域において新たな操作領域を形成し、新たに形成された操作領域を表すレコード４１を操作領域テーブルに登録する。
以上で操作領域制御部１３ａの処理の説明を終える。次に、制御部１５ａの処理について説明する。
[Area allocation method]
The operation
Above, description of the process of the operation
入力部１１を介して位置依存操作がなされると、制御部１５ａは、操作位置の座標を取得する。制御部１５ａは、操作領域テーブルの各レコード４１の領域情報を参照し、操作位置の座標を包含する領域情報を判定する。制御部１５ａは、判定された領域情報を有するレコード４１を取得する。制御部１５ａは、取得したレコード４１の操作識別子を参照し、どのユーザによってなされたどのような操作であるか判定する。すなわち、制御部１５ａは、取得したレコード４１の操作識別子の値によって表されるユーザが操作ユーザであると判定し、取得したレコード４１の領域識別子の値によって表される操作内容が入力されたと判定する。そして、制御部１５ａは、操作ユーザに対して提示している画面において、操作内容を反映させた表示を行う。
When a position-dependent operation is performed via the
例えば、図４（Ａ）の操作領域５０−１内において位置依存操作がなされた場合、制御部１５ａは、その操作位置に応じて、位置依存操作がユーザ“Ｕ１”による操作であると判定する。そして、制御部１５ａは、ユーザ“Ｕ１”に対して提示している画面において、新規の電子メールを作成するための画面を表示する。 For example, when a position-dependent operation is performed in the operation region 50-1 in FIG. 4A, the control unit 15a determines that the position-dependent operation is an operation by the user “U1” according to the operation position. . Then, the control unit 15a displays a screen for creating a new e-mail on the screen presented to the user “U1”.
例えば、図４（Ｂ）の操作領域５０−５内において位置依存操作がなされた場合、制御部１５ａは、その操作位置に応じて、位置依存操作がユーザ“Ｕ２”による操作であると判定する。そして、制御部１５ａは、ユーザ“Ｕ２”に対して提示している画面において、再生の準備がなされている動画像の再生を開始する。 For example, when a position-dependent operation is performed in the operation region 50-5 in FIG. 4B, the control unit 15a determines that the position-dependent operation is an operation by the user “U2” according to the operation position. . Then, the control unit 15a starts the reproduction of the moving image that is prepared for reproduction on the screen presented to the user “U2”.
このように構成された第一実施形態の端末装置１００ａによれば、制御部１５ａは、位置依存操作がなされた位置（操作位置）に応じて、操作ユーザを判定することができる。そのため、複数のユーザに対して異なる表示が可能な装置において、ポインティングデバイスを用いた操作が行われた際に、どのユーザによる操作であるのか判断することが可能となる。 According to the terminal device 100a of the first embodiment configured as described above, the control unit 15a can determine the operating user according to the position (operation position) where the position-dependent operation is performed. Therefore, when an operation using a pointing device is performed in an apparatus capable of different display for a plurality of users, it is possible to determine which user is performing the operation.
＜変形例＞
上述したように、端末装置１００は一人のユーザによって複数の表示に対する操作が行われても良い。端末装置１００を操作するユーザの人数にかかわらず、上述した操作ユーザを判定する処理は、複数の異なる表示の中から操作が行われた対象の表示（以下、「操作対象表示」という。）を判定する処理と同義である。そのため、制御部１５ａは、操作領域を、複数の異なる表示間で重複した位置に表示されないように制御する。
<Modification>
As described above, the
［第二実施形態］
図５は、端末装置１００の第二実施形態（端末装置１００ｂ）の機能構成を表す概略ブロック図である。端末装置１００ｂは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備える。端末装置１００ｂは、プログラムを実行することによって、入力部１１、表示部１２、操作領域制御部１３ｂ、操作領域記憶部１４ｂ及び制御部１５ｂを備える装置として機能する。なお、端末装置１００ｂの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。端末装置１００ｂが実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。
[Second Embodiment]
FIG. 5 is a schematic block diagram illustrating a functional configuration of the
端末装置１００ｂが備える入力部１１及び表示部１２は、第一実施形態の端末装置１００ａが備える入力部１１及び表示部１２と同じ構成である。そのため説明を省略する。
操作領域制御部１３ｂは、表示部１２に表示される初期操作領域及び操作領域の位置を決定し、初期操作領域テーブル及び操作領域テーブルを更新する。初期操作領域とは、表示部１２に表示される表示のうち、操作ユーザを指示するための位置依存操作がなされる領域である。
The
The operation
操作領域記憶部１４ｂは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。操作領域記憶部１４ｂは、初期操作領域テーブル及び操作領域テーブルを記憶する。
The operation
図６は、初期操作領域テーブルの具体例を示す概略図である。初期操作領域テーブルは、初期領域識別子、操作識別子及び領域情報の各値を有するレコード４２を複数有する。各レコード４２は、１つの初期操作領域を表す。初期領域識別子は、初期操作領域を一意に識別するための識別情報である。操作識別子は、その初期操作領域がどのユーザに対して提示されている初期操作領域であるかを表す。領域情報は、初期操作領域が表示される画面上の位置を表す。例えば、最も上に図示されているレコード４２は、ユーザ“Ｕ１”に対して提示される初期操作領域であり、イメージ座標系において４点（ｘ１０１，ｙ１０１），（ｘ１０２，ｙ１０２），（ｘ１０３，ｙ１０３），（ｘ１０４，ｙ１０４）によって囲まれる矩形の領域を表す。
FIG. 6 is a schematic diagram showing a specific example of the initial operation area table. The initial operation area table includes a plurality of
図５に戻って端末装置１００ｂの説明を続ける。制御部１５ｂは、端末装置１００ｂ全体の制御を行う。制御部１５ｂは、領域識別子毎に、その操作領域において位置依存操作がなされていた場合に入力される操作内容を記憶している。制御部１５ｂは、例えば操作領域記憶部１４ｂによって記憶されている初期操作領域テーブル及び操作領域テーブルに基づいて、表示部１２に表示される画面を制御する。また、制御部１５ｂは、入力部１１を介して位置依存操作がなされると、初期操作領域テーブルに基づいて、操作を行ったユーザ（操作ユーザ）を判定する。そして、制御部１５ｂは、操作ユーザに提示されている画面の操作領域と、初期操作領域に続いて位置依存操作がなされた位置（操作位置）と、に応じた処理を行う。例えば、操作ユーザに提示されている画面において操作位置に存在する操作領域が電子メールの送信を命令するための操作領域である場合、制御部１５ｂは、現時点で操作ユーザによって入力されていた内容で電子メールを送信する。
Returning to FIG. 5, the description of the
図７は、第二実施形態の端末装置１００ｂにおける表示の具体例を示す概略図である。図７（Ａ）は、ユーザ“Ｕ１”に対して提示されている画面の具体例を示す。図７（Ｂ）は、ユーザ“Ｕ２”に対して提示されている画面の具体例を示す。
FIG. 7 is a schematic diagram illustrating a specific example of display in the
ユーザ“Ｕ１”に対して提示されている画面には、動画像を表示するための領域である動画表示領域６１が示されている。さらに、ユーザ“Ｕ１”に対して提示されている画面には、以下に示す１つの初期操作領域と２つの操作領域とが示されている。操作ユーザがユーザ“Ｕ１”であることを指示するためのボタンを表す初期操作領域５１−１。動画像の再生を停止させるためのボタンを表す操作領域５０−１１。動画像の再生を開始させるためのボタンを表す操作領域５０−１２。
On the screen presented to the user “U1”, a moving
ユーザ“Ｕ２”に対して提示されている画面には、動画像を表示するための領域である動画表示領域６１が示されている。さらに、ユーザ“Ｕ２”に対して提示されている画面には、以下に示す１つの初期操作領域と２つの操作領域とが示されている。操作ユーザがユーザ“Ｕ２”であることを指示するためのボタンを表す初期操作領域５１−２。動画像の再生を停止させるためのボタンを表す操作領域５０−１３。動画像の再生を開始させるためのボタンを表す操作領域５０−１４。
On the screen presented to the user “U2”, a moving
表示部１２は、制御部１５ｂの制御に応じて、ユーザ“Ｕ１”の位置からは図７（Ａ）に示される画面が見えるように表示を行い、ユーザ“Ｕ２”の位置からは図７（Ｂ）に示される画面が見えるように表示を行う。２つの初期操作領域５１（５１−１及び５１−２）に関するレコード４２は、いずれも初期操作領域テーブルに登録されている。４つの操作領域５０（５０−１１〜５０−１４）に関するレコード４１は、いずれも操作領域テーブルに登録されている。操作領域制御部１３ｂは、各初期操作領域の位置が重複しないように初期操作領域を制御する。ただし、操作領域制御部１３ｂは、第一実施形態の操作領域制御部１３ａと異なり、操作領域に関しては重複するか否かに関わらず操作領域を制御する。
Under the control of the
操作領域制御部１３ｂが初期操作領域を決定する処理に関しては、第一実施形態の操作領域制御部１３ａが操作領域を決定する際の処理と同様の処理が適用されても良い。また、操作領域制御部１３ｂは、予めユーザ毎に設定されている初期操作領域に応じて動作しても良い。この場合、必ずしも操作領域制御部１３ｂが初期操作領域を制御する必要は無く、単に予め設定された初期操作領域に関する情報が操作領域記憶部１４ｂに記憶されていても良い。
以上で操作領域制御部１３ｂの処理の説明を終える。次に、制御部１５ｂの処理について説明する。
Regarding the process in which the operation
Above, description of the process of the operation
入力部１１を介して位置依存操作がなされると、制御部１５ｂは、過去所定の期間の間に初期操作領域において位置依存操作がなされたか否か判定する。
過去所定の期間の間に初期操作領域において位置依存操作がなされていない場合、制御部１５ｂは以下のように動作する。
When a position-dependent operation is performed via the
When a position-dependent operation has not been performed in the initial operation area during a predetermined period in the past, the
まず、制御部１５ｂは、操作位置の座標を取得する。制御部１５ｂは、初期操作領域テーブルの各レコード４２の領域情報を参照し、操作位置の座標を包含する初期領域情報を判定する。制御部１５ｂは、判定された領域情報を有するレコード４２を取得する。制御部１５ｂは、取得したレコード４２の操作識別子を参照し、どのユーザによってなされた操作であるか判定する。すなわち、制御部１５ｂは、取得したレコード４２の操作識別子の値によって表されるユーザが操作ユーザであると判定する。そして、制御部１５ｂは、その後所定の期間の間になされた操作については、直前に判定された操作ユーザによって行われた操作であると判定する。
First, the
一方、過去所定の期間の間に初期操作領域において位置依存操作がなされていた場合、制御部１５ｂは以下のように動作する。
まず、制御部１５ｂは、操作位置の座標を取得する。制御部１５ｂは、操作領域テーブルの各レコード４１のうち、直前に判定された操作ユーザに該当する操作識別子の値を有するレコード４１を判定する。制御部１５ｂは、判定したレコード４１の領域情報を参照し、操作位置の座標を包含する領域情報を判定する。制御部１５ｂは、判定された領域情報を有するレコード４１を取得する。制御部１５ｂは、領域識別子に応じて、その操作領域に対応付けられている操作内容を判定する。そして、制御部１５ｂは、操作ユーザに対して提示している画面において、操作内容を反映させた表示を行う。
On the other hand, when a position-dependent operation has been performed in the initial operation area during a predetermined period in the past, the
First, the
例えば、図７（Ａ）の初期操作領域５１−１内において位置依存操作がなされた場合、制御部１５ｂは、その後の所定期間はユーザ“Ｕ１”によって操作がなされていると判定する。この期間中に操作領域５０−１２内において位置依存操作がなされた場合、制御部１５ｂは、ユーザ“Ｕ１”に対して提示している画面において、再生の準備がなされている動画像の再生を開始する。
For example, when a position-dependent operation is performed in the initial operation region 51-1 in FIG. 7A, the
例えば、図７（Ｂ）の初期操作領域５１−２内において位置依存操作がなされた場合、制御部１５ｂは、その後の所定期間はユーザ“Ｕ２”によって操作がなされていると判定する。この期間中に操作領域５０−１４内において位置依存操作がなされた場合、制御部１５ｂは、ユーザ“Ｕ２”に対して提示している画面において、再生の準備がなされている動画像の再生を開始する。
For example, when a position-dependent operation is performed in the initial operation region 51-2 in FIG. 7B, the
このように構成された第二実施形態の端末装置１００ｂによれば、制御部１５ｂは、位置依存操作がなされた位置（操作位置）が初期操作領域内である場合、その後の所定期間の操作に関する操作ユーザを判定することができる。そのため、複数のユーザに対して異なる表示が可能な装置において、ポインティングデバイスを用いた操作が行われた際に、どのユーザによる操作であるのか判断することが可能となる。
According to the
また、第二実施形態の端末装置１００ｂによれば、操作領域５０が重複して配置されても良い。例えば、図７（Ａ）と図７（Ｂ）とでは、操作領域５０−１１及び５０−１３が重複して配置されている。また、操作領域５０−１２及び５０−１４も重複して配置されている。そのため、操作領域５０の配置の自由度を高める事が可能となる。
Moreover, according to the
＜変形例＞
端末装置１００ｂは、ジャイロセンサをさらに備えるように構成されても良い。この場合、制御部１５ｂは、初期操作領域５１において位置依存操作がなされていた際に、判定結果（操作ユーザ）とジャイロセンサの出力値とを対応付けて記憶する。その後、制御部１５ｂは、初期操作領域５１において位置依存操作がなされた後に所定期間が経過したか否かに関わらず、操作領域５０において位置依存操作がなされた場合には、ジャイロセンサの出力値に基づいて操作ユーザを判定する。
<Modification>
The
このように構成された第二実施形態の端末装置１００ｂによれば、一度初期操作領域５１において位置依存操作がなされた後は、初期操作領域５１に対して位置依存操作を行うことなくスムーズに操作を行う事が可能となる。
According to the
上述したように、端末装置１００は一人のユーザによって複数の表示に対する操作が行われても良い。端末装置１００を操作するユーザの人数にかかわらず、上述した操作ユーザを判定する処理は、複数の異なる表示の中から操作対象表示を判定する処理と同義である。そのため、制御部１５ｂは、操作対象表示を指示するための操作がなされる領域である初期操作領域を、複数の異なる表示間で重複した位置に表示されないように制御する。
As described above, the
［第三実施形態］
図８は、端末装置１００の第三実施形態（端末装置１００ｃ）の機能構成を表す概略ブロック図である。端末装置１００ｃは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備える。端末装置１００ｃは、プログラムを実行することによって、入力部１１、表示部１２、操作領域制御部１３ｃ、操作領域記憶部１４ｃ、制御部１５ｃ、画像入力部１６及び顔検出部１７を備える装置として機能する。なお、端末装置１００ｃの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。端末装置１００ｃが実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。
[Third embodiment]
FIG. 8 is a schematic block diagram showing a functional configuration of the third embodiment (terminal device 100 c) of the
端末装置１００ｃが備える入力部１１及び表示部１２は、第一実施形態の端末装置１００ａが備える入力部１１及び表示部１２と同じ構成である。そのため説明を省略する。
操作領域制御部１３ｃは、表示部１２に表示される操作領域の位置を決定し、操作領域テーブルを更新する。操作領域制御部１３ｃは、重複するか否かを判定することなく操作領域の位置を決定可能である。この点で、操作領域制御部１３ｃと操作領域制御部１３ａとは異なる。
The
The operation
操作領域記憶部１４ｃは、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。操作領域記憶部１４ｃは、操作領域テーブルを記憶する。操作領域記憶部１４ｃが記憶する操作領域テーブルでは、異なるレコード４１の領域情報において、その領域の一部又は全部が重複しても良い。
The operation
制御部１５ｃは、端末装置１００ｃ全体の制御を行う。制御部１５ｃは、領域識別子毎に、その操作領域において位置依存操作がなされていた場合に入力される操作内容を記憶している。制御部１５ｃは、操作領域記憶部１４ｃによって記憶されている操作領域テーブルに基づいて、表示部１２に表示される画面を制御する。また、制御部１５ｃは、入力部１１を介して位置依存操作がなされると、顔検出部１７の検出結果に基づいて、操作を行ったユーザ（操作ユーザ）を判定する。そして、制御部１５ｃは、操作ユーザに提示されている画面の操作領域と、操作がなされた位置（操作位置）と、に応じた処理を行う。例えば、操作ユーザに提示されている画面において操作位置に存在する操作領域が電子メールの送信を命令するための操作領域である場合、制御部１５ｃは、現時点で操作ユーザによって入力されていた内容で電子メールを送信する。
The control unit 15c controls the entire terminal device 100c. The control unit 15c stores, for each region identifier, the operation content that is input when a position-dependent operation is performed in the operation region. The control unit 15c controls the screen displayed on the
画像入力部１６は、端末装置１００ｃに対して入力される画像のデータを受け付ける。画像入力部１６は、外部に設置されたスチルカメラやビデオカメラによって撮像された画像を、カメラから受信しても良い。また、端末装置１００ｃがスチルカメラやビデオカメラを備えている場合は、画像入力部１６は撮像された画像又は撮像前の画像をバスから受信しても良い。画像入力部１６は、端末装置１００のユーザの画像データの入力を受けることが可能な構成であれば、さらに異なる態様で構成されても良い。画像入力部１６によって入力が受け付けられた画像を「入力画像」という。
The
顔検出部１７は、入力画像において顔の検出を行う。顔検出部１７には、例えばＯｐｅｎＣＶライブラリで提供されている顔検出アルゴリズムが適用されても良い。顔検出部１７は、顔検出処理によって、入力画像上の顔の位置及びサイズを取得する。次に、顔検出部１７は、検出されたサイズに基づいて、撮影装置から顔までの距離を推定する。この推定処理は、例えば平均顔として予め設定されているサイズとの比較に基づいて行われても良い。また、予め定められた距離（例えば撮影装置から１ｍ）でユーザの顔を撮像しておくことによって推定処理が行われても良い。次に、顔検出部１７は、顔の位置及び距離に基づいて、画面とユーザの顔との相対的な位置関係（例えば角度）を算出する。顔検出部１７は、算出結果を制御部１５ｃに出力する。
なお、制御部１５ｃは、顔検出部１７によって算出された相対的な位置関係に応じて、操作ユーザを判定する。
The
Note that the control unit 15 c determines the operating user according to the relative positional relationship calculated by the
図９は、第三実施形態の端末装置１００ｃにおける表示の具体例を示す概略図である。図９（Ａ）は、ユーザ“Ｕ１”に対して提示されている画面の具体例を示す。図９（Ｂ）は、ユーザ“Ｕ２”に対して提示されている画面の具体例を示す。 FIG. 9 is a schematic diagram illustrating a specific example of display in the terminal device 100c according to the third embodiment. FIG. 9A shows a specific example of a screen presented to the user “U1”. FIG. 9B shows a specific example of a screen presented to the user “U2”.
ユーザ“Ｕ１”に対して提示されている画面には、動画像を表示するための領域である動画表示領域６１が示されている。さらに、ユーザ“Ｕ１”に対して提示されている画面には、以下に示す２つの操作領域が示されている。動画像の再生を停止させるためのボタンを表す操作領域５０−１１。動画像の再生を開始させるためのボタンを表す操作領域５０−１２。
On the screen presented to the user “U1”, a moving
ユーザ“Ｕ２”に対して提示されている画面には、動画像を表示するための領域である動画表示領域６１が示されている。さらに、ユーザ“Ｕ２”に対して提示されている画面には、以下に示す２つの操作領域が示されている。動画像の再生を停止させるためのボタンを表す操作領域５０−１３。動画像の再生を開始させるためのボタンを表す操作領域５０−１４。
On the screen presented to the user “U2”, a moving
表示部１２は、制御部１５ｃの制御に応じて、ユーザ“Ｕ１”の位置からは図９（Ａ）に示される画面が見えるように表示を行い、ユーザ“Ｕ２”の位置からは図９（Ｂ）に示される画面が見えるように表示を行う。４つの操作領域５０（５０−１１〜５０−１４）に関するレコード４１は、いずれも操作領域テーブルに登録されている。
Under the control of the control unit 15c, the
入力部１１を介して位置依存操作がなされると、顔検出部１７は、画面とユーザの顔との相対的な位置関係を算出する。顔検出部１７は、算出結果を制御部１５ｃに出力する。制御部１５ｃは、画面とユーザの顔との相対的な位置関係に基づいて、操作ユーザを判定する。例えば、制御部１５ｃは、顔検出部１７によって算出された角度の方向から見えている表示に対応するユーザを、操作ユーザとして判定する。次に、制御部１５ｃは、操作位置の座標を取得する。制御部１５ｃは、操作領域テーブルの各レコード４１のうち、操作ユーザに該当する操作識別子の値を有するレコード４１を判定する。制御部１５ｃは、判定したレコード４１の領域情報を参照し、操作位置の座標を包含する領域情報を判定する。制御部１５ｃは、判定された領域情報を有するレコード４１を取得する。制御部１５ｃは、領域識別子に応じて、その操作領域に対応付けられている操作内容を判定する。そして、制御部１５ｃは、操作ユーザに対して提示している画面において、操作内容を反映させた表示を行う。
When a position-dependent operation is performed via the
例えば、図９（Ａ）の画面が提示されている方向に位置するユーザ（ユーザ“Ｕ１”）が操作ユーザであると判定された場合、制御部１５ｃは、ユーザ“Ｕ１”に対して提示している画面において、再生や停止の処理を行う。 For example, when it is determined that the user (user “U1”) located in the direction in which the screen of FIG. 9A is presented is the operating user, the control unit 15c presents the user “U1”. Play or stop on the current screen.
例えば、図９（Ｂ）の画面が提示されている方向に位置するのユーザ（ユーザ“Ｕ２”）が操作ユーザであると判定された場合、制御部１５ｃは、ユーザ“Ｕ２”に対して提示している画面において、再生や停止の処理を行う。 For example, when it is determined that the user (user “U2”) located in the direction in which the screen of FIG. 9B is presented is the operating user, the control unit 15c presents to the user “U2”. Play or stop the current screen.
このように構成された第三実施形態の端末装置１００ｃによれば、制御部１５ｃは、顔検出部１７の算出結果に基づいて操作ユーザを判定することができる。そのため、複数のユーザに対して異なる表示が可能な装置において、ポインティングデバイスを用いた操作が行われた際に、どのユーザによる操作であるのか判断することが可能となる。
According to the terminal device 100c of the third embodiment configured as described above, the control unit 15c can determine the operating user based on the calculation result of the
また、第三実施形態の端末装置１００ｃによれば、操作領域５０が重複して配置されても良い。そのため、操作領域５０の配置の自由度を高める事が可能となる。
また、第三実施形態の端末装置１００ｃによれば、第二実施形態の端末装置１００ｂとは異なり、初期操作領域を配置する必要が無い。そのため、例えば、図９からも明らかなように、画面をより広く使用することが可能となる。例えば図７と図９とを比較すると、初期操作領域５１を表示する必要が無い分、動画表示領域６１をより広く表示することが可能となっている。
Moreover, according to the terminal device 100c of 3rd embodiment, the operation area | region 50 may be arrange | positioned overlappingly. Therefore, it is possible to increase the degree of freedom of arrangement of the operation area 50.
Also, according to the terminal device 100c of the third embodiment, unlike the
＜変形例＞
端末装置１００ｃは、ジャイロセンサをさらに備えるように構成されても良い。この場合、制御部１５ｃは、顔検出部１７によって算出結果が出力された際に、判定結果（操作ユーザ）とジャイロセンサの出力値とを対応付けて記憶する。その後、制御部１５ｃは、顔検出部１７による算出結果に関わらず、操作領域５０において位置依存操作がなされた場合には、ジャイロセンサの出力値に基づいて操作ユーザを判定する。
<Modification>
The terminal device 100c may be configured to further include a gyro sensor. In this case, when the calculation result is output by the
このように構成された第三実施形態の端末装置１００ｃによれば、一度顔検出部１７において顔検出処理がなされた後は、顔検出処理を行うことなくスムーズに操作を行う事が可能となる。
According to the terminal device 100c of the third embodiment configured as described above, once face detection processing is performed in the
上述したように、端末装置１００は一人のユーザによって複数の表示に対する操作が行われても良い。端末装置１００を操作するユーザの人数にかかわらず、上述した操作ユーザを判定する処理は、複数の異なる表示の中から操作対象表示を判定する処理と同義である。そのため、制御部１５ｃは、顔検出部によって算出された位置関係に基づいて、操作対象表示を判定する。
As described above, the
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
１００（１００ａ，１００ｂ，１００ｃ）…端末装置， １１…入力部， １２…表示部， １３ａ，１３ｂ，１３ｃ…操作領域制御部， １４ａ，１４ｂ，１４ｃ…操作領域記憶部， １５ａ，１５ｂ，１５ｃ…制御部， １６…画像入力部， １７…顔検出部， ５０−１〜５０−５，５０−１１〜５０−１４…操作領域， ５１−１，５１−２…初期操作領域， ６１…動画表示領域 DESCRIPTION OF SYMBOLS 100 (100a, 100b, 100c) ... Terminal device, 11 ... Input part, 12 ... Display part, 13a, 13b, 13c ... Operation area control part, 14a, 14b, 14c ... Operation area memory | storage part, 15a, 15b, 15c ... Control unit, 16 ... image input unit, 17 ... face detection unit, 50-1 to 50-5, 50-11 to 50-14 ... operation area, 51-1, 51-2 ... initial operation area, 61 ... animation display region
Claims (6)
ポインティングデバイスによる操作を受け付ける入力部と、
前記入力部において、操作領域において操作位置に応じた処理が必要となる何らかの操作がなされた場合に、前記複数の異なる表示の中から前記操作が行われた対象の表示である操作対象表示を判定し、前記操作対象表示において、前記操作の結果を反映させる制御部と、
を備える端末装置。 A display unit that performs a plurality of different displays according to an angle with respect to the display surface;
An input unit for receiving an operation by a pointing device;
In the input unit, when an operation requiring processing according to the operation position is performed in the operation area, an operation target display that is a display of the target on which the operation has been performed is determined from the plurality of different displays. And a control unit that reflects the result of the operation in the operation target display;
A terminal device comprising:
前記制御部は、前記操作領域のうち前記操作がなされた位置を含む操作領域に対応する表示を前記操作対象表示として判定する、請求項１に記載の端末装置。 An operation region control unit that controls the operation region so that the operation region is not displayed at an overlapping position between the plurality of different displays;
The terminal device according to claim 1, wherein the control unit determines, as the operation target display, a display corresponding to an operation region including a position where the operation is performed in the operation region.
前記制御部は、前記初期操作領域のうち前記操作がなされた位置を含む初期操作領域に対応する表示を前記操作対象表示として判定する、請求項１に記載の端末装置。 An operation area control unit that controls an initial operation area, which is an area in which an operation for instructing the operation target display, is performed so as not to be displayed at an overlapping position between the plurality of different displays;
The terminal device according to claim 1, wherein the control unit determines a display corresponding to an initial operation area including a position where the operation is performed in the initial operation area as the operation target display.
前記画像入力部によって入力された画像において前記ユーザの顔を検出し、前記表示部の画面とユーザの顔との相対的な位置関係を算出する顔検出部と、をさらに備え、
前記制御部は、前記顔検出部によって算出された位置関係に基づいて、前記操作対象表示を判定する、請求項１に記載の端末装置。 An image input unit for inputting an image of a user who performs an operation on the input unit;
A face detection unit that detects the user's face in the image input by the image input unit and calculates a relative positional relationship between the screen of the display unit and the user's face;
The terminal device according to claim 1, wherein the control unit determines the operation target display based on the positional relationship calculated by the face detection unit.
前記入力部において、操作領域において操作位置に応じた処理が必要となる何らかの操作がなされた場合に、前記複数の異なる表示の中から前記操作が行われた対象の表示である操作対象表示を判定するステップと、
前記操作対象表示において、前記操作の結果を反映させるステップと、
を有する制御方法。 A control method performed by a terminal device including a display unit that performs a plurality of different displays according to an angle with respect to a display surface, and an input unit that receives an operation by a pointing device,
In the input unit, when an operation requiring processing according to the operation position is performed in the operation area, an operation target display that is a display of the target on which the operation has been performed is determined from the plurality of different displays. And steps to
Reflecting the result of the operation in the operation target display;
Control method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012261700A JP2014106924A (en) | 2012-11-29 | 2012-11-29 | Terminal device, control method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012261700A JP2014106924A (en) | 2012-11-29 | 2012-11-29 | Terminal device, control method, and computer program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014106924A true JP2014106924A (en) | 2014-06-09 |
Family
ID=51028308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012261700A Pending JP2014106924A (en) | 2012-11-29 | 2012-11-29 | Terminal device, control method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014106924A (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007207146A (en) * | 2006-02-06 | 2007-08-16 | Alpine Electronics Inc | Display device, user interface therefor and menu provision method |
| JP2009163659A (en) * | 2008-01-10 | 2009-07-23 | Nikon Corp | Information display device |
| US20120262448A1 (en) * | 2011-04-12 | 2012-10-18 | Lg Electronics Inc. | Mobile terminal and control method thereof |
-
2012
- 2012-11-29 JP JP2012261700A patent/JP2014106924A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007207146A (en) * | 2006-02-06 | 2007-08-16 | Alpine Electronics Inc | Display device, user interface therefor and menu provision method |
| JP2009163659A (en) * | 2008-01-10 | 2009-07-23 | Nikon Corp | Information display device |
| US20120262448A1 (en) * | 2011-04-12 | 2012-10-18 | Lg Electronics Inc. | Mobile terminal and control method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9836146B2 (en) | Method of controlling virtual object or view point on two dimensional interactive display | |
| US9619105B1 (en) | Systems and methods for gesture based interaction with viewpoint dependent user interfaces | |
| EP3050030B1 (en) | Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor | |
| JP6569496B2 (en) | Input device, input method, and program | |
| US9268410B2 (en) | Image processing device, image processing method, and program | |
| RU2720356C1 (en) | Control device, control method and storage medium | |
| US20240040211A1 (en) | Methods, Systems, and Media For Presenting Interactive Elements Within Video Content | |
| EP2717140B1 (en) | Equipment control device, operation reception method, and program | |
| WO2013029162A1 (en) | Detecting pointing gestures iν a three-dimensional graphical user interface | |
| US8938093B2 (en) | Addition of immersive interaction capabilities to otherwise unmodified 3D graphics applications | |
| CN101553843A (en) | Interacting with 2D content on 3D surfaces | |
| JP7267753B2 (en) | Control device, control method, and program | |
| EP3062506B1 (en) | Image switching method and apparatus | |
| CN107688426B (en) | Method and device for selecting target object | |
| JP2019057291A (en) | Control device, control method, and program | |
| JP2014106924A (en) | Terminal device, control method, and computer program | |
| EP3337165A1 (en) | Video communication method and system | |
| CN115134649B (en) | Method and system for presenting interactive elements within video content | |
| JP2017056607A (en) | Data processing device, data processing method, and program | |
| JP2020053088A (en) | Control device, control method, and program | |
| GB2569179A (en) | Method for editing digital image sequences | |
| EP2854008A1 (en) | Method to deduce topography of a group of devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160202 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160809 |