JP2014038474A - Terminal equipment, display system and operation program - Google Patents
Terminal equipment, display system and operation program Download PDFInfo
- Publication number
- JP2014038474A JP2014038474A JP2012180284A JP2012180284A JP2014038474A JP 2014038474 A JP2014038474 A JP 2014038474A JP 2012180284 A JP2012180284 A JP 2012180284A JP 2012180284 A JP2012180284 A JP 2012180284A JP 2014038474 A JP2014038474 A JP 2014038474A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- terminal device
- user
- image display
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明は、端末装置、表示システム及び操作プログラムに関する。 The present invention relates to a terminal device, a display system, and an operation program.
従来、画像ファイルを表示するプロジェクタ等の画像表示装置が知られている。また、画像表示装置による画像ファイルの表示に関しては、ユーザの所定動作であるジェスチャを検知し、検知したジェスチャに対応する操作を画像表示装置に指示することで、所望の画像ファイルを表示する技術がある。 Conventionally, an image display device such as a projector for displaying an image file is known. In addition, regarding the display of an image file by the image display device, there is a technology for displaying a desired image file by detecting a gesture that is a predetermined operation of the user and instructing the image display device to perform an operation corresponding to the detected gesture. is there.
かかる技術において、ユーザによるジェスチャは、例えば、カメラによって撮像されたユーザの映像から検知される。このため、ユーザは、画像表示装置を操作するためのジェスチャとして誤検知が生じないように自身の動きに留意することになる。加えて、ユーザは、ジェスチャとして検知させるために、カメラによって撮像可能な範囲に居なければならないので、自身の位置が制限されてしまう。また、ジェスチャの検知においては、上記のようにカメラ等の機器を要することになるためコストが増大してしまう。 In such a technique, a user's gesture is detected from, for example, a user's image captured by a camera. For this reason, the user pays attention to his / her movement so that a false detection does not occur as a gesture for operating the image display apparatus. In addition, since the user must be within a range that can be imaged by the camera in order to be detected as a gesture, the user's position is limited. In addition, in detecting a gesture, since a device such as a camera is required as described above, the cost increases.
そこで、最近では、角度センサや加速度センサを備えたリモートコントローラを用いて、その運動方向や傾きをユーザによるジェスチャとして検知することにより、画像表示装置を操作する技術がある。 Therefore, recently, there is a technique for operating an image display device by detecting a movement direction and inclination as a gesture by a user using a remote controller including an angle sensor and an acceleration sensor.
しかしながら、上述した従来技術であっても、専用のリモートコントローラを用意しなければならないために、コストが増大するという問題は解消できない。 However, even with the above-described conventional technology, a dedicated remote controller must be prepared, and thus the problem of increased cost cannot be solved.
本発明は、上記に鑑みてなされたものであって、画像表示装置を操作するための機器や部品を追加することなく、また、ユーザの位置及び動作を制限せずに画像表示装置の操作を行なうことが可能である端末装置、表示システム及び操作プログラムを提供することを目的とする。 The present invention has been made in view of the above, and it is possible to operate an image display device without adding equipment and parts for operating the image display device and without restricting the position and operation of the user. It is an object to provide a terminal device, a display system, and an operation program that can be performed.
上述した課題を解決し、目的を達成するため、本発明に係る端末装置は、端末装置であって、ネットワークを介して所定アプリケーションを取得する取得部と、画像を表示する画像表示装置を操作するための前記端末装置に対するユーザの動作を検知する検知部とを有し、前記所定アプリケーションは、前記動作と、前記画像表示装置に対する前記操作とを対応付けて保持する保持部と、前記保持部に基づいて、前記検知部によって検知された動作に対応する操作を特定する操作特定部と、前記操作特定部によって特定された操作を前記画像表示装置に対して送信する送信部として機能する。 In order to solve the above-described problems and achieve the object, a terminal device according to the present invention is a terminal device, and operates an acquisition unit that acquires a predetermined application and an image display device that displays an image via a network. A detection unit that detects a user's operation on the terminal device, and the predetermined application includes a holding unit that holds the operation and the operation on the image display device in association with each other, and Based on this, it functions as an operation specifying unit that specifies an operation corresponding to the operation detected by the detecting unit, and a transmission unit that transmits the operation specified by the operation specifying unit to the image display device.
また、本発明に係る表示システムは、端末装置と画像を表示する画像表示装置とを有する表示システムであって、前記端末装置は、ネットワークを介して所定アプリケーションを取得する取得部と、前記画像表示装置を操作するための前記端末装置に対するユーザの動作を検知する検知部とを有し、前記所定アプリケーションは、前記動作と、前記画像表示装置に対する前記操作とを対応付けて保持する保持部と、前記保持部に基づいて、前記検知部によって検知された動作に対応する操作を特定する操作特定部と、前記操作特定部によって特定された操作を前記画像表示装置に対して送信する送信部として機能し、前記画像表示装置は、表示対象の前記画像を記憶する画像記憶部と、前記送信部によって送信された操作を受信する受信部と、受信された操作に応じた前記画像を前記画像記憶部から取得する画像取得部と、取得された前記画像をもとに表示画像を生成する生成部と、生成された前記表示画像を表示する表示部とを有する。 The display system according to the present invention is a display system having a terminal device and an image display device that displays an image, wherein the terminal device acquires an application through a network, and the image display A detection unit that detects a user's operation on the terminal device for operating the device, and the predetermined application holds the operation and the operation on the image display device in association with each other, Based on the holding unit, functions as an operation specifying unit that specifies an operation corresponding to the operation detected by the detection unit, and a transmission unit that transmits the operation specified by the operation specifying unit to the image display device The image display device includes an image storage unit that stores the image to be displayed, and a reception unit that receives an operation transmitted by the transmission unit. An image acquisition unit that acquires the image corresponding to the received operation from the image storage unit, a generation unit that generates a display image based on the acquired image, and a display that displays the generated display image Part.
また、本発明に係る操作プログラムは、コンピュータを、ネットワークを介して所定アプリケーションを取得する取得部と、画像を表示する画像表示装置を操作するための端末装置に対するユーザの動作を検知する検知部として機能させ、前記所定アプリケーションは、前記動作と、前記画像表示装置に対する前記操作とを対応付けて保持する保持部と、前記保持部に基づいて、前記検知部によって検知された動作に対応する操作を特定する操作特定部と、前記操作特定部によって特定された操作を前記画像表示装置に対して送信する送信部として機能する。 Further, the operation program according to the present invention includes a computer as an acquisition unit that acquires a predetermined application via a network and a detection unit that detects an operation of a user with respect to a terminal device for operating an image display device that displays an image. And the predetermined application performs an operation corresponding to the operation detected by the detection unit based on the holding unit, and a holding unit that holds the operation and the operation on the image display device in association with each other. It functions as an operation specifying unit to be specified and a transmission unit for transmitting the operation specified by the operation specifying unit to the image display device.
本発明の一つの様態によれば、画像表示装置を操作するための機器や部品を追加することなく、また、ユーザの位置及び動作を制限せずに画像表示装置の操作を行なうことができるという効果を奏する。 According to one aspect of the present invention, it is possible to operate the image display device without adding equipment and parts for operating the image display device and without restricting the position and operation of the user. There is an effect.
以下に添付図面を参照して、本発明に係る端末装置、表示システム及び操作プログラムの実施の形態を説明する。なお、以下の実施の形態により本発明が限定されるものではない。 Embodiments of a terminal device, a display system, and an operation program according to the present invention will be described below with reference to the accompanying drawings. In addition, this invention is not limited by the following embodiment.
（実施の形態１）
［システム構成］
図１を用いて、実施の形態１に係る表示システムの構成を説明する。図１は、実施の形態１に係る表示システムの構成例を示す図である。図１に示すように、表示システム１では、サーバ装置１０と、端末装置２０と、画像表示装置３０とがネットワーク２に接続されている。なお、ネットワーク２には、複数の端末装置２０が接続されていても良い。
(Embodiment 1)
[System configuration]
The configuration of the display system according to Embodiment 1 will be described with reference to FIG. FIG. 1 is a diagram illustrating a configuration example of a display system according to the first embodiment. As shown in FIG. 1, in the display system 1, a
これらのうち、サーバ装置１０は、画像表示装置３０を操作するためのユーザの動作であるジェスチャを認識するための所定アプリケーションを記憶する。実施の形態１では、所定アプリケーションを「Ｗｅｂアプリケーション」と呼ぶ場合がある。
Among these, the
端末装置２０は、Ｗｅｂブラウザや加速度センサ等が搭載されたスマートフォン（Smartphone）等の多機能携帯電話機である。かかるＷｅｂブラウザは、ＪａｖａＳｃｒｉｐｔ（登録商標）でアクセス可能な加速度センサの情報を取得するＡＰＩ（Application Program Interface）を提供する。また、端末装置２０は、Ｗｅｂブラウザを利用してサーバ装置１０からＷｅｂアプリケーションを取得及び実行する。
The
画像表示装置３０は、ユーザによるジェスチャに応じた操作の操作対象となるプロジェクタ等の機器である。かかる画像表示装置３０は、Ｈｔｔｐ（HyperText Transfer Protocol）リクエストによりプロジェクタの操作を可能にするＷｅｂＡＰＩを提供する。なお、Ｗｅｂアプリケーションから画像表示装置３０のＷｅｂＡＰＩにアクセスする際には、異なるドメインのサービスに接続することによるクロスドメイン（Cross Domain）の問題が発生する可能性がある。クロスドメインの問題の解決手段は、例えば、サーバ装置１０によって提供されれば良い。また、上記サーバ装置１０の役割については、画像表示装置３０によって代替されても良い。
The
[実施の形態１に係る装置構成]
次に、図２を用いて、実施の形態１に係る端末装置２０及び画像表示装置３０の構成を説明する。図２は、実施の形態１に係る端末装置２０及び画像表示装置３０の構成例を示す機能ブロック図である。以下では、端末装置２０の構成について説明した後に、画像表示装置３０の構成について説明する。
[Device Configuration According to Embodiment 1]
Next, the configuration of the
図２に示すように、端末装置２０は、Ｗｅｂブラウザ２１と、取得部２２と、特定動作検知部２３と、検知部２４とを有する。
As illustrated in FIG. 2, the
取得部２２は、Ｗｅｂブラウザ２１を利用して、Ｗｅｂアプリケーション２５を記憶するサーバ装置１０から、Ｗｅｂアプリケーション２５を取得する。取得部２２によって取得されたＷｅｂアプリケーション２５は、Ｗｅｂブラウザ２１によって読み込まれ、Ｗｅｂブラウザ２１によってその各種機能が実行可能な形式で構成されている。Ｗｅｂアプリケーション２５の各種機能は、判定部２５ａ、操作特定部２５ｂ、保持部２５ｃ、送信部２５ｄ及び報知部２５ｅとして機能する。なお、Ｗｅｂアプリケーション２５の各種機能による処理については後述する。
The acquisition unit 22 uses the Web browser 21 to acquire the
特定動作検知部２３は、画像表示装置３０を操作するための端末装置２０に対するユーザのジェスチャを開始するための、該端末装置２０に対するユーザの特定動作を表す第１動作を検知する。かかる第１動作は、例えば、端末装置２０のタッチパネルにユーザが接触する動作や、端末装置２０のハードキーをユーザが押下する動作である。つまり、タッチパネルを利用した検知を例に挙げると、特定動作検知部２３は、画像表示装置３０を操作するためのジェスチャを開始するユーザが端末装置２０のタッチパネルに接触すると、タッチパネルに対する操作を検知するタッチセンサ等により、タッチパネルに接触したことを検知する。なお、タッチパネルへの接触やハードキーの押下は、例えば、端末装置２０を持つユーザの手で行なわれる。また、特定動作検知部２３によって検知された第１動作の検知結果は、Ｗｅｂブラウザ２１を介して、判定部２５ａに通知される。
The specific
また、特定動作検知部２３は、画像表示装置３０を操作するための端末装置２０に対するユーザのジェスチャを終了するための、該端末装置２０に対するユーザの特定動作を表す第２動作を検知する。かかる第２動作は、例えば、端末装置２０のタッチパネルにユーザが接触している状態から非接触の状態になった動作や、端末装置２０のハードキーをユーザが押下している状態から押下をやめた状態になった動作である。つまり、タッチパネルを利用した検知を例に挙げると、特定動作検知部２３は、画像表示装置３０を操作するためのジェスチャを終了するユーザが端末装置２０のタッチパネルへの接触をやめると、タッチパネルに対する操作を検知するタッチセンサ等により、タッチパネルに接触した状態から非接触の状態になったことを検知する。また、特定動作検知部２３によって検知された第２動作の検知結果は、Ｗｅｂブラウザ２１を介して、判定部２５ａに通知される。
In addition, the specific
検知部２４は、画像表示装置３０を操作するための端末装置２０に対するユーザのジェスチャとして、該端末装置２０の傾き及び移動方向の少なくとも一つを、加速度センサ等により検知する。検知部２４によって検知された端末装置２０の傾きや移動方向の検知結果は、Ｗｅｂブラウザ２１を介して、操作特定部２５ｂに通知される。
The
判定部２５ａは、特定動作検知部２３から第１動作の検知結果を受け付けた場合に、画像表示装置３０を操作するための端末装置２０に対するユーザのジェスチャが開始されると判定する。そして、判定部２５ａは、検知部２４によって通知されるユーザのジェスチャの記録を開始する指示、すなわち端末装置２０の傾きや移動方向の検知結果の記録を開始する指示を、操作特定部２５ｂに対して行なう。
The
一方、判定部２５ａは、特定動作検知部２３から第２動作の検知結果を受け付けた場合に、画像表示装置３０を操作するための端末装置２０に対するユーザのジェスチャが終了されると判定する。そして、判定部２５ａは、検知部２４によって通知されるユーザのジェスチャの記録を終了する指示、すなわち端末装置２０の傾きや移動方向の検知結果の記録を終了する指示を、操作特定部２５ｂに対して行なう。
On the other hand, the
図３は、ジェスチャの開始及び終了に係るユーザの特定動作の例を説明する図である。なお、図３では、タッチパネルへの接触・非接触により、ジェスチャの開始・終了を検知する場合の例を示している。 FIG. 3 is a diagram illustrating an example of a user specific operation related to the start and end of a gesture. FIG. 3 shows an example in which the start / end of a gesture is detected by contact / non-contact with the touch panel.
図３の上段に示すように、ユーザは、端末装置２０のタッチパネルを指で押さえる特定動作を行なう。これにより、特定動作検知部２３は、タッチセンサ等により、タッチパネルに接触したことを表す第１動作を検知し、検知した第１動作の検知結果を、Ｗｅｂブラウザ２１を介して判定部２５ａに通知する。第１動作の検知結果を通知された判定部２５ａは、ユーザのジェスチャが開始されることとして判定し、ユーザのジェスチャの記録を開始する指示を操作特定部２５ｂに対して行なう。
As shown in the upper part of FIG. 3, the user performs a specific operation of pressing the touch panel of the
また、図３の中段に示すように、タッチパネルが指で押さえられている状態においては、端末装置２０がユーザによって傾けられたり移動されたりしており、ユーザによるジェスチャが行なわれている最中であることを意味する。なお、端末装置２０を利用したユーザによるジェスチャについては後述する。
Further, as shown in the middle part of FIG. 3, in a state where the touch panel is pressed by a finger, the
また、図３の下段に示すように、ユーザは、端末装置２０のタッチパネルを指で押さえた状態において、該タッチパネルから指を離す特定動作を行なう。これにより、特定動作検知部２３は、タッチセンサ等により、タッチパネルに非接触になったことを表す第２動作を検知し、検知した第２動作の検知結果を、Ｗｅｂブラウザ２１を介して判定部２５ａに通知する。第２動作の検知結果を通知された判定部２５ａは、ユーザのジェスチャが終了されることとして判定し、ユーザのジェスチャの記録を終了する指示を操作特定部２５ｂに対して行なう。
As shown in the lower part of FIG. 3, the user performs a specific operation of releasing the finger from the touch panel in a state where the touch panel of the
図２の説明に戻り、操作特定部２５ｂは、検知部２４によって検知された端末装置２０の傾きや移動方向の検知結果を、ユーザのジェスチャとして受け付ける。このとき、操作特定部２５ｂは、判定部２５ａによってユーザのジェスチャの記録を開始する指示を受け付けた場合に、検知部２４から受け付けているユーザのジェスチャの記録を開始する。ジェスチャの記録は、所定のメモリ（図示せず）に対して行なわれれば良い。また、操作特定部２５ｂは、判定部２５ａによってユーザのジェスチャの記録を終了する指示を受け付けた場合に、検知部２４から受け付けているユーザのジェスチャの記録を終了する。つまり、操作特定部２５ｂは、図３の上段に示したユーザの第１動作に応じてジェスチャの記録を開始し、図３の中段に示した状態においてジェスチャの記録を継続し、図３の下段に示したユーザの第２動作に応じてジェスチャの記録を終了する。
Returning to the description of FIG. 2, the
そして、操作特定部２５ｂは、ジェスチャの記録を終了すると、所定のメモリから記録したジェスチャを取得し、保持部２５ｃを参照して、取得したジェスチャに対応する画像表示装置３０に対する操作を特定する。保持部２５ｃは、ジェスチャと操作とを対応付けて保持する。続いて、操作特定部２５ｂは、特定した操作を送信部２５ｄに通知する。また、操作特定部２５ｂは、ジェスチャに対応する操作を特定する場合に、対応する操作の有無に関する操作有無情報を報知部２５ｅに通知する。
When the
図４は、端末装置２０に対するユーザのジェスチャに対応する操作の例を説明する図である。なお、図４に示すジェスチャは、図３の中段に示した状態、すなわちユーザがタッチパネルに触れている状態のときに行なわれる。
FIG. 4 is a diagram illustrating an example of an operation corresponding to a user gesture on the
図４に示すように、ユーザによって端末装置２０が右方向に移動されることにより、「次のスライドへ進む」という操作になる。また、ユーザによって端末装置２０が左方向に移動されることにより、「前のスライドへ戻る」という操作になる。また、ユーザによって端末装置２０がタッチパネルの方向に移動されることにより、「スライドを拡大する」という操作になる。また、ユーザによって端末装置２０がタッチパネルと反対方向に移動されることにより、「スライドを縮小する」という操作になる。また、ユーザによって端末装置２０が時計回りに回転されることにより、「スライドを時計回りに回転する」という操作になる。また、ユーザによって端末装置２０が反時計回りに回転されることにより、「スライドを反時計回りに回転する」という操作になる。
As shown in FIG. 4, when the
ここで、スライドの拡大においては、一定量ずつ拡大するようにしても良いし、移動量に応じて拡大率を変化させても良い。同様に、スライドの縮小においては、一定量ずつ縮小するようにしても良いし、移動量に応じて縮小率を変化させても良い。以下に、スライドの拡大中における操作について説明する。 Here, in the enlargement of the slide, it may be enlarged by a certain amount, or the enlargement ratio may be changed according to the movement amount. Similarly, in reducing the slide, it may be reduced by a certain amount, or the reduction rate may be changed according to the amount of movement. Hereinafter, an operation during enlargement of the slide will be described.
図５は、スライドの拡大中における、端末装置２０に対するユーザのジェスチャに対応する操作の例を説明する図である。図５に示すように、ユーザによって端末装置２０が右方向に移動されることにより、「表示している範囲を左に移動する」という操作になる。また、ユーザによって端末装置２０が左方向に移動されることにより、「表示している範囲を右に移動する」という操作になる。また、ユーザによって端末装置２０が上方向に移動されることにより、「表示している範囲を下に移動する」という操作になる。また、ユーザによって端末装置２０が下方向に移動されることにより、「表示している範囲を上に移動する」という操作になる。また、ユーザによって端末装置２０が左右に移動されることにより、「拡大をやめる」という操作になる。
FIG. 5 is a diagram for explaining an example of an operation corresponding to a user gesture on the
図６Ａ及び図６Ｂは、Ｗｅｂアプリケーション２５のユーザインタフェースの例を示す図である。図６Ａに示すユーザインタフェースは、ユーザのジェスチャ入力を受け付けるためのものであり、画面を目視することなく操作を行なえるように、ほぼ全画面を操作可能な領域としている。ユーザは、図６Ａに示すユーザインタフェースにおいて、タッチパネルをタップしながらジェスチャを行なう。なお、ジェスチャの入力は、端末装置２０に搭載されたボタンを押下することにより行なっても良い。また、図６Ａに示す「疑問符」のアイコンは、ジェスチャの入力に慣れていないユーザのためのものである。疑問符のアイコンがタッチされた場合には、図６Ｂに示すように、ヘルプ画面に遷移する。ヘルプ画面では、図４や図５に示したジェスチャに対応する操作の説明が表示される。
6A and 6B are diagrams showing examples of the user interface of the
図２の説明に戻り、送信部２５ｄは、操作特定部２５ｂによって特定された操作を、Ｗｅｂブラウザ２１を介して、画像表示装置３０に対して送信する。報知部２５ｅは、操作特定部２５ｂによってジェスチャに対応する操作が特定できた場合に、画像表示装置３０の操作が成功したこととして、操作成功の旨を報知する。一方、報知部２５ｅは、操作特定部２５ｂによってジェスチャに対応する操作が特定できない場合に、画像表示装置３０の操作が失敗したこととして、操作失敗の旨を報知する。ジェスチャに対応する操作を取得出来たか否かについては、操作有無情報をもとに判定すれば良い。
Returning to the description of FIG. 2, the transmission unit 25 d transmits the operation specified by the
また、操作成功や操作失敗の旨の報知において、報知部２５ｅは、音の出力及び振動の発生の少なくとも一つにより報知する。例えば、音による報知は、端末装置２０に搭載されたスピーカ（図示せず）を制御することにより出力される。また、例えば、振動による報知は、端末装置２０に搭載された振動モータ等のバイブレータ（図示せず）を制御することにより出力される。
Further, in the notification of the success or failure of the operation, the
図７は、音の出力及び振動の発生のパターンの例について説明する図である。図７に示すように、報知部２５ｅは、操作特定部２５ｂによってジェスチャに対応する操作が特定できた場合に、画像表示装置３０に対するジェスチャ操作が成功したこととして、一定の間が設けられた音・振動パターンにより、スピーカ及び振動モータの少なくとも一つを制御する。同様に、報知部２５ｅは、操作特定部２５ｂによってジェスチャに対応する操作が特定できなかった場合に、画像表示装置３０に対するジェスチャ操作が失敗したこととして、一定の間を設けない音・振動パターンにより、スピーカ及び振動モードの少なくとも一つを制御する。
FIG. 7 is a diagram illustrating an example of a sound output and vibration generation pattern. As shown in FIG. 7, when the
次に、画像表示装置３０の構成について説明する。図２に示すように、画像表示装置３０は、受信部３１と、画像取得部３２と、画像記憶部３３と、生成部３４と、表示部３５とを有する。
Next, the configuration of the
受信部３１は、端末装置２０の送信部２５ｄによって送信された、画像表示装置３０に対する操作を受信する。画像取得部３２は、受信部３１によって受信された操作に応じた画像を画像記憶部３３から取得する。画像記憶部３３は、表示対象の画像を記憶する。つまり、「次のスライドへ進む」の操作である場合には、現在表示されているスライドの次に表示されるスライドに該当する画像が画像記憶部３３から取得される。
The receiving
生成部３４は、画像取得部３２によって取得された画像をもとに表示部３５に表示させる表示画像を生成する。表示画像の生成では、例えば、表示位置や画像の拡大率・縮小率等を調整する処理が行なわれる。表示部３５は、生成部３４によって生成された表示画像を表示する。表示画像の表示では、例えば、スクリーン等の投影面に表示画像を投影する処理が行なわれる。 The generation unit 34 generates a display image to be displayed on the display unit 35 based on the image acquired by the image acquisition unit 32. In the generation of the display image, for example, processing for adjusting the display position, the enlargement / reduction ratio of the image, and the like is performed. The display unit 35 displays the display image generated by the generation unit 34. In displaying the display image, for example, a process of projecting the display image onto a projection surface such as a screen is performed.
［実施の形態１に係る装置間の処理シーケンス］
次に、図８を用いて、実施の形態１に係る装置間の処理の流れについて説明する。図８は、実施の形態１に係る装置間の処理の流れの例を示す処理シーケンス図である。
[Processing sequence between apparatuses according to Embodiment 1]
Next, a flow of processing between apparatuses according to the first embodiment will be described with reference to FIG. FIG. 8 is a process sequence diagram illustrating an example of a process flow between apparatuses according to the first embodiment.
図８に示すように、端末装置２０は、サーバ装置１０に対してＷｅｂアプリケーション２５を要求する（ステップＳ１０１）。また、サーバ装置１０は、端末装置２０からのＷｅｂアプリケーション２５の要求に対して、該当するＷｅｂアプリケーション２５を端末装置２０に対して送信する（ステップＳ１０２）。
As illustrated in FIG. 8, the
また、Ｗｅｂアプリケーション２５を取得した端末装置２０は、該端末装置２０を利用したユーザのジェスチャを検知し（ステップＳ１０３）、検知したジェスチャに対応する操作を画像表示装置３０に対して送信する（ステップＳ１０４）。また、操作を受信した画像表示装置３０は、操作に応じた表示画像を生成して、生成した表示画像を表示する（ステップＳ１０５）。
Further, the
[実施の形態１に係る操作指示処理フロー]
次に、図９を用いて、実施の形態１に係る操作指示処理の流れについて説明する。図９は、実施の形態１に係る操作指示処理の流れの例を示すフローチャートである。なお、操作指示処理とは、主に端末装置２０による処理を指す。また、図９では、Ｗｅｂアプリケーション２５が既に読み込まれているものとして説明する。
[Operation instruction processing flow according to Embodiment 1]
Next, the flow of the operation instruction process according to the first embodiment will be described with reference to FIG. FIG. 9 is a flowchart illustrating an example of the flow of the operation instruction process according to the first embodiment. The operation instruction process mainly refers to a process performed by the
図９に示すように、特定動作検知部２３によって、端末装置２０のタッチパネルにユーザが接触したことを表す第１動作が検知された場合に（ステップＳ２０１肯定）、判定部２５ａは、ユーザのジェスチャが開始されると判定する。そして、判定部２５ａは、ユーザのジェスチャの記録を開始する指示を操作特定部２５ｂに対して行なう。これにより、操作特定部２５ｂは、検知部２４によって検知されたジェスチャを所定のメモリに記録する（ステップＳ２０２）。また、特定動作検知部２３は、第１動作が検知されていない場合に（ステップＳ２０１否定）、該第１動作を検知するまでステップＳ２０１の処理を実行する。なお、検知部２４は、第１動作が検知されていなくても、ジェスチャの検知を継続している。但し、このときに検知されたジェスチャは、操作特定部２５ｂによって記録されない。
As illustrated in FIG. 9, when the first action indicating that the user has touched the touch panel of the
また、特定動作検知部２３によって、端末装置２０のタッチパネルにユーザが接触した状態から非接触の状態になったことが検知された場合に（ステップＳ２０３肯定）、判定部２５ａは、ユーザのジェスチャが終了されると判定する。そして、判定部２５ａは、ユーザのジェスチャの記録を終了する指示を操作特定部２５ｂに対して行なう。これにより、操作特定部２５ｂは、検知部２４によって検知されたジェスチャの記録を終了し、保持部２５ｃを参照して、記録の開始から終了に至るまでのジェスチャに対応する操作を検索する（ステップＳ２０４）。一方、特定動作検知部２３によって、非接触の状態になったことが検知されない場合に（ステップＳ２０３否定）、操作特定部２５ｂは、検知部２４によって検知されたジェスチャの記録を継続する（ステップＳ２０２）。
In addition, when the specific
そして、操作特定部２５ｂによって、ジェスチャに対応する操作が特定できた場合に（ステップＳ２０５肯定）、送信部２５ｄは、特定された操作を画像表示装置３０に対して送信する（ステップＳ２０６）。その後、報知部２５ｅは、操作特定部２５ｂによってジェスチャに対応する操作が特定できたことを受けて、画像表示装置３０に対するジェスチャ操作が成功した旨を、音や振動により報知する（ステップＳ２０７）。一方、操作特定部２５ｂによって、ジェスチャに対応する操作が特定できなかった場合に（ステップＳ２０５否定）、報知部２５ｅは、画像表示装置３０に対するジェスチャ操作が失敗した旨を、音や振動により報知する（ステップＳ２０８）。
Then, when the operation corresponding to the gesture can be specified by the
［実施の形態１に係る表示処理フロー］
次に、図１０を用いて、実施の形態１に係る表示処理の流れについて説明する。図１０は、実施の形態１に係る表示処理の流れの例を示すフローチャートである。なお、表示処理とは、主に画像表示装置３０による処理を指す。
[Display processing flow according to Embodiment 1]
Next, the flow of display processing according to Embodiment 1 will be described with reference to FIG. FIG. 10 is a flowchart illustrating an example of the flow of display processing according to the first embodiment. Note that the display processing mainly refers to processing performed by the
図１０に示すように、受信部３１によって、端末装置２０から操作が受信された場合に（ステップＳ３０１肯定）、画像取得部３２は、操作に応じた画像を画像記憶部３３から取得する（ステップＳ３０２）。また、受信部３１によって、端末装置２０から操作が受信されていない場合に（ステップＳ３０１否定）、該操作の受信待ちの状態となる。
As illustrated in FIG. 10, when an operation is received from the
また、生成部３４は、画像取得部３２によって取得された画像から、表示位置や拡大率・縮小率等を調整した表示画像を生成する（ステップＳ３０３）。また、表示部３５は、生成部３４によって生成された表示画像をスクリーン等の投影面に表示する（ステップＳ３０４）。 Further, the generation unit 34 generates a display image in which the display position, the enlargement / reduction ratio, and the like are adjusted from the image acquired by the image acquisition unit 32 (step S303). The display unit 35 displays the display image generated by the generation unit 34 on a projection surface such as a screen (step S304).
［実施の形態１による効果］
上述したように、端末装置２０は、該端末装置２０に搭載された加速度センサ等で検知される傾きや移動方向をユーザのジェスチャとして、Ｗｅｂアプリケーション２５の実行によりジェスチャの認識を行ない、ジェスチャに対応する操作を画像表示装置３０に対して送信する。また、画像表示装置３０は、端末装置２０によって送信された操作に応じて表示画像を表示する。これらの結果、端末装置２０は、画像表示装置３０を操作するための機器や部品を追加することなく、また、ユーザの位置及び動作を制限せずに画像表示装置３０の操作を行なうことができる。
[Effects of Embodiment 1]
As described above, the
また、画像表示装置３０においては、Ｈｔｔｐリクエストによりアクセス及び操作可能なＷｅｂＡＰＩを適用する場合を説明した。この結果、汎用的なプロトコルで提供することで、画像表示装置３０を操作するためのアプリケーションの開発方法の幅を広げることができる。また、Ｗｅｂブラウザ２１で実行可能な形式で構成することで、端末装置２０に対して新たにソフトウェアをインストールする必要をなくすことができる。また、ジェスチャの開始及び終了を、ユーザの第１動作及び第２動作をトリガとするので、ジェスチャ認識のための処理負荷を軽減することができるとともに、ジェスチャの誤認識を削減することができる。また、画像表示装置３０への操作の成功及び失敗を報知するので、画像表示装置３０を使用したプレゼンテーション等の円滑な進行に寄与することができる。
In the
（実施の形態２）
さて、これまで本発明に係る端末装置２０及び画像表示装置３０の実施の形態について説明したが、上述した実施の形態以外にも種々の異なる形態にて実施されて良いものである。そこで、（１）アプリケーションの形態、（２）構成、（３）ハードウェア構成、について異なる実施の形態を説明する。
(Embodiment 2)
The embodiments of the
（１）アプリケーションの形態
上記実施の形態１では、Ｗｅｂブラウザ２１で実行可能な形式で構成された所定アプリケーション（Ｗｅｂアプリケーション２５）を読み込んで実行する形態を説明した。かかる所定アプリケーションは、Ｗｅｂアプリケーションに限られるわけではなく、一般的なアプリケーションの形態で実現されても良い。ここで、一般的なアプリケーションとは、アプリケーションのダウンロード後に、インストールを要するものを指す。
(1) Application Form In the first embodiment, the form in which a predetermined application (Web application 25) configured in a format that can be executed by the Web browser 21 is read and executed has been described. Such a predetermined application is not limited to a Web application, and may be realized in the form of a general application. Here, a general application refers to an application that requires installation after downloading the application.
図１１は、実施の形態２に係る表示システムの構成例を示す図である。なお、図１１では、実施の形態１と同様の構成については同一の符号を付している。 FIG. 11 is a diagram illustrating a configuration example of the display system according to the second embodiment. In FIG. 11, the same reference numerals are given to the same configurations as those in the first embodiment.
図１１に示すように、表示システム１ａでは、端末装置２００と、画像表示装置３０とがネットワーク２ａに接続されている。また、端末装置２００及び画像表示装置３０は、ＷＡＮ（Wide Area Network）等のネットワーク３を介して、サーバ装置１０と接続されている。つまり、サーバ装置１０は、端末装置２００や画像表示装置３０が接続されるＬＡＮ（Local Area Network）等のネットワーク２ａとは異なる外部ネットワークに接続されている。なお、ネットワーク２ａには、複数の端末装置２０が接続されていても良い。
As shown in FIG. 11, in the
上述した構成において、端末装置２００は、サーバ装置１０からアプリケーションを取得する。取得されたアプリケーションは、ユーザ操作により端末装置２００にインストールされることで実行可能となる。なお、かかる表示システム１ａにおいては、Ｗｅｂブラウザを利用したネットワークへのアクセスとは異なり、クロスドメインの問題が発生しない。このため、端末装置２００は、画像表示装置３０との直接的なやり取りが可能である。
In the configuration described above, the
図１２は、実施の形態２に係る端末装置２００及び画像表示装置３０の構成例を示す機能ブロック図である。なお、図１２では、実施の形態１と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。実施の形態２では、以下に示すアプリケーション２５０以外の各部の機能及び構成、処理については実施の形態１と同様である。但し、実施の形態２では、実施の形態１とは異なり、Ｗｅｂブラウザ２１を要さない。
FIG. 12 is a functional block diagram illustrating a configuration example of the
図１２に示すように、端末装置２００は、取得部２２と、特定動作検知部２３と、検知部２４とを有する。また、取得部２２によって取得されたアプリケーション２５０は、端末装置２００にインストールされることで、判定部２５ａ、操作特定部２５ｂ、保持部２５ｃ、送信部２５ｄ及び報知部２５ｅとして機能する。上述したように、実施の形態２では、Ｗｅｂブラウザ２１を利用せずに各処理が実行される点が実施の形態１とは異なるので、各部の処理について簡単に説明する。
As illustrated in FIG. 12, the
取得部２２は、アプリケーション２５０を記憶するサーバ装置１０から、アプリケーション２５０を取得する。取得部２２によって取得されたアプリケーション２５０は、端末装置２００にインストールされることで実行可能となる。
The acquisition unit 22 acquires the
特定動作検知部２３は、画像表示装置３０を操作するための端末装置２００に対するユーザのジェスチャを開始するための、該端末装置２００に対するユーザの特定動作を表す第１動作を検知する。また、特定動作検知部２３は、画像表示装置３０を操作するための端末装置２００に対するユーザのジェスチャを終了するための、該端末装置２００に対するユーザの特定動作を表す第２動作を検知する。特定動作検知部２３によって検知された第１動作及び第２動作の検知結果は、判定部２５ａに通知される。
The specific
検知部２４は、画像表示装置３０を操作するための端末装置２００に対するユーザのジェスチャとして、該端末装置２００の傾き及び移動方向の少なくとも一つを、加速度センサ等により検知する。検知部２４によって検知された端末装置２００の傾きや移動方向の検知結果は、操作特定部２５ｂに通知される。
The
判定部２５ａは、特定動作検知部２３から第１動作の検知結果を受け付けた場合に、画像表示装置３０を操作するための端末装置２００に対するユーザのジェスチャが開始されると判定する。そして、判定部２５ａは、検知部２４によって通知されるユーザのジェスチャの記録を開始する指示、すなわち端末装置２００の傾きや移動方向の検知結果の記録を開始する指示を、操作特定部２５ｂに対して行なう。
The
一方、判定部２５ａは、特定動作検知部２３から第２動作の検知結果を受け付けた場合に、画像表示装置３０を操作するための端末装置２００に対するユーザのジェスチャが終了されると判定する。そして、判定部２５ａは、検知部２４によって通知されるユーザのジェスチャの記録を終了する指示、すなわち端末装置２００の傾きや移動方向の検知結果の記録を終了する指示を、操作特定部２５ｂに対して行なう。
On the other hand, the
操作特定部２５ｂは、検知部２４によって検知された端末装置２００の傾きや移動方向の検知結果を、ユーザのジェスチャとして受け付ける。このとき、操作特定部２５ｂは、判定部２５ａによってユーザのジェスチャの記録を開始する指示を受け付けた場合に、検知部２４から受け付けているユーザのジェスチャの記録を開始する。また、操作特定部２５ｂは、判定部２５ａによってユーザのジェスチャの記録を終了する指示を受け付けた場合に、検知部２４から受け付けているユーザのジェスチャの記録を終了する。
The
そして、操作特定部２５ｂは、ジェスチャの記録を終了すると、保持部２５ｃを参照して、記録したジェスチャに対応する画像表示装置３０に対する操作を特定する。保持部２５ｃは、ジェスチャと操作とを対応付けて保持する。続いて、操作特定部２５ｂは、特定した操作を送信部２５ｄに通知する。また、操作特定部２５ｂは、ジェスチャに対応する操作を特定する場合に、対応する操作の有無に関する操作有無情報を報知部２５ｅに通知する。
Then, when the
送信部２５ｄは、操作特定部２５ｂによって特定された操作を、画像表示装置３０に対して送信する。なお、画像表示装置３０はＨｔｔｐリクエストによりプロジェクタの操作を可能にするＷｅｂＡＰＩを提供しているため、送信部２５ｄは、Ｈｔｔｐによる通信規約に合わせたデータの形式により送信を行なう。
The transmitting unit 25d transmits the operation specified by the
報知部２５ｅは、操作特定部２５ｂによってジェスチャに対応する操作が特定できた場合に、画像表示装置３０の操作が成功したこととして、操作成功の旨を報知する。一方、報知部２５ｅは、操作特定部２５ｂによってジェスチャに対応する操作が特定できない場合に、画像表示装置３０の操作が失敗したこととして、操作失敗の旨を報知する。ジェスチャに対応する操作を取得出来たか否かについては、操作有無情報をもとに判定する。
When the
次に、画像表示装置３０の構成について説明する。図１２に示すように、画像表示装置３０は、受信部３１と、画像取得部３２と、画像記憶部３３と、生成部３４と、表示部３５とを有する。
Next, the configuration of the
受信部３１は、端末装置２００の送信部２５ｄによって送信された、画像表示装置３０に対する操作を受信する。送信部２５ｄではＨｔｔｐによる通信規約に合わせたデータ形式により送信されているため、受信部３１では、実施の形態１と同一の処理が行なわれれば良い。画像取得部３２は、受信部３１によって受信された操作に応じた画像を画像記憶部３３から取得する。画像記憶部３３は、表示対象の画像を記憶する。生成部３４は、画像取得部３２によって取得された画像をもとに表示部３５に表示させる表示画像を生成する。表示部３５は、生成部３４によって生成された表示画像を表示する。
The receiving
（２）構成
また、上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメタ等を含む情報は、特記する場合を除いて任意に変更することができる。例えば、保持部２５ｃによって保持される情報であるジェスチャ及び操作は、上記の例に限られるわけではなく、適宜変更することができる。また、報知部２５ｅによる報知の手法については、上記の例に限られるわけではなく、音声によるものや光の出力パターンによるものでも良い。
(2) Configuration In addition, information including processing procedures, control procedures, specific names, various data, parameters, and the like shown in the documents and drawings can be arbitrarily changed unless otherwise specified. For example, the gesture and operation, which are information held by the holding unit 25c, are not limited to the above example, and can be changed as appropriate. In addition, the notification method by the
また、図示した各装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合することができる。例えば、「特定動作検知部２３」と「検知部２４」とを、タッチセンサ等により第１動作及び第２動作を検知し、加速度センサ等によりジェスチャを検知する「動作検知部」として統合しても良い。
Further, each component of each illustrated apparatus is functionally conceptual, and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution or integration of each device is not limited to the illustrated one, and all or a part thereof is functionally or physically distributed or arbitrarily distributed in arbitrary units according to various burdens or usage conditions. Can be integrated. For example, the “specific
また、ジェスチャの記録の開始及び終了について、特定動作検知部２３及び判定部２５ａによる処理をトリガとする場合を説明したが、パターンマッチを利用したジェスチャの検知により実現するようにしても良い。すなわち、特定動作検知部２３及び判定部２５ａによる処理は必ずしも行なわれなくても良い。また、画像表示装置３０の操作の成功及び失敗については、表示するスライドの切り替わりや表示変化の有無で認識することができるため、報知部２５ｅによる報知は必ずしも行なわれてなくても良い。
Moreover, although the case where the process of the specific
（３）ハードウェア構成
図１３は、端末装置のハードウェア構成例を示す図である。図１３に示すように、端末装置１０００では、ＣＰＵ１００１と、ＲＯＭ１００２と、ＲＡＭ１００３と、ＨＤＤ１００４と、加速度センサ１００５と、タッチセンサ１００６と、タッチパネル１００７とが、バス１００８で接続されている。
(3) Hardware Configuration FIG. 13 is a diagram illustrating a hardware configuration example of the terminal device. As illustrated in FIG. 13, in the
ＣＰＵ１００１は、端末装置１０００を全体制御する。ＲＯＭ１００２は、プログラムや各種データの格納用メモリとして利用される読み出し専用のメモリである。ＲＡＭ１００３は、プログラムや各種データの展開用のメモリとして利用される書き込み及び読み出し可能なメモリである。ＨＤＤ１００４は、各種データや各種プログラムの蓄積が可能なストレージであり、各種アプリケーションも記憶する。ここで、アプリケーションとは、上述したＷｅｂアプリケーション２５やアプリケーション２５０を指す。なお、ＨＤＤ１００４については、ＨＤＤの他に、光ディスクやフラッシュメモリ等の記憶媒体により構成されても良い。加速度センサ１００５は、端末装置１０００に対するユーザの動作を検知する検知部２４に相当する。タッチセンサ１００６は、タッチパネル１００７へのユーザの接触を検知する特定動作検知部２３に相当する。
The CPU 1001 controls the
かかる端末装置１０００で実行される操作プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、端末装置１０００で実行される操作プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、端末装置１０００で実行される操作プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、操作プログラムを、ＲＯＭ等に予め組み込んで提供するように構成しても良い。
The operation program executed by the
端末装置１０００で実行される操作プログラムは、上述した各部（取得部２２、検知部２４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が記憶媒体から操作プログラムを読み出して実行することにより、上記各部が主記憶装置上にロードされ、取得部２２、検知部２４が主記憶装置上に生成されるようになっている。これに応じて、操作特定部２５ｂ、保持部２５ｃ、送信部２５ｄとして機能するアプリケーションが実行される。
The operation program executed by the
１ 表示システム
１０ サーバ装置
２０ 端末装置
２１ Ｗｅｂブラウザ
２２ 取得部
２３ 特定動作検知部
２４ 検知部
２５ Ｗｅｂアプリケーション
２５ａ 判定部
２５ｂ 操作特定部
２５ｃ 保持部
２５ｄ 送信部
２５ｅ 報知部
３０ 画像表示装置
３１ 受信部
３２ 画像取得部
３３ 画像記憶部
３４ 生成部
３５ 表示部
DESCRIPTION OF SYMBOLS 1
Claims (10)
ネットワークを介して所定アプリケーションを取得する取得部と、
画像を表示する画像表示装置を操作するための前記端末装置に対するユーザの動作を検知する検知部と
を有し、
前記所定アプリケーションは、
前記動作と、前記画像表示装置に対する前記操作とを対応付けて保持する保持部と、
前記保持部に基づいて、前記検知部によって検知された動作に対応する操作を特定する操作特定部と、
前記操作特定部によって特定された操作を前記画像表示装置に対して送信する送信部として機能する
ことを特徴とする端末装置。 A terminal device,
An acquisition unit for acquiring a predetermined application via a network;
A detection unit that detects an operation of the user with respect to the terminal device for operating an image display device that displays an image;
The predetermined application is:
A holding unit that holds the operation in association with the operation on the image display device;
An operation specifying unit for specifying an operation corresponding to the operation detected by the detection unit based on the holding unit;
A terminal device that functions as a transmission unit that transmits the operation specified by the operation specifying unit to the image display device.
前記操作特定部は、検知された前記端末装置の傾き及び移動方向の少なくとも一つに対応する操作を特定することを特徴とする請求項１に記載の端末装置。 The detection unit detects at least one of an inclination and a moving direction of the terminal device as an operation of the user with respect to the terminal device using an acceleration sensor,
The terminal device according to claim 1, wherein the operation specifying unit specifies an operation corresponding to at least one of the detected tilt and movement direction of the terminal device.
前記所定アプリケーションは、
検知された前記第１動作又は前記第２動作から、前記端末装置に対するユーザの動作の開始又は終了の何れであるかを判定する判定部としてさらに機能し、
前記操作特定部は、前記端末装置に対するユーザの動作の開始又は終了の判定結果に応じて、検知された動作に対応する操作を特定することを特徴とする請求項１に記載の端末装置。 A first operation representing a user's specific operation for the terminal device for starting a user's operation for the terminal device, and a user specification for the terminal device for ending the user's operation for the terminal device A specific action detecting unit for detecting a second action representing the action;
The predetermined application is:
From the detected first action or the second action, it further functions as a determination unit that determines whether a user action on the terminal device is started or ended,
The terminal device according to claim 1, wherein the operation specifying unit specifies an operation corresponding to the detected operation according to a determination result of a start or end of a user operation on the terminal device.
前記判定部は、前記第１動作が検知された場合に、前記端末装置に対するユーザの動作が開始されることを判定し、前記第２動作が検知された場合に、前記端末装置に対するユーザの動作が終了されることを判定することを特徴とする請求項５に記載の端末装置。 The specific action detection unit detects that the user has touched the screen of the terminal device as the first action, and detects that the contact state of the detected first action is not in contact with the second action. Detect as
The determination unit determines that a user operation on the terminal device is started when the first operation is detected, and a user operation on the terminal device when the second operation is detected. The terminal device according to claim 5, wherein the terminal device is determined to be terminated.
前記動作に対応する前記操作を特定できた場合に、前記画像表示装置の操作が成功したことを報知し、前記動作に対応する前記操作を特定できない場合に、前記画像表示装置の操作が失敗したことを報知する報知部としてさらに機能することを特徴とする請求項１に記載の端末装置。 The predetermined application is:
When the operation corresponding to the operation can be specified, the operation of the image display device is notified, and when the operation corresponding to the operation cannot be specified, the operation of the image display device has failed. The terminal device according to claim 1, further functioning as a notification unit that notifies the user.
前記端末装置は、
ネットワークを介して所定アプリケーションを取得する取得部と、
前記画像表示装置を操作するための前記端末装置に対するユーザの動作を検知する検知部と
を有し、
前記所定アプリケーションは、
前記動作と、前記画像表示装置に対する前記操作とを対応付けて保持する保持部と、
前記保持部に基づいて、前記検知部によって検知された動作に対応する操作を特定する操作特定部と、
前記操作特定部によって特定された操作を前記画像表示装置に対して送信する送信部として機能し、
前記画像表示装置は、
表示対象の前記画像を記憶する画像記憶部と、
前記送信部によって送信された操作を受信する受信部と、
受信された操作に応じた前記画像を前記画像記憶部から取得する画像取得部と、
取得された前記画像をもとに表示画像を生成する生成部と、
生成された前記表示画像を表示する表示部と
を有することを特徴とする表示システム。 A display system having a terminal device and an image display device for displaying an image,
The terminal device
An acquisition unit for acquiring a predetermined application via a network;
A detection unit that detects a user action on the terminal device for operating the image display device,
The predetermined application is:
A holding unit that holds the operation in association with the operation on the image display device;
An operation specifying unit for specifying an operation corresponding to the operation detected by the detection unit based on the holding unit;
Functions as a transmission unit for transmitting the operation specified by the operation specifying unit to the image display device;
The image display device includes:
An image storage unit for storing the image to be displayed;
A receiving unit for receiving an operation transmitted by the transmitting unit;
An image acquisition unit that acquires the image according to the received operation from the image storage unit;
A generating unit that generates a display image based on the acquired image;
And a display unit that displays the generated display image.
ネットワークを介して所定アプリケーションを取得する取得部と、
画像を表示する画像表示装置を操作するための端末装置に対するユーザの動作を検知する検知部
として機能させ、
前記所定アプリケーションは、
前記動作と、前記画像表示装置に対する前記操作とを対応付けて保持する保持部と、
前記保持部に基づいて、前記検知部によって検知された動作に対応する操作を特定する操作特定部と、
前記操作特定部によって特定された操作を前記画像表示装置に対して送信する送信部として機能する
ことを特徴とする操作プログラム。 Computer
An acquisition unit for acquiring a predetermined application via a network;
It functions as a detection unit that detects the user's action on the terminal device for operating the image display device that displays the image,
The predetermined application is:
A holding unit that holds the operation in association with the operation on the image display device;
An operation specifying unit for specifying an operation corresponding to the operation detected by the detection unit based on the holding unit;
An operation program that functions as a transmission unit that transmits an operation specified by the operation specifying unit to the image display device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012180284A JP2014038474A (en) | 2012-08-15 | 2012-08-15 | Terminal equipment, display system and operation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012180284A JP2014038474A (en) | 2012-08-15 | 2012-08-15 | Terminal equipment, display system and operation program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014038474A true JP2014038474A (en) | 2014-02-27 |
Family
ID=50286572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012180284A Pending JP2014038474A (en) | 2012-08-15 | 2012-08-15 | Terminal equipment, display system and operation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014038474A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016143100A (en) * | 2015-01-30 | 2016-08-08 | 東芝ライテック株式会社 | Communication system, home electric appliance, and control device |
| JP2016177499A (en) * | 2015-03-19 | 2016-10-06 | セイコーエプソン株式会社 | Control device, control method for electronic equipment, and program |
| JP2021068085A (en) * | 2019-10-21 | 2021-04-30 | 株式会社東海理化電機製作所 | Controller, computer program, and authentication system |
-
2012
- 2012-08-15 JP JP2012180284A patent/JP2014038474A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016143100A (en) * | 2015-01-30 | 2016-08-08 | 東芝ライテック株式会社 | Communication system, home electric appliance, and control device |
| JP2016177499A (en) * | 2015-03-19 | 2016-10-06 | セイコーエプソン株式会社 | Control device, control method for electronic equipment, and program |
| JP2021068085A (en) * | 2019-10-21 | 2021-04-30 | 株式会社東海理化電機製作所 | Controller, computer program, and authentication system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6241766B2 (en) | Mobile terminal and device linkage method | |
| RU2617384C2 (en) | Method and device for content management using graphical object | |
| US10061385B2 (en) | Haptic feedback for a touch input device | |
| KR20130097594A (en) | Method and apparatus for moving contents on screen in terminal | |
| KR101855141B1 (en) | Method and apparatus for setting option in a user device | |
| KR20130133980A (en) | Method and apparatus for moving object in terminal having touchscreen | |
| US20130293486A1 (en) | Touch-based remote control | |
| JP5982917B2 (en) | Information processing apparatus, operation authority grant program, and projection system | |
| WO2014036974A1 (en) | Terminal device, and method and system for display in one screen | |
| JP2014038474A (en) | Terminal equipment, display system and operation program | |
| JP2017117108A (en) | Electronic apparatus and method for controlling the electronic apparatus | |
| JP6492571B2 (en) | Information processing system, information processing apparatus, screen display method, and program | |
| JP5637003B2 (en) | Image forming apparatus, screen control method, screen control program, and recording medium | |
| JP2015046182A (en) | Image formation device, image formation system, screen control method, and program | |
| US20170243565A1 (en) | Information processing apparatus, method of controlling the same and non-transitory computer-readable storage medium | |
| JP2014178791A (en) | Projector, projection system, image generation program, and image generation method | |
| US9536526B2 (en) | Electronic device with speaker identification, method and storage medium | |
| CN104423950B (en) | Information processing method and electronic equipment | |
| JP6285974B2 (en) | Server system, client device, and program | |
| JP6047021B2 (en) | Imaging apparatus, control method therefor, and program | |
| KR102109618B1 (en) | Apparatus and method for managing mobile device | |
| JP2014035573A (en) | Information processor and program | |
| JP7315750B2 (en) | Server system, client device and program | |
| JP2009003296A (en) | Client device, server-based computing system, and program | |
| KR20150108591A (en) | Method for controlling wearable device and apparatus thereof |