JP6654722B2 - Image display device and image display method - Google Patents

Image display device and image display method Download PDF

Info

Publication number
JP6654722B2
JP6654722B2 JP2019043037A JP2019043037A JP6654722B2 JP 6654722 B2 JP6654722 B2 JP 6654722B2 JP 2019043037 A JP2019043037 A JP 2019043037A JP 2019043037 A JP2019043037 A JP 2019043037A JP 6654722 B2 JP6654722 B2 JP 6654722B2
Authority
JP
Japan
Prior art keywords
image
image display
display
external device
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019043037A
Other languages
Japanese (ja)
Other versions
JP2019117649A (en
Inventor
福田　吉夫
吉夫 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2019043037A priority Critical patent/JP6654722B2/en
Publication of JP2019117649A publication Critical patent/JP2019117649A/en
Application granted granted Critical
Publication of JP6654722B2 publication Critical patent/JP6654722B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、タッチパネルディスプレイの画像表示面が水平に配置されたテーブル型画像表示装置に関し、特に、携帯端末と同期して、携帯端末への入力の補助、及び携帯端末の画像表示機能の拡張を可能とする画像表示装置に関する。   The present invention relates to a table-type image display device in which an image display surface of a touch-panel display is horizontally arranged, and in particular, to assist in inputting to a mobile terminal and extend an image display function of the mobile terminal in synchronization with the mobile terminal. The present invention relates to an image display device capable of being used.

近年、携帯型の情報処理装置が普及している。そのユーザインターフェイス装置として、画像表示面上にタッチパネルが配置されたディスプレイ（以下、タッチパネルディスプレイという）が採用されている。タッチパネルディスプレイに表示された対象を直接タッチ操作するだけでなく、文字及び数字等の入力が必要な場合には、画面にソフトウェアキーボードを表示し、これを操作することが一般化している。   In recent years, portable information processing apparatuses have become widespread. As the user interface device, a display in which a touch panel is arranged on an image display surface (hereinafter, referred to as a touch panel display) is employed. When it is necessary to input characters and numbers in addition to directly touching an object displayed on a touch panel display, it is common to display a software keyboard on a screen and operate the software keyboard.

コンピュータにおいてもタッチパネルディスプレイが搭載され、タッチ操作を想定したユーザインターフェイスを採用したオペレーティングシステム（ＯＳ）も提供されている。従来のコンピュータ用キーボード（以下、単にキーボードという）及びコンピュータ用マウスの何れも標準装備していないタブレットＰＣ又はタブレット端末等と呼ばれる携帯端末装置も提供されている。   A computer is also provided with a touch panel display, and an operating system (OS) employing a user interface that assumes a touch operation is also provided. There is also provided a portable terminal device such as a tablet PC or a tablet terminal which does not have a conventional computer keyboard (hereinafter simply referred to as a keyboard) and a computer mouse as standard equipment.

タッチパネルディスプレイに関しては、その大画面化が進展しており、今後、タッチパネルディスプレイが種々の用途に使用されることが予想される。例えば、電子黒板等の用途は元より、画像表示面を水平に配置して、タッチ操作可能なテーブル（事務用テーブル又は会議用テーブル等）として使用することが提案されている。   As for the touch panel display, the size of the screen is increasing, and it is expected that the touch panel display will be used for various purposes in the future. For example, it has been proposed to use an electronic blackboard or the like as a table (such as an office table or a conference table) in which an image display surface is horizontally arranged and can be touch-operated.

このようなタッチパネルディスプレイの普及に伴い、タッチ操作の改善が要望されている。例えば、下記特許文献１には、オフィス環境を改善するための事務機器一体型デスクにおいて、入力手段としてキーボードをタッチパネルに表示する技術が開示されている。具体的には、デスクの天板にパソコン機能部を備え、パソコン機能部には、ディスプレイ画面を表示するスクリーン部と、キーボードを表示するキーボード用タッチパネルとが設けられている。また、下記特許文献２には、テーブルの上面がタッチパネルで構成され、外部のコンピュータに接続されて、テーブル上面に表示用画面とキーボードとを表示する技術が開示されている。このテーブルには、タッチパネルの機能をオン／オフするためのフットスイッチ又はプッシュスイッチを備えている。   With the spread of such touch panel displays, there is a demand for improved touch operations. For example, Patent Literature 1 below discloses a technique in which a keyboard is displayed on a touch panel as input means in an office equipment integrated desk for improving an office environment. Specifically, a personal computer function unit is provided on a desk top, and the personal computer function unit is provided with a screen unit for displaying a display screen and a keyboard touch panel for displaying a keyboard. Further, Patent Literature 2 below discloses a technique in which the upper surface of a table is configured by a touch panel, connected to an external computer, and displays a display screen and a keyboard on the upper surface of the table. This table includes a foot switch or a push switch for turning on / off the function of the touch panel.

特開平８−８９３４６号公報JP-A-8-89346 特開２０１２−１３８０３０号公報JP 2012-138030 A

しかし、特許文献１に開示された技術では、液晶パネルの大きさの制約により、デスクの天板の一部にタッチパネルディスプレイを設けることしかできず、主に個人使用に限定され、複数人で同時に使用することができない問題があった。   However, according to the technology disclosed in Patent Document 1, only a touch panel display can be provided on a part of the desk top plate due to the limitation of the size of the liquid crystal panel, and it is mainly limited to personal use. There was a problem that could not be used.

上記したように、タッチパネルディスプレイの大画面化が進展しているが、画像表示面を水平に配置して、テーブルとして使用したタッチ操作可能なテーブル型画像表示装置は、十分に活用されておらず、その可能性が十分に検討されていない。例えば、特許文献２では、テーブルの上面を構成するタッチパネルの機能を、単にオン／オフすることしかできない。   As described above, the touch-panel display has a large screen, but the image display surface is arranged horizontally, and a touch-operable table-type image display device used as a table has not been fully utilized. , Its potential has not been fully considered. For example, in Patent Literature 2, the function of the touch panel forming the upper surface of the table can only be turned on / off.

近年では、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ等の無線通信環境が普及している。これらの無線通信機能が標準搭載された携帯端末も普及しており、携帯端末とテーブル型画像表示装置との連携により、操作性の改善、利便性の向上、及び新たな機能の創出が期待される。   In recent years, wireless communication environments such as Bluetooth (registered trademark) and Wi-Fi have become widespread. Portable terminals equipped with these wireless communication functions as standard equipment are also in widespread use, and improvement of operability, convenience, and creation of new functions are expected by cooperation between the portable terminals and the table-type image display device. You.

したがって、本発明は、タッチパネルディスプレイの画像表示面が水平に配置されたテーブル型画像表示装置であって、携帯端末と同期して、携帯端末への入力の補助、及び携帯端末の画像表示機能の拡張を可能とする画像表示装置を提供することを目的とする。   Therefore, the present invention is a table-type image display device in which an image display surface of a touch panel display is horizontally arranged, and assists input to the mobile terminal in synchronization with the mobile terminal, and provides an image display function of the mobile terminal. It is an object of the present invention to provide an image display device that can be extended.

本発明に係る画像表示装置は、画像表示面が水平に配置された表示部と、表示部の画像表示面上に配置され、タッチされた位置を検出する検出部とを含む。表示部は、検出部が、外部装置が検出部の上に載置されたことを検出したことを受けて、検出された載置領域に対応する画像表示面上の領域の近傍に、外部装置に対する入力機器の画像を表示する。   An image display device according to the present invention includes a display unit on which an image display surface is horizontally arranged, and a detection unit arranged on the image display surface of the display unit and detecting a touched position. The display unit receives the detection that the external device is mounted on the detection unit, and displays the external device in the vicinity of an area on the image display surface corresponding to the detected mounting area. The image of the input device corresponding to is displayed.

好ましくは、画像表示装置は、検出部により、入力機器の画像に対応する位置へのタッチが検出されたことを受けて、入力機器に対する操作に対応する指示情報を、外部装置に送信する通信部をさらに含む。   Preferably, the image display device is a communication unit that transmits, to the external device, instruction information corresponding to an operation on the input device, in response to the detection unit detecting a touch on a position corresponding to the image of the input device. Further included.

より好ましくは、表示部は、検出部が、入力機器の画像の表示位置の変更を指示されたことを受けて、新たに指示された位置に、入力機器の画像を移動させて表示する。   More preferably, the display unit displays the image of the input device by moving the image of the input device to the newly instructed position in response to the instruction of the change of the display position of the image of the input device by the detection unit.

さらに好ましくは、表示部は、検出部により、タッチされたことが検出されたことを受けて、外部装置から受信した、外部装置の画像表示面に表示された画像データを、拡大して表示する。   More preferably, the display unit receives the detection of the touch by the detection unit, and displays the image data received from the external device and displayed on the image display surface of the external device in an enlarged manner. .

好ましくは、表示部は、外部装置が載置された状態で、検出部により、タッチされたことが検出されたことを受けて、外部装置から受信した外部装置の画像表示面に表示された画像データを、載置領域に対応する部分を含む領域に拡大表示し、拡大表示された状態で、検出部により、外部装置が検出部の上から取除かれたことを受けて、載置領域に対応する部分に表示されていた部分画像を異なる部分画像に変更する。   Preferably, the display unit is an image displayed on the image display surface of the external device received from the external device in response to the detection of the touch by the detection unit in a state where the external device is mounted. The data is enlarged and displayed in an area including a portion corresponding to the mounting area, and in a state where the external device is removed from above the detecting section by the detecting unit in the enlarged display state, the data is displayed in the mounting area. The partial image displayed in the corresponding part is changed to a different partial image.

より好ましくは、表示部は、外部装置が載置された状態で、検出部により、タッチされたことが検出されたことを受けて、外部装置から受信した外部装置の画像表示面に表示された画像データを、載置領域に対応する部分を含む領域に拡大表示し、拡大表示された状態で、検出部により、外部装置が検出部の上から取除かれたことが検出されても、拡大表示を維持する。   More preferably, the display unit is displayed on the image display surface of the external device received from the external device in response to the detection that the touch has been detected by the detection unit in a state where the external device is placed. The image data is enlarged and displayed in an area including a portion corresponding to the mounting area, and in the enlarged display state, even if the detection unit detects that the external device has been removed from above the detection unit, the image is enlarged. Maintain the display.

さらに好ましくは、表示部は、検出部が、複数の外部装置が検出部の上に載置されたことを検出したことを受けて、検出された複数の載置位置に対応する位置の各々の近傍に、入力機器の画像を表示する。   More preferably, the display unit receives the detection that the plurality of external devices are mounted on the detection unit, the detection unit, each of the positions corresponding to the plurality of detected mounting positions An image of the input device is displayed nearby.

好ましくは、表示部は、検出部が、複数台の外部装置の各々に対して入力機器を表示する指示を受けたことに応じて、複数台の外部装置の各々を載置する領域の境界線を表示する。   Preferably, the display unit is configured such that, in response to the detection unit receiving an instruction to display an input device for each of the plurality of external devices, a boundary line of an area on which each of the plurality of external devices is placed. Is displayed.

本発明によれば、テーブル型画像表示装置において、画像表示面の上に端末装置が載置されると、端末装置の近傍にキーボード等の入力機器の画像が表示されることにより、ユーザは端末装置への入力を容易に行なうことができる。   According to the present invention, in the table-type image display device, when the terminal device is placed on the image display surface, an image of an input device such as a keyboard is displayed near the terminal device, so that the user can operate the terminal device. Input to the device can be easily performed.

また、端末装置の表示画面に表示された画像を、より大画面の画像表示装置に表示することにより、ユーザは、打合せ又はプレゼンテーション等を、容易且つ効率的に行なうことができる。   In addition, by displaying the image displayed on the display screen of the terminal device on an image display device having a larger screen, the user can easily and efficiently perform a meeting or a presentation.

本発明の第１の実施の形態に係る画像表示装置の概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of an image display device according to a first embodiment of the present invention. タッチ入力の検出方法の一例を示す図である。FIG. 4 is a diagram illustrating an example of a touch input detection method. 本発明の第１の実施の形態に係る画像表示装置と連携する端末装置の概略構成を示すブロック図である。FIG. 2 is a block diagram illustrating a schematic configuration of a terminal device that cooperates with the image display device according to the first embodiment of the present invention. 本発明の第１の実施の形態に係る画像表示装置と端末装置との連携を実現するために、画像表示装置において実行されるプログラムの制御構造を示すフローチャートである。5 is a flowchart illustrating a control structure of a program executed in the image display device to realize cooperation between the image display device and the terminal device according to the first embodiment of the present invention. 本発明の第１の実施の形態に係る画像表示装置と端末装置との連携を実現するために、端末装置において実行されるプログラムの制御構造を示すフローチャートである。5 is a flowchart illustrating a control structure of a program executed in the terminal device in order to realize cooperation between the image display device and the terminal device according to the first embodiment of the present invention. 選択画面が表示された状態の画像表示装置を示す平面図である。It is a top view showing the image display device in the state where the selection screen was displayed. 入力補助機能を提供するためのメッセージが表示された状態の画像表示装置を示す平面図である。FIG. 4 is a plan view showing the image display device in a state where a message for providing an input assist function is displayed. 端末装置が載置され、キーボード及びタッチパッドの画像が表示された状態の画像表示装置を示す平面図である。FIG. 2 is a plan view showing the image display device in a state where a terminal device is placed and images of a keyboard and a touch pad are displayed. 表示補助機能を提供するためのメッセージが表示された状態の画像表示装置を示す平面図である。FIG. 5 is a plan view showing the image display device in a state where a message for providing a display assisting function is displayed. 端末装置の画面の画像が表示された状態の画像表示装置を示す平面図である。FIG. 3 is a plan view showing the image display device in a state where an image of a screen of the terminal device is displayed. 図８の状態から、キーボード画像及びタッチパッド画像の表示位置が変更された状態の画像表示装置を示す平面図である。FIG. 9 is a plan view showing the image display device in a state where display positions of a keyboard image and a touchpad image have been changed from the state of FIG. 8. 端末装置及び画像表示装置に対するドラッグ操作を示す平面図である。FIG. 9 is a plan view illustrating a drag operation performed on the terminal device and the image display device. 図１２に続く、端末装置及び画像表示装置に対するドラッグ操作を示す平面図である。FIG. 13 is a plan view showing a drag operation on the terminal device and the image display device, following FIG. 12. 端末装置が置かれ、キーボード画像と、タッチパッド画像と、拡大された端末装置の画面の画像とが表示された状態の画像表示装置を示す平面図である。FIG. 5 is a plan view showing the image display device in a state where the terminal device is placed and a keyboard image, a touchpad image, and an enlarged image of the screen of the terminal device are displayed. 本発明の第２の実施の形態に係る画像表示装置と端末装置との連携を実現するために、画像表示装置において実行されるプログラムの制御構造を示すフローチャートである。11 is a flowchart illustrating a control structure of a program executed in the image display device in order to realize cooperation between the image display device and the terminal device according to the second embodiment of the present invention. 本発明の第２の実施の形態に係る画像表示装置と端末装置との連携を実現するために、端末装置において実行されるプログラムの制御構造を示すフローチャートである。9 is a flowchart illustrating a control structure of a program executed in the terminal device to realize cooperation between the image display device and the terminal device according to the second embodiment of the present invention. 端末装置上のドラッグ操作によって端末装置の画面の画像が表示された状態の画像表示装置を示す平面図である。FIG. 4 is a plan view showing the image display device in a state where an image on a screen of the terminal device is displayed by a drag operation on the terminal device. 端末装置が画像表示装置の上から取除かれた状態を示す平面図である。It is a top view showing the state where the terminal device was removed from the image display device. 図１８とは別の、端末装置が画像表示装置の上から取除かれた状態を示す平面図である。FIG. 19 is a plan view showing a state where the terminal device is removed from above the image display device, which is different from FIG. 18. 端末装置が画像表示装置の上から取除かれた後、端末装置の画面が変更された状態を示す平面図である。It is a top view showing the state where the screen of the terminal device was changed after the terminal device was removed from the image display device. 本発明の第３の実施の形態に係る画像表示装置と端末装置との連携を実現するために、画像表示装置において実行されるプログラムの制御構造を示すフローチャートである。13 is a flowchart illustrating a control structure of a program executed in the image display device to realize cooperation between the image display device and the terminal device according to the third embodiment of the present invention. 本発明の第３の実施の形態に係る画像表示装置と端末装置との連携を実現するために、端末装置において実行されるプログラムの制御構造を示すフローチャートである。13 is a flowchart illustrating a control structure of a program executed in the terminal device to realize cooperation between the image display device and the terminal device according to the third embodiment of the present invention. ２台の端末装置の入力補助機能を提供するためのメッセージが表示された状態の画像表示装置を示す平面図である。FIG. 10 is a plan view showing the image display device in a state where a message for providing an input assist function of two terminal devices is displayed. ２台用キーがタッチされた状態の画像表示装置を示す平面図である。It is a top view showing the image display device in the state where two keys were touched. １台の端末装置が載置された状態の画像表示装置を示す平面図である。FIG. 2 is a plan view showing the image display device in a state where one terminal device is mounted. ２台の端末装置が載置された状態の画像表示装置を示す平面図である。FIG. 4 is a plan view showing the image display device in a state where two terminal devices are mounted. 図２６とは別の、２台の端末装置が載置された状態の画像表示装置を示す平面図である。FIG. 27 is a plan view showing another image display device in a state where two terminal devices are mounted thereon, which is different from FIG. 26.

以下の実施の形態では、同一の部品には同一の参照番号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。   In the following embodiments, the same components are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.

以下において、「タッチ」とは入力位置の検出装置が位置を検出可能な状態になることを意味し、検出装置に接触して押圧する場合、押圧せずに接触する場合、及び、接触せずに近接する場合を含む。入力位置の検出装置には、接触型に限らず非接触型の装置を用いることもできる。非接触型の検出装置の場合には「タッチ」とは、入力位置を検出可能な距離まで検出装置に近接した状態を意味する。   In the following, "touch" means that the input position detecting device is in a state capable of detecting the position, when touching and pressing the detecting device, when touching without pressing, and without touching Including the case where it is close to The device for detecting the input position is not limited to the contact type, but may be a non-contact type device. In the case of a non-contact type detection device, “touch” means a state in which the input position is close to the detection device to a detectable distance.

（第１の実施の形態）
図１を参照して、本発明の第１の実施の形態に係る画像表示装置１００は、演算処理部（以下、ＣＰＵと記す）１０２、読出専用メモリ（以下、ＲＯＭと記す）１０４、書換可能メモリ（以下、ＲＡＭと記す）１０６、記録部１０８、通信部１１０、タッチ検出部１１２、表示部１１４、表示制御部１１６、ビデオメモリ（以下、ＶＲＡＭと記す）１１８、及びバス１２０を備えている。ＣＰＵ１０２は、画像表示装置１００全体を制御する。 (First Embodiment)
With reference to FIG. 1, an image display device 100 according to a first embodiment of the present invention includes an arithmetic processing unit (hereinafter, referred to as a CPU) 102, a read-only memory (hereinafter, referred to as a ROM) 104, and a rewritable memory. A memory (hereinafter, referred to as RAM) 106, a recording unit 108, a communication unit 110, a touch detection unit 112, a display unit 114, a display control unit 116, a video memory (hereinafter, referred to as VRAM) 118, and a bus 120. . The CPU 102 controls the entire image display device 100.

後述するように、タッチ検出部１１２及び表示部１１４がタッチパネルディスプレイを構成し、タッチパネルディスプレイの画像表示面が水平に配置され、画像表示装置１００はテーブルとして使用される。   As will be described later, the touch detection unit 112 and the display unit 114 constitute a touch panel display, the image display surface of the touch panel display is arranged horizontally, and the image display device 100 is used as a table.

ＲＯＭ１０４は不揮発性の記憶装置であり、画像表示装置１００の動作を制御するために必要なプログラム及びデータを記憶している。ＲＡＭ１０６は、通電が遮断された場合にデータが消去される揮発性の記憶装置である。記録部１０８は、通電が遮断された場合にもデータを保持する不揮発性記憶装置であり、例えば、ハードディスクドライブ、又はフラッシュメモリ等である。記録部１０８は着脱可能に構成されていてもよい。ＣＰＵ１０２は、バス１２０を介してＲＯＭ１０４からプログラムをＲＡＭ１０６上に読出して、ＲＡＭ１０６の一部を作業領域としてプログラムを実行する。ＣＰＵ１０２は、ＲＯＭ１０４に格納されているプログラムにしたがって画像表示装置１００を構成する各部の制御を行なう。   The ROM 104 is a nonvolatile storage device, and stores programs and data necessary for controlling the operation of the image display device 100. The RAM 106 is a volatile storage device from which data is erased when power is cut off. The recording unit 108 is a non-volatile storage device that retains data even when power is cut off, and is, for example, a hard disk drive or a flash memory. The recording unit 108 may be configured to be detachable. The CPU 102 reads a program from the ROM 104 onto the RAM 106 via the bus 120, and executes the program using a part of the RAM 106 as a work area. The CPU 102 controls each unit constituting the image display device 100 according to a program stored in the ROM 104.

バス１２０には、ＣＰＵ１０２、ＲＯＭ１０４、ＲＡＭ１０６、記録部１０８、通信部１１０、タッチ検出部１１２、表示制御部１１６、及びＶＲＡＭ１１８が接続されている。各部間のデータ（制御情報を含む）交換は、バス１２０を介して行なわれる。   The CPU 102, the ROM 104, the RAM 106, the recording unit 108, the communication unit 110, the touch detection unit 112, the display control unit 116, and the VRAM 118 are connected to the bus 120. Data (including control information) exchange between the units is performed via the bus 120.

表示部１１４は、画像を表示するための表示パネル（液晶パネル等）である。表示制御部１１６は、表示部１１４を駆動するための駆動部を備え、ＶＲＡＭ１１８に記憶された画像データを所定のタイミングで読出し、表示部１１４に画像として表示するための信号を生成して、表示部１１４に出力する。表示される画像データは、ＣＰＵ１０２が記録部１０８から読出して、ＶＲＡＭ１１８に伝送する。   The display unit 114 is a display panel (such as a liquid crystal panel) for displaying an image. The display control unit 116 includes a driving unit for driving the display unit 114, reads out the image data stored in the VRAM 118 at a predetermined timing, generates a signal for displaying the image on the display unit 114, and Output to the unit 114. The image data to be displayed is read from the recording unit 108 by the CPU 102 and transmitted to the VRAM 118.

通信部１１０は、後述する携帯型端末装置との無線通信を可能とする。無線通信方式は任意であり、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷｉ−Ｆｉを使用することができる。なお、Ｗｉ−Ｆｉを用いる場合には、通信部１１０は、無線ルータが接続されたネットワークに有線で接続されていてもよい。   The communication unit 110 enables wireless communication with a portable terminal device described later. The wireless communication system is arbitrary, and for example, Bluetooth (registered trademark) or Wi-Fi can be used. When Wi-Fi is used, the communication unit 110 may be connected to a network to which a wireless router is connected by wire.

タッチ検出部１１２は、例えばタッチパネルであり、ユーザによるタッチ操作を検出する。タッチ検出部１１２は、表示部１１４の表示画面に重畳して配置される。タッチ検出部１１２へのタッチは、タッチ位置に対応する、表示画面に表示された画像の点を指定する操作である。したがって、本願明細書においては、記載の冗長性を排除するために、表示部１１４に表示された画像へのタッチと記載されている場合、この記載は、対応するタッチ検出部１１２上の位置へのタッチを意味する。   The touch detection unit 112 is, for example, a touch panel, and detects a touch operation by a user. The touch detection unit 112 is arranged so as to overlap the display screen of the display unit 114. Touching the touch detection unit 112 is an operation of designating a point of the image displayed on the display screen corresponding to the touch position. Therefore, in the specification of the present application, in order to eliminate the redundancy of the description, in the case where the description is a touch on the image displayed on the display unit 114, this description is performed to a position on the corresponding touch detection unit 112. Means touch.

タッチ検出部１１２にタッチパネルを用いる場合のタッチ操作の検出について、図２を参照して説明する。図２は、赤外線遮断検出方式のタッチパネル（タッチ検出部１１２）を示す。タッチパネルは、長方形の書込面の隣接する２辺にそれぞれ一列に配置された発光ダイオード列（以下、ＬＥＤ列と記す）１４０、１４２と、それぞれのＬＥＤ列１４０、１４２に対向させて一列に配置された２つのフォトダイオード列（以下、ＰＤ列と記す）１４４、１４６とを備えている。ＬＥＤ列１４０、１４２の各ＬＥＤから赤外線を発光し、この赤外線を対向するＰＤ列１４４、１４６の各ＰＤが検出する。図２において、ＬＥＤ列１４０、１４２の各ＬＥＤから赤外線を上向き及び左向きの矢印で示す。   Detection of a touch operation when a touch panel is used for the touch detection unit 112 will be described with reference to FIG. FIG. 2 illustrates a touch panel (touch detection unit 112) of an infrared cutoff detection method. The touch panel has light emitting diode arrays (hereinafter, referred to as LED arrays) 140 and 142 arranged in a row on two adjacent sides of a rectangular writing surface, and is arranged in a row facing the respective LED arrays 140 and 142. And two photodiode arrays (hereinafter, referred to as PD arrays) 144 and 146. Infrared light is emitted from each LED of the LED strings 140 and 142, and the infrared rays are detected by the PDs of the PD strings 144 and 146 facing each other. In FIG. 2, infrared rays from the LEDs of the LED arrays 140 and 142 are indicated by upward and left arrows.

タッチパネルは、例えばマイクロコンピュータ（以下、マイコンという）（ＣＰＵ、メモリ、及び入出力回路等を含む素子）を備え、各ＬＥＤの発光を制御する。各ＰＤは、受光した光の強度に応じた電圧を出力する。ＰＤの出力電圧は、アンプによって増幅される。また、各ＰＤ列１４４、１４６の複数のＰＤからは同時に信号が出力されるので、出力信号は一旦バッファに保存された後、ＰＤの配列順序に応じたシリアル信号として出力され、マイコンに伝送される。ＰＤ列１４２から出力されるシリアル信号の順序は、Ｘ座標を表す。ＰＤ列１４６から出力されるシリアル信号の順序は、Ｙ座標を表す。   The touch panel includes, for example, a microcomputer (hereinafter, referred to as a microcomputer) (elements including a CPU, a memory, an input / output circuit, and the like) and controls light emission of each LED. Each PD outputs a voltage corresponding to the intensity of the received light. The output voltage of the PD is amplified by the amplifier. Further, since signals are simultaneously output from a plurality of PDs in each of the PD rows 144 and 146, the output signals are temporarily stored in a buffer, then output as serial signals in accordance with the PD arrangement order, and transmitted to the microcomputer. You. The order of the serial signal output from the PD column 142 indicates the X coordinate. The order of the serial signal output from the PD column 146 indicates the Y coordinate.

ユーザ９００が指でタッチパネル上にタッチすると、タッチされた位置で赤外線が遮断される。したがって、遮断される前まで、その赤外線を受光していたＰＤの出力電圧は減少する。タッチされた位置（ＸＹ座標）に対応するＰＤからの信号部分が減少するので、マイコンは、受信した２つのシリアル信号の信号レベルが低下している部分を検出し、タッチされた位置座標を求める。マイコンは、決定した位置座標をＣＰＵ１０２に伝送する。このタッチ位置を検出する処理は、所定の検出周期で繰返されるので、同じ点が検出周期よりも長い時間タッチされていると、同じ座標データが繰返し出力される。どこにもタッチされていなければ、マイコンは位置座標を伝送しない。   When the user 900 touches the touch panel with a finger, infrared rays are cut off at the touched position. Therefore, the output voltage of the PD that has received the infrared ray before the interruption is reduced. Since the signal portion from the PD corresponding to the touched position (XY coordinates) decreases, the microcomputer detects the portion where the signal levels of the two received serial signals have decreased, and obtains the touched position coordinates. . The microcomputer transmits the determined position coordinates to the CPU 102. Since the process of detecting the touch position is repeated at a predetermined detection cycle, if the same point is touched for a longer time than the detection cycle, the same coordinate data is repeatedly output. If no touch is made, the microcomputer does not transmit the position coordinates.

上記したタッチされた位置の検出技術は公知であるので、これ以上の説明は繰返さない。また、タッチ検出部１１２には、赤外線遮断方式以外のタッチパネル（静電容量方式、表面弾性波方式、抵抗膜方式等）を用いてもよい。なお、静電容量方式では、センサに近接していれば非接触でも位置を検出することができる。   Since the above-described technique of detecting the touched position is known, further description will not be repeated. The touch detection unit 112 may use a touch panel other than the infrared cutoff type (capacitive type, surface acoustic wave type, resistive type, etc.). In the capacitance method, the position can be detected even when the sensor is close to the sensor without contact.

画像表示装置１００は上記のように構成されており、ユーザは画像表示装置１００をコンピュータと同様に操作することができる。即ち、ユーザは、表示部１１４に表示された画面上のユーザインターフェイス（操作ボタン等）を、タッチ検出部１１２を介してタッチ操作し、アプリケーションプログラムを起動すること、及び、起動したアプリケーションによって表示されるウィンドウ上の操作を、タッチ検出部１１２を介して行なうことができる。   The image display device 100 is configured as described above, and the user can operate the image display device 100 in the same manner as a computer. That is, the user performs a touch operation on the user interface (operation buttons or the like) on the screen displayed on the display unit 114 via the touch detection unit 112 to start an application program, and is displayed by the started application. The operation on the window can be performed via the touch detection unit 112.

図３を参照して、画像表示装置１００と連携する携帯型端末装置（以下、単に端末装置という）は、画像表示装置１００と同様に構成されている。即ち、端末装置２００は、ＣＰＵ２０２、ＲＯＭ２０４、ＲＡＭ２０６、記録部２０８、通信部２１０、タッチ検出部２１２、表示部２１４、表示制御部２１６、ＶＲＡＭ２１８、及びバス２２０を備えている。ＣＰＵ２０２は、端末装置２００全体を制御する。タッチ検出部２１２及び表示部２１４がタッチパネルディスプレイを構成している。   Referring to FIG. 3, a portable terminal device (hereinafter, simply referred to as a terminal device) that cooperates with image display device 100 has the same configuration as image display device 100. That is, the terminal device 200 includes a CPU 202, a ROM 204, a RAM 206, a recording unit 208, a communication unit 210, a touch detection unit 212, a display unit 214, a display control unit 216, a VRAM 218, and a bus 220. The CPU 202 controls the entire terminal device 200. The touch detection unit 212 and the display unit 214 constitute a touch panel display.

ＲＯＭ１０４は、端末装置２００の動作を制御するために必要なプログラム及びデータを記憶している。ＣＰＵ２０２は、バス２２０を介してＲＯＭ２０４からプログラムをＲＡＭ２０６上に読出して、ＲＡＭ２０６の一部を作業領域としてプログラムを実行する。ＣＰＵ２０２は、ＲＯＭ２０４に格納されているプログラムにしたがって端末装置２００を構成する各部の制御を行なう。   The ROM 104 stores programs and data necessary for controlling the operation of the terminal device 200. The CPU 202 reads the program from the ROM 204 onto the RAM 206 via the bus 220, and executes the program using a part of the RAM 206 as a work area. The CPU 202 controls each unit constituting the terminal device 200 according to a program stored in the ROM 204.

表示部２１４は、画像を表示するための表示パネル（液晶パネル等）である。表示制御部２１６は、表示部２１４を駆動するための駆動部を備え、ＶＲＡＭ２１８に記憶された画像データを所定のタイミングで読出し、表示部２１４に画像として表示するための信号を生成して、表示部２１４に出力する。表示される画像データは、ＣＰＵ２０２が記録部２０８から読出して、ＶＲＡＭ２１８に伝送する。   The display unit 214 is a display panel (such as a liquid crystal panel) for displaying an image. The display control unit 216 includes a driving unit for driving the display unit 214, reads out the image data stored in the VRAM 218 at a predetermined timing, generates a signal for displaying an image on the display unit 214, and Output to the unit 214. The image data to be displayed is read from the recording unit 208 by the CPU 202 and transmitted to the VRAM 218.

通信部２１０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉ−Ｆｉ等により、画像表示装置１００との無線通信を可能とする。   The communication unit 210 enables wireless communication with the image display device 100 using Bluetooth (registered trademark), Wi-Fi, or the like.

タッチ検出部２１２は、例えばタッチパネルであり、ユーザによるタッチ操作を検出する。タッチ検出部２１２は、表示部２１４の表示画面に重畳して配置される。タッチ検出部２１２へのタッチは、タッチ位置に対応する、表示画面に表示された画像の点を指定する操作である。タッチ検出部２１２にタッチパネルを用いる場合のタッチ操作の検出については、図２を参照して上記したとおりである。   The touch detection unit 212 is, for example, a touch panel, and detects a touch operation by a user. The touch detection unit 212 is disposed so as to overlap the display screen of the display unit 214. Touching the touch detection unit 212 is an operation of designating a point of the image displayed on the display screen corresponding to the touch position. The detection of a touch operation when a touch panel is used for the touch detection unit 212 is as described above with reference to FIG.

以下、図４及び図５を参照して、画像表示装置１００と端末装置２００との連携により、端末装置２００の入力補助機能及び表示補助機能を実現する方法に関して、具体的に説明する。ここでは、画像表示装置１００において、連携を実現するためのプログラムが起動している状態で、ユーザが、連携を実現するためのプログラムが起動した端末装置２００を持って、画像表示装置１００に近付いたとする。画像表示装置１００と端末装置２００との通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）によって直接行なわれるとする。   Hereinafter, a method of realizing the input assisting function and the display assisting function of the terminal device 200 in cooperation with the image display device 100 and the terminal device 200 will be specifically described with reference to FIGS. 4 and 5. Here, in the image display device 100, in a state where the program for realizing the cooperation is running, the user approaches the image display device 100 with the terminal device 200 on which the program for realizing the cooperation is started. Suppose. It is assumed that communication between the image display device 100 and the terminal device 200 is directly performed by Bluetooth (registered trademark).

画像表示装置１００の動作に関して説明する。図４を参照して、ステップ４００において、ＣＰＵ１０２は、連携機能を提供する対象である予め登録済みの端末装置２００が検出されたか否かを判定する。検出されたと判定された場合、制御は４０２に移行する。そうでなければ、制御はステップ４３２に移行し、ＣＰＵ１０２は、終了を指示されているか否かを判定する。終了の指示は、例えば、画像表示装置１００の電源がオフされることによってなされる。終了を指示されていれば、本プログラムを終了する。そうでなければ、制御はステップ４００に戻る。これにより、該当する端末装置２００を検出するまで、検出処理が繰返される。   The operation of the image display device 100 will be described. Referring to FIG. 4, in step 400, CPU 102 determines whether or not a terminal device 200 which has been registered in advance and which is to provide a cooperation function is detected. If it is determined that the detection has been made, the control proceeds to 402. Otherwise, control proceeds to step 432, where CPU 102 determines whether termination has been instructed. The termination instruction is given, for example, when the power of the image display device 100 is turned off. If termination is instructed, the program is terminated. Otherwise, control returns to step 400. Thus, the detection process is repeated until the corresponding terminal device 200 is detected.

端末装置２００が検出された場合、ステップ４０２において、ＣＰＵ１０２は、表示部１１４に機能の選択画面を表示して、ユーザによる選択を待受ける。例えば、表示部１１４の画面６００には、図６に示すような、入力補助及び表示補助の機能を選択するためのウィンドウが表示される。   When the terminal device 200 is detected, in step 402, the CPU 102 displays a function selection screen on the display unit 114, and waits for selection by the user. For example, on the screen 600 of the display unit 114, as shown in FIG. 6, a window for selecting an input assisting function and a display assisting function is displayed.

ステップ４０４において、ＣＰＵ１０２は、選択がなされたか否かを判定する。具体的には、ＣＰＵ１０２は、「入力補助」キー又は「表示補助」キーの何れかがタッチされたか否かを判定する。「入力補助」キー又は「表示補助」キーの何れかがタッチされたと判定された場合、制御はステップ４０６に移行する。そうでなければ、ステップ４０４が繰返される。   In step 404, the CPU 102 determines whether or not a selection has been made. Specifically, the CPU 102 determines whether any one of the “input assist” key and the “display assist” key has been touched. If it is determined that either the “input assist” key or the “display assist” key has been touched, the control proceeds to step 406. Otherwise, step 404 is repeated.

ステップ４０６において、ＣＰＵ１０２は、ステップ４０４で検出した選択結果を選択情報として端末装置２００に送信する。例えば、ＣＰＵ１０２は、「入力補助」キーがタッチされたことが検出された場合には、選択情報として“０”を送信し、「表示補助」キーがタッチされたことが検出された場合には、選択情報として“１”を送信する。   In step 406, the CPU 102 transmits the selection result detected in step 404 to the terminal device 200 as selection information. For example, the CPU 102 transmits “0” as selection information when detecting that the “input auxiliary” key has been touched, and transmits “0” as the selection information when detecting that the “display auxiliary” key has been touched. , "1" is transmitted as selection information.

ステップ４０８において、ＣＰＵ１０２は、ステップ４０４で検出した選択に応じて制御を分岐する。「入力補助」であると判定された場合、制御はステップ４１０に移行する。「表示補助」であると判定された場合、制御はステップ４２２に移行する。   In step 408, the CPU 102 branches the control according to the selection detected in step 404. If it is determined to be “input assist”, the control proceeds to step 410. If it is determined to be “display assist”, control proceeds to step 422.

ステップ４１０において、ＣＰＵ１０２は、タッチ検出部１１２の上に端末装置２００が載置されたか否かを判定する。このとき、ＣＰＵ１０２は、表示部１１４に、何らかのメッセージを表示することが好ましい。例えば、図７に示すように、ユーザに端末装置を画像表示装置１００の上に置くように促すメッセージを表示する。   In step 410, the CPU 102 determines whether or not the terminal device 200 has been placed on the touch detection unit 112. At this time, it is preferable that the CPU 102 display some message on the display unit 114. For example, as shown in FIG. 7, a message that prompts the user to place the terminal device on the image display device 100 is displayed.

ＣＰＵ１０２は、タッチ検出部１１２の上に端末装置２００が置かれたことを、上記したようにして取得したタッチ位置座標から判定することができる。例えば、所定の面積以上の領域で同時に複数点のタッチが検出された場合、端末装置が画像表示装置１００の上に載置されたと判定する。端末装置が載置されたと判定された場合、制御はステップ４１２に移行する。そうでなければ、ステップ４１０が繰返される。   The CPU 102 can determine that the terminal device 200 has been placed on the touch detection unit 112 from the touch position coordinates acquired as described above. For example, when a plurality of touches are simultaneously detected in a region having a predetermined area or more, it is determined that the terminal device is placed on the image display device 100. When it is determined that the terminal device is mounted, the control proceeds to step 412. Otherwise, step 410 is repeated.

ステップ４１２において、ＣＰＵ１０２は、タッチ検出部１１２上の端末装置２００が載置された領域の下側に位置する表示部１１４の領域の近傍に、キーボード画像及びタッチパッド画像を表示する。キーボード画像及びタッチパッド画像は、回転等の処置を行なうことなく、画像表示装置１００の通常の表示機能によって表示される。例えば、図８に示すように、端末装置２００の下方に、キーボード画像６１０が表示され、その右側にタッチパッド画像６１２が表示される。また、ＣＰＵ１０２は、連携機能の終了を指示するためのキーを表示する。図８では、画面の右上に終了キー６２０が表示されている。この状態で、ユーザがタッチ検出部１１２にタッチした場合、ＣＰＵ１０２は、上記したようにタッチされた位置を特定することができる。   In step 412, the CPU 102 displays the keyboard image and the touch pad image near the region of the display unit 114 located below the region where the terminal device 200 is placed on the touch detection unit 112. The keyboard image and the touchpad image are displayed by the normal display function of the image display device 100 without performing a treatment such as rotation. For example, as shown in FIG. 8, a keyboard image 610 is displayed below the terminal device 200, and a touchpad image 612 is displayed on the right side thereof. Further, CPU 102 displays a key for instructing termination of the cooperation function. In FIG. 8, an end key 620 is displayed at the upper right of the screen. In this state, when the user touches the touch detection unit 112, the CPU 102 can specify the touched position as described above.

ステップ４１４において、ＣＰＵ１０２は、入力操作がなされたか否かを判定する。具体的には、キーボード画像６１０、タッチパッド画像６１２及び終了キー６２０の何れかがタッチされたか否かを判定する。入力操作がなされたと判定された場合、制御はステップ４１６に移行する。そうでなければ、ステップ４１４が繰返される。   At step 414, CPU 102 determines whether or not an input operation has been performed. Specifically, it is determined whether any one of the keyboard image 610, the touchpad image 612, and the end key 620 has been touched. If it is determined that the input operation has been performed, the control proceeds to step 416. Otherwise, step 414 is repeated.

ステップ４１６において、ＣＰＵ１０２は、ステップ４１４で検出された操作が、終了キー６２０へのタッチであるか否かを判定する。終了キー６２０へのタッチであると判定された場合、制御はステップ４２０に移行し、表示画像（キーボード画像６１０、タッチパッド画像６１２及び終了キー６２０）を消去し、終了を表す情報（以下、終了情報という）を端末装置２００に送信する。その後、制御はステップ４００に戻る。終了キー６２０へのタッチでないと判定された場合、制御はステップ４１８に移行する。   In step 416, the CPU 102 determines whether or not the operation detected in step 414 is a touch on the end key 620. If it is determined that the end key 620 is touched, the control proceeds to step 420, where the display image (the keyboard image 610, the touchpad image 612, and the end key 620) is erased, and information indicating the end (hereinafter, the end) (Referred to as information) to the terminal device 200. Thereafter, control returns to step 400. If it is determined that the end key 620 is not touched, the control proceeds to step 418.

ステップ４１８において、ＣＰＵ１０２は、ステップ４１４で取得したタッチ位置座標からタッチ位置に対応する指示を特定し、対応するデータ（文字コード等）を端末装置２００に送信する。具体的には、ＣＰＵ１０２は、キーボード画像６１０のキーがタッチされた場合、タッチされた位置座標から、タッチされたキーに対応する文字コードを特定する。ＣＰＵ１０２は、タッチパッド画像６１２がタッチされた場合には、タッチされた位置に応じたデータを特定する。図８に示したタッチパッド画像６１２には、パッド領域６１８、左クリックキー６１４、右クリックキー６１６が含まれているので、ＣＰＵ１０２は、パッド領域６１８内がタッチされた場合には、タッチ検出部１１２から取得した位置座標に対応する、パッド領域６１８内の位置座標を特定する。ＣＰＵ１０２は、左クリックキー６１４又は右クリックキー６１６がタッチされた場合には、該当するコードを特定する。   In step 418, the CPU 102 specifies an instruction corresponding to the touch position from the touch position coordinates acquired in step 414, and transmits corresponding data (such as a character code) to the terminal device 200. Specifically, when a key of the keyboard image 610 is touched, the CPU 102 specifies the character code corresponding to the touched key from the coordinates of the touched position. When the touch pad image 612 is touched, the CPU 102 specifies data corresponding to the touched position. Since the touch pad image 612 illustrated in FIG. 8 includes a pad area 618, a left click key 614, and a right click key 616, the CPU 102 determines that the touch has been performed within the pad area 618. The position coordinates in the pad area 618 corresponding to the position coordinates acquired from 112 are specified. When the left click key 614 or the right click key 616 is touched, the CPU 102 specifies the corresponding code.

画像表示装置１００から送信されたデータは、後述するように、端末装置２００によって受信されて、端末装置２００に対する入力処理が実行される。   The data transmitted from the image display device 100 is received by the terminal device 200 and input processing to the terminal device 200 is executed, as described later.

ステップ４０８で「表示補助」であると判定された場合、ステップ４２２において、ＣＰＵ１０２は表示部１１４に、表示補助機能を実行するための所定のメッセージ、及び連携機能の終了を指示するためのキーを表示する。例えば、図９に示すように、メッセージ及び終了キー６２０が表示される。   If it is determined in step 408 that it is “display assist”, in step 422, the CPU 102 displays a predetermined message for executing the display assist function and a key for instructing termination of the cooperative function on the display unit 114. indicate. For example, as shown in FIG. 9, a message and an end key 620 are displayed.

後述するように、上記のメッセージを見たユーザが端末装置２００のタッチ検出部２１２上でドラッグ操作を行なうと、端末装置２００は、表示されている画面の画像データを、画像表示装置１００に送信する。   As will be described later, when the user who sees the above message performs a drag operation on the touch detection unit 212 of the terminal device 200, the terminal device 200 transmits image data of the displayed screen to the image display device 100. I do.

ステップ４２４において、ＣＰＵ１０２は、タッチ検出部１１２へのタッチ操作があったか否かを判定する。タッチ操作があったと判定された場合、制御はステップ４２６に移行する。そうでなければ、ステップ４２４が繰返される。即ち、ユーザが、端末装置２００のタッチ検出部２１２上でドラッグ操作を行なった後、画像表示装置１００のタッチ検出部１１２にタッチすると、制御はステップ４２６に移行する。   In step 424, CPU 102 determines whether or not a touch operation has been performed on touch detection unit 112. If it is determined that a touch operation has been performed, control proceeds to step 426. Otherwise, step 424 is repeated. That is, when the user performs a drag operation on the touch detection unit 212 of the terminal device 200 and then touches the touch detection unit 112 of the image display device 100, the control proceeds to step 426.

ステップ４２６において、ＣＰＵ１０２は、ステップ４２４で検出された操作が、終了キー６２０へのタッチであるか否かを判定する。終了キー６２０へのタッチであると判定された場合、制御はステップ４２０に移行し、表示画面の消去及び終了情報の送信を行なった後、制御はステップ４００に戻る。終了キー６２０へのタッチでないと判定された場合、制御はステップ４２８に移行する。   In step 426, CPU 102 determines whether or not the operation detected in step 424 is a touch on end key 620. If it is determined that the touch is on the end key 620, the control proceeds to step 420, where the display screen is erased and the end information is transmitted, and then the control returns to step 400. If it is determined that the end key 620 is not touched, the control proceeds to step 428.

ステップ４２８において、ＣＰＵ１０２は、端末装置２００から画像データを受信したか否かを判定する。受信したと判定された場合、制御はステップ４３０に移行する。そうでなければ、ステップ４２８が繰返される。   In step 428, CPU 102 determines whether or not image data has been received from terminal device 200. If it is determined that it has been received, control proceeds to step 430. Otherwise, step 428 is repeated.

ステップ４３０において、ＣＰＵ１０２は、ステップ４２８で受信した画像データを、ステップ４２４で検出されたタッチ位置に、例えば拡大して表示する。これによって、図１０に示すように、端末装置２００の表示部２１４の画面の画像と同じ画像６３２が、画像表示装置１００の表示部１１４に表示される。   In step 430, the CPU 102 displays, for example, the image data received in step 428 in an enlarged manner at the touch position detected in step 424. Thereby, as shown in FIG. 10, the same image 632 as the image on the screen of the display unit 214 of the terminal device 200 is displayed on the display unit 114 of the image display device 100.

その後、制御はステップ４２８に戻る。したがって、端末装置２００から画像データを受信する度に、画像表示装置１００は画面６００に表示することができる。例えば、ユーザが端末装置２００を操作して端末装置２００の画面が変更された状態で、ユーザがドラッグ操作を行なうと、新たな画像データが送信され、画像表示装置は受信した画像データを表示する。したがって、例えば、端末装置２００の画面に表示されている、複数のページ画像のうちの１ページをドラッグ操作して、画像表示装置１００に表示した後、端末装置２００の画面に別のページを表示すれば、２ページを同時に表示することができる。   Thereafter, control returns to step 428. Therefore, each time image data is received from the terminal device 200, the image display device 100 can display the image data on the screen 600. For example, when the user operates the terminal device 200 and changes the screen of the terminal device 200, the user performs a drag operation, new image data is transmitted, and the image display device displays the received image data. . Therefore, for example, after dragging one page of the plurality of page images displayed on the screen of the terminal device 200 and displaying it on the image display device 100, another page is displayed on the screen of the terminal device 200. Then, two pages can be displayed simultaneously.

端末装置２００の動作に関して説明する。図５を参照して、ステップ５００において、ＣＰＵ２０２は、連携の対象である画像表示装置１００が検出されたか否かを判定する。検出されたと判定された場合、制御は５０２に移行する。そうでなければ、制御はステップ５２２に移行し、ＣＰＵ２０２は、終了を指示されているか否かを判定する。終了の指示は、例えば、端末装置２００の電源がオフされることによってなされる。終了を指示されていれば、本プログラムを終了する。そうでなければ、制御はステップ５００に戻る。これにより、該当する画像表示装置１００を検出するまで、検出処理が繰返される。   The operation of the terminal device 200 will be described. Referring to FIG. 5, in step 500, CPU 202 determines whether or not image display device 100 to be cooperated has been detected. If it is determined that the detection has been made, the control proceeds to 502. Otherwise, control proceeds to step 522, and CPU 202 determines whether termination has been instructed. The termination instruction is given, for example, when the power of the terminal device 200 is turned off. If termination is instructed, the program is terminated. Otherwise, control returns to step 500. Thus, the detection processing is repeated until the corresponding image display device 100 is detected.

画像表示装置１００が検出された場合、ステップ５０２において、ＣＰＵ２０２は、選択情報を受信したか否かを判定する。選択情報は、上記したように、ステップ４０６において、画像表示装置１００から送信される、入力補助及び表示補助の何れが選択されたかを表す情報である。選択情報を受信した場合、制御はステップ５０４に移行する。そうでなければ、ステップ５０２が繰返される。   When the image display device 100 is detected, in step 502, the CPU 202 determines whether or not the selection information has been received. As described above, the selection information is information indicating which of the input assistance and the display assistance has been selected, which is transmitted from the image display device 100 in step 406. If the selection information has been received, the control proceeds to step 504. Otherwise, step 502 is repeated.

ステップ５０４において、ＣＰＵ２０２は、ステップ５０２で受信した選択情報に応じて制御を分岐する。受信した選択情報が「入力補助」に対応すると判定された場合（選択情報＝０）、制御はステップ５０６に移行する。受信した選択情報が「表示補助」に対応すると判定された場合（選択情報＝１）、制御はステップ５１２に移行する。   In step 504, the CPU 202 branches the control according to the selection information received in step 502. If it is determined that the received selection information corresponds to “input assist” (selection information = 0), the control proceeds to step 506. When it is determined that the received selection information corresponds to “display assist” (selection information = 1), the control proceeds to step 512.

ステップ５０６において、ＣＰＵ２０２は、画像表示装置１００からデータを受信したか否かを判定する。上記したステップ４１８において、画像表示装置１００から、画像表示装置１００に対するユーザの操作に応じたデータ（キーボード画像６１０上のタッチされたキーに対応する文字コード等）が送信される。受信したと判定された場合、制御はステップ５０８に移行する。そうでなければ、ステップ５０６が繰返される。   In step 506, the CPU 202 determines whether or not data has been received from the image display device 100. In step 418 described above, data (character code corresponding to a touched key on keyboard image 610) corresponding to a user operation on image display device 100 is transmitted from image display device 100. If it is determined that it has been received, control proceeds to step 508. Otherwise, step 506 is repeated.

ステップ５０８において、ＣＰＵ２０２は、ステップ５０６で受信したデータが終了情報であるか否かを判定する。終了情報は、上記したステップ４２０において、画像表示装置１００から送信される。終了情報であると判定された場合、制御はステップ５００に戻る。そうでなければ、制御はステップ５１０に移行する。   In step 508, the CPU 202 determines whether the data received in step 506 is end information. The end information is transmitted from the image display device 100 in step 420 described above. If it is determined that the information is the end information, the control returns to step 500. Otherwise, control transfers to step 510.

ステップ５１０において、ＣＰＵ２０２は、受信したデータに応じた処理を実行する。即ち、ＣＰＵ２０２は、受信したデータを入力データとして、選択されているアプリケーションに渡す。その後、制御はステップ５０６に戻る。   In step 510, the CPU 202 executes a process according to the received data. That is, the CPU 202 passes the received data as input data to the selected application. Thereafter, control returns to step 506.

したがって、画像表示装置１００に表示されたキーボード画像６１０又はタッチパッド画像６１２に対するタッチ操作がなされると、それに応じた入力処理が端末装置２００上で実行される。例えば、端末装置２００においてワープロソフトが起動され、選択されている状態で、画像表示装置１００に表示されたキーボード画像６１０が操作されたことにより、端末装置２００が文字コードを受信した場合、その文字コードはワープロソフトに渡され、ワープロソフトにより対応する文字が表示部２１４に表示される。また、画像表示装置１００に表示されたタッチパッド画像６１２が操作（タッチ）された場合、受信されたデータが、選択されているアプリケーションに渡され、タッチパッド画像６１２の操作に対応する処理が、選択されているアプリケーションにより実行される。   Therefore, when a touch operation is performed on the keyboard image 610 or the touch pad image 612 displayed on the image display device 100, an input process corresponding thereto is executed on the terminal device 200. For example, when the terminal device 200 receives a character code by operating the keyboard image 610 displayed on the image display device 100 in a state where word processing software is activated and selected in the terminal device 200, The code is passed to the word processing software, and the corresponding character is displayed on the display unit 214 by the word processing software. When the touchpad image 612 displayed on the image display device 100 is operated (touched), the received data is passed to the selected application, and processing corresponding to the operation of the touchpad image 612 is performed. Executed by the selected application.

ステップ５０４で「表示補助」に対応すると判定された場合、ステップ５１２において、ＣＰＵ２０２は、タッチ検出部２１２に対するタッチ操作がなされたか否かを判定する。タッチ操作が検出された場合、制御はステップ５１４に移行する。そうでなければ、制御はステップ５１８に移行し、終了情報を受信したか否かを判定する。終了情報は、上記したステップ４２０において、画像表示装置１００から送信される。終了情報であると判定された場合、制御はステップ５００に戻る。そうでなければ、制御はステップ５１２に戻る。   If it is determined in step 504 that it corresponds to “display assist”, in step 512, the CPU 202 determines whether or not a touch operation has been performed on the touch detection unit 212. If a touch operation has been detected, control proceeds to step 514. Otherwise, control proceeds to step 518, where it is determined whether end information has been received. The end information is transmitted from the image display device 100 in step 420 described above. If it is determined that the information is the end information, the control returns to step 500. Otherwise, control returns to step 512.

ステップ５１４において、ＣＰＵ２０２は、タッチ検出部２１２上でドラッグ操作がなされたか否かを判定する。ドラッグ操作が検出された場合、制御はステップ５１６に移行する。そうでなければ、制御はステップ５２０に移行する。   In step 514, the CPU 202 determines whether a drag operation has been performed on the touch detection unit 212. If a drag operation is detected, control proceeds to step 516. Otherwise, control proceeds to step 520.

上記したように、画像表示装置１００に、図９に示したようなメッセージが表示され、画像表示装置１００に、端末装置２００の画面を表示したいとユーザが考えた場合、ユーザは端末装置２００においてドラッグ操作を行なう。   As described above, the message as shown in FIG. 9 is displayed on the image display device 100, and when the user wants to display the screen of the terminal device 200 on the image display device 100, the user Perform a drag operation.

ステップ５１６において、ＣＰＵ２０２は、表示部２１４の画面に表示されている画像データを、ＶＲＡＭ２１８から読出して画像表示装置１００に送信する。送信した画像データは、画像表示装置１００によって受信されて表示部１１４に表示される（ステップ４２８及びステップ４３０参照）。   In step 516, the CPU 202 reads the image data displayed on the screen of the display unit 214 from the VRAM 218 and transmits the image data to the image display device 100. The transmitted image data is received by the image display device 100 and displayed on the display unit 114 (see steps 428 and 430).

その後、制御はステップ５１４に戻り、タッチ検出部２１２に対してドラッグ操作がなされる度に、表示部２１４の画面に表示されている画像データが画像表示装置１００に送信される。   Thereafter, the control returns to step 514, and every time a drag operation is performed on the touch detection unit 212, the image data displayed on the screen of the display unit 214 is transmitted to the image display device 100.

ステップ５１２で検出された操作が、ドラッグ操作でなければ、ステップ５２０において、ＣＰＵ２０２は、操作に対応する処理を実行する。その後、制御はステップ５１２に戻る。   If the operation detected in step 512 is not a drag operation, in step 520, the CPU 202 executes a process corresponding to the operation. Thereafter, control returns to step 512.

表示補助機能が選択された場合、ステップ５１２〜ステップ５２０によって、ユーザは、端末装置２００を操作して画面を変更することができ、画面が変更された後にドラッグ操作を行なえば、新たに画面に表示された画像データが送信されて画像表示装置１００に表示される。   When the display assisting function is selected, the user can operate the terminal device 200 to change the screen in steps 512 to 520, and if the user performs a drag operation after the screen is changed, the screen is newly displayed. The displayed image data is transmitted and displayed on the image display device 100.

以上のように、画像表示装置１００と端末装置２００との連携により、画像表示装置１００は、端末装置２００に対する入力補助機能及び表示補助機能を提供することができる。即ち、入力補助機能によって、ユーザは、端末装置２００の小さい画面にキーボード画像等を表示して画面の一部を入力のために使用することなく、端末装置２００の画面全体を表示のために使用することができる。画像表示装置１００の大画面に、通常の大きさのキーボード等が表示されるので、ユーザは入力操作を容易に行なうことができる。また、キーボード等を端末装置２００と一緒に持ち運ばなくてもよい。さらに、表示補助機能によって、端末装置２００の画面を拡大して画像表示装置１００に表示することができるので、ユーザは、端末装置２００を操作しながら、打合せ又はプレゼンテーション等を効率的に行なうことができる。   As described above, the image display device 100 can provide the input assistance function and the display assistance function for the terminal device 200 by cooperation between the image display device 100 and the terminal device 200. That is, the input assist function allows the user to use the entire screen of the terminal device 200 for display without displaying a keyboard image or the like on a small screen of the terminal device 200 and using a part of the screen for input. can do. Since a keyboard or the like of a normal size is displayed on the large screen of the image display device 100, the user can easily perform an input operation. Further, a keyboard or the like need not be carried with the terminal device 200. Further, the display assisting function allows the screen of the terminal device 200 to be enlarged and displayed on the image display device 100, so that the user can efficiently perform a meeting or a presentation while operating the terminal device 200. it can.

上記では、入力補助機能においては、入力処理のみに関して説明したが、キーボード画像６１０及びタッチパッド画像６１２を任意の位置に移動可能にしてもよい。例えば、キーボード画像６１０又はタッチパッド画像６１２の特定の部分（例えば、画像の上部）がタッチされ、タッチが維持された状態でドラッグされた場合、対象の画像を移動させてもよい。図１１は、キーボード画像６１０及びタッチパッド画像６１２の位置が、図８の配置から変更された状態を示す。これによって、ユーザは、より容易且つ効率的に入力操作を行なうことができる。   In the above description, only the input processing is described in the input assisting function. However, the keyboard image 610 and the touch pad image 612 may be movable to arbitrary positions. For example, when a specific part (for example, the upper part of the image) of the keyboard image 610 or the touch pad image 612 is touched and dragged while the touch is maintained, the target image may be moved. FIG. 11 shows a state in which the positions of the keyboard image 610 and the touchpad image 612 have been changed from the arrangement of FIG. Thereby, the user can perform the input operation more easily and efficiently.

同様に、表示補助機能において、画像表示装置１００に表示された、端末装置２００の画面の画像６３２の表示位置を、タッチ検出部１１２に対するドラッグ操作等によって変更できるようにしてもよい。   Similarly, in the display assisting function, the display position of the image 632 on the screen of the terminal device 200 displayed on the image display device 100 may be changed by a drag operation on the touch detection unit 112 or the like.

上記では、画像表示装置１００に表示された終了キー６２０がタッチされた場合に、連携を終了する場合を説明したがこれに限定されない。例えば、端末装置２００が、画像表示装置１００のタッチ検出部１１２の上から取除かれた時点で、連携を終了してもよい。   In the above, the case where the cooperation is ended when the end key 620 displayed on the image display device 100 is touched has been described, but the present invention is not limited to this. For example, the cooperation may be terminated when the terminal device 200 is removed from above the touch detection unit 112 of the image display device 100.

上記では、表示補助機能において、ユーザが端末装置２００に対してドラッグ操作を行なった後、画像表示装置１００に対してタッチ操作を行なうことによって、タッチ位置に端末装置２００の画面の画像が表示される場合を説明したが、これに限定されない。例えば、ユーザが、端末装置２００のタッチ検出部２１２に対して指によるドラッグ操作を行ない、そのままその指を画像表示装置１００のタッチ検出部１１２に移動させて、続けてドラッグ操作を行なった場合に、そのドラッグ操作に応じて、画像表示装置１００に端末装置２００の画面の画像を表示してもよい。具体的には、図１２に示すように、ユーザは、端末装置２００の右端部分を画像表示装置１００の画面（タッチ検出部１１２の上面）の左側にタッチさせた状態で、端末装置２００上で右方向にドラッグ操作（左側の矢印）を行ない、そのまま、指を右方向に移動させて、画像表示装置１００にタッチし、タッチを維持したままドラッグ操作を行なう（右側の矢印）。この操作にしたがって、ＣＰＵ２０２は、端末装置２００上でのドラッグにより、端末装置２００の画面の画像データを画像表示装置１００に送信する。ＣＰＵ１０２は、タッチ位置（右側矢印の末端）に受信した画像の右端部分を表示し、その後のドラッグ操作の継続に応じて、現在のタッチ位置（右側矢印の先端）に画像の右端を移動させ、最初のタッチ位置（右側矢印の末端）までの範囲に、受信した画像の一部分６３０を表示する。ドラッグがさらに継続すると、図１３に示すように、端末装置２００の画面全体の画像６３２が画像表示装置１００に表示される。このような操作によって、画像表示装置１００と端末装置２００との連携をより効果的に演出することができ、相手に印象付けることができる。   In the above, in the display assisting function, after the user performs a drag operation on the terminal device 200 and then performs a touch operation on the image display device 100, an image of the screen of the terminal device 200 is displayed at the touch position. However, the present invention is not limited to this. For example, when the user performs a drag operation with a finger on the touch detection unit 212 of the terminal device 200, moves the finger to the touch detection unit 112 of the image display device 100 as it is, and subsequently performs the drag operation. The image of the screen of the terminal device 200 may be displayed on the image display device 100 according to the drag operation. Specifically, as shown in FIG. 12, the user touches the right end of the terminal device 200 on the left side of the screen of the image display device 100 (the upper surface of the touch detection unit 112), and The user performs a drag operation to the right (arrow on the left), moves the finger to the right as it is, touches the image display device 100, and performs a drag operation while maintaining the touch (arrow on the right). According to this operation, the CPU 202 transmits the image data of the screen of the terminal device 200 to the image display device 100 by dragging on the terminal device 200. The CPU 102 displays the right end portion of the received image at the touch position (the end of the right arrow), and moves the right end of the image to the current touch position (the tip of the right arrow) in accordance with the subsequent drag operation, A part 630 of the received image is displayed in the range up to the first touch position (the end of the right arrow). When the drag is further continued, an image 632 of the entire screen of the terminal device 200 is displayed on the image display device 100 as shown in FIG. By such an operation, cooperation between the image display device 100 and the terminal device 200 can be more effectively produced, and an impression can be given to the other party.

また、上記では、表示補助機能において、ユーザがドラッグ操作を行なうことにより、端末装置２００の画面の画像データが送信される場合を説明したが、ドラッグ操作以外の操作であってもよい。また、端末装置２００の画面表示が変更される度に、ユーザがドラッグ操作を行なうことなく、自動的に端末装置２００の画面の画像データが送信されるようにしてもよい。このようにすると、ユーザの操作が少なくてすみ、より効率的である。   In the above description, the case where image data of the screen of the terminal device 200 is transmitted by the user performing a drag operation in the display assisting function has been described, but an operation other than the drag operation may be performed. Further, every time the screen display of the terminal device 200 is changed, the image data of the screen of the terminal device 200 may be automatically transmitted without the user performing the drag operation. In this case, the number of operations by the user is reduced, and the operation is more efficient.

上記では、ユーザが入力補助機能及び表示補助機能の何れか一方を選択して利用する場合を説明したが、両方の機能を同時に利用可能にしてもよい。例えば、図４において、ステップ４０４でユーザが入力補助を選択した場合、ステップ４１２でキーボード画像６１０及びタッチパッド画像６１２を表示した後、表示補助機能を利用するか否かを選択するためのウィンドウを表示してもよい。ユーザが、表示補助機能の利用を選択した場合には、ステップ４２２〜４３０が実行されるようにすればよい。同様に、ステップ４０４でユーザが表示補助を選択した場合、ステップ４３０で端末装置の画面の画像を表示した後、入力補助機能を利用するか否かを選択するためのウィンドウを表示してもよい。ユーザが、入力補助機能の利用を選択した場合には、ステップ４１０〜４１８が実行されるようにすればよい。このようにすると、図１４に示すように、端末装置２００の画面が拡大されて表示された状態で、ユーザは、キーボード画像６１０及びタッチパッド画像６１２に対してタッチ操作を行なうことにより入力を行なうことができる。このとき、上記したように、端末装置２００の画面表示が変更される度に、自動的に端末装置２００の画面の画像データが送信されるようにすれば、キーボード画像６１０及びタッチパッド画像６１２に対するタッチ操作が自動的に、画像表示装置１００に表示された画像６３２に反映され、効率的である。   In the above, the case where the user selects and uses one of the input assisting function and the display assisting function has been described. However, both functions may be simultaneously available. For example, in FIG. 4, when the user selects input assistance in step 404, after displaying the keyboard image 610 and the touchpad image 612 in step 412, a window for selecting whether to use the display assistance function is displayed. It may be displayed. When the user selects the use of the display assist function, steps 422 to 430 may be executed. Similarly, when the user selects display assistance in step 404, an image of the terminal device screen may be displayed in step 430, and then a window for selecting whether to use the input assistance function may be displayed. . If the user selects the use of the input assist function, steps 410 to 418 may be executed. In this way, as shown in FIG. 14, in a state where the screen of terminal device 200 is displayed in an enlarged manner, the user performs an input by performing a touch operation on keyboard image 610 and touch pad image 612. be able to. At this time, as described above, if the image data of the screen of the terminal device 200 is automatically transmitted each time the screen display of the terminal device 200 is changed, the keyboard image 610 and the touchpad image 612 can be displayed. The touch operation is automatically reflected on the image 632 displayed on the image display device 100, which is efficient.

また、上記では、端末装置２００の画面が画像表示装置１００の画面と平行になるように、画像表示装置１００の上に端末装置２００を載置する場合を説明したが、これに限定されない。例えば、端末装置２００を立てて配置するためのスタンド等を用いて、画像表示装置１００のタッチ検出部１１２の上に、端末装置２００を載置してもよい。   In the above description, the case where the terminal device 200 is placed on the image display device 100 so that the screen of the terminal device 200 is parallel to the screen of the image display device 100 has been described. However, the present invention is not limited to this. For example, the terminal device 200 may be placed on the touch detection unit 112 of the image display device 100 using a stand or the like for placing the terminal device 200 upright.

上記では、キーボード画像及びタッチパッドの画像を表示する場合を説明したが、これに限定されない。キーボード画像及びタッチパッド画像の何れか一方のみを表示してもよい。その場合、キーボード画像及びタッチパッド画像の何れを表示するかを、ユーザが選択可能にしてもよい。   Although the case where the keyboard image and the image of the touch pad are displayed has been described above, the present invention is not limited to this. Only one of the keyboard image and the touchpad image may be displayed. In that case, the user may be able to select which of the keyboard image and the touchpad image is to be displayed.

（第２の実施の形態）
第１の実施の形態では、端末装置の画面の画像と同じ画像を、例えば拡大して画像表示装置に表示する場合を説明したが、第２の実施の形態では、端末装置の画面の画像が、画像表示装置の画面の画像の一部を構成する。即ち、端末装置の画面が画像表示装置の画面を補完する。 (Second embodiment)
In the first embodiment, the case where the same image as the screen image of the terminal device is displayed on the image display device, for example, in an enlarged manner has been described. In the second embodiment, the image of the screen of the terminal device is displayed. And a part of the image of the screen of the image display device. That is, the screen of the terminal device complements the screen of the image display device.

第２の実施の形態に係る画像表示装置及び端末装置は、図１〜図３に示した第１の実施の形態に係る画像表示装置及び端末装置と同様に構成されている。以下においては、図１〜図３と同じ参照番号を使用する。第２の実施の形態に係る画像表示装置及び端末装置で実行されるプログラムは、第１の実施の形態と異なる。   The image display device and the terminal device according to the second embodiment have the same configuration as the image display device and the terminal device according to the first embodiment shown in FIGS. In the following, the same reference numbers are used as in FIGS. The programs executed by the image display device and the terminal device according to the second embodiment are different from those of the first embodiment.

図１５及び図１６を参照して、第２の実施の形態に係る画像表示装置１００と端末装置２００との連携に関して説明する。図１５に示すフローチャートが、図４に示すフローチャートと異なるのは、ステップ７００〜ステップ７０４が追加されているだけである。図１５においては、便宜上、図４のステップ４２２〜ステップ４３０を、ステップ７０６（表示補助処理）としてまとめて記載している。また、図１６に示すフローチャートが、図５に示すフローチャートと異なるのは、ステップ７２０〜ステップ７２６が追加されているだけである。図１６においては、便宜上、図５のステップ５１２〜ステップ５２０を、ステップ７２８（表示補助端末側処理）としてまとめて記載している。   The cooperation between the image display device 100 and the terminal device 200 according to the second embodiment will be described with reference to FIGS. The flowchart shown in FIG. 15 differs from the flowchart shown in FIG. 4 only in that steps 700 to 704 are added. In FIG. 15, for convenience, steps 422 to 430 in FIG. 4 are collectively described as step 706 (display assist processing). The flowchart shown in FIG. 16 differs from the flowchart shown in FIG. 5 only in that steps 720 to 726 are added. In FIG. 16, for convenience, steps 512 to 520 in FIG. 5 are collectively described as step 728 (display auxiliary terminal side processing).

図１５を参照して、入力補助が選択されてキーボード画像６１０及びタッチパッド画像６１２が表示された（ステップ４１２）後、入力操作がなされた場合（ステップ４１４での判定結果がＹＥＳ）、ステップ７００において、ＣＰＵ１０２は、所定領域がタッチされたか否かを判定する。所定領域とは、キーボード画像６１０、タッチパッド画像６１２、及び終了キー６２０が表示された領域である。所定領域へのタッチであると判定された場合、制御はステップ４１６に移行する。そうでなければ、制御はステップ７０２に移行する。   Referring to FIG. 15, after input assistance is selected and keyboard image 610 and touchpad image 612 are displayed (step 412), if an input operation is performed (the determination result in step 414 is YES), step 700 is performed. In, the CPU 102 determines whether or not a predetermined area has been touched. The predetermined area is an area where the keyboard image 610, the touchpad image 612, and the end key 620 are displayed. If it is determined that the touch has been made on the predetermined area, the control proceeds to step 416. Otherwise, control proceeds to step 702.

ステップ７０２において、ＣＰＵ１０２は、端末装置２００から画像データを受信したか否かを判定する。画像データの受信は、本プログラムと並行して実行されている別のプログラムによって行なわれ、受信された画像データは、ＲＡＭ１０６又は記録部１０８に記憶される。画像データが受信されていれば、制御はステップ７０４に移行する。そうでなければ、制御はステップ４１４に戻る。端末装置２００からの画像データの送信は、後述するように、端末装置２００の画面上でのドラッグ操作によって指示される。   In step 702, the CPU 102 determines whether image data has been received from the terminal device 200. The reception of the image data is performed by another program executed in parallel with the present program, and the received image data is stored in the RAM 106 or the recording unit 108. If image data has been received, control proceeds to step 704. Otherwise, control returns to step 414. Transmission of image data from the terminal device 200 is instructed by a drag operation on the screen of the terminal device 200, as described later.

ステップ７０４において、ＣＰＵ１０２は、受信している画像データを、端末装置２００が搭載されている領域を含むように、表示部１１４に表示する。例えば、図１７に示すように、端末装置２００が置かれている領域を左下部分に含むように、画像６４０が表示される。その後、制御はステップ４１４に戻る。   In step 704, the CPU 102 displays the received image data on the display unit 114 so as to include the area where the terminal device 200 is mounted. For example, as shown in FIG. 17, the image 640 is displayed so that the area where the terminal device 200 is placed is included in the lower left part. Thereafter, control returns to step 414.

図１７では、端末装置２００の画面上で、矢印で示すようにドラッグ操作がなされたことによって、端末装置２００の画面の画像データが画像表示装置１００に送信され、画像表示装置１００の表示部１１４に何も表示されていない領域に対応する、タッチ検出部１１２上の領域がタッチされたことによって、端末装置２００の画面と同じ画像６４０が表示されている。   In FIG. 17, the image data of the screen of the terminal device 200 is transmitted to the image display device 100 by performing the drag operation on the screen of the terminal device 200 as indicated by the arrow, and the display unit 114 of the image display device 100 When the area on the touch detection unit 112 corresponding to the area where nothing is displayed is touched, the same image 640 as the screen of the terminal device 200 is displayed.

図１６を参照して、入力補助に対応するデータを受信した（ステップ５０４での判定結果がＹＥＳ）後、画像表示装置１００からのデータを受信していない場合（ステップ５０６での判定結果がＮＯ）、ステップ７２０において、ＣＰＵ２０２は、タッチ検出部２１２に対するタッチ操作がなされたか否かを判定する。タッチ操作が検出された場合、制御はステップ７２２に移行する。そうでなければ、ステップ７２０が繰返される。   Referring to FIG. 16, after data corresponding to input assistance is received (the determination result in step 504 is YES), when data from image display device 100 is not received (the determination result in step 506 is NO) ), In step 720, the CPU 202 determines whether or not a touch operation has been performed on the touch detection unit 212. If a touch operation has been detected, control proceeds to step 722. Otherwise, step 720 is repeated.

ステップ７２２において、ＣＰＵ２０２は、タッチ検出部２１２上でドラッグ操作がなされたか否かを判定する。ドラッグ操作が検出された場合、制御はステップ７２４に移行する。そうでなければ、制御はステップ７２６に移行する。   In step 722, the CPU 202 determines whether or not a drag operation has been performed on the touch detection unit 212. If a drag operation is detected, control proceeds to step 724. Otherwise, control proceeds to step 726.

ステップ７２４において、ＣＰＵ２０２は、表示部２１４の画面に表示されている画像データを、ＶＲＡＭ２１８から読出して画像表示装置１００に送信する。送信され画像データは、上記したように、画像表示装置１００によって受信されて表示部１１４に表示される（ステップ７０２及びステップ７０４参照）。その後、制御はステップ５０６に戻る。   In step 724, the CPU 202 reads out the image data displayed on the screen of the display unit 214 from the VRAM 218 and transmits the image data to the image display device 100. The transmitted image data is received by the image display device 100 and displayed on the display unit 114 as described above (see steps 702 and 704). Thereafter, control returns to step 506.

ステップ７２０で検出された操作が、ドラッグ操作でなければ、ステップ７２６において、ＣＰＵ２０２は、操作に対応する処理を実行する。その後、制御はステップ５０６に戻る。   If the operation detected in step 720 is not a drag operation, in step 726, the CPU 202 executes a process corresponding to the operation. Thereafter, control returns to step 506.

したがって、入力補助が選択された場合（ステップ４０８での判定結果がＹＥＳ）、ステップ７００〜ステップ７０４、及びステップ７２０〜ステップ７２６によって、ユーザは、端末装置２００を操作して画面の表示を変更することができ、画面の表示が変更された後にドラッグ操作を行なえば、新たな画面の画像データが送信されて画像表示装置１００に表示される。   Therefore, when the input assistance is selected (the determination result in step 408 is YES), the user operates the terminal device 200 to change the display on the screen in steps 700 to 704 and 720 to 726. If a drag operation is performed after the display of the screen is changed, image data of a new screen is transmitted and displayed on the image display device 100.

図１７の状態から、図１８に示すように、端末装置２００が画像表示装置１００の上から取除かれても（取除かれた端末装置２００は左端部分のみが示されている）、端末装置２００の画面の画像と同じ画像６４０の表示は維持される。したがって、ユーザは、端末装置２００の画面が拡大されて表示された画像６４０を見ながら、キーボード画像６１０及びタッチパッド画像６１２に対してタッチ操作を行なうことができるので、入力操作を効率的に行なうことができる。   17, even if the terminal device 200 is removed from above the image display device 100 as shown in FIG. 18 (only the left end portion of the removed terminal device 200 is shown), The display of the same image 640 as the image of the screen 200 is maintained. Therefore, the user can perform a touch operation on keyboard image 610 and touch pad image 612 while viewing image 640 in which the screen of terminal device 200 is displayed in an enlarged manner, so that the input operation is performed efficiently. be able to.

上記では、端末装置２００が画像表示装置１００の上から取除かれても、端末装置２００の画面と同じ画像６４０の表示が維持される場合を説明したが、図１９に示すように、端末装置２００が画像表示装置１００の上から取除かると、端末装置２００が置かれていた部分が表示されないようにしてもよい。即ち、ステップ７０４において、受信した画像データを表示する場合に、画像データのうち、端末装置２００が載置されている領域に表示される部分画像のデータを、別のデータ（例えば、黒等を表す単一色のデータ）に置換えて、表示部１１４に表示する。図１９では、端末装置２００が置かれていた部分６４４は単色で表示されている（グレーアウト）。このようにすれば、例えば図２０に示すように、ユーザは、端末装置２００を取除いた後、相手に見せたくない画像８０２を端末装置２００に表示して、検討することができる。図２０では、端末装置２００で実行されているアプリケーションのウィンドウに、社外秘の情報が表示されているが、その情報は、画像表示装置１００には表示されていない。この状態で、端末装置２００に対してドラッグ操作がなされて、端末装置２００の新たな画面の画像データが送信されても、社外秘の情報が表示されたウィンドウの位置が変更されない限り、画像表示装置１００には、端末装置２００の新たな画面の画像データが、社外秘の情報が除かれた状態で表示される。   In the above description, the case where the display of the same image 640 as the screen of the terminal device 200 is maintained even when the terminal device 200 is removed from above the image display device 100 has been described. If 200 is removed from above image display device 100, the portion where terminal device 200 was placed may not be displayed. That is, in step 704, when displaying the received image data, of the image data, the partial image data displayed in the area where the terminal device 200 is placed is replaced with another data (for example, black or the like). (A single color data representing the color). In FIG. 19, the portion 644 where the terminal device 200 was placed is displayed in a single color (grayed out). In this way, for example, as shown in FIG. 20, after removing the terminal device 200, the user can display the image 802 that the user does not want to show to the other party on the terminal device 200, and can examine the image. In FIG. 20, the confidential information is displayed in the window of the application executed on the terminal device 200, but the information is not displayed on the image display device 100. In this state, even if a drag operation is performed on the terminal device 200 and image data of a new screen of the terminal device 200 is transmitted, unless the position of the window displaying the confidential information is changed, the image display device At 100, image data of a new screen of the terminal device 200 is displayed in a state where confidential information has been removed.

（第３の実施の形態）
第１及び第２の実施の形態に係る画像表示装置は１台の端末装置と連携し、端末装置に対する入力補助機能を提供した。第３の実施の形態に係る画像表示装置は、複数の端末装置と連携し、各端末装置に対して入力補助機能を提供する。 (Third embodiment)
The image display devices according to the first and second embodiments cooperate with one terminal device to provide an input assist function for the terminal device. The image display device according to the third embodiment cooperates with a plurality of terminal devices to provide an input assist function to each terminal device.

第３の実施の形態に係る画像表示装置は、図１に示した第１の実施の形態に係る画像表示装置と同様に構成されている。また、複数台の各端末装置は、図３に示した端末装置と同様に構成されている。第３の実施の形態に係る画像表示装置及び端末装置で実行されるプログラムは、第１及び第２の実施の形態と異なる。   The image display device according to the third embodiment has the same configuration as the image display device according to the first embodiment shown in FIG. Each of the plurality of terminal devices has the same configuration as the terminal device shown in FIG. The programs executed by the image display device and the terminal device according to the third embodiment are different from those of the first and second embodiments.

図２１及び図２２を参照して、第３の実施の形態に係る画像表示装置１００が２台の端末装置に入力補助機能を提供する場合に関して説明する。以下においては、画像表示装置に関しては、図１と同じ参照番号を使用する。２台の端末装置は、後述するように第１端末装置及び第２端末装置を明記した上で、図３の参照番号を使用する。図２１及び図２２において、図４及び図５と同じ参照番号を付したステップは、図４及び図５のステップと同じである。   A case where the image display device 100 according to the third embodiment provides an input assist function to two terminal devices will be described with reference to FIGS. In the following, the same reference numerals as in FIG. 1 are used for the image display device. The two terminal devices use the reference numbers in FIG. 3 after specifying the first terminal device and the second terminal device as described later. 21 and 22, the steps denoted by the same reference numerals as those in FIGS. 4 and 5 are the same as the steps in FIGS. 4 and 5.

図２１を参照して、連携機能を提供する対象の端末装置がステップ４００で検出された後、ステップ７４０において、ＣＰＵ１０２は、表示部１１４に、２台の端末装置に対して入力補助機能を提供可能であることを示すメッセージを含む画像を表示する。具体的には、図２３に示すように、画面６００に、メッセージを含むウィンドウ６６０と２台用キー６６２とが表示される。   Referring to FIG. 21, after a terminal device to which a cooperative function is provided is detected in step 400, in step 740, CPU 102 provides display unit 114 with an input assisting function for two terminal devices. Display an image containing a message indicating that it is possible. Specifically, as shown in FIG. 23, a window 660 including a message and a two-unit key 662 are displayed on the screen 600.

ステップ７４２において、ＣＰＵ１０２は、２台での利用が選択されたか否かを判定する。２台での利用は、２台用キー６６２がタッチされることによって選択される。２台での利用が選択されたと判定された場合、制御はステップ７４４に移行する。そうでなければ、制御はステップ４１０に移行する。   In step 742, the CPU 102 determines whether or not use by two is selected. Use of two devices is selected by touching the two keys 662. If it is determined that the use of two devices has been selected, the control proceeds to step 744. Otherwise, control proceeds to step 410.

なお、画像表示装置１００は２台の端末装置を識別する必要がある。例えば、１台の端末装置に関して電源オン、プログラムの起動、及び画像表示装置１００への載置を行なった後、別の端末装置に関して、電源オン、プログラムの起動、及び画像表示装置１００への載置を行なうようにすれば、画像表示装置１００は２台の端末装置を識別し、２台の端末装置と、表示した２組のキーボード画像及びタッチパッド画像とを対応させることができる。また、２台の端末装置がオンされ、専用プログラムが起動された状態で、画像表示装置１００と通信可能になった場合には、端末装置が搭載されたときに、２台の端末装置を識別する情報（デバイス名等）を表示し、ユーザに選択させることにより、端末装置と、キーボード画像及びタッチパッド画像とを対応させてもよい。   Note that the image display device 100 needs to identify two terminal devices. For example, after turning on the power of one terminal device, activating the program, and mounting on the image display device 100, powering on another terminal device, activating the program, and mounting on the image display device 100 are performed. If the display is performed, the image display device 100 can identify the two terminal devices and associate the two terminal devices with the displayed two sets of keyboard image and touch pad image. When the two terminal devices are turned on and the dedicated program is started and communication becomes possible with the image display device 100, when the terminal devices are mounted, the two terminal devices are identified. The terminal device may be associated with the keyboard image and the touchpad image by displaying information (device name or the like) to be performed and allowing the user to select the information.

ステップ７４４において、ＣＰＵ１０２は、画面６００を２分割する境界線を表示する。例えば、図２４に示すように、破線の境界線６６４を表示する。図２４において、タッチされた２台用キー６６２は、選択されていることを表すために輝度が反転されて表示されている。   In step 744, the CPU 102 displays a boundary line that divides the screen 600 into two. For example, as shown in FIG. 24, a dashed boundary line 664 is displayed. In FIG. 24, the touched two keys 662 are displayed with their luminance inverted to indicate that they are selected.

ステップ７４６において、ＣＰＵ１０２は、タッチ検出部１１２の上に、端末装置が載置されたか否かを判定する。載置された場合、ＣＰＵ１０２は、カウンタ（初期値は“０”）に“１”を加算し、制御はステップ７４８に移行する。そうでなれば、ステップ７４６が繰返される。以下、最初に載置された端末装置を第１端末装置という。   In step 746, the CPU 102 determines whether or not the terminal device has been placed on the touch detection unit 112. If it is placed, the CPU 102 adds “1” to the counter (the initial value is “0”), and control proceeds to step 748. If so, step 746 is repeated. Hereinafter, the terminal device placed first is referred to as a first terminal device.

ステップ７４８において、ＣＰＵ１０２は、載置された第１端末装置の近傍にキーボード画像及びタッチパッド画像を表示する。具体的には、境界線６６４と平行な第１端末装置が載置された側の辺と、第１端末装置が載置された位置との間に、キーボード画像及びタッチパッド画像を表示する。例えば、図２５に示したように、第１端末装置２２２が載置された場合、キーボード画像６７０及びタッチパッド画像６７２が表示される。   In step 748, the CPU 102 displays a keyboard image and a touch pad image near the placed first terminal device. Specifically, a keyboard image and a touchpad image are displayed between the side on which the first terminal device is placed parallel to the boundary line 664 and the position where the first terminal device is placed. For example, as shown in FIG. 25, when the first terminal device 222 is placed, a keyboard image 670 and a touchpad image 672 are displayed.

ステップ７５０において、ＣＰＵ１０２は、２台の端末装置が全て載置されたか否かを判定する。２台目の端末装置（以下、第２端末装置という）が載置された場合、ステップ７４６が再度実行され、カウンタの加算処理が実行されて、カウンタの値が“２”になるので、カウンタが“２”であるか否かを判定する。全て載置されたと判定された場合、制御はステップ４１４に移行する。そうでなければ、制御はステップ７４６に戻る。   In step 750, the CPU 102 determines whether all of the two terminal devices are mounted. When the second terminal device (hereinafter, referred to as a second terminal device) is placed, step 746 is executed again, and the counter addition process is executed, and the counter value becomes “2”. Is "2". If it is determined that all of them have been placed, the control proceeds to step 414. Otherwise, control returns to step 746.

２台の端末装置が載置された状態は、図２６のようになる。図２６では、上記したように、第１端末装置２２２が載置された領域６７４にキーボード画像６７０及びタッチパッド画像６７２が表示され、第２端末装置２２４が載置された領域６７６に、対応するキーボード画像６７８及びタッチパッド画像６８０が表示されている。   FIG. 26 shows a state where two terminal devices are placed. In FIG. 26, as described above, the keyboard image 670 and the touchpad image 672 are displayed in the region 674 where the first terminal device 222 is placed, and correspond to the region 676 where the second terminal device 224 is placed. A keyboard image 678 and a touchpad image 680 are displayed.

ステップ７４２での判定の結果、２台用キー６６２がタッチされていなければ、ステップ４１０において、ＣＰＵ１０２は、タッチ検出部１１２の上に、端末装置が載置されたか否かを判定する。   If the result of determination in step 742 is that the two keys 662 have not been touched, in step 410, the CPU 102 determines whether a terminal device has been placed on the touch detection unit 112.

ＣＰＵ１０２は、ステップ４１４において、キーボード画像及びタッチパッド画像に対して入力操作がなされたか否かを判定し、入力された場合、ステップ４１８において、ステップ４１４で取得したタッチ位置座標からタッチ位置に対応する指示を特定し、対応するデータ（文字コード等）を、第１端末装置２２２及び第２端末装置２２４のうち、対応する端末装置に送信する。２台用キー６６２がタッチされないまま、ステップ４１４が実行される場合（これは、カウンタの値が初期値“０”であるか否かにより判定できる）には、以下では１台の端末装置に関して処理が実行される。   In step 414, the CPU 102 determines whether or not an input operation has been performed on the keyboard image and the touchpad image. The instruction is specified, and the corresponding data (such as a character code) is transmitted to the corresponding one of the first terminal device 222 and the second terminal device 224. If step 414 is executed without touching the two keys 662 (this can be determined based on whether the counter value is the initial value “0”), one terminal device will be described below. The processing is executed.

ステップ７５２において、ＣＰＵ１０２は、端末装置が、画像表示装置の上から除去されたか否かを判定する。除去されたと判定された場合、制御はステップ７５４に移行する。そうでなければ、制御はステップ４１４に戻る。   In step 752, the CPU 102 determines whether or not the terminal device has been removed from above the image display device. If it is determined that it has been removed, control proceeds to step 754. Otherwise, control returns to step 414.

ステップ７５４において、ＣＰＵ１０２は、端末装置が除去された領域からキーボード画像、タッチパッド画像、境界線、及び２台用キー６６２を削除し、その端末装置に終了情報を送信する。このとき、ＣＰＵ１０２は、カウンタが“０”でなければ、カウンタを“１”だけ減算する。   In step 754, the CPU 102 deletes the keyboard image, the touchpad image, the boundary line, and the two keys 662 from the area where the terminal device has been removed, and transmits end information to the terminal device. At this time, if the counter is not “0”, the CPU 102 decrements the counter by “1”.

ステップ７５６において、ＣＰＵ１０２は、端末装置が全て除去された否かを判定する。これは、カウンタが初期値（“０”）であるか否かによって判定される。端末装置が２台とも除去されたと判定された場合、制御はステップ４００に戻る。そうでなければ、制御はステップ４１４に戻る。   In step 756, the CPU 102 determines whether or not all the terminal devices have been removed. This is determined based on whether the counter has the initial value (“0”). If it is determined that both terminal devices have been removed, control returns to step 400. Otherwise, control returns to step 414.

図２２を参照して、第１端末装置及び第２端末装置が実行するプログラムの各ステップは、図５に示されたステップのうち、入力補助機能に関連するステップと同じである。即ち、第１端末装置及び第２端末装置は、上記したように、画像表示装置１００との通信が確立された後、画像表示装置１００から自機宛ての入力データを受信し、入力データに応じた処理を実行する。   Referring to FIG. 22, the steps of the program executed by the first terminal device and the second terminal device are the same as the steps related to the input assist function among the steps shown in FIG. That is, as described above, after the communication with the image display device 100 is established, the first terminal device and the second terminal device receive the input data addressed to the own device from the image display device 100 and respond to the input data. Execute the processing that was performed.

このようにして、２台用キー６６２がタッチされない状態で、１台の端末装置が載置されると（ステップ７４２でＮＯ、ステップ４１０でＹＥＳ）、第１の実施の形態と同様に、１台の端末装置に対して入力補助機能を提供することができる。一方、２台用キー６６２がタッチされ、２台の端末装置が載置されると、画像表示装置１００は、２台の端末装置に対して入力補助機能を提供することができる。載置されている端末装置のうち、１台の端末装置が除去されると、対応するキーボード画像及びタッチパッド画像が消去される。その状態では、搭載された端末装置があれば、その端末装置に対する入力補助機能は維持される。端末装置が全て除去されると。画像表示装置１００の画面から画像が消去され、最初の状態に戻る。   In this way, when one terminal device is placed in a state where the two keys 662 are not touched (NO in step 742 and YES in step 410), one terminal device is set as in the first embodiment. An input assistance function can be provided to one terminal device. On the other hand, when the two keys 662 are touched and the two terminal devices are placed, the image display device 100 can provide the input assistance function to the two terminal devices. When one terminal device among the mounted terminal devices is removed, the corresponding keyboard image and touchpad image are deleted. In this state, if there is a terminal device mounted, the input assist function for the terminal device is maintained. When all the terminal devices are removed. The image is deleted from the screen of the image display device 100, and the state returns to the initial state.

上記では、ユーザが２台用キー６６２にタッチすることによって、２台の端末装置に対して入力補助機能を提供する場合を説明したが、これに限定されない。例えば、図２３のような画面を表示することなく、端末装置が画像表示装置に載置される度に、画像表示装置が端末装置と通信を確立し、端末装置の近傍に、キーボード画像及びタッチパッド画像を表示するスペースがあれば、それらを表示してもよい。   In the above, the case where the user provides the input assistance function to the two terminal devices by touching the two keys 662 has been described, but the present invention is not limited to this. For example, each time the terminal device is placed on the image display device without displaying the screen as shown in FIG. 23, the image display device establishes communication with the terminal device, and a keyboard image and a touch are displayed near the terminal device. If there is space to display pad images, those may be displayed.

また、画像表示装置の画面６００の分割の方法は、図２４のような分割方法に限定されない。例えば、図２７に示すように、画面６００の対角位置を使用してもよい。   Further, the method of dividing the screen 600 of the image display device is not limited to the dividing method as shown in FIG. For example, as shown in FIG. 27, a diagonal position of the screen 600 may be used.

また、画像表示装置の画面が大きければ、３台以上の端末装置に入力補助機能を提供するようにしてもよい。   If the screen of the image display device is large, the input assist function may be provided to three or more terminal devices.

以上、実施の形態を説明することにより本発明を説明したが、上記した実施の形態は例示であって、本発明は上記した実施の形態に限定されるものではなく、種々変更して実施することができる。   As described above, the present invention has been described by describing the embodiment. However, the above-described embodiment is merely an example, and the present invention is not limited to the above-described embodiment, and may be implemented with various changes. be able to.

１００ 画像表示装置
１０２、２０２ 演算処理部（ＣＰＵ）
１０４、２０４ 読出専用メモリ（ＲＯＭ）
１０６、２０６ 書換可能メモリ（ＲＡＭ）
１０８、２０８ 記録部
１１０、２１０ 通信部
１１２、２１２ タッチ検出部
１１４、２１４ 表示部
１１６、２１６ 表示制御部
１１８、２１８ ビデオメモリ（ＶＲＡＭ）
１２０、２２０ バス
６００ 画面
６１０、６７０、６７８ キーボード画像
６１２、６７２、６８０ タッチパッド画像
６２０ 終了キー 100 image display device 102, 202 arithmetic processing unit (CPU)
104, 204 Read-only memory (ROM)
106, 206 Rewritable memory (RAM)
108, 208 Recording unit 110, 210 Communication unit 112, 212 Touch detection unit 114, 214 Display unit 116, 216 Display control unit 118, 218 Video memory (VRAM)
120, 220 Bus 600 Screen 610, 670, 678 Keyboard image 612, 672, 680 Touch pad image 620 Exit key

Claims (14)

画像表示面が水平に配置された表示部と、
前記表示部の画像表示面上に配置され、前記画像表示面のタッチされた位置を検出する検出部と
を備え、
前記表示部は、外部装置が前記検出部の上に載置されたことを前記検出部が検出したことを受けて、前記外部装置に情報を入力するための入力機器の画像を表示するか否かを選択する画面を前記画像表示面に表示し、
前記表示部は、前記入力機器の画像を表示することが選択されたことを前記検出部が検出したことを受けて、前記入力機器の画像を前記画像表示面に表示する、画像表示装置。 A display section in which the image display surface is arranged horizontally,
A detection unit arranged on an image display surface of the display unit and detecting a touched position of the image display surface,
The display unit is configured to display an image of an input device for inputting information to the external device in response to the detection unit detecting that the external device is mounted on the detection unit. Display a screen for selecting on the image display surface,
The image display device, wherein the display unit displays the image of the input device on the image display surface in response to the detection unit detecting that the display of the image of the input device has been selected. 前記表示部は、前記入力機器の画像を表示することが選択されたことを前記検出部が検出したことを受けて、前記画像表示面において前記外部装置の載置された領域と異なる領域に、前記入力機器の画像を表示する、請求項１に記載の画像表示装置。   The display unit, in response to the detection unit detects that the display of the image of the input device is selected, in a region different from the region where the external device is placed on the image display surface, The image display device according to claim 1, wherein the image display device displays an image of the input device. 前記表示部は、前記画像表示面がタッチされたことを前記検出部が検出したことを受けて、前記外部装置から受信した、前記外部装置の画像表示面に表示された画像データを、拡大して表示する、請求項１または２に記載の画像表示装置。   In response to the detection unit detecting that the image display surface has been touched, the display unit enlarges image data received from the external device and displayed on the image display surface of the external device. The image display device according to claim 1, wherein the image is displayed. 前記表示部は、
前記外部装置が載置された状態で前記画像表示面がタッチされたことを前記検出部が検出したことを受けて、前記外部装置から受信した前記外部装置の画像表示面に表示された画像データを、前記外部装置の載置された載置領域に対応する部分を含む領域に拡大表示し、
前記拡大表示された状態で前記外部装置が前記検出部の上から取除かれたことを前記検出部が検出したことを受けて、前記載置領域に対応する部分に表示されていた部分画像を異なる部分画像に変更する、請求項１から３のいずれかに記載の画像表示装置。 The display unit,
In response to the detection unit detecting that the image display surface has been touched while the external device is mounted, image data displayed on the image display surface of the external device received from the external device. Is enlarged and displayed in an area including a portion corresponding to the mounting area where the external device is mounted,
In response to the detection unit detecting that the external device has been removed from above the detection unit in the enlarged display state, a partial image displayed in a portion corresponding to the placement area is described. The image display device according to any one of claims 1 to 3, wherein the image display device changes to a different partial image. 前記表示部は、
前記外部装置が載置された状態で前記画像表示面がタッチされたことを前記検出部が検出したことを受けて、前記外部装置から受信した前記外部装置の画像表示面に表示された画像データを、前記外部装置の載置された載置領域に対応する部分を含む領域に拡大表示し、
前記拡大表示された状態で前記外部装置が前記検出部の上から取除かれたことを前記検出部が検出しても、前記拡大表示を維持する、請求項１から３のいずれかに記載の画像表示装置。 The display unit,
In response to the detection unit detecting that the image display surface has been touched while the external device is mounted, image data displayed on the image display surface of the external device received from the external device. Is enlarged and displayed in an area including a portion corresponding to the mounting area where the external device is mounted,
4. The enlarged display according to claim 1, wherein the enlarged display is maintained even when the detection unit detects that the external device has been removed from above the detection unit in the enlarged display state. 5. Image display device. 前記表示部は、複数台の前記外部装置の各々に対して入力機器を表示する指示を受けたことを前記検出部が検出することに応じて、複数台の前記外部装置の各々を載置する領域の境界線を表示する、請求項１から５のいずれかに記載の画像表示装置。   The display unit places each of the plurality of external devices in response to the detection unit detecting that an instruction to display an input device has been received for each of the plurality of external devices. The image display device according to any one of claims 1 to 5, wherein a boundary line of the region is displayed. 前記入力機器を示す画像は、キーボード画像またはタッチパッド画像を含む、請求項１から６のいずれかに記載の画像表示装置。   The image display device according to claim 1, wherein the image indicating the input device includes a keyboard image or a touchpad image. 水平配置された画像表示面に画像を表示する画像表示方法であって、
前記画像表示面上に載置された外部装置の位置を検知する外部装置検知ステップと、
前記外部装置の位置を検知した後、前記画像表示面に、前記外部装置に情報を入力するための入力機器の画像を表示するか否かを選択する画面を表示する選択画面表示ステップと、
前記画像表示面において、前記入力機器の画像を表示することが選択されたことを検出する入力機器画像選択検出ステップと、
前記入力機器の画像を表示することが選択されたことを検出した後、前記入力機器を示す画像を表示する入力機器画像表示ステップと
を包含する、画像表示方法。 An image display method for displaying an image on a horizontally arranged image display surface,
An external device detection step of detecting a position of the external device placed on the image display surface,
After detecting the position of the external device, on the image display surface, a selection screen display step of displaying a screen for selecting whether to display an image of an input device for inputting information to the external device,
On the image display surface, an input device image selection detection step of detecting that display of the image of the input device has been selected,
An input device image displaying step of displaying an image indicating the input device after detecting that the display of the image of the input device has been selected. 前記入力機器画像表示ステップにおいて、前記画像表示面において、前記画像表示面において前記外部装置の載置された領域と異なる領域に、前記入力機器の画像を表示する、請求項８に記載の画像表示方法。   9. The image display according to claim 8, wherein, in the input device image displaying step, an image of the input device is displayed in an area on the image display surface different from an area where the external device is placed on the image display surface. Method. 前記画像表示面へのタッチを検出するタッチ検知ステップと、
前記タッチ検知ステップにおいて、前記画像表示面がタッチされたことを検出したことを受けて、前記外部装置から受信した、前記外部装置の画像表示面に表示された画像データを、拡大して表示する表示部表示ステップと
をさらに包含する、請求項８または９に記載の画像表示方法。 A touch detection step of detecting a touch on the image display surface,
In the touch detection step, in response to detecting that the image display surface has been touched, image data received from the external device and displayed on the image display surface of the external device is enlarged and displayed. The image display method according to claim 8, further comprising a display unit display step. 前記外部装置が載置された状態で、前記タッチ検知ステップにおいて、前記画像表示面がタッチされたことを検出したことを受けて、前記表示部表示ステップにおいて、前記外部装置から受信した前記外部装置の画像表示面に表示された画像データが、前記外部装置が載置された位置に対応する部分を含む領域に拡大表示され、
前記拡大表示された状態で、前記外部装置検知ステップにおいて、前記外部装置が前記画像表示面の上から取除かれたことが検出されたことを受けて、前記表示部表示ステップにおいて、前記外部装置が載置された位置に対応する部分に表示されていた部分画像が、異なる部分画像に変更される、請求項１０に記載の画像表示方法。 In a state where the external device is mounted, in the touch detection step, in response to detecting that the image display surface has been touched, the external device received from the external device in the display unit display step The image data displayed on the image display surface is enlarged and displayed in an area including a portion corresponding to the position where the external device is mounted,
In the enlarged display state, in the external device detection step, in response to the detection that the external device has been removed from above the image display surface, in the display unit display step, the external device The image display method according to claim 10, wherein the partial image displayed on the portion corresponding to the position where is placed is changed to a different partial image. 前記外部装置が載置された状態で、前記タッチ検知ステップにおいて前記画像表示面がタッチされたことを検出したことを受けて、前記表示部表示ステップにおいて、前記外部装置から受信した前記外部装置の画像表示面に表示された画像データが、前記外部装置が載置された位置に対応する部分を含む領域に拡大表示され、
前記拡大表示された状態で、前記外部装置検知ステップにおいて、前記外部装置が前記画像表示面上から取除かれたことが検出されても、前記表示部表示ステップにおいて、前記拡大表示を維持する、請求項１０に記載の画像表示方法。 In a state where the external device is placed, in response to detecting that the image display surface has been touched in the touch detection step, the display unit displaying step includes the step of displaying the external device received from the external device. Image data displayed on the image display surface is enlarged and displayed in an area including a portion corresponding to the position where the external device is mounted,
In the enlarged display state, in the external device detection step, even if it is detected that the external device has been removed from the image display surface, the display unit display step maintains the enlarged display. The image display method according to claim 10. 前記画像表示面へのタッチを検出するタッチ検知ステップと、
前記タッチ検知ステップにおいて、複数台の前記外部装置の各々に対して入力機器を表示する指示を受けたことに応じて、複数台の前記外部装置の各々を載置する領域の境界線を表示する境界線表示ステップと
をさらに包含する、請求項８に記載の画像表示方法。 A touch detection step of detecting a touch on the image display surface,
In the touch detection step, in response to receiving an instruction to display an input device for each of the plurality of external devices, displaying a boundary line of a region where each of the plurality of external devices is placed The image display method according to claim 8, further comprising a boundary line display step. 前記入力機器を示す画像は、キーボード画像またはタッチパッド画像を含む、請求項８から１３のいずれかに記載の画像表示方法。   14. The image display method according to claim 8, wherein the image indicating the input device includes a keyboard image or a touchpad image.
JP2019043037A 2019-03-08 2019-03-08 Image display device and image display method Active JP6654722B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019043037A JP6654722B2 (en) 2019-03-08 2019-03-08 Image display device and image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019043037A JP6654722B2 (en) 2019-03-08 2019-03-08 Image display device and image display method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017228070A Division JP6522719B2 (en) 2017-11-28 2017-11-28 Image display method

Publications (2)

Publication Number Publication Date
JP2019117649A JP2019117649A (en) 2019-07-18
JP6654722B2 true JP6654722B2 (en) 2020-02-26

Family

ID=67304690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019043037A Active JP6654722B2 (en) 2019-03-08 2019-03-08 Image display device and image display method

Country Status (1)

Country Link
JP (1) JP6654722B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220061752A (en) 2020-11-06 2022-05-13 삼성전자주식회사 Method for controlling a flexible display and electronic device thereof

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4618401B2 (en) * 2003-07-04 2011-01-26 富士ゼロックス株式会社 Information display system and information display method
JP4933304B2 (en) * 2006-10-16 2012-05-16 キヤノン株式会社 Image processing apparatus, control method thereof, and program
US8421747B2 (en) * 2008-09-24 2013-04-16 Microsoft Corporation Object detection and user settings
US8427424B2 (en) * 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
US20120249463A1 (en) * 2010-06-04 2012-10-04 Smart Technologies Ulc Interactive input system and method
JP2013041350A (en) * 2011-08-12 2013-02-28 Panasonic Corp Touch table system
JP2013130982A (en) * 2011-12-21 2013-07-04 Sharp Corp Information display device

Also Published As

Publication number Publication date
JP2019117649A (en) 2019-07-18

Similar Documents

Publication Publication Date Title
CN110647248B (en) Image display device and method of operating the same
KR20110063561A (en) Device for controlling an electronic apparatus by handling graphic objects on a multi-contact touch screen
JP6189680B2 (en) Interface device, interface method, interface program, and computer-readable recording medium storing the program
JP5905783B2 (en) Image display system
KR20150144267A (en) Method for arranging icon and electronic device supporting the same
JP2012168621A (en) Touch drawing display device and operation method therefor
JP2014016743A (en) Information processing device, information processing device control method and information processing device control program
CN101650635A (en) Method for controlling remote display by terminal equipment and terminal equipment
JP2004030536A (en) Information processor and character input support method used in the processor
JP6654722B2 (en) Image display device and image display method
JP6253945B2 (en) Image display device
JP6522719B2 (en) Image display method
JP2020190928A (en) Information processing device, information processing method, and information processing program
US9075433B1 (en) Information processing method and electronic device
JP6105434B2 (en) Image display apparatus and operation method thereof
JP6139854B2 (en) Display device
JP2017215857A (en) Display, display method, and program
JP6600423B2 (en) Display device, display method, and program
JP2019204384A (en) Information processing apparatus, information processing method, and program
JP6162001B2 (en) Drawing system
JP2013219610A (en) Information processing apparatus, information processing method, and keyboard creation system
JP6466527B2 (en) Display device, display method, and program
JP6416988B2 (en) Display device, display method, and program
JP6377828B2 (en) Image display device, display control program, and display control method
JP6466993B2 (en) Display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200130

R150 Certificate of patent or registration of utility model

Ref document number: 6654722

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150