JP6511725B2 - Interactive display method and interactive display apparatus - Google Patents

Interactive display method and interactive display apparatus Download PDF

Info

Publication number
JP6511725B2
JP6511725B2 JP2014075193A JP2014075193A JP6511725B2 JP 6511725 B2 JP6511725 B2 JP 6511725B2 JP 2014075193 A JP2014075193 A JP 2014075193A JP 2014075193 A JP2014075193 A JP 2014075193A JP 6511725 B2 JP6511725 B2 JP 6511725B2
Authority
JP
Japan
Prior art keywords
image
signal
external
input object
external device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014075193A
Other languages
Japanese (ja)
Other versions
JP2015197586A (en
Inventor
俊 今井
俊 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014075193A priority Critical patent/JP6511725B2/en
Priority to US14/547,582 priority patent/US9830723B2/en
Priority to CN201410710623.8A priority patent/CN104683717B/en
Publication of JP2015197586A publication Critical patent/JP2015197586A/en
Application granted granted Critical
Publication of JP6511725B2 publication Critical patent/JP6511725B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は双方向表示方法および双方向表示装置に関する。   The present invention relates to an interactive display method and an interactive display device.

外部機器から入力される画像信号に基づく画像と、画面に対する操作に対応する文字、図画等のオブジェクトを描画した画像とを合成して表示する双方向表示装置が知られている。ここで、外部機器から入力される画像信号に基づく画像を外部画像といい、画面に対する操作に対応するオブジェクトを操作入力オブジェクトというものとする。   2. Description of the Related Art There is known an interactive display device which combines and displays an image based on an image signal input from an external device and an image obtained by drawing an object such as characters or drawings corresponding to an operation on a screen. Here, an image based on an image signal input from an external device is referred to as an external image, and an object corresponding to an operation on a screen is referred to as an operation input object.

特許文献1には、画面に対する操作に応じて操作入力オブジェクトを描画する描画モードと、画面に対する操作に応じてクリック等の操作信号を外部機器に送信するモード(外部機器操作モードというものとする。)とで動作する双方向プロジェクターが記載されている。   Patent Document 1 describes a drawing mode for drawing an operation input object according to an operation on a screen and a mode for transmitting an operation signal such as a click to an external device according to an operation on the screen (external device operation mode. And bidirectional projectors are described.

特開2013−152739号公報JP, 2013-152739, A

ところで、外部機器から双方向プロジェクターに入力される画像信号は外部機器が描画した画像を表示するための信号であるため、外部機器操作モードにおいて画面に対する操作が行われると外部画像が変化する。これに対し、操作入力オブジェクトは双方向プロジェクターが描画する画像であって外部機器が一切の処理に関与しない画像である。   Since the image signal input from the external device to the bidirectional projector is a signal for displaying an image drawn by the external device, the external image changes when an operation is performed on the screen in the external device operation mode. On the other hand, the operation input object is an image drawn by the interactive projector and an image which the external device does not participate in any processing.

したがって、特許文献1に記載された双方向プロジェクターでは、外部機器操作モードにおいて画面に対する操作が行われることによって外部画像が変化しても、操作入力オブジェクトは変化しない。このため、例えば、プレゼンテーションのためのアプリケーションプログラムの特定のスライドを表している外部画像とそのスライドに対応するコメントを表している操作入力オブジェクトとを合成して表示している場合に、描画モードから外部機器操作モードに遷移して、画面に対する操作によって次のスライドが選択されると、次のスライドと無関係のコメントとともに次のページが表示されることになる。そして、スライドと無関係の操作入力オブジェクトを消去するためには、次のスライドを選択する操作とは別に操作入力オブジェクトを消去するための操作が必要になるという問題がある。   Therefore, in the bidirectional projector described in Patent Document 1, the operation input object does not change even if the external image is changed by performing the operation on the screen in the external device operation mode. For this reason, for example, when the external image representing a specific slide of the application program for presentation and the operation input object representing the comment corresponding to the slide are combined and displayed, from the drawing mode In the external device operation mode, when the next slide is selected by the operation on the screen, the next page is displayed with the comment unrelated to the next slide. Then, in order to delete the operation input object unrelated to the slide, there is a problem that an operation for deleting the operation input object is required in addition to the operation of selecting the next slide.

本発明は、このような問題を解決するために創作されたものであって、外部画像と対応しなくなった操作入力オブジェクトを編集する操作を不要にすることを目的の1つとする。   The present invention is created to solve such a problem, and an object of the present invention is to eliminate the need for an operation of editing an operation input object which is no longer corresponding to an external image.

(1)上記目的を達成するための双方向表示方法は、外部機器から画像信号を入力する画像信号入力ステップと、表示信号に基づいて画像を画面に表示する表示ステップと、前記画面に対する操作を画像操作として検出する画像操作検出ステップと、前記画像操作に対応する操作入力オブジェクトを描画する描画ステップと、前記画像信号に基づく外部画像と前記操作入力オブジェクトとを合成した合成画像を表示するための前記表示信号を出力する出力ステップと、連動操作を検出する連動操作検出ステップと、前記連動操作を検出すると、前記連動操作に対応する機器操作信号を前記外部機器に出力するとともに前記機器操作信号に応じた前記外部画像の変化に対応するように前記操作入力オブジェクトを編集する連動編集ステップと、を含む。   (1) The bidirectional display method for achieving the above object comprises an image signal input step of inputting an image signal from an external device, a display step of displaying an image on a screen based on the display signal, and an operation on the screen An image operation detection step for detecting as an image operation, a drawing step for drawing an operation input object corresponding to the image operation, and a composite image obtained by combining an external image based on the image signal and the operation input object When the output step of outputting the display signal, the interlocked operation detection step of detecting the interlocked operation, and the interlocked operation are detected, the device operation signal corresponding to the interlocked operation is output to the external device and the device operation signal is output. An interlocked editing step of editing the operation input object so as to correspond to a change in the external image according to the correspondence; Including.

本発明によると、外部画像と対応しなくなった操作入力オブジェクトを編集する操作が不要になる。   According to the present invention, the operation of editing the operation input object which is no longer corresponding to the external image is unnecessary.

(2)上記目的を達成するための双方向表示方法の前記連動編集ステップにおいて、前記操作入力オブジェクトを消去してもよい。
この構成を採用することにより、外部画像と対応しなくなった操作入力オブジェクトを消去する操作が不要になる。
(2) In the interlocked editing step of the interactive display method for achieving the above object, the operation input object may be deleted.
By adopting this configuration, the operation of deleting the operation input object which is no longer compatible with the external image becomes unnecessary.

(3)上記目的を達成するための双方向表示方法の前記連動編集ステップにおいて、前記操作入力オブジェクトを拡大または縮小してもよい。
この構成を採用することにより、変化後の外部画像が表すオブジェクトの大きさに対応するように操作入力オブジェクトを拡大または縮小する操作が不要になる。
(3) In the interlocked editing step of the interactive display method for achieving the above object, the operation input object may be enlarged or reduced.
By adopting this configuration, an operation of enlarging or reducing the operation input object so as to correspond to the size of the object represented by the changed external image becomes unnecessary.

(4)上記目的を達成するための双方向表示方法の前記連動編集ステップにおいて、前記操作入力オブジェクトを移動してもよい。
この構成を採用することにより、変化後の外部画像が表すオブジェクトの位置に対応するように操作入力オブジェクトを移動する操作が不要になる。
(4) In the interlocked editing step of the interactive display method to achieve the above object, the operation input object may be moved.
By adopting this configuration, the operation of moving the operation input object to correspond to the position of the object represented by the changed external image becomes unnecessary.

(5)上記目的を達成するための双方向表示方法において、描画モードまたは外部機器操作モードを設定するモード設定ステップをさらに含み、前記描画モードでは、前記画面に対する操作を前記画像操作検出ステップにおいて前記画像操作として検出し、前記外部機器操作モードでは、前記画面に対する予め決められた操作を前記連動操作検出ステップにおいて前記連動操作として検出してもよい。
この構成を採用することにより、ユーザーが行う同じ操作をモードに応じて画像操作、連動操作のいずれかとして検出することができるため、操作の種類を少なくすることができる。したがって、ユーザーインターフェースが簡素で操作が容易な双方向表示装置を実現することができる。
(5) The bidirectional display method for achieving the above object further includes a mode setting step of setting a drawing mode or an external device operation mode, and in the drawing mode, the operation on the screen is performed in the image operation detection step. An image operation may be detected, and in the external device operation mode, a predetermined operation on the screen may be detected as the interlocked operation in the interlocked operation detection step.
By adopting this configuration, since the same operation performed by the user can be detected as either an image operation or a linked operation according to the mode, the type of operation can be reduced. Therefore, an interactive display device with a simple user interface and easy operation can be realized.

尚、本発明は、双方向表示装置に適用することも可能である。また請求項に記載された各手段の機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら各手段の機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。   The present invention is also applicable to a bidirectional display device. The functions of each means described in the claims are realized by hardware resources whose functions are specified by the configuration itself, hardware resources whose functions are specified by a program, or a combination thereof. Also, the functions of these means are not limited to those realized by hardware resources that are physically independent of each other.

本発明の実施形態にかかる画面構成図。The screen block diagram concerning the embodiment of the present invention. 本発明の実施形態にかかるブロック図。FIG. 2 is a block diagram according to an embodiment of the present invention. 本発明の実施形態にかかる画面構成図。The screen block diagram concerning the embodiment of the present invention. 本発明の実施形態にかかるフローチャート。3 is a flowchart according to an embodiment of the present invention. 本発明の実施形態にかかる画面構成図。The screen block diagram concerning the embodiment of the present invention. 本発明の実施形態にかかる画面構成図。The screen block diagram concerning the embodiment of the present invention. 本発明の実施形態にかかるフローチャート。3 is a flowchart according to an embodiment of the present invention. 本発明の実施形態にかかる画面構成図。The screen block diagram concerning the embodiment of the present invention.

以下、本発明の実施の形態を添付図面を参照しながら説明する。尚、各図において対応する構成要素には同一の符号が付され、重複する説明は省略される。   Hereinafter, embodiments of the present invention will be described with reference to the attached drawings. The same reference numerals are given to corresponding components in the respective drawings, and the overlapping description will be omitted.

1.概要
本発明の双方向表示装置の一実施例としてのプロジェクター1は、画面としての壁、机、専用スクリーン等の投写面に画像を投写して表示する装置である。図1Aに示すようにプロジェクター1は、PC、スマートフォン等の外部機器から入力される画像信号に基づく外部画像A22aと、投写面に対する操作に対応する操作入力オブジェクトA21gとを合成した合成画像としてのウインドウ画像A2を投写する。
1. Overview A projector 1 as an embodiment of the bidirectional display device of the present invention is a device that projects and displays an image on a projection surface such as a wall, a desk, or a dedicated screen as a screen. As shown in FIG. 1A, the projector 1 has a window as a composite image obtained by combining an external image A22a based on an image signal input from an external device such as a PC or a smartphone and an operation input object A21g corresponding to an operation on a projection surface. Project image A2.

プロジェクター1は、外部画像A22aと操作入力オブジェクトA21gとを合成して投写するとき、描画モードまたは外部機器操作モードで動作する。描画モードでは、プロジェクター1は、画面に対する操作を、操作入力オブジェクトA21gを編集するための操作(画像操作)として検出する。画像操作を検出すると、プロジェクター1は検出した画像操作に応じて操作入力オブジェクトA21gを描画する。外部機器操作モードでは、プロジェクター1は、画面に対する操作を、PC等の外部機器に対する操作(外部機器操作)として検出し、外部機器操作に対応する操作信号を外部機器に出力する。また外部機器操作モードでは、プロジェクター1は、特定の外部機器操作を連動操作として検出し、対応する操作信号を外部機器に出力するとともに、操作入力オブジェクトA21gを全て消去して図1Bに示すようにウインドウ画像A2を更新する。   The projector 1 operates in the drawing mode or the external device operation mode when combining and projecting the external image A 22 a and the operation input object A 21 g. In the drawing mode, the projector 1 detects an operation on the screen as an operation (image operation) for editing the operation input object A21g. When an image operation is detected, the projector 1 draws the operation input object A21g according to the detected image operation. In the external device operation mode, the projector 1 detects an operation on the screen as an operation (external device operation) on an external device such as a PC, and outputs an operation signal corresponding to the external device operation to the external device. Further, in the external device operation mode, the projector 1 detects a specific external device operation as a linked operation, outputs a corresponding operation signal to the external device, and erases all the operation input objects A21g as shown in FIG. 1B. The window image A2 is updated.

2.プロジェクターの構成
図2に示すように、プロジェクター1は、第一筐体1aに、光源駆動部16、投写光源17、液晶ライトバルブ10、液晶駆動部11を表示部として備えるほか、入出力インターフェース14、制御部15、外部記憶151、操作部18、電源部19等を備えている。またプロジェクター1は、第一筐体1aと接続された第二筐体1bに、画像操作検出部および連動操作検出部として機能する受信部21と位置検出部22とを備えている。さらにプロジェクター1は、電子ペン23を備えている。
2. Configuration of Projector As shown in FIG. 2, the projector 1 includes a light source drive unit 16, a projection light source 17, a liquid crystal light valve 10, and a liquid crystal drive unit 11 in the first housing 1 a as a display unit. , A control unit 15, an external storage 151, an operation unit 18, a power supply unit 19 and the like. The projector 1 further includes a receiving unit 21 functioning as an image operation detecting unit and an interlocking operation detecting unit and a position detecting unit 22 in the second case 1 b connected to the first case 1 a. The projector 1 further includes an electronic pen 23.

投写光源17は、高圧水銀灯、LED(Light emitting diode)、レーザー等によって構成され、光源駆動部16によって駆動される。外部機器インターフェースとしての入出力インターフェース14は、USB端子、イーサネット(登録商標)端子、HDMI端子、RS232c端子等の複数種類の入出力端子を備え、外部機器との通信を行い、外部機器から各種の画像信号を入力するとともに外部機器に機器操作信号を出力する。制御部15は、外部記憶151に格納されている制御プログラムを実行することにより、プロジェクター1の各部を制御する。また描画部、出力部および連動編集部として機能する制御部15は、画像信号処理部13とOSD処理部12とを備え、外部機器から入力された画像信号と位置検出部22から入力される操作位置信号とに基づいて描画処理を実行し、表示信号としての投写信号を出力する。画像信号処理部13は、外部機器から入力された画像信号と位置検出部22から入力される操作位置信号とに基づく描画処理の結果として、外部画像レイヤーの画像データと操作入力レイヤーの画像データとをOSD処理部12に出力する。OSD処理部12は、各レイヤーの画像データを合成して液晶ライトバルブ10に対応する投写信号を出力する。液晶駆動部11は、OSD処理部12から出力される投写信号を、液晶ライトバルブ10の各画素を駆動するためのアナログ信号に変換する。液晶ライトバルブ10は、投写光源17から放射され図示しないダイクロイックミラーによって分離された赤、緑、青の波長の光の透過率をそれぞれが画素毎に制御する3つの液晶パネル10a、10b、10cを備える。操作部18は、OSDメニューを投写する指示を入力するためのメニューキー181や、OSDメニューの項目を選択するための選択キー182や決定キー183や、外部電源から電源部19への電力供給をオンおよびオフするための電源スイッチ184を備える。電源部19は、プロジェクター1の各部に電力を供給する。   The projection light source 17 is constituted by a high pressure mercury lamp, an LED (Light Emitting Diode), a laser or the like, and is driven by the light source drive unit 16. The input / output interface 14 as an external device interface includes a plurality of types of input / output terminals such as a USB terminal, an Ethernet (registered trademark) terminal, an HDMI terminal, and an RS232c terminal, and communicates with the external device. While inputting an image signal, an apparatus operation signal is output to an external apparatus. The control unit 15 controls each unit of the projector 1 by executing a control program stored in the external storage 151. The control unit 15, which functions as a drawing unit, an output unit, and an interlocked editing unit, includes an image signal processing unit 13 and an OSD processing unit 12, and operates the image signal input from an external device and the operation input from the position detection unit 22. A drawing process is performed based on the position signal, and a projection signal as a display signal is output. The image signal processing unit 13 generates image data of the external image layer and image data of the operation input layer as a result of drawing processing based on the image signal input from the external device and the operation position signal input from the position detection unit 22. Is output to the OSD processing unit 12. The OSD processing unit 12 combines the image data of each layer and outputs a projection signal corresponding to the liquid crystal light valve 10. The liquid crystal drive unit 11 converts the projection signal output from the OSD processing unit 12 into an analog signal for driving each pixel of the liquid crystal light valve 10. The liquid crystal light valve 10 has three liquid crystal panels 10a, 10b and 10c each of which controls the transmittance of light of wavelengths of red, green and blue emitted from the projection light source 17 and separated by a dichroic mirror (not shown). Prepare. The operation unit 18 supplies power from the external power supply to the power supply unit 19 with a menu key 181 for inputting an instruction to project the OSD menu, a selection key 182 for selecting an item in the OSD menu, and the determination key 183. A power switch 184 is provided to turn on and off. The power supply unit 19 supplies power to each unit of the projector 1.

電子ペン23は、ペン型の筐体に、接触センサー231と発光部232と電源スイッチ233とサイドスイッチ234とを備える。接触センサー231は電子ペン23の先端に設けられ、対象物との接触状態と非接触状態とを検出する。発光部232は、電子ペン23の先端近くに設けられ、接触センサー231が対象物との接触状態を検出している期間中、赤外線波長の光を照射する。電源スイッチ233は、図示しない電池から接触センサー231および発光部232への電力供給を制御するためのスイッチである。モード設定部として機能するサイドスイッチ234は、描画モードから外部機器操作モードに切り換えるためのスイッチである。サイドスイッチ234が押された状態で接触センサー231が対象物との接触状態を検出している期間中は、電子ペン23を用いた投写面に対する操作が外部機器操作として検出されるように電子ペン23は作動する。具体的には、サイドスイッチ234が押された状態で接触センサー231が対象物との接触状態を検出する場合には、発光部232から放射する光の波長を、サイドスイッチ234が押されていない状態と変えればよい。この場合、発光部232には波長が互いに異なる2つ以上の光源が必要になる。また例えば、サイドスイッチ234が押された状態では、点灯する発光部232の光源の数を増やし、受信部21によって撮像される発光部232の像がサイドスイッチ234が押されていない状態から変化するようにしても良い。この場合、発光部232には波長が同一又は互いに異なる2つ以上の光源が必要になる。   The electronic pen 23 includes a contact sensor 231, a light emitting unit 232, a power switch 233, and a side switch 234 in a pen-shaped housing. The contact sensor 231 is provided at the tip of the electronic pen 23 and detects the contact state with the object and the non-contact state. The light emitting unit 232 is provided near the tip of the electronic pen 23 and emits light of an infrared wavelength while the contact sensor 231 is detecting a contact state with the object. The power switch 233 is a switch for controlling power supply from the battery (not shown) to the contact sensor 231 and the light emitting unit 232. The side switch 234 functioning as a mode setting unit is a switch for switching from the drawing mode to the external device operation mode. During a period in which the contact sensor 231 detects the contact state with the object in a state where the side switch 234 is pressed, the electronic pen 23 is used to detect an operation on the projection surface as an external device operation. 23 works. Specifically, when the contact sensor 231 detects a contact state with an object in a state where the side switch 234 is pressed, the wavelength of light emitted from the light emitting unit 232 is not pressed by the side switch 234. Change it to the state. In this case, the light emitting unit 232 needs two or more light sources having different wavelengths. For example, when the side switch 234 is pressed, the number of light sources of the light emitting unit 232 to be lit is increased, and the image of the light emitting unit 232 captured by the receiving unit 21 changes from the state where the side switch 234 is not pressed. You may do so. In this case, the light emitting unit 232 needs two or more light sources having the same wavelength or different wavelengths.

受信部21は、投写面の投写領域A1全体を撮像する赤外線ビデオカメラであって、赤外線波長の光を受光し、投写領域A1内で電子ペン23の先端が投写面に接触している期間中、電子ペン23から照射される赤外線波長の光に対応する画像データを出力する。位置検出部22は、受信部21から出力される画像データを解析することにより、赤外線波長の光の発光位置、すなわち電子ペン23の位置を検出し、電子ペン23の位置を示す操作位置信号を出力する。操作位置信号は、制御部15によって、ウインドウ画像A2の座標に変換される。また位置検出部22は、受信部21から出力される画像データを解析することにより、電子ペン23のサイドスイッチ234が押されているか否かを判定し、判定結果に応じたモード信号を出力する。サイドスイッチ234が押されていない場合、描画モードを示すモード信号が出力され、サイドスイッチ234が押されている場合、外部機器操作モードを示すモード信号が出力される。このため、描画モードにおいて投写面に電子ペン23の先端を接触させる操作は画像操作として検出され、外部機器操作モードにおいて投写面に電子ペン23の先端を接触させる操作は外部機器操作として検出される。   The receiving unit 21 is an infrared video camera for imaging the entire projection area A1 of the projection plane, and receives light of infrared wavelength, and during the period when the tip of the electronic pen 23 is in contact with the projection plane in the projection area A1. And image data corresponding to the light of the infrared wavelength emitted from the electronic pen 23. The position detection unit 22 analyzes the image data output from the reception unit 21 to detect the light emission position of the light of the infrared wavelength, that is, the position of the electronic pen 23, and operates the operation position signal indicating the position of the electronic pen 23. Output. The operation position signal is converted by the control unit 15 into the coordinates of the window image A2. The position detection unit 22 analyzes the image data output from the reception unit 21 to determine whether the side switch 234 of the electronic pen 23 is pressed, and outputs a mode signal according to the determination result. . When the side switch 234 is not pressed, a mode signal indicating the drawing mode is output, and when the side switch 234 is pressed, a mode signal indicating the external device operation mode is output. Therefore, the operation of bringing the tip of the electronic pen 23 into contact with the projection surface in the drawing mode is detected as an image operation, and the operation of bringing the tip of the electronic pen 23 into contact with the projection surface in the external device operation mode is detected as an external device operation. .

3.双方向投写方法
3−1.描画レイヤーと描画領域
つぎに図3を参照しながら、制御部15が外部画像と操作入力オブジェクトを描画するレイヤーと領域(描画領域)について説明する。
3. Two-way projection method 3-1. Drawing Layer and Drawing Area Next, a layer and an area (drawing area) in which the control unit 15 draws an external image and an operation input object will be described with reference to FIG.

図3Aに示す外部画像レイヤーA20と図3Bに示す操作入力レイヤーA21は、図3Cに示す投写領域A1内の描画領域A2sに合成される。ここで外部画像レイヤーA20と操作入力レイヤーA21とを合成した描画領域A2sの画像をウインドウ画像というものとする。液晶ライトバルブ10の有効領域の解像度(リアル解像度)と台形歪み補正値とによって、プロジェクター1が投写可能な最大領域である投写領域A1に対するウインドウ画像の描画領域A2sが決まる。台形歪み補正が実施される場合、ウインドウ画像の描画領域A2sは、図3Cに破線で示すようにプロジェクター1が投写可能な最大領域である投写領域A1よりも小さい非矩形になる。なお、台形歪みの補正値は、投写状態を検出した結果に基づいて自動で設定しても良いし、OSDメニューを用いてユーザーに設定させても良い。制御部15の画像信号処理部13は、図3Aに示す外部画像レイヤーA20と操作入力レイヤーA21とを別々に描画し、OSD処理部12が2つのレイヤーを領域A2sにて重畳合成することによりウインドウ画像A2を投写するための投写信号を出力する。   The external image layer A20 shown in FIG. 3A and the operation input layer A21 shown in FIG. 3B are combined with the drawing area A2s in the projection area A1 shown in FIG. 3C. Here, an image of the drawing area A2s obtained by combining the external image layer A20 and the operation input layer A21 is referred to as a window image. The resolution (real resolution) of the effective area of the liquid crystal light valve 10 and the trapezoidal distortion correction value determine the drawing area A2s of the window image for the projection area A1, which is the maximum area that can be projected by the projector 1. When trapezoidal distortion correction is performed, the drawing area A2s of the window image becomes a non-rectangle smaller than the projection area A1 which is the maximum area that can be projected by the projector 1 as shown by a broken line in FIG. 3C. The trapezoidal distortion correction value may be automatically set based on the result of detection of the projection state, or may be set by the user using the OSD menu. The image signal processing unit 13 of the control unit 15 separately draws the external image layer A 20 and the operation input layer A 21 shown in FIG. 3A, and the OSD processing unit 12 superposes and combines two layers in the area A 2 s The projection signal for projecting the image A2 is output.

外部画像レイヤーA20には、入出力インターフェース14から入力される画像信号に基づいて、すなわち外部機器から出力される画像信号に基づいて外部画像が描画される。外部画像のアスペクト比とウインドウ画像A2のアスペクト比とが異なる場合、制御部15は、外部画像がウインドウ画像A2の描画領域からはみ出さず、外部画像の2辺がウインドウ画像A2の2辺に重なるように外部画像の描画領域A22sを設定する。入力された画像信号が表す外部画像の解像度と、設定した描画領域の解像度とが一致しない場合、外部画像は拡大または縮小される。   In the external image layer A20, an external image is drawn based on an image signal input from the input / output interface 14, that is, based on an image signal output from an external device. When the aspect ratio of the external image and the aspect ratio of the window image A2 are different, the control unit 15 does not cause the external image to protrude from the drawing area of the window image A2, and the two sides of the external image overlap the two sides of the window image A2. Thus, the drawing area A22s of the external image is set. If the resolution of the external image represented by the input image signal does not match the resolution of the set drawing area, the external image is enlarged or reduced.

操作入力レイヤーA21は、領域A2sにおいて、外部画像レイヤーA20よりも前面に描画される。操作入力レイヤーA21には、アイコンA21a、A21b、A21c、A21d、A21e、A21pと、位置検出部22から入力される操作位置信号に対応する操作入力オブジェクトA21gとを画像信号処理部13が描画する。アイコンA21a、A21b、A21c、A21d、A21eは、投写面の操作領域に対する電子ペン23を用いた操作をどのような図形として操作入力レイヤーA21に描画するかをユーザーに選択させるための領域を示している。   The operation input layer A21 is drawn in front of the external image layer A20 in the area A2s. In the operation input layer A21, the image signal processing unit 13 draws icons A21a, A21b, A21c, A21d, A21e, A21p and an operation input object A21g corresponding to the operation position signal input from the position detection unit 22. Icons A21a, A21b, A21c, A21d, and A21e indicate areas for causing the user to select what graphic the operation using the electronic pen 23 on the operation area on the projection plane should be drawn on the operation input layer A21. There is.

3−2.描画モード
制御部15は、アイコンA21a、A21b、A21c、A21d、A21eが描画された領域を示す操作位置信号と描画モードを示すモード信号が位置検出部22から入力されると、それぞれの領域に対応する描画処理を準備する。
3-2. Drawing Mode When the control position signal indicating the area where the icons A21a, A21b, A21c, A21d, and A21e are drawn and the mode signal indicating the drawing mode are input from the position detection unit 22, the control unit 15 corresponds to the respective areas. Prepare for the drawing process.

アイコンA21aが投写される領域に電子ペン23の先端が接触すると、画像信号処理部13は、その後の投写面に対する電子ペン23の先端の接触軌跡を操作入力オブジェクトA21gとして操作入力レイヤーA21に描画する。アイコンA21bが投写される領域に電子ペン23の先端が接触すると、画像信号処理部13は、操作入力レイヤーA21に描画する線の太さを変更する。アイコンA21cが投写される領域に電子ペン23の先端が接触すると、画像信号処理部13は、その後の投写面に対する電子ペン23の先端の接触軌跡の始点と終点を対角線の両端とする矩形を操作入力レイヤーA21に描画する。アイコンA21dが投写される領域に電子ペン23の先端が接触すると、画像信号処理部13は、その後の投写面に対する電子ペン23の先端の接触軌跡の始点と終点を対角線とする矩形に内接する楕円を操作入力レイヤーA21に描画する。アイコンA21eが投写される領域に電子ペン23の先端が接触すると、画像信号処理部13は、その後の投写面に対する電子ペン23の先端の接触軌跡上において、それ以前の電子ペン23を用いた投写面に対する操作に対応する操作入力オブジェクトA21gを消去する。またこれらのアイコンA21a、A21b、A21c、A21d、A21eに対応する描画処理が準備または実行されている期間中、画像信号処理部13は、対応するアイコンA21a、A21b、A21c、A21d、A21eを強調するための描画をする。なお、アイコンA21pは、印刷指示を入力するために投写面に電子ペン23の先端を接触させるべき領域を示している。   When the tip of the electronic pen 23 contacts the area where the icon A21a is projected, the image signal processing unit 13 draws the contact locus of the tip of the electronic pen 23 with the projection plane thereafter as the operation input object A21g on the operation input layer A21. . When the tip of the electronic pen 23 contacts the area where the icon A21b is projected, the image signal processing unit 13 changes the thickness of the line drawn on the operation input layer A21. When the tip of the electronic pen 23 contacts the area where the icon A21c is projected, the image signal processing unit 13 manipulates a rectangle whose start and end points of the contact locus of the tip of the electronic pen 23 with the projection plane thereafter Draw on the input layer A21. When the tip of the electronic pen 23 contacts the area where the icon A21 d is projected, the image signal processing unit 13 determines that the ellipse inscribed in the rectangle whose diagonals have the start point and the end point of the contact locus of the tip of the electronic pen 23 Is drawn on the operation input layer A21. When the tip of the electronic pen 23 contacts the area where the icon A21e is projected, the image signal processing unit 13 projects the image using the electronic pen 23 before that on the contact locus of the tip of the electronic pen 23 with respect to the projection plane thereafter. The operation input object A21g corresponding to the operation on the surface is deleted. Further, while the drawing process corresponding to the icons A21a, A21b, A21c, A21d, A21e is being prepared or executed, the image signal processing unit 13 emphasizes the corresponding icons A21a, A21b, A21c, A21d, A21e. To draw for. The icon A21 p indicates an area where the tip of the electronic pen 23 should be in contact with the projection surface in order to input a print instruction.

3−3.外部機器操作モード
次に外部機器操作モードにおけるプロジェクター1の連動編集処理について図4を参照しながら説明する。制御部15は、位置検出部22から操作位置信号とモード信号が入力されると、モード信号に基づいてモードを判定し(S1)、外部機器操作モードと判定した場合には、外部機器操作モードに遷移する。すなわち、ここではモード信号に応じて、操作信号から機器操作を検出するか、画像操作を検出するかが判定される。
3-3. External Device Operation Mode Next, the linked editing process of the projector 1 in the external device operation mode will be described with reference to FIG. When the operation position signal and the mode signal are input from the position detection unit 22, the control unit 15 determines the mode based on the mode signal (S1), and when it is determined as the external device operation mode, the external device operation mode Transition to That is, it is determined whether to detect the device operation or the image operation from the operation signal according to the mode signal.

外部機器操作モードに遷移すると、制御部15は、検出された機器操作が連動操作か否かを操作位置信号に基づいて判定する(S2)。連動操作とは、PC等の外部機器に対する操作であるとともに、操作入力オブジェクトA21gに対する操作でもある操作である。本実施例では、PCに対する左クリックを連動操作とする。PCのOS(Operating System)は電子ペン23のサイドスイッチ234を押した状態で電子ペン23の先端を投写面に接触させ、電子ペン23の先端を投写面上で移動させずに投写面から離す操作に対応する操作位置信号が入力された場合に、左クリックを認識する。すなわちこのような左クリックに対応する操作位置信号とモード信号が入力された場合に、制御部15は連動操作と判定する。   When transitioning to the external device operation mode, the control unit 15 determines whether the detected device operation is a linked operation based on the operation position signal (S2). The interlocking operation is an operation on an external device such as a PC and an operation on an operation input object A21g. In this embodiment, the left click on the PC is taken as the linked operation. The OS (Operating System) of the PC brings the tip of the electronic pen 23 into contact with the projection surface while pressing the side switch 234 of the electronic pen 23 and releases the tip of the electronic pen 23 from the projection surface without moving it on the projection surface When the operation position signal corresponding to the operation is input, the left click is recognized. That is, when the operation position signal and the mode signal corresponding to such a left click are input, the control unit 15 determines that the interlock operation is performed.

連動操作と判定した場合、制御部15は、全ての操作入力オブジェクトを消去する(S4)。すなわち、制御部15は、連動操作前に描画した全ての操作入力オブジェクトA21gを、図5Aおよび図5Bに示すように消去する。その結果、プロジェクター1によって投写面に表示されるウインドウ画像A2は図1Aから図1Bに示すように変化し、操作入力オブジェクトA21gが画面から消える。   If it is determined that the operation is a linked operation, the control unit 15 deletes all operation input objects (S4). That is, the control unit 15 erases all the operation input objects A21g drawn before the interlocked operation as shown in FIGS. 5A and 5B. As a result, the window image A2 displayed on the projection plane by the projector 1 changes as shown in FIGS. 1A to 1B, and the operation input object A21g disappears from the screen.

ここで、操作入力レイヤーから操作入力オブジェクトだけを消去する方法として、操作入力レイヤーの各画素に操作入力オブジェクトまたはアイコンを示す識別子を付しておき、操作入力オブジェクトを示す識別子が付されている全ての画素を初期値にリセットする。なお、ここでいう初期値とは、レイヤーを重畳合成する際に背面の外部画像レイヤーの画素が100%に重み付けして加算され、操作入力レイヤーの画素が0%に重み付けして加算される画素値とする。また操作入力オブジェクトを描画するためのレイヤーとアイコンA21a、A21b、A21c、A21d、A21e、A21pを描画するためのレイヤーとに操作入力レイヤーを分けておくか、操作入力オブジェクトおよびアイコンのそれぞれを全て異なるレイヤーに描画しておき、操作入力オブジェクトを描画するためのレイヤー全体を初期値にリセットする方法を採用してもよい。   Here, as a method of deleting only the operation input object from the operation input layer, an identifier indicating the operation input object or icon is attached to each pixel of the operation input layer, and all the identifiers indicating the operation input object are attached. Reset the pixels of to their initial values. Here, the initial value mentioned here is a pixel to which the pixels of the external image layer on the back are weighted at 100% and added when the layers are superimposed and synthesized, and the pixels of the operation input layer are weighted at 0% and added It will be a value. Also, the operation input layer is divided into a layer for drawing the operation input object and a layer for drawing the icons A21a, A21b, A21c, A21d, A21e, A21p, or the operation input object and the icons are all different. A method of drawing on a layer and resetting the entire layer for drawing an operation input object to an initial value may be adopted.

次に制御部15は、操作位置信号を機器操作信号として外部機器に出力する(S5)。したがって、外部機器操作モードでは、外部機器は操作位置信号に基づいて左クリック、右クリック、ダブルクリック、ドラッグ、ドロップといった機器操作を認識し、認識した機器操作に応じた処理を行うことになる。   Next, the control unit 15 outputs the operation position signal to the external device as a device operation signal (S5). Therefore, in the external device operation mode, the external device recognizes the device operation such as left click, right click, double click, drag, or drop based on the operation position signal, and performs processing according to the recognized device operation.

ここで外部機器としてのPCにおいてプレゼンテーションのためのアプリケーションプログラムが実行されており、当該アプリケーションプログラムでは左クリックをスライド送り(現在表示中のスライドを次のスライドに切り換える処理)の操作として認識する状況を想定して、具体的に本実施例の効果を説明する。既に説明したとおり、本実施例では、PCにおいて左クリックと認識される操作がプロジェクター1によって連動操作として検出される。連動操作に対応する操作位置信号はPCに出力されるため、プロジェクター1が連動操作を検出する場合、PCのOSは左クリックを認識し、アプリケーションプログラムはスライド送りの操作を認識することになる。PCのアプリケーションプログラムはスライド送りの操作を認識すると、次のスライドを表示するために次のスライドのデータを画像として描画する。その結果、プロジェクター1には、次のスライドが描画された画像に対応する画像信号が入力されるため、投写面に表示される外部入力画像は次のスライドを表すようになる。外部入力画像が表す前のスライドに対するコメントとして操作入力オブジェクトが表示されているとすると、そのコメントは次のスライドとは対応しない。本実施例によると、前のスライドから次のスライドを表すように外部入力画像を変化させる操作が行われると、前のスライドに対応する操作入力オブジェクトが全て消去されるため、次のスライドと対応しなくなった操作入力オブジェクトを消去する別の操作を行う必要がない。すなわち、本実施例によると、外部画像と対応しなくなった操作入力オブジェクトを編集する操作が不要になる。   Here, an application program for presentation is executed on a PC as an external device, and the application program recognizes a situation in which a left click is recognized as an operation of slide feed (processing of switching a currently displayed slide to the next slide). The effects of the present embodiment will be specifically described on an assumption. As described above, in the present embodiment, the operation recognized as a left click on the PC is detected by the projector 1 as a linked operation. Since the operation position signal corresponding to the interlocked operation is output to the PC, when the projector 1 detects the interlocked operation, the OS of the PC recognizes the left click and the application program recognizes the slide feed operation. When the application program of the PC recognizes the slide feed operation, it draws the data of the next slide as an image to display the next slide. As a result, since the image signal corresponding to the image on which the next slide is drawn is input to the projector 1, the external input image displayed on the projection plane is to represent the next slide. If the operation input object is displayed as a comment on the previous slide represented by the external input image, the comment does not correspond to the next slide. According to the present embodiment, when the operation to change the external input image so as to represent the next slide from the previous slide is performed, all the operation input objects corresponding to the previous slide are erased, so that it corresponds to the next slide. There is no need to perform another operation to delete an operation input object that has been lost. That is, according to the present embodiment, the operation of editing the operation input object which is no longer corresponding to the external image is unnecessary.

さらに本実施例によると、電子ペン23のサイドスイッチ234を押した状態で電子ペン23の先端を投写面に接触させ、電子ペン23の先端を投写面上で移動させずに投写面から離すという一連の操作が、描画モードでは点を描画するための画像操作として検出され、機器操作モードではプロジェクター1によって連動操作として検出されるとともにPCによって左クリックとして検出される。このため、操作の種類を少なくすることができる。したがって、ユーザーインターフェースが簡素で操作が容易なプロジェクター1を実現することができる。   Furthermore, according to the present embodiment, the tip of the electronic pen 23 is brought into contact with the projection surface while pressing the side switch 234 of the electronic pen 23, and the tip of the electronic pen 23 is released from the projection surface without being moved on the projection surface. A series of operations is detected as an image operation for drawing a point in the drawing mode, and is detected as a linked operation by the projector 1 in the device operation mode and is detected as a left click by the PC. Therefore, the type of operation can be reduced. Therefore, the projector 1 with a simple user interface and easy operation can be realized.

4.他の実施形態
尚、本発明の技術的範囲は、上述した実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
4. Other Embodiments The technical scope of the present invention is not limited to the above-described embodiments, and it goes without saying that various modifications can be made without departing from the scope of the present invention.

例えばサイドスイッチ234が押されていない状態を外部機器操作モードとし、サイドスイッチ234が押されている状態を描画モードとし、外部機器操作モードで検出される左クリック等の予め決められた機器操作を連動機器操作として検出しても良い。   For example, a state in which the side switch 234 is not pressed is set to the external device operation mode, a state in which the side switch 234 is pressed is set to the drawing mode, and predetermined device operations such as left click detected in the external device operation mode You may detect as interlocking device operation.

また例えば描画モードと外部機器操作モードとの切り換え操作を操作部18を用いて検出するようにしても良いし、画面に対する操作でない操作を機器操作として検出しても良い。具体的には操作部18の選択キー182や決定キー183を押す操作を機器操作および連動操作として検出しても良い。また、プロジェクターに機器操作信号を無線送信する機能を備えた装置(例えばレーザーポインターのような装置)のスイッチを押す操作を機器操作および連動操作として検出しても良い。   Further, for example, a switching operation between the drawing mode and the external device operation mode may be detected using the operation unit 18, or an operation that is not an operation on the screen may be detected as a device operation. Specifically, the operation of pressing the selection key 182 or the determination key 183 of the operation unit 18 may be detected as a device operation and a linked operation. In addition, an operation of pressing a switch of an apparatus (for example, an apparatus such as a laser pointer) having a function of wirelessly transmitting an apparatus operation signal to a projector may be detected as an apparatus operation and a linked operation.

また例えば画面の一部を拡大または縮小する操作に応じて操作入力オブジェクトを拡大または縮小してウインドウ画像を更新しても良い。例えば図6Aに示すように操作入力オブジェクトA21gが描画された操作入力レイヤーA21と外部画像を合成したウインドウ画像が投写されている状態においてピンチが行われ、ピンチを検出したプロジェクターがピンチに対応する機器操作信号をPCに出力するとする。そしてこの場合に、PCが画面を表す画像の一部を拡大または縮小する描画処理を行うと、PCからプロジェクターに入力される画像信号が表すオブジェクトが拡大又は縮小し、外部画像が変化する。この場合に操作入力オブジェクトが変化しなければ、操作入力オブジェクトは外部画像と対応しなくなる。そこでプロジェクターにおいてピンチを連動操作として検出し、検出したピンチに応じて図6Bに示すように拡大した操作入力オブジェクトA21gを操作入力レイヤーA21に再描画したり、縮小した操作入力オブジェクトA21gを操作入力レイヤーA21に再描画したりすればよい。なお、投写面を2本の指でつまんで広げたり狭めたりするピンチを機器操作および連動操作として検出するためには、指と投写面との接触状態を検出する赤外線レーザーカーテン等が必要になる。レーザーカーテンから照射されて指で反射する赤外線波長の光を検出することにより投写面に対する指の接触状態と非接触状態を検出することができる。   Further, for example, the window image may be updated by enlarging or reducing the operation input object in accordance with an operation of enlarging or reducing a part of the screen. For example, as shown in FIG. 6A, a pinch is performed in a state where a window image obtained by combining an external image with the operation input layer A21 on which the operation input object A21g is drawn is projected, and the projector that detects the pinch is an apparatus corresponding to the pinch Suppose that the operation signal is output to the PC. In this case, when the PC performs drawing processing for enlarging or reducing a part of the image representing the screen, the object represented by the image signal input from the PC to the projector is enlarged or reduced, and the external image changes. In this case, if the operation input object does not change, the operation input object does not correspond to the external image. Therefore, the projector detects a pinch as a linked operation, and redraws the operation input object A21g enlarged as shown in FIG. 6B on the operation input layer A21 according to the detected pinch, and the operation input object A21g reduced in size It is sufficient to redraw on A21. In addition, in order to detect the pinch which pinches a projection surface with two fingers and it narrows it as apparatus operation and interlocking operation, the infrared laser curtain etc. which detect the contact state of a finger and the projection surface are needed. . By detecting light of an infrared wavelength emitted from the laser curtain and reflected by the finger, it is possible to detect the contact state and the non-contact state of the finger on the projection surface.

また例えば画面をスクロールさせる操作に応じて操作入力オブジェクトが移動するようにウインドウ画像を更新しても良い。プロジェクターに機器操作信号を無線送信する機能を備えた装置(例えばレーザーポインターのような装置)のホイールの回転角度に対応する機器操作信号をプロジェクターからPCに出力するとする。そしてこの場合に、PCが画面内のオブジェクトを移動させる描画処理を行うと、PCからプロジェクターに入力される画像信号が表すオブジェクトが移動し、外部画像が変化する。この場合に操作入力オブジェクトが移動しなければ、操作入力オブジェクトは外部画像と対応しなくなる。そこでプロジェクターにおいて、ホイールを回す操作を連動操作として検出し、検出したホイールの回転角度に応じて図6Aから図6Cに示すように移動した操作入力オブジェクトA21gを操作入力レイヤーA21に再描画すればよい。   Further, for example, the window image may be updated so that the operation input object moves in accordance with the operation of scrolling the screen. An apparatus operation signal corresponding to a rotation angle of a wheel of an apparatus (for example, an apparatus such as a laser pointer) having a function of wirelessly transmitting an apparatus operation signal to the projector is output from the projector to the PC. In this case, when the PC performs drawing processing for moving an object in the screen, the object represented by the image signal input from the PC to the projector moves, and the external image changes. In this case, if the operation input object does not move, the operation input object does not correspond to the external image. Therefore, in the projector, an operation of turning the wheel may be detected as a linked operation, and the operation input object A21g moved as shown in FIG. 6A to FIG. 6C may be redrawn on the operation input layer A21 according to the detected rotation angle of the wheel. .

また例えば操作入力レイヤーを編集せずにウインドウ画像を更新しても良い。例えば、PCが描画する第一のスライドAに対応する図8Aに示す操作入力オブジェクトA21gを描画するための操作入力レイヤーA21aと、PCが描画する第二のスライドBに対応する図8Bに示す操作入力オブジェクトA21hを描画するための操作入力レイヤーA21bの記憶領域を別々に用意しておく。スライドを切り換える機器操作を連動操作として検出し、連動操作を検出する度に、外部画像と合成する操作入力レイヤーを切り替える。これにより、スライドの切換に応じてスライドに対応した操作入力オブジェクトが表示される。このように2つ以上の操作入力レイヤーをプロジェクターが記憶できるようにしておくことにより、操作入力レイヤーを編集することなく、外部画像の変化に応じた操作入力オブジェクトを表示できる。   Also, for example, the window image may be updated without editing the operation input layer. For example, the operation input layer A21a for drawing the operation input object A21g shown in FIG. 8A corresponding to the first slide A drawn by the PC, and the operation shown in FIG. 8B corresponding to the second slide B drawn by the PC Storage areas of the operation input layer A21b for drawing the input object A21h are prepared separately. A device operation for switching slides is detected as a linked operation, and each time a linked operation is detected, the operation input layer to be combined with the external image is switched. Thereby, the operation input object corresponding to the slide is displayed according to the switch of the slide. As described above, by enabling the projector to store two or more operation input layers, it is possible to display the operation input object according to the change of the external image without editing the operation input layer.

また例えば、画像を投写するために、1つの液晶パネルを用いて光を変調しても良いし、反射型の液晶パネルを用いて光を変調しても良いし、DMD(Digital Mirror Device)を用いて光を変調しても良い。また例えば投写画像を拡大投写するために凸面鏡を用いても良いし、鏡を用いなくても良い。また例えば、タッチパネルディスプレイ等の表示装置に本発明を適用しても良い。   For example, in order to project an image, light may be modulated using one liquid crystal panel, light may be modulated using a reflective liquid crystal panel, or DMD (Digital Mirror Device) is used. It may be used to modulate light. Further, for example, a convex mirror may be used to magnify and project a projection image, or a mirror may not be used. Further, for example, the present invention may be applied to a display device such as a touch panel display.

1…プロジェクター、1a…第一筐体、1b…第二筐体、10…液晶ライトバルブ、10a、10b、10c…液晶パネル、11…液晶駆動部、12…OSD処理部、13…画像信号処理部、14…入出力インターフェース、15…制御部、16…光源駆動部、17…投写光源、18…操作部、19…電源部、21…受信部、22…位置検出部、23…電子ペン、151…外部記憶、181…メニューキー、182…選択キー、183…決定キー、184…電源スイッチ、231…接触センサー、232…発光部、233…電源スイッチ、234…サイドスイッチ、A1…投写領域、A2…ウインドウ画像、A20…外部画像レイヤー、A21…操作入力レイヤー、A21g…操作入力オブジェクト、A21h…操作入力オブジェクト、A21p…アイコン、A22a…外部画像、A22s…描画領域、A2s…描画領域 DESCRIPTION OF SYMBOLS 1 ... Projector, 1a ... 1st housing | casing, 1b ... 2nd housing | casing, 10 ... Liquid crystal light valve, 10a, 10b, 10c ... Liquid crystal panel, 11 ... Liquid crystal drive part, 12 ... OSD processing part, 13 ... Image signal processing 14 14 input / output interface 15 control unit 16 light source drive unit 17 projection light source 18 operation unit 19 power supply unit 21 reception unit 22 position detection unit 23 electronic pen 151 ... external memory, 181 ... menu key, 182 ... selection key, 183 ... determination key, 184 ... power switch, 231 ... contact sensor, 232 ... light emitting unit, 233 ... power switch, 234 ... side switch, A1 ... projection area, A2 ... Window image, A20 ... External image layer, A21 ... Operation input layer, A21 g ... Operation input object, A21 h ... Operation input object, A2 p ... icon, A22a ... external image, A22s ... drawing area, A2s ... drawing area

Claims (5)

双方向表示装置を用いた双方向表示方法であって、
外部機器から前記双方向表示装置に画像信号を入力する画像信号入力ステップと、
前記双方向表示装置が表示信号に基づいて画像を画面に表示する表示ステップと、
前記双方向表示装置が前記画面に対する操作を画像操作として検出する画像操作検出ステップと、
前記双方向表示装置が前記画像操作に対応する操作入力オブジェクトを描画する描画ステップと、
前記画像信号に基づく外部画像と前記操作入力オブジェクトとを合成した合成画像を表示するための前記表示信号を出力する出力ステップと、
前記双方向表示装置が連動操作を検出する連動操作検出ステップと、
前記連動操作を検出すると、前記双方向表示装置が前記連動操作に対応する機器操作信号を前記外部機器に出力するとともに前記機器操作信号に応じた前記外部画像の変化に対応するように前記操作入力オブジェクトを消去する連動編集ステップと、
を含む双方向表示方法。
A bidirectional display method using a bidirectional display device, comprising:
An image signal input step of inputting an image signal from an external device to the bidirectional display device;
A display step of displaying an image on a screen based on a display signal by the interactive display device;
An image operation detection step in which the interactive display device detects an operation on the screen as an image operation;
A drawing step in which the interactive display device draws an operation input object corresponding to the image operation;
Outputting the display signal for displaying a composite image obtained by combining an external image based on the image signal and the operation input object;
Interlocked operation detection step in which the interactive display device detects interlocked operation;
Upon detection of the synchronous operation, and outputs the device operation signals the interactive display device corresponding to the synchronous operation to the external device, the operation so as to correspond to changes in the external image according to the device operation signal Linked editing step to delete input object,
Interactive display method including.
前記連動編集ステップにおいて、前記操作入力オブジェクトを拡大または縮小する、
請求項1に記載の双方向表示方法。
Expanding or reducing the operation input object in the linked editing step;
The bidirectional display method according to claim 1.
前記連動編集ステップにおいて、前記操作入力オブジェクトを移動させる、
請求項1から2のいずれか一項に記載の双方向表示方法。
Moving the operation input object in the linked editing step;
The bidirectional display method according to any one of claims 1 to 2.
描画モードまたは外部機器操作モードを設定するモード設定ステップをさらに含み、
前記描画モードでは、前記画面に対する操作を前記画像操作検出ステップにおいて前記画像操作として検出し、
前記外部機器操作モードでは、前記画面に対する予め決められた操作を前記連動操作検出ステップにおいて前記連動操作として検出する、
請求項1から3のいずれか一項に記載の双方向表示方法。
Further including a mode setting step of setting a drawing mode or an external device operation mode;
In the drawing mode, an operation on the screen is detected as the image operation in the image operation detection step;
In the external device operation mode, a predetermined operation on the screen is detected as the interlocked operation in the interlocked operation detection step.
The bidirectional display method according to any one of claims 1 to 3.
外部機器から画像信号を入力する画像信号入力部と、
表示信号に基づいて画像を画面に表示する表示部と、
前記画面に対する操作を画像操作として検出する画像操作検出部と、
前記画像操作に対応する操作入力オブジェクトを描画する描画部と、
前記画像信号に基づく外部画像と前記操作入力オブジェクトとを合成した合成画像を表示するための前記表示信号を出力する出力部と、
連動操作を検出する連動操作検出部と、
前記連動操作を検出すると、前記連動操作に対応する機器操作信号を前記外部機器に出力するとともに前記機器操作信号に応じた前記外部画像の変化に対応するように前記操作入力オブジェクトを消去する連動編集部と、
を備える双方向表示装置。
An image signal input unit for inputting an image signal from an external device;
A display unit for displaying an image on a screen based on a display signal;
An image operation detection unit that detects an operation on the screen as an image operation;
A drawing unit drawing an operation input object corresponding to the image operation;
An output unit that outputs the display signal for displaying a composite image obtained by combining an external image based on the image signal and the operation input object;
An interlocking operation detection unit that detects interlocking operation;
Upon detection of the synchronous operation, and outputs the device operation signal corresponding to the synchronous operation to the external device, interlock to erase the operation input object so as to correspond to the change of the external image according to the device operation signal Editorial department,
Interactive display device.
JP2014075193A 2013-12-02 2014-04-01 Interactive display method and interactive display apparatus Active JP6511725B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014075193A JP6511725B2 (en) 2014-04-01 2014-04-01 Interactive display method and interactive display apparatus
US14/547,582 US9830723B2 (en) 2013-12-02 2014-11-19 Both-direction display method and both-direction display apparatus
CN201410710623.8A CN104683717B (en) 2013-12-02 2014-11-28 Bi-directional display method and bi-directional display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014075193A JP6511725B2 (en) 2014-04-01 2014-04-01 Interactive display method and interactive display apparatus

Publications (2)

Publication Number Publication Date
JP2015197586A JP2015197586A (en) 2015-11-09
JP6511725B2 true JP6511725B2 (en) 2019-05-15

Family

ID=54547288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014075193A Active JP6511725B2 (en) 2013-12-02 2014-04-01 Interactive display method and interactive display apparatus

Country Status (1)

Country Link
JP (1) JP6511725B2 (en)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124494A (en) * 1996-10-25 1998-05-15 Toshiba Corp Information processor and comment addition method
JP4089106B2 (en) * 1999-10-25 2008-05-28 ソニー株式会社 Projection display device, projection display system
US7259753B2 (en) * 2000-06-21 2007-08-21 Microsoft Corporation Classifying, anchoring, and transforming ink
JP2006284929A (en) * 2005-03-31 2006-10-19 Seiko Epson Corp Projection system and projector
JP2008122650A (en) * 2006-11-13 2008-05-29 Seiko Epson Corp Projector
JP5418576B2 (en) * 2011-11-28 2014-02-19 コニカミノルタ株式会社 Information browsing apparatus and display control program
JP2013117783A (en) * 2011-12-01 2013-06-13 Canon Inc Image display unit
JP2013205731A (en) * 2012-03-29 2013-10-07 Seiko Epson Corp Image processing system, display control method of the same, program and information storage medium
JP6286814B2 (en) * 2012-05-25 2018-03-07 セイコーエプソン株式会社 Display device, display control method, and display system
JP6035971B2 (en) * 2012-08-06 2016-11-30 株式会社リコー Information processing apparatus, program, and image processing system

Also Published As

Publication number Publication date
JP2015197586A (en) 2015-11-09

Similar Documents

Publication Publication Date Title
US9041695B2 (en) Projector and method of controlling projector
US9324295B2 (en) Display device and method of controlling display device
US11282422B2 (en) Display device, and method of controlling display device
US9830723B2 (en) Both-direction display method and both-direction display apparatus
TWI691890B (en) Display device, projector and display control method
US20150279336A1 (en) Bidirectional display method and bidirectional display device
US10338750B2 (en) Display apparatus, projector, and display control method
WO2015151505A1 (en) Bidirectional display method and bidirectional display device
CN106133670B (en) Bidirectional display method and bidirectional display device
JP6565133B2 (en) Bidirectional display method and bidirectional display device
JP6511725B2 (en) Interactive display method and interactive display apparatus
JP6364892B2 (en) Bi-directional projector and bi-directional projection method
JP6682768B2 (en) Display system, display device, information processing device, and control method
JP6255810B2 (en) Display device and control method of display device
JP6056447B2 (en) Display device and control method of display device

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160617

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160628

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180817

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181012

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190325

R150 Certificate of patent or registration of utility model

Ref document number: 6511725

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150