JP2011170501A - Display system and display program - Google Patents

Display system and display program Download PDF

Info

Publication number
JP2011170501A
JP2011170501A JP2010032335A JP2010032335A JP2011170501A JP 2011170501 A JP2011170501 A JP 2011170501A JP 2010032335 A JP2010032335 A JP 2010032335A JP 2010032335 A JP2010032335 A JP 2010032335A JP 2011170501 A JP2011170501 A JP 2011170501A
Authority
JP
Japan
Prior art keywords
display
image
information
display area
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010032335A
Other languages
Japanese (ja)
Inventor
Minoru Wani
稔 和仁
Naoki Motonaga
直樹 本永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SKY Co Ltd
Original Assignee
SKY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SKY Co Ltd filed Critical SKY Co Ltd
Priority to JP2010032335A priority Critical patent/JP2011170501A/en
Publication of JP2011170501A publication Critical patent/JP2011170501A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem with a conventional display, wherein when magnifying an image displayed on a display device 14 and moving a display area 48 thereof, an eye of a viewer does not follow movement of a display object of the display area 48, and a blink or the like occurs. <P>SOLUTION: Operation and a display state are monitored, and, when movement operation and a magnification state are detected, image information is processed to make the movement of the display object displayed in an image difficult to be understood. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、表示システムおよび表示プログラムに関し、特に、表示装置を用いて表示領域の画像を表示させる指示端末を有する表示システムおよび表示プログラムに関する。   The present invention relates to a display system and a display program, and more particularly to a display system and a display program having an instruction terminal for displaying an image in a display area using a display device.

端末の操作画面に表示されている画像をプロジェクタなどでスクリーンに表示した場合に、端末の操作者が表示領域を移動させたり、カーソルを移動させたりすると、画像が瞬間的に変化する。このため、スクリーンを見ている人は、その動きに目が付いていけず、目がちらつき眩んでしまう。特に、画像を拡大して表示し、その表示領域を移動させると、この現象はさらにひどくなり、表示画像を見づらく、視覚の不調が生じ易くなる。 When the image displayed on the operation screen of the terminal is displayed on the screen with a projector or the like, the image changes instantaneously when the operator of the terminal moves the display area or moves the cursor. For this reason, the person who looks at the screen cannot see the movement and flickers. In particular, when an image is enlarged and displayed, and the display area is moved, this phenomenon becomes worse, it is difficult to see the display image, and visual inconvenience tends to occur.

このような問題に対して、特許文献1では、画像を拡大して表示した際に、拡大倍率に応じて、カーソルの移動量を調整している。たとえば、カーソル移動量を拡大表示倍率の逆数値に設定することにより、画像を拡大するほどカーソル移動量を減らしている。 With respect to such a problem, in Patent Document 1, when the image is enlarged and displayed, the amount of movement of the cursor is adjusted according to the enlargement magnification. For example, by setting the cursor movement amount to an inverse value of the enlargement display magnification, the cursor movement amount is reduced as the image is enlarged.

特開2001−34254JP 2001-34254 A

しかしながら、拡大画像におけるカーソルの移動量が少なくなると、カーソルを移動させるのに、マウスの操作量を増やさなければならず、操作しにくくなってしまう。   However, if the amount of movement of the cursor in the enlarged image decreases, the amount of operation of the mouse must be increased in order to move the cursor, which makes operation difficult.

それゆえに、この発明の目的は、操作性に優れ、視覚不調を防止可能な表示システムおよび表示プロジェクトを提供することである。 SUMMARY OF THE INVENTION Therefore, an object of the present invention is to provide a display system and a display project that are excellent in operability and can prevent visual malfunction.

請求項1の発明は、操作画面を有し、かつ操作画面における表示領域の画像を表示装置により表示させる指示端末を有する表示システムにおいて、操作画面の画像情報を取得する、画像取得部、指示端末における操作情報を取得する、操作取得部、操作情報により表示領域の移動操作および表示領域における表示物の移動操作のいずれかを監視する、操作監視部、操作監視結果に応じて、画像情報を加工する、加工部、および画像情報を表示装置に表示させる、表示指示部、を備える表示システムである。 According to a first aspect of the present invention, in a display system having an operation screen and having an instruction terminal for displaying an image of a display area on the operation screen by a display device, an image acquisition unit and an instruction terminal for acquiring image information of the operation screen The operation acquisition unit that acquires the operation information in the display area. The operation monitoring unit that monitors the movement operation of the display area and the movement operation of the display object in the display area by the operation information. The image information is processed according to the operation monitoring result. The display system includes a processing unit and a display instruction unit that causes the display device to display image information.

請求項1の発明では、画像情報を加工すると、表示領域や表示物の移動操作による動きが不鮮明になり、表示領域内の文字などや、カーソルなどの表示物の変化を判別しにくくなる。 According to the first aspect of the present invention, when the image information is processed, the movement of the display area and the display object is unclear, and it becomes difficult to determine changes in the display object such as characters in the display area and the cursor.

また、画像を拡大してもカーソルの移動量が少なくならないことにより、カーソルの移動にマウスの操作量を増やす必要がなく、カーソルを操作しやすい。   Further, since the amount of movement of the cursor does not decrease even when the image is enlarged, it is not necessary to increase the amount of operation of the mouse for moving the cursor, and it is easy to operate the cursor.

請求項2の発明は、表示領域の画像における表示状態の情報を取得する、表示状態取得部、および表示状態情報により画像の拡大状態を監視する、拡大監視部、をさらに備え、加工部は、操作監視結果に加え、拡大監視結果に応じて、画像情報を加工する、請求項1記載の表示システムである。 The invention of claim 2 further includes a display state acquisition unit that acquires display state information in the image of the display region, and an enlargement monitoring unit that monitors the enlargement state of the image based on the display state information, and the processing unit includes: The display system according to claim 1, wherein the image information is processed according to an enlargement monitoring result in addition to an operation monitoring result.

請求項2の発明によれば、画像が拡大されていると、表示領域における表示領域や表示物の移動量は標準サイズの画像に比べて大きくなるが、画像が加工されることにより、表示領域や表示物の動きが明確でなくなる。 According to the invention of claim 2, when the image is enlarged, the amount of movement of the display area and the display object in the display area is larger than that of the standard size image. And the movement of the display object is not clear.

請求項3の発明は、画像情報の加工は、表示領域における明度の差の縮小、減色、解像度の低下、輝度の低下、モザイク加工およびコマ送りの少なくともいずれか1つを含む、請求項1または2記載の表示システムである。 According to a third aspect of the present invention, the processing of the image information includes at least one of lightness difference reduction, color reduction, resolution reduction, luminance reduction, mosaic processing, and frame advance in the display area. 2. The display system according to 2.

請求項3の発明では、明度の差の縮小などにより、文字や絵などの表示物とそれ以外の背景とを区別する視覚的な特徴の差がなくなり、移動する表示物などを識別しにくくなり、表示領域や表示物の動きがわかりにくくなる。 In the invention of claim 3, due to the reduction of the difference in brightness, there is no difference in visual features that distinguish display objects such as characters and pictures from other backgrounds, and it becomes difficult to identify moving display objects. The movement of the display area and the display object becomes difficult to understand.

請求項4の発明は、操作画面を有し、かつ操作画面における表示領域の画像を表示装置により表示させる指示端末を有するシステムにおいて、操作画面の画像情報を取得する、画像取得機能、指示端末における操作情報を取得する、操作取得機能、操作情報により表示領域の移動操作および表示領域における表示物の移動操作のいずれかを監視する、操作監視機能、操作監視結果に応じて、画像情報を加工する、加工機能、および画像情報を表示装置に表示させる、表示指示機能、を実現させるための表示プログラムである。 According to a fourth aspect of the present invention, in a system having an operation screen and having an instruction terminal for displaying an image of a display area on the operation screen by a display device, an image acquisition function for acquiring image information of the operation screen is provided. Acquire operation information, operation acquisition function, monitor either display area movement operation or display object movement operation by operation information, operation monitoring function, process image information according to operation monitoring result A display program for realizing a processing function and a display instruction function for displaying image information on a display device.

請求項4でも、請求項1と同様に、指示端末の操作性に優れ、視覚不調の防止が図れる。 In the fourth aspect, similarly to the first aspect, the operability of the instruction terminal is excellent, and visual malfunction can be prevented.

この発明によれば、表示物の移動操作に対してマウスの操作量が増えず、操作性に優れ、また、画像加工により表示領域や表示物を識別しにくくなることでその動きによる視覚不調を防げる。 According to the present invention, the amount of operation of the mouse does not increase with respect to the movement operation of the display object, the operability is excellent, and the display region and the display object are difficult to identify by image processing, thereby preventing visual disturbance due to the movement. I can prevent it.

本発明のシステム構成の一例を示す機能ブロック図。The functional block diagram which shows an example of the system configuration | structure of this invention. 端末のハードウェア構成の一例を示す概念図。The conceptual diagram which shows an example of the hardware constitutions of a terminal. 操作画面に表示される画像を示す図。The figure which shows the image displayed on an operation screen. 指示端末を示す図Diagram showing instruction terminal (a)および(b)は、拡大した画像を示す図。(A) And (b) is a figure which shows the enlarged image. 図5(a)の画像情報を加工した画像を示す図。The figure which shows the image which processed the image information of Fig.5 (a). 図5(a)の画像情報を加工した画像を示す図。The figure which shows the image which processed the image information of Fig.5 (a). 処理プロセスの一例を示すフローチャート。The flowchart which shows an example of a processing process. 第2実施例のシステム構成の一例を示す機能ブロック図。The functional block diagram which shows an example of the system configuration | structure of 2nd Example. 位置記憶部に記録されている位置情報を示す図。The figure which shows the positional information currently recorded on the position memory | storage part. 画像情報を加工した場合の時間とそれに対応する情報の生成プロセスとを簡単に示す図。The figure which shows simply the time at the time of processing image information, and the production | generation process of the information corresponding to it. 表示領域の画像を表示ウインドウに表示した操作画面を示す図。The figure which shows the operation screen which displayed the image of the display area on the display window.

図1に示す本発明の表示システム10は、指示端末12および表示装置14を備え、指示端末12は表示装置14を用いて表示領域の画像を表示させる。指示端末12と表示装置14とは、有線または無線で情報送受信可能に接続される。 A display system 10 according to the present invention illustrated in FIG. 1 includes an instruction terminal 12 and a display device 14, and the instruction terminal 12 displays an image of a display area using the display device 14. The instruction terminal 12 and the display device 14 are connected so as to be able to transmit and receive information by wire or wirelessly.

指示端末12は、図2のハードウェア構成の一例に示すように、プログラムの演算処理を実行し、各装置へ適切な指示を与えて制御するCPU等の演算制御装置16と、情報を記憶するRAMやハードディスクなどの記憶装置18と、演算制御装置16の処理結果や記憶装置18に記憶する情報などを送受信する通信装置20と、画像を拡大する指示や表示物などを移動する指示などを入力するマウスなどのポインティングデバイスやキーボードなどの入力装置22と、ディスプレイや操作画面などを含む出力表示装置24とを備える。 As shown in an example of the hardware configuration in FIG. 2, the instruction terminal 12 executes calculation processing of a program, and stores information with an arithmetic control device 16 such as a CPU that controls each device by giving an appropriate instruction. Inputs a storage device 18 such as a RAM and a hard disk, a communication device 20 that transmits and receives processing results of the arithmetic control device 16 and information stored in the storage device 18, an instruction to enlarge an image, an instruction to move a display object, and the like A pointing device such as a mouse and an input device 22 such as a keyboard, and an output display device 24 including a display and an operation screen are provided.

指示端末12は、図1の機能ブロック図に示す構成部を有する。各構成部は、その機能により論理的に区別されているのみであって、物理上あるいは事実上同一または別の領域を為していてもよい。各機能は、これらに対応するプログラムやモジュール等が演算制御装置16に読み込まれてその処理が実行されることによって実現される。また、本発明において必要となる最小限度の装置および構成部を記載しており、その他の装置などについてはその記載を省略する。 The instruction terminal 12 has the components shown in the functional block diagram of FIG. Each component is only logically distinguished by its function, and may be physically or effectively the same or different area. Each function is realized by reading a program, a module, or the like corresponding to these into the arithmetic control device 16 and executing the processing. In addition, the minimum devices and components necessary for the present invention are described, and descriptions of other devices are omitted.

指示端末12は、操作画面の画像情報などを生成する制御部26、操作画面の画像情報を取得する、画像取得部28、指示端末12における操作情報を取得する、操作取得部30、操作情報により表示領域の移動操作および表示領域における表示物の移動操作のいずれかを監視する、操作監視部32、画像の表示状態の情報を取得する、表示状態取得部34、表示状態情報により画像の拡大状態を監視する、拡大監視部36、拡大監視結果および操作監視結果に応じて、画像情報を加工する、加工部38、および画像情報を表示装置14に表示させる、表示指示部40、を備える。 The instruction terminal 12 includes a control unit 26 that generates image information of the operation screen, an image acquisition unit 28 that acquires image information of the operation screen, an operation acquisition unit 30 that acquires operation information in the instruction terminal 12, and the operation information. An operation monitoring unit 32 for monitoring either a display region moving operation or a display object moving operation in the display region, an image display state information acquisition, a display state acquisition unit 34, an image enlargement state by display state information An enlargement monitoring unit 36, a processing unit 38 that processes image information according to the enlargement monitoring result and the operation monitoring result, and a display instruction unit 40 that displays the image information on the display device 14.

制御部26は、プログラムやデータなどの情報を記憶装置18などから読み出し、また、入力装置22の操作による操作内容や位置などの情報を得て、これらの情報により操作画面46の画像情報を生成し、RAMなどの記憶装置18に記憶する。そして、画像情報に基づいて、図3に示すように、アイコン41やカーソル42、ウインドウ44などの表示物の画像を標準サイズとして出力表示装置24の操作画面46(図4)に表示する。ここでは、表示領域48は表示装置14を用いて表示させる画像の範囲である。この場合、表示装置14で表示する画像と操作画面46で表示する画像が同じであるため、表示領域48は操作画面46に表示される範囲と同じとなる。また、表示領域48のサイズを標準サイズの表示領域より小さく設定すると、表示領域48以外の部分は操作画面46に表示されずに、表示領域48内の画像は大きく拡大されてその拡大画像が操作画面46に表示される。   The control unit 26 reads information such as a program and data from the storage device 18 and the like, obtains information such as an operation content and a position by operating the input device 22, and generates image information of the operation screen 46 based on the information. And stored in the storage device 18 such as a RAM. Then, based on the image information, as shown in FIG. 3, an image of a display object such as an icon 41, a cursor 42, or a window 44 is displayed as a standard size on the operation screen 46 (FIG. 4) of the output display device 24. Here, the display area 48 is a range of an image to be displayed using the display device 14. In this case, since the image displayed on the display device 14 and the image displayed on the operation screen 46 are the same, the display area 48 is the same as the range displayed on the operation screen 46. If the size of the display area 48 is set smaller than the standard size display area, the area other than the display area 48 is not displayed on the operation screen 46, and the image in the display area 48 is greatly enlarged and the enlarged image is operated. It is displayed on the screen 46.

制御部26は、操作画面46に表示されている画像を拡大する指示を入力装置22などから受けると、この指示による表示倍率および位置を取得し、これに基づき拡大画像の表示領域48を設定する。画像の表示倍率は、予め決められた所定値に設定することもできるし、また指示端末12のユーザが入力装置22などを使用し任意に設定することもできる。たとえば、カーソル42の位置を中心に拡大し、その表示倍率がマウスホイールの回転量により決まる場合、マウスホイールの回転量を取得し、回転量から表示倍率を求める。また、カーソル42の位置座標および操作画面サイズを取得し、これらの情報から拡大画像の表示領域48の位置座標を算出する。そして、記憶装置18から標準サイズの画像情報から抽出し、拡大画像の表示領域48の位置座標を基に、標準サイズの画像情報から拡大画像の表示領域48の画像情報を得て、図5(a)に示すように、この画像情報により操作画面46に拡大した画像を表示する。   When receiving an instruction for enlarging the image displayed on the operation screen 46 from the input device 22 or the like, the control unit 26 acquires a display magnification and a position according to the instruction, and sets a display area 48 for the enlarged image based on this. . The display magnification of the image can be set to a predetermined value that is determined in advance, or can be arbitrarily set by the user of the instruction terminal 12 using the input device 22 or the like. For example, when the cursor 42 is enlarged around the position and the display magnification is determined by the amount of rotation of the mouse wheel, the amount of rotation of the mouse wheel is acquired and the display magnification is obtained from the amount of rotation. Further, the position coordinates of the cursor 42 and the operation screen size are acquired, and the position coordinates of the display area 48 of the enlarged image are calculated from these pieces of information. Then, the image information is extracted from the standard size image information from the storage device 18, and the image information of the enlarged image display area 48 is obtained from the standard size image information based on the position coordinates of the enlarged image display area 48. FIG. As shown in a), an enlarged image is displayed on the operation screen 46 by this image information.

画像取得部28は、出力表示装置14の操作画面46に表示される画像の情報を、制御部26から取得し、画像情報を加工部38に送る。なお、この画像情報は、表示装置14を用いてスクリーンなどに表示領域の画像を表示するための情報である。また、画像情報が制御部26で生成され、RAMなどの記憶装置18などに記憶されている場合、記憶装置18から取得することもできる。   The image acquisition unit 28 acquires information about the image displayed on the operation screen 46 of the output display device 14 from the control unit 26, and sends the image information to the processing unit 38. This image information is information for displaying an image of the display area on a screen or the like using the display device 14. Further, when the image information is generated by the control unit 26 and stored in the storage device 18 such as a RAM, it can be acquired from the storage device 18.

操作取得部30は、入力装置22で操作された情報を制御部26から取得し、操作監視部32に送る。操作情報は、操作内容、操作対象および時刻などを含む。操作内容は、たとえば、ポインティングデバイスによる位置指示操作、クリック、ドロップ、プレス、ドラックなどポインティングデバイスのボタン操作、マウスホイールの回転、キーボードの入力操作、スクロールバー54に対するドラッグ操作、移動操作、スクロール操作、起動操作、コピー操作などがある。操作対象は、表示物やアプリケーションなどである。表示物は、カーソル42、アイコン41、ウインドウ44、ボタン、ウインドウ44内に表示される文字52や絵など、操作画面46に表示されるものである。 The operation acquisition unit 30 acquires information operated by the input device 22 from the control unit 26 and sends the information to the operation monitoring unit 32. The operation information includes an operation content, an operation target, a time, and the like. The operation contents include, for example, a position pointing operation by a pointing device, a button operation of a pointing device such as click, drop, press, and drag, a mouse wheel rotation, a keyboard input operation, a drag operation on the scroll bar 54, a move operation, a scroll operation, There are start operations, copy operations, etc. The operation target is a display object or an application. The display object is displayed on the operation screen 46 such as a cursor 42, an icon 41, a window 44, a button, a character 52 or a picture displayed in the window 44.

操作監視部32は、操作取得部30から操作情報を受信し、操作情報から表示領域48の移動操作や表示領域48における表示物の移動操作を監視し、監視結果を加工部38に送る。たとえば、操作情報からポインティングデバイスの位置指示、ドラック、クリックなどポインティングデバイスのボタンの押下などの操作を監視し、表示物を移動させる操作を検出する。また、マウスホイールの回転、スクロールバー54に対するドラッグ操作など画像のスクロール操作を監視し、図5(a)から図5(b)に示すように表示領域48の移動によるウインドウ44に表示されている画像を移動させる操作を検出する。さらに、表示領域48の画像を拡大した場合、ポインティングデバイスの位置指示やドラッグなどの操作内容を監視し、表示領域48の移動による操作画面46に表示されている拡大画像を移動させる操作を検出する。他に、ショートカットキーなどの押下や
1266385765640_0
上の特定位置の
1266385765640_1
などの操作を監視し、UNDOやREDOなどによる表示領域48や表示物の移動操作を検出する。
The operation monitoring unit 32 receives the operation information from the operation acquisition unit 30, monitors the movement operation of the display area 48 and the movement operation of the display object in the display area 48 from the operation information, and sends the monitoring result to the processing unit 38. For example, an operation such as a pointing device position instruction, dragging, clicking, or the like pressing a button of the pointing device is monitored from the operation information, and an operation for moving a display object is detected. Further, image scrolling operations such as mouse wheel rotation and dragging operation on the scroll bar 54 are monitored and displayed on the window 44 by the movement of the display area 48 as shown in FIGS. 5 (a) to 5 (b). Detects an operation that moves an image. Further, when the image of the display area 48 is enlarged, the operation contents such as the pointing instruction and dragging of the pointing device are monitored, and the operation for moving the enlarged image displayed on the operation screen 46 by the movement of the display area 48 is detected. . In addition, pressing shortcut keys etc.
1266385765640_0
On a specific location on
1266385765640_1
Are monitored, and the movement operation of the display area 48 or the display object by UNDO or REDO is detected.

また、操作監視部32は、さらに、操作情報に基づき表示領域48や表示物の移動の停止を監視する。たとえば、ポインティングデバイスによる指示位置の変化を監視し、変化していると表示物などの位置情報を判定し、位置情報が変化していないと表示物などの停止と判定する。この停止時や一定時間停止が続けば、操作監視部32は表示物が停止しているとして、移動操作なしとの監視結果を加工部38に送付する。 Further, the operation monitoring unit 32 further monitors the stop of movement of the display area 48 and the display object based on the operation information. For example, the change of the pointing position by the pointing device is monitored, and if the position information is changed, the position information of the display object is determined, and if the position information is not changed, it is determined that the display object is stopped. If the stoppage continues for a certain period of time or when the operation is stopped, the operation monitoring unit 32 sends the monitoring result indicating that there is no moving operation to the processing unit 38, assuming that the display object is stopped.

表示状態取得部34は、制御部26から表示領域48の画像が表示されている状態の情報を取得し、この表示状態情報を拡大監視部36に送る。表示状態情報は、表示領域48の画像が拡大されているか否かを判断できる情報を含み、たとえば表示倍率や表示領域48の位置情報などの画像サイズ、標準や拡大などの画像サイズの状態情報などである。 The display state acquisition unit 34 acquires information on the state in which the image of the display area 48 is displayed from the control unit 26, and sends this display state information to the enlargement monitoring unit 36. The display state information includes information that can be used to determine whether or not the image in the display area 48 is enlarged. For example, the image size such as the display magnification and the position information of the display area 48, the state information of the image size such as standard and enlarged, and the like. It is.

拡大監視部36は、表示状態取得部34から表示状態情報を取得し、表示領域48の画像の拡大状態を監視し、監視結果を加工部38に送る。たとえば、表示状態情報が表示倍率の場合、これを監視し、表示倍率が1倍より大きいと表示領域48の画像は拡大状態であると判断する。また、表示状態情報が表示領域48の位置情報の場合、これから表示領域48の大きさを求め、標準サイズの表示領域48の大きさと比較し、標準サイズの大きさより小さければ、表示領域48の画像は拡大状態であると判断する。さらに、表示状態情報が画像サイズの状態の場合、これを監視し、状態が拡大であれば、表示領域48の画像は拡大状態であると判断する。 The enlargement monitoring unit 36 acquires display state information from the display state acquisition unit 34, monitors the enlargement state of the image in the display area 48, and sends the monitoring result to the processing unit 38. For example, when the display state information is a display magnification, this is monitored, and if the display magnification is larger than 1, it is determined that the image in the display area 48 is in an enlarged state. Further, when the display state information is position information of the display area 48, the size of the display area 48 is obtained from this, compared with the size of the display area 48 of the standard size, and if smaller than the standard size, the image of the display area 48 is displayed. Is determined to be in an enlarged state. Further, when the display state information is in an image size state, this is monitored, and if the state is enlarged, it is determined that the image in the display area 48 is in an enlarged state.

加工部38は、画像情報を画像取得部28から得る。また、拡大監視部36から拡大監視結果を受けるとともに、操作監視部32から操作監視結果を受け、これらの結果に応じて画像情報を加工し、加工された画像情報を表示指示部40に送る。つまり、拡大監視結果により表示領域48の画像が拡大状態である場合に、操作監視結果で表示領域48や表示物の移動操作を検出すると、画像情報を加工し、加工した画像情報を表示指示部40に送信する。また、拡大監視結果により表示領域48の画像が拡大状態でない場合や、操作監視結果で表示領域48などの移動操作がない場合、画像情報を加工せずに表示指示部40に送信する。ここで、移動操作なしには、移動操作の停止を含む。 The processing unit 38 obtains image information from the image acquisition unit 28. In addition to receiving the enlargement monitoring result from the enlargement monitoring unit 36, the operation monitoring result is received from the operation monitoring unit 32, the image information is processed according to these results, and the processed image information is sent to the display instruction unit 40. That is, when the image of the display area 48 is in an enlarged state based on the enlargement monitoring result, if the movement operation of the display area 48 or the display object is detected from the operation monitoring result, the image information is processed, and the processed image information is displayed in the display instruction unit. 40. Further, when the image in the display area 48 is not in an enlarged state due to the enlargement monitoring result or when there is no movement operation such as the display area 48 as the operation monitoring result, the image information is transmitted to the display instruction unit 40 without being processed. Here, without the moving operation includes stopping the moving operation.

画像情報の加工は、表示領域48に表示されている文字52や絵など、および表示領域48の表示物などの特徴的な部分を識別しにくくする。たとえば、表示領域48における明度の差の縮小、減色、解像度の低下、輝度の低下、およびモザイク加工などである。この明度の差の縮小では、表示領域48の白色部分の明度を下げ、灰色などにする。これにより、図5(a)のように背景が白色で、文字52などが黒色の場合、図6に示すように、背景が灰色になり、文字52と背景との明度の差が小さくなるため、文字52を識別しにくくなる。また、減色では、赤や青などの有彩色の数を減らし、モノトーン化することにより、色が付いた特徴的な部分がわかりにくくなる。 The processing of the image information makes it difficult to identify characteristic parts such as characters 52 and pictures displayed in the display area 48 and display objects in the display area 48. For example, the brightness difference in the display area 48 is reduced, the color is reduced, the resolution is reduced, the luminance is reduced, and mosaic processing is performed. In reducing the brightness difference, the brightness of the white portion of the display area 48 is lowered to gray or the like. As a result, when the background is white as shown in FIG. 5A and the character 52 is black, the background is gray as shown in FIG. 6, and the difference in brightness between the character 52 and the background is reduced. The character 52 is difficult to identify. In color reduction, by reducing the number of chromatic colors such as red and blue and making them monotone, it becomes difficult to understand characteristic portions with colors.

この加工を施す部分は、表示領域48の全体とすることもできるし、表示領域48の一部とすることもできる。表示領域48の一部とする場合、指示端末のユーザが表示位置を把握できる大きさであればよい。たとえば、図5(a)の拡大画像のカーソル部分を加工せず、それ以外の部分を加工すると、図7に示すように、カーソル部分は識別可能であり、所望の位置に表示領域などを移動させることができる。しかも、その周囲は識別しにくくなるため、表示領域48などの移動によるちらつきが防止できる。 The portion to be processed can be the entire display area 48 or a part of the display area 48. When the display area 48 is a part of the display area 48, it may be of a size that allows the user of the instruction terminal to grasp the display position. For example, if the cursor portion of the enlarged image in FIG. 5A is not processed and the other portions are processed, the cursor portion can be identified as shown in FIG. 7, and the display area is moved to a desired position. Can be made. In addition, since the surroundings are difficult to identify, flickering due to movement of the display area 48 or the like can be prevented.

表示指示部40は、加工部38から加工されていない画像情報または加工された画像情報を得ると、表示装置14に送り、表示を指示する。 Upon obtaining unprocessed image information or processed image information from the processing unit 38, the display instruction unit 40 sends the image information to the display device 14 to instruct display.

表示装置14は、表示指示部40から画像情報を得て、画像情報を基に画像を表示する。表示装置14は、たとえば、プロジェクタなどの投影装置、コンピュータやテレビなどのディスプレイである。 The display device 14 obtains image information from the display instruction unit 40 and displays an image based on the image information. The display device 14 is, for example, a projection device such as a projector, or a display such as a computer or a television.

第1実施例の外部接続機器制御システム10における処理プロセスの一例を、図3〜図8を用いて説明する。 An example of a processing process in the external device control system 10 of the first embodiment will be described with reference to FIGS.

図4の指示端末12の操作画面46に表示している図3に示す画像を、表示装置14により表示する場合、ステップS100で、この操作画面の画像情報が制御部26から画像取得部28により取得される。そこから、加工部38に送られる。また、操作画面46において表示領域48aに設定され、図5(a)に示すように画像が拡大されると、表示領域48aの画像情報が制御部26から画像取得部28に送られる。 When the display device 14 displays the image shown in FIG. 3 displayed on the operation screen 46 of the instruction terminal 12 in FIG. 4, the image information on this operation screen is transmitted from the control unit 26 to the image acquisition unit 28 in step S100. To be acquired. From there, it is sent to the processing section 38. Further, when the display area 48a is set on the operation screen 46 and the image is enlarged as shown in FIG. 5A, the image information of the display area 48a is sent from the control unit 26 to the image acquisition unit 28.

指示端末12のユーザが入力装置22を用いて指示端末12に対して操作すると、ステップS102で、この操作内容などを示す操作情報が制御部26から操作取得部30により取得され、操作監視部32へ送られる。操作監視部32では、操作情報から表示領域48の移動操作や表示領域48における表示物の移動操作がなされたか否かが監視される。たとえば、図3に示す表示領域48aから表示領域48bに表示領域が移動されると、この移動操作が検出されて、ステップS104でYESと判定され、ステップS106に進む。 When the user of the instruction terminal 12 operates the instruction terminal 12 using the input device 22, in step S102, operation information indicating the operation content and the like is acquired from the control unit 26 by the operation acquisition unit 30, and the operation monitoring unit 32 is operated. Sent to. The operation monitoring unit 32 monitors whether or not a movement operation of the display area 48 or a movement operation of a display object in the display area 48 has been performed based on the operation information. For example, when the display area is moved from the display area 48a shown in FIG. 3 to the display area 48b, this movement operation is detected, YES is determined in step S104, and the process proceeds to step S106.

一方、たとえば、操作情報が文字52などのキー入力操作やアプリケーションの起動などであって、表示領域48や表示物の移動操作でなければ、操作監視部32により、ステップS104でNOと判定され、ステップS108に進む。ここで、画像情報は加工部38で加工されずに、加工部38から表示指示部40に送られ、表示指示部40から表示装置14へ渡される。そして、ステップS110で、表示装置14により、画像情報を基に図5(b)に示す表示領域の画像がスクリーンなどに表示される。 On the other hand, for example, if the operation information is a key input operation such as the character 52 or an application activation, and is not a movement operation of the display area 48 or the display object, the operation monitoring unit 32 determines NO in step S104, Proceed to step S108. Here, the image information is not processed by the processing unit 38, is sent from the processing unit 38 to the display instruction unit 40, and is passed from the display instruction unit 40 to the display device 14. In step S110, the display device 14 displays the image in the display area shown in FIG. 5B on the screen or the like based on the image information.

ステップS106において、表示状態情報が表示状態取得部34により制御部26から取得され、次いで、拡大監視部36に送られる。拡大監視部36では、表示状態情報を受け、これを基に表示領域48の画像の拡大状態が監視される。たとえば、表示状態情報により表示倍率が1より大きかったり、表示領域48のサイズが標準より小さかったりすると、拡大状態であると判定される。そして、拡大状態が検出されると、ステップS112でYESと判定され、次にステップS114に進む。 In step S <b> 106, display state information is acquired from the control unit 26 by the display state acquisition unit 34, and then sent to the enlargement monitoring unit 36. The enlargement monitoring unit 36 receives the display state information and monitors the enlargement state of the image in the display area 48 based on the display state information. For example, when the display magnification is larger than 1 or the size of the display area 48 is smaller than the standard according to the display state information, it is determined that the state is the enlarged state. If an enlarged state is detected, YES is determined in step S112, and the process proceeds to step S114.

一方、表示領域48の画像が拡大状態でなければ、ステップS104でNOと判定され、画像情報は加工部38で加工されずに、加工部38から表示指示部40に送られ、ステップS108で、表示指示部40から表示装置14へ表示指示されて、ステップS110で、画像情報を基に表示領域の画像が表示装置14により表示される。 On the other hand, if the image in the display area 48 is not in an enlarged state, it is determined NO in step S104, and the image information is not processed by the processing unit 38 but is sent from the processing unit 38 to the display instruction unit 40, and in step S108, A display instruction is given from the display instruction unit 40 to the display device 14, and an image in the display area is displayed on the display device 14 based on the image information in step S110.

ステップS114において、画像情報が加工部38で加工される。画像情報の加工では、減色などにより、表示物やその動きを判別しにくくする。そして加工された画像情報が、ステップ108で加工部38から表示指示部40を介して表示装置14に送信される。表示装置14では、加工された画像情報に基づいて、モノトーン化された画像などがスクリーンに表示される(ステップS110)。 In step S114, the image information is processed by the processing unit 38. In the processing of image information, it is difficult to distinguish the display object and its movement by color reduction or the like. The processed image information is transmitted from the processing unit 38 to the display device 14 via the display instruction unit 40 in step 108. The display device 14 displays a monotone image on the screen based on the processed image information (step S110).

このように、指示端末12の出力表示装置14の操作画面46に表示するための画像情報は加工せず、表示装置14で表示するための画像情報を加工する。これにより、スクリーンなどに表示された画像は加工されているため、スクリーンを見ている者は表示物やその移動が見えにくいため、移動によるちらつきなどの視覚不調が生じにくく、表示画像の見づらさを軽減できる。これに対して、操作画面46の画像は変化せず、指示端末12のユーザは表示物などを識別できるので、表示物や表示領域48を適切な位置に移動させることができる。 In this way, the image information to be displayed on the operation screen 46 of the output display device 14 of the instruction terminal 12 is not processed, but the image information to be displayed on the display device 14 is processed. As a result, since the image displayed on the screen or the like has been processed, it is difficult for a person looking at the screen to see the display object and its movement. Can be reduced. On the other hand, the image on the operation screen 46 does not change, and the user of the instruction terminal 12 can identify the display object and the like, so that the display object and the display area 48 can be moved to an appropriate position.

なお、上記実施例では、画像情報の加工に、減色など、表示物やその移動を判別しにくい処理方法を用いたが、画像情報の削除することもできる。画像情報の削除は、移動中の全ての画像情報であってもよいし、所定時間間隔の画像情報であってもよい。全画像情報を削除すると、表示物などの移動中は削除前の画像を表示したままとすることもできるし、また、移動中は画像を表示しないようにすることもできる。また、所定時間間隔で画像情報を削除すると、表示物は不連続に移動するコマ送りのように表示される。このように加工することで、ちらつきを軽減することができ、上述と同様の効果が得られる。 In the above embodiment, the processing of the image information uses a processing method that makes it difficult to discriminate the display object and its movement, such as color reduction, but the image information can also be deleted. The deletion of the image information may be all the image information being moved, or may be image information at a predetermined time interval. If all the image information is deleted, the image before the deletion can be kept displayed while the display object is moved, or the image can be not displayed during the movement. If the image information is deleted at a predetermined time interval, the display object is displayed like a frame advance that moves discontinuously. By processing in this way, flicker can be reduced and the same effect as described above can be obtained.

この画像情報の加工について、表示物の移動速度、移動操作の継続時間、表示倍率などに応じて画像情報の加工を変化させることもできる。たとえば、移動速度や表示倍率が大きいほど、加工の程度を大きくしたり、加工方法を組み合わせたりする。たとえば、表示領域などの移動速度が大きくなるほど、白い背景の色に対して黒色の割合を増やし、明度の差を減少させる。この他に、たとえば、図7に示すように、表示領域48の一部の画像情報を加工する場合、表示物の移動速度、移動操作の継続時間、表示倍率などに応じて加工する範囲をユーザが表示位置を把握できる大きさなどに変更することもできる。 Regarding the processing of the image information, the processing of the image information can be changed according to the moving speed of the display object, the duration of the moving operation, the display magnification, and the like. For example, as the moving speed and the display magnification are larger, the degree of processing is increased or the processing methods are combined. For example, as the moving speed of the display area or the like increases, the ratio of black to the color of the white background is increased and the difference in brightness is decreased. In addition to this, for example, as shown in FIG. 7, when processing a part of the image information in the display area 48, the range to be processed according to the moving speed of the display object, the duration of the moving operation, the display magnification, etc. Can be changed to such a size that the display position can be grasped.

なお、上記実施例では、表示装置14に投影装置やテレビのディスプレイなどを用いたが、この代わりに指示端末12の出力表示装置14を用いることもできる。この場合、表示指示部40からの画像情報に基づき画像を操作画面46に表示する。 In the above embodiment, a projection device, a television display, or the like is used as the display device 14, but the output display device 14 of the instruction terminal 12 may be used instead. In this case, an image is displayed on the operation screen 46 based on the image information from the display instruction unit 40.

また、制御部24からの画像情報により出力表示装置14の操作画面46に画像を表示し、表示指示部40からの画像情報により表示装置14でスクリーンなどに画像を表示したが、表示指示部40からの画像情報により操作画面46に画像を表示することもできる。この場合、表示装置14と操作画面46に同じ画像が表示される。ただし、操作画面46に加工された画像が表示されても、表示物は判別できるので、表示領域や表示物を移動させることはできる。 Further, an image is displayed on the operation screen 46 of the output display device 14 based on the image information from the control unit 24, and an image is displayed on the screen or the like by the display device 14 based on the image information from the display instruction unit 40. An image can also be displayed on the operation screen 46 based on the image information from. In this case, the same image is displayed on the display device 14 and the operation screen 46. However, even if the processed image is displayed on the operation screen 46, the display object can be identified, so that the display area and the display object can be moved.

さらに、上記実施例では、出力表示装置14の操作画面46の全範囲を表示領域とし、この表示領域の画像を表示装置14でスクリーンなどに表示した。つまり、画像加工されていない場合、操作画面46に表示される画像とスクリーンなどに表示される画像とは同じである。しかし、これに限らず、出力表示装置14の操作画面46の一部範囲を表示領域とし、スクリーンなどに表示される画像を操作画面46に表示される画像の一部分とすることもできる。たとえば、特定のウインドウを操作画面に設け、ウインドウに表示される範囲を表示領域として、この範囲に表示される画像を表示装置14でスクリーンなどに表示する。 Further, in the above embodiment, the entire range of the operation screen 46 of the output display device 14 is set as a display area, and an image of this display area is displayed on the screen or the like by the display device 14. That is, when the image is not processed, the image displayed on the operation screen 46 is the same as the image displayed on the screen. However, the present invention is not limited thereto, and a partial range of the operation screen 46 of the output display device 14 may be used as a display area, and an image displayed on the screen or the like may be a part of an image displayed on the operation screen 46. For example, a specific window is provided on the operation screen, and a range displayed in the window is set as a display area, and an image displayed in this range is displayed on a screen or the like by the display device 14.

この発明の第2実施例である表示システム10は、第1実施例とほぼ同じであるが、この実施例では、カーソルなど表示領域の設定基準の位置情報または表示領域の位置情報を図9に示す位置記憶部に記憶し、この記憶した位置情報を基に表示領域を設定することで、画像のコマ送り表示のように画像情報を加工する点が異なる。これ以外の部分に関しては第1実施例と同様であるため、共通する部分については同じ番号を付して、その番号の説明は省略している。 The display system 10 according to the second embodiment of the present invention is substantially the same as that of the first embodiment. In this embodiment, the display area setting reference position information such as a cursor or the display area position information is shown in FIG. The difference is that the image information is processed like frame-by-frame display by setting the display area based on the stored position information. Since the other parts are the same as those in the first embodiment, the same reference numerals are given to the common parts, and the explanation of the numbers is omitted.

制御部26は、プログラムやデータなどの情報および入力装置22などの操作情報を得て、操作画面46の画像情報を生成し、この画像情報により画像を操作画面46に表示する。また、操作画面に表示された拡大ボタンをクリックするなど、表示装置で表示する画像を拡大する指示を入力装置22などの操作から受けると、この指示または表示倍率などを取得し、この拡大画像の表示状態を示す情報を表示状態取得部34に送る。これと共に、カーソルなどの位置を中心に表示領域を設定する場合には、カーソルなど表示領域の設定基準の位置情報を取得する。この他に、表示領域の枠などが操作画面に表示され、その枠で表示領域を設定する場合には、枠など表示領域自体の位置情報を取得する。そして、表示領域の設定基準の位置情報または表示領域の位置情報を操作情報として操作取得部30に送信する。   The control unit 26 obtains information such as programs and data and operation information of the input device 22, generates image information of the operation screen 46, and displays an image on the operation screen 46 based on this image information. Further, when an instruction for enlarging an image to be displayed on the display device, such as clicking an enlarge button displayed on the operation screen, is received from the operation of the input device 22 or the like, the instruction or the display magnification is acquired and the enlarged image is displayed. Information indicating the display state is sent to the display state acquisition unit 34. At the same time, when the display area is set around the position of the cursor or the like, position information on the setting reference of the display area such as the cursor is acquired. In addition to this, when a frame of the display area is displayed on the operation screen and the display area is set with the frame, position information of the display area itself such as the frame is acquired. Then, the display area setting reference position information or the display area position information is transmitted to the operation acquisition unit 30 as operation information.

操作監視部32は、操作取得部30から操作情報を受け、操作情報により表示領域48の移動操作などを監視するとともに、カーソル42など表示領域48の設定基準の位置情報または表示領域48の位置情報を所定間隔で取得し位置記憶部に記憶する。この所定間隔は、所定時間間隔やカーソル42などの所定移動距離間隔である。たとえば、図10に示すように、位置情報Ln1、Ln2、Ln3・・・を1秒間隔で操作情報から取得し、位置記憶部56に記録する。 The operation monitoring unit 32 receives the operation information from the operation acquisition unit 30, monitors the movement operation of the display area 48 based on the operation information, and also sets position information of the display area 48 such as the cursor 42 or position information of the display area 48. Are acquired at predetermined intervals and stored in the position storage unit. The predetermined interval is a predetermined time interval or a predetermined moving distance interval such as the cursor 42. For example, as shown in FIG. 10, the position information Ln1, Ln2, Ln3... Is acquired from the operation information at 1 second intervals and recorded in the position storage unit 56.

位置記憶部56は、所定間隔で所得されたカーソル42などの位置情報が記録される。たとえば、図10に示すように、カーソル42の位置情報として、x座標およびy座標が対応付けられて記録される。 The position storage unit 56 records position information such as the cursor 42 that is obtained at a predetermined interval. For example, as shown in FIG. 10, as the position information of the cursor 42, the x coordinate and the y coordinate are recorded in association with each other.

加工部38は、拡大監視部36から拡大監視結果を受け、操作監視部32から操作監視結果を受ける。そして、操作監視結果から表示領域48の移動操作を検出し、かつ拡大監視結果により表示領域48の画像の拡大状態を検出すると、カーソルなどの位置情報を位置記憶部56に要求する。位置記憶部56から表示領域48の設定基準などの位置情報を順に抽出し、この位置情報に基づき表示領域48を設定する。この設定間隔は、操作監視部32が操作情報から位置情報を取得する間隔より長く設定される。たとえば、図11に示すように、操作監視部32の1秒の取得間隔より長い2秒間隔で表示領域48を設定する場合、まず日時n1で位置情報Ln1を取得し、これに基づき表示領域Dn1を設定する。これから2秒後の日時n3で次の位置情報Ln2を取得し、表示領域Dn2を設定する。さらに、2秒後の日時n5で次の位置情報Ln3を取得し、表示領域Dn3を設定する。拡大状態時に移動操作が継続する限り、これを続ける。これにより、操作画面に表示されるカーソル42の位置と、設定された表示領域48の位置とが異なり、実際のカーソル42の移動より表示領域48の変化が遅くなる。 The processing unit 38 receives the enlargement monitoring result from the enlargement monitoring unit 36 and the operation monitoring result from the operation monitoring unit 32. When the movement operation of the display area 48 is detected from the operation monitoring result and the enlargement state of the image in the display area 48 is detected from the enlargement monitoring result, position information such as a cursor is requested to the position storage unit 56. Position information such as setting criteria for the display area 48 is sequentially extracted from the position storage unit 56, and the display area 48 is set based on the position information. This setting interval is set longer than the interval at which the operation monitoring unit 32 acquires the position information from the operation information. For example, as shown in FIG. 11, when the display area 48 is set at an interval of 2 seconds longer than the acquisition interval of 1 second of the operation monitoring unit 32, the position information Ln1 is first acquired at the date and time n1, and the display area Dn1 is based on this. Set. The next position information Ln2 is acquired at the date and time n3 two seconds later, and the display area Dn2 is set. Further, the next position information Ln3 is acquired at the date and time n5 two seconds later, and the display area Dn3 is set. This continues as long as the move operation continues in the enlarged state. As a result, the position of the cursor 42 displayed on the operation screen is different from the set position of the display area 48, and the change of the display area 48 is slower than the actual movement of the cursor 42.

また、加工部38は、操作画面の画像情報を画像取得部28から得て、この画像情報の中から表示領域48に対応する画像情報を抽出し、画像情報を表示指示部40を介して表示装置14に送る。 Further, the processing unit 38 obtains image information of the operation screen from the image acquisition unit 28, extracts image information corresponding to the display area 48 from the image information, and displays the image information via the display instruction unit 40. Send to device 14.

第2実施例の表示システム10における処理プロセスの一例を、図8〜図12を用いて説明する。ただし、第1実施例と同様の部分については説明を省略する。 An example of a processing process in the display system 10 according to the second embodiment will be described with reference to FIGS. However, the description of the same parts as in the first embodiment is omitted.

図12に示すように、カーソル42を中心に表示領域48を設定し、この表示領域48の画像を所定または任意の表示倍率で拡大し、表示装置14として出力表示装置24を用いて表示領域48の画像を操作画面46の所定の表示ウインドウ58に表示する場合について、説明する。 As shown in FIG. 12, a display area 48 is set around the cursor 42, the image of the display area 48 is enlarged at a predetermined or arbitrary display magnification, and the display area 48 is displayed using the output display device 24 as the display device 14. A case where the above image is displayed on a predetermined display window 58 of the operation screen 46 will be described.

まず、ステップS100で、操作画面46の画像情報が制御部26から画像取得部28により取得され、加工部38に送られる。 First, in step S <b> 100, image information on the operation screen 46 is acquired from the control unit 26 by the image acquisition unit 28 and sent to the processing unit 38.

また、指示端末12のユーザによる操作情報が、ステップS102で、操作取得部30により制御部26から取得され、操作監視部32へ送られる。操作監視部32では、カーソル42の位置情報が操作情報から所定間隔で取得され、位置記憶部56に保存される。たとえば、図11に示すように、操作監視部32により、日時n1、n2、n3・・・と1秒間隔で位置情報Ln1、Ln2、Ln3・・・が操作情報から取得され、位置記憶部56に記憶される。 Also, operation information by the user of the instruction terminal 12 is acquired from the control unit 26 by the operation acquisition unit 30 and sent to the operation monitoring unit 32 in step S102. In the operation monitoring unit 32, the position information of the cursor 42 is acquired from the operation information at a predetermined interval and stored in the position storage unit 56. For example, as shown in FIG. 11, the operation monitoring unit 32 acquires the position information Ln1, Ln2, Ln3... From the operation information at the date and time n1, n2, n3. Is remembered.

また、操作監視部32において、操作情報に基づき表示領域48などの移動操作が監視される。ここで、カーソル42などの移動操作が検出されなければ、ステップS104でNOと判定される。移動操作検出の監視結果がない限り、加工部38において、位置情報から表示領域48が設定され、表示領域48の画像情報が操作画面の画像情報の中から抽出され、表示指示部40に送られる。そして、ステップS108の表示指示部40の指示により、出力表示装置24において、ステップS110で、表示領域の画像情報に基づく画像が表示ウインドウ58に表示される。 Further, the operation monitoring unit 32 monitors the movement operation of the display area 48 and the like based on the operation information. Here, if the movement operation of the cursor 42 or the like is not detected, it is determined as NO in Step S104. Unless there is a moving operation detection monitoring result, the processing unit 38 sets the display area 48 from the position information, and the image information in the display area 48 is extracted from the image information on the operation screen and sent to the display instruction unit 40. . Then, in response to an instruction from the display instruction unit 40 in step S108, the output display device 24 displays an image based on the image information in the display area on the display window 58 in step S110.

一方、操作監視部32において、カーソル42などの移動操作が検出されれば、ステップS104でYESと判定され、移動操作検出の監視結果が加工部38に送られ、ステップS106に進む。ステップS106において、表示状態情報が制御部26から表示状態取得部34を介して拡大監視部36に送信される。ここで、表示状態情報により表示領域48の画像の拡大状態が監視され、表示領域48の画像の拡大状態が検出されなければ、ステップS104でNOと判定され、上記と同様に、画像情報から表示領域48の画像情報が抽出され、加工部38で加工されずに表示指示部40を介して(ステップS108)、ステップS110で、表示領域の画像情報を基に画像が表示ウインドウ58に表示される。 On the other hand, if a movement operation such as the cursor 42 is detected in the operation monitoring unit 32, YES is determined in step S104, and the monitoring result of the movement operation detection is sent to the processing unit 38, and the process proceeds to step S106. In step S <b> 106, display state information is transmitted from the control unit 26 to the enlargement monitoring unit 36 via the display state acquisition unit 34. Here, the enlargement state of the image in the display area 48 is monitored based on the display state information. If the enlargement state of the image in the display area 48 is not detected, NO is determined in step S104, and display is performed from the image information in the same manner as described above. The image information of the area 48 is extracted and is not processed by the processing unit 38, but is displayed on the display window 58 based on the image information of the display area in step S110 via the display instruction unit 40 (step S108). .

これに対し、ステップS112で、拡大状態が検出されれば、YESと判定され、ステップS114に進み、画像情報が加工部38で加工される。画像情報の加工では、たとえば、図11に示すように、表示領域48の設定間隔を2秒とした場合、この間隔で位置情報Ln1、Ln2、Ln3・・・が加工部38により位置記憶部56から順に取得される。時刻n1ではその時の位置情報Ln1に基づく表示領域48Dn1が設定される。また、この時n1の操作画面の画像情報Pn1が画像取得部28から取得され、画像情報Pn1から表示領域48Dn1に対応する画像情報En1が抽出される。次いで、時刻n1から2秒後の時刻n3に、次の位置情報Ln2による表示領域48Dn2が設定されるとともに、この時n3の操作画面の画像情報Pn3が画像取得部28から取得される。そして、表示領域48Dn2の画像情報En2が画像情報Pn3から抽出される。さらに、続く時刻n3から2秒後の時刻n5に、位置情報Ln3の表示領域48Dn3が設定され、またこの時n5の操作画面の画像情報Pn5が取得され、画像情報Pn5から表示領域48Dn3に対応する画像情報En3が抽出される。以降、移動操作が停止されるまで、または画像の拡大状態が終了するまで、同様に、位置記憶部56の位置情報から表示領域48Dnが設定され、その時の操作画面の画像情報Pnから表示領域48Dnに対応する画像情報Enが抽出される。そして、これらの画像情報Enが順次、ステップ108で、加工部38から表示指示部40を介して出力表示装置24に送信され、表示ウインドウ58に表示される(ステップS110)。 On the other hand, if an enlarged state is detected in step S112, it is determined YES and the process proceeds to step S114, where the image information is processed by the processing unit 38. In the processing of the image information, for example, as shown in FIG. 11, when the setting interval of the display area 48 is 2 seconds, the position information Ln1, Ln2, Ln3. Are acquired in order. At time n1, a display area 48Dn1 based on the position information Ln1 at that time is set. At this time, the image information Pn1 of the operation screen n1 is acquired from the image acquisition unit 28, and the image information En1 corresponding to the display area 48Dn1 is extracted from the image information Pn1. Next, the display area 48Dn2 based on the next position information Ln2 is set at the time n3 two seconds after the time n1, and the image information Pn3 of the operation screen at n3 is acquired from the image acquisition unit 28 at this time. Then, the image information En2 of the display area 48Dn2 is extracted from the image information Pn3. Further, the display area 48Dn3 of the position information Ln3 is set at the time n5 two seconds after the subsequent time n3, and the image information Pn5 of the operation screen of n5 is acquired at this time, and the display information 48Dn3 corresponds to the display area 48Dn3 from the image information Pn5. Image information En3 is extracted. Thereafter, until the movement operation is stopped or until the enlargement state of the image ends, the display area 48Dn is set from the position information in the position storage unit 56, and the display area 48Dn is set from the image information Pn on the operation screen at that time. The image information En corresponding to is extracted. These pieces of image information En are sequentially transmitted from the processing unit 38 to the output display device 24 via the display instruction unit 40 in step 108 and displayed on the display window 58 (step S110).

このように、位置記憶部56に記憶された位置情報を基に表示領域48を設定し、この表示領域48に対応する画像情報を操作画面の画像情報から抽出することにより、画像情報を加工する。この加工された画像情報を基に画像を表示装置14で表示すると、画像がコマ送りのように表示される。 In this way, the display area 48 is set based on the position information stored in the position storage unit 56, and the image information corresponding to the display area 48 is extracted from the image information on the operation screen, thereby processing the image information. . When an image is displayed on the display device 14 based on the processed image information, the image is displayed like frame advance.

この実施例によれば、画像情報を加工し、画像をコマ送りのように表示されるため、表示領域などの動きがわかりにくくなり、移動による画像のちらつきを抑えられる。 According to this embodiment, since the image information is processed and the image is displayed like frame advance, it is difficult to understand the movement of the display area and the like, and flickering of the image due to movement can be suppressed.

また、表示領域48の設定間隔をカーソル42の位置情報の取得間隔より長く設定することにより、表示領域48の変化速度は操作画面46に表示されるカーソル42の移動速度より遅くなるため、表示領域48の移動によるちらつきなどがさらに低減できる。 Further, by setting the setting interval of the display area 48 longer than the acquisition interval of the position information of the cursor 42, the change speed of the display area 48 becomes slower than the moving speed of the cursor 42 displayed on the operation screen 46. Flickering due to movement of 48 can be further reduced.

しかも、表示領域48の設定間隔を長く設定しても、表示領域48の移動量は変化しないことにより、操作性の維持が図られる。 Moreover, even if the setting interval of the display area 48 is set to be long, the movement amount of the display area 48 does not change, so that operability can be maintained.

なお、上記実施例では、位置情報の取得間隔および表示領域48の設定間隔を一定としたが、変えることもできる。たとえば、表示領域48などの移動速度や画像の表示倍率などに応じて、表示領域48の設定間隔を変化させる。 In the above embodiment, the position information acquisition interval and the display region 48 setting interval are fixed, but may be changed. For example, the set interval of the display area 48 is changed according to the moving speed of the display area 48 or the like, the display magnification of the image, and the like.

この表示領域48の設定間隔を位置情報の取得間隔より長く設定したが、表示領域48の設定間隔を位置情報の取得間隔より同じまたは短く設定することもできる。 Although the setting interval of the display area 48 is set longer than the acquisition interval of the position information, the setting interval of the display area 48 can be set to be the same as or shorter than the acquisition interval of the position information.

また、上記実施例では、指示端末12の出力表示装置24を表示装置14に用い、表示領域48の画像情報に基づき画像を操作画面46の表示ウインドウ58に表示したが、これに代えて、表示装置14に投影装置、テレビやコンピュータのディスプレイなどを用いることもできる。 In the above embodiment, the output display device 24 of the instruction terminal 12 is used as the display device 14 and an image is displayed on the display window 58 of the operation screen 46 based on the image information in the display area 48. The device 14 may be a projection device, a television display, a computer display, or the like.

さらに、上記実施例では、操作監視部32がカーソル42など表示領域48の設定基準の位置情報または表示領域48の位置情報を所定間隔で取得し位置記憶部56に記憶したが、これらの位置情報が変化するごとに、位置情報を位置記憶部56に記憶することもできる。 Furthermore, in the above embodiment, the operation monitoring unit 32 acquires the position information of the setting reference of the display area 48 such as the cursor 42 or the position information of the display area 48 at a predetermined interval and stores it in the position storage unit 56. The position information can also be stored in the position storage unit 56 each time.

なお、上記全実施例では、画像の拡大状態において、表示領域などの移動操作があると、画像情報を加工したが、画像が拡大状態でなくても、表示物などの移動操作により画像情報を加工することができる。これにより、画像が拡大されていないときでも、表示物などが移動すると、画像情報が加工される。 In all of the above-described embodiments, the image information is processed when there is a movement operation of the display area or the like in the enlarged state of the image. However, even if the image is not in the enlarged state, the image information is changed by the moving operation of the display object or the like. Can be processed. Thereby, even when the image is not enlarged, the image information is processed when the display object moves.

上記全実施例では、画像取得部28、加工部38、表示指示部40、操作取得部30、操作監視部32、表示状態取得部34、拡大監視部36、および位置記憶部56の機能構成部を指示端末12に設けたが、この機能構成部の一部または全部を表示装置14に持たせることもできる。さらに、指示端末12および表示装置14に管理機を加え、管理機に機能構成部の全部または一部を備えることもできる。 In all the embodiments described above, the functional components of the image acquisition unit 28, the processing unit 38, the display instruction unit 40, the operation acquisition unit 30, the operation monitoring unit 32, the display state acquisition unit 34, the enlargement monitoring unit 36, and the position storage unit 56. Is provided in the instruction terminal 12, but part or all of this functional component can be provided in the display device 14. Furthermore, a management machine can be added to the instruction terminal 12 and the display device 14, and the management machine can include all or part of the functional components.

なお、本発明は上述した実施例に限定されるものではなく、各実施例またはその一部を組み合わせるなどすることができる。 In addition, this invention is not limited to the Example mentioned above, Each Example or its part can be combined.

10:表示システム
12:指示端末
14:表示装置
24:出力表示装置
28:画像取得部
30:操作取得部
32:操作監視部
34:表示状態取得部
36:拡大監視部
38:加工部
40:表示指示部
46:操作画面
48:表示領域
56:位置記憶部
10: display system 12: instruction terminal 14: display device 24: output display device 28: image acquisition unit 30: operation acquisition unit 32: operation monitoring unit 34: display state acquisition unit 36: enlargement monitoring unit 38: processing unit 40: display Instruction unit 46: operation screen 48: display area 56: position storage unit

Claims (4)

操作画面を有し、かつ前記操作画面における表示領域の画像を表示装置により表示させる指示端末を有する表示システムにおいて、前記操作画面の画像情報を取得する、画像取得部、前記指示端末における操作情報を取得する、操作取得部、前記操作情報により前記表示領域の移動操作および前記表示領域における表示物の移動操作のいずれかを監視する、操作監視部、前記操作監視結果に応じて、前記画像情報を加工する、加工部、および前記画像情報を前記表示装置に表示させる、表示指示部、を備える表示システム。   In a display system having an operation screen and an instruction terminal for displaying an image of a display area on the operation screen by a display device, an image acquisition unit for acquiring image information on the operation screen, operation information on the instruction terminal An operation acquisition unit that acquires, monitors one of a movement operation of the display area and a movement operation of a display object in the display area according to the operation information, an operation monitoring unit, and depending on the operation monitoring result, the image information A display system comprising: a processing unit for processing; and a display instruction unit for displaying the image information on the display device. 前記表示領域の画像における表示状態の情報を取得する、表示状態取得部、および前記表示状態情報により前記画像の拡大状態を監視する、拡大監視部、をさらに備え、前記加工部は、前記操作監視結果に加え、前記拡大監視結果に応じて、前記画像情報を加工する、請求項1記載の表示システム。   A display state acquisition unit that acquires information on a display state in the image of the display region; and an enlargement monitoring unit that monitors an enlargement state of the image based on the display state information, and the processing unit includes the operation monitoring The display system according to claim 1, wherein in addition to the result, the image information is processed according to the enlargement monitoring result. 前記画像情報の加工は、前記表示領域における明度の差の縮小、減色、解像度の低下、輝度の低下、およびモザイク加工の少なくともいずれか1つを含む、請求項1または2記載の表示システム。   The display system according to claim 1, wherein the processing of the image information includes at least one of lightness difference reduction, color reduction, resolution reduction, luminance reduction, and mosaic processing in the display area. 操作画面を有し、かつ前記操作画面における表示領域の画像を表示装置により表示させる指示端末を有するシステムにおいて、前記操作画面の画像情報を取得する、画像取得機能、前記指示端末における操作情報を取得する、操作取得機能、前記操作情報により前記表示領域の移動操作および前記表示領域における表示物の移動操作のいずれかを監視する、操作監視機能、前記操作監視結果に応じて、前記画像情報を加工する、加工機能、および前記画像情報を前記表示装置に表示させる、表示指示機能、を実現させるための表示プログラム。   In a system having an operation screen and an instruction terminal for displaying an image of a display area on the operation screen by a display device, an image acquisition function for acquiring image information on the operation screen, and acquiring operation information on the instruction terminal The operation acquisition function, which monitors either the display area movement operation or the display object movement operation in the display area according to the operation information, the operation monitoring function, and processes the image information according to the operation monitoring result A display program for realizing a processing function and a display instruction function for causing the display device to display the image information.
JP2010032335A 2010-02-17 2010-02-17 Display system and display program Pending JP2011170501A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010032335A JP2011170501A (en) 2010-02-17 2010-02-17 Display system and display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010032335A JP2011170501A (en) 2010-02-17 2010-02-17 Display system and display program

Publications (1)

Publication Number Publication Date
JP2011170501A true JP2011170501A (en) 2011-09-01

Family

ID=44684585

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010032335A Pending JP2011170501A (en) 2010-02-17 2010-02-17 Display system and display program

Country Status (1)

Country Link
JP (1) JP2011170501A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014017333A1 (en) * 2012-07-27 2014-01-30 グリー株式会社 Image display device, image display method, and computer-readable information recording medium
JP2014115641A (en) * 2012-11-15 2014-06-26 Semiconductor Energy Lab Co Ltd Method for driving information processing device, program, and information processing device
WO2014129589A1 (en) * 2013-02-22 2014-08-28 京セラ株式会社 Portable terminal and portable terminal control method
JP2015046177A (en) * 2014-10-15 2015-03-12 グリー株式会社 Image display device, image display method, and program
JP2018132648A (en) * 2017-02-15 2018-08-23 Necプラットフォームズ株式会社 Image display control device, image display control method, and image display control program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131653A (en) * 1993-11-02 1995-05-19 Fujitsu Ltd Image gradation compression display circuit
JPH0816808A (en) * 1994-06-27 1996-01-19 Canon Inc Picture display device/method
JP2001034254A (en) * 1999-07-22 2001-02-09 Matsushita Electric Ind Co Ltd Display device
JP2007129526A (en) * 2005-11-04 2007-05-24 Seiko Epson Corp Moving picture display device and moving picture display method
JP2007240584A (en) * 2006-03-06 2007-09-20 Seiko Epson Corp Display device, program, and information storage medium
JP2009037207A (en) * 2007-07-10 2009-02-19 Canon Inc Image display device, image display method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07131653A (en) * 1993-11-02 1995-05-19 Fujitsu Ltd Image gradation compression display circuit
JPH0816808A (en) * 1994-06-27 1996-01-19 Canon Inc Picture display device/method
JP2001034254A (en) * 1999-07-22 2001-02-09 Matsushita Electric Ind Co Ltd Display device
JP2007129526A (en) * 2005-11-04 2007-05-24 Seiko Epson Corp Moving picture display device and moving picture display method
JP2007240584A (en) * 2006-03-06 2007-09-20 Seiko Epson Corp Display device, program, and information storage medium
JP2009037207A (en) * 2007-07-10 2009-02-19 Canon Inc Image display device, image display method, and program

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014017333A1 (en) * 2012-07-27 2014-01-30 グリー株式会社 Image display device, image display method, and computer-readable information recording medium
JP2014026535A (en) * 2012-07-27 2014-02-06 Gree Inc Image display device, image display method, and program
JP2014115641A (en) * 2012-11-15 2014-06-26 Semiconductor Energy Lab Co Ltd Method for driving information processing device, program, and information processing device
JP2019074753A (en) * 2012-11-15 2019-05-16 株式会社半導体エネルギー研究所 Method for driving information processing device
US10347212B2 (en) 2012-11-15 2019-07-09 Semiconductor Energy Laboratory Co., Ltd. Method for driving information processing device, program, and information processing device
JP2021089439A (en) * 2012-11-15 2021-06-10 株式会社半導体エネルギー研究所 Information processing device and program
WO2014129589A1 (en) * 2013-02-22 2014-08-28 京セラ株式会社 Portable terminal and portable terminal control method
JP2014164389A (en) * 2013-02-22 2014-09-08 Kyocera Corp Portable terminal and portable terminal control method
JP2015046177A (en) * 2014-10-15 2015-03-12 グリー株式会社 Image display device, image display method, and program
JP2018132648A (en) * 2017-02-15 2018-08-23 Necプラットフォームズ株式会社 Image display control device, image display control method, and image display control program

Similar Documents

Publication Publication Date Title
US7586481B1 (en) Display-pointer visibility
JP5524868B2 (en) Information display device
US10509537B2 (en) Display control apparatus, display control method, and program
US8887061B2 (en) Variable screen magnifier user interface
JP5713551B2 (en) Information processing system, information processing apparatus, and control method thereof
JP2007174589A (en) Thumbnail creation program
WO2022161432A1 (en) Display control method and apparatus, and electronic device and medium
US10019217B2 (en) Visual focus-aware techniques for visualizing display changes
JP2011170501A (en) Display system and display program
JP5783610B2 (en) INPUT DISPLAY CONTROL DEVICE, THIN CLIENT SYSTEM, INPUT DISPLAY CONTROL METHOD, AND PROGRAM
WO2007034351A3 (en) Method of drawing a graphical object
JP5728588B2 (en) Display control method, computer program, display control apparatus, and image display system
JP2009176129A (en) Remote control system
US20190320108A1 (en) Method for controlling monitoring camera, and monitoring system employing method
CN103164142B (en) The method of adjustment of a kind of screen touch point position of picture-in-picture interface and electronic equipment
US9037981B2 (en) Information processing apparatus, control method therefor, and storage medium for displaying cursors from other sites in dedicated windows
US9672179B2 (en) External display system for displaying data and visuals of an input operating interface
JP2005128999A (en) Change detecting apparatus
WO2018205745A1 (en) Input interface display system and method for portable device
EP3316109B1 (en) Computer-implemented method for controlling a remote device with a local device
JP2010044458A (en) Remote control system
JP4436164B2 (en) Optical signal pointing method, optical signal pointing device, and program
JPH07199889A (en) Display controller
JP6118587B2 (en) Display device, monitoring system having display device, and display control program
US20100245208A1 (en) Image output device, control method and control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121016

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130604