JP2006276269A

JP2006276269A - Image display apparatus, image display method, and program for same

Info

Publication number: JP2006276269A
Application number: JP2005092886A
Authority: JP
Inventors: Eiji Imao; 英司今尾
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-03-28
Filing date: 2005-03-28
Publication date: 2006-10-12

Abstract

<P>PROBLEM TO BE SOLVED: To provide a image display apparatus, a image display method, and a program for the same for displaying a composite image where a large number of moving images and still images are superposed while making the memory quantity to be used less than heretofore. <P>SOLUTION: A image number array 703 stores identification information (image number) of a image positioned to the foreground of superposition to be displayed on a display/output section 706 for each pixel of the display/output section 706. A image display processing section 702 specifies the image to be displayed by each pixel of the screen of the display/output section 706 in accordance with the identification information being referred to from the image number array 703, acquires pixel data corresponding to each pixel of the screen of the display/output section 706 by referring to the image data of the specified image, and generates display data to be displayed on the display/output section 706 based on the acquired pixel data. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、複数の静止画像や動画像を重ね合わせて合成表示する画像表示装置、画像表示方法及びそのプログラムに関するものである。 The present invention relates to an image display device that superimposes and displays a plurality of still images and moving images, an image display method, and a program therefor.

複数の画像を上下関係のある順序で重ね合わせて１枚の表示画像を合成するには、上下関係を持つレイヤ（層）構造に配置された複数のプレーンのいずれかに、重ね合わせ対象の画像を配置し、上位レイヤのプレーンに配置した画像が下位レイヤのプレーンに配置した画像よりも前面に表示するように合成する。このような画像合成において、レイヤ数を増やして重ね合わせを行えば、多くの画像を重ね合わせた合成画像を生成することが可能である。また、レイヤ構造のプレーンの上下順を変更することによって、プレーンに配置した画像の重なり順が変わり、合成画像を変化させることも可能である。 To superimpose a plurality of images in a vertically related order to synthesize a single display image, the image to be superimposed is placed on any of a plurality of planes arranged in a vertically related layer structure. Are combined so that the image arranged on the plane of the upper layer is displayed in front of the image arranged on the plane of the lower layer. In such image synthesis, if the number of layers is increased and superposition is performed, a composite image in which many images are superimposed can be generated. Further, by changing the vertical order of the planes in the layer structure, the overlapping order of the images arranged on the plane is changed, and the composite image can be changed.

従来、このように複数画像を重ね合わせた合成画像を表示する装置では、画像を配置する各々のレイヤに、画面サイズ分の表示データを書き込めるフレームバッファを用意して実装する。レイヤ数以上の画像の重ね合わせが必要な場合では、画像表示システム内のプロセッサ処理などによって、同一レイヤにあらかじめ複数の画像を重ね合わせた合成画像を作成して配置する。そして、画面の各画素において、有効な表示データを持ち、かつ最も上位層であるフレームバッファの画素データを、合成表示画面の当該位置の画素データとしている。合成画像を表示する装置は、レイヤ構造のフレームバッファの画素データを使って表示画面データを作成することを周期的に行い、画像の重ね合わせのある表示を実現している。 Conventionally, in such a device that displays a composite image in which a plurality of images are superimposed, a frame buffer capable of writing display data for a screen size is prepared and mounted in each layer in which the images are arranged. When it is necessary to superimpose more than the number of layers, a composite image obtained by superimposing a plurality of images on the same layer in advance is created and arranged by processor processing in the image display system. Then, each pixel on the screen has effective display data and the pixel data of the frame buffer which is the uppermost layer is used as the pixel data at the corresponding position on the composite display screen. An apparatus for displaying a composite image periodically creates display screen data using pixel data of a frame buffer having a layer structure, and realizes display with superimposed images.

動画像を含む複数画像の重ね合わせの合成画像を表示する場合、動画像は再生時間に沿ってリアルタイムに表示画像を更新する必要があるため、特に動画を含む複数の画像を重ね合わせた表示画像データを同一レイヤに配置するには、動画像のフレームレート以上の頻度でレイヤに配置する表示画像データを作成しなければならない。そのため、先行する技術には、動画像を含む複数の画像の重ね合わせ合成では静止画像と独立した動画像用の別フレームバッファを用意し、静止画像のフレームバッファと動画像のフレームバッファを分けて合成を行うものがある（例えば、特許文献１参照）。 When displaying a composite image composed of multiple images including a moving image, it is necessary to update the display image in real time according to the playback time. In order to arrange data in the same layer, display image data to be arranged in the layer must be created at a frequency equal to or higher than the frame rate of the moving image. For this reason, the prior art provides separate frame buffers for moving images that are independent of still images in the overlay synthesis of multiple images including moving images, and separates the still image frame buffer from the moving image frame buffer. Some perform synthesis (see, for example, Patent Document 1).

また、動画像を含む複数の画像を重ね合わせて合成表示する他の従来技術に、複数の外部からの映像入力の動画像フレームと、画面表示システム用の表示画像フレームに、それぞれのフレームの表示領域を指定する表示領域情報があり、画面の画素ごとに複数の動画フレームとシステムの表示フレームの優先度を管理するテーブルによって、画面の画素ごとに表示する画像フレームを判定して、画面の重ねあわせ表示を実現する方法がある（例えば、特許文献２参照。）。 In addition, other conventional techniques for superimposing and displaying a plurality of images including moving images include a plurality of externally input moving image frames and a display image frame for a screen display system. There is display area information that designates the area, and a table that manages the priority of multiple video frames and system display frames for each pixel of the screen determines the image frame to be displayed for each pixel of the screen and overlaps the screen There is a method for realizing the combined display (see, for example, Patent Document 2).

特開２００１−２８５７４９号公報JP 2001-285749 A 特開平５−３４６７７３号公報JP-A-5-346773

上述した従来技術である、レイヤ構造に複数のフレームバッファを用いて画像を重ね合わせる表示方法には次のような課題がある。動画のハードウェアデコーダの動画像出力やシステム外部からの映像入力を利用して、複数の動画を含む画像を重ね合わせて表示を行う場合を考えると、プロセッサ処理やシステムバスの負荷低減を目的として、動画像データはプロセッサ処理を経由せず、直接表示装置に供給して表示するような構成とすることが望ましく、そのために一つ一つの動画像を配置するレイヤを別とし、各々フレームバッファを用意する必要がある。しかし、フレームバッファは画像表示装置の画面サイズ（解像度）の表示データ分のメモリ領域が必要であるので、動画用のフレームバッファを多く持つと、必要なメモリサイズが膨大になってしまう。以上のことから、レイヤ構造のフレームバッファを用いて、画像を重ね合わせて合成する方法では、重ね合わせることができる画像数が小規模に制限されてしまうという問題がある。 The display method for overlaying images using a plurality of frame buffers in the layer structure as described above has the following problems. Considering the case where images containing multiple moving images are superimposed and displayed using moving image output from a video hardware decoder or video input from outside the system, the purpose is to reduce processor processing and system bus load. Therefore, it is desirable that the moving image data is directly supplied to the display device and displayed without going through the processor process, and for this purpose, the layer in which each moving image is arranged is separated and each frame buffer is provided. It is necessary to prepare. However, since the frame buffer requires a memory area for display data of the screen size (resolution) of the image display device, if there are many frame buffers for moving images, the required memory size becomes enormous. From the above, the method of superimposing and synthesizing images using a layer structure frame buffer has a problem that the number of images that can be superimposed is limited to a small scale.

また、上述した従来技術である、複数の動画像フレームと表示システムの表示画像フレームについて、画面画素ごとに優先的に表示する画像フレームを管理して、重ね合わせ合成表示を実現する方法では、複数の動画像フレームを重ね合わせて表示することは可能であるが、静止画像と動画像が交互に重なって表示するような柔軟な画像の重ね合わせ合成画像を表示することは不可能であるという問題がある。 Further, in the above-described conventional technique, with respect to a plurality of moving image frames and a display image frame of a display system, a method of managing the image frames to be preferentially displayed for each screen pixel and realizing the superimposed composite display, However, it is impossible to display a composite image of a flexible image in which still images and moving images are displayed alternately. There is.

本発明は、上述した事情を考慮してなされたもので、従来より使用するメモリ量を減らしながらも、多くの複数の動画像と静止画像を重ね合わせた合成画像を表示することが可能な画像表示装置、画像表示方法及びそのプログラムを提供することを目的とする。 The present invention has been made in consideration of the above-described circumstances, and is capable of displaying a composite image in which a large number of moving images and still images are superimposed while reducing the amount of memory used conventionally. It is an object to provide a display device, an image display method, and a program thereof.

この発明は、上述した課題を解決すべくなされたもので、本発明による画像表示装置においては、複数の画像を重ねて表示可能な表示手段を備えた画像表示装置であって、画像の画像データを保持するデータ保持手段と、画像に画像を識別するための識別情報が付与されており、表示手段に表示する重ね合わせの最前面に位置する画像の識別情報を、表示手段の画素毎に格納する識別情報格納手段と、識別情報格納手段から参照する識別情報に応じて、表示手段の画面の各画素に表示する画像を特定する特定手段と、特定手段が特定した画像の画像データをデータ保持手段から参照して、表示手段の画面の各画素に対応する画素データを求め、求めた画素データを基に表示手段に表示するための表示データを生成する表示データ生成手段とを具備することを特徴とする。 The present invention has been made to solve the above-described problems. In the image display device according to the present invention, the image display device includes display means capable of displaying a plurality of images in an overlapping manner, and image data of the images. The data holding means for holding the image and the identification information for identifying the image are given to the image, and the identification information of the image located on the forefront of the overlay displayed on the display means is stored for each pixel of the display means An identification information storage means for specifying, an identification means for specifying an image to be displayed on each pixel of the screen of the display means in accordance with the identification information referenced from the identification information storage means, and image data of the image specified by the specification means is stored as data Display data generating means for obtaining pixel data corresponding to each pixel on the screen of the display means and generating display data for display on the display means based on the obtained pixel data. Characterized in that it Bei.

また、本発明による画像表示方法においては、複数の画像を重ねて表示可能な表示手段を備えた画像表示装置を利用した画像表示方法であって、画像に画像を識別するための識別情報が付与されており、表示手段に表示する重ね合わせの最前面に位置する画像の識別情報を、表示手段の画素毎に格納する識別情報格納手段から、識別情報を参照して、参照した識別情報に応じて、表示手段の画面の各画素に表示する画像を特定する特定ステップと、特定ステップで特定した画像の画像データを、画像データを保持するデータ保持手段から参照して、表示手段の画面の各画素に対応する画素データを出力する画素データ出力ステップと、画素データ出力ステップで出力した画素データを基に表示手段に表示するための表示データを生成する表示データ生成ステップとを有することを特徴とする。 The image display method according to the present invention is an image display method using an image display device provided with display means capable of displaying a plurality of images in a superimposed manner, and identification information for identifying the image is given to the image. The identification information of the image located on the forefront of the overlay displayed on the display means is referred to the identification information from the identification information storage means for storing each pixel of the display means, and the identification information is referred to. The specifying step for specifying the image to be displayed on each pixel of the screen of the display means, and the image data of the image specified in the specifying step are referred to from the data holding means for holding the image data, and each of the screens of the display means A pixel data output step for outputting pixel data corresponding to the pixel, and a display for generating display data for display on the display means based on the pixel data output in the pixel data output step And having a chromatography data generating step.

また、本発明によるプログラムは、複数の画像を重ねて表示可能な表示手段を備えた画像表示装置用のプログラムであって、画像に画像を識別するための識別情報が付与されており、表示手段に表示する重ね合わせの最前面に位置する画像の識別情報を、表示手段の画素毎に格納する識別情報格納手段から、識別情報を参照して、参照した識別情報に応じて、表示手段の画面の各画素に表示する画像を特定する特定ステップと、特定ステップで特定した画像の画像データを、画像データを保持するデータ保持手段から参照して、表示手段の画面の各画素に対応する画素データを出力する画素データ出力ステップと、画素データ出力ステップで出力した画素データを基に表示手段に表示するための表示データを生成する表示データ生成ステップとをコンピュータに実行させるためのプログラムである。 The program according to the present invention is a program for an image display device provided with a display unit capable of displaying a plurality of images in a superimposed manner, and identification information for identifying the image is given to the image. The identification information of the image located on the forefront of the overlay displayed on the display means is referred to the identification information from the identification information storage means for storing each pixel of the display means, and the screen of the display means is displayed according to the referenced identification information. A specifying step for specifying an image to be displayed on each of the pixels, and image data of the image specified in the specifying step is referred to from a data holding means for holding the image data, and pixel data corresponding to each pixel on the screen of the display means Data output step for outputting the display data, and a display data generation step for generating display data for display on the display means based on the pixel data output in the pixel data output step Is a program for causing a computer to execute the.

本発明による画像表示装置、画像表示方法及びそのプログラムは、煩雑な操作を伴わずにユーザの意図を反映した記録フォルダを作成し、撮影データを保存することができる。 The image display apparatus, the image display method, and the program thereof according to the present invention can create a recording folder that reflects the user's intention without complicated operations, and can store shooting data.

以下に、図面を参照して、本発明の好適な実施の形態について説明する。
［第１の実施形態］
本発明の第１の実施形態における画像表示装置として、液晶ディスプレイやＣＲＴなどの表示装置に対して画像表示を行うコンピュータ内に内蔵された画像表示装置を例に説明する。 The preferred embodiments of the present invention will be described below with reference to the drawings.
[First Embodiment]
As an image display device according to the first embodiment of the present invention, an image display device built in a computer that displays an image on a display device such as a liquid crystal display or a CRT will be described as an example.

図８は、本発明の第１の実施形態における画像表示装置を含むコンピュータのハードウェア構成例を示す図である。コンピュータ８００は、本実施形態の特徴となる画像表示装置８０９を含む構成である。システムバス８０１には、ＣＰＵ（中央演算装置）８０２、システムプログラムが格納されているＲＯＭ８０３、システムプログラム実行時に使用される一時記憶装置であるＲＡＭ８０４が接続されている。また、ＲＯＭ８０３からＲＡＭ８０４にシステムプログラムが読み込まれ、ＣＰＵ８０２によって実行される。８０５は電源装置である。通信制御装置８０６はシステムバス８０１に接続しており、コンピュータ８００がネットワークに接続可能であり、ネットワークから画像データを受信して画面に表示することも可能となっている。 FIG. 8 is a diagram illustrating a hardware configuration example of a computer including the image display apparatus according to the first embodiment of the present invention. The computer 800 includes an image display device 809 that is a feature of the present embodiment. Connected to the system bus 801 are a CPU (Central Processing Unit) 802, a ROM 803 that stores system programs, and a RAM 804 that is a temporary storage device used when the system programs are executed. A system program is read from the ROM 803 into the RAM 804 and executed by the CPU 802. Reference numeral 805 denotes a power supply device. The communication control device 806 is connected to the system bus 801 so that the computer 800 can be connected to a network, and image data can be received from the network and displayed on the screen.

８０７は、コンピュータ８００に取り付けられるハードディスク装置、あるいはＳＤ、ＭＭＣ、ＣＦのような記憶素子部分をコンピュータ８００本体から取り外すことができる記憶媒体を含む外部記憶装置である。８０８は、画像復号化装置であり、例えば、ＭＰＥＧなどの動画コーデックやＪＰＥＧなどの静止画コーデックでデジタル圧縮されたデータをデコードするための専用デコーダＩＣ（集積回路）である。８０９は、画像表示装置であり、画面表示データを生成し表示出力装置８１０に対して画面表示を行う。 Reference numeral 807 denotes an external storage device including a hard disk device attached to the computer 800 or a storage medium from which a storage element portion such as SD, MMC, and CF can be removed from the computer 800 main body. Reference numeral 808 denotes an image decoding device, which is a dedicated decoder IC (integrated circuit) for decoding data digitally compressed by a moving image codec such as MPEG or a still image codec such as JPEG, for example. Reference numeral 809 denotes an image display device that generates screen display data and performs screen display on the display output device 810.

表示出力装置８１０は、液晶ディスプレイやＣＲＴなどであり画像表示装置８０９の制御に応じた画像を画面に表示する。ＣＰＵ８０２で作成されたＧＵＩやグラフィックデータなどのラスタイメージや、画像復号化装置８０８でデコードされた動画像データなど、重ね合わせ表示対象の画像データは、ＲＡＭ８０４に書き込まれる。画像表示装置８０９は、ＲＡＭ８０４にアクセスして各々の画像データを参照することになる。 The display output device 810 is a liquid crystal display, a CRT, or the like, and displays an image according to the control of the image display device 809 on the screen. Image data to be superimposed and displayed, such as raster images such as GUI and graphic data created by the CPU 802 and moving image data decoded by the image decoding device 808, is written into the RAM 804. The image display device 809 accesses the RAM 804 and refers to each image data.

次に、本発明の第１の実施形態の画像表示装置８０９における表示制御処理について一例を説明する。本実施形態の画像表示装置８０９は、重ね合わせ表示の対象である各画像が矩形である場合には、表示出力装置８１０の画面における画像の左上頂点の座標を保持する。また、画像表示装置８０９は、ＲＡＭ８０４上に、各画像の画面表示用データをラスタイメージデータに展開して保持している。ここでラスタイメージデータは、点順次に画素データが並ぶ画像データである。すわなち、画像の最上部ラインから下方向に各ラインのデータが並び、それぞれのライン内では、最も左側の画素から右方向へ各画素のデータが並ぶ。 Next, an example of display control processing in the image display device 809 according to the first embodiment of the present invention will be described. The image display device 809 of this embodiment holds the coordinates of the upper left vertex of the image on the screen of the display output device 810 when each image to be superimposed is rectangular. Further, the image display device 809 expands and stores screen display data of each image into raster image data on the RAM 804. Here, the raster image data is image data in which pixel data is arranged in dot order. In other words, the data of each line is arranged downward from the uppermost line of the image, and the data of each pixel is arranged from the leftmost pixel to the right in each line.

画像表示装置８０９が扱う、重ね合わせ対象の各画像には一意に決まる番号（以下、画像番号とする）が振られている。これにより、画像表示装置８０９がある瞬間に表示出力装置８１０の画面に表示する画像の構成は、全て画像番号によって特定することが可能である。図２は、第１の実施形態における画素番号配列例を示す図である。 Each image to be superimposed, which is handled by the image display device 809, is assigned a unique number (hereinafter referred to as an image number). As a result, the configuration of the image displayed on the screen of the display output device 810 at a certain moment can be specified by the image number. FIG. 2 is a diagram illustrating an example of pixel number arrangement in the first embodiment.

図２において、２０１は、画像番号（識別情報）を格納するデータ配列（識別情報格納手段）であり、表示出力装置８１０の画面における画素数分の要素を持ち、画像の重ね合わせの最前面に表示する画像を特定する画像番号を格納する。以下の説明では、このデータ配列２０１を画像番号配列２０１と呼ぶことにする。画像番号配列２０１において、各配列要素が、表示出力装置８１０の各画素に対応し、各配列要素に格納される画像番号が表示する画像を特定する。すなわち、画像番号配列２０１には、画像番号により表示出力装置８１０の画面の各画素で表示する画像が示されている。画像番号の最大値によって、画像表示装置８０９が重ね合わせて表示できる画像の最大数が決まる。例えば、画像番号を１２ｂｉｔ値とする場合、最大４０９６個の画像を重ね合わせることが可能である。 In FIG. 2, 201 is a data array (identification information storage means) for storing image numbers (identification information), which has elements for the number of pixels on the screen of the display output device 810, and is on the forefront of image superposition. Stores an image number for specifying an image to be displayed. In the following description, this data array 201 is referred to as an image number array 201. In the image number array 201, each array element corresponds to each pixel of the display output device 810, and an image displayed by the image number stored in each array element is specified. That is, the image number array 201 indicates an image to be displayed on each pixel of the screen of the display output device 810 by the image number. The maximum number of images that the image display device 809 can display in an overlapping manner is determined by the maximum value of the image number. For example, when the image number is a 12-bit value, a maximum of 4096 images can be superimposed.

従来のフレームバッファのレイヤ構造による重ね合わせでは、重畳するフレームバッファ数によって、レイヤ数が制限されてしまう。しかし、本実施形態における画像表示装置８０９では、前述の通り常に画像番号配列２０１が各画素について最前面に表示する画像を指しているため、フレームバッファの数による重ね合わせ数の制限を受けない。したがって、画像の重ね合わせのレイヤ構造でレイヤ数を非常に大きくすることができる。 In the superposition of the conventional frame buffer layer structure, the number of layers is limited by the number of frame buffers to be superimposed. However, in the image display device 809 according to the present embodiment, since the image number array 201 always points to an image displayed on the forefront for each pixel as described above, there is no limitation on the number of overlays due to the number of frame buffers. Therefore, the number of layers can be greatly increased by the layered structure of the superimposed images.

以下、図１と図２を用いて、画像表示装置８０９において、表示出力装置８１０の画面の表示データを決定する方法を説明する。図２に示すように、画像表示装置８０９は、画面のある画素に表示する画像の画像番号を画像番号配列２０１から参照する。図２において、２０２は、表示出力装置８１０の表示画面であり、縦Ｈ画素、横Ｗ画素の画面である。図２に示すように、表示画面２０２上の縦方向上からＸ画素目かつ横方向左からＹ画素目の画素２０３は、座標（Ｘ，Ｙ）で示すことができ、この画素２０３に対応する画像番号配列２０１の要素として、配列要素２０４が示されている。配列要素２０４には値ｎが格納されている。つまり、画像表示装置８０９は、画素２０３には画像番号ｎの画像データを表示することを表している。 Hereinafter, a method for determining display data of the screen of the display output device 810 in the image display device 809 will be described with reference to FIGS. 1 and 2. As shown in FIG. 2, the image display device 809 refers to the image number array 201 for the image number of the image to be displayed on a pixel on the screen. In FIG. 2, reference numeral 202 denotes a display screen of the display output device 810, which is a screen with vertical H pixels and horizontal W pixels. As shown in FIG. 2, the pixel 203 of the X pixel from the top in the vertical direction on the display screen 202 and the Y pixel from the left in the horizontal direction can be indicated by coordinates (X, Y), and corresponds to this pixel 203. An array element 204 is shown as an element of the image number array 201. The array element 204 stores a value n. That is, the image display device 809 indicates that the image data of the image number n is displayed on the pixel 203.

続いて表示出力装置８１０の画面がカラー画面である場合に、図１を参照して画像表示装置８０９において、表示データを決定する方法を説明する。図１は、画像表示装置８０９において、図２の表示画面２０２のある画素に表示する色データを決定するプロセスを説明する図である。上述したように、表示出力装置８１０は、表示画面２０２の各画素について、画像番号配列２０１の対応要素の値である画像番号を参照することで、最も前面に表示する画像を特定することができる。 Next, a method for determining display data in the image display device 809 will be described with reference to FIG. 1 when the screen of the display output device 810 is a color screen. FIG. 1 is a diagram illustrating a process of determining color data to be displayed on a certain pixel on the display screen 202 of FIG. 2 in the image display device 809. As described above, the display output device 810 can specify the image to be displayed in the forefront by referring to the image number that is the value of the corresponding element of the image number array 201 for each pixel of the display screen 202. .

図１において、１０３は、配列要素１０２の画像属性配列である。この画像属性配列１０３は、画像表示装置８０９が重ね合わせて合成する全ての画像について、ある瞬間の位置座標やサイズなどの属性を格納するテーブルである。この画像属性配列１０３のインデックス（図１の画像属性配列１０３の枠の左側の０、１、…、ｎ、…の数字）は、画像番号配列２０１の画像番号と対応（一致）している。すなわち、画像表示装置８０９は、配列要素１０２の画像番号ｎの画像属性として、画像属性配列１０３のインデックスｎの要素である画像属性情報１０４を参照する。画像属性情報１０４は、少なくとも表示出力装置８１０の画面における画像の左上頂点の座標ｘｎ（１０５）、ｙｎ（１０６）、画像の幅ｗｎ（１０７）、画像の高さｈｎ（１０８）、及びメモリアドレスａｄｄｒｎ（１０９）の情報を格納している。 In FIG. 1, reference numeral 103 denotes an image attribute array of the array element 102. The image attribute array 103 is a table that stores attributes such as position coordinates and size at a certain moment for all images that the image display device 809 overlays and combines. The index of the image attribute array 103 (numbers 0, 1,..., N,... On the left side of the frame of the image attribute array 103 in FIG. 1) corresponds to (matches) the image number of the image number array 201. That is, the image display device 809 refers to the image attribute information 104 that is the element of the index n of the image attribute array 103 as the image attribute of the image number n of the array element 102. The image attribute information 104 includes at least the coordinates xn (105) and yn (106) of the upper left vertex of the image on the screen of the display output device 810, the image width wn (107), the image height hn (108), and the memory address. Information of addrn (109) is stored.

画像の表示データは、画像表示装置８０９が参照するＲＡＭ８０４のどこかに格納されている。一つの画像の画像データは連続的なメモリ領域に格納されていればよく、ＲＡＭ８０４上の決まったメモリアドレスから始まるメモリ領域に格納する必要はない。図１のａｄｄｒｎ（１０９）は、画像番号ｎの画像の画像データの格納メモリ領域の先頭を示すメモリアドレスである。図１のメモリ１１０はＲＡＭ８０４のメモリマップを表している。図１では、ａｄｄｒｎ（１０９）を先頭アドレスとする表示データ１１１から始まる点線で囲まれた連続的なメモリ領域１１２に画像番号ｎの画像の表示データが格納されていることを表している。 Image display data is stored somewhere in the RAM 804 referred to by the image display device 809. The image data of one image need only be stored in a continuous memory area, and need not be stored in a memory area starting from a predetermined memory address on the RAM 804. Addrn (109) in FIG. 1 is a memory address indicating the head of the storage memory area of the image data of the image with the image number n. A memory 110 in FIG. 1 represents a memory map of the RAM 804. FIG. 1 shows that the display data of the image having the image number n is stored in the continuous memory area 112 surrounded by a dotted line starting from the display data 111 having addrn (109) as the head address.

画像表示装置８０９は、図２の画素２０３に関する表示データを、画像属性情報１０４を用いて参照することができる。例えば、画像データが２４ｂｉｔのＲＧＢイメージデータでＲＡＭ８０４に格納されているとすると、１画素あたり３ｂｙｔｅである。そこで、画像表示装置８０９は、画素２０３の座標（Ｘ，Ｙ）と、図１の画像属性情報１０４を用いて画素２０３の表示データが格納されているメモリアドレスＭＡを、以下の式により求めることができる。
ＭＡ＝ａｄｄｒｎ＋３＊｛Ｗｎ＊（Ｙ−ｙｎ）＋（Ｘ−ｘｎ）｝ The image display device 809 can refer to display data regarding the pixel 203 in FIG. 2 using the image attribute information 104. For example, if the image data is stored in the RAM 804 as 24-bit RGB image data, it is 3 bytes per pixel. Therefore, the image display device 809 obtains the memory address MA in which the display data of the pixel 203 is stored using the following formula using the coordinates (X, Y) of the pixel 203 and the image attribute information 104 of FIG. Can do.
MA = addrn + 3 * {Wn * (Y−yn) + (X−xn)}

上記式は、図１に示す先頭アドレスＡｄｄｒｎ（１０９）からメモリアドレスＭＡまでの差分１１３を、表示出力装置８１０の画面における画像の左上頂点の座標と画素２０３の座標の違いを利用することで求める式である。図１の表示データ１１４はこの結果得られる画素２０３の画像データを表す。以上に示したように、本実施形態における画像表示装置８０９は、表示出力装置８１０の画面の全画素について、個別に、最も手前となる表示すべき画像の表示データを得ることができる。また、画像表示装置８０９は、表示出力装置８１０の表示画面２０２を更新する周期で、表示画面２０２の全画素について重ね合わせの合成で最も前面に表示される画像の画像データの格納場所を、画像番号配列２０１及び画像属性配列１０３を参照することで特定できる。これにより、画像表示装置８０９は、重なりを構成する画像に動画像及び静止画像の両方が含まれていても、動画像の更新周期に合わせて表示データを更新できるので、それらの画像を重ねあわせた画面を表示出力装置８１０に表示することが可能である。 The above equation obtains the difference 113 from the start address Addrn (109) to the memory address MA shown in FIG. 1 by using the difference between the coordinates of the upper left vertex of the image on the screen of the display output device 810 and the coordinates of the pixel 203. It is a formula. The display data 114 in FIG. 1 represents the image data of the pixel 203 obtained as a result. As described above, the image display device 809 according to the present embodiment can obtain display data of an image to be displayed closest to each other for all the pixels of the screen of the display output device 810. In addition, the image display device 809 updates the display screen 202 of the display output device 810 at a cycle for updating the storage location of the image data of the image that is displayed in the foreground by superposition of all the pixels of the display screen 202. It can be specified by referring to the number array 201 and the image attribute array 103. As a result, the image display device 809 can update the display data in accordance with the update cycle of the moving image even if both of the moving image and the still image are included in the image forming the overlap. Can be displayed on the display output device 810.

［第２の実施形態］
本発明の第２の実施形態における画像表示装置は、上述した第１の実施形態と同様のハードウェア構成であり、本実施形態でも図８に示したコンピュータ８００に内蔵された画像表示装置８０９を用いて説明する。第１の実施形態における画像表示装置８０９は、画像番号配列２０１において表示画面２０２の各画素に対応する配列要素２０４は、画像番号のみを格納していたが、第２の実施形態における画像表示装置８０９は、画像番号配列２０１において表示画面２０２の各画素に対応する配列要素に、画像番号と画素変更フラグを含む点で異なる。 [Second Embodiment]
The image display apparatus according to the second embodiment of the present invention has the same hardware configuration as that of the first embodiment described above. In this embodiment, the image display apparatus 809 built in the computer 800 shown in FIG. It explains using. In the image display device 809 according to the first embodiment, the array element 204 corresponding to each pixel of the display screen 202 in the image number array 201 stores only the image number, but the image display device according to the second embodiment. 809 is different in that the array element corresponding to each pixel of the display screen 202 in the image number array 201 includes an image number and a pixel change flag.

図３は、第２の実施形態における画像番号配列２０１の各配列要素のデータ構成例を示す図である。図３に示すように、配列要素３０１は、画像番号３０２と、画像番号配列２０１の各々の配列要素に対応する画素の表示データが変更されたか否かを示す画素変更フラグ３０３（オン：変更、オフ：否変更）とから構成されている。画像表示装置８０９は、表示タイミングにおいて、画素変更フラグ３０３がオンである画素のみ、画像番号３０２で特定される画像の表示データを、画像属性配列１０３を利用してＲＡＭ８０４から参照することで特定する。また、画像表示装置８０９は、画面に表示処理した後には当該画素の画素変更フラグ３０３をオフにする。また、表示タイミングで、画素変更フラグ３０３がオフの場合は、当該画素の表示データに変更がないことを示す。そこで、画像表示装置８０９は、前回の表示タイミングで利用した表示データを使用して表示する。 FIG. 3 is a diagram illustrating a data configuration example of each array element of the image number array 201 according to the second embodiment. As shown in FIG. 3, the array element 301 includes an image number 302 and a pixel change flag 303 (ON: change, indicating whether display data of pixels corresponding to each array element of the image number array 201 has been changed. Off: no change). The image display device 809 specifies the display data of the image specified by the image number 302 by referring to the RAM 804 using the image attribute array 103 only for the pixel for which the pixel change flag 303 is on at the display timing. . In addition, the image display device 809 turns off the pixel change flag 303 of the pixel after performing display processing on the screen. Further, when the pixel change flag 303 is OFF at the display timing, it indicates that the display data of the pixel is not changed. Therefore, the image display device 809 displays using the display data used at the previous display timing.

具体的には、画像表示装置８０９はは、表示画面２０２の各画素において最前面に表示する画像の画像番号が変わったり、画像の表示画面２０２上の位置（座標）やサイズが変わったり、動画像などの画像データのように内容が変化したりすることによって、画像番号配列２０１内の各配列要素に含まれる画素変更フラグ３０３を書き換える。このとき、画像表示装置８０９は、表示画面２０２上で表示データが変化する画素については、画像番号配列２０１の配列要素の画素変更フラグ３０３をオンにする。画像表示装置８０９は、表示出力装置８１０の表示更新タイミングで、表示データに変化がない画素は、画素変更フラグ３０３をオフにしておく。このようにして、画面の全画素の中で表示更新タイミング間に表示変化がある画素のみ画像データを参照して表示データを決定する。これにより、本実施形態の画像表示装置８０９は、画面表示にかかる計算処理量やデータ転送量を低減し、効率よい画像表示処理を行うことができる。 Specifically, the image display device 809 changes the image number of the image displayed at the forefront in each pixel of the display screen 202, changes the position (coordinates) and size of the image on the display screen 202, The pixel change flag 303 included in each array element in the image number array 201 is rewritten by changing the contents like image data such as an image. At this time, the image display device 809 turns on the pixel change flag 303 of the array element of the image number array 201 for the pixel whose display data changes on the display screen 202. The image display device 809 turns off the pixel change flag 303 for pixels whose display data has not changed at the display update timing of the display output device 810. In this way, display data is determined by referring to the image data only for pixels that have a display change between display update timings among all the pixels on the screen. As a result, the image display device 809 according to the present embodiment can reduce the calculation processing amount and data transfer amount for screen display and perform efficient image display processing.

［第３の実施形態］
本発明の第３の実施形態における画像表示装置は、上述した第１の実施形態と同様のハードウェア構成であるので、本実施形態でも図８に示したコンピュータ８００に内蔵された画像表示装置８０９を用いて説明する。第１の実施形態における画像表示装置８０９は、重ね合わせの全ての画像は、画像データの画素値がそのまま表示出力可能なデータ（表示データ）であるラスタイメージデータとしている（画面にそのまま表示可能なデータ形式で画像データをメモリ上に格納している）が、第３の実施形態における画像表示装置８０９は、画像データの種々のデータ形式を表示データ形式に変換する機能を更に有することで、メモリ上に種々のデータ形式の画像データを格納しても、表示可能である点で異なる。 [Third Embodiment]
Since the image display apparatus according to the third embodiment of the present invention has the same hardware configuration as that of the first embodiment described above, the image display apparatus 809 incorporated in the computer 800 shown in FIG. 8 also in this embodiment. Will be described. In the image display device 809 according to the first embodiment, all superimposed images are raster image data that is data (display data) in which the pixel values of the image data can be displayed and output as they are (can be displayed on the screen as they are). The image display device 809 according to the third embodiment further has a function of converting various data formats of the image data into the display data format, thereby storing the memory in the data format. Even if image data of various data formats is stored above, it can be displayed.

本実施形態の画像表示装置８０９は、画像データの各画素データから表示画面に出力する表示データ形式に、画素のデータ形式を変換する機能を持ち、この機能を画素値形式変換機能と呼ぶものとする。例えば表示出力装置８１０の画面出力が２４ｂｉｔのＲＧＢであるとする。また、コンピュータ８００の画像符号化装置８０８において、ＪＰＥＧのようなデジタル圧縮画像データを伸長し、ＹＣｂＣｒのような輝度と色差で表すデータ形式の画像データをメモリ上に格納したとする。このような場合に、例えば、本実施形態の画像表示装置８０９は、表示対象の画像がＹＣｂＣｒ形式の画像データであるならば、画素値形式変換機能によって、ＹＣｂＣｒの画素データを２４ｂｉｔＲＧＢに変換して出力する。 The image display device 809 according to the present embodiment has a function of converting the pixel data format into a display data format output from the pixel data of the image data to the display screen, and this function is called a pixel value format conversion function. To do. For example, it is assumed that the screen output of the display output device 810 is 24-bit RGB. Assume that the image encoding device 808 of the computer 800 decompresses digital compressed image data such as JPEG and stores image data in a data format such as YCbCr represented by luminance and color difference in the memory. In such a case, for example, if the image to be displayed is YCbCr format image data, the image display device 809 of the present embodiment converts the YCbCr pixel data into 24-bit RGB by the pixel value format conversion function. Output.

また、他の例としては、表示対象の画像の画像データ形式が２４ｂｉｔＲＧＢであり、表示出力装置８１０の画面出力が１６ｂｉｔＲＧＢの場合には、画像表示装置８０９は、画素値形式変換機能により表示出力装置８１０の能力に応じて画像データを適切に表現できるようにデータ形式を変換する。このように、表示出力装置８１０に表示可能な画像データ形式（表示データ形式）で表現できる色数とメモリ上にある画像データの画像データ形式の色数が異なる場合は、表示出力装置８１０の表示データ形式の色数で適切に表現できるようにデータ形式を変換することが可能である。 As another example, when the image data format of the image to be displayed is 24 bit RGB and the screen output of the display output device 810 is 16 bit RGB, the image display device 809 uses the pixel value format conversion function to display the display output device. The data format is converted so that the image data can be appropriately expressed according to the capability of 810. As described above, when the number of colors that can be expressed in the image data format (display data format) that can be displayed on the display output device 810 is different from the number of colors in the image data format of the image data on the memory, the display of the display output device 810 is displayed. It is possible to convert the data format so that it can be appropriately expressed by the number of colors of the data format.

［第４の実施形態］
本発明の第４の実施形態における画像表示装置は、上述した第１の実施形態と同様のハードウェア構成であるので、本実施形態でも図８に示したコンピュータ８００に内蔵された画像表示装置８０９を用いて説明する。第１の実施形態における画像表示装置８０９は重ね合わせの画像データは、矩形画像であり、画像のラスタイメージデータを点順次にメモリ上に保持していたが、第４の実施形態における画像表示装置８０９は、メモリに画像データを点順次に格納する必要がない点で異なる。 [Fourth Embodiment]
Since the image display apparatus according to the fourth embodiment of the present invention has the same hardware configuration as that of the first embodiment described above, the image display apparatus 809 incorporated in the computer 800 shown in FIG. 8 also in this embodiment. Will be described. In the image display device 809 according to the first embodiment, the superimposed image data is a rectangular image, and raster image data of the image is held in the memory in a dot-sequential manner. However, the image display device according to the fourth embodiment 809 is different in that it is not necessary to store image data in a dot-sequential manner in the memory.

具体的には、本実施形態における画像表示装置８０９は、例えばＲＧＢ形式の画像データを、線順次や面順次のデータ形式でメモリに格納してもよい。また、本実施形態における画像表示装置８０９は、ＹＣｂＣｒ４：２：２やＹＣｂＣｒ４：２：０などのように、色成分の信号量を落として、画像の画素数分の画素データをメモリに保持していなくてもよい。また、本実施形態における画像表示装置８０９は、画像データの画像フォーマットごとに適切に、メモリ上の画素データ参照のためのメモリアドレス計算を行うことが可能である。 Specifically, the image display device 809 in the present embodiment may store, for example, RGB format image data in a memory in a line sequential or frame sequential data format. In addition, the image display device 809 in the present embodiment reduces the amount of color component signals such as YCbCr4: 2: 2 and YCbCr4: 2: 0, and holds pixel data for the number of pixels of the image in a memory. It does not have to be. In addition, the image display device 809 in the present embodiment can perform memory address calculation for referring to pixel data on the memory appropriately for each image format of the image data.

［第５の実施形態］
本発明の第５の実施形態における画像表示装置は、上述した第１の実施形態と同様のハードウェア構成であるので、本実施形態でも図８に示したコンピュータ８００に内蔵された画像表示装置８０９を用いて説明する。また、上述した第３及び第４の実施形態では、画像データ形式によって、画素データから表示データの形式への変換や、画像データの格納順によって画素データを参照するためのアドレス計算を適切に行う例を示したが、本実施形態の画像表示装置８０９は、画像データに画像の属性情報を付与して管理し、その属性情報に画像データ形式を区別する識別子を含ませる点に特徴がある。本実施形態における画像表示装置８０９は、この識別子によって各画像データの画像データ形式を判別することが可能である。 [Fifth Embodiment]
Since the image display apparatus according to the fifth embodiment of the present invention has the same hardware configuration as that of the above-described first embodiment, the image display apparatus 809 incorporated in the computer 800 shown in FIG. Will be described. In the third and fourth embodiments described above, conversion from pixel data to display data format and address calculation for referring to the pixel data according to the storage order of the image data are appropriately performed depending on the image data format. Although an example has been shown, the image display device 809 of the present embodiment is characterized in that image attribute information is assigned to image data for management, and an identifier for distinguishing the image data format is included in the attribute information. The image display device 809 in the present embodiment can determine the image data format of each image data based on this identifier.

ここで、図面を用いて、画像の属性情報の具体例について説明する。図４は、第５の実施形態における画像の属性情報のデータフォーマット例を示す図である。図４において、４０１は、画像の属性情報であり、そのデータフォーマットを示している。属性情報４０１には、画像データ形式を区別する識別子フィールド４０２がある。画像表示装置８０９は、識別子フィールド４０２に格納されている識別子の値で画像データの形式を識別する。これにより、画像表示装置８０９は、識別した画像データ形式によって、画面の各画素の表示データを決定するために参照する画像データのアドレス計算方法を判断することができる。また、画像表示装置８０９は、画像データ形式によって画像データが画面表示可能なデータ形式へ変換を判別し、画素値形式変換機能における設定値を設定することが可能である。 Here, a specific example of image attribute information will be described with reference to the drawings. FIG. 4 is a diagram illustrating a data format example of image attribute information according to the fifth embodiment. In FIG. 4, reference numeral 401 denotes image attribute information indicating the data format. The attribute information 401 includes an identifier field 402 for distinguishing the image data format. The image display device 809 identifies the format of the image data based on the identifier value stored in the identifier field 402. Accordingly, the image display device 809 can determine an address calculation method of image data to be referred to in order to determine display data of each pixel on the screen, based on the identified image data format. The image display device 809 can determine whether the image data is converted into a data format that can be displayed on the screen according to the image data format, and can set a setting value in the pixel value format conversion function.

４０３は、可視性フラグフィールドであり、画像データの可視／不可視（表示データとして利用可能か否か）の性質を表すフラグを格納する。この可視性フラグが不可視を示す値である場合、画像表示装置８０９は、その画像を表示出力装置８１０の表示に直接利用しない。４０４は、データ所有フラグフィールドであり、画像データを所有しているか否かを示すフラグを格納する。データ所有フラグがオンの場合、メモリ中に画像データを保持していることを表す。画像データ形式によって、メモリ中に保持する画像データがない場合には、データ所有フラグはオフとなる。 Reference numeral 403 denotes a visibility flag field, which stores a flag representing the visible / invisible property of image data (whether it can be used as display data). When the visibility flag is a value indicating invisibility, the image display device 809 does not directly use the image for display on the display output device 810. Reference numeral 404 denotes a data ownership flag field that stores a flag indicating whether or not the image data is owned. When the data ownership flag is on, it indicates that image data is held in the memory. If there is no image data to be held in the memory depending on the image data format, the data ownership flag is turned off.

次に４０５〜４０８は、表示出力装置８１０の表示画面２０２における画像のＸ座標、Ｙ座標、幅、高さを示す情報を格納するフィールドである。以上に示した、フィールド４０２〜４０８に格納される情報は、画像データ形式に依らない共通の属性情報である。一方、４０９は、画像データ形式によって異なるデータフィールドある。例えば、データフィールド４０９は、ラスタイメージデータをメモリに持つ画像の属性情報の場合には、画像データの先頭アドレスの情報を格納する。画像表示装置８０９は、識別子フィールド４０２から参照する識別子によって特定した画像データ形式より、データフィールド４０９に格納されるデータを判別することが可能である。 Reference numerals 405 to 408 are fields for storing information indicating the X coordinate, Y coordinate, width, and height of the image on the display screen 202 of the display output device 810. The information stored in the fields 402 to 408 described above is common attribute information that does not depend on the image data format. On the other hand, reference numeral 409 denotes a data field that varies depending on the image data format. For example, in the case of image attribute information having raster image data in memory, the data field 409 stores information on the start address of the image data. The image display device 809 can determine the data stored in the data field 409 from the image data format specified by the identifier referenced from the identifier field 402.

次に、図４に示したデータフォーマット例を使用したデータ構成例について図を用いて説明する。図５は、図４に示したデータフォーマット例を使用したデータ構成例を示す図である。図５において、５０１は、ＹＣｂＣｒ４：２：０で面順次の画像データの属性情報のデータ構成例である。５０２〜５０８は、それぞれ図４の４０２〜４０８のフィールドに対応するデータである。最初のフィールド４０２のデータであるデータ５０２からは、ＹＣｂＣｒ４：２：０で面順次にメモリに格納されている画像データであると識別することができる。また、このとき最後のフィールド４０９のデータであるデータ５０９は、画像データのメモリアドレスを格納している。 Next, a data configuration example using the data format example shown in FIG. 4 will be described with reference to the drawings. FIG. 5 is a diagram illustrating a data configuration example using the data format example illustrated in FIG. 4. In FIG. 5, reference numeral 501 denotes a data configuration example of attribute information of frame sequential image data with YCbCr 4: 2: 0. Reference numerals 502 to 508 denote data corresponding to fields 402 to 408 in FIG. From the data 502 which is the data of the first field 402, it can be identified that the image data is stored in the memory in frame sequential order with YCbCr4: 2: 0. At this time, data 509 which is data in the last field 409 stores a memory address of image data.

［第６の実施形態］
本発明の第６の実施形態における画像表示装置は、上述した第１の実施形態と同様のハードウェア構成であるので、本実施形態でも図８に示したコンピュータ８００に内蔵された画像表示装置８０９を用いて説明する。上述した実施形態１では、重ね合わせた画像において、一番前面ではない部分の画像データとしては、必ずしもラスタデータをメモリ上に保持しなくてもよい。また、単色の画像はメモリ上に画像データを持つ必要がなく、画像属性情報に単色の画像を示す識別子と色データ値を持つだけでもよい。この場合は、メモリ上の画像データから画素の色データを参照せず、画像属性情報から表示色データを直接参照することができる。図６は、図４の画像属性情報のデータフォーマットに沿った単色画像データの属性情報の一例を示す。６０１は単色画像の属性情報である。６０２〜６０８は、それぞれ図４の４０２〜４０８のフィールドと同一の画像属性である。６０２はこの画像のデータ形式を示す識別子であり、２４ｂｉｔＲＧＢ形式の単色画像であることを示している。メモリ上に画像データを持たないため、６０４の画像データ所有フラグはオフとしている。単色画像であるので６０９のフィールドには２４ｂｉｔＲＧＢ値を格納している。 [Sixth Embodiment]
Since the image display apparatus according to the sixth embodiment of the present invention has the same hardware configuration as that of the first embodiment described above, the image display apparatus 809 incorporated in the computer 800 shown in FIG. 8 also in this embodiment. Will be described. In the first embodiment described above, raster data does not necessarily have to be stored in the memory as the image data of the portion that is not the forefront in the superimposed image. A single color image does not need to have image data in the memory, and the image attribute information may only have an identifier indicating a single color image and a color data value. In this case, the display color data can be directly referred to from the image attribute information without referring to the pixel color data from the image data on the memory. FIG. 6 shows an example of attribute information of monochromatic image data along the data format of the image attribute information of FIG. Reference numeral 601 denotes attribute information of a single color image. 602 to 608 are the same image attributes as the fields 402 to 408 in FIG. Reference numeral 602 denotes an identifier indicating the data format of the image, which indicates that the image is a single color image in the 24-bit RGB format. Since there is no image data on the memory, the image data possession flag 604 is off. Since it is a single color image, a 24-bit RGB value is stored in the field 609.

以上に説明したように、第１〜第６の実施形態におけるコンピュータ８００に内蔵された画像表示装置８０９レイヤ構造で重ね合わせるプレーン数のフレームバッファを持つ必要がなく、頻繁に更新される動画データ用にフレームバッファを持つこともない。従って、重ね合わせ表示で使用するメモリ量を減らすことができ、多くの複数の動画像と静止画像を重ね合わせた合成画像を表示することが可能である。 As described above, the image display device 809 built in the computer 800 in the first to sixth embodiments does not need to have a frame buffer with the number of planes to be superimposed, and is frequently updated for moving image data. Does not have a frame buffer. Accordingly, it is possible to reduce the amount of memory used in the superimposed display, and it is possible to display a composite image in which a large number of moving images and still images are superimposed.

［第７の実施形態］
本発明の第７の実施形態における画像表示装置について説明する。図７は、第７の実施形態における画像表示装置のハードウェア構成例を示すブロック図である。図７において、７００は、画像表示装置であり、画像表示処理部７０２、画像番号配列７０３、画像属性配列７０４、表示出力部７０６、システムバス７０７、及び主記憶装置７０８から構成されている。尚、本実施形態の画像表示装置７００は、図７に示した全ブロックを含む構成としたが、この限りではなく、例えば、図７の点線７０１が示す範囲の構成（以下、最小構成とする）でもよい。図７に示すように、最小構成では少なくとも画像表示処理部７０２、画像番号配列７０３、及び画像属性配列７０４から構成される。 [Seventh Embodiment]
An image display apparatus according to a seventh embodiment of the present invention will be described. FIG. 7 is a block diagram illustrating a hardware configuration example of the image display apparatus according to the seventh embodiment. In FIG. 7, reference numeral 700 denotes an image display device, which includes an image display processing unit 702, an image number array 703, an image attribute array 704, a display output unit 706, a system bus 707, and a main storage device 708. Note that the image display apparatus 700 of the present embodiment is configured to include all the blocks illustrated in FIG. 7, but is not limited to this, for example, a configuration in a range indicated by a dotted line 701 in FIG. ) As shown in FIG. 7, the minimum configuration includes at least an image display processing unit 702, an image number array 703, and an image attribute array 704.

画像番号配列７０３は、表示出力部７０６の表示画面の各画素において画像の重ね合わせの最前面である画像番号を格納する配列であり、図２に示した画像番号配列２０１と同様のデータ構成である。画像属性配列７０４は、重ね合わせ表示対象である全画像について、それぞれの画像属性情報を格納する配列であり、図１に示した画像属性配列１０３と同様のデータ構成である。画像番号配列７０３や画像属性配列７０４は、画像表示装置７００の内部レジスタやＳＲＡＭのように、高速にアクセス可能な記録媒体に格納されている。また、画像番号配列７０３と画像属性配列７０４は、システムバス７０７を通じて、外部システムからのアクセスによって内容の読み出し、書き換えが実行できる。 The image number array 703 is an array that stores an image number that is the forefront of image superposition in each pixel of the display screen of the display output unit 706, and has the same data configuration as the image number array 201 shown in FIG. is there. The image attribute array 704 is an array for storing the respective image attribute information for all images to be superimposed and displayed, and has the same data configuration as the image attribute array 103 shown in FIG. The image number array 703 and the image attribute array 704 are stored in a recording medium that can be accessed at high speed, such as an internal register or SRAM of the image display apparatus 700. The image number array 703 and the image attribute array 704 can be read and rewritten by the access from the external system through the system bus 707.

画像表示処理部７０２は、周期的な画面の表示タイミングで、画像番号配列７０３と画像属性配列７０４を参照し、表示出力部７０６の表示画面の各画素に表示する画像を特定し、その画像属性を取得する。画像表示処理部７０２には画素値形式変換回路７０５が備えられている。画素値形式変換回路７０５は、上述した第３の実施形態に記載の画素値形式変換機能と同等の機能を有するものであり、メモリに保持されている画像データの画像データ形式を、表示出力部７０６に表示可能な画像データ形式（表示データ形式）に変換する回路である。また、画像表示処理部７０２は、後述する表示出力部７０６に接続している。 The image display processing unit 702 refers to the image number array 703 and the image attribute array 704 at a periodic screen display timing, specifies an image to be displayed on each pixel of the display screen of the display output unit 706, and sets the image attribute To get. The image display processing unit 702 is provided with a pixel value format conversion circuit 705. The pixel value format conversion circuit 705 has a function equivalent to the pixel value format conversion function described in the third embodiment, and displays the image data format of the image data held in the memory as a display output unit. A circuit 706 converts the image data into a displayable image data format (display data format). The image display processing unit 702 is connected to a display output unit 706 described later.

表示出力部７０６は、ディスプレイ装置や外部映像出力装置であり、図８の表示出力装置８１０と同等の機能を有する。またシステムバス７０７は、画像表示処理部７０２、画像番号配列７０３、画像属性配列７０４、及び主記憶装置７０８を互いに接続している。主記憶装置７０８は、画像表示装置７００が扱う画像データを保持するのに使用される。画像表示処理部７０２が主記憶装置７０８に保持する画像データを参照し、内部の画素値形式変換回路７０５で表示データ形式に変換することで表示出力部７０６に表示可能な画像データ（表示画像データ）を生成する。 The display output unit 706 is a display device or an external video output device, and has a function equivalent to that of the display output device 810 of FIG. The system bus 707 connects the image display processing unit 702, the image number array 703, the image attribute array 704, and the main storage device 708 to each other. The main storage device 708 is used to hold image data handled by the image display device 700. Image data (display image data) that can be displayed on the display output unit 706 by referring to the image data held in the main storage device 708 by the image display processing unit 702 and converted into a display data format by the internal pixel value format conversion circuit 705. ) Is generated.

以上、説明したように、第７の実施形態として図７に示した画像表示装置７００の特徴となる機能は、第１〜第６の実施形態として図８に示したコンピュータ８００の特徴となる機能と同様である。すなわち、図８の画像表示装置８０９の内部構成が、図７の点線７０１で囲まれたブロックのような構成であってもよい。 As described above, the functions that are characteristic of the image display apparatus 700 shown in FIG. 7 as the seventh embodiment are the functions that are characteristic of the computer 800 shown in FIG. 8 as the first to sixth embodiments. It is the same. That is, the internal configuration of the image display device 809 in FIG. 8 may be a configuration like a block surrounded by a dotted line 701 in FIG.

また、上述した実施形態において画像表示装置８０９や画像表示処理部７０２の各処理は、各処理の機能を実現する為のプログラムをメモリから読み出してＣＰＵ（中央演算装置）が実行することによりその機能を実現させるものであってもよい。また、上述したメモリは、例えば、ＨＤＤ、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリ、あるいはこれらの組合せによるコンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。 In the above-described embodiment, each process of the image display device 809 and the image display processing unit 702 is performed by reading a program for realizing the function of each process from the memory and executing it by a CPU (central processing unit). May be realized. The above-mentioned memory is, for example, a non-volatile memory such as an HDD, a magneto-optical disk device, or a flash memory, a recording medium such as a CD-ROM that can only be read, a volatile memory other than a RAM, or these You may comprise from the computer-readable / writable recording medium by a combination.

また、画像表示装置８０９や画像表示処理部７０２の各機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。 Further, a program for realizing each function of the image display device 809 and the image display processing unit 702 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. Each processing may be performed as necessary. Here, the “computer system” includes an OS and hardware such as peripheral devices. Specifically, after a program read from a storage medium is written to a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the program is read based on the instructions of the program. It includes the case where the CPU of the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。 The “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in the computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding a program for a certain period of time are also included.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Further, a program product such as a computer-readable recording medium in which the above program is recorded can also be applied as an embodiment of the present invention. The above program, recording medium, transmission medium, and program product are included in the scope of the present invention.
The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.

画像表示装置８０９において、図２の表示画面２０２のある画素に表示する色データを決定するプロセスを説明する図である。3 is a diagram illustrating a process of determining color data to be displayed on a pixel on the display screen 202 in FIG. 2 in the image display device 809. FIG. 第１の実施形態における画素番号配列例を示す図である。It is a figure which shows the pixel number arrangement | sequence example in 1st Embodiment. 第２の実施形態における画像番号配列２０１の各配列要素のデータ構成例を示す図である。It is a figure which shows the data structural example of each arrangement | sequence element of the image number arrangement | sequence 201 in 2nd Embodiment. 第５の実施形態における画像の属性情報のデータフォーマット例を示す図である。It is a figure which shows the data format example of the attribute information of the image in 5th Embodiment. 図４に示したデータフォーマット例を使用したデータ構成例を示す図である。FIG. 5 is a diagram illustrating a data configuration example using the data format example illustrated in FIG. 4. 図４の画像属性情報のデータフォーマットに沿った単色画像データの属性情報の一例を示す図である。It is a figure which shows an example of the attribute information of the monochrome image data along the data format of the image attribute information of FIG. 第７の実施形態における画像表示装置のハードウェア構成例を示すブロック図である。It is a block diagram which shows the hardware structural example of the image display apparatus in 7th Embodiment. 本発明の第１の実施形態における画像表示装置を含むコンピュータのハードウェア構成例を示す図である。It is a figure which shows the hardware structural example of the computer containing the image display apparatus in the 1st Embodiment of this invention.

Explanation of symbols

１０３画像属性配列
１１０メモリ
２１０画像番号配列
７００画像表示装置
７０１画像表示装置（最小構成）
７０２画像表示処理部
７０３画像番号配列
７０４画像属性配列
７０５画素値形式変換回路
７０６表示出力部
７０７システムバス
７０８主記憶装置
８００コンピュータ
８０１システムバス
８０２ＣＰＵ
８０３ＲＯＭ
８０４ＲＡＭ
８０５電源装置
８０６通信制御装置
８０７外部記憶装置
８０８画像符号化装置
８０９画像表示装置
８１０表示出力装置 103 Image attribute array 110 Memory 210 Image number array 700 Image display device 701 Image display device (minimum configuration)
702 Image display processing unit 703 Image number array 704 Image attribute array 705 Pixel value format conversion circuit 706 Display output unit 707 System bus 708 Main storage device 800 Computer 801 System bus 802 CPU
803 ROM
804 RAM
805 Power supply device 806 Communication control device 807 External storage device 808 Image encoding device 809 Image display device 810 Display output device

Claims

An image display device provided with a display means capable of displaying a plurality of images superimposed,
Data holding means for holding image data of the image;
Identification information for identifying the image is added to the image, and the identification information of the image positioned on the forefront of the overlay displayed on the display means is stored for each pixel of the display means Storage means;
A specifying unit for specifying an image to be displayed on each pixel of the screen of the display unit according to the identification information referred from the identification information storage unit;
The image data of the image specified by the specifying means is referred to from the data holding means, pixel data corresponding to each pixel of the screen of the display means is obtained, and displayed on the display means based on the obtained pixel data. An image display device comprising: display data generating means for generating display data for the purpose.

The image is an image including a still image and a moving image, and the display data generating unit generates the display data in accordance with a display timing corresponding to a frame rate of the moving image. 2. The image display device according to 1.

Each image includes at least storage address information of the image data of the image in the data holding unit, display position information of the image on the screen of the display unit, width information and height information of the image being displayed on the display unit It further comprises image attribute information storage means for storing image attribute information,
The display data generation means uses the image attribute information referred to from the image attribute information storage means when obtaining pixel data corresponding to each pixel of the screen of the display means. The image display device according to claim 1 or 2.

The identification information storage means further stores, for each pixel of the display means, flag data indicating whether the data of each pixel of the display means has changed from the previous frame, together with the identification information,
The display data generating means refers to the identification information and the flag data from the identification information storage means, and obtains pixel data by referring to the image data of the image specified by the specifying means only for pixels that have changed. The image display device according to claim 1, wherein display data to be displayed on the display unit is generated based on newly obtained pixel data and pixel data before change. .

5. The display data generation means further comprises conversion means for converting the first data format of the image data into a second data format that can be displayed on the display means. 6. The image display device according to item 1.

The image attribute information further includes data format identification information for identifying a first data format of the image data,
The conversion means included in the display data generation means identifies the first data format of the image data by referring to the data format identification information from the image attribute information, and from the identified first data format 6. The image display device according to claim 5, wherein conversion to a second data format that can be displayed on the display means is performed.

The image attribute information may further include data indicating the color of the single color without holding the image data in the data holding unit when a part or all of the image is a single color image. Item 7. The image display device according to any one of Items 2 to 6.

An image display method using an image display device provided with display means capable of displaying a plurality of images in a superimposed manner,
Identification information for identifying the image is added to the image, and the identification information of the image positioned on the forefront of the overlay displayed on the display means is stored for each pixel of the display means A specifying step of specifying an image to be displayed on each pixel of the screen of the display unit, referring to the identification information from a storage unit, according to the referenced identification information;
A pixel data output step of referring to the image data of the image specified in the specifying step from a data holding unit that holds the image data, and outputting pixel data corresponding to each pixel of the screen of the display unit;
And a display data generation step of generating display data for display on the display means based on the pixel data output in the pixel data output step.

A program for an image display device provided with a display means capable of displaying a plurality of images superimposed,
Identification information for identifying the image is added to the image, and the identification information of the image positioned on the forefront of the overlay displayed on the display means is stored for each pixel of the display means A specifying step of specifying an image to be displayed on each pixel of the screen of the display unit, referring to the identification information from a storage unit, according to the referenced identification information;
A pixel data output step of referring to the image data of the image specified in the specifying step from a data holding unit that holds the image data, and outputting pixel data corresponding to each pixel of the screen of the display unit;
A program for causing a computer to execute a display data generation step for generating display data for display on the display means based on the pixel data output in the pixel data output step.