JP2015099443A - Image processing apparatus, image processing method, and computer program - Google Patents
Image processing apparatus, image processing method, and computer program Download PDFInfo
- Publication number
- JP2015099443A JP2015099443A JP2013238069A JP2013238069A JP2015099443A JP 2015099443 A JP2015099443 A JP 2015099443A JP 2013238069 A JP2013238069 A JP 2013238069A JP 2013238069 A JP2013238069 A JP 2013238069A JP 2015099443 A JP2015099443 A JP 2015099443A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- area
- update area
- update
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Generation (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、画像処理装置、画像処理方法、及びコンピュータプログラムに関し、特に、第1の画像に第2の画像を上書きして画像を描画するために用いて好適なものである。 The present invention relates to an image processing apparatus, an image processing method, and a computer program, and is particularly suitable for use in drawing an image by overwriting a second image on a first image.
アニメーションの描画に、ベクタグラフィックスを用いるシステムが普及している。表示デバイスの大画面化や高解像度化に伴い、画像の描画に用いるレンダラが取り扱うピクセル数は今後も増大が予想される。描画対象のピクセル数が多い場合、座標情報や色情報を用いて描画図形(オブジェクト)の形状を指示するベクタグラフィックスの方が、ビットマップを用いるラスタグラフィックスと比較して描画指示に用いるデータが小さい。 Systems that use vector graphics for drawing animation have become widespread. With the increase in screen size and resolution of display devices, the number of pixels handled by the renderer used to draw an image is expected to increase in the future. If the number of pixels to be drawn is large, vector graphics that specify the shape of a drawing figure (object) using coordinate information and color information are used for drawing instructions compared to raster graphics that use bitmaps. Is small.
ベクタグラフィックスアニメーションを描画するレンダラは、アニメーションを構成する各フレームを順に描画する。フレームの描画する方法として、各フレームに含まれるアニメーションの要素を毎フレームすべて描画する方法の他に、以前に描画した画像に現在のフレームで更新される差分を描画する方法がある。特許文献1には、オブジェクトの動作によって更新される領域のみを既に描画されたフレーム画像に上書きする方法が開示されている。
A renderer that draws vector graphics animation draws each frame constituting the animation in turn. As a method of drawing a frame, there is a method of drawing a difference updated in the current frame in a previously drawn image in addition to a method of drawing all animation elements included in each frame every frame.
任意のベクタグラフィックスアニメーションを描画するシステムでは、レンダラによるアニメーションの描画にかかる時間が予測できない。このようなシステムでは、描画済みの画像の表示処理と画像の更新処理とのタイミング制御の容易化のため、ダブルバッファやマルチバッファを用いる構成を採るものがある。ダブルバッファを用いるシステムでは、レンダラが以前のフレームとの差分を描画する場合、ダブルバッファを構成するバッファ間で適切なデータをコピーしておく必要がある。描画中のフレームが以前のフレームで描画したオブジェクトに半透明のオブジェクトを重ねるケースや、描画命令に基づき描画済みのフレームの任意の場所を参照し、現在のオブジェクトの描画に必要な色情報を描画済みのフレームから取得するケースがある。このため、1フレーム前の描画結果を、これから描画するバッファまたはワークメモリにコピーし、コピーが完了した後に描画処理を開始する。描画処理に先だって行われるバッファ間の画像のコピーにかかる待ち時間を削減するため、特許文献2には、変化しない領域をオンスクリーンにコピーすることと、差分の描画処理を行うこととを並行して行う方法が開示されている。
In a system that draws an arbitrary vector graphics animation, the time taken to render the animation by the renderer cannot be predicted. Some of such systems employ a configuration using a double buffer or a multi-buffer in order to facilitate the timing control of the rendered image display process and the image update process. In a system using a double buffer, when the renderer draws a difference from the previous frame, it is necessary to copy appropriate data between the buffers constituting the double buffer. Draw the color information necessary for drawing the current object by referring to the case where the frame being drawn overlaps a semi-transparent object over the object drawn in the previous frame, or any place in the drawn frame based on the drawing command There are cases where it is obtained from a completed frame. For this reason, the drawing result of the previous frame is copied to the buffer or work memory to be drawn, and the drawing process is started after the copying is completed. In order to reduce the waiting time required to copy an image between buffers performed prior to the drawing process,
しかしながら、描画ピクセル数の増大に伴い、レンダラが描画時に参照する画像データや、描画済みデータの出力に必要となるバンド幅が増大している。ダブルバッファやマルチバッファを用いるシステムでは、描画済み画像や背景画像のコピーのためのバンド幅も追加で必要となる。
また、全ての描画要素を再描画する方法では、フレーム間のコピーにかかるバンド幅は不要となる。しかしながら、フレーム間で差分がない領域にビットマップデータの参照や変形を含むケースでは、複数の入力ビットマップデータへのアクセスを毎フレーム繰り返す必要がある。このため、フレームの再描画のためのバンド幅が大きくなる。また、各フレームの描画処理に必要な時間も長くなってしまう。
本発明は、このような問題点に鑑みてなされたものであり、第1の画像に第2の画像を上書きして描画する際の描画時間を短縮すると共に、描画済みのデータの出力に必要なバンド幅を削減することを目的とする。
However, with the increase in the number of drawing pixels, the bandwidth required for outputting the image data that the renderer refers to at the time of drawing and the drawn data has increased. In a system using a double buffer or a multi-buffer, an additional bandwidth is required for copying a drawn image and a background image.
In the method of redrawing all the drawing elements, the bandwidth required for copying between frames is not necessary. However, in cases where bitmap data is referenced or modified in an area where there is no difference between frames, it is necessary to repeat access to a plurality of input bitmap data every frame. This increases the bandwidth for redrawing the frame. In addition, the time required for the drawing process for each frame also increases.
The present invention has been made in view of such problems, and it is necessary to reduce the drawing time when drawing the second image over the first image and to output the drawn data. The purpose is to reduce the bandwidth.
本発明の画像処理装置は、第1の画像の後に入力される第2の画像の描画命令に基づいて、前記第1の画像の領域のうち、前記第2の画像により更新される更新領域を設定する設定手段と、記憶媒体に記憶されている前記第1の画像の符号画像データのうち前記更新領域における前記第1の画像の符号画像データを復号化し、前記第1の画像の前記更新領域における復号データを生成する復号手段と、前記復号手段により生成された前記第1の画像の前記更新領域における復号データに対して、前記第2の画像を上書きする描画処理を行い、前記第2の画像の前記更新領域を含む領域の描画データを生成し、前記第2の画像の前記更新領域の描画データを出力する描画手段と、前記描画手段により出力された前記第2の画像の前記更新領域における描画データを符号化する符号化手段と、前記記憶媒体に記憶されている、前記第1の画像の前記更新領域とは異なる領域における符号画像データと、前記符号化手段により符号化された前記第2の画像の前記更新領域における描画データとを合成して、前記第2の画像の符号画像データを生成する符号画像合成手段と、前記符号画像合成手段により生成された前記第2の画像の符号画像データを前記記憶媒体に記憶する記憶手段と、を有することを特徴とする。 The image processing apparatus according to the present invention provides an update area updated by the second image among the areas of the first image, based on a drawing instruction of the second image input after the first image. Setting means for setting and decoding the code image data of the first image in the update area among the code image data of the first image stored in the storage medium, and the update area of the first image A decoding means for generating decoded data in the above; and a drawing process for overwriting the second image on the decoded data in the update area of the first image generated by the decoding means; A drawing unit that generates drawing data of an area including the update region of the image and outputs drawing data of the update region of the second image, and the update region of the second image output by the drawing unit In Encoding means for encoding the drawing data, and encoded image data in an area different from the update area of the first image stored in the storage medium, and the encoding means encoded by the encoding means A code image synthesizing unit that synthesizes drawing data in the update area of the second image and generates code image data of the second image; and a second image generated by the code image synthesizing unit. Storage means for storing code image data in the storage medium.
本発明によれば、第1の画像に第2の画像を上書きして描画する際の描画時間を短縮すると共に、描画済みのデータの出力に必要なバンド幅を削減することができる。 According to the present invention, it is possible to reduce the drawing time when drawing the second image over the first image and to reduce the bandwidth necessary for outputting the drawn data.
以下、図面を参照しながら、本発明の一実施形態について詳細に説明する。
図1は、本実施形態の画像処理装置100の構成の一例を示すブロック図である。
画像入力部101は、ベクタグラフィックスの描画命令を受信する。更新領域抽出部102は、画像入力部101が受信した描画命令から、現在のフレームの描画処理中に参照する1フレーム前の描画結果の領域の情報を更新領域情報として抽出する。現在のフレームの描画処理中に参照する1フレーム前の描画結果の領域は、1フレーム前の描画結果の領域のうち、現在のフレームにおいて更新される領域である。以下の説明では、この領域を必要に応じて更新領域と称する。
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram illustrating an example of the configuration of the
The
部分画像復号部103は、1フレーム前の描画結果を部分的にデコード(復号化)する。描画部104は、部分画像復号部103で部分的にデコードされた更新領域のデータに対して現在のフレームの更新領域のデータを上書きして更新領域の描画を行い、描画データを生成する。符号化部105は、描画部104で生成された描画データをエンコード(符号化)する。
符号画像合成部106は、データ格納部108に格納された1つ前のフレームの符号画像データと、符号化部105で符号化された描画データとをマージ(合成)して現在のフレームの符号画像データを生成する。出力部107は、符号画像合成部106で得られた符号画像データをデータ格納部108に出力する。復号部109は、データ格納部108に格納された符号画像データを復号化して復号画像データを生成する。表示部110は、復号部109で生成された復号画像データに基づく画像を表示する。
The partial image decoding unit 103 partially decodes (decodes) the drawing result of the previous frame. The
The code
以下、これらの動作の一例を説明する。
画像処理装置100は、ユーザによる操作指示に基づいて、SVGやJAVA(登録商標)で記述された画像データを、適切なパーザを用いてフレームの描画完了指示を含む描画命令に変換し、画像入力部101に入力する。
図2は、描画命令の一例を示す図である。図3は、図2に示す描画命令に基づき描画される2フレームの画像の一例を概念的に示す図である。具体的に図3(a)は、第1のフレームの画像(第1の画像)を示し、図3(b)は、第1のフレームの次に表示される第2のフレームの画像(第2の画像)を示す。
命令201から命令204は、図3(a)に示す第1のフレームの画像の描画命令である。命令205から命令215は、図3(b)に示す第2のフレームの画像の描画命令である。本実施形態では、第1のフレームの画像に追加のオブジェクトを上書きして第2のフレームの画像を描画する場合を例に挙げて示す。尚、本実施形態では、特に指定がない限り、X座標は右方向、Y座標は上方向に増加するものとする。
Hereinafter, an example of these operations will be described.
The
FIG. 2 is a diagram illustrating an example of a drawing command. FIG. 3 is a diagram conceptually showing an example of a two-frame image drawn based on the drawing command shown in FIG. Specifically, FIG. 3A shows an image of the first frame (first image), and FIG. 3B shows an image of the second frame displayed after the first frame (first image). 2 image).
命令201は、描画するフレームの全域を引数に指定された色で塗りつぶし、初期化することを示す。
命令202は、塗りつぶし色の設定を変更することを示す。命令202以降で塗りつぶし(FILL)が指示された場合、命令202の引数で指定された値が用いられる。以下、図2に含まれる色の設定を変更する命令では、RGBA各8ビットの色情報を用いるものとする。すなわち、図2の命令202、205、209、213は、Red、Green、Blue、α値をこの順で上位から8ビットずつパッキングした32ビットのデータで表現される。命令202が設定する色は不透過な灰色(0xAAAAAAFF)である。
The
命令203は、長方形の左下と右上の座標を受け取り、命令202で設定された灰色で塗りつぶされた長方形302を描画することを示す。図2に示す例では、長方形の左下と右上の座標はそれぞれ(X, Y)=(2.0,1.0), (5.0,3.0)である。
命令204は、第1のフレームの描画完了を指示することを示す。
命令205は、塗りつぶし色を透過な白(0xFFFFFF00)に変更することを示す。
命令206は、座標(X, Y)=(6.2, 6.0), (7.8, 8.5)をそれぞれ左下、右上とする長方形を命令205で設定した値で描画する。α値が0(ゼロ)であるため、この長方形は図3(b)の描画結果に現れない。
The
The
The
命令207は、塗りつぶし色を半透明の赤(0xFF000080)に設定することを示す。
命令208は、中心と、横幅及び高さと、角度とを指定して楕円を描画することを示す。具体的に命令208は、中心の座標が(X, Y)=(4.0, 4.0)、横幅及び高さがそれぞれ2.0、描画開始の開始角度が0(ゼロ)度、描画終了の角度が360度の円303を塗りつぶしで描画することを示す。
命令209は、塗りつぶし色を半透明の青(0x0000FF80)に設定することを示す。
命令210は、命令211が使用する座標情報を示す。
The command 208 indicates that an ellipse is drawn by designating the center, the width and height, and the angle. Specifically, the command 208 is such that the center coordinates are (X, Y) = (4.0, 4.0), the width and height are 2.0, the drawing start start angle is 0 (zero) degrees, and the drawing end angle is 360 degrees. Indicates that the
An
命令211では、描画開始の座標を指定するMOVETOと、現在の座標から指定された座標を線分で結ぶLINETOと、現在の座標と描画開始の座標とを結ぶCLOSEPATHと、を指定する。命令211に含まれる処理では、命令210で与えられた座標が順に参照される。
命令212は、命令210、命令211で指定した三角形304を描画することを示す。
命令213は、塗りつぶし色を黒(0x000000FF)に設定することを示す。
命令214は、座標(X, Y)=(5.1, 2.1), (5.9, 2.9)をそれぞれ左下、右上とする正方形305を描画することを示す。
命令215は、第2のフレームの描画完了を指示することを示す。
画像入力部101に入力された描画命令は、描画部104と更新領域抽出部102に送られる。
In the
The
The
The
The
The drawing command input to the
更新領域抽出部102は、描画命令から、図形の描画に関わる図形描画命令を抽出し、抽出した図形描画命令に与えられた座標情報から更新領域情報を生成する。
以下、本実施形態では、図3(b)に示す第2のフレームの画像を描画する際に、オブジェクトが存在し得る領域を囲む矩形領域であるバウンディングボックスを用いて更新領域情報を生成する方法を例に挙げて説明する。
The update
Hereinafter, in the present embodiment, when the image of the second frame shown in FIG. 3B is drawn, a method of generating update area information using a bounding box that is a rectangular area surrounding an area where an object may exist Will be described as an example.
図4は、命令205〜215で描画されるそれぞれのオブジェクトのバウンディングボックスの論理座標上での位置関係の一例を示す図である。
図2の命令205、206によって描画される長方形のバウンディングボックス401は、長方形を構成する頂点の情報から、左下、右上の座標をそれぞれ(X, Y)=(6.2, 6.0)、(7.8, 8.5)とする長方形となる。
命令207、208によって描画される円303のバウンディングボックス402は、円の中心点の情報と横幅及び高さの情報とから、左下、右上の座標をそれぞれ(X, Y)=(2.0, 2.0)、(6.0, 6.0)とする長方形となる。
FIG. 4 is a diagram illustrating an example of a positional relationship on the logical coordinates of the bounding box of each object drawn by the
The
The
命令209〜212によって描画される三角形304のバウンディングボックス403は、三角形を構成する頂点の情報から、左下、右上の座標をそれぞれ(X, Y)=(2.0, 0.0)、(3.0, 2.0)とする長方形となる。
命令213〜215によって描画される正方形305のバウンディングボックス404は、正方形を構成する頂点の情報から、左下、右上の座標をそれぞれ(X, Y)=(5.1, 2.1)、(5.9, 2.9)とする正方形となる。
The
The
実際には、ピクセル精度(1ピクセルの単位)で描画を行うため、更新領域抽出部102は、バウンディングボックスを含む"1つのピクセル又は複数のピクセルの集合"を更新領域情報として抽出する。
図5は、更新領域情報の一例を示す図である。具体的に図5(a)は、図4に示すバウンディングボックス401〜404を、縦8ピクセル、横10ピクセルのピクセル精度の2次元座標系にマッピングした更新領域の一例を示す図である。図5(b)は、図5(a)に示す更新領域から生成される更新領域情報の一例を示す図である。
Actually, in order to perform drawing with pixel accuracy (unit of one pixel), the update
FIG. 5 is a diagram illustrating an example of the update area information. Specifically, FIG. 5A is a diagram illustrating an example of an update region in which the bounding
領域501は、バウンディングボックス401を含む領域である。領域501は、図5(b)のエントリ513に示す通り、オブジェクトの更新領域の開始位置が(X, Y)=(6, 6)であり、サイズ(大きさ)が幅2ピクセル、高さ2ピクセルの領域として定義される。更新領域情報に記録されるオブジェクトには、オブジェクトの描画順を一意に識別する識別情報として、オブジェクトごとに異なるIDが付与される。
同様に領域502はバウンディングボックス402を含む領域、領域503はバウンディングボックス403を含む領域、領域504はバウンディングボックス404を含む領域である。領域502、領域503、領域504はそれぞれエントリ511、エントリ510、エントリ513に格納される。
An
Similarly, the
図1の説明に戻り、部分画像復号部103は、データ格納部108に置かれた1フレーム前の符号画像データのうち、更新領域情報によって指示される更新領域の符号画像データを読み出してデコードし、デコードした結果を描画部104に出力する。
部分画像復号部103は、第1のフレームの符号画像データを読み出し、更新領域情報の座標にあたる部分をデコードする。本実施形態では、符号画像データの生成に、ランレングス圧縮を用いる場合を例に挙げて説明する。ランレングス圧縮の場合、部分画像復号部103は、符号化された第1のフレームのラン長を走査して、更新領域情報にあたる領域をデコードし、デコードした結果を描画部104に出力する。
Returning to the description of FIG. 1, the partial image decoding unit 103 reads out and decodes the code image data of the update region indicated by the update region information from the code image data of the previous frame placed in the
The partial image decoding unit 103 reads the code image data of the first frame and decodes the portion corresponding to the coordinates of the update area information. In the present embodiment, a case where run-length compression is used for generating code image data will be described as an example. In the case of run length compression, the partial image decoding unit 103 scans the run length of the encoded first frame, decodes the region corresponding to the update region information, and outputs the decoded result to the
図6は、第1のフレームの更新領域をデコードした結果の一例を概念的に示す図である。具体的に図6は、第1のフレームの符号画像データのうち、図5(b)に示した更新領域情報により指示された更新領域の部分を、部分画像復号部103がデコードすることにより得られるピクセルイメージの一例を示す図である。
図5のエントリ510で指定される領域は、ピクセル601とピクセル602の領域である。エントリ512で指定される領域は、ピクセル604の領域である。以下同様に、エントリ511で指定される領域は、ピクセル603を左下とする幅4ピクセル、高さ4ピクセルの領域であり、エントリ513で指定される領域は、ピクセル605を左下とする幅2ピクセル、高さ2ピクセルの領域である。
FIG. 6 is a diagram conceptually illustrating an example of a result of decoding the update area of the first frame. Specifically, FIG. 6 shows that the partial image decoding unit 103 decodes the part of the update area indicated by the update area information shown in FIG. 5B in the encoded image data of the first frame. It is a figure which shows an example of the pixel image obtained.
The area specified by the
図6に示すデコードの結果(復号データ)は、部分画像復号部103と描画部104がともに参照可能な図示しないワークメモリに置いてもよい。デコードの結果(復号データ)を一度ワークメモリに格納する場合、部分画像復号部103は、更新領域情報のIDと、各IDに対応するデコードの結果(復号データ)へのポインタを描画部104に出力する。
The decoding result (decoded data) shown in FIG. 6 may be placed in a work memory (not shown) that can be referred to by both the partial image decoding unit 103 and the
描画部104は、第2のフレームの描画命令のうち更新領域の部分の描画命令を順に実行し、第2のフレームの更新領域の描画を行う。ピクセル値の算出に1フレーム前の描画結果が必要となる場合、描画部104は部分画像復号部103が出力した復号データを参照する。
図2に示した例では、以下のふたつの条件の何れかに当てはまるピクセルにおいて、1フレーム前の描画結果を参照する。
ひとつ目は、塗りつぶし色が半透明色で指定され、且つ、その半透明色の下地に1フレーム前の色を重ねる必要がある領域である。図3に示した例では、円303、三角形304の描画では、オブジェクトが存在する全てのピクセルで1フレーム前(第1のフレーム)の描画データを参照する必要がある。
The
In the example shown in FIG. 2, the drawing result of one frame before is referred to in a pixel that meets one of the following two conditions.
The first is an area in which the fill color is designated as a translucent color, and the color of the previous frame needs to be superimposed on the base of the translucent color. In the example shown in FIG. 3, in drawing the
ふたつ目は、オブジェクトの辺や1ピクセルに満たないオブジェクトが描画される領域である。図3において、現在の第2のフレームで描画された正方形305のオブジェクトの領域は幅0.8ピクセル、高さ0.8ピクセルであり、1ピクセルより小さい。よって、1ピクセル内の色の算出では、1ピクセル内でオブジェクトが覆わない部分の色と、オブジェクトが覆う部分の色を混色するため、1フレーム前のピクセル値を参照する必要がある。 The second is an area where an object less than one pixel is drawn. In FIG. 3, the area of the square 305 object drawn in the current second frame is 0.8 pixels wide and 0.8 pixels high, which is smaller than 1 pixel. Therefore, in the calculation of the color within one pixel, the color of the portion that is not covered by the object within one pixel and the color of the portion that is covered by the object are mixed, so it is necessary to refer to the pixel value one frame before.
図7は、第2のフレームにおける更新領域の(描画部104による)描画の結果(部分描画結果)の一例を示す図である。
ピクセル701では、第2のフレームで描画する三角形304がピクセルの75%をカバーし、残りの25%は第2のフレームで描画されない。ピクセル値の計算ではピクセルのカバー率が100%となる必要がある。このため、第2のフレームで描画されない25%の領域については、1フレーム前に描画した第1のフレームのピクセル色が用いられる。ピクセル701の値は、背景色を25%、三角形304の半透明の青(0x0000FF80)を75%の割合で混色した値となる。
同様にピクセル702の値は、長方形302の灰色(0xAAAAAAFF)を75%、三角形304の半透明の青(0x0000FF80)を25%の割合で混色した値である。
FIG. 7 is a diagram illustrating an example of a rendering result (partial rendering result) of the update area (by the rendering unit 104) in the second frame.
In
Similarly, the value of the
ピクセル703、704、705、706は、領域502に含まれているが、描画部104で描画された円303の色は、ピクセル703の値に寄与しない。よって、ピクセル703、704、705、706の値には、第1のフレームの描画結果として得られたピクセル値(図6に示すデコードの結果)がそのまま用いられる。
第2のフレームで描画される正方形305は不透過であるが、正方形305は、ピクセルの81%の領域しかカバーしていない。このため、残りの19%の領域からのピクセル値への寄与分を算出するため、描画部104は、ピクセル707の値を決定する際に、第1のフレームの描画結果として得られたピクセル値を参照する。
尚、描画部104は、第2のフレームの描画命令の全てを順に実行し第2のフレームの全ての描画を行い、そのうちの更新領域の描画データのみを出力してもよい。
The
The square 305 drawn in the second frame is opaque, but the square 305 covers only 81% of the pixels. Therefore, in order to calculate the contribution to the pixel value from the remaining 19% area, the
Note that the
図1の説明に戻り、符号化部105は、描画部104で描画された描画データを符号化したデータである部分符号画像データを生成して符号画像合成部106に出力する。
図8は、部分符号画像データの一例を示す図である。具体的に図8は、図7に示す部分描画結果を符号化部105で符号化した部分符号画像データの一例を示す図である。本実施形態では、ランレングス圧縮を行うため、部分符号はピクセル値とラン長で構成される。
図8のエントリ801は図7のピクセル701、エントリ802はピクセル702、エントリ803はピクセル703、エントリ804はピクセル708、709、エントリ805はピクセル704、エントリ806はピクセル707の符号化の結果を示す。以下同様に、座標値が小さいものから順に符号化される。
Returning to the description of FIG. 1, the
FIG. 8 is a diagram illustrating an example of partial code image data. Specifically, FIG. 8 is a diagram illustrating an example of partial code image data obtained by encoding the partial drawing result illustrated in FIG. 7 by the
図1の説明に戻り符号画像合成部106は、データ格納部108から読み出した第1のフレームの符号画像データと、符号化部105が出力する第2のフレームの部分符号画像データとをマージする。マージの際に選択するデータは、図5(b)に示した更新領域情報を参照して決定される。
図9は、第1のフレームの符号画像データの一例を示す図である。具体的に図9(a)は、第1のフレームを幅10ピクセル、高さ8ピクセルで描画した際のピクセル精度の画像の一例を示す図である。図9(b)は、第1のフレームの符号画像データの一例を示す図である。図2の描画命令によると、Color0は白、Color1は0xAAAAAAFF(灰色)である。
エントリ910は、ピクセル901からY=0のスキャンラインの10ピクセルと、Y=1のスキャンラインのX=0,X=1の2ピクセルとを合わせた背景色領域の符号化結果であるため、ラン長は12、ピクセル値はColor0となる。エントリ911は、同様にピクセル902から5ピクセル連続する灰色の領域であるため、ラン長は5、ピクセル値はColor1である。
Returning to the description of FIG. 1, the code
FIG. 9 is a diagram illustrating an example of the code image data of the first frame. Specifically, FIG. 9A is a diagram illustrating an example of an image with pixel accuracy when the first frame is drawn with a width of 10 pixels and a height of 8 pixels. FIG. 9B is a diagram illustrating an example of the code image data of the first frame. According to the drawing command of FIG. 2, Color0 is white and Color1 is 0xAAAAAAFF (gray).
Since the
次に、符号画像合成部106が、第1のフレームの符号画像データ(図9(b)を参照)と、第2のフレームの部分符号画像データ(図8を参照)とをマージし、第2のフレームの符号画像データを構成するための処理の一例を説明する。
符号画像合成部106は、図5(b)に示した更新領域情報から、第1のフレームの符号画像データをコピー(適用)する部分と、第2のフレームの部分符号画像データをコピー(適用)する部分とを判断する。本実施形態では簡単化のため、符号画像合成部106は、更新領域情報を読み、(X, Y)=(0, 0)からピクセル走査順にコピー元のデータを判定した結果を、図10に示す領域判定データに当てはめて中間形式で出力するものとする。
図10の各エントリは、ソースとレングスとを持つ。ソースは、第2のフレームの符号画像データのコピー元が、第1のフレームの符号画像データであるか、それとも、符号化部105が出力した第2のフレームの部分符号画像データであるかを示す。レングスは、各ソース元から取得したピクセル値が何ピクセル連続するかを示す。
Next, the code
The code
Each entry in FIG. 10 has a source and a length. The source determines whether the copy source of the encoded image data of the second frame is the encoded image data of the first frame or the partially encoded image data of the second frame output from the
図11は、符号画像合成部106の動作の一例を示すフローチャートである。
本実施形態では、符号画像合成部106は、第1のフレームの符号画像データの読み出し条件の判定にピクセルカウンタを用いる。ステップS1101で、符号画像合成部106は、ピクセルカウンタの値を0(ゼロ)にリセットする。
次に、ステップ1102において、符号画像合成部106は、図10に示す領域判定データの中に、未処理のエントリが存在するか否かを判定する。この判定の結果、図10に示す領域判定データの中に、未処理のエントリが存在しない場合には、図11のフローチャートによる処理を終了する。
FIG. 11 is a flowchart illustrating an example of the operation of the code
In the present embodiment, the code
Next, in step 1102, the code
一方、図10に示す領域判定データの中に、未処理のエントリが存在する場合には、ステップS1103に進む。ステップS1103に進むと、符号画像合成部106は、図10に示す領域判定データのエントリを1つ読み出す。
次に、ステップS1104において、符号画像合成部106は、ステップS1103で読み出した領域判定データのエントリのソースの値がFrame2であるか否かを判定する。この判定の結果、領域判定データのエントリのソースの値がFrame1である場合には、ステップS1105に進む。一方、領域判定データのエントリのソースの値がFrame2である場合には、後述するステップS1110に進む。
On the other hand, if there is an unprocessed entry in the area determination data shown in FIG. 10, the process proceeds to step S1103. In step S1103, the code
In step S1104, the code
ステップS1105に進むと、符号画像合成部106は、ピクセルカウンタの値が0(ゼロ)であるか否かを判定する。この判定の結果、ピクセルカウンタの値が0(ゼロ)である場合には、ステップS1106、S1107を省略して後述するステップS1108に進む。一方、ピクセルカウンタの値が0(ゼロ)でない(正である)場合には、ステップS1106に進む。
ステップS1106に進むと、符号画像合成部106は、第1のフレームFrame1の符号画像データのエントリを1つ読み出す(図9(b)を参照)。
次に、ステップS1107において、符号画像合成部106は、ピクセルカウンタの値に、ステップS1106で読み出した符号画像データのエントリのラン長を設定する(図9(b)を参照)。また、符号画像合成部106は、Frame1出力ピクセル値にステップS1106で読み出した符号画像データのエントリのピクセル値を設定する(図9(b)を参照)。
In step S1105, the code
In step S1106, the code
Next, in step S1107, the code
次に、ステップS1108において、符号画像合成部106は、次の処理を行う。すなわち、ステップS1107で設定したFrame1出力ピクセル値をピクセル値とし、ステップS1103で読み出した領域判定データのエントリのレングスをラン長として、第2のフレームFrame2の符号画像データのエントリを1つ出力する。図12は、第2のフレームの符号画像データの一例を示す図である。また、ステップS1105からステップS1108に進んだ場合、符号画像合成部106は、次の処理を行う。すなわち、ステップS1107で前回設定されたFrame1出力ピクセル値をピクセル値とし、ピクセルカウンタの値をラン長として、第2のフレームFrame2の符号画像データのエントリを1つ出力する。
次に、ステップS1109において、符号画像合成部106は、ピクセルカウンタの現在の値から、ステップS1103で読み出した領域判定データのエントリのレングスの値を減算してピクセルカウンタの値を更新する。以上で領域判定データの1つのエントリの処理が完了するので、ステップS1102に戻り、処理を繰り返す。
Next, in step S1108, the code
Next, in step S1109, the code
前述したように、ステップS1104において、領域判定データのエントリのソースの値がFrame2である場合には、ステップS1110に進む。ステップS1110に進むと、符号画像合成部106は、第2のフレームFrame2の部分符号画像データのエントリを1つ読み出す(図8を参照)。
次に、ステップS1111において、符号画像合成部106は、Frame2出力ピクセル値にステップS1110で読み出した部分符号画像のエントリのピクセル値を設定する。
次に、ステップS1112において、符号画像合成部106は、次の処理を行う。すなわち、ステップS1110で設定したFrame2出力ピクセル値をピクセル値とし、ステップS1103で読み出した領域判定データのエントリのレングスをラン長として、第2のフレームFrame2の符号画像データのエントリを1つ出力する。
As described above, if the source value of the entry of the area determination data is
Next, in step S <b> 1111, the code
Next, in step S1112, the code
ステップS1110〜S1112で第2のフレームFrame2の符号画像データのエントリを出力した場合、当該エントリに対応する領域の第1のフレームFrame1の符号画像データのエントリの読み出しをステップS1113〜S1122で省略する。
具体的にステップS1113において、符号画像合成部106は、スキップレングスにステップS1103で読み出した領域判定データのエントリのレングスを設定する。
次に、ステップS1114において、符号画像合成部106は、ピクセルカウンタの値がスキップレングスの値以上であるか否かを判定する。この判定の結果、ピクセルカウンタの値がスキップレングスの値以上である場合、処理中の第1のフレームFrame1の符号画像データでスキップ処理が完了する。この場合、ステップS1115において、符号画像合成部106は、ピクセルカウンタの現在値からスキップレングスの値を減算してピクセルカウンタの値を更新する。
When the code image data entry of the second frame Frame2 is output in steps S1110 to S1112, reading of the code image data entry of the first frame Frame1 in the area corresponding to the entry is omitted in steps S1113 to S1122.
Specifically, in step S1113, the code
Next, in step S <b> 1114, the code
次に、ステップS1116において、符号画像合成部106は、ピクセルカウンタの値が0(ゼロ)であるか否かを判定する。この判定の結果、ピクセルカウンタの値が0(ゼロ)である場合、ステップS1117、S1118において、符号画像合成部106は、ステップS1106、S1107と同様の処理を行って、ステップS1102に戻る。すなわち、符号画像合成部106は、第1のフレームFrame1の符号画像データのエントリを1つ読み出す。そして、符号画像合成部106は、ピクセルカウンタの値に、当該読み出した符号画像データのエントリのラン長を設定すると共に、Frame1出力ピクセル値に当該読み出した符号画像データのエントリのピクセル値を設定する。一方、ピクセルカウンタの値が0(ゼロ)でない場合には、ステップS1117、S1118を省略してステップS1102に戻る。
Next, in step S1116, the code
ステップS1114において、ピクセルカウンタの値がスキップレングスの値以上でないと判定された場合、スキップレングスが処理中の第1のフレームFrame1の符号画像データのエントリの残りピクセル数よりも長い。この場合には、ステップS1119〜S1122の処理で新たな第1のフレームFrame1の符号画像データのエントリを読み出し、スキップレングス分の第1のフレームFrame1の符号画像データのエントリをスキップする。 If it is determined in step S1114 that the value of the pixel counter is not greater than or equal to the skip length, the skip length is longer than the number of remaining pixels in the entry of the encoded image data of the first frame Frame1 being processed. In this case, the code image data entry of the new first frame Frame1 is read in the processing of steps S1119 to S1122, and the code image data entry of the first frame Frame1 corresponding to the skip length is skipped.
そのために、まず、ステップS1119において、符号画像合成部106は、スキップレングスの値からピクセルカウンタの値を減算する。そして、ステップS1120、S1121において、符号画像合成部106は、ステップS1106、S1107と同様の処理を行う。
そして、ステップS1122において、符号画像合成部106は、スキップレングスの値が0(ゼロ)であるか否かを判定する。この判定の結果、スキップレングスの値が0(ゼロ)である場合には、ステップ1102に戻る。一方、スキップレングスの値が0(ゼロ)でない(正の値である)場合、スキップレングスの値が0(ゼロ)になるまでステップS1114〜S1122の処理を繰り返す。
For this purpose, first, in step S1119, the code
In step S1122, the code
以下に、符号画像合成部106が、図10に示す領域判定データのエントリ1001〜エントリ1003を処理する方法の一例を説明する。
符号画像合成部106は、ステップS1101〜S1103の処理を順に実行し、図10に示す領域判定データの先頭のエントリ1001を読み出す。
図10のエントリ1001のソースの値はFrame1であるので、ステップS1104の判定の結果、ステップS1105に進む。
ステップS1101の初期化処理でピクセルカウンタの値は0(ゼロ)にリセットされている。このため、ステップS1105の判定の結果、ステップS1106に進む。ステップS1106において、符号画像合成部106は、第1のフレームFrame1の符号画像データのエントリとして、図9(b)の先頭のエントリ910を読み出す。
Hereinafter, an example of a method in which the code
The code
Since the source value of the
In the initialization process in step S1101, the value of the pixel counter is reset to 0 (zero). Therefore, the process proceeds to step S1106 as a result of the determination in step S1105. In step S1106, the code
続いて、ステップS1107において、符号画像合成部106は、図9(b)のエントリ910のラン長12をピクセルカウンタの値として設定する。さらに、符号画像合成部106は、図9(b)のエントリ910のピクセル値Color0をFrame1出力ピクセル値として設定する。
ステップS1103では、図10のエントリ1001(ラン長2)が読み出されており、ステップS1107では、エントリ910のピクセル値Color0がFrame1出力ピクセル値として設定されている。そこで、ステップS1108において、符号画像合成部106は、ラン長を2、ピクセル値をColor0とするエントリを、第2のフレームFrame2の符号画像データのエントリ1201として出力する。
ステップS1107において、ピクセルカウンタの値が12に更新されている。また、ステップS1103では、図10のエントリ1001(ラン長2)が読み出されている。そこで、ステップS1109において、符号画像合成部106は、ピクセルカウンタの現在の値12から、エントリ1001のレングスである2を減算し、ピクセルカウンタの値を10に更新する。
Subsequently, in step S1107, the code
In step S1103, the entry 1001 (run length 2) in FIG. 10 is read. In step S1107, the pixel value Color0 of the
In step S1107, the value of the pixel counter is updated to 12. In step S1103, the entry 1001 (run length 2) in FIG. 10 is read. Therefore, in step S1109, the code
その後、ステップS1102、S1103の処理を実行し、符号画像合成部106は、図10に示す領域判定データの次のエントリ1002を読み出す。
エントリ1002のソースはFrame2であるので、ステップS1104の判定の結果、ステップS1110に進む。
ステップS1110において、符号画像合成部106は、第2のフレームFrame2の部分符号画像データのエントリとして、図8の先頭のエントリ801を読み出す。続いて、ステップS1111において、符号画像合成部106は、ステップS1110で読み出したエントリ801のピクセル値Color7をFrame2出力ピクセル値として設定する。
Thereafter, the processes of steps S1102 and S1103 are executed, and the code
Since the source of the
In step S1110, the code
次に、ステップS1112において、符号画像合成部106は、第2のフレームFrame2の符号画像データのエントリ1202を出力する。このエントリ1202は、ステップS1110で設定したFrame2出力ピクセル値Color7をピクセル値とし、ステップS1103で読み出した領域判定データのエントリ1002のレングス1をラン長とするエントリである。
次に、ステップS1113において、符号画像合成部106は、スキップレングスとして、ステップS1103で読み出した領域判定データのエントリ1002のレングスの値1を設定する。
Next, in step S1112, the code
Next, in step S1113, the code
ステップS1109において、ピクセルカウンタの現在の値が10に設定され、ステップS1113において、スキップレングスの値が1に設定されているので、ステップS1114の判定の結果、ステップS1115に進む。
そして、ステップS1115において、符号画像合成部106は、ピクセルカウンタの現在の値である10からスキップレングスの値である1を減算し、ピクセルカウンタの値を9に更新する。この結果、ステップS1116において、ピクセルカウンタは0ではないと判定されるので、ステップS1102に戻る。
In step S1109, the current value of the pixel counter is set to 10. In step S1113, the skip length value is set to 1. As a result of the determination in step S1114, the process proceeds to step S1115.
In step S1115, the code
そして、ステップS1102、S1103の処理を実行し、符号画像合成部106は、図10に示す領域判定データの次のエントリ1003を読みだす。
エントリ1003のソースはFrame1であるので、ステップS1104の判定の結果、ステップS1105に進む。
ステップS1115において、ピクセルカウンタの値が9に更新されている。したがって、ステップS1105の判定の結果、ステップ1108に進む。前回のステップS1107において、エントリ910のピクセル値Color0がFrame1出力ピクセル値として設定されている。そこで、ステップS1108において、符号画像合成部106は、ラン長を9、ピクセル値をColor0とするエントリを、第2のフレームFrame2の符号画像データのエントリ1203として出力する。
Then, the processes of steps S1102 and S1103 are executed, and the code
Since the source of the
In step S1115, the value of the pixel counter is updated to 9. Therefore, as a result of the determination in step S1105, the process proceeds to step 1108. In the previous step S1107, the pixel value Color0 of the
前述したように、ステップS1115において、ピクセルカウンタの値が9に更新されている。また、ステップS1103では、図10のエントリ1003(ラン長9)が読み出されている。そこで、ステップS1109において、符号画像合成部106は、ピクセルカウンタの現在の値9から、エントリ1003のレングスである9を減算し、ピクセルカウンタの値を0に更新する。
以下同様の処理を行うことにより、図12に示す第2のフレームFrame2の符号画像データを得ることができる。
As described above, in step S1115, the value of the pixel counter is updated to 9. In step S1103, the entry 1003 (run length 9) in FIG. 10 is read. Therefore, in step S1109, the code
Thereafter, by performing the same processing, the code image data of the second frame Frame2 shown in FIG. 12 can be obtained.
図1の説明に戻り、出力部107は、以上のようにして符号画像合成部106が生成した第2のフレームFrame2の符号画像データをデータ格納部108に出力する。
復号部109は、出力部107による1フレーム(第2のフレームFrame2の符号画像データ)の出力が完了すると、出力が完了したフレームをデータ格納部108から読み出し、デコードする。
表示部110は、復号部109が出力したデータを表示する。
尚、映像や写真等、描画部104が描画する画像以外に複数の画像を重畳して出力するシステムでは、復号部109と表示部110との間で、画像の重ね合わせを行う処理部を追加してもよい。
Returning to the description of FIG. 1, the
When the
The display unit 110 displays the data output from the
In addition, in a system that superimposes and outputs a plurality of images other than the image drawn by the
以上のように本実施形態では、描画命令から、1フレーム前のフレームの領域に対して更新される領域を特定する。そして、1フレーム前の符号画像データから、特定した領域のデータを読み出してデコードし、デコードしたデータに対して現在のフレームの更新される領域のデータを上書きして符号化した部分符号画像データを生成する。そして、1フレーム前のフレームの領域に対して更新される領域を参照して、1フレーム前の符号画像データと部分符号画像データとをマージする。このように、1フレーム前の符号画像データをコピーして、更新される領域をデコードして描画するため、全てのオブジェクトを再描画する方法に比べて描画時間を短縮することができる。また、1フレーム前の符号画像データ及び部分符号画像データは符号化されているため、描画したデータの出力に必要なバンド幅を、非圧縮データを用いる場合と比較して削減することができる。 As described above, in the present embodiment, an area to be updated with respect to the area of the previous frame is specified from the drawing command. Then, from the encoded image data of the previous frame, the data of the specified area is read and decoded, and the partial encoded image data encoded by overwriting the decoded data with the updated area data of the current frame Generate. Then, the code image data of the previous frame and the partial code image data are merged with reference to the area updated with respect to the area of the frame of the previous frame. In this way, since the encoded image data of the previous frame is copied and the updated area is decoded and drawn, the drawing time can be shortened compared to the method of redrawing all objects. Further, since the encoded image data and the partial encoded image data of the previous frame are encoded, the bandwidth necessary for outputting the drawn data can be reduced as compared with the case where uncompressed data is used.
(変形例)
本実施形態では、透明なオブジェクトについてもバンディングボックスを計算し、更新領域情報に含めるようにした。しかしながら、透明なオブジェクトについては、このような処理を行わないようにしてもよい。以下に、このようにする場合のバウンディングボックスの算出と、更新領域情報の生成の方法の一例を示す。
(Modification)
In the present embodiment, the banding box is calculated even for a transparent object, and is included in the update area information. However, such processing may not be performed for transparent objects. Hereinafter, an example of a method for calculating the bounding box and generating the update area information in this case will be described.
更新領域抽出部102は、描画色の指示に関わる描画命令のα値を保持し、透明を示すα=0で描画されたオブジェクトのバウンディングボックスの演算を行わない。図2に示す描画命令では、描画色の指示に関わる命令は命令202、205、209、213である。図2の描画命令では、命令205でα値が0に設定された後、命令207の実行前まではα値が0となる。このため、更新領域抽出部102は、命令205で設定された色を用いる命令206に基づき描画するオブジェクトについては、バウンディングボックスを生成しない。
The update
図13は、更新領域情報の他の例を示す図である。具体的に図13(a)は、図4に示すバウンディングボックス402〜404を、縦8ピクセル、横10ピクセルのピクセル精度の2次元座標系にマッピングした更新領域の一例を示す図である。図13(b)は、図13(a)に示す更新領域から生成される更新領域情報の一例を示す図である。
図13(a)に示すように、命令202、209、213の設定色で描画されるオブジェクトの領域、領域502、503、504のみが更新領域となる。図13(b)に示すように、更新領域情報は、エントリ1304、1305、1306の3つとなる。この更新領域情報は、更新領域抽出部102から、部分画像復号部103と符号画像合成部106に出力される。
FIG. 13 is a diagram illustrating another example of the update area information. Specifically, FIG. 13A is a diagram illustrating an example of an update region in which the bounding
As shown in FIG. 13A, only the
また、本実施形態では、バウンディングボックスの計算を描画と同じピクセル精度を用いて行った場合を例に挙げて説明した。しかしながら、演算の高速化のために、バウンディングボックスの計算を描画よりも低いピクセル精度(複数のピクセルの単位)で行ってもよい。
図14は、更新領域情報のその他の例を示す図である。具体的に図14(a)は、図4に示すバウンディングボックス402〜404を、縦4ピクセル、横5ピクセルのピクセル精度(X方向、Y方向ともそれぞれ描画精度の半分のピクセル精度)の2次元座標系にマッピングした更新領域の一例を示す図である。図13(b)は、図13(a)に示す更新領域から生成される更新領域情報の一例を示す図である。
図14(a)に示すように、領域1401、1402は、図5(a)の領域501、502と同じ大きさを有する。これに対し、領域1403、1404は、バウンディングボックスの計算精度を半分にしたため、それぞれ、図5(a)の領域503、504の2倍、4倍の大きさとなる。これに伴い、図14(b)の更新領域情報のエントリ1410のサイズは、図5(b)の更新領域情報のエントリ510のサイズに対し縦が2倍の大きさになる。また、図14(b)の更新領域情報のエントリ1411のサイズは、図5(b)の更新領域情報のエントリ511のサイズに対し縦横共に2倍の大きさになる。
Further, in the present embodiment, the case where the calculation of the bounding box is performed using the same pixel accuracy as the drawing has been described as an example. However, in order to speed up the calculation, the bounding box may be calculated with a pixel accuracy (unit of a plurality of pixels) lower than that of drawing.
FIG. 14 is a diagram illustrating another example of the update area information. Specifically, FIG. 14A is a two-dimensional representation of the bounding
As shown in FIG. 14A, the
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
(その他の実施例)
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)が当該コンピュータプログラムを読み出して実行する。
(Other examples)
The present invention is also realized by executing the following processing. That is, first, software (computer program) for realizing the functions of the above embodiments is supplied to a system or apparatus via a network or various storage media. Then, the computer (or CPU, MPU, etc.) of the system or apparatus reads and executes the computer program.
102 更新領域抽出部、103 部分画像復号部、106 符号画像合成部 102 update region extraction unit, 103 partial image decoding unit, 106 code image synthesis unit
Claims (11)
記憶媒体に記憶されている前記第1の画像の符号画像データのうち前記更新領域における前記第1の画像の符号画像データを復号化し、前記第1の画像の前記更新領域における復号データを生成する復号手段と、
前記復号手段により生成された前記第1の画像の前記更新領域における復号データに対して、前記第2の画像を上書きする描画処理を行い、前記第2の画像の前記更新領域を含む領域の描画データを生成し、前記第2の画像の前記更新領域の描画データを出力する描画手段と、
前記描画手段により出力された前記第2の画像の前記更新領域における描画データを符号化する符号化手段と、
前記記憶媒体に記憶されている、前記第1の画像の前記更新領域とは異なる領域における符号画像データと、前記符号化手段により符号化された前記第2の画像の前記更新領域における描画データとを合成して、前記第2の画像の符号画像データを生成する符号画像合成手段と、
前記符号画像合成手段により生成された前記第2の画像の符号画像データを前記記憶媒体に記憶する記憶手段と、
を有することを特徴とする画像処理装置。 Setting means for setting an update area to be updated by the second image among the areas of the first image based on a drawing instruction of the second image input after the first image;
The encoded image data of the first image in the update area is decoded from the encoded image data of the first image stored in the storage medium, and decoded data in the update area of the first image is generated. Decryption means;
A drawing process for overwriting the second image is performed on the decoded data in the update area of the first image generated by the decoding unit, and the area including the update area of the second image is drawn. Drawing means for generating data and outputting drawing data of the update area of the second image;
Encoding means for encoding drawing data in the update area of the second image output by the drawing means;
Coded image data in an area different from the update area of the first image, and drawing data in the update area of the second image encoded by the encoding means, stored in the storage medium Code image synthesizing means for generating code image data of the second image,
Storage means for storing code image data of the second image generated by the code image synthesis means in the storage medium;
An image processing apparatus comprising:
記憶媒体に記憶されている前記第1の画像の符号画像データのうち前記更新領域における前記第1の画像の符号画像データを復号化し、前記第1の画像の前記更新領域における復号データを生成する復号工程と、
前記復号工程により生成された前記第1の画像の前記更新領域における復号データに対して、前記第2の画像を上書きする描画処理を行い、前記第2の画像の前記更新領域を含む領域の描画データを生成し、前記第2の画像の前記更新領域の描画データを出力する描画工程と、
前記描画工程により出力された前記第2の画像の前記更新領域における描画データを符号化する符号化工程と、
前記記憶媒体に記憶されている、前記第1の画像の前記更新領域とは異なる領域における符号画像データと、前記符号化工程により符号化された前記第2の画像の前記更新領域における描画データとを合成して、前記第2の画像の符号画像データを生成する符号画像合成工程と、
前記符号画像合成工程により生成された前記第2の画像の符号画像データを前記記憶媒体に記憶する記憶工程と、
を有することを特徴とする画像処理方法。 A setting step of setting an update area to be updated by the second image among the areas of the first image based on a drawing instruction of the second image input after the first image;
The encoded image data of the first image in the update area is decoded from the encoded image data of the first image stored in the storage medium, and decoded data in the update area of the first image is generated. Decryption step;
A drawing process for overwriting the second image is performed on the decoded data in the update area of the first image generated by the decoding step, and the area including the update area of the second image is drawn. A drawing step of generating data and outputting drawing data of the update area of the second image;
An encoding step of encoding drawing data in the update region of the second image output by the drawing step;
Coded image data in a region different from the update region of the first image stored in the storage medium, drawing data in the update region of the second image encoded by the encoding step, and A code image synthesis step for generating code image data of the second image,
A storage step of storing the code image data of the second image generated by the code image synthesis step in the storage medium;
An image processing method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013238069A JP6338357B2 (en) | 2013-11-18 | 2013-11-18 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013238069A JP6338357B2 (en) | 2013-11-18 | 2013-11-18 | Image processing apparatus, image processing method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015099443A true JP2015099443A (en) | 2015-05-28 |
JP2015099443A5 JP2015099443A5 (en) | 2017-01-05 |
JP6338357B2 JP6338357B2 (en) | 2018-06-06 |
Family
ID=53376031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013238069A Active JP6338357B2 (en) | 2013-11-18 | 2013-11-18 | Image processing apparatus, image processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6338357B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10896661B2 (en) | 2017-07-05 | 2021-01-19 | Samsung Electronics Co., Ltd. | Image processing apparatus and method for controlling the same |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013045401A (en) * | 2011-08-26 | 2013-03-04 | Mitsubishi Electric Corp | Animation drawing device |
WO2013102958A1 (en) * | 2012-01-06 | 2013-07-11 | 三菱電機株式会社 | Memory access control device |
-
2013
- 2013-11-18 JP JP2013238069A patent/JP6338357B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013045401A (en) * | 2011-08-26 | 2013-03-04 | Mitsubishi Electric Corp | Animation drawing device |
WO2013102958A1 (en) * | 2012-01-06 | 2013-07-11 | 三菱電機株式会社 | Memory access control device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10896661B2 (en) | 2017-07-05 | 2021-01-19 | Samsung Electronics Co., Ltd. | Image processing apparatus and method for controlling the same |
Also Published As
Publication number | Publication date |
---|---|
JP6338357B2 (en) | 2018-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI602148B (en) | Gradient adjustment for texture mapping to non-orthonormal grid | |
TWI570665B (en) | Computer graphics system and a graphics processing method | |
KR102275712B1 (en) | Rendering method and apparatus, and electronic apparatus | |
KR101922482B1 (en) | Varying effective resolution by screen location by changing active color sample count within multiple render targets | |
JP4850278B2 (en) | Content creation support device, content creation support method, and scenario file generation method | |
TW201813399A (en) | Method and apparatus for video encoding or decoding | |
US9129581B2 (en) | Method and apparatus for displaying images | |
US20140321771A1 (en) | Techniques for real-time clearing and replacement of objects | |
TWI690728B (en) | Method for processing projection-based frame that includes projection faces packed in cube-based projection layout with padding | |
JP2009238117A (en) | Multi-parallax image generation device and method | |
US8749566B2 (en) | System and method for an optimized on-the-fly table creation algorithm | |
CN109643462B (en) | Real-time image processing method based on rendering engine and display device | |
CN101097710A (en) | Image processor and image processing method | |
US20120206491A1 (en) | Information processing apparatus, information processing method, and data structure of content files | |
JP6338357B2 (en) | Image processing apparatus, image processing method, and program | |
JP6513305B2 (en) | Video combining apparatus and video combining method | |
JP2005135415A (en) | Graphic decoder including command based graphic output accelerating function, graphic output accelerating method therefor, and image reproducing apparatus | |
KR20050040712A (en) | 2-dimensional graphic decoder including graphic display accelerating function based on commands, graphic display accelerating method therefor and reproduction apparatus | |
JP2005322233A (en) | Memory efficient method and apparatus for compression encoding large overlaid camera image | |
US9317891B2 (en) | Systems and methods for hardware-accelerated key color extraction | |
JP2010238110A (en) | Image processor, image processing method and image processing program | |
WO2021245875A1 (en) | Image compositing device and image compositing method | |
JP2005266792A (en) | Memory efficient method and apparatus for displaying large overlaid camera image | |
US20110157162A1 (en) | Image processing device, image processing method, and program | |
JP3872056B2 (en) | Drawing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180410 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180508 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6338357 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |