JP2010257224A - Moving image display device - Google Patents

Moving image display device Download PDF

Info

Publication number
JP2010257224A
JP2010257224A JP2009106546A JP2009106546A JP2010257224A JP 2010257224 A JP2010257224 A JP 2010257224A JP 2009106546 A JP2009106546 A JP 2009106546A JP 2009106546 A JP2009106546 A JP 2009106546A JP 2010257224 A JP2010257224 A JP 2010257224A
Authority
JP
Japan
Prior art keywords
pattern
texture
gradation value
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009106546A
Other languages
Japanese (ja)
Inventor
Aki Sudo
亜紀 須藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2009106546A priority Critical patent/JP2010257224A/en
Publication of JP2010257224A publication Critical patent/JP2010257224A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Generation (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device that reproduces a video of high quality, rendering images of a three-dimensional model with a low processing load. <P>SOLUTION: A computer 20 performs rendering by mapping an x-coordinate vertical stripe pattern and a y-coordinate horizontal stripe pattern, corresponding to the bit values binary-representing coordinates (x,y) as the textures for a three-dimensional model, and analyzes resultant rendered images, which are bitmap images, to set a correspondence between the coordinates (x,y) of the rendered images and coordinates (Xt(x,y),Yt(x,y)) of the textures. When a video is displayed using the rendered images, a viewer 20 sequentially loads the rendered images in the background to rendering, as well as, rendering the gradation values at the coordinates (Xt(x,y),Yt(x,y)) of textures into the coordinates (x,y) of display images, according to the correspondence set beforehand. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、画像をフレーム単位で描画することにより動画像を表示する動画像表示装置に関する。   The present invention relates to a moving image display apparatus that displays a moving image by drawing an image in units of frames.

従来、この種の動画像表示装置としては、リアルタイムで3次元モデルをレンダリングしてディスプレイに表示するものや(例えば、特許文献1参照)、3次元モデルを予めレンダリングしてビットマップ画像を作成して保存しておきディスプレイの表示はビットマップ画像を読み込んで行なうものなどが提案されている。   Conventionally, as this kind of moving image display device, a three-dimensional model is rendered in real time and displayed on a display (for example, refer to Patent Document 1), and a bitmap image is created by previously rendering a three-dimensional model. It has been proposed that the display is performed by reading a bitmap image.

特開平07−152925号公報Japanese Patent Application Laid-Open No. 07-152925

前者の手法では、画面の表示周期よりも短い周期でレンダリング処理を行なう必要があるため、高い演算能力が要求される。したがって、用いるコンピューターによっては、演算能力に不足が生じ、レイトレーシングなどの高品質のレンダリングは行なうことができない。一方、後者の手法では、ビットマップ画像を表示するだけであるから、予め高品質のレンダリングを行なってビットマップ画像を作成しておくことにより、高品質の画像を表示することができるものの、現状では後から異なるテクスチャーに差し替えて使用することはできない。また、フレーム単位でビットマップ画像を描画して動画像を表示する場合には、表示周期よりも早く画像を読み込んで展開しなければフレーム落ちが生じてしまう。   In the former method, since it is necessary to perform the rendering process at a cycle shorter than the display cycle of the screen, a high calculation capability is required. Therefore, depending on the computer to be used, there is a shortage in computing ability, and high quality rendering such as ray tracing cannot be performed. On the other hand, since the latter method only displays a bitmap image, it is possible to display a high-quality image by creating a bitmap image by performing high-quality rendering in advance. Then you can't replace it with a different texture later. Also, when a moving image is displayed by drawing a bitmap image in units of frames, frames are dropped unless the image is read and developed earlier than the display cycle.

本発明の動画像表示装置は、処理負担が少なく、高品質の3次元モデルのレンダリング画像による動画をスムーズに表示することを主目的とする。   The moving image display apparatus according to the present invention has a main object of smoothly displaying a moving image by a high-quality three-dimensional model rendering image with less processing load.

本発明の動画像表示装置は、上述の主目的を達成するために以下の手段を採った。   The moving image display apparatus of the present invention employs the following means in order to achieve the main object described above.

本発明の動画像表示装置は、
画像をフレーム単位で描画することにより動画像を表示する動画像表示装置であって、
座標毎に階調値が異なる所定パターンをテクスチャーとして3次元モデルに貼り付けてレンダリングすることによりフレーム毎のビットマップ画像として得られたレンダリング済み画像を記憶すると共に該レンダリング済み画像を解析することにより得られる該レンダリング済み画像の座標と前記所定パターンの座標との対応関係を記憶する記憶手段と、
動画像の表示が指示されたときには、前記記憶手段から各フレームのレンダリング済み画像を所定量まで順次読み込む画像読込手段と、
前記記憶された対応関係に基づいてフレーム単位で順次前記読み込まれたレンダリング済み画像中に所望のテクスチャを合成して描画する描画手段と、
を備えることを要旨とする。
The moving image display device of the present invention includes:
A moving image display device that displays a moving image by drawing an image in frame units,
By storing a rendered pattern obtained as a bitmap image for each frame by pasting a predetermined pattern having different gradation values for each coordinate as a texture on a three-dimensional model and rendering, and analyzing the rendered image Storage means for storing a correspondence relationship between the coordinates of the obtained rendered image and the coordinates of the predetermined pattern;
An image reading unit that sequentially reads up to a predetermined amount of the rendered image of each frame from the storage unit when an instruction to display a moving image is given;
Drawing means for combining and drawing a desired texture in the read rendered image sequentially in units of frames based on the stored correspondence;
It is a summary to provide.

この本発明の動画像表示装置では、動画像の表示が指示されたときには、フレーム毎のレンダリング済み画像とこのレンダリング済み画像の座標と所定パターンの座標との対応関係とを記憶する記憶手段から各フレームのレンダリング済み画像を所定量まで順次読み込み、記憶された対応関係に基づいてフレーム単位で順次読み込まれたレンダリング済み画像中に所望のテクスチャを合成して描画する。したがって、3次元モデルをレンダリングした画像を所望のテクスチャーを差し替えて表示することができると共にリアルタイムで3次元モデルをレンダリングして動画像として表示するものに比して処理負担を少なくすることができる。また、動画像の表示が指示されたときには、描画手段の処理でレンダリング済み画像が必要とされるタイミングに先だって記憶手段に記憶されている各フレームのレンダリング済み画像を所定量まで順次読み込んでおくから、比較的処理能力の低い装置であっても、描画の度に対応するフレームのレンダリング済み画像を読み込むものに比して、フレーム落ちをより確実に防止することができる。   In the moving image display device of the present invention, when display of a moving image is instructed, each image is stored from a storage unit that stores a rendered image for each frame and a correspondence relationship between coordinates of the rendered image and coordinates of a predetermined pattern. The frame-rendered image is sequentially read up to a predetermined amount, and a desired texture is synthesized and drawn in the rendered image sequentially read in units of frames based on the stored correspondence. Therefore, an image obtained by rendering a three-dimensional model can be displayed with a desired texture replaced, and a processing load can be reduced as compared with a case where a three-dimensional model is rendered in real time and displayed as a moving image. In addition, when the display of the moving image is instructed, the rendered image of each frame stored in the storage unit is sequentially read up to a predetermined amount prior to the timing when the rendered image is required in the processing of the drawing unit. Even with a device having a relatively low processing capability, it is possible to prevent frame dropping more reliably than a device that reads a rendered image of a frame corresponding to each drawing.

こうした本発明の動画像表示装置において、前記対応関係は、前記レンダリング済み画像の各座標の階調値から対応する前記所定パターンの座標を特定することにより導出される関係であるものとすることもできる。   In such a moving image display device of the present invention, the correspondence relationship may be a relationship derived by specifying the corresponding coordinates of the predetermined pattern from the gradation value of each coordinate of the rendered image. it can.

また、本発明の動画像表示装置において、前記所定パターンは、座標を2進数で表現したときにビット数に応じた複数のパターンに、それぞれ座標毎に対応するビットの値に応じた階調値が設定されてなるパターンであるものとすることもできる。こうすれば、対応関係をより正確に設定することができる。この場合、前記2進数は、グレイコード(交番2進数)であるものとすることもできる。こうすれば、隣接する座標に移行する際に常に1ビットの変化しか生じないから、画像の階調値の誤差に起因して誤ったデータが取得されてしまうのを抑制することができる。   In the moving image display device of the present invention, the predetermined pattern may be a plurality of patterns corresponding to the number of bits when coordinates are expressed in binary numbers, and a gradation value corresponding to a bit value corresponding to each coordinate. It is also possible to assume that the pattern is set. In this way, the correspondence can be set more accurately. In this case, the binary number may be a gray code (alternate binary number). In this way, since only 1-bit change always occurs when moving to an adjacent coordinate, it is possible to suppress erroneous data from being acquired due to an error in the gradation value of the image.

さらに、本発明の動画像表示装置において、前記所定パターンは、前記対応関係を設定するための対応関係設定用パターンに加えてさらに最小階調値でベタ塗りしてなる第1ベタ塗りパターンを含むパターンであり、前記記憶手段は、前記レンダリング済み画像における前記第1ベタ塗りパターンの階調値であるバイアス値を記憶する手段であり、前記描画手段は、前記記憶されたバイアス値に基づいて前記所望のテクスチャの階調値をオフセットすることにより前記レンダリング済み画像の階調値に変換して描画する手段であるものとすることもできる。こうすれば、3次元モデルのレンダリングによる効果のうち元のテクスチャーに依存しないものを反映させることができる。   Furthermore, in the moving image display device of the present invention, the predetermined pattern includes a first solid pattern that is solid-coated with a minimum gradation value in addition to the correspondence setting pattern for setting the correspondence. The storage means is a means for storing a bias value that is a gradation value of the first solid pattern in the rendered image, and the drawing means is based on the stored bias value. It may be a means for converting and rendering the gradation value of the rendered image by offsetting the gradation value of the desired texture. By doing this, it is possible to reflect the effect of rendering the three-dimensional model that does not depend on the original texture.

また、本発明の動画像表示装置において、前記所定パターンは、前記対応関係を設定するための対応関係設定用パターンに加えてさらに最小階調値でベタ塗りしてなる第1ベタ塗りパターンと最大階調値でベタ塗りしてなる第2ベタ塗りパターンとを含むパターンであり、前記記憶手段は、前記レンダリング済み画像における前記第2ベタ塗りパターンの階調値と前記第1ベタ塗りパターンの階調値との偏差であるゲインを記憶する手段であり、前記描画手段は、前記記憶されたゲインに基づいて前記所望のテクスチャーの階調値を前記レンダリング済み画像の階調値に変換して描画する手段であるものとすることもできる。こうすれば、3次元モデルのレンダリングによる効果のうち元のテクスチャーの階調値に影響を受けるものを反映させることができる。この態様の本発明の動画像表示装置において、前記所定パターンは、前記描画手段により前記レンダリング済み画像に複数の所望のテクスチャーを配置して表示する場合には、前記配置する所望のテクスチャーの数だけ設けられたセット群であって各セットが1つの前記第2ベタ塗りパターンと前記配置するテクスチャーの数から値1を減じた数の前記第1ベタ塗りパターンとからなると共に各セット毎に前記3次元モデルに前記第2ベタ塗りパターンを貼り付ける箇所が異なる第1のセット群と、前記配置する所望のテクスチャーの数と同数の前記第1ベタ塗りパターンからなる1つの第2のセットとがそれぞれセット毎に前記3次元モデルに貼り付けられてレンダリングされるパターンであり、前記ゲインは、前記第1のセット群を各セット毎にレンダリングすることにより得られる各レンダリング済み画像の階調値と前記第2のセットをレンダリングすることにより得られるレンダリング済み画像の階調値とを前記第1のセット群の各セット毎に比較することにより、前記3次元モデルにテクスチャーが貼り付けられた領域であるテクスチャー領域を特定し、該特定したテクスチャー領域に対して算出されるものとすることもできる。こうすれば、テクスチャー領域をより容易に特定することができる。   Further, in the moving image display device of the present invention, the predetermined pattern includes a first solid pattern and a maximum pattern that are solidly applied with a minimum gradation value in addition to the correspondence setting pattern for setting the correspondence. A pattern including a second solid pattern that is solid-coated with gradation values, and the storage means stores the gradation value of the second solid pattern and the first solid pattern in the rendered image. Means for storing a gain which is a deviation from a tone value, and the drawing means converts the tone value of the desired texture into a tone value of the rendered image based on the stored gain and draws It can also be a means to do. In this way, it is possible to reflect the effect of the original texture gradation value among the effects of rendering the three-dimensional model. In the moving image display apparatus of the present invention of this aspect, when the predetermined pattern is displayed by arranging a plurality of desired textures on the rendered image by the drawing unit, the predetermined pattern is the number of the desired textures to be arranged. A set group, each set comprising one second solid pattern and the number of the first solid patterns obtained by subtracting the value 1 from the number of textures to be arranged; A first set group in which the location where the second solid pattern is pasted on the dimensional model is different from each other, and a second set including the same number of the first solid patterns as the number of desired textures to be arranged. The pattern is a pattern that is pasted to the 3D model and rendered for each set, and the gain includes the first set group for each set. For each set of the first set group, the gradation value of each rendered image obtained by rendering for each image and the gradation value of the rendered image obtained by rendering the second set By comparing, a texture region that is a region where a texture is pasted on the three-dimensional model is specified, and the texture region can be calculated for the specified texture region. In this way, the texture area can be specified more easily.

本発明の一実施形態としてのビューワー20の構成の概略を示す構成図。The block diagram which shows the outline of a structure of the viewer 20 as one Embodiment of this invention. コンピューター40の構成の概略を示す構成図。The block diagram which shows the outline of a structure of the computer 40. FIG. 特殊テクスチャー生成処理の一例を示すフローチャート。The flowchart which shows an example of a special texture production | generation process. 特殊テクスチャーの一例を示す説明図。Explanatory drawing which shows an example of a special texture. セット毎に特殊テクスチャーをレンダリングする様子を示す説明図。Explanatory drawing which shows a mode that a special texture is rendered for every set. 画像描画情報生成処理の一例を示すフローチャート。7 is a flowchart illustrating an example of image drawing information generation processing. バイアスBc,t(x,y)とゲインGc,t(x,y)を説明する説明図。Explanatory drawing explaining bias Bc, t (x, y) and gain Gc, t (x, y). 差し替え用テクスチャーの一例を示す説明図。Explanatory drawing which shows an example of the texture for replacement. 差し替え用テクスチャーのスライドショー表示の一例を示す説明図。Explanatory drawing which shows an example of the slide show display of the texture for replacement. スライドショー表示処理の様子を説明する説明図である。It is explanatory drawing explaining the mode of a slide show display process. 変形例の特殊テクスチャーを示す説明図。Explanatory drawing which shows the special texture of a modification. 変形例の特殊テクスチャーを用いてレンダリングする様子を示す説明図。Explanatory drawing which shows a mode that it renders using the special texture of a modification. 変形例の特殊テクスチャーを示す説明図。Explanatory drawing which shows the special texture of a modification.

次に、本発明の実施の形態を図面を用いて説明する。図1は本発明の一実施形態としてのビューワー20の構成の概略を示す構成図であり、図2はビューワー20による動画像の表示に用いるデータを作成するコンピューター40の構成の概略を示す構成図である。   Next, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing an outline of the configuration of a viewer 20 as an embodiment of the present invention, and FIG. 2 is a block diagram showing an outline of the configuration of a computer 40 that creates data used for displaying a moving image by the viewer 20. It is.

コンピューター40は、本実施形態のビューワー20により3次元レンダリング画像をフレーム単位で動画像として表示するために必要なデータを作成するものであり、図2に示すように、中央演算処理装置としてのCPUや処理プログラムを記憶するROM、データを一時的に記憶するRAM、グラフィックプロセッサー(GPU)、ハードディスク(HDD)、表示部21などからなる汎用のコンピューターとして構成されており、その機能ブロックとしては、3次元モデリングデータ(以下、3Dモデルという)やこれに貼り付けるテクスチャーデータ(以下、テクスチャーという)などを記憶する記憶部41と、3次元モデルに貼り付ける前処理用の特殊なテクスチャーを生成する特殊テクスチャー生成処理部42と、3次元モデルをレンダリングしてビットマップ画像を生成するレンダリング処理部44と、レンダリングにより得られたビットマップ画像としてのレンダリング済み画像を解析するレンダリング済み画像解析処理部46と、を備える。   The computer 40 creates data necessary for displaying a three-dimensional rendering image as a moving image in units of frames by the viewer 20 of the present embodiment, and as shown in FIG. 2, a CPU as a central processing unit. And a ROM for storing processing programs, a RAM for temporarily storing data, a graphic processor (GPU), a hard disk (HDD), a display unit 21 and the like. Storage unit 41 for storing dimensional modeling data (hereinafter referred to as 3D model) and texture data (hereinafter referred to as texture) to be pasted thereon, and special texture for generating a special texture for preprocessing to be pasted onto the 3D model. Generation processing unit 42 and three-dimensional model Comprises a rendering processor 44 that generates a bitmap image by rendering, a rendered image analysis processing section 46 for analyzing the rendered image as obtained bitmap image by rendering, a.

特殊テクスチャー生成処理部42は、レンダリング処理部44でレンダリングされる3Dモデルに貼り付ける所定パターンのテクスチャーを生成する処理部であり、具体的には、所定パターンとして、値0.0〜1.0の階調値範囲内で階調値が値1.0の白ベタのパターンや、階調値が値0.0の黒ベタのパターン,値0.0と値1.0の階調値が横方向に交互に現われる縦縞模様のパターン,値0.0と値1.0の階調値が縦方向に交互に現われる横縞模様のパターンを生成する。なお、これらの各パターンがもつ役割については後述する。   The special texture generation processing unit 42 is a processing unit that generates a predetermined pattern of texture to be pasted on the 3D model rendered by the rendering processing unit 44. Specifically, as the predetermined pattern, a value of 0.0 to 1.0 is used. A solid white pattern with a gradation value of 1.0 within a gradation value range, a black solid pattern with a gradation value of 0.0, and a gradation value of 0.0 and 1.0 A vertical striped pattern alternately appearing in the horizontal direction, and a horizontal striped pattern in which tone values of 0.0 and 1.0 appear alternately in the vertical direction are generated. The role of each pattern will be described later.

レンダリング処理部44は、3Dレンダリング用のソフトウエアがコンピューター40にインストールされることにより機能する処理部であり、3Dモデルに特殊テクスチャー生成処理部42で生成されたテクスチャーを貼り付けてレンダリングすることにより所定のフレームレート(例えば、1秒間に20回や30回など)でフレーム単位にビットマップ画像を再生して動画を表示する。本実施形態では、光源からの光をたどりながらオブジェクト面の反射や光の屈折などを計算してレンダリングするレイトレーシング法を用いてレンダリング処理を行なうものとした。   The rendering processing unit 44 is a processing unit that functions when software for 3D rendering is installed in the computer 40. By rendering the 3D model by pasting the texture generated by the special texture generation processing unit 42, rendering is performed. A bitmap image is reproduced in units of frames at a predetermined frame rate (for example, 20 times or 30 times per second) to display a moving image. In the present embodiment, the rendering process is performed using a ray tracing method that calculates and renders reflection of an object surface, light refraction, and the like while tracing light from a light source.

レンダリング済み画像解析処理部46は、レンダリング処理部44により生成されたビットマップ画像(レンダリング済み画像)を解析することにより、所定パターンのテクスチャーに代えて写真などの所望の画像データを配置してレンダリング済み画像をビューワー20側で表示できるようにするための画像描画情報を生成する。   The rendered image analysis processing unit 46 analyzes the bitmap image (rendered image) generated by the rendering processing unit 44, and arranges and renders desired image data such as a photograph instead of a predetermined pattern texture. Image drawing information is generated for displaying the completed image on the viewer 20 side.

本実施形態のビューワー20は、図1に示すように、液晶ディスプレイとしての表示部21と、メモリーカードMCに記憶されている写真などの画像データの入力を司るメモリーカードインターフェース(I/F)22と、ユーザーにより操作される操作系からの信号を入力するUI入力部30と、コンピューター40により生成されたレンダリング済み画像や画像描画情報を記憶する記憶部32と、記憶部32に記憶されたレンダリング済み画像をロードすると共に展開してRAMのデータ格納領域36に格納するロード処理部34と、メモリーカードMCに記憶されている画像データを展開して描画バッファー26に描画したりデータ格納領域36に格納されたレンダリング済み画像にメモリーカードMCに記憶されている画像データを合成して描画バッファー26に描画したりする描画処理部24と、描画バッファー26に描画された画像データの表示部21への転送を司るLCDインタフェース(I/F)28と、装置全体をコントロールする制御部38とを備える。このビューワー20は、ユーザーからの指示によりメモリーカードMCに記憶されている複数の画像データを順次読み込むと共に読み込んだ画像データを画像描画情報を用いて3Dモデルのレンダリング済み画像に貼り付けてフレーム単位で順次再生を行なうことにより動画像として表示(スライドショー表示)することができる。   As shown in FIG. 1, the viewer 20 of the present embodiment includes a display unit 21 as a liquid crystal display and a memory card interface (I / F) 22 that controls input of image data such as photographs stored in the memory card MC. A UI input unit 30 for inputting a signal from an operation system operated by a user, a storage unit 32 for storing a rendered image and image drawing information generated by the computer 40, and a rendering stored in the storage unit 32 A load processing unit 34 that loads and expands a completed image and stores it in the data storage area 36 of the RAM, and expands the image data stored in the memory card MC and draws it in the drawing buffer 26 or in the data storage area 36. The image data stored in the memory card MC is added to the stored rendered image. A drawing processing unit 24 for drawing and drawing in the drawing buffer 26; an LCD interface (I / F) 28 for controlling transfer of image data drawn in the drawing buffer 26 to the display unit 21; and controlling the entire apparatus. And a control unit 38. The viewer 20 sequentially reads a plurality of image data stored in the memory card MC according to an instruction from a user, and pastes the read image data on a rendered image of the 3D model using image drawing information in units of frames. By performing sequential reproduction, it can be displayed as a moving image (slide show display).

次に、こうして構成された本実施形態のビューワー20とコンピューター40の動作について説明する。まず、コンピューター40側の動作について説明する。図3は、コンピューター40の特殊テクスチャー生成処理部42により実行される特殊テクスチャー生成処理の一例を示すフローチャートである。   Next, operations of the viewer 20 and the computer 40 of the present embodiment configured as described above will be described. First, the operation on the computer 40 side will be described. FIG. 3 is a flowchart illustrating an example of the special texture generation process executed by the special texture generation processing unit 42 of the computer 40.

特殊テクスチャー生成処理では、まず、対象セット番号iを値1に初期化し(ステップS100)、対象セット番号iに対してRGBの色成分毎にn個の特殊テクスチャーを生成して(ステップS110)、対象セット番号iを値1だけインクリメントし(ステップS120)、対象セット番号iと値nとを比較して(ステップS130)、対象セット番号iが値n以下のときにはステップS110に戻って次の対象セット番号iに対してn個の特殊テクスチャーを生成する処理を繰り返し、対象セット番号iが値nを超えたときには次の処理に進む。ここで、対象セット番号iが値1から値nまでの特殊テクスチャーの生成は、次式(1)に示すように、1番からn番までの対象テクスチャー番号jを1番から値1ずつシフトしながら対象テクスチャー番号jと対象セット番号iと比較し、両者が一致する対象テクスチャー番号jに対しては最小値0.0(黒)〜最大値1.0(白)の階調値範囲で全座標(x,y)に値1.0の階調値を設定することにより白ベタの特殊テクスチャーを生成し、両者が一致しない対象テクスチャー番号jに対しては全座標(x,y)に値0.0の階調値を設定することにより黒ベタの特殊テクスチャーを生成することにより行なわれる。ここで、式(1)中の「c」は、画像データのRGB値の各色に対応する値を示し、「n」は1画面に配置するテクスチャーの数を示し、「b」はテクスチャーの座標を2進数で表わしたときのビット数を示し、「Tc,i,j(x,y)」は色成分c,対象セット番号i,対象テクスチャー番号jにおける特殊テクスチャーの座標(x,y)の階調値を示す(以下、同じ)。   In the special texture generation process, first, the target set number i is initialized to a value 1 (step S100), and n special textures are generated for each RGB color component for the target set number i (step S110). The target set number i is incremented by 1 (step S120), the target set number i is compared with the value n (step S130), and when the target set number i is less than or equal to the value n, the process returns to step S110 and the next target The process of generating n special textures for the set number i is repeated. When the target set number i exceeds the value n, the process proceeds to the next process. Here, the generation of the special texture with the target set number i from the value 1 to the value n shifts the target texture number j from the first to the nth by the value 1 from the first as shown in the following equation (1). While comparing the target texture number j and the target set number i, the target texture number j that matches the target texture number j is in the gradation value range from the minimum value 0.0 (black) to the maximum value 1.0 (white). A special white solid texture is generated by setting a gradation value of 1.0 to all coordinates (x, y), and the target texture number j that does not match is set to all coordinates (x, y). This is done by generating a solid black special texture by setting a gradation value of 0.0. Here, “c” in the formula (1) indicates a value corresponding to each color of the RGB values of the image data, “n” indicates the number of textures arranged on one screen, and “b” indicates the texture coordinates. Indicates the number of bits when expressed as a binary number, and “Tc, i, j (x, y)” indicates the coordinates (x, y) of the special texture in the color component c, the target set number i, and the target texture number j. Indicates a gradation value (hereinafter the same).

対象セット番号iが値1〜値nの特殊テクスチャーを生成すると、次に、対象セット番号iが値(n+1)の色成分毎のn個の特殊テクスチャーを生成し(ステップS140)、対象セット番号iを値1だけインクリメントする(ステップS150)。ここで、対象セット番号iが値(n+1)の特殊テクスチャーの生成は、次式(2)に示すように、1番からn番までのすべての対象テクスチャー番号jに対して全座標(x,y)に値0.0の階調値を設定することにより黒ベタの特殊テクスチャーを生成することにより行なわれる。   When the special texture having the target set number i having the value 1 to the value n is generated, n special textures for each color component having the target set number i having the value (n + 1) are generated (step S140). i is incremented by 1 (step S150). Here, the generation of the special texture having the target set number i of the value (n + 1) is performed with respect to all the target texture numbers j from 1 to n as shown in the following equation (2). This is done by generating a solid black special texture by setting a gradation value of 0.0 to y).

対象セット番号iが値(n+1)の特殊テクスチャーを生成すると、次に、対象セット番号iに対してテクスチャーの座標を交番2進数(グレイコード)表現としたときの第{i−(n+2)]ビットに対応する縦縞模様の色成分毎のn個の特殊テクスチャーを次式(3)により生成して(ステップS160)、対象セット番号iを値1だけインクリメントし(ステップS170)、対象セット番号iと値(n+b+1)とを比較し(ステップS180)、対象セット番号iが値(n+b+1)以下のときにはステップS160に戻って次の対象セット番号iに対してn個の特殊テクスチャーを生成する処理を繰り返し、対象セット番号iが値(n+b+1)を超えたときには次の処理に進む。ここで、式(3)中の「gray(a)」は数値aのグレイコード(交番2進数符号)表現であり、「and(a,b)」はaとbのビット毎の論理積を示す(以下、同じ)。(n+2)番から(n+b+1)番までの対象セット番号iは、それぞれテクスチャーの座標を2進数で表現したときに第0ビット(最上位ビット)から第(b−1)ビット(最下位ビット)までの各ビットに対応しており、対象セット番号iに対応するビットの値が値1のときには値1.0(白)の階調値を設定し、対応するビットの値が値0のときには値0.0(黒)の階調値を設定することにより縦縞模様の特殊テクスチャーが生成される。本実施形態では、テクスチャーの座標を交番2進数で表現しており、例えば、テクスチャー数nが値3で座標が値1〜8の3ビット(b=3)とすると、対象セット番号iが第0ビット(最上位ビット)を示す値5の特殊テクスチャーとしてはx座標が値1〜4については黒の階調値が設定され値5〜8については白の階調値が設定され、対象セット番号iが第1ビットを示す値6の特殊テクスチャーとしてはx座標が値1,2については黒の階調値が設定され3〜6については白の階調値が設定され値7,8については黒の階調値が設定され、対象セット番号iが第2ビット(最下位ビット)を示す値7の特殊テクスチャーとしてはx座標が値1については黒の階調値が設定され値2,3については白の階調値が設定され値4,5については黒の階調値が設定され値6,7については白の階調値が設定され値8については黒の階調値が設定されることになる。   When the special texture having the target set number i of the value (n + 1) is generated, the {i− (n + 2)] when the texture coordinates are expressed as an alternating binary number (gray code) with respect to the target set number i. N special textures for each color component of the vertical stripe pattern corresponding to the bit are generated by the following equation (3) (step S160), the target set number i is incremented by 1 (step S170), and the target set number i Is compared with the value (n + b + 1) (step S180), and when the target set number i is equal to or smaller than the value (n + b + 1), the process returns to step S160 to generate n special textures for the next target set number i. Repeatedly, when the target set number i exceeds the value (n + b + 1), the process proceeds to the next process. Here, “gray (a)” in Equation (3) is a gray code (alternate binary code) representation of the numerical value a, and “and (a, b)” is the logical product of a and b for each bit. Shown (same below). The target set numbers i from (n + 2) to (n + b + 1) are the 0th bit (most significant bit) to the (b-1) th bit (least significant bit) when the texture coordinates are expressed in binary numbers, respectively. The gradation value of 1.0 (white) is set when the value of the bit corresponding to the target set number i is 1, and the value of the corresponding bit is 0. A special texture having a vertical stripe pattern is generated by setting a gradation value of 0.0 (black). In this embodiment, the texture coordinates are expressed in alternating binary numbers. For example, if the texture number n is 3 and the coordinates are 3 bits (b = 3), the target set number i is the first number. As a special texture with a value of 5 indicating 0 bit (most significant bit), a black gradation value is set for an x coordinate value of 1 to 4, a white gradation value is set for a value of 5 to 8, and a target set is set. As for the special texture having the value 6 in which the number i indicates the first bit, the black coordinate value is set for the x coordinate values 1 and 2, the white tone value is set for the values 3 to 6, and the values 7 and 8 are set. Is a black gradation value, and the target set number i is a special texture with a value 7 indicating the second bit (least significant bit). For 3 the white tone value is set and for values 4 and 5 So that the black gradation value is set for the gradation value set value 8 white for black gradation value set value 6,7.

対象セット番号iが値(n+2)〜値(n+b+1)の特殊テクスチャーを生成すると、次に、対象セット番号iに対してテクスチャーのy座標を交番2進数表現としたときの第{i−(n+b+2)]ビットに対応する横縞模様の色成分毎のn個の特殊テクスチャーを次式(4)により生成して(ステップS185)、対象セット番号iを値1だけインクリメントし(ステップS190)、対象セット番号iと値(n+2b+1)とを比較し(ステップS195)、対象セット番号iが値(n+2b+1)以下のときにはステップS185に戻って次の対象セット番号iに対してn個の特殊テクスチャーを生成する処理を繰り返し、対象セット番号iが値(n+2b+1)を超えたときには、全ての特殊テクスチャーの生成が完了したとして、本ルーチンを終了する。(n+b+2)番から(n+2b+1)番までの対象セット番号iは、それぞれテクスチャーの座標を2進数で表現したときに第0ビット(最上位ビット)から第(b−1)ビット(最下位ビット)までの各ビットに対応しており、対象セット番号iに対応するビットの値が値1のときには値1.0(白)の階調値を設定し、対応するビットの値が値0のときには値0.0(黒)の階調値を設定することにより横縞模様の特殊テクスチャーが生成される。本実施形態では、テクスチャーの座標をグレイコードで表現しており、例えば、テクスチャー数nが値3でy座標が値1〜8の3ビット(b=3)とすると、対象セット番号iが第0ビット(最上位ビット)を示す値8の特殊テクスチャーとしてはy座標が値1〜4については黒の階調値が設定され値5〜8については白の階調値が設定され、対象セット番号iが第1ビットを示す値9の特殊テクスチャーとしてはy座標が値1,2については黒の階調値が設定され値3〜6については白の階調値が設定され値7,8については黒の階調値が設定され、対象セット番号iが第2ビット(最下位ビット)を示す値10の特殊テクスチャーとしてはy座標が値1については黒の階調値が設定され値2,3については白の階調値が設定され値4,5については黒の階調値が設定され値6,7については白の階調値が設定され値8については黒の階調値が設定されることになる。図4に、テクスチャー数nが値3で座標のビット数bが値3のときに生成される特殊テクスチャーの一覧を示す。   When the special texture having the target set number i of the value (n + 2) to the value (n + b + 1) is generated, the {i− (n + b + 2) when the y coordinate of the texture is expressed as an alternating binary number with respect to the target set number i. )] N special textures for each color component of the horizontal stripe pattern corresponding to the bit are generated by the following equation (4) (step S185), the target set number i is incremented by 1 (step S190), and the target set is set. The number i is compared with the value (n + 2b + 1) (step S195). When the target set number i is equal to or smaller than the value (n + 2b + 1), the process returns to step S185 to generate n special textures for the next target set number i. When the process is repeated and the target set number i exceeds the value (n + 2b + 1), the generation of all the special textures is completed. This routine is terminated. The target set numbers i from (n + b + 2) to (n + 2b + 1) are the 0th bit (most significant bit) to the (b-1) th bit (least significant bit) when the texture coordinates are expressed in binary numbers, respectively. The gradation value of 1.0 (white) is set when the value of the bit corresponding to the target set number i is 1, and the value of the corresponding bit is 0. A special texture with a horizontal stripe pattern is generated by setting a gradation value of 0.0 (black). In this embodiment, the texture coordinates are expressed in gray code. For example, if the texture number n is 3 and the y coordinate is 3 bits (b = 3), the target set number i is the first number. As a special texture of value 8 indicating 0 bit (most significant bit), a black gradation value is set for values 1 to 4 and a white gradation value is set for values 5 to 8, and the target set is set. As for the special texture with the number 9 indicating the first bit as the number i, a black gradation value is set for the y coordinate values 1 and 2, and a white gradation value is set for the values 3 to 6, and the values 7 and 8 are used. As for a special texture having a value 10 indicating that the target set number i indicates the second bit (least significant bit), a black gradation value is set for a value 1 and a black gradation value is set. , 3 are set to white gradation values and values 4, 5 For so that black gradation value is set for the gradation value set value 8 white for black gradation value set value 6,7. FIG. 4 shows a list of special textures generated when the number of textures n is 3 and the number of coordinate bits b is 3.

レンダリング処理部44は、セット毎に、対応するn個の特殊テクスチャーを3次元モデルに貼り付けてレンダリング処理を行なう。図5にレンダリング処理の様子を示す。本実施形態では、3次元モデルを動画としてレンダリングし、テクスチャー数nが値3でビット数bが値3としたから、合計10セット分のレンダリング処理が行なわれて10セット分の動画が生成されることになる。この動画は、フレーム1〜T(例えば、Tは200)までの各フレーム毎に生成されたビットマップ画像(レンダリング済み画像)により構成される。   For each set, the rendering processing unit 44 performs rendering processing by pasting the corresponding n special textures onto the three-dimensional model. FIG. 5 shows the rendering process. In this embodiment, since the three-dimensional model is rendered as a moving image, the number of textures n is 3 and the number of bits b is 3, the rendering process for a total of 10 sets is performed and 10 sets of moving images are generated. Will be. This moving image is composed of bitmap images (rendered images) generated for each frame from frames 1 to T (for example, T is 200).

次に、レンダリング処理部44により生成されたレンダリング済み画像を解析する処理について説明する。図6は、レンダリング済み画像解析処理部46により実行されるレンダリング済み画像解析処理の一例を示すフローチャートである。   Next, processing for analyzing the rendered image generated by the rendering processing unit 44 will be described. FIG. 6 is a flowchart illustrating an example of a rendered image analysis process executed by the rendered image analysis processing unit 46.

レンダリング済み画像解析処理では、まず、次式(5)に示すように各フレーム番号t(=1〜T)におけるレンダリング済み画像の座標(x,y)の変数It(x,y)を値0に初期化し(ステップS200)、対象フレームtにおけるセット番号1〜nのレンダリング済み画像中の白ベタ領域(座標)を特定して、この白ベタ領域の変数It(x,y)に対応するテクスチャー番号(=対象セット番号i)を設定する(ステップS210)。この処理は、次式(6)に示すように、対象セット番号iを1番からn番まで順次シフトしながら対象セット番号iのレンダリング済み画像の階調値(各色成分毎の階調値の総和)とセット番号(n+1)のレンダリング済み画像の階調値(各色成分毎の階調値の総和)とを比較することにより行なうことができる。ここで、式(5)中の「w」はレンダリング済み画像の幅方向のサイズを示し、「h」はレンダリング済み画像の高さ方向のサイズを示す。また、式(6)中の「Ac,i,t(x,y)」は色成分c,セット番号i(1〜n),フレーム番号tにおけるレンダリング済み画像の座標(x,y)の階調値を示す(以下、同じ)。   In the rendered image analysis process, first, as shown in the following equation (5), the variable It (x, y) of the coordinates (x, y) of the rendered image at each frame number t (= 1 to T) is set to the value 0. (Step S200), a white solid area (coordinates) in the rendered image of the set numbers 1 to n in the target frame t is specified, and the texture corresponding to the variable It (x, y) of this white solid area A number (= target set number i) is set (step S210). As shown in the following equation (6), this processing is performed by sequentially shifting the target set number i from No. 1 to n, and the gradation value of the rendered image of the target set number i (the gradation value for each color component). This can be done by comparing the sum of the tone values of the rendered image with the set number (n + 1) (the sum of the tone values for each color component). Here, “w” in equation (5) indicates the size in the width direction of the rendered image, and “h” indicates the size in the height direction of the rendered image. In addition, “Ac, i, t (x, y)” in the equation (6) is a rank of the coordinate (x, y) of the rendered image at the color component c, the set number i (1 to n), and the frame number t. Indicates the key value (hereinafter the same).

続いて、次式(7)によりセット番号(n+1)のレンダリング済み画像の階調値をバイアスBc,t(x,y)として設定すると共に(ステップS220)、変数It(x,y)が値0でないレンダリング済み画像の座標(x,y)、即ち白ベタ領域について次式(8)によりゲインGc,t(x,y)を計算する(ステップS230)。ここで、式(8)中の「Ac,It(x,y),t(x,y)」は色成分c,変数It(x,y)に格納されたセット番号i,フレーム番号tにおけるレンダリング済み画像の座標(x,y)の階調値を示す。図7に、バイアスBc,t(x,y)とゲインGc,t(x,y)との関係を示す。3Dモデルにテクスチャーを貼り付けてレンダリングする場合、図示するように、元のテクスチャーの階調値に依存しないオフセット分がバイアスBc,t(x,y)に相当し、元のテクスチャーの階調値の変化に対するレンダリング済み画像の階調値の変化の傾きがゲインGc,t(x,y)に相当する。   Subsequently, the gradation value of the rendered image with the set number (n + 1) is set as the bias Bc, t (x, y) by the following equation (7) (step S220), and the variable It (x, y) is a value. The gain Gc, t (x, y) is calculated by the following equation (8) for the coordinates (x, y) of the rendered image that is not 0, that is, the white solid region (step S230). Here, “Ac, It (x, y), t (x, y)” in the equation (8) is the color component c and the set number i and the frame number t stored in the variable It (x, y). Indicates the gradation value of the coordinates (x, y) of the rendered image. FIG. 7 shows the relationship between the bias Bc, t (x, y) and the gain Gc, t (x, y). When rendering with a texture attached to a 3D model, as shown in the figure, the offset that does not depend on the tone value of the original texture corresponds to the bias Bc, t (x, y), and the tone value of the original texture The gradient of the change in the tone value of the rendered image with respect to the change corresponds to the gain Gc, t (x, y).

そして、次式(9)によりテクスチャーのグレイコード表現の座標(X't(x,y),Y't(x,y))を値0に初期化し(ステップS240)、セット番号(n+2)〜(n+2b+1)のレンダリング済み画像の座標(x,y)とテクスチャーの座標(X't(x,y),Y't(x,y))との対応関係を設定する(ステップS250)。ここで、座標の対応関係は、次式(10)により行なわれ、具体的には、セット番号iを1番からn番まで順次シフトしながらセット番号(i+n+1)のレンダリング済み画像の階調値Ac,i+n+1,t(x,y)からバイアスBc,t(x,y)を減じたもの(各色成分毎の総和)がセット番号iのレンダリング済み画像のゲインGc,t(x,y)を値2で割ったもの(各色成分毎の総和)よりも大きいか否か即ちセット番号(i+n+1)における白と黒の縦縞模様のパターンのうち座標(x,y)が白か否かを判定し白のときには交番2進数表現の座標X't(x,y)の対応する第(i−1)ビットの値に値1を設定し、セット番号iを1番からn番まで順次シフトしながらセット番号(i+b+n+1)のレンダリング済み画像の階調値Ac,i+b+n+1,i(x,y)からバイアスBc,t(x,y)を減じたもの(各色成分毎の総和)がセット番号iのレンダリング済み画像のゲインGc,t(x,y)を値2で割ったもの(各色成分毎の総和)よりも大きいか否か即ちセット番号(i+b+n+1)における白と黒の横縞模様のパターンのうち座標(x,y)が白か否かを判定し白のときには座標Y't(x,y)の対応する第(i−1)ビットの値を値1に設定することにより行なわれる。ここで、式(10)中の「or(a,b)」はaとbのビット毎の論理和を示す。   Then, the coordinates (X't (x, y), Y't (x, y)) of the texture gray code expression are initialized to the value 0 by the following equation (9) (step S240), and the set number (n + 2) Correspondences between the coordinates (x, y) of the rendered image (n + 2b + 1) and the coordinates (X′t (x, y), Y′t (x, y)) of the texture are set (step S250). Here, the coordinate correspondence is performed by the following equation (10). Specifically, the gradation value of the rendered image of the set number (i + n + 1) while sequentially shifting the set number i from 1 to n. Ac, i + n + 1, t (x, y) minus bias Bc, t (x, y) (sum of each color component) is the gain Gc, t (x , y) greater than 2 divided by the value 2 (total for each color component), that is, whether the coordinates (x, y) of the white and black vertical stripe patterns in the set number (i + n + 1) are white If it is white, the value (1) is set to the value of the corresponding (i−1) -th bit of the coordinate X′t (x, y) in the alternating binary number expression, and the set number i is set from 1 to n Subtracting the bias Bc, t (x, y) from the gradation value Ac, i + b + n + 1, i (x, y) of the rendered image of the set number (i + b + n + 1) while sequentially shifting (each color Whether or not (sum per minute) is greater than the gain Gc, t (x, y) of the rendered image with set number i divided by the value 2 (sum for each color component), ie at set number (i + b + n + 1) It is determined whether or not the coordinate (x, y) is white in the white and black horizontal stripe pattern, and if it is white, the value of the corresponding (i−1) -th bit of the coordinate Y′t (x, y) is the value. This is done by setting it to 1. Here, “or (a, b)” in the expression (10) indicates a logical sum of bits a and b.

座標の対応関係を設定すると、グレイコード表現のテクスチャーの座標(X't(x,y),Y't(x,y))を次式(11)を用いて復号化して復号化後座標(Xt(x,y),Yt(x,y))を算出し(ステップS260)、これまでの設定あるいは算出結果を画像描画情報として記憶部32に保存し(ステップS270)、値1〜Tまでの全フレームについて処理が完了したか否かを判定し(ステップS280)、全フレームについて処理が完了していないときには次のフレームを対象フレームtに設定してステップS210に戻って処理を繰り返し、全フレームについて処理が完了したときに本処理を終了する。ここで、式(11)中の「gray-1(a)」はグレイコードaを復号化した値を示し、「Xt(x,y)」はフレーム番号tのレンダリング済み画像の座標(x,y)に対応するテクスチャーのx座標を示し、「Yt(x,y)」はフレーム番号tのレンダリング済み画像の座標(x,y)に対応するテクスチャーのy座標を示す。なお、本実施形態では、座標(X't(x,y),Y't(x,y))の原点を(1,1)としているから、グレイコードを復号化した値に値1を加算している。画像描画情報としては、変数It(x,y)とバイアスBc,t(x,y)とゲインGc,t(x,y)と座標(Xt(c,y),Yt(x,y))とが含まれる。   When the correspondence relationship of coordinates is set, the coordinates (X't (x, y), Y't (x, y)) of the texture of the gray code expression are decoded using the following equation (11) to obtain the decoded coordinates (Xt (x, y), Yt (x, y)) is calculated (step S260), the setting or calculation result so far is stored in the storage unit 32 as image drawing information (step S270), and values 1 to T are calculated. It is determined whether or not the processing has been completed for all the frames up to (step S280), and when the processing has not been completed for all the frames, the next frame is set as the target frame t and the processing returns to step S210 to repeat the processing. This processing ends when the processing is completed for all frames. Here, “gray-1 (a)” in Expression (11) indicates a value obtained by decoding the Gray code a, and “Xt (x, y)” indicates the coordinates (x, y) represents the x coordinate of the texture, and “Yt (x, y)” represents the y coordinate of the texture corresponding to the coordinate (x, y) of the rendered image of frame number t. In this embodiment, since the origin of the coordinates (X′t (x, y), Y′t (x, y)) is (1,1), the value 1 is set to the value obtained by decoding the Gray code. It is adding. Image rendering information includes variable It (x, y), bias Bc, t (x, y), gain Gc, t (x, y), and coordinates (Xt (c, y), Yt (x, y)) And are included.

次に、本実施形態のビューワー20の動作について説明する。本実施形態のビューワー20は、記憶部32にはコンピューター40のレンダリング処理部44により生成されたレンダリング済み画像(ビットマップ画像の圧縮データ)とレンダリング済み画像解析処理部46により生成された画像描画情報とが記憶されており、記憶部32からレンダリング済み画像を読み込むと共にメモリーカードMCに記憶されている写真などの複数の画像データを差し替え用テクスチャーとして読み込み、次式(12)を用いてレンダリング済み画像に合成して順次描画することにより、テクスチャーを差し替えながら3次元モデルのレンダリング済み画像を動画像として表示するスライドショー再生を行なうことができる。ここで、式(12)中の「Uc,i(x,y)」は色成分c,テクスチャー番号iにおける差し替え用テクスチャーの座標(x,y)の階調値(0.0〜1.0)を示し、「Pc,t(x,y)」は色成分c,フレーム番号tにおける表示画像(レンダリング済み画像)の座標(x,y)の階調値(0.0〜1.0)を示す。式(12)に示すように、表示画像の階調値Pc,t(x,y)の設定は、変数It(x,y)が値0でないテクスチャー配置領域に対しては表示画像の座標(x,y)に対応する差し替え用テクスチャーの座標(Xt(x,y),Yt(x,y))の階調値にゲインGc,t(x,y)を乗じてバイアスBc,t(x,y)を加えたものを設定し、変数It(x,y)が値0であるテクスチャー配置領域以外の領域に対してはバイアスBc,t(x,y)を設定することにより行なわれる。図8にテクスチャー番号が1〜3の3つの差し替え用テクスチャーを示し、図9にレンダリング済み画像に図8の差し替え用テクスチャーを配置して描画する様子を示す。   Next, the operation of the viewer 20 of this embodiment will be described. In the viewer 20 according to the present embodiment, the storage unit 32 includes a rendered image (bitmap image compressed data) generated by the rendering processing unit 44 of the computer 40 and image rendering information generated by the rendered image analysis processing unit 46. Are read from the storage unit 32, and a plurality of image data such as photographs stored in the memory card MC are read as replacement textures, and the rendered image is obtained using the following equation (12). By combining and sequentially drawing, it is possible to perform a slide show reproduction in which the rendered image of the three-dimensional model is displayed as a moving image while replacing the texture. Here, “Uc, i (x, y)” in the expression (12) is the gradation value (0.0 to 1.0) of the coordinate (x, y) of the replacement texture in the color component c and texture number i. "Pc, t (x, y)" indicates the gradation value (0.0 to 1.0) of the coordinates (x, y) of the display image (rendered image) in the color component c and frame number t. Indicates. As shown in the equation (12), the gradation value Pc, t (x, y) of the display image is set with respect to the texture arrangement region where the variable It (x, y) is not 0 (the coordinate of the display image ( Bias Bc, t (x) by multiplying the tone value of the replacement texture coordinates (Xt (x, y), Yt (x, y)) corresponding to x, y) by the gain Gc, t (x, y) , y) is set, and a bias Bc, t (x, y) is set for a region other than the texture placement region in which the variable It (x, y) is 0. FIG. 8 shows three replacement textures having texture numbers 1 to 3, and FIG. 9 shows a state in which the replacement texture of FIG.

図10は、表示処理の一例を示す説明図である。ユーザーによりUI入力部30を介してスライドショー表示が指示されると、制御部38は描画処理部24を介してロード処理部34に対してロード開始要求を出力し、ロード開始要求を受けたロード処理部34は、動画を構成する各フレームのレンダリング済み画像を順次ロードすると共に展開してデータ格納領域36に格納する。本実施形態では、動画を構成する200フレームに対してデータ格納領域36に20〜30フレーム分程度のレンダリング済み画像を格納できるようその領域を確保するものとした。描画処理部24は、表示周期に合わせてフレーム単位でデータ格納領域36に格納されているフレーム毎のレンダリング済み画像を取得すると共に上述した処理によりテクスチャーと合成して描画バッファー26上に描画することにより動画として表示する。ロード処理部34は、描画処理部24による描画処理の最中であってもバックグラウンドでデータ格納領域36に格納できるだけロードするから、表示部21の表示周期に描画が間に合わずにフレーム落ちが発生するのを抑制することができる。   FIG. 10 is an explanatory diagram illustrating an example of display processing. When the user instructs the slide show display via the UI input unit 30, the control unit 38 outputs a load start request to the load processing unit 34 via the drawing processing unit 24, and the load process that has received the load start request The unit 34 sequentially loads and expands the rendered images of each frame constituting the moving image and stores them in the data storage area 36. In the present embodiment, the area is secured so that the rendered image of about 20 to 30 frames can be stored in the data storage area 36 for 200 frames constituting the moving image. The drawing processing unit 24 obtains a rendered image for each frame stored in the data storage area 36 in units of frames in accordance with the display cycle, and draws it on the drawing buffer 26 by combining with the texture by the above-described processing. Is displayed as a video. Since the load processing unit 34 loads as much as possible in the background in the data storage area 36 even during the drawing processing by the drawing processing unit 24, the frame is dropped because drawing is not in time for the display cycle of the display unit 21. Can be suppressed.

以上説明した実施例の動画像表示装置によれば、コンピューター40側では、座標(x,y)を2進数表現したときの各ビットの値に対応するx座標用の縦縞模様のパターンとy座標用の横縞模様のパターンとをテクスチャーとして3次元モデルに貼り付けてレンダリングし、レンダリングによりビットマップ画像として得られたレンダリング済み画像を解析することによりレンダリング済み画像の座標(x,y)とテクスチャーの座標(Xt(x,y),Yt(x,y))との対応関係を設定して画像描画情報として保存し、ビューワー20側でレンダリング済み画像を用いて画像を表示するときには、予め記憶した画像描画情報によりテクスチャーの座標(Xt(x,y),Yt(x,y))の階調値に基づいて表示画像の座標(x,y)に描画するから、3次元モデルのレンダリング済み画像をテクスチャーを自由に差し替えて再生することができると共にリアルタイムで3次元モデルをレンダリングして表示するものに比して処理負担を少なくすることができる。このとき、描画処理部24が描画処理を行なっている最中でもバックグラウンドで各フレームのレンダリング済み画像を順次ロードしておくから、表示部21の表示周期に描画が間に合わずにフレーム落ちが発生するのを抑制することができる。また、ゲインGc,t(x,y)やバイアスBc,t(x,y)を用いてテクスチャーの階調値を変換して表示画像の階調値を設定するから、3次元モデルをレンダリングしたときの屈折光や鏡面反射,影などの影響も反映させることができる。さらに、座標の対応関係を特定するための特殊テクスチャーとして交番2進数に対応する縦縞模様のパターンと横縞模様のパターンとを形成するから、隣接する座標に移行する際には常に1ビットの変化となり、画像の階調値の誤差に起因して誤ったデータが取得されてしまうのを抑制することができる。   According to the moving image display apparatus of the embodiment described above, on the computer 40 side, the vertical stripe pattern pattern and the y coordinate for x coordinate corresponding to the value of each bit when the coordinates (x, y) are expressed in binary numbers. The horizontal stripe pattern for the image is pasted and rendered as a texture on the 3D model, and the rendered image obtained as a bitmap image by rendering is analyzed, and the coordinates (x, y) of the rendered image and the texture Correspondences with coordinates (Xt (x, y), Yt (x, y)) are set and stored as image drawing information. When an image is displayed using the rendered image on the viewer 20 side, it is stored in advance. Rendered image of 3D model because it draws to display image coordinate (x, y) based on texture coordinate (Xt (x, y), Yt (x, y)) gradation value by image drawing information The tech It is possible to freely replace and reproduce the steamer, and to reduce the processing burden as compared with the case where the three-dimensional model is rendered and displayed in real time. At this time, the rendered image of each frame is sequentially loaded in the background even while the drawing processing unit 24 is performing the drawing process, so that a frame drop occurs because drawing is not in time for the display cycle of the display unit 21. Can be suppressed. Also, since the tone value of the texture is converted using the gain Gc, t (x, y) and the bias Bc, t (x, y) to set the tone value of the display image, the three-dimensional model is rendered. It is also possible to reflect the effects of refracted light, specular reflection, and shadows. Furthermore, since a vertical striped pattern and a horizontal striped pattern corresponding to alternating binary numbers are formed as a special texture for specifying the correspondence of coordinates, a change of 1 bit always occurs when moving to adjacent coordinates. Therefore, it is possible to suppress erroneous data from being acquired due to an error in the gradation value of the image.

本実施形態では、座標(x,y)を2進数表現したときの各ビットの値に対応するx座標用の縦縞模様のパターンとy座標用の横縞模様のパターンとをテクスチャーとして用いて3次元モデルに貼り付けてレンダリングすると共にレンダリング結果を解析することにより画像描画情報を生成するものとしたが、用いるパターンはこれに限られず、x座標方向(横方向)に濃淡(階調値)が徐々に変化するパターンとy座標方向(縦方向)に濃淡が徐々に変換するパターンとを用いるものとしてもよい。この場合、前述した式(3)により得られるセット番号(n+2)〜(n+b+1)の縦縞模様のパターンに代えて次式(13)により得られるセット番号(n+2)の1つのパターンを用いると共に式(4)により得られるセット番号(n+b+2)〜(n+2b+1)の横縞模様のパターンに代えて次式(13)により得られるセット番号(n+3)の1つのパターンを用いるものとすればよい。   In the present embodiment, a three-dimensional pattern is obtained by using a vertical stripe pattern for x coordinates and a horizontal stripe pattern for y coordinates corresponding to the value of each bit when coordinates (x, y) are expressed in binary notation as a texture. Image rendering information is generated by pasting and rendering the model and analyzing the rendering result. However, the pattern used is not limited to this, and the gradation (gradation value) gradually increases in the x-coordinate direction (lateral direction). It is also possible to use a pattern that changes to a pattern and a pattern in which shading gradually changes in the y-coordinate direction (vertical direction). In this case, a single pattern of the set number (n + 2) obtained by the following equation (13) is used instead of the vertical stripe pattern of the set numbers (n + 2) to (n + b + 1) obtained by the equation (3) described above and the equation Instead of the horizontal stripe pattern of the set numbers (n + b + 2) to (n + 2b + 1) obtained by (4), one pattern of the set number (n + 3) obtained by the following equation (13) may be used.

式(12)のパターンと式(13)のパターンとを用いる場合、座標の対応関係の設定は、次式(15)により求めることができる。図9に特殊テクスチャーの一例を示し、図10に図9の特殊テクスチャーを3次元モデルに貼り付けてレンダリングする様子を示す。これにより、生成すべき特殊テクスチャーの数を減らすことができる。   When the pattern of Expression (12) and the pattern of Expression (13) are used, the setting of the coordinate correspondence can be obtained by the following Expression (15). FIG. 9 shows an example of the special texture, and FIG. 10 shows a state in which the special texture of FIG. 9 is pasted on the three-dimensional model and rendered. Thereby, the number of special textures to be generated can be reduced.

本実施形態では、対象セット番号iが値(n+2)〜値(n+b+1)の縦縞模様パターンの特殊テクスチャーを座標を交番2進数表現したときに各ビットの値に対応するものとすると共に対象セット番号iが値(n+b+2)〜値(n+2b+1)の横縞模様パターンの特殊テクスチャーを座標を交番2進数表現したときの各ビットの値に対応するものとしたが、これらのパターンを、座標を一般の2進数表現したときに各ビットの値に対応するものとして生成するものとしてもよい。この場合の特殊テクスチャーの一例を図11に示す。   In the present embodiment, the special texture of the vertical stripe pattern whose target set number i is a value (n + 2) to a value (n + b + 1) corresponds to the value of each bit when the coordinates are expressed in alternating binary numbers, and the target set number The special texture of the horizontal stripe pattern with i being the value (n + b + 2) to the value (n + 2b + 1) is assumed to correspond to the value of each bit when the coordinates are expressed in an alternating binary number. It may be generated as a value corresponding to the value of each bit when expressed in decimal. An example of the special texture in this case is shown in FIG.

本実施形態では、ビューワー20により画像を再生するものとしたが、画像を再生できる機器であれば、液晶画面付きの携帯電話やプリンターなど如何なる機器を用いるものとしても構わない。   In the present embodiment, an image is reproduced by the viewer 20, but any device such as a mobile phone with a liquid crystal screen or a printer may be used as long as the device can reproduce an image.

なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。   It should be noted that the present invention is not limited to the above-described embodiment, and it goes without saying that the present invention can be implemented in various modes as long as it belongs to the technical scope of the present invention.

20 ビューワー、21 表示部、22 メモリーカードインターフェース(I/F)、24 描画処理部、26 描画バッファー、28 LCDインターフェース(I/F)、30 UI入力部、32 記憶部、34 ロード処理部、36 データ格納領域、38 制御部、40 コンピューター、41 記憶部、42 特殊テクスチャー生成処理部、44 レンダリング処理部、46 レンダリング済み画像解析処理部、MC メモリーカード。   20 viewer, 21 display unit, 22 memory card interface (I / F), 24 drawing processing unit, 26 drawing buffer, 28 LCD interface (I / F), 30 UI input unit, 32 storage unit, 34 load processing unit, 36 Data storage area, 38 control unit, 40 computer, 41 storage unit, 42 special texture generation processing unit, 44 rendering processing unit, 46 rendered image analysis processing unit, MC memory card.

Claims (7)

画像をフレーム単位で描画することにより動画像を表示する動画像表示装置であって、
座標毎に階調値が異なる所定パターンをテクスチャーとして3次元モデルに貼り付けてレンダリングすることによりフレーム毎のビットマップ画像として得られたレンダリング済み画像を記憶すると共に該レンダリング済み画像を解析することにより得られる該レンダリング済み画像の座標と前記所定パターンの座標との対応関係を記憶する記憶手段と、
動画像の表示が指示されたときには、前記記憶手段から各フレームのレンダリング済み画像を所定量まで順次読み込む画像読込手段と、
前記記憶された対応関係に基づいてフレーム単位で順次前記読み込まれたレンダリング済み画像中に所望のテクスチャーを合成して描画する描画手段と、
を備える動画像表示装置。
A moving image display device that displays a moving image by drawing an image in frame units,
By storing a rendered pattern obtained as a bitmap image for each frame by pasting a predetermined pattern having different gradation values for each coordinate as a texture on a three-dimensional model and rendering, and analyzing the rendered image Storage means for storing a correspondence relationship between the coordinates of the obtained rendered image and the coordinates of the predetermined pattern;
An image reading unit that sequentially reads up to a predetermined amount of the rendered image of each frame from the storage unit when an instruction to display a moving image is given;
Drawing means for combining and drawing a desired texture in the read rendered image sequentially in units of frames based on the stored correspondence;
A moving image display apparatus comprising:
前記対応関係は、前記レンダリング済み画像の各座標の階調値から対応する前記所定パターンの座標を特定することにより導出される関係である請求項1記載の動画像表示装置。   The moving image display apparatus according to claim 1, wherein the correspondence relationship is a relationship derived by specifying coordinates of the predetermined pattern corresponding to a gradation value of each coordinate of the rendered image. 前記所定パターンは、座標を2進数で表現したときにビット数に応じた複数のパターンに、それぞれ座標毎に対応するビットの値に応じた階調値が設定されてなるパターンである請求項1または2記載の動画像表示装置。   The predetermined pattern is a pattern in which gradation values corresponding to bit values corresponding to respective coordinates are set in a plurality of patterns corresponding to the number of bits when coordinates are expressed in binary numbers. Or the moving image display apparatus of 2. 前記2進数は、グレイコード(交番2進数)である請求項3記載の動画像表示装置。   4. The moving image display apparatus according to claim 3, wherein the binary number is a gray code (alternate binary number). 請求項1ないし4いずれか1項に記載の動画像表示装置であって、
前記所定パターンは、前記対応関係を設定するための対応関係設定用パターンに加えてさらに最小階調値でベタ塗りしてなる第1ベタ塗りパターンを含むパターンであり、
前記記憶手段は、前記レンダリング済み画像における前記第1ベタ塗りパターンの階調値であるバイアス値を記憶する手段であり、
前記描画手段は、前記記憶されたバイアス値に基づいて前記所望のテクスチャーの階調値をオフセットすることにより前記レンダリング済み画像の階調値に変換して描画する手段である
動画像表示装置。
The moving image display device according to any one of claims 1 to 4,
The predetermined pattern is a pattern including a first solid pattern that is solid-coated with a minimum gradation value in addition to the correspondence setting pattern for setting the correspondence.
The storage means is means for storing a bias value that is a gradation value of the first solid pattern in the rendered image.
The moving image display device, wherein the drawing means is a means for drawing after converting the gradation value of the desired texture by offsetting the gradation value of the desired texture based on the stored bias value.
請求項1ないし5いずれか1項に記載の動画像表示装置であって、
前記所定パターンは、前記対応関係を設定するための対応関係設定用パターンに加えてさらに最小階調値でベタ塗りしてなる第1ベタ塗りパターンと最大階調値でベタ塗りしてなる第2ベタ塗りパターンとを含むパターンであり、
前記記憶手段は、前記レンダリング済み画像における前記第2ベタ塗りパターンの階調値と前記第1ベタ塗りパターンの階調値との偏差であるゲインを記憶する手段であり、
前記描画手段は、前記記憶されたゲインに基づいて前記所望のテクスチャーの階調値を前記レンダリング済み画像の階調値に変換して描画する手段である
動画像表示装置。
The moving image display device according to any one of claims 1 to 5,
In addition to the correspondence setting pattern for setting the correspondence, the predetermined pattern further includes a first solid pattern that is solid with the minimum gradation value and a second solid pattern that is solid with the maximum gradation value. A pattern including a solid pattern,
The storage means is means for storing a gain which is a deviation between a gradation value of the second solid pattern and the gradation value of the first solid pattern in the rendered image;
The drawing means is means for converting and rendering the gradation value of the desired texture into the gradation value of the rendered image based on the stored gain.
請求項6記載の動画像表示装置であって、
前記所定パターンは、前記描画手段により前記レンダリング済み画像に複数の所望のテクスチャーを配置して表示する場合には、前記配置する所望のテクスチャーの数だけ設けられたセット群であって各セットが1つの前記第2ベタ塗りパターンと前記配置するテクスチャーの数から値1を減じた数の前記第1ベタ塗りパターンとからなると共に各セット毎に前記3次元モデルに前記第2ベタ塗りパターンを貼り付ける箇所が異なる第1のセット群と、前記配置する所望のテクスチャーの数と同数の前記第1ベタ塗りパターンからなる1つの第2のセットとがそれぞれセット毎に前記3次元モデルに貼り付けられてレンダリングされるパターンであり、
前記ゲインは、前記第1のセット群を各セット毎にレンダリングすることにより得られる各レンダリング済み画像の階調値と前記第2のセットをレンダリングすることにより得られるレンダリング済み画像の階調値とを前記第1のセット群の各セット毎に比較することにより、前記3次元モデルにテクスチャーが貼り付けられた領域であるテクスチャー領域を特定し、該特定したテクスチャー領域に対して算出される
動画像表示装置。
The moving image display device according to claim 6,
In the case where a plurality of desired textures are arranged and displayed on the rendered image by the drawing unit, the predetermined pattern is a set group provided by the number of the desired textures to be arranged. Two second solid paint patterns and the number of first solid paint patterns obtained by subtracting 1 from the number of textures to be arranged, and the second solid paint pattern is pasted to the three-dimensional model for each set. A first set group having different locations and one second set including the same number of the first solid coating patterns as the number of desired textures to be arranged are pasted to the three-dimensional model for each set. The pattern to be rendered,
The gain includes a gradation value of each rendered image obtained by rendering the first set group for each set and a gradation value of a rendered image obtained by rendering the second set. Is determined for each set of the first set group to identify a texture region, which is a region where a texture is pasted on the three-dimensional model, and is calculated for the identified texture region Display device.
JP2009106546A 2009-04-24 2009-04-24 Moving image display device Pending JP2010257224A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009106546A JP2010257224A (en) 2009-04-24 2009-04-24 Moving image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009106546A JP2010257224A (en) 2009-04-24 2009-04-24 Moving image display device

Publications (1)

Publication Number Publication Date
JP2010257224A true JP2010257224A (en) 2010-11-11

Family

ID=43318054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009106546A Pending JP2010257224A (en) 2009-04-24 2009-04-24 Moving image display device

Country Status (1)

Country Link
JP (1) JP2010257224A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019041340A (en) * 2017-08-28 2019-03-14 株式会社Dapリアライズ Multiple video distribution system
JP2020030827A (en) * 2015-09-04 2020-02-27 株式会社ソニー・インタラクティブエンタテインメント Apparatus and method for dynamic graphics rendering based on saccade detection

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020030827A (en) * 2015-09-04 2020-02-27 株式会社ソニー・インタラクティブエンタテインメント Apparatus and method for dynamic graphics rendering based on saccade detection
JP2021119456A (en) * 2015-09-04 2021-08-12 株式会社ソニー・インタラクティブエンタテインメント Apparatus and method for dynamic graphics rendering based on saccade detection
US11099645B2 (en) 2015-09-04 2021-08-24 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
JP7050980B2 (en) 2015-09-04 2022-04-08 株式会社ソニー・インタラクティブエンタテインメント Equipment and methods for dynamic graphics rendering based on saccade detection
US11416073B2 (en) 2015-09-04 2022-08-16 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US11703947B2 (en) 2015-09-04 2023-07-18 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
JP2019041340A (en) * 2017-08-28 2019-03-14 株式会社Dapリアライズ Multiple video distribution system

Similar Documents

Publication Publication Date Title
JP5573316B2 (en) Image processing method and image processing apparatus
KR102275712B1 (en) Rendering method and apparatus, and electronic apparatus
TWI602148B (en) Gradient adjustment for texture mapping to non-orthonormal grid
JP5482394B2 (en) Image processing method and image processing apparatus
JPH10302079A (en) Solid texture mapping processor and three-dimensional image generating device using the processor
JP5413081B2 (en) Image display method and image display apparatus
JP2009521062A (en) Modeling the 3D shape of an object by shading 2D images
KR20170040698A (en) Method and apparatus for performing graphics pipelines
EP3563352B1 (en) Indexed value blending for use in image rendering
KR102285840B1 (en) Method for rendering image and Image outputting device thereof
JP2010257224A (en) Moving image display device
KR20110137629A (en) Method for providing texture effect and display apparatus applying the same
JP5432571B2 (en) Image processing apparatus and method
JP2016071733A (en) Image processor and image processing method
JP7325775B2 (en) Image processing system, method, and program
US20140354627A1 (en) Rendering a 3d shape
JP2011076145A (en) Image display method
JP2017536740A (en) Hybrid block-based compression
JP2010288267A (en) Image processing method and image processing apparatus
JP3701627B2 (en) Drawing processing program, recording medium storing drawing processing program, drawing processing apparatus and method
KR20080064523A (en) 3-dimension graphic processing apparatus and operating method thereof
KR100684558B1 (en) Texture mipmapping device and the same method
JP2011070569A (en) Image display method
JP2001357409A (en) Picture processor, picture processing method and storage medium
JP2011081531A (en) Image display method