JP2012221105A - Image processing system, image processing method and program - Google Patents

Image processing system, image processing method and program Download PDF

Info

Publication number
JP2012221105A
JP2012221105A JP2011084581A JP2011084581A JP2012221105A JP 2012221105 A JP2012221105 A JP 2012221105A JP 2011084581 A JP2011084581 A JP 2011084581A JP 2011084581 A JP2011084581 A JP 2011084581A JP 2012221105 A JP2012221105 A JP 2012221105A
Authority
JP
Japan
Prior art keywords
image
mapping
texture
unit
polygon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011084581A
Other languages
Japanese (ja)
Inventor
Senzaburo Nakamura
泉三郎 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011084581A priority Critical patent/JP2012221105A/en
Publication of JP2012221105A publication Critical patent/JP2012221105A/en
Withdrawn legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

PROBLEM TO BE SOLVED: To enable an arbitrary designation of a polygon face to be texture-mapped and to avoid inappropriate texture-mapping.SOLUTION: An image generation unit generates a computer graphic image based on CG descriptive data. A user selects an object or material and designates a polygon face in the CG descriptive data through a target designation unit. An image mapping unit performs texture-mapping of a predetermined image onto the polygon face designated by the target designation unit. A mapping condition check unit checks whether or not the polygon face designated by the target designation unit has a condition for the texture-mapping. When it is determined that the polygon face has a condition for the mapping, the image mapping unit performs mapping of the predetermined image onto the polygon face designated by the target designation unit.

Description

本技術は、画像処理装置、画像処理方法およびプログラムに関する。特に、本技術は、コンピュータグラフィクスのオブジェクトの表面に画像をテクスチャマッピングする画像処理装置等に関する。   The present technology relates to an image processing device, an image processing method, and a program. In particular, the present technology relates to an image processing apparatus that texture maps an image on the surface of a computer graphics object.

3次元グラフィックスシステムにおいては、3次元座標を3角形などのポリゴン(多角形)に分解し、そのポリゴンを描画することで、画像全体の描画が行われる。したがって、この場合、3次元画像は、ポリゴンの組み合わせで定義されていると言える。ところで、身の回りにある物体表面は、複雑な模様の繰り返しパターンを有することが多く、模様やパターンが複雑で細かくなるほど、各模様やパターンを3角形などでモデリングすることは困難となる。そこで、これを解決する手段として、テクスチャマッピング(Texture Mapping)が用いられる。   In the three-dimensional graphics system, the whole image is drawn by decomposing the three-dimensional coordinates into polygons such as triangles and drawing the polygons. Therefore, in this case, it can be said that the three-dimensional image is defined by a combination of polygons. By the way, the surface of an object around us often has a repeated pattern of complicated patterns, and as the patterns and patterns become more complicated and finer, it becomes more difficult to model each pattern or pattern with a triangle or the like. Therefore, texture mapping is used as a means for solving this problem.

テクスチャマッピングは、スキャナ等で取り込んだイメージデータを、物体表面に貼り付けることにより、少ない頂点数で、リアリティの高い画像を実現するもので、オブジェクト(Object)座標系からテクスチャ(Texture)座標系への写像を定義し、さらに、ウインドウ(Window)座標系からテクスチャ座標系への写像を求めて、ウインドウ座標系における各ピクセル(Pixel, Picture Cell Element )に対応するテクスチャの要素であるテクセル(Texel:Texture Cell Element )を求める。   Texture mapping achieves a high-reality image with a small number of vertices by pasting image data captured by a scanner or the like onto the surface of the object. From the object coordinate system to the texture coordinate system. Furthermore, the mapping from the window coordinate system to the texture coordinate system is obtained, and the texture element corresponding to each pixel (Pixel, Picture Cell Element) in the window coordinate system (Texel: Find Texture Cell Element).

テクスチャに利用される画像データは、テクスチャメモリと呼ばれるメモリ領域に格納される。したがって、動画像データを用いてテクスチャメモリを随時更新する処理を行うと、動画像によるテクスチャマッピング処理が可能となる。   Image data used for the texture is stored in a memory area called a texture memory. Therefore, if a process of updating the texture memory as needed using moving image data is performed, a texture mapping process using moving images can be performed.

例えば、特許文献1には、CG(コンピュータグラフィクス)記述データに基づいて生成されたCG画像に、画像をテクスチャマッピングする画像処理装置が記載されている。   For example, Patent Document 1 describes an image processing device that texture maps an image to a CG image generated based on CG (computer graphics) description data.

CG記述データでは、仮想物体の表面の色や反射特性などを、マテリアルと呼ぶ特性として定義し、各仮想物体の各面に割り当てている。これにより、レンダリングする際の見え方が計算され、色や反射が決まる。マテリアルには、テクスチャマッピングされるテクスチャ・ファイルが指定されている場合がある。   In the CG description data, the color and reflection characteristics of the surface of the virtual object are defined as characteristics called materials and assigned to each surface of each virtual object. As a result, the appearance when rendering is calculated, and the color and reflection are determined. A material may have a texture file to be texture mapped.

テクスチャ・ファイルは画像ファイルであって、対象となる面に貼り付けたような結果になる。貼り付ける位置や伸縮は、テクスチャ座標(UV座標)と呼ばれる、各ポリゴンの頂点に付与される値によって決まる。テクスチャ座標は、テクスチャ・ファイルを二次元の、x、yともに0から1までの値の領域として、それと貼り付ける先の各ポリゴンの対応関係を示す。   The texture file is an image file, and the result is that it is pasted on the target surface. The pasting position and expansion / contraction are determined by values given to the vertices of each polygon called texture coordinates (UV coordinates). The texture coordinates indicate a correspondence relationship between each textured polygon and a texture file as a two-dimensional area having values of 0 and 1 for both x and y.

特開2011−022728号公報JP 2011-022728 A

例えば、放送用に、状況に応じてCG画像を変化させるために,CG中の任意の面に、任意の選択された画像をテクスチャマッピングできる装置が求められる。その場合、選択肢は全ての面(ポリゴンの集合)であるので、それらは、CG制作時にテクスチャマッピングを意図して作られた面とは限らない。CG記述データにおいて、テクスチャマッピングされない面については、テクスチャ座標は未定義である場合もある。   For example, in order to change a CG image according to a situation for broadcasting, an apparatus capable of texture mapping an arbitrary selected image on an arbitrary surface in the CG is required. In that case, since the options are all faces (a set of polygons), they are not necessarily faces created with the intention of texture mapping at the time of CG production. In the CG description data, the texture coordinates may not be defined for a surface that is not texture-mapped.

テクスチャ座標が未定義の面にテクスチャマッピングを行うと、テクスチャ・ファイルである静止画の各画素との対応が計算できないため、表示不能な状態になる。また、テクスチャ座標およびその他の属性が定義されていても、テクスチャ・ファイルによっては貼り付ける方向、面上の位置オフセットなどで、マッピングされた画像が不適切な状態になる場合がある。   If texture mapping is performed on a surface with undefined texture coordinates, the correspondence with each pixel of a still image, which is a texture file, cannot be calculated, and the display becomes impossible. Even if texture coordinates and other attributes are defined, depending on the texture file, the mapped image may be in an inappropriate state depending on the pasting direction, the position offset on the surface, and the like.

本技術の目的は、テクスチャマッピングするポリゴン面を任意に指定可能とし、しかも、不適切なテクスチャマッピングが行われることを回避することにある。   An object of the present technology is to make it possible to arbitrarily specify a polygon surface to be texture-mapped, and to prevent inappropriate texture mapping from being performed.

本技術の概念は、
コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成部と、
上記コンピュータグラフィクス記述データの中のポリゴンの面を指定する操作入力を受けるターゲット指定部と、
上記ターゲット指定部で指定されたポリゴンの面に所定の画像をテクスチャマッピングする画像マッピング部と、
上記ターゲット指定部で指定されたポリゴンの面がテクスチャマッピングの条件を備えているか否かを判断するマッピング条件チェック部とを備え、
上記画像マッピング部は、
上記マッピング条件チェック部でテクスチャマッピングの条件を備えていると判断されるとき、上記ターゲット指定部で指定されたポリゴンの面に所定の画像をテクスチャマッピングする
画像処理装置にある。
The concept of this technology is
An image generator for generating a computer graphics image based on the computer graphics description data;
A target designating unit for receiving an operation input for designating a polygonal surface in the computer graphics description data;
An image mapping unit for texture-mapping a predetermined image on the surface of the polygon designated by the target designation unit;
A mapping condition check unit for determining whether or not the polygon surface specified by the target specifying unit has a texture mapping condition;
The image mapping unit
When the mapping condition check unit determines that a texture mapping condition is provided, the image processing apparatus is configured to texture-map a predetermined image on the surface of the polygon designated by the target designation unit.

本技術において、画像生成部により、コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像が生成される。また、ターゲット指定部により、コンピュータグラフィクス記述データの中のポリゴンの面が指定される。そして、画像マッピング部により、ターゲット指定部で指定されたポリゴンの面に所定の画像がテクスチャマッピングされる。   In the present technology, a computer graphics image is generated by the image generation unit based on the computer graphics description data. In addition, the target designating unit designates a polygon surface in the computer graphics description data. Then, the image mapping unit texture maps a predetermined image on the surface of the polygon designated by the target designation unit.

この際、マッピング条件チェック部により、ターゲット指定部で指定されたポリゴンの面がテクスチャマッピングの条件を備えているか否かがチェックされる。そして、テクスチャマッピングの条件を備えていると判断されるとき、画像マッピング部により、ターゲット指定部で指定されたポリゴンの面に所定の画像がテクスチャマッピングされる。   At this time, the mapping condition check unit checks whether or not the surface of the polygon designated by the target designation unit has a texture mapping condition. When it is determined that the texture mapping condition is satisfied, the image mapping unit texture-maps a predetermined image on the surface of the polygon designated by the target designation unit.

例えば、画像生成部は、出力する画像のフレームレートに対してリアルタイムレンダリング動作をし、画像マッピング部は、各フレームの画像生成毎に、マッピング条件チェック部でテクスチャマッピングの条件を備えていると判断されたポリゴンの面に所定の画像をテクスチャマッピングする、ようにされる。   For example, the image generation unit performs a real-time rendering operation on the frame rate of the output image, and the image mapping unit determines that the mapping condition check unit has a texture mapping condition for each frame image generation. A predetermined image is texture-mapped on the surface of the polygon.

このように本技術においては、ユーザがターゲット指定部でテクスチャマッピングをするポリゴン面を任意に指定できる。また、ターゲット指定部で指定されたポリゴンの面の全てに画像がテクスチャマッピングされるものではなく、テクスチャマッピングの条件を備えているポリゴンの面にのみ画像がテクスチャマッピングされる。そのため、ポリゴンの面に不適切な状態で画像がマッピングされることを回避できる。   As described above, in the present technology, the user can arbitrarily designate a polygon surface to be texture-mapped by the target designation unit. Further, the image is not texture-mapped on all the polygonal surfaces specified by the target specifying unit, and the image is texture-mapped only on the polygonal surfaces having the texture mapping conditions. Therefore, it is possible to avoid mapping an image in an inappropriate state on the surface of the polygon.

なお、本技術において、例えば、ターゲット指定部は、マッピング条件チェック部でマッピング条件を備えていると判断されないポリゴンの面を指定する操作入力を受けない、ようにされてもよい。例えば、ターゲット指定部は、当該ポリゴンの面を指定する操作入力を拒否するかエラーとする。また、例えば、ターゲット指定部は、当該ポリゴンの面を選択肢として表示しない。これにより、ユーザがマッピング条件を備えていないポリゴンの面を指定することを事前に回避でき、操作性の向上が可能となる。   In the present technology, for example, the target designation unit may be configured not to receive an operation input for designating a polygon surface that is not determined to have the mapping condition by the mapping condition check unit. For example, the target designating unit rejects an operation input designating the surface of the polygon or makes an error. Further, for example, the target designating unit does not display the polygon surface as an option. As a result, it is possible to avoid in advance that the user designates a polygon surface that does not have a mapping condition, and operability can be improved.

また、本技術において、例えば、マッピング条件チェック部は、ターゲット指定部で指定されたポリゴンの面にテクスチャ座標が定義されていない場合には、テクスチャマッピングの条件を備えていないと判断する、ようにされてもよい。テクスチャ座標が未定義の面にテクスチャマッピングを行うとすると、画像の各画素との対応が計算できないため、表示不能な状態になるからである。   In the present technology, for example, the mapping condition check unit determines that the texture mapping condition is not provided when the texture coordinates are not defined on the surface of the polygon designated by the target designation unit. May be. This is because if texture mapping is performed on a surface where the texture coordinates are undefined, the correspondence with each pixel of the image cannot be calculated, and the display becomes impossible.

この場合、例えば、ターゲット指定部は、このターゲット指定部で指定されたポリゴンの面がテクスチャマッピングの条件を備えていないと判断されるとき、コンピュータグラフィクス仮想空間内でテクスチャ座標決定用の幾何学形状の面を指定されたポリゴンの面に投影することによりテクスチャ座標を決定し、指定されたポリゴンの面にテクスチャ座標を付与する、ようにされてもよい。これにより、指定されたポリゴンの面にテクスチャ座標が未定義であっても、画像を適切にテクスチャマッピングすることが可能となる。   In this case, for example, when the target designating unit determines that the polygon surface designated by the target designating unit does not have a texture mapping condition, the geometric shape for determining texture coordinates in the computer graphics virtual space is used. The texture coordinates may be determined by projecting the surface of the image onto the surface of the designated polygon, and the texture coordinates may be assigned to the surface of the designated polygon. As a result, even if the texture coordinates are undefined on the surface of the designated polygon, the image can be appropriately texture-mapped.

また、本技術において、例えば、マッピング条件チェック部は、ターゲット指定部で指定されたポリゴンの面のテクスチャ座標について、このポリゴン上で歪みが閾値以上の場合にはテクスチャマッピングの条件を備えていないと判断する、ようにされてもよい。ここで、歪みとは、テクスチャ座標では同じ距離であるのに対してCG空間では場所により距離に差がでることを意味する。この場合、画像に変形あるいはゆがみが発生することから、テクスチャマッピングには適さないと考えられる。   Further, in the present technology, for example, the mapping condition check unit does not include a texture mapping condition when the distortion on the polygon is greater than or equal to a threshold value for the texture coordinates of the polygon surface specified by the target specifying unit. Judgment may be made. Here, the distortion means that the distance is the same in the texture coordinates, but the distance is different depending on the location in the CG space. In this case, since the image is deformed or distorted, it is not suitable for texture mapping.

また、本技術において、例えば、マッピング条件チェック部は、画像マッピング部がターゲット指定部で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするとき、ポリゴンの面が出力画像の画面に垂直な軸に対して閾値以上の回転がある場合には、テクスチャマッピングの条件を備えていないと判断する、ようにされてもよい。この場合、回転によって左眼用の画像と右眼用の画像の左右のずれが上下のずれとなってくるので、立体画像の適切な表示が困難となるからである。   In the present technology, for example, when the image mapping unit texture maps a stereo image to the polygon surface specified by the target specifying unit, the mapping condition check unit has the polygon surface on an axis perpendicular to the screen of the output image. On the other hand, when there is a rotation greater than or equal to the threshold value, it may be determined that the texture mapping condition is not provided. In this case, the left-right image and the right-eye image are shifted from each other up and down due to the rotation, which makes it difficult to display a stereoscopic image appropriately.

この場合、例えば、画像マッピング部は、ターゲット指定部で指定されたポリゴンの面がマッピング条件チェック部でテクスチャマッピングの条件を備えていないと判断されるとき、左眼用画像または右眼用画像のみでマッピングを行う、ようにされてもよい。この場合、ポリゴンの面に立体画像ではなく二次元画像が表示されることとなるが、この面に画像をテクスチャマッピングすることが可能となる。   In this case, for example, when the image mapping unit determines that the polygon surface specified by the target specifying unit does not have a texture mapping condition by the mapping condition check unit, only the left-eye image or the right-eye image is displayed. Mapping may be performed. In this case, a two-dimensional image instead of a stereoscopic image is displayed on the surface of the polygon, and it is possible to texture-map the image on this surface.

また、本技術において、例えば、マッピング条件チェック部は、画像マッピング部がターゲット指定部で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするとき、ポリゴンの面が出力画像の画面に平行な軸に対して閾値以上の回転がある場合には、テクスチャマッピングの条件を備えていないと判断する、ようにされてもよい。この場合、例えば、x軸を中心として回転した場合、左眼用画像と右眼用画像との間の視差も減るはずだが、左眼画像と右眼画像視差との間の視差が減らないことから不自然な立体画像表示となる。   In the present technology, for example, when the image mapping unit texture maps a stereo image to the polygon surface specified by the target specifying unit, the mapping condition check unit has the polygon surface on an axis parallel to the screen of the output image. On the other hand, when there is a rotation greater than or equal to the threshold value, it may be determined that the texture mapping condition is not provided. In this case, for example, when rotating around the x-axis, the parallax between the left-eye image and the right-eye image should be reduced, but the parallax between the left-eye image and the right-eye image parallax is not reduced. Therefore, it becomes an unnatural stereoscopic image display.

この場合、例えば、画像マッピング部は、ターゲット指定部で指定されたポリゴンの面がマッピング条件チェック部でテクスチャマッピングの条件を備えていないと判断されるとき、左眼画像または右眼画像のみでマッピングを行う、ようにされてもよい。この場合、ポリゴンの面に立体画像ではなく二次元画像が表示されることとなるが、この面に画像をテクスチャマッピングすることが可能となる。   In this case, for example, when the polygon mapping surface specified by the target specification unit determines that the mapping condition check unit does not have a texture mapping condition, the image mapping unit performs mapping using only the left eye image or the right eye image. Doing so may be done. In this case, a two-dimensional image instead of a stereoscopic image is displayed on the surface of the polygon, and it is possible to texture-map the image on this surface.

また、この場合、例えば、画像マッピング部は、ターゲット指定部で指定されたポリゴンの面がマッピング条件チェック部でテクスチャマッピングの条件を備えていないと判断されるとき、左眼用画像および右眼用画像の間の視差を減じてテクスチャマッピングを行う、ようにされてもよい。この場合、指定されたポリゴンの面に、不自然な立体画像が表示されることを回避することが可能となる。   Also, in this case, for example, when the image mapping unit determines that the polygon surface specified by the target specifying unit does not have the texture mapping condition by the mapping condition check unit, the image for the left eye and the image for the right eye Texture mapping may be performed by reducing parallax between images. In this case, an unnatural stereoscopic image can be prevented from being displayed on the designated polygon surface.

本技術によれば、テクスチャマッピングするポリゴン面を任意に指定でき、また、不適切なテクスチャマッピングが行われることを回避できる。   According to the present technology, a polygon surface to be texture-mapped can be arbitrarily specified, and inappropriate texture mapping can be avoided.

本技術の実施の形態としての画像処理装置の構成例を示すブロック図である。It is a block diagram showing an example of composition of an image processing device as an embodiment of this art. 表示選択肢から任意のオブジェクトあるいはマテリアルを選択可能としたGUI例を示す図である。It is a figure which shows the example of GUI which enabled selection of arbitrary objects or materials from the display choice. 表示選択肢から任意のオブジェクトあるいはマテリアルを選択可能としたGUI例を示す図である。It is a figure which shows the example of GUI which enabled selection of arbitrary objects or materials from the display choice. テクスチャマッピングすべき画像およびテクスチャマッピング結果の一例を示す図である。It is a figure which shows an example of the image which should be texture-mapped, and a texture mapping result. 画像生成部(画像マッピング部およびマッピング条件チェック部)の構成例を示すブロック図である。It is a block diagram which shows the structural example of an image generation part (an image mapping part and a mapping condition check part). 画像生成部(画像マッピング部およびマッピング条件チェック部)の機能ブロックの構成例を示す図である。It is a figure which shows the structural example of the functional block of an image generation part (an image mapping part and a mapping condition check part). 画像生成部におけるレンダリング中のテクスチャマッピング処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the texture mapping process during the rendering in an image generation part. 平面から投影してテクスチャ座標を決定する例を示す図である。It is a figure which shows the example which determines a texture coordinate by projecting from a plane. ポリゴン上にマッピングされた画像に歪みあるいはゆがみが生じる例を示す図である。It is a figure which shows the example which distortion or distortion arises in the image mapped on the polygon. ステレオ画像をテクスチャマッピングする場合におけるポリゴンの面のZ軸に対する回転を説明するための図である。It is a figure for demonstrating rotation with respect to the Z-axis of the surface of a polygon in the case of texture-mapping a stereo image. ステレオ画像をテクスチャマッピングする場合におけるポリゴンの面のX軸、Y軸などに対する回転を説明するための図である。It is a figure for demonstrating rotation with respect to the X-axis, the Y-axis, etc. of the surface of a polygon in the case of texture-mapping a stereo image. 左眼用画像と右眼用画像との間の視差と、被写体の奥行きとの関係を示す図である。It is a figure which shows the relationship between the parallax between the image for left eyes, and the image for right eyes, and the depth of a to-be-photographed object. 画像マッピング部における複数のポリゴン面へのステレオ画像のテクスチャマッピングの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the texture mapping of the stereo image to the some polygon surface in an image mapping part. ターゲット操作部におけるオブジェクト(ノード)の選択肢表示の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence of the option display of the object (node) in a target operation part. 画像処理装置の他の構成例を示すブロック図である。It is a block diagram which shows the other structural example of an image processing apparatus. プログラム出力およびそれに対するプレビュー出力の一例を示す図である。It is a figure which shows an example of a program output and the preview output with respect to it.

以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
Hereinafter, modes for carrying out the invention (hereinafter referred to as “embodiments”) will be described. The description will be given in the following order.
1. Embodiment 2. FIG. Modified example

<1.実施の形態>
[画像処理装置の構成]
図1は、本技術の実施の形態としての画像処理装置100の構成例を示している。この画像処理装置100は、CG(コンピュータグラフィクス)制作部110と、ネットワーク120と、画像生成部130と、画像マッピング部140と、マッピング条件チェック部190と、記憶部150を有している。また、この画像処理装置100は、マトリクススイッチ160と、画像選択操作部170と、画像合成部(プログラム・プレビューミキサ)180を有している。CG制作部110、画像生成部130および画像選択操作部170は、それぞれネットワーク120に接続されている。
<1. Embodiment>
[Configuration of image processing apparatus]
FIG. 1 shows a configuration example of an image processing apparatus 100 as an embodiment of the present technology. The image processing apparatus 100 includes a CG (computer graphics) production unit 110, a network 120, an image generation unit 130, an image mapping unit 140, a mapping condition check unit 190, and a storage unit 150. The image processing apparatus 100 further includes a matrix switch 160, an image selection operation unit 170, and an image composition unit (program / preview mixer) 180. The CG production unit 110, the image generation unit 130, and the image selection operation unit 170 are each connected to the network 120.

CG制作部110は、CG制作ソフトウェアを持つパーソナルコンピュータ(PC:Personal Computer)により構成されている。このCG制作部110は、所定のフォーマットのCG記述データを出力する。CG記述データのフォーマットとして、例えばCollada(登録商標)がある。Colladaは、XML(Extensible Markup Language)の上で3DのCGデータの交換を実現するための記述定義である。CG記述データには、例えば、以下のような情報が記述される。   The CG production unit 110 is configured by a personal computer (PC) having CG production software. The CG production unit 110 outputs CG description data in a predetermined format. As a format of CG description data, for example, Collada (registered trademark) is available. Collada is a description definition for realizing the exchange of 3D CG data on XML (Extensible Markup Language). In the CG description data, for example, the following information is described.

(a)マテリアル(表面態様)の定義
このマテリアルの定義は、CGオブジェクトの表面の質(見え方)である。このマテリアルの定義には、色、反射の仕方、発光、凹凸などの情報が含まれる。また、このマテリアルの定義には、テクスチャマッピングの情報が含まれる場合がある。テクスチャマッピングとは、上述したように、画像をCGオブジェクトに貼り付ける手法であり、処理系の負荷を比較的軽くしつつ、複雑な模様などを表現できる。
(A) Definition of Material (Surface Aspect) The definition of this material is the surface quality (appearance) of the CG object. The definition of this material includes information such as color, reflection method, light emission, and unevenness. The material definition may include texture mapping information. As described above, texture mapping is a method of pasting an image on a CG object, and can express a complicated pattern or the like while relatively reducing the load on the processing system.

(b)幾何学情報 Geometry の定義
この幾何学情報 Geometry の定義には、ポリゴンメッシュについての、位置座標、頂点の座標などの情報が含まれる。
(c)カメラの定義
このカメラの定義には、カメラのパラメタが含まれる。
(B) Definition of Geometric Information Geometry The definition of the geometric information Geometry includes information such as position coordinates and vertex coordinates about the polygon mesh.
(C) Camera definition This camera definition includes camera parameters.

(d)アニメーションの定義
このアニメーションの定義には、アニメーションの各キーフレームにおける、様々な情報が含まれる。また、このアニメーションの定義には、アニメーションの各キーフレームにおける時刻の情報が含まれる。様々な情報とは、例えば、対応するオブジェクト(ノード)のキーフレーム点の時刻、位置や頂点の座標値、サイズ、接線ベクトル、補間方法、各種情報のアニメーション中の変化等の情報である。
(e)シーン中のノード(オブジェクト)の位置、方向、大きさ、対応する幾何学情報定義、対応するマテリアル定義
(D) Definition of Animation This animation definition includes various information in each key frame of the animation. Further, the definition of the animation includes time information at each key frame of the animation. The various information is, for example, information such as the time of the key frame point of the corresponding object (node), the coordinate value of the position and the vertex, the size, the tangent vector, the interpolation method, and changes in various information during animation.
(E) Node (object) position, direction, size, corresponding geometric information definition in the scene, and corresponding material definition

これらの情報は、ばらばらではなく、例えば、以下のように対応付けられている。
・ノード・・・幾何学情報
・ノード・・・マテリアル(複数)
・幾何学情報・・・ポリゴン集合(複数)
・ポリゴン集合・・・マテリアル(ノードに対応するうちの一つ)
・アニメーション・・・ノード
These pieces of information are not separated but are associated as follows, for example.
・ Node ・ ・ ・ Geometry information ・ Node ・ ・ ・ Material (s)
・ Geometry information: Polygon set (multiple)
・ Polygon set: Material (one of the nodes)
・ Animation ・ ・ ・ Node

一つの画面を構成する記述はシーンと呼ばれる。各定義はライブラリと呼ばれ、シーンの中から参照される。例えば、直方体のオブジェクトが2つ存在する場合、それぞれが一つのノードとして記述され、各ノードにマテリアル定義のいずれかが連想される。この結果、各直方体のオブジェクトにはマテリアル定義が連想され、各マテリアル定義に従った色や反射特性で描画される。   A description constituting one screen is called a scene. Each definition is called a library and is referenced from within the scene. For example, when there are two cuboid objects, each is described as one node, and each node is associated with one of the material definitions. As a result, a material definition is associated with each rectangular parallelepiped object, and the object is drawn with a color and reflection characteristics according to each material definition.

あるいは、直方体のオブジェクトは複数のポリゴン集合で記述され、ポリゴン集合にマテリアル定義が連想されている場合は、ポリゴン集合毎に、異なるマテリアル定義で描画される。例えば、直方体の面は6つであるが、このうちの3つの面で一つのポリゴン集合、1つの面で1つのポリゴン集合、2つの面で一つのポリゴン集合、というように、直方体のオブジェクトが3つのポリゴン集合で記述される場合もある。各ポリゴン集合に異なるマテリアル定義を連想できるため、面毎に異なる色で描画させることも可能である。   Alternatively, a rectangular parallelepiped object is described by a plurality of polygon sets, and when a material definition is associated with the polygon set, each polygon set is drawn with a different material definition. For example, there are six rectangular parallelepiped faces, but three of these faces have one polygon set, one polygon set on one face, one polygon set on two faces, and so on. In some cases, it is described by a set of three polygons. Since different material definitions can be associated with each polygon set, it is possible to draw different colors for each surface.

マテリアル定義にテクスチャマッピングが指定されている場合は、連想されているオブジェクトの面に、画像データによる画像がテクスチャマッピングされる。   When texture mapping is designated in the material definition, an image based on image data is texture-mapped on the associated object surface.

例えば、マテリアル定義に対して画像をテクスチャマッピングするように設定される。そのため、直方体のオブジェクトの全ての面に同じ画像をテクスチャマッピングすることもでき、面毎に異なる画像をテクスチャマッピングすることもできる。   For example, it is set to texture-map the image with respect to the material definition. Therefore, the same image can be texture-mapped on all the faces of the rectangular parallelepiped object, and different images can be texture-mapped for each face.

マトリクススイッチ160は、複数の入力画像(入力画像データ)から所定の画像(画像データ)を選択的に取り出す。このマトリクススイッチ160は、10本の入力ラインと、13本の出力バスライン211乃至223と、13個のクロスポイントスイッチ群231乃至243を有している。このマトリクススイッチ160は、エフェクトスイッチャの一部を構成しており、外部機器としての画像マッピング部140に画像データを供給する他、内部の画像合成部180等に画像データを供給するために使用される。   The matrix switch 160 selectively extracts a predetermined image (image data) from a plurality of input images (input image data). The matrix switch 160 includes 10 input lines, 13 output bus lines 211 to 223, and 13 crosspoint switch groups 231 to 243. The matrix switch 160 constitutes a part of the effect switcher, and is used to supply image data to the image mapping unit 140 as an external device and to supply image data to the internal image composition unit 180 and the like. The

出力バスライン211〜214は、画像マッピング部140に画像データを供給するためのバスラインである。また、出力バスライン215〜221は、外部に画像データを出力するためのバスラインである。また、出力バスライン222,223は、内部の画像合成部180に画像データを供給するためのバスラインである。   The output bus lines 211 to 214 are bus lines for supplying image data to the image mapping unit 140. The output bus lines 215 to 221 are bus lines for outputting image data to the outside. The output bus lines 222 and 223 are bus lines for supplying image data to the internal image composition unit 180.

10本の入力ラインは、一の方向(図1では水平方向)に配列されている。「1」〜「9」の入力ラインには、それぞれ、VTR、ビデオカメラ等から画像データが入力される。また、「10」の入力ラインには、画像生成部130から出力されるCG画像データが入力される。13本の出力バスライン211〜223は、入力ラインと交差して、他の方向(図1では垂直方向)に配列されている。   The ten input lines are arranged in one direction (horizontal direction in FIG. 1). Image data is input to the input lines “1” to “9” from a VTR, a video camera, or the like. The CG image data output from the image generation unit 130 is input to the input line “10”. The 13 output bus lines 211 to 223 intersect with the input lines and are arranged in other directions (vertical direction in FIG. 1).

クロスポイントスイッチ群231〜234は、10本の入力ラインと出力バスライン211〜214とが交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群231〜234の接続が制御され、10本の入力ラインに入力された画像データのいずれかが出力バスライン211〜214に選択的に出力される。この出力バスライン211〜214は、テクスチャマッピング用の画像データ(マッピング入力)T1〜T4の出力ラインを構成する。   The cross point switch groups 231 to 234 perform connection at each cross point where the 10 input lines intersect with the output bus lines 211 to 214. Based on the user's image selection operation, the connection of the cross point switch groups 231 to 234 is controlled, and any of the image data input to the 10 input lines is selectively output to the output bus lines 211 to 214. The The output bus lines 211 to 214 form output lines for texture mapping image data (mapping inputs) T1 to T4.

また、クロスポイントスイッチ群235〜241は、それぞれ、10本の入力ラインと出力バスライン215〜221が交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群235〜241が制御され、10本の入力ラインに入力された画像データのいずれかが出力バスライン215〜221に選択的に出力される。この出力バスライン215〜221は、外部出力用の画像データOUT1〜OUT7の出力ラインを構成する。   Further, the cross point switch groups 235 to 241 perform connection at each cross point where the 10 input lines and the output bus lines 215 to 221 cross each other. The crosspoint switch groups 235 to 241 are controlled based on the user's image selection operation, and any of the image data input to the 10 input lines is selectively output to the output bus lines 215 to 221. The output bus lines 215 to 221 constitute output lines for image data OUT1 to OUT7 for external output.

また、クロスポイントスイッチ群242,243は、それぞれ、10本の入力ラインと出力バスライン222,223とが交差する各クロスポイントでそれぞれの接続を行う。ユーザの画像選択操作に基づいて、このクロスポイントスイッチ群242,243が制御され、10本の入力ラインに入力された画像データのいずれかが出力バスライン222,223に選択的に出力される。   Further, the cross point switch groups 242 and 243 perform connection at each cross point where the 10 input lines intersect with the output bus lines 222 and 223, respectively. Based on the user's image selection operation, the cross point switch groups 242 and 243 are controlled, and any of the image data input to the ten input lines is selectively output to the output bus lines 222 and 223.

なお、クロスポイントスイッチ群231〜243の各クロスポイントスイッチのオンオフ動作は、フレームデータの連続からなる画像データを切り替えるものであることから、フレームの切れ目である垂直ブランキング区間内に行われる。   Note that the on / off operations of the cross point switches of the cross point switch groups 231 to 243 are performed within a vertical blanking interval, which is a frame break, because the image data is composed of continuous frame data.

出力バスライン222,223に出力される画像データは、画像合成部(プログラム・プレビューミキサ)180に入力される。この画像合成部180は、出力バスライン222,223から入力される画像データに対して合成処理を行う。この画像合成部180から、プログラム出力ライン251を通じてプログラム(PGM)出力が外部に出力され、プレビュー出力ライン252を通じてプレビュー出力が外部に出力される。   The image data output to the output bus lines 222 and 223 is input to the image composition unit (program / preview mixer) 180. The image composition unit 180 performs composition processing on image data input from the output bus lines 222 and 223. A program (PGM) output is output to the outside from the image synthesis unit 180 through the program output line 251, and a preview output is output to the outside through the preview output line 252.

画像選択操作部170は、マトリクススイッチ160への指示の操作入力を受ける。この画像選択操作部170は、マトリクススイッチ160の各クロスポイントスイッチ群のスイッチのオンオフを操作する押しボタン列を備える操作卓(図示は省略する)を備えている。   The image selection operation unit 170 receives an instruction operation input to the matrix switch 160. The image selection operation unit 170 includes an operation console (not shown) including a push button row for operating on / off of the switches of each cross point switch group of the matrix switch 160.

画像選択操作部170は、ターゲット指定部171を備えている。このターゲット指定部171は、テクスチャマッピングをすべき、CG記述データの中のポリゴンの面を、ユーザが指定する操作入力を受ける。ターゲット指定部171では、テクスチャマッピングをすべきポリゴンの面を指定するために、オブジェクト(ノード)の指定、あるいは、ポリゴンの面と対応付けられているマテリアル(表面態様)の指定などが行われる。   The image selection operation unit 170 includes a target designation unit 171. The target designating unit 171 receives an operation input for designating a polygon surface in the CG description data to be texture-mapped. The target designating unit 171 designates an object (node) or a material (surface mode) associated with a polygon surface in order to designate a polygon surface to be texture-mapped.

なお、ターゲット指定部171では、テクスチャマッピングをすべきポリゴンの面の指定と共に、マッピング対象の画像の指定も行われる。対象となる画像は、例えば、画像生成部130が保持する画像ファイルの画像、あるいは、マトリクススイッチ160から入力される画像などである。この画像としては、静止画像、動画像のいずれでもよい。   The target designation unit 171 designates a mapping target image as well as a polygon face to be texture-mapped. The target image is, for example, an image of an image file held by the image generation unit 130 or an image input from the matrix switch 160. This image may be either a still image or a moving image.

ターゲット指定部171では、例えば、図示しない表示部へのオブジェクトあるいはマテリアル、あるいはその両方の選択肢の表示に基づいて、オブジェクトあるいはマテリアルが選択されることで、テクスチャマッピングをすべきポリゴンの面の指定がなされる。   In the target designating unit 171, for example, an object or material is selected on the basis of display of an option of an object and / or material on a display unit (not shown), thereby designating a polygon surface to be texture-mapped. Made.

図2は、CG記述データの中のオブジェクトあるいはマテリアルが選択的に表示され、その表示選択肢から任意のオブジェクトあるいはマテリアルを選択可能としたGUI例を示している。この例において、「Video1」から「Video5」は、画像の指定のための表示であり、図では「Video1」が選択されている。   FIG. 2 shows a GUI example in which an object or material in CG description data is selectively displayed, and an arbitrary object or material can be selected from the display options. In this example, “Video 1” to “Video 5” are displays for designating images, and “Video 1” is selected in the figure.

図3は、CG記述データの中のオブジェクトあるいはマテリアルがツリー表示され、その表示選択肢から任意のオブジェクトあるいはマテリアルを選択可能としたGUI例を示している。この例において、「Group1」のオブジェクトが選択されている。また、「Video1」から「Video5」は、画像の指定のための表示であり、図では「Video5」が選択されている。   FIG. 3 shows an example of a GUI in which objects or materials in CG description data are displayed in a tree form, and an arbitrary object or material can be selected from the display options. In this example, the object “Group1” is selected. “Video 1” to “Video 5” are displays for designating an image, and “Video 5” is selected in the figure.

画像生成部130は、CG制作部110で制作されたCG記述データに基づいて、三次元空間画像であるCG画像を生成する。記憶部150は、CG記述データを記憶している。この画像生成部130は、CG記述データを読み込むと、各定義などの情報をメモリ上に保持し、それらの対応付けもデータ構造として保持する。また、画像生成部130は、アニメーションを実行するためのキーフレームにおける各種値もメモリ上に保持する。   The image generation unit 130 generates a CG image that is a three-dimensional space image based on the CG description data produced by the CG production unit 110. The storage unit 150 stores CG description data. When the CG description data is read, the image generation unit 130 stores information such as each definition on the memory, and also stores the correspondence thereof as a data structure. The image generation unit 130 also stores various values in key frames for executing animation in the memory.

例えば、あるノードの幾何学情報にあるポリゴン集合を描画するには、その幾何学情報と、対応付けられているマテリアル定義を参照して、その色などの指定に従って描画する。アニメーションの場合は、現在時刻を毎フレーム進行させ、現在時刻から、前後のキーフレームにおける各値を補間して各値を決定し、描画を行う。   For example, in order to draw a polygon set in the geometric information of a certain node, the drawing is performed according to the designation of the color or the like with reference to the geometric information and the associated material definition. In the case of animation, the current time is advanced every frame, each value in the preceding and following key frames is determined from the current time to determine each value, and drawing is performed.

画像生成部130は、画像選択操作部170のターゲット指定部171で指定されたポリゴンの面に、同様にターゲット指定部171で指定された画像をテクスチャマッピングするように、画像マッピング部140を制御する。   The image generation unit 130 controls the image mapping unit 140 so that the image specified by the target specifying unit 171 is similarly texture-mapped on the polygon surface specified by the target specifying unit 171 of the image selection operation unit 170. .

画像マッピング部140は、画像生成部130の制御のもと、テクスチャマッピングを行う。図4は、テクスチャマッピングの一例を示している。図4(a)は、テクスチャマッピングすべき画像を示している。図4(b)は、ポリゴンの面に対して図示のようにテクスチャ座標が定義されている場合に、このポリゴンの面に図4(a)の画像をテクスチャマッピングした結果を示している。   The image mapping unit 140 performs texture mapping under the control of the image generation unit 130. FIG. 4 shows an example of texture mapping. FIG. 4A shows an image to be texture mapped. FIG. 4B shows the result of texture mapping of the image of FIG. 4A onto the polygon plane when texture coordinates are defined as shown in the figure.

マッピング条件チェック部190は、ターゲット指定部171で指定されたポリゴンの面がテスクチャマッピングの条件を備えているか否かを判断する。画像マッピング部140は、マッピング条件チェック部190でテスクチャマッピングの条件を備えていると判断されるとき、ターゲット指定部171で指定されたポリゴンの面に画像をテクスチャマッピングする。マッピング条件チェック部190における判断の詳細については後述する。   The mapping condition check unit 190 determines whether the polygon surface designated by the target designating unit 171 has a texture mapping condition. When the mapping condition check unit 190 determines that the texture mapping condition is provided, the image mapping unit 140 texture-maps the image onto the polygon plane specified by the target specifying unit 171. Details of the determination in the mapping condition check unit 190 will be described later.

なお、CGがアニメーションを含む場合、あるいはリアルタイムでジョイスティックなどにより制御される場合、パラメタはフレーム(フィールド)毎に変化する。テクスチャマッピングしているポリゴンの面の回転角度や歪みも変化していくので、時間(操作)とともにテクスチャマッピングに適する条件になったり、不適合になったりする。そのため、マッピング条件チェック部190は、レンダリグする毎に条件を備えているか否かを判断し、画像マッピング部140は、その判断結果に基づいて、テクスチャマッピングを実施したり解除したりする。   Note that when the CG includes animation, or when controlled by a joystick or the like in real time, the parameter changes for each frame (field). Since the rotation angle and distortion of the surface of the polygon that is texture-mapping also change, the conditions suitable for texture mapping become unsuitable over time (operation). Therefore, the mapping condition check unit 190 determines whether or not a condition is provided every time rendering is performed, and the image mapping unit 140 performs or cancels texture mapping based on the determination result.

また、画像選択操作部170からのユーザ操作に基づいて、CG記述データにおいて各ポリゴンに関連付けされているマテリアルの変更が可能とされている。その場合、あるポリゴンに対応するマテリアルが変更された場合、その変更後のマテリアルがターゲット指定部171で選択されたマテリアルであることもある。その場合、当該ポリゴンの面がテクスチャマッピングの条件を備えていれば、当該ポリゴンの面はテクスチャマッピングの対象となる。   Further, the material associated with each polygon in the CG description data can be changed based on a user operation from the image selection operation unit 170. In this case, when the material corresponding to a certain polygon is changed, the changed material may be the material selected by the target specifying unit 171. In this case, if the surface of the polygon has a texture mapping condition, the surface of the polygon is a target for texture mapping.

テクスチャマッピングが解除されても、画が乱れるわけではない。CGデータ制作の際の元の状態の仮想物体表面になるので、見る者に不快感を与えるわけではなく、不適切なテクスチャマッピングを継続するよりも価値の高い画像を提供することができる。なお、テクスチャ座標自体(UV座標系)が、アニメーションや操作の対象となっていてもよい。   Even if the texture mapping is canceled, the image is not disturbed. Since it becomes the virtual object surface in the original state at the time of CG data production, it does not give an unpleasant feeling to the viewer and can provide an image having higher value than continuing inappropriate texture mapping. The texture coordinates themselves (UV coordinate system) may be the target of animation or operation.

画像マッピング部140およびマッピング条件チェック部190は、実装上は、例えば、上述の画像生成部130と一体化されており、CPU上のソフトウェアによる制御と、GPU等のハードウェアによる動作によって実現される。制御ソフトウェアは、テクスチャマッピングするポリゴン集合を指定してハードウェアに指示する。   For example, the image mapping unit 140 and the mapping condition check unit 190 are integrated with the above-described image generation unit 130, and are realized by software control on the CPU and operation by hardware such as a GPU. . The control software designates a polygon set to be texture-mapped and instructs the hardware.

[画像生成部の構成例]
図5は、画像生成部130(画像マッピング部140およびマッピング条件チェック部190を含む)の構成例を示している。画像生成部130は、画像入出力部141と、GPU142と、ローカルメモリ143と、CPU144と、メインメモリ145を有している。また、画像生成部130は、周辺デバイス制御部146と、ハードディスクドライブ(HDD)147と、イーサネット回路148aと、ネットワーク端子148bを有している。また、画像生成部130は、USB(Universal Serial Bus)端子149と、SDRAM(SynchronousDRAM)151を有している。なお、「イーサネット」は登録商標である。
[Configuration example of image generation unit]
FIG. 5 shows a configuration example of the image generation unit 130 (including the image mapping unit 140 and the mapping condition check unit 190). The image generation unit 130 includes an image input / output unit 141, a GPU 142, a local memory 143, a CPU 144, and a main memory 145. The image generation unit 130 includes a peripheral device control unit 146, a hard disk drive (HDD) 147, an Ethernet circuit 148a, and a network terminal 148b. Further, the image generation unit 130 includes a USB (Universal Serial Bus) terminal 149 and an SDRAM (Synchronous DRAM) 151. “Ethernet” is a registered trademark.

画像入出力部141は、テクスチャマッピングをするための画像データを入力し、また、画像データによる画像が適宜テクスチャマッピングされたCG画像の画像データを出力する。この画像入出力部141は、最大で4系統の画像データを入力でき、また、最大で4系統の画像データを出力できる。なお、ここで取り扱われる画像データは、例えば、SMPTE292Mで規定されているHD-SDI(High Definition television-SerialDigital Interface)規格の画像データである。GPU142およびメインメモリ145は、同等に、画像入出力部141にアクセス可能とされている。   The image input / output unit 141 inputs image data for texture mapping, and outputs image data of a CG image in which an image based on the image data is appropriately texture mapped. The image input / output unit 141 can input a maximum of four systems of image data, and can output a maximum of four systems of image data. The image data handled here is, for example, HD-SDI (High Definition television-Serial Digital Interface) standard image data defined by SMPTE292M. The GPU 142 and the main memory 145 are equally accessible to the image input / output unit 141.

メインメモリ145は、CPU144のワークエリアとして機能すると共に、画像入出力部141から入力される画像データを一時的に記憶する。CPU144は、画像生成部130の全体を制御する。このCPU144には、周辺デバイス制御部146が接続されている。この周辺デバイス制御部146は、CPU144と周辺デバイスとの間のインタフェース処理を行う。   The main memory 145 functions as a work area for the CPU 144 and temporarily stores image data input from the image input / output unit 141. The CPU 144 controls the entire image generation unit 130. A peripheral device control unit 146 is connected to the CPU 144. The peripheral device control unit 146 performs interface processing between the CPU 144 and the peripheral device.

CPU144には、周辺デバイス制御部146を介して、内蔵のハードディスクドライブ147が接続されている。また、CPU144には、周辺デバイス制御部146、イーサネット回路148aを介して、ネットワーク端子148bが接続されている。また、CPU144には、周辺デバイス制御部146を介して、USB端子149が接続されている。さらに、CPU144には、周辺デバイス制御部146を介して、SDRAM151が接続されている。   A built-in hard disk drive 147 is connected to the CPU 144 via the peripheral device control unit 146. In addition, a network terminal 148b is connected to the CPU 144 via the peripheral device control unit 146 and the Ethernet circuit 148a. In addition, a USB terminal 149 is connected to the CPU 144 via the peripheral device control unit 146. Further, the SDRAM 151 is connected to the CPU 144 via the peripheral device control unit 146.

CPU144は、テクスチャ座標の制御を行う。すなわち、CPU144は、入力画像データに対して、それによる画像をGPU142が描画するポリゴンの面にテクスチャマッピングをするための処理を行う。上述したように、テクスチャマッピングするポリゴンの面は、画像選択操作部170のターゲット指定部171で指定される。CPU144は、上述したように、このポリゴンの面がテクスチャマッピングの条件を備えているか否かを判断し、その判断結果に基づいて、GPU142におけるテクスチャマッピング処理を制御する。   The CPU 144 controls texture coordinates. In other words, the CPU 144 performs processing for texture mapping on the input image data on the polygonal surface on which the GPU 142 draws the resulting image. As described above, the surface of the polygon to be texture-mapped is designated by the target designation unit 171 of the image selection operation unit 170. As described above, the CPU 144 determines whether or not the surface of the polygon has a texture mapping condition, and controls the texture mapping process in the GPU 142 based on the determination result.

GPU142は、ハードディスクドライブ147等に保持されているCG記述データに基づいてCG画像を生成し、また、必要に応じて、指定されたポリゴンの面に、画像をテクスチャマッピングする。ローカルメモリ143は、GPU142のワークエリアとして機能すると共に、GPU142で作成されたCG画像の画像データを一時的に記憶する。   The GPU 142 generates a CG image based on the CG description data held in the hard disk drive 147 or the like, and texture-maps the image onto the designated polygon surface as necessary. The local memory 143 functions as a work area for the GPU 142 and temporarily stores image data of a CG image created by the GPU 142.

CPU144は、メインメモリ145にアクセスできる他、ローカルメモリ143にもアクセス可能とされている。同様に、GPU142は、ローカルメモリ143にアクセスできると共に、メインメモリ145にもアクセス可能とされている。GPU142により生成されてローカルメモリ143に一次的に記憶されたCG画像データは、このローカルメモリ143から順次読み出され、画像入出力部141から出力される。   The CPU 144 can access the main memory 145 as well as the local memory 143. Similarly, the GPU 142 can access the local memory 143 and can also access the main memory 145. The CG image data generated by the GPU 142 and temporarily stored in the local memory 143 is sequentially read from the local memory 143 and output from the image input / output unit 141.

図6は、上述した画像生成部130の機能ブロックの構成例を示している。この画像生成部130は、画像入力部152、テクスチャ画像記憶部153、CG制御部154、CG描画部155、テクスチャ座標制御部156、フレームバッファ157および画像出力部158の機能ブロックを有している。   FIG. 6 shows an example of the functional block configuration of the image generation unit 130 described above. The image generation unit 130 includes functional blocks of an image input unit 152, a texture image storage unit 153, a CG control unit 154, a CG drawing unit 155, a texture coordinate control unit 156, a frame buffer 157, and an image output unit 158. .

画像入力部152および画像出力部158は、画像入出力部141により構成されている。また、テクスチャ画像記憶部153は、メインメモリ145により構成されている。また、CG制御部154およびテクスチャ座標制御部156は、CPU144により構成されている。また、CG描画部155は、GPU142により構成されている。また、フレームバッファ157は、ローカルメモリ143により構成されている。   The image input unit 152 and the image output unit 158 are configured by an image input / output unit 141. The texture image storage unit 153 includes a main memory 145. Further, the CG control unit 154 and the texture coordinate control unit 156 are configured by the CPU 144. Further, the CG drawing unit 155 is configured by the GPU 142. The frame buffer 157 includes a local memory 143.

画像入力部152とテクスチャ画像記憶部153は対で、これらを増やすことで、画像入力の系統を増やすことができる。また、フレームバッファ157と画像出力部158は対で、これらを増やすことで、画像出力の系統を増やすことができる。   The image input unit 152 and the texture image storage unit 153 are a pair, and by increasing these, the system of image input can be increased. Further, the frame buffer 157 and the image output unit 158 are a pair, and by increasing these, the image output system can be increased.

図7のフローチャートは、画像生成部130(画像マッピング部140およびマッピング条件チェック部190を含む)におけるレンダリング中のテクスチャマッピング処理の手順を示している。ここでは、テクスチャマッピングが行われるポリゴンの面を、ターゲット指定部171でマテリアルを選択して行っている例を示している。   The flowchart of FIG. 7 shows the procedure of texture mapping processing during rendering in the image generation unit 130 (including the image mapping unit 140 and the mapping condition check unit 190). Here, an example is shown in which a surface of a polygon on which texture mapping is performed is performed by selecting a material with the target designation unit 171.

画像生成部130は、ステップST1において、処理を開始し、その後に、ステップST2の処理に移る。このステップST2において、画像生成部130は、CG記述データの中から、選択されたマテリアルがり当てられたポリゴンを見つける。その後、画像生成部130は、ステップST3の処理に移る。このステップST3において、画像生成部130は、ステップST2で見つけた全てのポリゴンの処理が終了したか否かを判断する。終了していないとき、画像生成部130は、残りのポリゴンを順次対象ポリゴンとして以下の処理を繰り返し行う。   In step ST1, the image generation unit 130 starts processing, and then proceeds to processing in step ST2. In step ST2, the image generation unit 130 finds a polygon to which the selected material is assigned from the CG description data. Thereafter, the image generating unit 130 proceeds to the process of step ST3. In step ST3, the image generation unit 130 determines whether or not the processing of all polygons found in step ST2 has been completed. If not completed, the image generation unit 130 repeats the following processing using the remaining polygons as target polygons sequentially.

すなわち、画像生成部130(マッピング条件チェック部190)は、ステップST4において、対象ポリゴンのテクスチャマッピングの条件をチェックする。そして、画像生成部130(マッピング条件チェック部190)は、対象ポリゴンの面がテクスチャマッピングの条件を備えているか否かを判断する。   That is, the image generation unit 130 (mapping condition check unit 190) checks the texture mapping condition of the target polygon in step ST4. Then, the image generation unit 130 (mapping condition check unit 190) determines whether or not the surface of the target polygon has a texture mapping condition.

対象ポリゴンの面がテクスチャマッピングの条件を備えていると判断するとき、画像生成部130(画像マッピング部140)は、ステップST6において、対象ポリゴンの面にテクスチャマッピングを施し、その後に、ステップST3の処理に戻る。一方、対象ポリゴンの面がテクスチャマッピングの条件を備えていないと判断するとき、画像生成部130(画像マッピング部140)は、ステップST7において、対象ポリゴンの面にテクスチャマッピングを施さないこととし、直ちにステップST3の処理に戻る。   When determining that the surface of the target polygon has the condition for texture mapping, the image generation unit 130 (image mapping unit 140) performs texture mapping on the surface of the target polygon in step ST6, and then in step ST3. Return to processing. On the other hand, when determining that the surface of the target polygon does not have the texture mapping condition, the image generation unit 130 (image mapping unit 140) immediately determines that the surface of the target polygon is not texture-mapped in step ST7. The process returns to step ST3.

画像生成部130は、ステップST3で、全てのポリゴンの処理を終了したと判断するとき、ステップST8において、テクスチャマッピング処理を終了する。   When the image generation unit 130 determines in step ST3 that all polygons have been processed, the texture mapping process ends in step ST8.

[テクスチャマッピング条件の判断]
マッピング条件チェック部190は、以下のような場合に、指定されたポリゴンの面がテクスチャマッピングの条件を備えていないと判断する。
[Judgment of texture mapping condition]
The mapping condition check unit 190 determines that the designated polygon surface does not have a texture mapping condition in the following case.

(1)テクスチャ座標の未定義
マッピング条件チェック部190は、ターゲット指定部171で指定されたポリゴンの面にテクスチャ座標が定義されていない場合には、マッピング条件を備えていないと判断する。テクスチャ座標が未定義のポリゴンの面にテクスチャマッピングを行うとすると、画像の各画素との対応が計算できないため、表示不能な状態になるからである。
(1) Undefined Texture Coordinates The mapping condition check unit 190 determines that the mapping condition is not provided when the texture coordinates are not defined on the surface of the polygon designated by the target designating unit 171. This is because if texture mapping is performed on the surface of a polygon whose texture coordinates are undefined, the correspondence with each pixel of the image cannot be calculated, and the display becomes impossible.

ここで、ターゲット指定部171がマテリアルを選択してテクスチャマッピングするポリゴンの面を指定する場合、そのマテリアルが割り当てられているポリゴンの面が複数あると、テクスチャ座標が定義されている面と、定義されていない面が存在することがある。その場合、テクスチャ座標の定義の有無の判断は、各面に対して行われ、テクスチャ座標が定義されているポリゴンの面のみにテクスチャマッピングが施される。   Here, when the target designating unit 171 selects a material and designates a polygon surface to be texture-mapped, if there are a plurality of polygon surfaces to which the material is assigned, a texture coordinate is defined and a definition surface is defined. There may be unfinished surfaces. In this case, whether or not texture coordinates are defined is determined for each surface, and texture mapping is performed only on the surfaces of polygons for which texture coordinates are defined.

なお、ターゲット指定部171で指定されたポリゴンの面にテクスチャ座標が定義されていない場合、例えば、ターゲット指定部171は、当該ポリゴンの面に、テクスチャ座標を付与することが考えられる。これにより、指定されたポリゴンの面にテクスチャ座標が未定義であっても、画像を適切にテクスチャマッピングすることが可能となる。CG記述データを制作する際にテクスチャマッピングする意図あるいは想定がなく、そのようなデータ素材を利用して、テクスチャマッピングにより、より高付加価値な出力画像を作ろうとする場合、このようにテクスチャ座標を付与する機能を備えることで、操作性が向上する。CG記述データの再加工は不要となる。   In addition, when the texture coordinate is not defined in the surface of the polygon designated by the target designation | designated part 171, it is possible that the target designation | designated part 171 gives a texture coordinate to the surface of the said polygon, for example. As a result, even if the texture coordinates are undefined on the surface of the designated polygon, the image can be appropriately texture-mapped. When there is no intention or assumption of texture mapping when producing CG description data, and such data material is used to create a higher value-added output image by texture mapping, the texture coordinates are set in this way. Operability improves by providing the function to provide. Reprocessing of the CG description data is not necessary.

この場合、ターゲット指定部171は、コンピュータグラフィクス仮想空間内でテクスチャ座標決定用の幾何学形状の面(平面、円筒、球体など)を指定されたポリゴンの面に投影することによりテクスチャ座標を決定し、指定されたポリゴンの面にテクスチャ座標を付与する。図8は、平面から投影してテクスチャ座標を決定する例を示している。この図において、PGはポリゴン面(三角形)を示し、REはテクスチャ座標投影用の矩形を示している。   In this case, the target designating unit 171 determines the texture coordinates by projecting the surface of the geometric shape for determining the texture coordinates (plane, cylinder, sphere, etc.) on the designated polygon surface in the computer graphics virtual space. The texture coordinates are given to the specified polygon surface. FIG. 8 shows an example in which texture coordinates are determined by projecting from a plane. In this figure, PG indicates a polygon surface (triangle), and RE indicates a rectangle for texture coordinate projection.

(2)ポリゴン上の歪み
マッピング条件チェック部190は、ターゲット指定部171で指定されたポリゴンの面のテクスチャ座標について、このポリゴン上で歪みが閾値以上の場合にはマッピング条件を備えていないと判断する。ここで、歪みとは、テクスチャ座標では同じ距離であるのに対してCG空間では場所により距離に差がでることを意味する。この場合、画像に変形あるいはゆがみが発生することから、テクスチャマッピングには適さないと考えられる。
(2) Distortion on Polygon The mapping condition check unit 190 determines that no mapping condition is provided for the texture coordinates of the surface of the polygon designated by the target designation unit 171 if the distortion on the polygon is equal to or greater than a threshold value. To do. Here, the distortion means that the distance is the same in the texture coordinates, but the distance is different depending on the location in the CG space. In this case, since the image is deformed or distorted, it is not suitable for texture mapping.

図9は、ポリゴン上にマッピングされた画像に歪みあるいはゆがみが生じる例を示している。この場合、左側のポリゴン(四角形)におけるテクスチャ座標の0.5の距離Laと、右側のポリゴン(四角形)におけるテクスチャ座標の0.5の距離Lbとは大きく異なっている。そのため、左側では画像が縮んだ状態、右側では画像が延びた状態となり、例えば、マッピングする画像によっては不自然な画像となる。   FIG. 9 shows an example in which distortion or distortion occurs in an image mapped on a polygon. In this case, the distance La of 0.5 of the texture coordinates in the left polygon (rectangle) and the distance Lb of 0.5 in the texture coordinates of the right polygon (rectangle) are greatly different. Therefore, the image is shrunk on the left side and the image is extended on the right side. For example, the image is unnatural depending on the image to be mapped.

(3)ポリゴンの面のZ軸に対する回転
画像マッピング部140がターゲット指定部171で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするものとする。ステレオ画像は、左眼用画像と右眼用画像で左右に位置がずれた画像とすることで、立体感を提供するものである。ステレオ画像をテクスチャマッピングする場合、左眼用の画像を左眼用の仮想カメラが撮像するとしてレンダリングし、右眼用の画像を右眼用の仮想カメラが撮像するとしてレンダリングし、テクスチャマッピングされた面を立体画像とする。
(3) Rotation of polygon surface with respect to Z axis The image mapping unit 140 texture maps a stereo image onto the polygon surface designated by the target designation unit 171. The stereo image provides a stereoscopic effect by making the left-eye image and the right-eye image misaligned to the left and right. When texture mapping stereo images, the left-eye image is rendered as captured by the left-eye virtual camera, and the right-eye image is rendered as captured by the right-eye virtual camera, and texture-mapped. The surface is a stereoscopic image.

マッピング条件チェック部190は、画像マッピング部140がターゲット指定部171で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするとき、ポリゴンの面が出力画像の画面に垂直な軸(z軸)に対して閾値以上の回転があるとき、テクスチャマッピングの条件を備えていないと判断する。この場合、回転によって左眼用の画像と右眼用の画像の左右のずれが上下のずれとなってくるので、立体画像の適切な表示が困難となるからである。   When the image mapping unit 140 texture maps the stereo image onto the polygon plane designated by the target designation unit 171 with respect to the axis (z axis) perpendicular to the screen of the output image, the mapping condition check unit 190 performs texture mapping. If the rotation exceeds the threshold, it is determined that the texture mapping condition is not provided. In this case, the left-right image and the right-eye image are shifted from each other up and down due to the rotation, which makes it difficult to display a stereoscopic image appropriately.

例えば、図10(a)は左眼用画像IMLと右眼用画像IMRで左右に位置がずれたステレオ画像の例を示している。図10(b)は、そのステレオ画像が、出力画像の画面に垂直な軸(Z軸)に対して90度回転し、左眼用画像IMLと右眼用画像IMRの視差が左右でなくなった画像の例を示している。   For example, FIG. 10A shows an example of a stereo image in which the left-eye image IML and the right-eye image IMR are displaced from side to side. In FIG. 10B, the stereo image is rotated 90 degrees with respect to the axis (Z axis) perpendicular to the screen of the output image, and the parallax between the left-eye image IML and the right-eye image IMR is no longer left and right. An example of an image is shown.

なお、このようにポリゴンの面が出力画像の画面に垂直な軸(z軸)に対して閾値以上の回転があるとき、画像マッピング部140は、当該ポリゴンの面に、左眼用画像または右眼用画像のみでマッピングを行うことが考えられる。すなわち、左眼用の仮想カメラにも右眼用の仮想カメラにも、同じ画像をマッピングした結果を撮像させるとしてレンダリングする。この場合、ポリゴンの面に立体感がある画像ではなく二次元画像が表示されることとなるが、この面に画像をテクスチャマッピングすることが可能となる。   When the polygon plane rotates more than a threshold with respect to the axis (z axis) perpendicular to the screen of the output image in this way, the image mapping unit 140 displays the image for the left eye or the right on the polygon plane. It is conceivable to perform mapping only with an eye image. That is, rendering is performed by capturing the result of mapping the same image on both the left-eye virtual camera and the right-eye virtual camera. In this case, a two-dimensional image is displayed instead of an image having a stereoscopic effect on the surface of the polygon, and it is possible to texture-map the image on this surface.

(4)ポリゴンの面のX軸、Y軸などに対する回転
画像マッピング部140がターゲット指定部171で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするものとする。マッピング条件チェック部190は、ポリゴンの面が出力画像の画面に平行な軸、例えば、x軸、y軸などに対して閾値以上の回転があるとき、テクスチャマッピングの条件を備えていないと判断する。この場合、例えば、x軸を中心として回転した場合、左眼用画像と右眼用画像との間の視差も減るはずだが、左眼用画像と右眼用画像との間の視差が減らないことから不自然な立体画像表示となるからである。
(4) Rotation of polygon surface with respect to X axis, Y axis, etc. Assume that image mapping unit 140 texture maps a stereo image onto the polygon surface designated by target designation unit 171. The mapping condition check unit 190 determines that the texture mapping condition is not provided when the polygon surface rotates more than a threshold with respect to an axis parallel to the screen of the output image, for example, the x axis or the y axis. . In this case, for example, when rotating around the x-axis, the parallax between the left-eye image and the right-eye image should be reduced, but the parallax between the left-eye image and the right-eye image is not reduced. This is because an unnatural stereoscopic image is displayed.

例えば、図11(a)は左眼用画像IMLと右眼用画像IMRで左右に位置がずれたステレオ画像の例を示している。図11(b)は、そのステレオ画像が、図11(c)に示すように、x軸に対して、θだけ回転した画像の例を示している。この場合、左眼用画像IMLと右眼用画像IMRとの間の視差による元の奥行きに対して、回転後の奥行きは、図11(d)に示すように小さくなる。しかし、左眼用画像IMLと右眼用画像IMRとの間の視差は、図11(b)に示すように、図11(a)に示す元の状態と変わらない。   For example, FIG. 11A shows an example of a stereo image in which the left-eye image IML and the right-eye image IMR are displaced from side to side. FIG. 11B shows an example in which the stereo image is rotated by θ with respect to the x axis as shown in FIG. 11C. In this case, the depth after rotation is smaller than the original depth due to the parallax between the left-eye image IML and the right-eye image IMR, as shown in FIG. However, the parallax between the left eye image IML and the right eye image IMR is the same as the original state shown in FIG. 11A, as shown in FIG.

なお、このようにポリゴンの面が出力画像の画面に平行な軸(x軸、y軸など)に対して閾値以上の回転があるとき、画像マッピング部140は、当該ポリゴンの面に、左眼用画像または右眼用画像のみでマッピングを行うことが考えられる。この場合、ポリゴンの面に立体感がある画像ではなく二次元画像が表示されることとなるが、この面に画像をテクスチャマッピングすることが可能となる。   Note that when the polygon surface rotates more than a threshold with respect to an axis parallel to the screen of the output image (x-axis, y-axis, etc.), the image mapping unit 140 causes the left eye It is conceivable to perform mapping only with the image for the right eye or the image for the right eye. In this case, a two-dimensional image is displayed instead of an image having a stereoscopic effect on the surface of the polygon, and it is possible to texture-map the image on this surface.

また、このようにポリゴンの面が出力画像の画面に平行な軸(x軸、y軸など)に対して閾値以上の回転があるとき、画像マッピング部140は、左眼用画像および右眼用画像の間の視差を減じてテクスチャマッピングを行うことが考えられる。図12は、左眼用画像と右眼用画像との間の視差と、被写体の奥行きとの関係を示している。例えば、奥行きがz0であるときの視差はd0であり、奥行きがz1に小さくなったとき、これに合わせて視差はd1に小さくなる。   In addition, when the polygon surface rotates more than a threshold with respect to an axis (x axis, y axis, etc.) parallel to the screen of the output image, the image mapping unit 140 performs the left eye image and the right eye image. It is conceivable to perform texture mapping by reducing the parallax between images. FIG. 12 shows the relationship between the parallax between the left-eye image and the right-eye image and the depth of the subject. For example, the parallax when the depth is z0 is d0, and when the depth is reduced to z1, the parallax is reduced to d1 accordingly.

ポリゴンの面が出力画像の画面に平行な軸(x軸、y軸など)に対してθだけ回転した場合、元の奥行きに対して回転後の奥行きは、図11(d)に示すように、cosθ倍となる。そのため、画像マッピング部140は、元の奥行きに対して回転後の奥行きがcosθ倍となるように、左眼用画像IMLおよび右眼用画像IMRの間の視差を減らして、テクスチャマッピングを行えばよい。   When the polygon plane is rotated by θ with respect to an axis (x axis, y axis, etc.) parallel to the screen of the output image, the depth after rotation with respect to the original depth is as shown in FIG. , Cos θ times. Therefore, the image mapping unit 140 performs texture mapping while reducing the parallax between the left-eye image IML and the right-eye image IMR so that the rotated depth is cos θ times the original depth. Good.

図13のフローチャートは、画像マッピング部140における複数のポリゴン面へのステレオ画像のテクスチャマッピングの処理手順の一例を示している。画像マッピング部140は、ステップST11において、処理を開始し、その後に、ステップST12の処理に移る。このステップST12において、画像マッピング部140は、全てのポリゴン面へのテクスチャマッピング処理が終了したか否かを判断する。終了していないとき、画像マッピング部140は、残りのポリゴン面を順次マッピング対象として以下の処理を繰り返し行う。   The flowchart in FIG. 13 illustrates an example of a processing procedure for texture mapping of a stereo image onto a plurality of polygon planes in the image mapping unit 140. In step ST11, the image mapping unit 140 starts processing, and then proceeds to processing in step ST12. In step ST12, the image mapping unit 140 determines whether or not the texture mapping process for all the polygon surfaces has been completed. If not completed, the image mapping unit 140 repeatedly performs the following processing with the remaining polygon planes being sequentially mapped.

すなわち、画像マッピング部140は、ステップST13において、マッピング対象のポリゴン面の出力画像の画面に平行な軸、例えば、x軸、y軸などに対する傾きθを得る。そして、画像マッピング部140は、ステップST14において、ステレオ画像の奥行きにcosθを乗算した奥行きとなるように、左眼用画像IMLおよび右眼用画像IMRの間の視差を減らして(図12参照)、テクスチャマッピングを行う。   That is, in step ST13, the image mapping unit 140 obtains an inclination θ with respect to an axis parallel to the screen of the output image of the polygon surface to be mapped, for example, the x axis, the y axis, and the like. In step ST14, the image mapping unit 140 reduces the parallax between the left-eye image IML and the right-eye image IMR so as to obtain a depth obtained by multiplying the depth of the stereo image by cos θ (see FIG. 12). Perform texture mapping.

画像マッピング部140は、ステップST14の処理の後、ステップST12に戻り、上述したと同様の処理を繰り返す。画像マッピング部140は、ステップST12で、全てのポリゴン面へのテクスチャマッピングの処理を終了したと判断するとき、ステップST15において、処理を終了する。   After the process of step ST14, the image mapping unit 140 returns to step ST12 and repeats the same process as described above. When the image mapping unit 140 determines in step ST12 that the texture mapping process for all the polygon surfaces has been completed, the process ends in step ST15.

図1に示す画像処理装置100の動作例を説明する。CG制作部110では、CG制作ソフトウェアにより、所定のCG画像を生成するためのCG記述データが生成される。このようにCG制作部110で生成されたCG記述データは、ネットワーク120を介して、画像生成部130に送られ、記憶部150に記憶される。   An operation example of the image processing apparatus 100 shown in FIG. 1 will be described. In the CG production unit 110, CG description data for generating a predetermined CG image is generated by the CG production software. The CG description data generated in this way by the CG production unit 110 is sent to the image generation unit 130 via the network 120 and stored in the storage unit 150.

画像生成部130では、CG制作部110で制作されたCG記述データに基づいて、三次元空間画像であるCG画像が生成される。また、画像生成部130により、ユーザがターゲット指定部171でオブジェクトあるいはマテリアルを選択することで指定されたポリゴンの面に、同様にターゲット指定部171で指定された画像をテクスチャマッピングするように、画像マッピング部140が制御される。   The image generation unit 130 generates a CG image that is a three-dimensional space image based on the CG description data produced by the CG production unit 110. In addition, the image generation unit 130 performs image mapping so that the image specified by the target specification unit 171 is similarly texture-mapped onto the polygon surface specified by the user selecting an object or material using the target specification unit 171. The mapping unit 140 is controlled.

画像マッピング部140では、上述の画像生成部130の制御のもと、テクスチャマッピングが行われる。この場合、マッピング条件チェック部190により、ターゲット指定部171で指定されたポリゴンの面が、テクスチャマッピングの条件を備えているか否かが判断される。画像マッピング部140では、テクスチャマッピングの条件を備えていると判断されたポリゴンの面に、テクスチャマッピングが行われる。   The image mapping unit 140 performs texture mapping under the control of the image generation unit 130 described above. In this case, the mapping condition check unit 190 determines whether the polygon surface specified by the target specifying unit 171 has a texture mapping condition. In the image mapping unit 140, texture mapping is performed on the surface of the polygon that is determined to have the texture mapping conditions.

例えば、ポリゴンの面にテクスチャ座標が定義されていない場合には、テクスチャマッピングの条件を備えていないと判断される。また、例えば、ポリゴンの面のテクスチャ座標について、このポリゴン上で歪みが閾値以上の場合には、マッピング条件を備えていないと判断される。また、例えば、ポリゴンの面にステレオ画像をテクスチャマッピングする場合であって、当該ポリゴンの面が出力画像の画面に垂直な軸(z軸)あるいは平行な軸(x軸、y軸など)に対して閾値以上の回転がある場合、テクスチャマッピングの条件を備えていないと判断される。   For example, if texture coordinates are not defined on the polygon surface, it is determined that the conditions for texture mapping are not provided. Further, for example, if the distortion of the polygon surface texture is greater than or equal to a threshold value, it is determined that the mapping condition is not provided. In addition, for example, when a stereo image is texture-mapped on a polygonal surface, the polygonal surface is relative to an axis (z-axis) or a parallel axis (x-axis, y-axis, etc.) that is perpendicular to the screen of the output image. If the rotation exceeds the threshold, it is determined that the texture mapping condition is not provided.

ただし、画像マッピング部140では、テクスチャマッピングの条件を備えていないと判断されたポリゴンの面に対しても、テクスチャマッピングが行われることがある。例えば、テクスチャ座標が未定義である場合に、ターゲット指定部171がテクスチャ座標を決定して付与することで、テクスチャマッピングが行われる。また、例えば、ポリゴンの面にステレオ画像をテクスチャマッピングする場合であって、当該ポリゴンの面が出力画像の画面に垂直な軸(z軸)に対して閾値以上の回転がある場合、左眼用画像または右眼用画像のみを用いることで、テクスチャマッピングが行われる。   However, the image mapping unit 140 may perform texture mapping even on a polygonal surface that is determined not to have a texture mapping condition. For example, when texture coordinates are undefined, the target designation unit 171 determines and assigns texture coordinates, and texture mapping is performed. Also, for example, in the case of texture mapping of a stereo image on a polygonal surface, when the polygonal surface rotates more than a threshold with respect to an axis (z axis) perpendicular to the screen of the output image, Texture mapping is performed by using only the image or the right-eye image.

また、例えば、ポリゴンの面にステレオ画像をテクスチャマッピングする場合であって、当該ポリゴンの面が出力画像の画面に平行な軸(x軸、y軸など)に対して閾値以上の回転がある場合、左眼用画像または右眼用画像のみを用いることで、テクスチャマッピングが行われる。あるいは、この場合、左眼用画像IMLおよび右眼用画像IMRの間の視差を減らすことで、テクスチャマッピングが行われる。   Also, for example, when a stereo image is texture-mapped on a polygonal surface, and the polygonal surface rotates more than a threshold with respect to an axis parallel to the screen of the output image (x-axis, y-axis, etc.) Texture mapping is performed by using only the image for the left eye or the image for the right eye. Alternatively, in this case, texture mapping is performed by reducing the parallax between the left-eye image IML and the right-eye image IMR.

そして、画像生成部130から導出された出力端子130aには、所定のポリゴンの面に画像がテクスチャマッピングされたCG画像の画像データVoutが出力される。なお、マトリクススイッチ160の「10」の入力ラインにも、画像生成部130から出力される、所定のポリゴンの表面に画像がテクスチャマッピングされたCG画像の画像データが入力される。   Then, to the output terminal 130a derived from the image generation unit 130, image data Vout of a CG image in which an image is texture-mapped on the surface of a predetermined polygon is output. Note that image data of a CG image in which an image is texture-mapped on the surface of a predetermined polygon, which is output from the image generation unit 130, is also input to the input line “10” of the matrix switch 160.

上述したように、図1に示す画像処理装置100においては、ユーザは、画像選択部170のターゲット指定部171でオブジェクト(ノード)あるいはマテリアルを選択することで、テクスチャマッピングを行うポリゴンの面を指定できる。従って、操作性の向上、映像の付加価値の向上を図ることができる。   As described above, in the image processing apparatus 100 shown in FIG. 1, the user designates a polygon surface to be texture-mapped by selecting an object (node) or material using the target designation unit 171 of the image selection unit 170. it can. Accordingly, it is possible to improve the operability and the added value of the video.

また、図1に示す画像処理装置100においては、マッピング条件チェック部190では、指定されたポリゴンの面がテクスチャマッピングの条件を備えている否かが判断される。そして、画像マッピング部140では、テクスチャマッピングの条件を備えているポリゴンの面にテクスチャマッピングが行われる。   In the image processing apparatus 100 shown in FIG. 1, the mapping condition check unit 190 determines whether the designated polygon surface has a texture mapping condition. Then, in the image mapping unit 140, texture mapping is performed on a polygonal surface having a texture mapping condition.

従って、ターゲット指定部171で指定されたポリゴンの面の全てに画像がテクスチャマッピングされるものではなく、テクスチャマッピングの条件を備えているポリゴンの面にのみ画像がテクスチャマッピングされるため、ポリゴンの面に不適切な状態で画像がマッピングされることを回避できる。   Therefore, since the image is not texture-mapped to all the polygon surfaces specified by the target specifying unit 171, the image is texture-mapped only to the polygon surfaces having the texture mapping conditions. It is possible to avoid the image being mapped in an inappropriate state.

<2.変形例>
なお、上述実施の形態においては、ユーザがターゲット指定部171でオブジェクト(ノード)あるいはマテリアルを選択することでテクスチャマッピングを行うポリゴンの面が指定される。そして、このように指定されたポリゴンの面に対して、マッピング条件チェック部190でテクスチャマッピングの条件が判断され、条件を備えていると判断されたポリゴンの面に対して画像マッピング部140でテクスチャマッピングが施される。この場合、ユーザは、テクスチャマッピングの条件を備えていないポリゴンの面が含まれるオブジェクトを選択する可能性もある。
<2. Modification>
In the above-described embodiment, when the user selects an object (node) or material using the target specifying unit 171, a polygon surface to be texture-mapped is specified. Then, the mapping condition check unit 190 determines the texture mapping condition for the polygon surface specified in this manner, and the image mapping unit 140 determines the texture mapping condition for the polygon surface determined to have the condition. Mapping is applied. In this case, the user may select an object including a polygonal surface that does not have the texture mapping condition.

そこで、ターゲット操作部171は、マッピング条件チェック部190でテクスチャマッピングの条件を備えていると判断されないポリゴンの面を指定する操作入力を受けないようにしてもよい。この場合、例えば、ターゲット指定部171は、当該ポリゴンの面を指定する操作入力を拒否するかエラーとする。また、例えば、ターゲット指定部171は、当該ポリゴンの面を選択肢として表示しない。これにより、ユーザがテクスチャマッピングの条件を備えていないポリゴンの面を指定することを事前に回避でき、操作性の向上が可能となる。   Therefore, the target operation unit 171 may be configured not to receive an operation input for designating a polygon surface that is not determined to have the texture mapping condition by the mapping condition check unit 190. In this case, for example, the target designating unit 171 rejects an operation input designating the surface of the polygon or makes an error. Further, for example, the target designating unit 171 does not display the polygon surface as an option. As a result, it is possible to avoid in advance that the user designates a polygonal surface that does not have a texture mapping condition, and operability can be improved.

図14のフローチャートは、その場合における、ターゲット操作部171におけるオブジェクト(ノード)の選択肢表示の処理手順を示している。ターゲット指定部171は、ステップST21において、処理を開始し、その後に、ステップST22の処理に移る。このステップST22において、ターゲット指定部171は、CG記述データから、含まれるノード名称を読み取る。その後、ターゲット指定部171は、ステップST23の処理に移る。   The flowchart of FIG. 14 shows a processing procedure for displaying an object (node) option in the target operation unit 171 in that case. In step ST21, the target designation unit 171 starts processing, and then proceeds to processing in step ST22. In step ST22, the target specifying unit 171 reads the included node name from the CG description data. Thereafter, the target designating unit 171 proceeds to the process of step ST23.

このステップST23において、ターゲット指定171は、ステップST22で読み取った全てのノードの処理が終了したか否かを判断する。終了していないとき、ターゲット指定部171は、残りのノードを順次対象ノードとして以下の処理を繰り返し行う。   In step ST23, the target designation 171 determines whether or not the processing of all the nodes read in step ST22 has been completed. When not completed, the target designating unit 171 repeats the following processing by sequentially setting the remaining nodes as target nodes.

すなわち、ターゲット指定部171は、ステップST24において、対象ノードに含まれるポリゴンの面のテクスチャマッピングの条件をチェックする。そして、ターゲット指定部171は、ステップST25において、対象ノードに含まれる全てのポリゴンの面がテクスチャマッピングの条件を備えているか否かを判断する。   That is, in step ST24, the target designating unit 171 checks the condition of the texture mapping of the polygon surface included in the target node. In step ST <b> 25, the target designating unit 171 determines whether or not all polygon surfaces included in the target node have a texture mapping condition.

テクスチャマッピングの条件を備えていると判断するとき、ターゲット指定部171は、ステップST26において、対象ノードを選択肢リスト表示に加え、その後に、ステップST23の処理に戻る。一方、テクスチャマッピングの条件を備えていないと判断するとき、ターゲット指定部171は、ステップST27において、対象ノードを選択肢リスト表示に加えないで、直ちにステップST23の処理に戻る。   When determining that the texture mapping condition is provided, the target designating unit 171 adds the target node to the option list display in step ST26, and then returns to the process in step ST23. On the other hand, when determining that the conditions for texture mapping are not provided, the target specifying unit 171 immediately returns to the process of step ST23 without adding the target node to the option list display in step ST27.

ターゲット指定部171は、ステップST23で、全てのノードの処理を終了したと判断するとき、ステップST28において、処理を終了する。   When the target designating unit 171 determines in step ST23 that all nodes have been processed, the process ends in step ST28.

上述では、オブジェクト(ノード)の選択肢表示について説明した。詳細説明は省略するが、マテリアルの選択肢表示においても同様である。実際のCGの中にはポリゴンの面が多数存在し、その中からテクスチャマッピングする面を選ぶ操作自体に難しさがある。そのため、例えば、CGデータの制作時に、テクスチャマッピングさせるポリゴンの面を予め想定し、その面にのみテクスチャ座標を定義してCG記述データに入れておく。これにより、ポリゴンの面が含まれるオブジェクト(ノード)あるいはマテリアルのみを選択肢とすることができ、テクスチャマッピングする面を選ぶ操作において、選択肢が限定されるため、選択操作が容易となる。   In the above description, the option display of the object (node) has been described. Although the detailed description is omitted, the same applies to the display of material options. There are many polygonal faces in an actual CG, and there is a difficulty in the operation itself of selecting a face for texture mapping from among them. For this reason, for example, when producing CG data, a polygon surface to be texture-mapped is assumed in advance, and texture coordinates are defined only on that surface and are stored in the CG description data. As a result, only an object (node) or material including a polygonal surface can be selected, and the selection operation is easy because the options are limited in selecting the surface to be texture-mapped.

また、上述していないが、テクスチャマッピングする画像ファイルあるいは画像入力(番号)毎に、テクスチャ座標の変更指定(アフィン変換)、その他属性を記憶し、テクスチャマッピングされる際に適用することが考えられる。あるいは、テクスチャマッピングする画像ファイルあるいは画像入力(番号)毎に、ターゲット指定(ポリゴンあるいはマテリアル)を属性として記憶しておき、画像が選択されることにより、ターゲット指定を決め、テクスチャマッピングさせることが考えられる。この場合、テクスチャマッピングする画像を選択するだけで、その画像とポリゴン面に適したテクスチャ座標その他属性になり、それぞれ設定する手間が省け、映像の付加価値が上がる。   Although not described above, texture coordinate change designation (affine transformation) and other attributes are stored for each image file or image input (number) to be texture mapped, and can be applied when texture mapping is performed. . Alternatively, for each image file or image input (number) to be texture-mapped, target designation (polygon or material) is stored as an attribute, and by selecting an image, target designation is determined and texture mapping is performed. It is done. In this case, by simply selecting an image to be texture-mapped, texture coordinates and other attributes suitable for the image and the polygon surface are obtained.

[画像処理装置の他の構成例]
図15は、他の画像処理装置100Aの構成例を示している。この図15において、図1と対応する部分には、同一符号を付し、適宜、その詳細説明は省略する。画像選択操作部170は、ターゲット指定部171の他に、プレビュー指定部175およびパラメタ操作部176を有している。また、画像生成部130は、プレビュー機能を備えており、プログラム出力端子130aの他に、プレビュー出力端子130bを有している。図16(a)はプログラム出力の一例であり、図16(b)はそれに対するプレビュー出力の一例を示している。
[Another configuration example of the image processing apparatus]
FIG. 15 shows a configuration example of another image processing apparatus 100A. In FIG. 15, portions corresponding to those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted as appropriate. The image selection operation unit 170 includes a preview designation unit 175 and a parameter operation unit 176 in addition to the target designation unit 171. The image generation unit 130 has a preview function, and has a preview output terminal 130b in addition to the program output terminal 130a. FIG. 16A shows an example of a program output, and FIG. 16B shows an example of a preview output corresponding thereto.

オンエア中にリアルタイムで操作し、テクスチャマッピングの指定などを変更する場合、操作がいきなりオンエア画像に影響すると、誤った画像を放送する可能性が高い。そのため、オンエアに適用する前にプレビューで確認する仕組みが必要である。従来機器では、同じCG画像生成装置を二つ用意し、かつ両方に同じCGデータをロードして、片方を生放送に使用して、もう片方で操作結果の画像をモニタ出力させて確認するしかなく、プレビュー実現には操作が煩雑で、誤りを起こしやすかった。   When operating on the air in real time and changing the designation of texture mapping, etc., if the operation suddenly affects the on-air image, there is a high possibility that an erroneous image will be broadcast. Therefore, it is necessary to have a mechanism for confirming with a preview before applying to on-air. In the conventional device, there are only two preparations of the same CG image generation device, loading the same CG data in both, using one for live broadcasting, and confirming the operation result image on the other with the monitor output. In order to realize the preview, the operation was complicated, and it was easy to make an error.

画像処理装置100Aの画像生成部130は、テクスチャマッピング状態を含む各種状態パラメタが第1の値である第1の画像出力(プログラム出力)と、第2の値である第2の画像出力(プレビュー出力)とを同時に出力する構成とされている。これにより、プレビューを確実に実現できる。   The image generation unit 130 of the image processing apparatus 100A includes a first image output (program output) in which various state parameters including the texture mapping state are first values, and a second image output (preview) in which the second values are second values. Output) at the same time. Thereby, the preview can be realized with certainty.

この場合、プレビュー出力にのみ作用するような操作部を設ければよい。また、三次元CGデータにアニメーションを含み、第1の画像出力と第2の画像出力とでタイムライン時刻あるいはPlay状態(Play速度)が異なるようにしてもよい。また、第2の画像出力のステレオ画像の視差が不適切になっていないか検査し不適切である場合に警報を発するプレビュー警報部195を設けてもよい。また、ターゲット指定部171を操作する場合は、必ずプレビュー出力側にのみ作用する状態に遷移するようにしてもよい。   In this case, an operation unit that only affects preview output may be provided. Further, animation may be included in the 3D CG data, and the timeline time or Play state (Play speed) may be different between the first image output and the second image output. In addition, a preview alarm unit 195 may be provided that issues an alarm when the parallax of the stereo image of the second image output is inspected and inappropriate. Further, when operating the target designating unit 171, it may be possible to make a transition to a state that only acts on the preview output side.

画像生成部130にユーザ(操作者)によるパラメタ変更を入力するパラメタ操作部176は、ジョグシャトル・ダイヤル、フェーダーレバー、ジョイスティック、トラックボール、回転ノブ、押しボタン、GUIの各種部品などである。また、プレビュー指定部175は、プレビュー側のみのパラメタ値を変更する専用の操作部である。あるいは、図示しない操作モード切り替えスイッチを設け、同じパラメタ操作部がプログラム出力に作用するモードと、プレビュー出力に作用するモードを切り換えられるようにする。あるいは、プレビュー指定部175は、複数のパラメタ操作部176のうち、プレビュー側にのみ作用するものを指定する。例えば、複数のノブの一部であるいくつかをプレビュー側用に割り当てることができる。   A parameter operation unit 176 that inputs a parameter change by a user (operator) to the image generation unit 130 is a jog shuttle dial, a fader lever, a joystick, a trackball, a rotary knob, a push button, various parts of a GUI, and the like. The preview designation unit 175 is a dedicated operation unit that changes the parameter value only on the preview side. Alternatively, an operation mode changeover switch (not shown) is provided so that the same parameter operation unit can be switched between a mode that operates on program output and a mode that operates on preview output. Alternatively, the preview designation unit 175 designates a parameter that acts only on the preview side among the plurality of parameter operation units 176. For example, some of the plurality of knobs can be assigned for the preview side.

ステレオ画像(画像信号対)を出力する場合、レンダリングの際に仮想カメラを左眼用と右眼用の二個配置して、それぞれで見える画像を計算して出力にする。プログラム出力もプレビュー出力も共にステレオ画像を出力する構成にできる。仮想カメラの二つの関係を示すパラメタ(間隔、輻輳角度)を、プレビュー側のみ変更できる構成にできる。これにより、それらパラメタを変更した結果が妥当か、プログラム出力に適用する前にプレビュー側で確認できる。   In the case of outputting a stereo image (image signal pair), two virtual cameras for left eye and right eye are arranged at the time of rendering, and images seen by each are calculated and output. Both program output and preview output can be configured to output stereo images. It is possible to adopt a configuration in which parameters (interval and convergence angle) indicating the two relations of the virtual camera can be changed only on the preview side. As a result, whether the result of changing these parameters is appropriate can be confirmed on the preview side before being applied to the program output.

プレビュー出力としてステレオ画像(画像信号対)のほか、アナグリフでも出力するように構成できる。視差の様子を裸眼視で確認でき、視差が過剰か確認しやすい。さらに、プレビュー出力にプレビュー警報部を接続する構成にできる。このプレビュー警報部は、ステレオ画像が見る者に不快感、違和感を与えないか検出して警報を発する既知の技術である。   In addition to stereo images (image signal pairs) as preview output, an anaglyph can also be output. The state of parallax can be confirmed with the naked eye, and it is easy to confirm whether the parallax is excessive. Further, a preview alarm unit can be connected to the preview output. This preview alarm unit is a known technique for generating an alarm by detecting whether or not a viewer of a stereo image is uncomfortable or uncomfortable.

また、パラメタ操作176として、Playボタン、Stopボタン等を有し、三次元CGデータがアニメーションである場合、プレビュー指定部175により、プレビュー出力のみのPlayを制御できる。Playに関するプレビューの機能としては次の種類がある。   Further, when the parameter operation 176 includes a Play button, a Stop button, and the like, and the 3D CG data is an animation, the preview designating unit 175 can control Play only for preview output. The following preview functions are available for Play.

(1)LookAhead Preview
アニメーションの最後の画を出す。
ビデオ・テクスチャマッピングの部分には内蔵する静止画を貼ってもよい。
(1) LookAhead Preview
Put out the last picture of the animation.
A built-in still image may be attached to the video texture mapping portion.

(2)PausePreview
アニメーション中の一時刻の画を出す。指定された、見たい時刻。代表する画の時刻。
アニメーション中の時刻を操作指定する。
指定支援:画を見ながら指定したいので、例えばジョグ操作して、所望の箇所でボタン操作させる。
キーフレーム・アニメーションの場合、キーフレーム点のリストから選択させるGUIとしてもよい。
デフォルトのプリレンダリング:デフォルトは、アニメーション区間の真ん中とする。デフォルトの画について、リアルタイムレンダリングせず、Import(CG記述データの取り込み)時にレンダリングして保持してもよい。
(2) PausePreview
A picture at a time in the animation is displayed. The specified time you want to see. The time of the representative image.
Specify the operation time of the animation.
Specification support: Since it is desired to specify while looking at the image, for example, a jog operation is performed and a button is operated at a desired location.
In the case of a key frame animation, a GUI may be selected from a list of key frame points.
Default pre-rendering: The default is the middle of the animation interval. The default image may be rendered and retained at the time of import (importing CG description data) without being real-time rendered.

(3)PlayPreview
プレビュー側独自に指定速度でPlayする。
プレビュー速度:Play 速度を指定可能とする。
これらプレビューのいずれにするか、操作入力、設定記憶できるようにしてもよい。
プレビュー機能を適用するCGデータのアニメーションとしては、キーフレーム・アニメーションのほか、物理シミュレーションによるアニメーションでもよい。
(3) PlayPreview
Play at the specified speed independently on the preview side.
Preview speed: Play speed can be specified.
Either of these previews may be used to allow operation input and setting storage.
The animation of CG data to which the preview function is applied may be animation by physical simulation in addition to key frame animation.

なお、本技術は、以下のような構成も取ることができる。
(1)コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成部と、
上記コンピュータグラフィクス記述データの中のポリゴンの面を指定する操作入力を受けるターゲット指定部と、
上記ターゲット指定部で指定されたポリゴンの面に所定の画像をテクスチャマッピングする画像マッピング部と、
上記ターゲット指定部で指定されたポリゴンの面がテクスチャマッピングの条件を備えているか否かを判断するマッピング条件チェック部とを備え、
上記画像マッピング部は、
上記マッピング条件チェック部でテクスチャマッピングの条件を備えていると判断されるとき、上記ターゲット指定部で指定されたポリゴンの面に所定の画像をテクスチャマッピングする
画像処理装置。
(2)上記画像生成部は、出力する画像のフレームレートに対してリアルタイムレンダリング動作をし、
上記画像マッピング部は、各フレームの画像生成毎に、上記マッピング条件チェック部でテクスチャマッピングの条件を備えていると判断されたポリゴンの面に所定の画像をテクスチャマッピングする
前記(1)に記載の画像処理装置。
(3)上記ターゲット指定部は、
上記マッピング条件チェック部でテクスチャマッピングの条件を備えていると判断されないポリゴンの面を指定する操作入力を受けない
前記(1)または(2)に記載の画像処理装置。
(4)上記マッピング条件チェック部は、
上記ターゲット指定部で指定されたポリゴンの面にテクスチャ座標が定義されていない場合には、テクスチャマッピングの条件を備えていないと判断する
前記(1)から(3)のいずれかに記載の画像処理装置。
(5)上記ターゲット指定部は、
上記ターゲット指定部で指定されたポリゴンの面がテクスチャマッピングの条件を備えていないと判断されるとき、コンピュータグラフィクス仮想空間内でテクスチャ座標決定用の幾何学形状の面を上記指定されたポリゴンの面に投影することによりテクスチャ座標を決定し、上記指定されたポリゴンの面にテクスチャ座標を付与する
前記(4)に記載の画像処理装置。
(6)上記マッピング条件チェック部は、
上記ターゲット指定部で指定されたポリゴンの面のテクスチャ座標について、該ポリゴン上で歪みが閾値以上の場合にはテクスチャマッピングの条件を備えていないと判断する
前記(1)から(5)に記載の画像処理装置。
(7)上記マッピング条件チェック部は、
上記画像マッピング部が上記ターゲット指定部で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするとき、
上記ポリゴンの面が出力画像の画面に垂直な軸に対して閾値以上の回転がある場合には、テクスチャマッピングの条件を備えていないと判断する
前記(1)から(6)に記載の画像処理装置。
(8)上記画像マッピング部は、
上記ターゲット指定部で指定されたポリゴンの面が上記マッピング条件チェック部でテクスチャマッピングの条件を備えていないと判断されるとき、上記左眼用画像または上記右眼用画像のみでテクスチャマッピングを行う
前記(7)に記載の画像処理装置。
(9)上記マッピング条件チェック部は、
上記画像マッピング部が上記ターゲット指定部で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするとき、
上記ポリゴンの面が出力画像の画面に平行な軸に対して閾値以上の回転がある場合には、テクスチャマッピングの条件を備えていないと判断する
前記(1)から(8)のいずれかに記載の画像処理装置。
(10)上記画像マッピング部は、
上記ターゲット指定部で指定されたポリゴンの面が上記マッピング条件チェック部でエクスチャマッピングの条件を備えていないと判断されるとき、上記左眼用画像または上記右眼用画像でテクスチャマッピングを行う
前記(9)に記載の画像処理装置。
(11)上記画像マッピング部は、
上記ターゲット指定部で指定されたポリゴンの面が上記マッピング条件チェック部でテクスチャマッピングの条件を備えていないと判断されるとき、上記左眼用画像および上記右眼用画像の間の視差を減じてテクスチャマッピングを行う
前記(9)に記載の画像処理装置。
In addition, this technique can also take the following structures.
(1) an image generation unit that generates a computer graphics image based on computer graphics description data;
A target designating unit for receiving an operation input for designating a polygonal surface in the computer graphics description data;
An image mapping unit for texture-mapping a predetermined image on the surface of the polygon designated by the target designation unit;
A mapping condition check unit for determining whether or not the polygon surface specified by the target specifying unit has a texture mapping condition;
The image mapping unit
An image processing apparatus for texture-mapping a predetermined image on a surface of a polygon designated by the target designating unit when the mapping condition checking unit judges that a texture mapping condition is provided.
(2) The image generation unit performs a real-time rendering operation on the frame rate of the output image,
The image mapping unit texture-maps a predetermined image on a surface of a polygon that is determined by the mapping condition check unit to have a texture mapping condition for each frame image generation described in (1). Image processing device.
(3) The target designating part is
The image processing device according to (1) or (2), wherein the mapping condition check unit does not receive an operation input for designating a polygon surface that is not determined to have a texture mapping condition.
(4) The mapping condition check part
The image processing according to any one of (1) to (3), wherein if the texture coordinates are not defined on the surface of the polygon designated by the target designation unit, it is determined that the conditions for texture mapping are not provided. apparatus.
(5) The target designating part
When it is determined that the polygon surface specified by the target specifying unit does not have a texture mapping condition, the surface of the geometric shape for determining texture coordinates in the computer graphics virtual space is set as the specified polygon surface. The image processing apparatus according to (4), wherein the texture coordinates are determined by projecting to the texture, and the texture coordinates are assigned to the surface of the designated polygon.
(6) The mapping condition check part
The texture coordinates of the surface of the polygon specified by the target specifying unit are determined not to have a texture mapping condition if the distortion on the polygon is equal to or greater than a threshold value. (1) to (5) Image processing device.
(7) The mapping condition check part
When the image mapping unit texture-maps a stereo image on the surface of the polygon specified by the target specifying unit,
The image processing according to any one of (1) to (6), wherein when the polygon surface is rotated by a threshold value or more with respect to an axis perpendicular to the screen of the output image, the texture mapping condition is not provided. apparatus.
(8) The image mapping unit
When it is determined by the mapping condition check unit that the polygon surface specified by the target specifying unit does not have a texture mapping condition, texture mapping is performed only with the left eye image or the right eye image. The image processing apparatus according to (7).
(9) The mapping condition check part
When the image mapping unit texture-maps a stereo image on the surface of the polygon specified by the target specifying unit,
If the polygon surface has a rotation greater than or equal to a threshold with respect to an axis parallel to the screen of the output image, it is determined that the texture mapping condition is not provided. Any one of (1) to (8) Image processing apparatus.
(10) The image mapping unit
When it is determined by the mapping condition check unit that the surface of the polygon designated by the target designating unit does not have the condition for the exposure mapping, texture mapping is performed on the left-eye image or the right-eye image. The image processing apparatus according to (9).
(11) The image mapping unit
When it is determined that the polygon surface specified by the target specifying unit does not have a texture mapping condition by the mapping condition check unit, the parallax between the left eye image and the right eye image is reduced. The image processing apparatus according to (9), wherein texture mapping is performed.

100,100A・・・画像処理装置
110・・・CG制作部
120・・・ネットワーク
130・・・画像生成部
130a・・・プログラム出力端子
130b・・・プレビュー出力端子
140・・・画像マッピング部
150・・・記憶部
160・・・マトリクススイッチ
170・・・画像選択操作部
171・・・ターゲット指定部
175・・・プレビュー指定部
176・・・パラメタ操作部
180・・・画像合成部
190・・・マッピング条件チェック部
195・・・プレビュー警報部
DESCRIPTION OF SYMBOLS 100,100A ... Image processing apparatus 110 ... CG production part 120 ... Network 130 ... Image generation part 130a ... Program output terminal 130b ... Preview output terminal 140 ... Image mapping part 150 ... Storage unit 160 ... Matrix switch 170 ... Image selection operation unit 171 ... Target specification unit 175 ... Preview specification unit 176 ... Parameter operation unit 180 ... Image composition unit 190 ... Mapping condition check part 195 ... Preview alarm part

Claims (13)

コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成部と、
上記コンピュータグラフィクス記述データの中のポリゴンの面を指定する操作入力を受けるターゲット指定部と、
上記ターゲット指定部で指定されたポリゴンの面に所定の画像をテクスチャマッピングする画像マッピング部と、
上記ターゲット指定部で指定されたポリゴンの面がテクスチャマッピングの条件を備えているか否かを判断するマッピング条件チェック部とを備え、
上記画像マッピング部は、
上記マッピング条件チェック部でテクスチャマッピングの条件を備えていると判断されるとき、上記ターゲット指定部で指定されたポリゴンの面に所定の画像をテクスチャマッピングする
画像処理装置。
An image generator for generating a computer graphics image based on the computer graphics description data;
A target designating unit for receiving an operation input for designating a polygonal surface in the computer graphics description data;
An image mapping unit for texture-mapping a predetermined image on the surface of the polygon designated by the target designation unit;
A mapping condition check unit for determining whether or not the polygon surface specified by the target specifying unit has a texture mapping condition;
The image mapping unit
An image processing apparatus for texture-mapping a predetermined image on a surface of a polygon designated by the target designating unit when the mapping condition checking unit judges that a texture mapping condition is provided.
上記画像生成部は、出力する画像のフレームレートに対してリアルタイムレンダリング動作をし、
上記画像マッピング部は、各フレームの画像生成毎に、上記マッピング条件チェック部でテクスチャマッピングの条件を備えていると判断されたポリゴンの面に所定の画像をテクスチャマッピングする
請求項1に記載の画像処理装置。
The image generation unit performs a real-time rendering operation on the frame rate of the output image,
2. The image according to claim 1, wherein the image mapping unit texture-maps a predetermined image on a surface of a polygon that is determined to have a texture mapping condition by the mapping condition check unit for each frame image generation. 3. Processing equipment.
上記ターゲット指定部は、
上記マッピング条件チェック部でテクスチャマッピングの条件を備えていると判断されないポリゴンの面を指定する操作入力を受けない
請求項1に記載の画像処理装置。
The target specification part
The image processing apparatus according to claim 1, wherein the mapping condition check unit does not receive an operation input for designating a face of a polygon that is not determined to have a texture mapping condition.
上記マッピング条件チェック部は、
上記ターゲット指定部で指定されたポリゴンの面にテクスチャ座標が定義されていない場合には、テクスチャマッピングの条件を備えていないと判断する
請求項1に記載の画像処理装置。
The above mapping condition check part
The image processing apparatus according to claim 1, wherein when a texture coordinate is not defined on a polygon surface specified by the target specifying unit, it is determined that a condition for texture mapping is not provided.
上記ターゲット指定部は、
上記ターゲット指定部で指定されたポリゴンの面がテクスチャマッピングの条件を備えていないと判断した場合、コンピュータグラフィクス仮想空間内でテクスチャ座標決定用の幾何学形状の面を上記指定されたポリゴンの面に投影することによりテクスチャ座標を決定し、上記指定されたポリゴンの面にテクスチャ座標を付与する
請求項4に記載の画像処理装置。
The target specification part
When it is determined that the polygon surface specified by the target specifying unit does not have the texture mapping condition, the surface of the geometric shape for determining texture coordinates is changed to the specified polygon surface in the computer graphics virtual space. The image processing apparatus according to claim 4, wherein the texture coordinates are determined by projecting, and the texture coordinates are assigned to the surface of the designated polygon.
上記マッピング条件チェック部は、
上記ターゲット指定部で指定されたポリゴンの面のテクスチャ座標について、該ポリゴン上で歪みが閾値以上の場合にはテクスチャマッピングの条件を備えていないと判断する
請求項1に記載の画像処理装置。
The above mapping condition check part
The image processing apparatus according to claim 1, wherein the texture coordinates of the surface of the polygon designated by the target designation unit are determined not to have a texture mapping condition if the distortion on the polygon is equal to or greater than a threshold value.
上記マッピング条件チェック部は、
上記画像マッピング部が上記ターゲット指定部で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするとき、
上記ポリゴンの面が出力画像の画面に垂直な軸に対して閾値以上の回転がある場合には、テクスチャマッピングの条件を備えていないと判断する
請求項1に記載の画像処理装置。
The above mapping condition check part
When the image mapping unit texture-maps a stereo image on the surface of the polygon specified by the target specifying unit,
The image processing apparatus according to claim 1, wherein when the polygon surface is rotated by a threshold value or more with respect to an axis perpendicular to the screen of the output image, it is determined that the texture mapping condition is not provided.
上記画像マッピング部は、
上記ターゲット指定部で指定されたポリゴンの面が上記マッピング条件チェック部でテクスチャマッピングの条件を備えていないと判断されるとき、上記左眼用画像または上記右眼用画像のみでテクスチャマッピングを行う
請求項7に記載の画像処理装置。
The image mapping unit
The texture mapping is performed using only the left-eye image or the right-eye image when the mapping condition check unit determines that the polygon surface designated by the target designation unit does not have a texture mapping condition. Item 8. The image processing device according to Item 7.
上記マッピング条件チェック部は、
上記画像マッピング部が上記ターゲット指定部で指定されたポリゴンの面にステレオ画像をテクスチャマッピングするとき、
上記ポリゴンの面が出力画像の画面に平行な軸に対して閾値以上の回転がある場合には、テクスチャマッピングの条件を備えていないと判断する
請求項1に記載の画像処理装置。
The above mapping condition check part
When the image mapping unit texture-maps a stereo image on the surface of the polygon specified by the target specifying unit,
The image processing apparatus according to claim 1, wherein when the polygon plane is rotated by a threshold value or more with respect to an axis parallel to the screen of the output image, it is determined that the texture mapping condition is not provided.
上記画像マッピング部は、
上記ターゲット指定部で指定されたポリゴンの面が上記マッピング条件チェック部でテクスチャマッピングの条件を備えていないと判断されるとき、上記左眼用画像または上記右眼用画像でテクスチャマッピングを行う
請求項9に記載の画像処理装置。
The image mapping unit
The texture mapping is performed on the left-eye image or the right-eye image when the mapping condition check unit determines that the polygon surface designated by the target designation unit does not have a texture mapping condition. The image processing apparatus according to 9.
上記画像マッピング部は、
上記ターゲット指定部で指定されたポリゴンの面が上記マッピング条件チェック部でテクスチャマッピングの条件を備えていないと判断されるとき、上記左眼用画像および上記右眼用画像の間の視差を減じてテクスチャマッピングを行う
請求項9に記載の画像処理装置。
The image mapping unit
When it is determined that the polygon surface specified by the target specifying unit does not have a texture mapping condition by the mapping condition check unit, the parallax between the left eye image and the right eye image is reduced. The image processing apparatus according to claim 9, wherein texture mapping is performed.
コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成ステップと、
指定されたポリゴンの面に所定の画像をテクスチャマッピングする画像マッピングステップと、
上記指定されたポリゴンの面がテクスチャマッピングの条件を備えているか否かを判断するマッピング条件チェックステップとを備え、
上記画像マッピングステップでは、
上記マッピング条件チェックステップでマッピング条件を備えていると判断されるとき、上記指定されたポリゴンの面に所定の画像をテクスチャマッピングする
画像処理方法。
An image generation step of generating a computer graphics image based on the computer graphics description data;
An image mapping step for texture-mapping a predetermined image on the surface of the specified polygon;
A mapping condition check step for determining whether or not the surface of the specified polygon has a texture mapping condition;
In the image mapping step,
An image processing method for texture-mapping a predetermined image on the surface of the designated polygon when it is determined that the mapping condition is provided in the mapping condition check step.
コンピュータを、
コンピュータグラフィクス記述データに基づいてコンピュータグラフィクス画像を生成する画像生成手段と、
指定されたポリゴンの面に所定の画像をテクスチャマッピングする画像マッピング手段と、
上記指定されたポリゴンの面がテクスチャマッピングの条件を備えているか否かを判断するマッピング条件チェック手段として機能させ、
上記画像マッピング手段は、
上記マッピング条件チェック手段でマッピング条件を備えていると判断されるとき、上記指定されたポリゴンの面に画像をテクスチャマッピングする
プログラム。
Computer
Image generating means for generating a computer graphics image based on the computer graphics description data;
Image mapping means for texture mapping a predetermined image on the surface of the specified polygon;
Function as a mapping condition check means for determining whether the surface of the specified polygon has a texture mapping condition,
The image mapping means includes
A program for texture-mapping an image on the specified polygonal surface when the mapping condition checking means determines that the mapping condition is provided.
JP2011084581A 2011-04-06 2011-04-06 Image processing system, image processing method and program Withdrawn JP2012221105A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011084581A JP2012221105A (en) 2011-04-06 2011-04-06 Image processing system, image processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011084581A JP2012221105A (en) 2011-04-06 2011-04-06 Image processing system, image processing method and program

Publications (1)

Publication Number Publication Date
JP2012221105A true JP2012221105A (en) 2012-11-12

Family

ID=47272574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011084581A Withdrawn JP2012221105A (en) 2011-04-06 2011-04-06 Image processing system, image processing method and program

Country Status (1)

Country Link
JP (1) JP2012221105A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014182831A (en) * 2013-03-15 2014-09-29 Intel Corp Texture address mode discarding filter taps

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014182831A (en) * 2013-03-15 2014-09-29 Intel Corp Texture address mode discarding filter taps

Similar Documents

Publication Publication Date Title
US11019259B2 (en) Real-time generation method for 360-degree VR panoramic graphic image and video
US11750786B2 (en) Providing apparatus, providing method and computer readable storage medium for performing processing relating to a virtual viewpoint image
US8957892B2 (en) Stereo composition based on multiple camera rigs
US20130321396A1 (en) Multi-input free viewpoint video processing pipeline
WO2021135320A1 (en) Video generation method and apparatus, and computer system
KR20120037400A (en) Viewer-centric user interface for stereoscopic cinema
US11956408B2 (en) Information processing system, information processing method, and storage medium
US20110012911A1 (en) Image processing apparatus and method
JP2011023902A (en) Image processor and image processing method
US20120256911A1 (en) Image processing apparatus, image processing method, and program
JP6719596B2 (en) Image generation device and image display control device
JP2006350852A (en) Image generation system
US20120256946A1 (en) Image processing apparatus, image processing method and program
US10223823B2 (en) Image processing apparatus and method
JP2011022728A (en) Image processing apparatus and method
JP2011197816A (en) Image generation method
JP2015170232A (en) Information processing device, method of controlling the same, and program
JP2012221105A (en) Image processing system, image processing method and program
KR20230017745A (en) Image processing apparatus, image processing method, and storage medium
JP2019057918A (en) Generation device, generation method, and program
JP4733757B2 (en) Polygon processing apparatus, program, and information recording medium
JP7277184B2 (en) Information processing device, information processing method and program.
JP2022029239A (en) Image processing apparatus, image processing method, and program
JP2012128737A (en) Three-dimentional (3d) video generation system
JP7360366B2 (en) Virtual viewpoint video rendering device, method and program

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140701