JP2018092594A - Image processing apparatus, image processing method, and program - Google Patents

Image processing apparatus, image processing method, and program Download PDF

Info

Publication number
JP2018092594A
JP2018092594A JP2017167752A JP2017167752A JP2018092594A JP 2018092594 A JP2018092594 A JP 2018092594A JP 2017167752 A JP2017167752 A JP 2017167752A JP 2017167752 A JP2017167752 A JP 2017167752A JP 2018092594 A JP2018092594 A JP 2018092594A
Authority
JP
Japan
Prior art keywords
light
shape
information
image processing
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017167752A
Other languages
Japanese (ja)
Other versions
JP7016646B2 (en
Inventor
千晶 金子
Chiaki Kaneko
千晶 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to US15/818,560 priority Critical patent/US10565780B2/en
Publication of JP2018092594A publication Critical patent/JP2018092594A/en
Application granted granted Critical
Publication of JP7016646B2 publication Critical patent/JP7016646B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide processing for emphasizing gloss of an object in consideration of a surface shape of the object.SOLUTION: An image processing apparatus includes: first acquisition means of acquiring shape information representing the shape of the surface of an object, and reflection characteristic information representing reflection characteristics of the object; second acquisition means of acquiring point-of-view information relating to a point of view for viewing the object, and light source information relating to a light source which irradiates the object with light; emphasizing means which emphasizes light reflection intensity of the object, on the basis of the reflection characteristic information, the point-of-view information, the light source information, and the shape information, so as to increase a degree of emphasis as flatness of the shape is higher in image data representing the object; and output means of outputting the image data which represents the object with the light reflection intensity emphasized by the emphasizing means.SELECTED DRAWING: Figure 2

Description

本発明は、画像におけるオブジェクトの光沢についての画像処理技術に関する。   The present invention relates to an image processing technique for the gloss of an object in an image.

従来、画像におけるオブジェクトに光沢を付加する技術が知られている。特許文献1は、3次元コンピュータグラフィックス(3DCG)において、鏡面反射光が視点に向かうように光源位置を設定することによって、レンダリング対象のオブジェクトにおける任意の位置にハイライトを付加する技術を開示している。この技術では、オブジェクトの任意の範囲を指定し、その範囲の反射光が一律に鏡面反射光となるように光源位置を設定することによってハイライトを付加している。   Conventionally, a technique for adding gloss to an object in an image is known. Patent Document 1 discloses a technique for adding a highlight to an arbitrary position in an object to be rendered by setting a light source position so that specular reflection light is directed toward a viewpoint in 3D computer graphics (3DCG). ing. In this technique, an arbitrary range of an object is specified, and highlights are added by setting the light source position so that the reflected light in the range is uniformly specularly reflected.

一方で、オブジェクト表面の微細な凹凸形状をCG等で再現する技術が普及し始めている。表面に微細な凹凸形状を有するオブジェクトは、表面が滑らかなオブジェクトに比べ、当該凹凸形状の変化に応じて反射面の法線方向が細かく変化していく。この法線方向の細かい変化は、光の鏡面反射方向、ひいては、視点位置から観察される反射光の強度に微細な変動を与える。この変動がオブジェクト固有の質感となって現れる。例えば、上述したような質感は、微小な金属フレークを含むメタリック素材や、梨地加工を施した素材等において現れることが知られている。   On the other hand, a technique for reproducing fine irregularities on an object surface with CG or the like has begun to spread. An object having a fine concavo-convex shape on the surface has a finer change in the normal direction of the reflecting surface in accordance with the change in the concavo-convex shape than an object having a smooth surface. This fine change in the normal direction gives a fine change to the specular reflection direction of light, and consequently the intensity of reflected light observed from the viewpoint position. This variation appears as an object-specific texture. For example, it is known that the above-mentioned texture appears in a metallic material including minute metal flakes, a material subjected to a satin finish, or the like.

特開平6−111028号公報JP-A-6-111028

特許文献1が開示する技術を用いて上述したようなメタリック素材等の質感を再現しようとするオブジェクトにハイライトを付加しようとすると、上述したようにハイライト部分での反射光は一律に鏡面反射光となる。このため、ハイライト部分において上述した反射光の強度の微細な変動が生じなくなってしまう。この結果、ハイライト部分におけるオブジェクト固有の質感が損なわれてしまうという課題があった。   When a highlight is added to an object that is to reproduce the texture of a metallic material or the like as described above using the technique disclosed in Patent Document 1, the reflected light at the highlight portion is uniformly specularly reflected as described above. It becomes light. For this reason, the above-described minute fluctuation of the intensity of the reflected light does not occur in the highlight portion. As a result, there is a problem that the texture specific to the object in the highlight portion is impaired.

本発明は、上記課題に鑑みてなされたものであり、オブジェクト表面の形状を考慮して、当該オブジェクトの光沢を強調するための処理を提供することを目的とする。   SUMMARY An advantage of some aspects of the invention is that it provides a process for enhancing the gloss of an object in consideration of the shape of the object surface.

上記課題を解決するために、本発明に係る画像処理装置は、オブジェクト表面の形状を表す形状情報と前記オブジェクトの反射特性を表す反射特性情報とを取得する第1取得手段と、前記オブジェクトを見る視点に関する視点情報と、前記オブジェクトに光を当てる光源に関する光源情報とを取得する第2取得手段と、前記反射特性情報と前記視点情報と前記光源情報と前記形状情報とに基づいて、前記オブジェクトを表す画像データにおいて、前記形状の平面度合いが高いほど強調度合いを上げるように、前記オブジェクトの光の反射強度を強調する強調手段と、前記強調手段によって前記光の反射強度が強調された前記オブジェクトを表す前記画像データを出力する出力手段と、を有することを特徴とする。   In order to solve the above-described problem, an image processing apparatus according to the present invention is configured to obtain first shape acquisition means for acquiring shape information representing a shape of an object surface and reflection characteristic information representing a reflection characteristic of the object, and viewing the object. A second acquisition unit configured to acquire viewpoint information relating to a viewpoint and light source information relating to a light source that applies light to the object; and the object based on the reflection characteristic information, the viewpoint information, the light source information, and the shape information. In the image data to represent, the enhancement means for enhancing the reflection intensity of the light of the object so that the enhancement degree is increased as the flatness of the shape is higher, and the object whose reflection intensity of the light is enhanced by the enhancement means. Output means for outputting the image data to be expressed.

本発明によれば、オブジェクト表面の形状を考慮して、当該オブジェクトの光沢を強調することができる。   According to the present invention, the gloss of the object can be enhanced in consideration of the shape of the object surface.

画像処理装置100のハードウェア構成を示す図The figure which shows the hardware constitutions of the image processing apparatus 100 画像処理装置100の機能構成を示すブロック図The block diagram which shows the function structure of the image processing apparatus 100 画像処理装置100における一連の処理の流れを示すフローチャートFlowchart showing a flow of a series of processing in the image processing apparatus 100 生成部204における処理の流れを示すフローチャートThe flowchart which shows the flow of the process in the production | generation part 204. 形状特徴量の一例を示す図The figure which shows an example of a shape feature-value 特徴画像の一例を示す図Diagram showing an example of a feature image ベース画像の一例を示す図The figure which shows an example of a base image 出力画像の一例を示す図Diagram showing an example of output image 反射の一例を示す図Diagram showing an example of reflection

以下、本発明を実施するための形態について図面を用いて説明する。   Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.

[実施形態1]
本実施形態では、レンダリング対象のオブジェクト表面の形状の特徴に応じて、光沢を強調する強調度合いを変える処理を行う。以下で詳しく説明する。
[Embodiment 1]
In the present embodiment, processing for changing the degree of enhancement for enhancing glossiness is performed according to the feature of the shape of the object surface to be rendered. This will be described in detail below.

<画像処理装置100のハードウェア構成>
図1は、画像処理装置100のハードウェア構成例を示す図である。画像処理装置100は、CPU101、ROM102、RAM103、ハードディスクドライブ(HDD)104、HDDインタフェース(I/F)105、入力I/F106、出力I/F107、システムバス108で構成される。CPU101は、RAM103をワークメモリとして、ROM102及びHDD104に格納されたプログラムを実行し、システムバス108を介して後述する各部を制御する。HDDI/F105は、HDD104や光ディスクドライブなどの二次記憶装置を接続する、例えばシリアルATA(SATA)等のインタフェースである。CPU101は、HDDI/F105を介した、HDD104からのデータの読み出し、およびHDD104へのデータ書き込みが可能である。さらにCPU101は、HDD104に格納されたデータをRAM103に展開し、同様に、RAM103に展開されたデータをHDD104に保存することが可能である。そしてCPU101は、RAM103に展開したデータをプログラムとみなし、実行することができる。入力I/F106は、キーボードやマウス、3Dスキャナなどの入力デバイス109を接続する、例えば、USB等のシリアルバスインタフェースである。CPU101は、入力I/F106を介して入力デバイス109から各種データを読み込むことが可能である。出力I/F107は、モニタやプリンタ等の出力デバイス110を接続する、例えばUSBやIEEE等のシリアルバスインタフェースである。CPU101は、出力I/F107を介して出力デバイス110にデータを送り、表示や記録を実行させることができる。尚、USBやIEEE等の双方向通信インタフェースを利用すれば、入力I/F106と出力I/F107を一つにまとめることができる。
<Hardware Configuration of Image Processing Apparatus 100>
FIG. 1 is a diagram illustrating a hardware configuration example of the image processing apparatus 100. The image processing apparatus 100 includes a CPU 101, ROM 102, RAM 103, hard disk drive (HDD) 104, HDD interface (I / F) 105, input I / F 106, output I / F 107, and system bus 108. The CPU 101 executes programs stored in the ROM 102 and the HDD 104 using the RAM 103 as a work memory, and controls each unit to be described later via the system bus 108. The HDD I / F 105 is an interface such as serial ATA (SATA) for connecting a secondary storage device such as the HDD 104 or an optical disk drive. The CPU 101 can read data from the HDD 104 and write data to the HDD 104 via the HDD I / F 105. Further, the CPU 101 can expand the data stored in the HDD 104 to the RAM 103, and similarly, can store the data expanded in the RAM 103 in the HDD 104. The CPU 101 can execute the data expanded in the RAM 103 as a program. The input I / F 106 is a serial bus interface, such as a USB, for connecting an input device 109 such as a keyboard, a mouse, and a 3D scanner. The CPU 101 can read various data from the input device 109 via the input I / F 106. The output I / F 107 is a serial bus interface such as USB or IEEE for connecting an output device 110 such as a monitor or a printer. The CPU 101 can send data to the output device 110 via the output I / F 107 to execute display and recording. If a bidirectional communication interface such as USB or IEEE is used, the input I / F 106 and the output I / F 107 can be combined into one.

<画像処理装置100の機能構成>
図2は、画像処理装置100の機能構成を示すブロック図である。画像処理装置100は、第1取得部201、第2取得部202、算出部203、生成部204を有する。
<Functional Configuration of Image Processing Apparatus 100>
FIG. 2 is a block diagram illustrating a functional configuration of the image processing apparatus 100. The image processing apparatus 100 includes a first acquisition unit 201, a second acquisition unit 202, a calculation unit 203, and a generation unit 204.

第1取得部201は、オブジェクトの形状情報と反射特性情報とから成るオブジェクトデータを、入力デバイス109や不図示のデータベースから取得する。ここで、形状情報はオブジェクト表面の形状を表すデータであり、本実施形態ではメッシュデータとする。メッシュデータは、複数の辺を有する板状の要素の集合によりオブジェクトの形状を表現するメッシュモデルの表示に必要なデータである。例えば、3次元空間内に配置された三角形の各頂点の座標データと法線ベクトルである。尚、形状情報のデータ形式は、オブジェクトの位置と形状を特定できるものであればよく、例えば、NURBS曲面などで表現されるパラメトリックモデルでもよい。また、反射特性情報は、オブジェクトの反射特性を表すデータである。本実施形態における反射特性情報は、以下の式(1)〜(5)で表わされるフォンの鏡面反射モデルにおける拡散反射係数kd,環境光の反射係数ka,鏡面反射係数ks,鏡面反射指数nとする。
I=IDr+IAr+ISr・・・式(1)
Dr=IDi×k×(N・L)・・・式(2)IAr=IAi×k・・・式(3)
Sr=ISi×k×(L・R)・・・式(4)R=−E+2(N・E)N・・・式(5)
The first acquisition unit 201 acquires object data including object shape information and reflection characteristic information from the input device 109 or a database (not shown). Here, the shape information is data representing the shape of the object surface, and is mesh data in this embodiment. The mesh data is data necessary for displaying a mesh model that expresses the shape of an object by a set of plate-like elements having a plurality of sides. For example, coordinate data and normal vectors of each vertex of a triangle arranged in a three-dimensional space. The data format of the shape information may be any data format that can identify the position and shape of the object, and may be a parametric model expressed by a NURBS curved surface, for example. The reflection characteristic information is data representing the reflection characteristic of the object. The reflection characteristic information in this embodiment includes a diffuse reflection coefficient kd, an ambient light reflection coefficient ka, a specular reflection coefficient ks, and a specular reflection index n in a phon specular reflection model expressed by the following equations (1) to (5). To do.
I = I Dr + I Ar + I Sr Formula (1)
I Dr = I Di × k d × (N · L) ··· Equation (2) I Ar = I Ai × k a ··· (3)
I Sr = I Si × k s × (L · R) n ··· formula (4) R = -E + 2 (N · E) N ··· Equation (5)

ここで、Iはオブジェクトへ入射した光源からの入射光及び環境光に対する反射光の強度、IDrはIの拡散反射成分(拡散反射光の強度)である。また、IArはIの環境光成分(オブジェクトに入射した環境光に対する反射光の強度)、ISrはIの鏡面反射成分(鏡面反射光の強度)であり、Rは反射ベクトルである。また、IDiはオブジェクトにおいて拡散反射に寄与する光源からの入射光の強度、IAiはオブジェクトに入射する環境光の強度である。また、ISiはオブジェクトにおいて鏡面反射に寄与する光源からの入射光の強度であり、N,L,Eはそれぞれ法線ベクトル、光源ベクトル、視線ベクトルである。尚、ブリン‐フォンの鏡面反射モデルなど、他の反射モデルのパラメータを反射特性情報としてもよい。取得されたオブジェクトデータは、算出部203および生成部204へ送られる。 Here, I is the intensity of the reflected light with respect to the incident light from the light source incident on the object and the ambient light, and I Dr is the diffuse reflection component of I (the intensity of the diffuse reflected light). Further, I Ar is an I ambient light component (intensity of reflected light with respect to ambient light incident on the object), I Sr is an I specular reflection component (intensity of specular reflected light), and R is a reflection vector. I Di is the intensity of incident light from the light source that contributes to diffuse reflection in the object, and I Ai is the intensity of ambient light incident on the object. I Si is the intensity of incident light from the light source that contributes to specular reflection in the object, and N, L, and E are the normal vector, light source vector, and line-of-sight vector, respectively. It should be noted that parameters of other reflection models such as a Brin-phone specular reflection model may be used as the reflection characteristic information. The acquired object data is sent to the calculation unit 203 and the generation unit 204.

第2取得部202は、オブジェクトのレンダリングに用いる視点情報と光源情報とからなるレンダリングパラメータを、入力I/F106を介したユーザ指示により取得する。尚、予めHDD104等の記憶装置に記憶しておいたものを取得してもよい。視点情報は、視点の位置、視点からの視線方向、視点から見る範囲(画角)である。光源情報は、光源の位置、光源から光が向かう方向(光線方向)、光源が発する光の強度である。取得されたレンダリングパラメータは、算出部203および生成部204へ送られる。   The second acquisition unit 202 acquires a rendering parameter composed of viewpoint information and light source information used for rendering an object in accordance with a user instruction via the input I / F 106. In addition, you may acquire what was previously memorize | stored in memory | storage devices, such as HDD104. The viewpoint information includes the position of the viewpoint, the viewing direction from the viewpoint, and the range (view angle) viewed from the viewpoint. The light source information is the position of the light source, the direction in which light travels from the light source (light beam direction), and the intensity of light emitted from the light source. The acquired rendering parameters are sent to the calculation unit 203 and the generation unit 204.

算出部203は、オブジェクトデータとレンダリングパラメータとに基づいて、オブジェクト表面の形状の特徴を表す形状特徴量を算出する。詳細は後述する。算出された形状特徴量は、生成部204へ送られる。   The calculation unit 203 calculates a shape feature amount representing the shape feature of the object surface based on the object data and the rendering parameter. Details will be described later. The calculated shape feature amount is sent to the generation unit 204.

生成部204は、特徴画像生成部205、ベース画像生成部206、合成部207を有する。生成部204は、形状特徴量に応じて光沢が強調されたオブジェクトを表す出力画像を生成し出力する。オブジェクトの質感を与える要因の一つとして、反射面の法線方向の空間的な分布に基づく反射強度の変動がある。本実施形態では、広く一般に用いられている反射モデルであるフォンの鏡面反射モデルを仮定し、法線方向の変化が強度に大きく寄与する鏡面反射成分(光沢)を強調することにより、オブジェクトの質感を強調した出力画像を生成する。また、近傍メッシュ間での反射面に対する光の入射方向と視線方向とのなす角の変化が緩やかな凹凸のある曲面部よりも平坦な平面部では、反射光の強度の変動幅が小さくなり質感がわかりにくくなる。そこで本実施形態、オブジェクトの形状が平面に近いほど光沢の強調度合いを高くする。図9に反射の例を示す。図9(a)のオブジェクト901は表面に微細凹凸を持つ平板状のオブジェクトを表している。また、図9(b)のオブジェクト911は表面に微細凹凸を持つ湾曲したオブジェクトを表している。光源902からオブジェクトに対して照射すると光線903それぞれがオブジェクト901上の点で反射する。反射した光線905は、視点904に入射する。一点鎖線906は、オブジェクト901上の微細凹凸を含んだ小領域に対して、光源方向からの光線903から光が入射した際の鏡面反射を模式的に表している。通常、鏡面反射とは光の入射角と反射角が反射面に対して同一となる一方向への反射を指す。ただしオブジェクト表面の微細凹凸を含む小領域を考えると、小領域における鏡面反射は、微細凹凸の法線に応じた様々な方向へ生じて見える。すなわち、鏡面反射方向が広がりを持つように見え、この広がり方が質感となって現れる。一般的なメタリック素材では、小領域の近似平面を反射面とした際の鏡面反射方向へ向かう反射光が、最も強くなる。そのため、近似平面の鏡面反射方向と視線方向とが異なる場合、観察される鏡面反射光は相対的に弱くなる。図9(a)の曲線908は、オブジェクト901上の各点から視線方向へ向かう鏡面反射成分の強さを模式的に表している。図9(a)の例では、オブジェクト901上に近似平面の鏡面反射方向と視線方向とが一致する反射点が存在しないため、視点位置において観察される反射光の最大強度が小さくなる。これに対して、図9(b)の曲線918は、湾曲したオブジェクト911上の各点から視線方向へ向かう鏡面反射成分の強さを表している。一般に、ある面の鏡面反射光が得られる視点および光源の位置条件は、その面の法線方向に基づく狭い範囲に限定される。そのため、法線方向が様々な方向を向く湾曲したオブジェクトよりも、法線方向が一定方向を向く平面に近いオブジェクトの方が強い鏡面反射を得にくく、質感が分かりにくくなる。   The generation unit 204 includes a feature image generation unit 205, a base image generation unit 206, and a synthesis unit 207. The generation unit 204 generates and outputs an output image representing an object whose gloss is enhanced according to the shape feature amount. As one of the factors that give the texture of the object, there is a fluctuation in reflection intensity based on the spatial distribution in the normal direction of the reflecting surface. In the present embodiment, the specular reflection model of Phong, which is a widely used reflection model, is assumed, and the texture of the object is enhanced by enhancing the specular reflection component (gloss) whose change in the normal direction greatly contributes to the intensity. An output image in which is emphasized is generated. Moreover, the fluctuation range of the intensity of reflected light becomes smaller at a flat surface portion than a curved surface portion with unevenness where the angle between the light incident direction and the line-of-sight direction between the neighboring meshes between the neighboring meshes is gentle. Becomes difficult to understand. Therefore, in this embodiment, the degree of gloss enhancement is increased as the shape of the object is closer to a plane. FIG. 9 shows an example of reflection. An object 901 in FIG. 9A represents a flat object having fine irregularities on the surface. An object 911 in FIG. 9B represents a curved object having fine irregularities on the surface. When the object is irradiated from the light source 902, each light beam 903 is reflected at a point on the object 901. The reflected light beam 905 enters the viewpoint 904. An alternate long and short dash line 906 schematically represents specular reflection when light is incident from a light beam 903 from the light source direction on a small region including fine unevenness on the object 901. In general, specular reflection refers to reflection in one direction in which the incident angle and reflection angle of light are the same with respect to the reflecting surface. However, when considering a small area including fine irregularities on the object surface, specular reflection in the small area appears to occur in various directions according to the normal line of the fine irregularities. That is, the specular reflection direction appears to have a spread, and this spread appears as a texture. In a general metallic material, the reflected light toward the specular reflection direction when the approximate plane of a small region is used as a reflection surface is the strongest. Therefore, when the specular reflection direction and the line-of-sight direction in the approximate plane are different, the specular reflection light to be observed becomes relatively weak. A curve 908 in FIG. 9A schematically represents the intensity of the specular reflection component from each point on the object 901 toward the line of sight. In the example of FIG. 9A, since there is no reflection point on the object 901 where the specular reflection direction of the approximate plane matches the line-of-sight direction, the maximum intensity of reflected light observed at the viewpoint position becomes small. On the other hand, a curve 918 in FIG. 9B represents the intensity of the specular reflection component from each point on the curved object 911 toward the line of sight. In general, the viewpoint from which a specular reflection light on a certain surface is obtained and the position condition of the light source are limited to a narrow range based on the normal direction of the surface. For this reason, an object close to a plane whose normal direction is a fixed direction is less likely to obtain a strong specular reflection than a curved object whose normal direction is in various directions, and the texture is difficult to understand.

以下、生成部204を構成する各部について説明する。尚、各部における処理の詳細は後述する。   Hereinafter, each part which comprises the production | generation part 204 is demonstrated. Details of processing in each unit will be described later.

特徴画像生成部205は、光源からの入射光のオブジェクトにおける鏡面反射成分を求め、これに形状特徴量に応じた強調処理を施して特徴画像データを生成する。生成した特徴画像データは、合成部207へ送られる。   The feature image generation unit 205 obtains the specular reflection component in the object of the incident light from the light source, and performs feature enhancement processing according to the shape feature amount to generate feature image data. The generated feature image data is sent to the synthesis unit 207.

ベース画像生成部206は、光源からの入射光のオブジェクトにおける拡散反射成分と環境光のオブジェクトにおける反射光の強度とを求めてベース画像データを生成する。生成したベース画像データは、合成部207へ送られる。   The base image generation unit 206 determines the diffuse reflection component of the incident light object from the light source and the intensity of the reflected light of the ambient light object, and generates base image data. The generated base image data is sent to the synthesis unit 207.

合成部207は、特徴画像データとベース画像データとを合成して出力画像データを生成する。   The synthesizer 207 synthesizes the feature image data and the base image data to generate output image data.

<画像処理装置100が実行する処理>
図3は、画像処理装置100における一連の処理の動作手順を示すフローチャートである。この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムを、ROM102あるいはHDD104からRAM103上に読み込んだ後に、CPU101によって該プログラムを実行することによって実現される。以下、各ステップ(工程)は符号の前にSをつけて表す。
<Processing Performed by Image Processing Apparatus 100>
FIG. 3 is a flowchart illustrating an operation procedure of a series of processes in the image processing apparatus 100. This series of processing is realized by reading a computer-executable program describing the following procedure from the ROM 102 or the HDD 104 onto the RAM 103 and then executing the program by the CPU 101. Hereinafter, each step (process) is represented by adding S before the reference numeral.

S301において、第1取得部201は、オブジェクトデータを取得する。第2取得部202は、レンダリングパラメータを取得する。S302において、算出部203は、S301で取得したオブジェクトデータとレンダリングパラメータに基づいて形状特徴量を算出する。本実施形態では、オブジェクト表面の法線に基づきオブジェクトの概形を構成する面を求め、その各面内における法線方向のばらつき度合い(分散)を形状特徴量として算出する。ここで、オブジェクトの概形を構成する面とは、オブジェクトを大局的に見た場合(すなわち、表面の微細凹凸を無視して見た場合)に法線ベクトルが類似しているひとつながりの隣接したメッシュの集合である。以下に、形状特徴量を算出する処理の詳細を示す。   In S301, the first acquisition unit 201 acquires object data. The second acquisition unit 202 acquires a rendering parameter. In S302, the calculation unit 203 calculates a shape feature amount based on the object data and the rendering parameter acquired in S301. In the present embodiment, the surface constituting the outline of the object is obtained based on the normal of the object surface, and the degree of variation (variance) in the normal direction within each surface is calculated as the shape feature amount. Here, the surface that constitutes the outline of an object is a group of adjacent neighbors whose normal vectors are similar when the object is viewed globally (that is, when the fine irregularities on the surface are ignored). A set of meshes. Details of the process for calculating the shape feature amount will be described below.

まず、オブジェクトデータとレンダリングパラメータとに基づき、オブジェクトを構成するメッシュのうちレンダリングの画角内に含まれるものに関して、その法線ベクトルを画素値として記録した法線画像を生成する。本実施形態では、一般的な投影変換式である式(6)を用いて3次元空間中におけるメッシュの頂点座標(x,y,z)を2次元画像上での画素位置(i,j)に変換する。この頂点に対応する法線ベクトル(nx,ny,nz)を画素(i,j)の画素値N(i,j)として記録する。   First, based on the object data and the rendering parameters, a normal image in which the normal vector is recorded as a pixel value for a mesh included in the object and included in the rendering angle of view is generated. In the present embodiment, the vertex coordinates (x, y, z) of the mesh in the three-dimensional space are converted into the pixel position (i, j) in the two-dimensional image by using the general projection conversion equation (6). Convert to The normal vector (nx, ny, nz) corresponding to this vertex is recorded as the pixel value N (i, j) of the pixel (i, j).

ここで、M,M,Mはそれぞれレンダリングパラメータから定まるスクリーン変換行列、射影変換行列、ビュー変換行列である。メッシュ内部に相当する画素については、メッシュを構成する各頂点に対応する法線ベクトルから補間した値を格納する。以上で説明した法線画像(各画素に画素値N(i,j)が記録された2次元画像)の生成には、コンピュータグラフィックスにおける公知のレンダリング処理を利用可能であるため、詳細な説明を省略する。 Here, M s , M p , and M v are a screen transformation matrix, a projection transformation matrix, and a view transformation matrix that are determined from rendering parameters, respectively. For the pixels corresponding to the inside of the mesh, a value interpolated from the normal vector corresponding to each vertex constituting the mesh is stored. The generation of the normal image described above (a two-dimensional image in which the pixel value N (i, j) is recorded in each pixel) can be generated by using a well-known rendering process in computer graphics. Is omitted.

次に、生成した法線画像に平滑化処理を施すことによって微細凹凸による法線の変動を除去した平滑化法線画像を生成し、この平滑化法線画像に対して領域分割を行う。平滑化には公知のガウシアンフィルタを用いる。平滑化法線画像の画素値をN’(i,j)とする。尚、平滑化には移動平均フィルタやメディアンフィルタ等を用いても良い。また、領域分割には公知の領域成長法を用いる。尚、ヒストグラムに基づく閾値処理など、他の公知の手法を用いても良い。領域分割によって得られる各領域は、その内部において法線ベクトルがおおよそ類似した方向を向く領域となるので、オブジェクトの概形を構成する面とみなすことができる。   Next, a smoothing process is performed on the generated normal image to generate a smoothing normal image from which fluctuations in the normal due to fine unevenness are removed, and region division is performed on the smoothed normal image. A known Gaussian filter is used for smoothing. Let N ′ (i, j) be the pixel value of the smoothed normal image. For smoothing, a moving average filter, a median filter, or the like may be used. In addition, a known region growth method is used for region division. Note that other known methods such as threshold processing based on a histogram may be used. Each area obtained by area division is an area in which the normal vector is oriented in a substantially similar direction, and thus can be regarded as a surface constituting the outline of the object.

次に、平滑化法線画像の各画素(i,j)について、式(7)及び式(8)に従い形状特徴量F(i,j)を算出する。   Next, for each pixel (i, j) of the smoothed normal line image, a shape feature amount F (i, j) is calculated according to Expression (7) and Expression (8).

ここで、Rは領域分割により得られた領域のうち画素(i,j)が含まれる領域であり、num(R)は領域R内の画素数である。また、θ(i,j)は平滑化後の法線ベクトルN’(i,j)と、予め定めた基準ベクトルN(例えば(1,0,0))とのなす角を表わす。式(7)の形状特徴量F(i,j)は、画素(i,j)が含まれる領域R内における平滑化後の法線ベクトルN’(i,j)の向きの分散に相当し、画素(i,j)が属する領域に対応するオブジェクトの表面が平面に近いほどその値がゼロに近づく。図5(a)に示すオブジェクトについて領域分割した法線画像を図5(b)に示し、形状特徴量を明度として表した図を図5(c)に示す。この図の例では、表面が平らである直方体501では形状特徴量が小さく、表面が曲面である球体502では形状特徴量が大きくなる。以上の処理により法線画像の各画素について形状特徴量F(i,j)を算出することができる。 Here, R k is a region including the pixel (i, j) in the region obtained by the region division, and num (R k ) is the number of pixels in the region R k . Θ (i, j) represents an angle formed by the smoothed normal vector N ′ (i, j) and a predetermined reference vector N 0 (for example, (1, 0, 0)). The shape feature value F (i, j) in Expression (7) corresponds to the variance of the direction of the smoothed normal vector N ′ (i, j) in the region R k including the pixel (i, j). The value approaches zero as the surface of the object corresponding to the region to which the pixel (i, j) belongs is closer to the plane. FIG. 5B shows a normal image obtained by dividing the area of the object shown in FIG. 5A, and FIG. 5C shows the shape feature value as brightness. In the example of this figure, a rectangular parallelepiped 501 having a flat surface has a small shape feature, and a sphere 502 having a curved surface has a large shape feature. With the above processing, the shape feature amount F (i, j) can be calculated for each pixel of the normal image.

S303において、生成部204は、S301で取得したオブジェクトデータ及びレンダリングパラメータと、S302で算出した形状特徴量とを用いて出力画像を生成する。本実施形態では、反射光の鏡面反射成分をオブジェクトの質感における特徴的な反射成分とみなし、オブジェクトの形状が平面に近い部分ほど鏡面反射成分を強調した出力画像を生成する。図4は出力画像を生成する処理(S303)の詳細を示すフローチャートである。   In S303, the generation unit 204 generates an output image using the object data and rendering parameters acquired in S301 and the shape feature amount calculated in S302. In the present embodiment, the specular reflection component of the reflected light is regarded as a characteristic reflection component in the texture of the object, and an output image in which the specular reflection component is emphasized as the part of the object is closer to a plane is generated. FIG. 4 is a flowchart showing details of the process (S303) for generating an output image.

S401において、特徴画像生成部205は、式(4)及び式(5)に平滑化前の法線ベクトルN(i,j)を与えることによって、法線画像の各画素(i,j)に対応する鏡面反射成分ISr(i,j)を算出する。さらに、S302で算出した形状特徴量F(i,j)を用いて、法線画像の各画素(i,j)に対応する鏡面反射成分を式(9)〜(11)に従い強調する。
I’Sr(i,j)=ISr(i,j)×FEmphasize(i,j) ・・・式(9)
Emphasize(i,j)=α×FFlat(i,j)+1 ・・・式(10)
Flat(i,j)=1/(1+F(i,j)) ・・・式(11)
In S401, the feature image generation unit 205 gives each pixel (i, j) of the normal image by giving the normal vector N (i, j) before smoothing to Expression (4) and Expression (5). The corresponding specular reflection component I Sr (i, j) is calculated. Further, the specular reflection component corresponding to each pixel (i, j) of the normal image is enhanced according to the equations (9) to (11) using the shape feature amount F (i, j) calculated in S302.
I ′ Sr (i, j) = I Sr (i, j) × F Emphasize (i, j) (9)
F Emphasize (i, j) = α × F Flat (i, j) +1 (10)
F Flat (i, j) = 1 / (1 + F (i, j)) (11)

ここで、式(10)のFEmphasize(i,j)は画素(i,j)に対する強調度合いでああり、式(11)のFFlat(i,j)は画素(i,j)における平面度合いである。また、α(>0)は強調度合いの高さの上限を規定するパラメータであり、入力I/F106を介したユーザ指示により取得してもよいし、予め定めた定数を用いてもよい。式(9)により得られた鏡面反射成分I’Sr(i,j)は、形状特徴量が小さい(表面形状が平面に近い)ほど元の鏡面反射成分ISr(i,j)よりも大きくなる。また、式(9)では平滑化前の法線ベクトルNを用いて算出した鏡面反射成分に強調度合いを乗算するため、法線方向の空間的な分布に基づく反射強度の変動ごと強調される。図6(a)、(b)に、それぞれ強調前の鏡面反射成分と強調後の鏡面反射成分の例を示す。直方体501の鏡面反射成分は、球体502よりもより強く強調される。得られた強調後の鏡面反射成分I’Sr(i,j)は、特徴画像の画素値として各画素に記録され、合成部207へ送られる。本実施形態では、S302において領域ごとに形状特徴量を算出することにより、少数の鋭いエッジを持ち、大部分が平面であるようなオブジェクト(例えば、階段状のオブジェクト)の平面部分について、エッジ部分の法線方向の変化に依らず、強調度合いを高めることができる。尚、S302で分割した領域間において強調度合いが急激に変化することにより不自然な画像とならないよう、近傍領域間において形状特徴量F(i,j)あるいは平面度合い又は強調度合いを平滑化してから鏡面反射成分を強調してもよい。平滑化処理については、上記と同様に、公知のフィルタ処理を用いる。 Here, F Emphasize (i, j) in Expression (10) is an enhancement degree for the pixel (i, j), and F Flat (i, j) in Expression (11) is a plane at the pixel (i, j). Degree. Α (> 0) is a parameter that defines an upper limit of the height of the enhancement degree, and may be acquired by a user instruction via the input I / F 106 or may be a predetermined constant. The specular reflection component I ′ Sr (i, j) obtained by the equation (9) is larger than the original specular reflection component I Sr (i, j) as the shape feature amount is smaller (the surface shape is closer to a plane). Become. Further, in Expression (9), the specular reflection component calculated using the normal vector N before smoothing is multiplied by the degree of enhancement, so that each variation in reflection intensity based on the spatial distribution in the normal direction is emphasized. FIGS. 6A and 6B show examples of the specular reflection component before enhancement and the specular reflection component after enhancement, respectively. The specular reflection component of the rectangular parallelepiped 501 is emphasized more strongly than the sphere 502. The obtained specular reflection component I ′ Sr (i, j) after enhancement is recorded in each pixel as the pixel value of the feature image and sent to the synthesis unit 207. In the present embodiment, by calculating the shape feature amount for each region in S302, an edge portion is obtained for a planar portion of an object (for example, a staircase-like object) having a small number of sharp edges and mostly planar. The degree of emphasis can be increased regardless of the change in the normal direction. It should be noted that the shape feature amount F (i, j) or the flatness degree or the enhancement degree is smoothed between the neighboring areas so that an unnatural image does not occur due to the abrupt change in the enhancement degree between the areas divided in S302. The specular reflection component may be emphasized. As for the smoothing process, a known filter process is used as described above.

S402において、ベース画像生成部206は、式(2)によってIDrを算出し、式(3)によってIArを算出する。式(2)のNには、平滑化前の法線ベクトルN(i,j)を用いる。さらに、S401で生成した特徴画像の各画素(i,j)に対応する鏡面反射成分以外の反射成分IDAr(i,j)を式(12)に従い算出する。鏡面反射成分以外の反射成分は、拡散反射成分の強度と環境光成分の強度との和である。
DAr(i,j)=IDr(i,j)+IAr(i,j)・・・式(12)
In S402, the base image generation unit 206 calculates the I Dr by equation (2), and calculates the I Ar by equation (3). A normal vector N (i, j) before smoothing is used for N in Equation (2). Further, a reflection component I DAr (i, j) other than the specular reflection component corresponding to each pixel (i, j) of the feature image generated in S401 is calculated according to the equation (12). The reflection component other than the specular reflection component is the sum of the intensity of the diffuse reflection component and the intensity of the ambient light component.
I DAr (i, j) = I Dr (i, j) + I Ar (i, j) (12)

図7に、鏡面反射成分以外の反射成分の例を示す。得られた鏡面反光成分以外の反射成分IDAr(i,j)は、ベース画像の画素値として各画素に記録され、合成部207へ送られる。 FIG. 7 shows an example of a reflection component other than the specular reflection component. The obtained reflection component I DAr (i, j) other than the specular reflection component is recorded in each pixel as the pixel value of the base image and sent to the synthesis unit 207.

S403において、合成部207は、S401で生成した特徴画像とS402で生成したベース画像とを式(13)に従い合成し、これを出力画像とする。
I′(i,j)=I′Sr(i,j)+IDAr(i,j)・・・式(13)
In step S403, the combining unit 207 combines the feature image generated in step S401 and the base image generated in step S402 according to the equation (13), and sets this as an output image.
I ′ (i, j) = I ′ Sr (i, j) + I DAr (i, j) (13)

図8(a)に、S401における強調処理を行わずにレンダリングした画像の例を示す。また、図8(b)に、本実施形態における出力画像の例を示す。図8(b)の出力画像では、図8(a)のレンダリング画像に比べ、平坦な面で構成される直方体501の光沢が強調されており、よりオブジェクトの質感が強調して表現された画像となる。出力画像の生成処理によって得られた出力画像を表す出力画像データは、出力I/F107を介して出力デバイス110へ出力される。あるいは、HDD104等の記憶装置に記録される。   FIG. 8A shows an example of an image rendered without performing the enhancement processing in S401. FIG. 8B shows an example of an output image in the present embodiment. In the output image of FIG. 8B, the gloss of the rectangular parallelepiped 501 configured with a flat surface is emphasized as compared with the rendered image of FIG. 8A, and the image expressed by enhancing the texture of the object. It becomes. Output image data representing the output image obtained by the output image generation processing is output to the output device 110 via the output I / F 107. Alternatively, it is recorded in a storage device such as the HDD 104.

以上で説明した本実施形態によれば、オブジェクト表面の形状を考慮して、当該オブジェクトの光沢を強調することができ、これによりオブジェクトの質感を知覚しやすい画像を容易に生成することが可能となる。   According to the present embodiment described above, it is possible to emphasize the gloss of the object in consideration of the shape of the object surface, thereby easily generating an image that easily perceives the texture of the object. Become.

<変形例>
尚、S302において、法線画像を分割した領域ごとに形状特徴量を算出したが、法線画像全体から(領域分割せずに)1つの形状特徴量を求めてもよい。また、法線画像を生成せずに、オブジェクト表面の法線ベクトルから直接そのばらつき(分散)を求めて形状特徴量としてもよい。また、法線ベクトルのばらつき以外にも、オブジェクト表面の曲率を形状特徴量としてもよい。
<Modification>
In S302, the shape feature amount is calculated for each region obtained by dividing the normal image. However, one shape feature amount may be obtained from the entire normal image (without dividing the region). Alternatively, the variation (dispersion) may be obtained directly from the normal vector on the object surface without generating a normal image and may be used as the shape feature amount. Besides the normal vector variation, the curvature of the object surface may be used as the shape feature amount.

また、S401の特徴画像の生成において、式(9)を用いて鏡面反射成分を強調する例を説明したが、形状特徴量に応じてガンマ曲線やS字曲線を設定し、これに基づくトーンカーブ補正を用いて鏡面反射成分を強調しても良い。   Further, in the generation of the feature image in S401, the example in which the specular reflection component is emphasized using Expression (9) has been described. However, a tone curve based on a gamma curve or an S-curve is set according to the shape feature amount. The specular reflection component may be enhanced using correction.

[実施形態2]
オブジェクト表面の法線方向は、面の向きによって定まる。また、拡散反射光や鏡面反射光の強度は、一般に式(2)や式(4)のような法線方向の関数でモデル化される。そのため、オブジェクトの表面形状の特徴は反射光にも現れる。例えば、オブジェクトの形状が平面であった場合、その法線方向は場所に依らず一定となり、面が様々な方向を向く複雑な形状の場合と比べて反射光の強度のばらつきが小さくなる。そこで、本実施形態では反射光の強度のばらつき度合いを形状特徴量として用いる。実施形態1と本実施形態とは、先述したS302における形状特徴量の算出方法が異なる。以下、実施形態1と異なる点を中心に簡潔に説明する。
[Embodiment 2]
The normal direction of the object surface is determined by the orientation of the surface. Moreover, generally the intensity | strength of diffuse reflection light and specular reflection light is modeled by the function of the normal direction like Formula (2) and Formula (4). Therefore, the feature of the surface shape of the object also appears in the reflected light. For example, when the shape of the object is a plane, the normal direction is constant regardless of the location, and the variation in the intensity of reflected light is smaller than in the case of a complicated shape with the surface facing various directions. Therefore, in the present embodiment, the degree of variation in the intensity of the reflected light is used as the shape feature amount. The first embodiment is different from the present embodiment in the shape feature amount calculation method in S302 described above. Hereinafter, the differences from the first embodiment will be mainly described.

まず、S301において取得したオブジェクトデータとレンダリングパラメータとに基づき、通常のレンダリングを行って基準画像を生成する。すなわち、オブジェクトを構成するメッシュのうちレンダリングの画角内に含まれるものに関して、その反射光の強度Iを式(1)に従い算出し、基準画像の画素値として記録する。   First, based on the object data and rendering parameters acquired in S301, normal rendering is performed to generate a reference image. In other words, the intensity I of the reflected light of a mesh included in the object included in the rendering angle of view is calculated according to Equation (1) and recorded as the pixel value of the reference image.

次に、S302において、基準画像の画素値I(i,j)を用いて反射光の強度のばらつき度合いを算出し、これを形状特徴量とする。本実施形態では、式(14)に示すI(i,j)の標準偏差σをばらつき度合いとして用いる。   Next, in S302, the degree of variation in the intensity of the reflected light is calculated using the pixel value I (i, j) of the reference image, and this is used as the shape feature amount. In the present embodiment, the standard deviation σ of I (i, j) shown in Expression (14) is used as the degree of variation.

ここで、Imgは基準画像全体を表しており、num(Img)は基準画像の画素数である。   Here, Img represents the entire reference image, and num (Img) is the number of pixels of the reference image.

最後にS303において、形状特徴量σに基づいて光沢の強調度合いを算出し、この度合いに従って光沢を強調した出力画像を生成する。具体的には、実施形態1における形状特徴量F(i,j)を本実施形態における形状特徴量σに置き換え、実施形態1と同様の処理を適用すればよい。このとき、式(10)により得られる強調度合いは、反射光を表す基準画像の画素値の変動が小さい場合に大きな値となる。   Finally, in S303, the degree of gloss enhancement is calculated based on the shape feature quantity σ, and an output image in which the gloss is enhanced according to this degree is generated. Specifically, the shape feature amount F (i, j) in the first embodiment is replaced with the shape feature amount σ in the present embodiment, and the same processing as in the first embodiment may be applied. At this time, the degree of enhancement obtained by Expression (10) becomes a large value when the variation in the pixel value of the reference image representing the reflected light is small.

以上で説明した実施形態2によれば、オブジェクトの反射光の強度に基づいて当該オブジェクトの形状を考慮し、当該オブジェクトの光沢を強調することができる。これによりオブジェクトの質感を知覚しやすい画像を容易に生成することが可能となる。   According to the second embodiment described above, the gloss of the object can be emphasized in consideration of the shape of the object based on the intensity of the reflected light of the object. This makes it possible to easily generate an image in which the texture of the object can be easily perceived.

なお、レンダリングの画角内に複数のオブジェクトが含まれる場合には、オブジェクトごとに対応する画像領域を抽出し、領域ごとに形状特徴量を算出してもよい。その場合、オブジェクトごとに異なる度合いで光沢を強調することができる。   If a plurality of objects are included in the rendering angle of view, an image area corresponding to each object may be extracted, and a shape feature amount may be calculated for each area. In that case, the gloss can be enhanced to a different degree for each object.

[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[Other Embodiments]
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

100 画像処理装置
201 第1取得部
202 第2取得部
203 算出部
204 生成部
100 Image Processing Device 201 First Acquisition Unit 202 Second Acquisition Unit 203 Calculation Unit 204 Generation Unit

Claims (11)

オブジェクト表面の形状を表す形状情報と前記オブジェクトの反射特性を表す反射特性情報とを取得する第1取得手段と、
前記オブジェクトを見る視点に関する視点情報と、前記オブジェクトに光を当てる光源に関する光源情報とを取得する第2取得手段と、
前記反射特性情報と前記視点情報と前記光源情報と前記形状情報とに基づいて、前記オブジェクトを表す画像データにおいて、前記形状の平面度合いが高いほど強調度合いを上げるように、前記オブジェクトの光の反射強度を強調する強調手段と、
前記強調手段によって前記光の反射強度が強調された前記オブジェクトを表す前記画像データを出力する出力手段と、
を有することを特徴とする画像処理装置。
First acquisition means for acquiring shape information representing the shape of the object surface and reflection characteristic information representing the reflection characteristic of the object;
Second acquisition means for acquiring viewpoint information relating to a viewpoint of viewing the object and light source information relating to a light source that applies light to the object;
Based on the reflection characteristic information, the viewpoint information, the light source information, and the shape information, in the image data representing the object, the reflection of the light of the object is increased so that the degree of enhancement increases as the flatness of the shape increases. Emphasis means to emphasize strength,
Output means for outputting the image data representing the object whose reflection intensity of the light is enhanced by the enhancement means;
An image processing apparatus comprising:
前記形状の平面度合いが高い場合とは、前記オブジェクト表面の法線の分散が小さい場合であることを特徴とする請求項1に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the case where the shape has a high degree of flatness is a case where dispersion of normals on the object surface is small. 前記形状の平面度合いが高い場合とは、前記反射特性情報と前記視点情報と前記光源情報と前記形状情報とに基づいて得られる、前記オブジェクトの光の反射強度の分散が小さい場合であることを特徴とする請求項1に記載の画像処理装置。   The case where the flatness degree of the shape is high is a case where dispersion of light reflection intensity of the object obtained based on the reflection characteristic information, the viewpoint information, the light source information, and the shape information is small. The image processing apparatus according to claim 1, wherein: 前記視点情報は、前記視点の位置及び、前記視点からの視線方向及び、前記視点から見る範囲であることを特徴とする請求項1乃至請求項3のいずれか一項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the viewpoint information includes a position of the viewpoint, a line-of-sight direction from the viewpoint, and a range viewed from the viewpoint. 前記光源情報は、前記光源の位置及び、前記光源からの光が向かう方向及び、前記光源が発する光の強度であることを特徴とする請求項1乃至請求項4のいずれか一項に記載の画像処理装置。   The said light source information is the position of the said light source, the direction where the light from the said light source goes, and the intensity | strength of the light which the said light source emits, The Claim 1 thru | or 4 characterized by the above-mentioned. Image processing device. 前記強調手段は、前記形状の平面度合いと比例の関係にある前記光の反射強度を強調するための前記強調度合いに基づいて、前記オブジェクトの光の反射強度を強調することを特徴とする請求項1乃至請求5のいずれか一項に記載の画像処理装置。   The enhancement means emphasizes the light reflection intensity of the object based on the enhancement degree for enhancing the reflection intensity of the light that is proportional to the plane degree of the shape. The image processing apparatus according to any one of claims 1 to 5. 前記強調手段は、前記オブジェクトの領域ごとに光の反射強度を強調することを特徴とする請求項1乃至請求項6のいずれか一項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the enhancement unit enhances the reflection intensity of light for each region of the object. 前記オブジェクトの近傍の領域間で前記強調度合いを平滑化する平滑化手段をさらに有し、
前記強調手段は、前記平滑化手段によって平滑化された前記強調度合いに基づいて、前記オブジェクトの領域ごとに光の反射強度を強調することを特徴とする請求項7に記載の画像処理装置。
Smoothing means for smoothing the degree of enhancement between regions near the object;
The image processing apparatus according to claim 7, wherein the enhancement unit enhances the reflection intensity of light for each region of the object based on the degree of enhancement smoothed by the smoothing unit.
前記強調手段は、前記形状の平面度合いに応じて設定されたガンマ曲線又はS字曲線に基づいたトーンカーブ補正によって、前記オブジェクトの光の反射強度を強調することを特徴とする請求項1乃至請求項8のいずれか一項に記載の画像処理装置。   2. The enhancement means emphasizes the reflection intensity of light of the object by tone curve correction based on a gamma curve or S-curve set according to the flatness of the shape. Item 9. The image processing device according to any one of Items 8 to 9. コンピュータを、請求項1乃至請求項9のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。   A program for causing a computer to function as each unit of the image processing apparatus according to any one of claims 1 to 9. オブジェクト表面の形状を表す形状情報と前記オブジェクトの反射特性を表す反射特性情報とを取得する第1取得ステップと、
前記オブジェクトを見る視点に関する視点情報と、前記オブジェクトに光を当てる光源に関する光源情報とを取得する第2取得ステップと、
前記反射特性情報と前記視点情報と前記光源情報と前記形状情報とに基づいて、前記オブジェクトを表す画像データにおいて、前記形状の平面度合いが高いほど強調度合いを上げるように、前記オブジェクトの光の反射強度を強調する強調ステップと、
前記強調ステップによって前記光の反射強度が強調された前記オブジェクトを表す前記画像データを出力する出力ステップと、
を有することを特徴とする画像処理方法。
A first acquisition step of acquiring shape information representing the shape of the object surface and reflection characteristic information representing the reflection characteristic of the object;
A second acquisition step of acquiring viewpoint information regarding a viewpoint of viewing the object and light source information regarding a light source that shines light on the object;
Based on the reflection characteristic information, the viewpoint information, the light source information, and the shape information, in the image data representing the object, the reflection of the light of the object is increased so that the degree of enhancement increases as the flatness of the shape increases. An emphasis step to emphasize intensity,
Outputting the image data representing the object in which the reflection intensity of the light is enhanced by the enhancement step;
An image processing method comprising:
JP2017167752A 2016-11-28 2017-08-31 Image processing equipment, image processing methods and programs Active JP7016646B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/818,560 US10565780B2 (en) 2016-11-28 2017-11-20 Image processing apparatus, image processing method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016229694 2016-11-28
JP2016229694 2016-11-28

Publications (2)

Publication Number Publication Date
JP2018092594A true JP2018092594A (en) 2018-06-14
JP7016646B2 JP7016646B2 (en) 2022-02-07

Family

ID=62565654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017167752A Active JP7016646B2 (en) 2016-11-28 2017-08-31 Image processing equipment, image processing methods and programs

Country Status (1)

Country Link
JP (1) JP7016646B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057372A (en) * 1998-08-10 2000-02-25 Taito Corp Image processor, image processing method and storage medium
JP2006031595A (en) * 2004-07-21 2006-02-02 Hiroshima Industrial Promotion Organization Image processing system
JP2015197744A (en) * 2014-03-31 2015-11-09 キヤノン株式会社 Information processing device, measurement system, information processing method, and program
US9769392B1 (en) * 2014-06-27 2017-09-19 Amazon Technologies, Inc. Imaging system for addressing specular reflection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057372A (en) * 1998-08-10 2000-02-25 Taito Corp Image processor, image processing method and storage medium
JP2006031595A (en) * 2004-07-21 2006-02-02 Hiroshima Industrial Promotion Organization Image processing system
JP2015197744A (en) * 2014-03-31 2015-11-09 キヤノン株式会社 Information processing device, measurement system, information processing method, and program
US9769392B1 (en) * 2014-06-27 2017-09-19 Amazon Technologies, Inc. Imaging system for addressing specular reflection

Also Published As

Publication number Publication date
JP7016646B2 (en) 2022-02-07

Similar Documents

Publication Publication Date Title
JP6493395B2 (en) Image processing apparatus and image processing method
JP5299173B2 (en) Image processing apparatus, image processing method, and program
JP7254324B2 (en) IMAGE GENERATING APPARATUS AND IMAGE GENERATING METHOD FOR GENERATING INSPECTION IMAGE FOR PERFORMANCE ADJUSTMENT OF IMAGE INSPECTION SYSTEM
US9202309B2 (en) Methods and apparatus for digital stereo drawing
TW201616449A (en) System and method for simplifying grids of point clouds
JP6073858B2 (en) Face position detection
US8576225B2 (en) Seamless fracture in a production pipeline
US11276202B2 (en) Moving image generation apparatus, moving image generation method, and non-transitory recording medium
KR20120104071A (en) 3d image visual effect processing method
US10902674B2 (en) Creating a geometric mesh from depth data using an index indentifying unique vectors
US20170148212A1 (en) Color-based dynamic sub-division to generate 3d mesh
KR20150054650A (en) Method for rendering image and Image outputting device thereof
US10565780B2 (en) Image processing apparatus, image processing method, and storage medium
US11107267B2 (en) Image generation apparatus, image generation method, and program
JP5526239B2 (en) Method, device, and computer-readable medium for generating digital pictures
US6967653B2 (en) Apparatus and method for semi-automatic classification of volume data
JP2014078799A (en) Image processing apparatus and image processing method
JP5937957B2 (en) Real-time global lighting rendering system
JP7016646B2 (en) Image processing equipment, image processing methods and programs
KR20170005033A (en) Techniques for reduced pixel shading
JP4764963B2 (en) Image processing device
JP2010039662A (en) Leather-shape data generation device, leather-shape data generation method and leather-shape data generation program
JP2014048896A (en) Distance information estimating apparatus
JP5865092B2 (en) Image processing apparatus, image processing method, and program
US20100141649A1 (en) Drawing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220126