JP2006275955A - Optical characteristic measuring apparatus and image processing system - Google Patents

Optical characteristic measuring apparatus and image processing system Download PDF

Info

Publication number
JP2006275955A
JP2006275955A JP2005099146A JP2005099146A JP2006275955A JP 2006275955 A JP2006275955 A JP 2006275955A JP 2005099146 A JP2005099146 A JP 2005099146A JP 2005099146 A JP2005099146 A JP 2005099146A JP 2006275955 A JP2006275955 A JP 2006275955A
Authority
JP
Japan
Prior art keywords
light
optical
camera
switching
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005099146A
Other languages
Japanese (ja)
Other versions
JP4806738B2 (en
Inventor
Hiroyuki Arai
Hideaki Haishi
Nagaaki Ooyama
Yoshiyuki Sakaguchi
Masaru Tsuchida
Masahiro Yamaguchi
勝 土田
嘉之 坂口
永昭 大山
雅浩 山口
啓之 新井
秀昭 羽石
Original Assignee
Digital Fashion Ltd
National Institute Of Information & Communication Technology
Ntt Data Corp
Tokyo Institute Of Technology
デジタルファッション株式会社
国立大学法人東京工業大学
株式会社エヌ・ティ・ティ・データ
独立行政法人情報通信研究機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digital Fashion Ltd, National Institute Of Information & Communication Technology, Ntt Data Corp, Tokyo Institute Of Technology, デジタルファッション株式会社, 国立大学法人東京工業大学, 株式会社エヌ・ティ・ティ・データ, 独立行政法人情報通信研究機構 filed Critical Digital Fashion Ltd
Priority to JP2005099146A priority Critical patent/JP4806738B2/en
Publication of JP2006275955A publication Critical patent/JP2006275955A/en
Application granted granted Critical
Publication of JP4806738B2 publication Critical patent/JP4806738B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an optical characteristic measuring apparatus and an image processing system capable of achieving a function such as BRDF corresponding to multi-band. <P>SOLUTION: The optical characteristic measuring apparatus is provided with a table 20 mounted rotatably to θ1 direction and θ2 direction, an irradiation section 40 for irradiating light to a sample S placed on the table 20, and a camera 50 for taking a photograph of the sample S. The irradiation section 40 is provided with a horizontal arm 41 mounted rotatably to the θ1 direction, an arch arm 43 mounted rotatably to θ3 direction, and a light source section 44 wherein two rotatable turrets having eight color filters respectively are arranged. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、物体の光学特性を測定する光学特性測定装置及び画像処理システムに関するものである。   The present invention relates to an optical property measuring apparatus and an image processing system for measuring optical properties of an object.

近年、実際の物体に限りなく近い色、光沢、及び質感を持つ映像を再現するために、4色以上のカラーフィルタを用いて撮影されたマルチバンド画像から被写体の色や反射率を推定する技術の研究が進められている。   In recent years, a technique for estimating the color and reflectance of a subject from a multiband image photographed using four or more color filters in order to reproduce an image having a color, gloss, and texture that is as close as possible to an actual object Research is underway.

一方、近年、コンピュータグラフィックスの世界では、反射特性等の物体の光学特性を計測し、計測結果を基に、双方向反射率分布関数(BRDF;Bi-directional Reflectance Distribution Function)や双方向テクスチャ関数(BTF;Bi-directional Texture Function)等の光学特性を示す関数を求め、求めた関数を用いてレンダリングする手法が知られている。この手法は、特に布等の光学異方性を有する物体をレンダリングする際に有効となることが知られている。そして、光学特性を計測してBRDFを求める手法として非特許文献1及び2が知られている。また、光学特性の計測によりBTFを求める手法として非特許文献3〜5が知られている。
G.Borshukov,"Measured BRDF in Film Production-Realistic Cloth Appearance for "The Matrix Reloaded",ACM SIGGRAPH2003 on Sketches and Applications,1-1(2003)(映画産業におけるBRDFの実測−"The Matrix Reloaded"のためのリアルな衣服の合成) 村上色彩技術研究所 http://www.mcrl.co.jp/keisoku/optics/optics02/optics-02.html#GP-200 K.J.Dana,B.van Ginneken,S.K.Nayar,J.J.Koenderink,"Reflectance and Texture of Real-Surface",Colombia University Technical Report,No.CUCS-048-96,1996(実物体の表面の反射率とテクスチャ) M.L.Koudelka,S.Magada,P.N.Belhumeur,and D.J.Kriegman,"Acquisition,Compression,and Synthesis of Bidirectional Texture Functions",Proc.of 3rd International Workshop on Texture Analysis and Synthesis(Texture 2003)(双方向テクスチャ関数の計測、圧縮、合成) Y.Yamaguchi,M.sekine,S.Yanagawa,"Bidirectional Texture Mapping for Realistic Cloth Rendering",ACM SIGGRAPH2003 on Sketches and Application(2003)(リアルなレンダリングのための双方向テクスチャマッピング)
On the other hand, in recent years, in the world of computer graphics, optical characteristics of objects such as reflection characteristics are measured, and based on the measurement results, a bi-directional reflectance distribution function (BRDF) and a bi-directional texture function are used. There is known a technique for obtaining a function indicating optical characteristics such as (BTF: Bi-directional Texture Function) and rendering using the obtained function. This technique is known to be particularly effective when rendering an object having optical anisotropy such as cloth. Non-Patent Documents 1 and 2 are known as techniques for measuring the optical characteristics and obtaining BRDF. Non-patent documents 3 to 5 are known as methods for obtaining BTF by measuring optical characteristics.
G. Borshukov, "Measured BRDF in Film Production-Realistic Cloth Appearance for" The Matrix Reloaded ", ACM SIGGRAPH2003 on Sketches and Applications, 1-1 (2003) (Measurement of BRDF in the Film Industry-" The Matrix Reloaded " Realistic clothing composition) Murakami Color Research Laboratory http://www.mcrl.co.jp/keisoku/optics/optics02/optics-02.html#GP-200 KJDana, B.van Ginneken, SKNayar, JJKoenderink, "Reflectance and Texture of Real-Surface", Colombia University Technical Report, No. CUCS-048-96, 1996 (Reflectance and texture of the surface of real objects) MLKoudelka, S. Magada, PNBelhumeur, and DJKriegman, "Acquisition, Compression, and Synthesis of Bidirectional Texture Functions", Proc. Of 3rd International Workshop on Texture Analysis and Synthesis (Texture 2003) ) Y. Yamaguchi, M. sekine, S. Yanagawa, "Bidirectional Texture Mapping for Realistic Cloth Rendering", ACM SIGGRAPH2003 on Sketches and Application (2003) (Bidirectional Texture Mapping for Realistic Rendering)

しかしながら、上記非特許文献はいずれも4色以上の色成分からなるマルチバンドに対応したBRDF或いはBTFを求めることがなされていない。   However, none of the above-mentioned non-patent documents obtains BRDF or BTF corresponding to a multiband composed of four or more color components.

本発明の目的は、マルチバンドに対応した光学特性を示す関数を得ることができる光学特性測定装置及び画像処理システムを提供することである。   An object of the present invention is to provide an optical characteristic measuring apparatus and an image processing system capable of obtaining a function indicating optical characteristics corresponding to multiband.

本発明による光学特性測定装置は、仮想3次元モデルをレンダリングする際に使用される光学特性を示す関数を得るために現物の物体の光学特性を測定する光学特性測定装置であって、物体が載置されるテーブルと、前記物体に対して照射する光の色を少なくとも4色の中からいずれかの色に切り替えると共に、前記物体に対する光の照射方向を切り替えて、前記物体に光を照射する照射手段と、前記テーブルに載置された物体を撮影する白黒カメラと、前記白黒カメラの物体に対する撮影方向を切り替える撮影方向切替手段とを備えることを特徴とする。   An optical characteristic measurement apparatus according to the present invention is an optical characteristic measurement apparatus that measures the optical characteristics of an actual object in order to obtain a function indicating the optical characteristics used when rendering a virtual three-dimensional model. The table is placed and the color of the light irradiated to the object is switched to at least one of the four colors, and the irradiation direction of the light to the object is switched to irradiate the object with light. Means, a monochrome camera for photographing the object placed on the table, and a photographing direction switching means for switching a photographing direction with respect to the object of the monochrome camera.

また、上記構成において、前記照射手段は、光源と、前記物体を中心とする天球面上で移動可能に配置され、前記光源から出力された光を前記物体に対して射出する射出部と、少なくとも4色のカラーフィルタを切り替えて、前記光源からの光を透過させて前記射出部に導く導光部と、前記射出部を前記天球面上の任意の位置に位置決めする位置決め手段とを備えることが好ましい。   Further, in the above configuration, the irradiating means is disposed so as to be movable on a celestial sphere centered on the object, and at least an emission unit that emits light output from the light source to the object, A light guide unit that switches four color filters to transmit light from the light source and guides the light to the emitting unit; and a positioning unit that positions the emitting unit at an arbitrary position on the celestial sphere. preferable.

また、上記構成において、前記導光部は、前記光源からの光を前記射出部へ導く光ファイバと、少なくとも4色のカラーフィルタが配列され、いずれかのカラーフィルタが前記光ファイバの光入力端に対して位置決めされるように、前記光源と前記光ファイバとの間に回転可能に配置された回転体とを備えることが好ましい。   In the above configuration, the light guide unit includes an optical fiber that guides light from the light source to the emission unit, and at least four color filters, and any one of the color filters is an optical input end of the optical fiber. It is preferable to provide a rotating body that is rotatably disposed between the light source and the optical fiber so as to be positioned with respect to the optical fiber.

また、上記構成において、前記回転体は2個存在し、前記光ファイバは、各回転体に対応する2個の枝ファイバと、各枝ファイバからの光を合波して前記射出部に導く幹ファイバとを備え、前記枝ファイバは対応する回転体が備えるカラーフィルタを透過した光を前記幹ファイバに導くことが好ましい。   Further, in the above configuration, there are two rotating bodies, and the optical fiber includes two branch fibers corresponding to each rotating body, and a trunk that multiplexes light from each branch fiber and guides the light to the emitting unit. Preferably, the branch fiber guides light transmitted through a color filter included in a corresponding rotating body to the trunk fiber.

また、上記構成において、前記照射手段は16色の色を切り替えることが好ましい。   In the above configuration, the irradiation unit preferably switches 16 colors.

また、上記構成において、前記位置決め手段は、前記テーブルの中心から水平方向に延設され、鉛直方向を第1の軸心として前記テーブルの中心に対して回転可能に取り付けられ水平アームと、先端側に前記射出部を備え、他端側が前記水平アームの先端側に取り付けられ、前記水平アームの長手方向を第2の軸心として回転可能に取り付けられたアーチ形状のアーチアームとを備えることが好ましい。   In the above configuration, the positioning means extends in the horizontal direction from the center of the table, and is attached to the horizontal arm so as to be rotatable with respect to the center of the table with the vertical direction as the first axis. And an arch-shaped arch arm attached to the front end side of the horizontal arm and rotatably attached with the longitudinal direction of the horizontal arm as a second axis. .

また、上記構成において、前記測定方向切替手段は、前記テーブルを、物体載置面に直交する方向を第3の軸心として所定角度回転させると共に、前記第3の軸心と直交する方向を第4の軸心として所定角度回転させることで、前記測定方向を切り替えることが好ましい。   Further, in the above configuration, the measurement direction switching unit rotates the table by a predetermined angle with a direction orthogonal to the object placement surface as a third axis, and a direction orthogonal to the third axis. It is preferable to switch the measurement direction by rotating the shaft 4 by a predetermined angle.

また、上記構成において、前記撮影方向切替手段は、前記テーブルを、物体載置面に直交する方向を第3の軸心として所定角度回転させると共に、前記第3の軸心と直交する方向を第4の軸心として所定角度回転させることで、前記撮影方向を切り替えることが好ましい。   In the above configuration, the photographing direction switching means rotates the table by a predetermined angle with a direction orthogonal to the object placement surface as a third axis, and a direction orthogonal to the third axis. It is preferable to switch the photographing direction by rotating it by a predetermined angle as the axis 4.

また、上記構成において、前記白黒カメラは、前記照射方向と前記撮影方向とで規定される測定条件が切り替えられる毎に物体を撮影し、前記白黒カメラにより、同一の測定条件において、色毎に撮影された物体の画像を対応付けることで少なくとも4つの色成分からなるテクスチャ画像を生成すると共に、生成したテクスチャ画像をその測定条件とを対応づけることで、物体の双方向テクスチャ関数を生成する関数生成手段を更に備えることが好ましい。   In the above configuration, the monochrome camera captures an object every time the measurement condition defined by the irradiation direction and the imaging direction is switched, and the monochrome camera captures an image for each color under the same measurement condition. Generating means for generating a texture image composed of at least four color components by associating the generated image of the object, and generating a bidirectional texture function of the object by associating the generated texture image with its measurement condition Is preferably further provided.

また、上記構成において、前記関数生成手段は、前記テクスチャ画像の代表値を算出し、算出した代表値をその測定条件と対応づけることで物体の双方向反射率分布関数を生成することが好ましい。   In the above configuration, it is preferable that the function generation unit generates a bidirectional reflectance distribution function of an object by calculating a representative value of the texture image and associating the calculated representative value with the measurement condition.

また、上記構成において、前記白黒カメラのカメラ特性を記憶するカメラ特性記憶手段と、前記照射手段により照射される光の照明光スペクトルを記憶するスペクトル記憶手段と、前記関数生成手段により生成された双方向反射率分布関数と前記カメラ特性と前記照明光スペクトルとを基に、物体の分光反射率を推定する推定手段とを更に備えることが好ましい。   Further, in the above-described configuration, both the camera characteristic storage means for storing the camera characteristics of the black and white camera, the spectrum storage means for storing the illumination light spectrum of the light irradiated by the irradiation means, and both generated by the function generation means It is preferable to further include estimation means for estimating the spectral reflectance of the object based on the directional reflectance distribution function, the camera characteristics, and the illumination light spectrum.

本発明による画像処理システムは、仮想3次元モデルをレンダリングする際に使用される光学特性を示す関数を得るために現物の物体の光学特性を測定する光学特性測定装置であって、物体が載置されるテーブルと、前記物体に対して照射する光の色を少なくとも2色の中からいずれかの色に切り替えると共に、前記物体に対する光の照射方向を切り替えて、前記物体に光を照射する照射手段と、前記テーブルに載置された物体を撮影するRGBカメラと、前記RGBカメラの物体に対する撮影方向を切り替える撮影方向切替手段とを備えることを特徴とする。   An image processing system according to the present invention is an optical characteristic measuring apparatus for measuring an optical characteristic of an actual object in order to obtain a function indicating the optical characteristic used when rendering a virtual three-dimensional model, and the object is placed And an irradiation means for irradiating the object with light by switching the color of light irradiating the object to one of at least two colors and switching the direction of light irradiation to the object And an RGB camera for photographing an object placed on the table, and photographing direction switching means for switching a photographing direction for the object of the RGB camera.

また、上記構成において、前記照射手段は、光源と、前記物体を中心とする天球面上で移動可能に配置され、前記光源から出力された光を前記物体に対して射出する射出部と、少なくとも2色のカラーフィルタを切り替えて、前記光源からの光を透過させて前記射出部に導く導光部と、前記射出部を前記天球面上の任意の位置に位置決めする位置決め手段とを備えることが好ましい。   Further, in the above configuration, the irradiating means is disposed so as to be movable on a celestial sphere centered on the object, and at least an emission unit that emits light output from the light source to the object, A light guide unit that switches two color filters to transmit light from the light source and guides the light to the emitting unit; and a positioning unit that positions the emitting unit at an arbitrary position on the celestial sphere. preferable.

また、上記構成において、前記導光部は、前記光源からの光を前記射出部へ導く光ファイバと、少なくとも2色のカラーフィルタが配列され、いずれかのカラーフィルタが前記光ファイバの光入力端に対して位置決めされるように、前記光源と前記光ファイバとの間に回転可能に配置された回転体とを備えることが好ましい。   In the above configuration, the light guide unit includes an optical fiber that guides light from the light source to the emission unit, and at least two color filters, and one of the color filters is an optical input end of the optical fiber. It is preferable to provide a rotating body that is rotatably disposed between the light source and the optical fiber so as to be positioned with respect to the optical fiber.

また、上記構成において、前記回転体は、R回転体、G回転体、及びB回転体の3個の回転体であり、前記R回転体は、前記RGBカメラの分光感度特性の赤の帯域内において、各々異なる波長成分を透過させる少なくとも2種類のカラーフィルタが配列され、前記G回転体は、前記RGBカメラの分光感度特性の緑の帯域内において、各々異なる波長成分を透過させる少なくとも2種類のカラーフィルタから構成され、前記B回転体は、前記RGBカメラの分光感度特性の青の帯域内において、各々異なる波長成分を透過させる少なくとも2種類のカラーフィルタから構成され、前記光ファイバは、各回転体に対応する3個の枝ファイバと、各枝ファイバからの光を合波して前記射出部に導く幹ファイバとを備え、前記枝ファイバは対応する回転体が備えるカラーフィルタを透過した光を前記幹ファイバに導くことが好ましい。   In the above configuration, the rotator is three rotators: an R rotator, a G rotator, and a B rotator, and the R rotator is within the red band of the spectral sensitivity characteristics of the RGB camera. In which at least two types of color filters that transmit different wavelength components are arranged, and the G rotating body transmits at least two types of different wavelength components within the green band of the spectral sensitivity characteristics of the RGB camera. The B rotator is composed of at least two types of color filters that transmit different wavelength components within the blue band of the spectral sensitivity characteristics of the RGB camera, and the optical fiber is configured to rotate each color. Three branch fibers corresponding to the body, and a trunk fiber that multiplexes the light from each branch fiber and guides it to the emission part, and the branch fibers correspond to each other Directing the light transmitted through the color filter rotating body provided on the stem fiber is preferred.

また、上記構成において、前記位置決め手段は、前記テーブルの中心から水平方向に延設され、鉛直方向を第1の軸心として前記テーブルの中心に対して回転可能に取り付けられ水平アームと、先端側に前記射出部を備え、他端側が前記水平アームの先端側に取り付けられ、前記水平アームの長手方向を第2の軸心として回転可能に取り付けられたアーチ形状のアーチアームとを備えることが好ましい。   In the above configuration, the positioning means extends in the horizontal direction from the center of the table, and is attached to the horizontal arm so as to be rotatable with respect to the center of the table with the vertical direction as the first axis. And an arch-shaped arch arm attached to the front end side of the horizontal arm and rotatably attached with the longitudinal direction of the horizontal arm as a second axis. .

また、上記構成において、前記撮影方向切替手段は、前記テーブルを、物体載置面に直交する方向を第3の軸心として所定角度回転させると共に、前記第3の軸心と直交する方向を第4の軸心として所定角度回転させることで、前記撮影方向を切り替えることが好ましい。   In the above configuration, the photographing direction switching means rotates the table by a predetermined angle with a direction orthogonal to the object placement surface as a third axis, and a direction orthogonal to the third axis. It is preferable to switch the photographing direction by rotating it by a predetermined angle as the axis 4.

また、上記構成において、前記RGBカメラは、前記照射方向と前記撮影方向とで規定される測定条件が切り替えられる毎に物体を撮影し、前記RGBカメラにより同一の測定条件下で撮影された色成分の異なる物体の画像を対応付けて少なくとも4つの色成分からなるテクスチャ画像を生成し、生成したテクスチャ画像をその測定条件と対応づけることで物体の双方向テクスチャ関数を生成する関数生成手段を更に備えることが好ましい。   In the above configuration, the RGB camera captures an object every time the measurement conditions defined by the irradiation direction and the imaging direction are switched, and the color components captured by the RGB camera under the same measurement conditions A function generating unit that generates a texture image composed of at least four color components by associating images of different objects with each other, and generates a bidirectional texture function of the object by associating the generated texture image with its measurement condition It is preferable.

また、上記構成において、前記関数生成手段は、前記テクスチャ画像の代表値を算出し、算出した代表値をその測定条件と対応づけることで物体の双方向反射率分布関数を生成することが好ましい。   In the above configuration, it is preferable that the function generation unit generates a bidirectional reflectance distribution function of an object by calculating a representative value of the texture image and associating the calculated representative value with the measurement condition.

本発明による光学特性測定装置は、仮想3次元モデルをレンダリングする際に使用される光学特性を示す関数を得るために現物の物体の光学特性を測定する光学特性測定装置であって、物体が載置されるテーブルと、前記物体に対して照射する光の色を少なくとも4色の中からいずれかの色に切り替えると共に、前記物体に対する光の照射方向を切り替えて、前記物体に光を照射する照射手段と、前記テーブルに載置された物体の蛍光特性と反射特性とを測定する分光輝度計と、前記分光輝度計の物体に対する測定方向を切り替える測定方向切替手段と、前記照射方向と前記撮影方向とで規定される測定条件が切り替えられる毎に、前記分光輝度計により測定された物体の蛍光特性と反射特性とを基に、蛍光特性を含む双方向反射率分布関数を生成する関数生成手段とを備えることを特徴とする。   An optical characteristic measurement apparatus according to the present invention is an optical characteristic measurement apparatus that measures the optical characteristics of an actual object in order to obtain a function indicating the optical characteristics used when rendering a virtual three-dimensional model. The table is placed and the color of the light irradiated to the object is switched to at least one of the four colors, and the irradiation direction of the light to the object is switched to irradiate the object with light. Means, a spectral luminance meter for measuring fluorescence characteristics and reflection characteristics of the object placed on the table, a measurement direction switching means for switching a measurement direction with respect to the object of the spectral luminance meter, the irradiation direction and the imaging direction The bi-directional reflectance distribution function including fluorescence characteristics based on the fluorescence characteristics and reflection characteristics of the object measured by the spectral luminance meter each time the measurement conditions defined by Characterized in that it comprises a product to function generating means.

また、上記構成において、前記RGBカメラのカメラ特性を記憶するカメラ特性記憶手段と、前記照射手段により照射される光の照明光スペクトルを記憶するスペクトル記憶手段と、前記関数生成手段により生成された双方向反射率分布関数と前記カメラ特性と前記照明光スペクトルとを基に、分光反射率を推定する推定手段とを更に備えることが好ましい。   Further, in the above configuration, both the camera characteristic storage means for storing the camera characteristics of the RGB camera, the spectrum storage means for storing the illumination light spectrum of the light irradiated by the irradiation means, and both generated by the function generation means It is preferable to further include estimation means for estimating the spectral reflectance based on the directional reflectance distribution function, the camera characteristics, and the illumination light spectrum.

本発明による光学特性測定装置は、仮想3次元モデルをレンダリングする際に使用される光学特性を示す関数を得るために現物の物体の光学特性を測定する光学特性測定装置であって、物体が載置されるテーブルと、前記物体に対して照射する光の色を少なくとも4色の中からいずれかの色に切り替えると共に、前記物体に対する光の照射方向を切り替えて、前記物体に光を照射する照射手段と、前記測定手段は、マルチスペクトルカメラであり、前記マルチスペクトルカメラの物体に対する測定方向を切り替える測定方向切替手段と、前記照射方向と前記撮影方向とで規定される測定条件が切り替えられる毎に、前記マルチスペクトルカメラにより測定された物体の蛍光特性と反射特性とを基に、蛍光特性を含む双方向反射率分布関数を生成する関数生成手段とを備えることを特徴とする。   An optical characteristic measurement apparatus according to the present invention is an optical characteristic measurement apparatus that measures the optical characteristics of an actual object in order to obtain a function indicating the optical characteristics used when rendering a virtual three-dimensional model. The table is placed and the color of the light irradiated to the object is switched to at least one of the four colors, and the irradiation direction of the light to the object is switched to irradiate the object with light. And the measurement means is a multispectral camera, each time the measurement conditions defined by the measurement direction switching means for switching the measurement direction with respect to the object of the multispectral camera and the irradiation direction and the imaging direction are switched. Based on the fluorescence characteristics and reflection characteristics of the object measured by the multispectral camera, a bidirectional reflectance distribution function including the fluorescence characteristics is generated. Characterized in that it comprises a function generating means for.

本発明による画像処理システムは、光学特性測定装置及び画像処理装置を備える画像処理システムであって、前記光学特性測定装置は、現物の物体が載置されるテーブルと、前記物体に対して照射する光の色を少なくとも4色の中からいずれかの色に切り替えると共に、前記物体に対する光の照射方向を切り替えて、前記物体に光を照射する照射手段と、前記テーブルに載置された物体を撮影する白黒カメラと、前記白黒カメラの物体に対する撮影方向を切り替える撮影方向切替手段と、前記照射方向と前記撮影方向とで規定される測定条件が切り替えられる毎に、同一の測定条件において、前記白黒カメラにより色毎に撮影された画像を対応付けて少なくとも4つの色成分からなるテクスチャ画像を生成する共に、生成したテクスチャ画像をその測定条件とを対応づけることで、物体の光学特性を示す関数を生成する関数生成手段とを備え、前記画像処理装置は、前記関数生成手段により生成された光学特性を示す関数を記憶する関数記憶手段と、仮想3次元空間内に予め生成された仮想3次元モデルを記憶するモデル記憶手段と、前記光学特性を示す関数を用いて前記仮想3次元モデルをレンダリングするレンダリング手段とを備えることを特徴とする。   An image processing system according to the present invention is an image processing system including an optical characteristic measuring device and an image processing device, and the optical characteristic measuring device irradiates the table on which an actual object is placed and the object. The light color is switched to at least one of four colors, and the irradiation direction of the light to the object is switched to irradiate the object with light, and the object placed on the table is photographed When the measurement conditions defined by the irradiation direction and the shooting direction are switched, the monochrome camera is switched under the same measurement condition each time the monochrome camera, the shooting direction switching means for switching the shooting direction with respect to the object of the monochrome camera are switched In addition to generating a texture image composed of at least four color components by associating images captured for each color with the generated texture image A function generating unit that generates a function indicating the optical characteristic of the object by associating the measurement condition, and the image processing apparatus stores a function indicating the optical characteristic generated by the function generating unit Storage means; model storage means for storing a virtual three-dimensional model generated in advance in the virtual three-dimensional space; and rendering means for rendering the virtual three-dimensional model using a function indicating the optical characteristics. Features.

また、上記構成において、前記レンダリング手段によりレンダリングされた仮想3次元モデルを表示する多原色表示装置を更に備えることが好ましい。   In the above configuration, it is preferable that the image forming apparatus further includes a multi-primary color display device that displays the virtual three-dimensional model rendered by the rendering unit.

本発明による画像処理システムは、光学特性測定装置及び画像処理装置を備える画像処理システムであって、前記光学特性測定装置は、現物の物体が載置されるテーブルと、前記物体に対して照射する光の色を少なくとも2色の中からいずれかの色に切り替えると共に、前記物体に対する光の照射方向を切り替えて、前記物体に光を照射する照射手段と、前記テーブルに載置された物体を撮影するRGBカメラと、前記RGBカメラの物体に対する撮影方向を切り替える撮影方向切替手段と、前記照射方向と前記撮影方向とで規定される測定条件が切り替えられる毎に、同一の測定条件において、前記RGBカメラにより撮影された色成分の異なる物体の画像を対応付けて少なくとも4つの色成分からなるテクスチャ画像を生成し、生成したテクスチャ画像をその測定条件とを対応づけることで物体の光学特性を示す関数を生成する関数生成手段とを備え、前記画像処理装置は、前記関数生成手段により生成された光学特性を示す関数を記憶する関数記憶手段と、仮想3次元空間内に予め生成された仮想3次元モデルを記憶するモデル記憶手段と、前記光学特性を示す関数を用いて前記仮想3次元モデルをレンダリングするレンダリング手段とを備えることを特徴とする。   An image processing system according to the present invention is an image processing system including an optical characteristic measuring device and an image processing device, and the optical characteristic measuring device irradiates the table on which an actual object is placed and the object. The light color is switched to one of at least two colors, and the irradiation direction of the light to the object is switched to irradiate the object with light, and the object placed on the table is photographed When the measurement conditions defined by the RGB camera, the shooting direction switching means for switching the shooting direction of the object of the RGB camera, and the irradiation direction and the shooting direction are switched, the RGB camera A texture image composed of at least four color components is generated by associating images of objects with different color components captured by Function generating means for generating a function indicating the optical characteristic of the object by associating the texture image with its measurement condition, and the image processing apparatus stores the function indicating the optical characteristic generated by the function generating means Function storage means, model storage means for storing a virtual three-dimensional model generated in advance in the virtual three-dimensional space, and rendering means for rendering the virtual three-dimensional model using the function indicating the optical characteristics. It is characterized by that.

また、上記構成において、前記レンダリング手段によりレンダリングされた仮想3次元モデルを表示する多原色表示装置を更に備えることが好ましい。   In the above configuration, it is preferable that the image forming apparatus further includes a multi-primary color display device that displays the virtual three-dimensional model rendered by the rendering unit.

請求項1記載の発明によれば、照射方向を順次切り替えてテーブルに載置された物体に対して少なくとも4色の光が順次切り替えられて照射されると共に、照射方向及び撮影方向によって規定される測定条件が順次切り替えられて白黒カメラにより物体の画像が撮影されているため、各測定条件に対して4つの色成分からなるテクスチャ画像を容易に得ることができる。そのため、特殊なカメラを用いなくとも、比較的安価な白黒カメラを用いて、マルチバンドの色成分を有する光学特性を示す関数を容易に得ることができる。   According to the first aspect of the present invention, at least four colors of light are sequentially switched and irradiated to an object placed on the table by sequentially switching the irradiation direction, and is defined by the irradiation direction and the photographing direction. Since the measurement conditions are sequentially switched and the image of the object is taken by the monochrome camera, a texture image composed of four color components can be easily obtained for each measurement condition. Therefore, a function indicating optical characteristics having multiband color components can be easily obtained using a relatively inexpensive black and white camera without using a special camera.

請求項2記載の発明によれば、物体を中心とする天球面上で移動可能に配置され、光源からの光を物体に射出する射出部を備えているため、光源自体を天球面上に移動可能に配置する場合に比べて、弱い力で照射方向を変更することができる。   According to the second aspect of the present invention, the light source itself is moved onto the celestial sphere because it is arranged so as to be movable on the celestial sphere centered on the object and has an emission part for emitting light from the light source to the object. The irradiation direction can be changed with a weak force as compared with the case where the arrangement is possible.

請求項3記載の発明によれば、少なくとも4色のカラーフィルタが配列された回転体を回転させ、カラーフィルタを光ファイバの入力端に位置決めすることで、物体に照射する光の色が切り替えられるため、かかる色の切り替えを簡便な操作により行うことができる。   According to the third aspect of the present invention, the color of the light irradiating the object can be switched by rotating the rotating body in which the color filters of at least four colors are arranged and positioning the color filter at the input end of the optical fiber. Therefore, such color switching can be performed by a simple operation.

請求項4記載の発明によれば、2個の回転体と各回転体に対応する枝ファイバ及び枝ファイバからの光を合波する幹ファイバにより光ファイバが構成されているため、2種類の光を合成して得られる色の光を物体に照射することができ、1回の撮影で2バンドの画像を得ることができる。   According to the fourth aspect of the present invention, since the optical fiber is constituted by two rotating bodies, branch fibers corresponding to the respective rotating bodies, and a trunk fiber that combines light from the branch fibers, two types of light It is possible to irradiate an object with light of a color obtained by combining the two, and a two-band image can be obtained by one photographing.

請求項5記載の発明によれば、特殊なカメラを用いなくとも、公知の白黒カメラを用いて16色のマルチバンドの色成分を有する光学特性を示す関数を得ることができる。   According to the fifth aspect of the present invention, it is possible to obtain a function indicating optical characteristics having 16 multiband color components using a known black and white camera without using a special camera.

請求項6記載の発明によれば、水平アームとアーチアームとを備えているため2つの自由度で光の照射方向を調節することができる。   According to the invention described in claim 6, since the horizontal arm and the arch arm are provided, the light irradiation direction can be adjusted with two degrees of freedom.

請求項7記載の発明によれば、テーブルが物体載置面に直交する方向を第3の軸心として回転され、第3の軸心に対して直交する方向を第4の軸心として回転されるため、2つの自由度で測定方向を調節することができる。   According to the seventh aspect of the present invention, the table is rotated with the direction orthogonal to the object placement surface as the third axis, and rotated with the direction orthogonal to the third axis as the fourth axis. Therefore, the measurement direction can be adjusted with two degrees of freedom.

請求項8記載の発明によれば、白黒カメラにより撮影された画像から、物体の双方向テクスチャ関数を自動的に生成することができる。   According to the eighth aspect of the present invention, a bidirectional texture function of an object can be automatically generated from an image taken by a black and white camera.

請求項9記載の発明によれば、白黒カメラにより撮影された画像から、物体の双方向反射率分布関数を自動的に生成することができる。   According to the ninth aspect of the present invention, a bidirectional reflectance distribution function of an object can be automatically generated from an image photographed by a monochrome camera.

請求項10記載の発明によれば、マルチバンドの双方向反射率分布関数を用いた分光反射率の高精度な推定結果を得ることができる。   According to the invention of claim 10, it is possible to obtain a highly accurate estimation result of the spectral reflectance using the multiband bidirectional reflectance distribution function.

請求項11記載の発明によれば、照射方向を順次切り替えてテーブルに載置された物体に対して少なくとも2色の光が順次切り替えられて照射されると共に、照射方向及び撮影方向によって規定される測定条件が順次切り替えられてRGBカメラにより物体の画像が撮影されているため、各測定条件に対して4つの色成分からなるテクスチャ画像を容易に得ることができる。そのため、特殊なカメラを用いなくとも、比較的安価なRGBカメラを用いて、マルチバンドの色成分を有する光学特性を示す関数を容易に得ることができる。   According to the invention of claim 11, at least two colors of light are sequentially switched and irradiated to the object placed on the table by sequentially switching the irradiation direction, and is defined by the irradiation direction and the photographing direction. Since the measurement conditions are sequentially switched and the image of the object is captured by the RGB camera, a texture image composed of four color components can be easily obtained for each measurement condition. Therefore, a function indicating optical characteristics having multiband color components can be easily obtained using a relatively inexpensive RGB camera without using a special camera.

請求項12記載の発明によれば、物体を中心とする天球面上で移動可能に配置され、光源からの光を物体に射出する射出部を備えているため、光源自体を天球面上に移動可能に配置する場合に比べて、弱い力で照射方向を変更することができる。   According to the twelfth aspect of the present invention, the light source itself is moved on the celestial sphere because the illuminating unit is provided so as to be movable on the celestial sphere centered on the object and emits light from the light source to the object. The irradiation direction can be changed with a weak force as compared with the case where the arrangement is possible.

請求項13記載の発明によれば、少なくとも2色のカラーフィルタが配列された回転体を回転させ、カラーフィルタを光ファイバの入力端に位置決めすることで、物体に照射する光の色が切り替えられるため、かかる色の切り替えを簡便な操作により行うことができる。   According to the thirteenth aspect of the present invention, the color of the light irradiating the object can be switched by rotating the rotating body in which at least two color filters are arranged and positioning the color filter at the input end of the optical fiber. Therefore, such color switching can be performed by a simple operation.

請求項14記載の発明によれば、1回の撮影で3バンドの画像を得ることができるため、撮影回数を少なくすることができる。また、R回転体〜B回転体は、各々、少なくとも2種類のカラーフィルタを備えているため、少なくとも6バンドの画像を得ることができる。   According to the fourteenth aspect of the present invention, since a three-band image can be obtained by one photographing, the number of photographing can be reduced. In addition, since each of the R rotating body to the B rotating body includes at least two types of color filters, an image of at least 6 bands can be obtained.

請求項15記載の発明によれば、水平アームとアーチアームとを備えているため2つの自由度で光の照射方向を調節することができる。   According to the invention described in claim 15, since the horizontal arm and the arch arm are provided, the light irradiation direction can be adjusted with two degrees of freedom.

請求項16記載の発明によれば、テーブルが物体載置面に直交する方向を第3の軸心として回転され、第3の軸心に対して直交する方向を第4の軸心として回転されるため、2つの自由度で測定方向を調節することができる。   According to the sixteenth aspect of the present invention, the table is rotated with the direction orthogonal to the object placement surface as the third axis, and rotated with the direction orthogonal to the third axis as the fourth axis. Therefore, the measurement direction can be adjusted with two degrees of freedom.

請求項17記載の発明によれば、RGBカメラにより撮影された画像から、物体の双方向テクスチャ関数を自動的に生成することができる。   According to the seventeenth aspect, a bidirectional texture function of an object can be automatically generated from an image photographed by an RGB camera.

請求項18記載の発明によれば、RGBカメラにより撮影された画像から、物体の双方向反射率分布関数を自動的に生成することができる。   According to the invention described in claim 18, the bidirectional reflectance distribution function of the object can be automatically generated from the image photographed by the RGB camera.

請求項19記載の発明によれば、マルチバンドの双方向反射率分布関数を用いた分光反射率の高精度な推定結果を得ることができる。   According to the nineteenth aspect of the invention, it is possible to obtain a highly accurate estimation result of the spectral reflectance using the multiband bidirectional reflectance distribution function.

請求項20記載の発明によれば、分光放射輝度計を用いて物体を測定しているため、物体の蛍光特性を含めた反射特性関数を求めることができる。   According to the twentieth aspect of the invention, since the object is measured using the spectral radiance meter, the reflection characteristic function including the fluorescence characteristic of the object can be obtained.

請求項21記載の発明によれば、マルチスペクトルカメラを用いて物体を測定しているため、物体の蛍光特性を含めた双方向反射率分布関数を精度よく求めることができる。   Since the object is measured using the multispectral camera, the bidirectional reflectance distribution function including the fluorescence characteristic of the object can be obtained with high accuracy.

請求項22、24記載の発明によれば、マルチバンドの光学特性を示す関数を用いたレンダリングを行い得る画像処理システムを提供することができる。   According to the inventions of claims 22 and 24, it is possible to provide an image processing system capable of performing rendering using a function indicating multiband optical characteristics.

請求項23、25記載の発明によれば、マルチバンドの光学特性を示す関数を用いてレンダリングされた画像が多原色表示装置により表示されるため、よりリアルなCG画像を表現することができる。   According to the twenty-third and twenty-fifth aspects of the present invention, since an image rendered using a function indicating multiband optical characteristics is displayed by the multi-primary color display device, a more realistic CG image can be expressed.

以下、図面を参照しつつ本発明の実施の形態による画像処理システムについて説明する。   Hereinafter, an image processing system according to an embodiment of the present invention will be described with reference to the drawings.

(実施の形態1)
図1(a)は、本発明の実施の形態1による画像処理システムの全体構成図を示し、(b)は光源部の詳細を示す図面である。本画像処理システムは、光学特性測定装置1及び画像処理装置2を備えている。光学特性測定装置1は、物質を撮影する撮影装置3及び撮影装置3を制御する制御装置4を備えている。
(Embodiment 1)
FIG. 1A shows an overall configuration diagram of an image processing system according to Embodiment 1 of the present invention, and FIG. 1B shows details of a light source unit. The image processing system includes an optical characteristic measuring device 1 and an image processing device 2. The optical characteristic measuring apparatus 1 includes an imaging device 3 that images a substance and a control device 4 that controls the imaging device 3.

撮影装置3は、ベース10と、ベース10の上側(+N方向)に配設されたテーブル20と、テーブル20の物質載置面の向きを切り替える切替部30と、テーブル20の上方から、物質に対して光を照射する照射部40と、試料を撮影するカメラ50と、ベース10の下方(−N方向)に配設された台座60と、装置全体を覆う暗箱70とを備えている。   The imaging apparatus 3 includes a base 10, a table 20 disposed on the upper side (+ N direction) of the base 10, a switching unit 30 that switches the orientation of the material placement surface of the table 20, and a substance from above the table 20. On the other hand, an irradiation unit 40 for irradiating light, a camera 50 for photographing a sample, a pedestal 60 disposed below (−N direction) the base 10, and a dark box 70 covering the entire apparatus are provided.

ベース10は、円盤形形状であり、その中心部からは円筒状のシャフト11が立設されている。テーブル20は、物質が載置される物質載置面を有する円盤状の部材である。切替部30、シャフト11に対してテーブル20を支持し、水平方向に長尺の支持板21を備えている。支持板21は、シャフト11の上端によって、中心部21aが軸支され、水平面上(U−V平面上)をθ1方向に回転可能に配設されている。シャフト11にはモータM1(図1では省略、参照)が内蔵され、支持板21は、このモータM1の駆動力を受け、θ1方向に回転され、位置決めされる。これにより、テーブル20は、シャフト11の長手方向を回転軸(軸心)Z1として、θ1方向に回転される。   The base 10 has a disk shape, and a cylindrical shaft 11 is erected from the center thereof. The table 20 is a disk-shaped member having a substance placement surface on which a substance is placed. The table 20 is supported with respect to the switching unit 30 and the shaft 11, and a long support plate 21 is provided in the horizontal direction. The support plate 21 is pivotally supported by the upper end of the shaft 11 and is disposed so as to be rotatable in the θ1 direction on a horizontal plane (U-V plane). The shaft 11 incorporates a motor M1 (not shown in FIG. 1), and the support plate 21 receives the driving force of the motor M1 and is rotated and positioned in the θ1 direction. As a result, the table 20 is rotated in the θ1 direction with the longitudinal direction of the shaft 11 as the rotation axis (axial center) Z1.

支持板21の一端側には、平板状の立設板22,23が立設されている。立設板22,23には、シャフト24が水平方向に貫通されている。シャフト24の一端には、テーブル20が接続され、他端には、モータM2が接続されている。モータM2は、例えばステッピングモータが採用されている。モータM2及びシャフト24は、カップリング(図略)を介して接続されている。シャフト24は、モータM2の駆動力により、θ2方向に回転され、位置決めされる。これにより、テーブル20は、切替部30に対し、シャフト24の長手方向を回転軸(軸心)Z2として、θ2方向に回転する。   On one end side of the support plate 21, plate-like standing plates 22 and 23 are erected. A shaft 24 penetrates the standing plates 22 and 23 in the horizontal direction. The table 20 is connected to one end of the shaft 24, and the motor M2 is connected to the other end. For example, a stepping motor is employed as the motor M2. The motor M2 and the shaft 24 are connected via a coupling (not shown). The shaft 24 is rotated and positioned in the θ2 direction by the driving force of the motor M2. Accordingly, the table 20 rotates in the θ2 direction with respect to the switching unit 30 with the longitudinal direction of the shaft 24 as the rotation axis (axial center) Z2.

照射部40は、一端にシャフト11が貫通された水平方向に長尺の水平アーム41と、水平アーム41の他端に鉛直方向(+N方向)に立設された連結板42と、連結板42の一端に回転軸Z3に対して回転可能に接続されたアーチアーム43と、暗箱70の外部に配設された光源部44と、アーチアーム43を回転させるモータM3と、光源部44とを備えている。   The irradiation unit 40 includes a horizontal arm 41 that is long in the horizontal direction through which the shaft 11 is penetrated at one end, a connecting plate 42 that is erected in the vertical direction (+ N direction) at the other end of the horizontal arm 41, and a connecting plate 42. An arch arm 43 rotatably connected to the rotation axis Z3 at one end thereof, a light source unit 44 disposed outside the dark box 70, a motor M3 for rotating the arch arm 43, and a light source unit 44. ing.

モータM3は、例えばステッピングモータが採用され、アーチアーム43を、回転軸Z3を中心としてθ3方向に回転させる。アーチアーム43は、長手方向を連結板42の長手方向と平行に位置決めしたとき、光軸L1が中心部21aを照射するアーチ形状を有している。また、アーチアーム43は、先端部に、射出口45が形成されている。シャフト11には、モータM4(図1では省略、図3参照)が内蔵され、水平アーム41は、このモータM4の駆動力を受け、θ1方向に回転され、位置決めされる。   For example, a stepping motor is employed as the motor M3, and the arch arm 43 is rotated in the θ3 direction about the rotation axis Z3. The arch arm 43 has an arch shape in which the optical axis L1 irradiates the central portion 21a when the longitudinal direction is positioned parallel to the longitudinal direction of the connecting plate 42. Further, the arch arm 43 has an injection port 45 formed at the tip. The shaft 11 incorporates a motor M4 (not shown in FIG. 1, refer to FIG. 3), and the horizontal arm 41 receives the driving force of the motor M4 and is rotated and positioned in the θ1 direction.

光源部44は、2個の光源441,442及び光源441,442(図略)を覆う箱443を備える。箱443の前面443aには、光源441,442の各々からの光を外部に射出する孔441a,442aが形成されている。光源441,442は、キセノン光源、メタルハライドランプ、発光ダイオード、又はレーザダイオード等が採用される。但し、キセノン光源は、可視域で連続した強度分布を持つため、光源441,442として好ましい。   The light source unit 44 includes a box 443 that covers two light sources 441 and 442 and light sources 441 and 442 (not shown). Holes 441a and 442a for emitting light from each of the light sources 441 and 442 to the outside are formed in the front surface 443a of the box 443. As the light sources 441 and 442, a xenon light source, a metal halide lamp, a light emitting diode, a laser diode, or the like is employed. However, a xenon light source is preferable as the light sources 441 and 442 because it has a continuous intensity distribution in the visible range.

前面443aには光源441,442に対応する回転ターレット(回転体)444,445が配設されている。回転ターレット444,445は、円盤状であり、外周に沿って各々8個の孔444a,445aが形成されている。回転ターレット444,445は、矢印符号で示すθ4,θ5方向に回転可能に前面443aに取り付けられている。そして、回転ターレット444,445はモータM5,M6(図3参照)からの駆動力を受け、θ4,θ5方向に回転され、位置決めされる。   Rotating turrets (rotating bodies) 444 and 445 corresponding to the light sources 441 and 442 are disposed on the front surface 443a. The rotating turrets 444 and 445 have a disk shape, and eight holes 444a and 445a are formed along the outer periphery. The rotating turrets 444 and 445 are attached to the front surface 443a so as to be rotatable in directions θ4 and θ5 indicated by arrow signs. The rotating turrets 444 and 445 receive driving force from the motors M5 and M6 (see FIG. 3), rotate in the θ4 and θ5 directions, and are positioned.

回転ターレット444,445の8個の孔444a,445aには各々異なる波長の光を透過するバンドパスフィルタ(カラーフィルタ)471〜4716が取り付けられている。図2は、バンドパスフィルタ471〜4716の分光透過率を示すグラフであり、横軸は波長(nm)、縦軸は透過率を示している。このグラフには16個の山状の曲線G1〜G16が記されている。曲線G1から曲線G16に向かうにつれて、各曲線はピークに対する波長が大きくなっている。そして、曲線G1〜曲線G16は、各々バンドパスフィルタ471〜4716の分光透過率を示している。なお、本実施の形態では回転ターレット444は、バンドパスフィルタ471〜478を備え、回転ターレット445は、バンドパスフィルタ479〜4716を備えていることにする。但し、これは、一例に過ぎず、バンドパスフィルタ471〜4716をいずれの回転ターレットに配列するかに関しては特に限定はない。なお、バンドパスフィルタ471〜4716を纏めて呼ぶ場合は、バンドパスフィルタに47の参照符号を付す。   Bandpass filters (color filters) 471 to 4716 that transmit light of different wavelengths are attached to the eight holes 444a and 445a of the rotating turrets 444 and 445, respectively. FIG. 2 is a graph showing the spectral transmittance of the bandpass filters 471 to 4716, in which the horizontal axis indicates the wavelength (nm) and the vertical axis indicates the transmittance. This graph has 16 mountain-shaped curves G1 to G16. As the curve G1 moves toward the curve G16, each curve has a larger wavelength with respect to the peak. Curves G1 to G16 indicate the spectral transmittances of the bandpass filters 471 to 4716, respectively. In the present embodiment, the rotating turret 444 includes bandpass filters 471 to 478, and the rotating turret 445 includes bandpass filters 479 to 4716. However, this is only an example, and there is no particular limitation as to which rotating turret the bandpass filters 471 to 4716 are arranged. When the bandpass filters 471 to 4716 are collectively called, the reference numeral 47 is attached to the bandpass filter.

光源部44と射出口45との間には、光ファイバ46が配設されている。光ファイバ46は、光源441,442からの光を受光する枝ファイバ462,463と、枝ファイバ462,463からの光を合波して射出口45に導く幹ファイバ461とを備えている。   An optical fiber 46 is disposed between the light source unit 44 and the emission port 45. The optical fiber 46 includes branch fibers 462 and 463 that receive light from the light sources 441 and 442, and a trunk fiber 461 that combines the light from the branch fibers 462 and 463 and guides the light to the exit 45.

枝ファイバ462,463は、各々の入力端が、前面443aの孔441a,442aに対向するように配設されている。   The branch fibers 462 and 463 are arranged so that the input ends thereof face the holes 441a and 442a of the front surface 443a.

幹ファイバ461の射出口45側の先端461aは、ファイバフォルダ48により、アーチアーム43と取り付けられている。先端461aの前方には、先端461aから水平方向に出力された光を90度反射させ、テーブル20側へと導く反射ミラー49が取り付けられている。   A distal end 461 a of the trunk fiber 461 on the exit port 45 side is attached to the arch arm 43 by a fiber folder 48. A reflection mirror 49 is attached in front of the tip 461a to reflect light output from the tip 461a in the horizontal direction by 90 degrees and guide it to the table 20 side.

従って、いずれかのバンドパスフィルタ47を孔441a,442aに対向するように位置決めすれば、位置決めされたバンドパスフィルタを透過する色の光が、光ファイバ46を介して射出口45から射出されるため、所望する色の光をテーブル20に載置される物体に対して照射することができる。なお、光源441,442を同時に点灯させてもよいし、一方を消灯させてもよい。同時に点灯させた場合は、回転ターレット444のバンドパスフィルタ47を透過する色の光と回転ターレット445のバンドパスフィルタ47を透過する色の光とを合成した色の光を、射出口45から射出させることができる。これにより、物質に対して照射する光の色の種類を増やすことができる。   Accordingly, if any one of the bandpass filters 47 is positioned so as to face the holes 441a and 442a, the light of the color transmitted through the positioned bandpass filter is emitted from the emission port 45 through the optical fiber 46. Therefore, it is possible to irradiate an object placed on the table 20 with light of a desired color. Note that the light sources 441 and 442 may be turned on simultaneously, or one of them may be turned off. When the lights are turned on at the same time, light of a color obtained by combining the light of the color transmitted through the band-pass filter 47 of the rotating turret 444 and the light of the color transmitted through the band-pass filter 47 of the rotating turret 445 is emitted from the emission port 45. Can be made. Thereby, the kind of color of the light irradiated with respect to a substance can be increased.

図1に示す暗箱70は、直方体状であり、側面には、テーブル20に載置された物体をカメラ50で撮影するための撮影孔71が形成されている。カメラ50は、白黒カメラであり、本実施の形態では浜松ホトニクス社製「ORCA ER−1384」を採用することができる。なお、暗箱70は、直方体状に限定されず、例えばドーム形状のように装置全体を覆うことができる形状であれば、どのような形状を有していてもよい。   The dark box 70 shown in FIG. 1 has a rectangular parallelepiped shape, and a shooting hole 71 for shooting an object placed on the table 20 with the camera 50 is formed on the side surface. The camera 50 is a black and white camera, and in this embodiment, “ORCA ER-1384” manufactured by Hamamatsu Photonics Co., Ltd. can be adopted. The dark box 70 is not limited to a rectangular parallelepiped shape, and may have any shape as long as the shape can cover the entire apparatus, for example, a dome shape.

図3は、図1に示す画像処理システムの電気的構成を示すブロック図である。撮影装置3は、図1に示すモータM1〜M6、及び光源441,442を備えている。制御装置4は、モータコントローラ401、モータドライバ402〜407、及び光源ドライバ408,409を備えている。   FIG. 3 is a block diagram showing an electrical configuration of the image processing system shown in FIG. The photographing apparatus 3 includes motors M1 to M6 and light sources 441 and 442 shown in FIG. The control device 4 includes a motor controller 401, motor drivers 402 to 407, and light source drivers 408 and 409.

モータドライバ402は、モータコントローラ401の制御の下、モータM1の駆動電流を生成し、テーブル20を図1に示すθ1方向に回転させる。モータドライバ403は、モータコントローラ401の制御の下、モータM2の駆動電流を生成し、テーブル20を図1に示すθ2方向に回転させる。モータドライバ404は、モータコントローラ401の制御の下、モータM3の駆動電流を生成し、アーチアーム43を図1に示すθ3方向に回転させる。モータドライバ405は、モータコントローラ401の制御の下、モータM4の駆動電流を生成し、水平アーム41を図1に示すθ1方向に回転させる。モータドライバ406は、モータコントローラ401の制御の下、モータM5の駆動電流を生成し、回転ターレット444を図1に示すθ4方向に回転させ、位置決めする。モータドライバ407は、モータコントローラ401の制御の下、モータM6の駆動電流を生成し、回転ターレット445を図1に示すθ5方向に回転させ、位置決めする。   The motor driver 402 generates a drive current for the motor M1 under the control of the motor controller 401, and rotates the table 20 in the θ1 direction shown in FIG. The motor driver 403 generates a drive current for the motor M2 under the control of the motor controller 401, and rotates the table 20 in the θ2 direction shown in FIG. The motor driver 404 generates a drive current for the motor M3 under the control of the motor controller 401, and rotates the arch arm 43 in the θ3 direction shown in FIG. The motor driver 405 generates a drive current for the motor M4 under the control of the motor controller 401, and rotates the horizontal arm 41 in the θ1 direction shown in FIG. The motor driver 406 generates a driving current for the motor M5 under the control of the motor controller 401, and rotates the rotating turret 444 in the θ4 direction shown in FIG. The motor driver 407 generates a driving current for the motor M6 under the control of the motor controller 401, and rotates the rotating turret 445 in the θ5 direction shown in FIG.

モータコントローラ401は、画像処理装置2から種々の制御信号を受信し、その信号に応じてモータドライバ402〜407を制御する。   The motor controller 401 receives various control signals from the image processing apparatus 2 and controls the motor drivers 402 to 407 according to the signals.

光源ドライバ408は、画像処理装置2からの制御信号を基に、駆動電流を生成し、光源441を点灯させる。光源ドライバ409は、画像処理装置2からの制御信号を基に、駆動電流を生成し、光源442を点灯させる。   The light source driver 408 generates a drive current based on the control signal from the image processing apparatus 2 and turns on the light source 441. The light source driver 409 generates a drive current based on the control signal from the image processing apparatus 2 and turns on the light source 442.

画像処理装置2は、CPU(中央演算処理装置)201、RAM(ランダムアクセスメモリ)202、ROM(リードオンリーメモリ)203、入力装置204、ビデオキャプチャボード205、表示装置206、記録媒体駆動装置207、外部記憶装置208及び入出力インターフェイス(I/F)209を備える通常のコンピュータから構成されている。   The image processing apparatus 2 includes a CPU (Central Processing Unit) 201, a RAM (Random Access Memory) 202, a ROM (Read Only Memory) 203, an input device 204, a video capture board 205, a display device 206, a recording medium driving device 207, It is composed of a normal computer having an external storage device 208 and an input / output interface (I / F) 209.

CPU201〜I/F209は、コントロールバス、アドレスバス及びデータバスからなるバスラインにより、種々のデータが相互に送受信可能に接続されている。ビデオキャプチャボード205は、カメラ50によって撮影された物体の画像を、例えば、IEEE1394規格のケーブルを介して取得する。   The CPUs 201 to I / F 209 are connected to each other through a bus line including a control bus, an address bus, and a data bus so that various data can be transmitted and received. The video capture board 205 acquires an image of an object photographed by the camera 50 via, for example, an IEEE 1394 standard cable.

入力装置204は、キーボード及びマウス等から構成されている。表示装置206は、多原色表示装置から構成される。なお、多原色表示装置に代えて、CRT(陰極線管)、プラズマディスプレイ又は液晶パネル等を採用してもよい。   The input device 204 includes a keyboard and a mouse. The display device 206 is composed of a multi-primary color display device. Note that a CRT (cathode ray tube), a plasma display, a liquid crystal panel, or the like may be employed instead of the multi-primary color display device.

記録媒体駆動装置207は、ハードディスクから構成され、オペレーティングシステム等のプログラムを記憶する。記録媒体駆動装置207は、フレキシブルディスク、CD−ROM及びDVD−ROM等の記録媒体からデータを読み込むとともに、記録媒体に対してデータ書き込みを行う装置である。   The recording medium driving device 207 is composed of a hard disk and stores a program such as an operating system. The recording medium driving device 207 is a device that reads data from a recording medium such as a flexible disk, a CD-ROM, and a DVD-ROM and writes data to the recording medium.

I/F209は、例えば、RS−232Cのシリアルインターフェイスであり、画像処理装置2をRS−232Cケーブルを介して制御装置4に接続させる。   The I / F 209 is, for example, an RS-232C serial interface, and connects the image processing apparatus 2 to the control apparatus 4 via an RS-232C cable.

図4(a)は、撮影装置3を簡略化して示した図面であり、図4(b)はテーブル20の部分の拡大模式図である。なお、図4において、テーブル20には物質として繊維からなる試料Sが載置されているものとする。FLは試料Sの繊維の方向(縦糸又は横糸方向)を示している。なお、試料Sは、回転軸Z2がV軸状にあるとき、繊維の方向FLがU軸と平行になるようにテーブル20に載置される。従って、角度αは、U軸に対するテーブル20のθ1方向の回転角度を示すと共に、U軸と繊維の方向FLとのなす角度を示す。図4(b)に示すように、角度βはテーブル20の法線ベクトルN1とN軸とのなす角度、すなわち、テーブル20のθ2方向に対する回転角度を示す。   FIG. 4A is a simplified view of the photographing apparatus 3, and FIG. 4B is an enlarged schematic diagram of a portion of the table 20. In FIG. 4, it is assumed that a sample S made of fiber as a substance is placed on the table 20. FL indicates the fiber direction (warp or weft direction) of the sample S. The sample S is placed on the table 20 so that the fiber direction FL is parallel to the U axis when the rotation axis Z2 is V-shaped. Accordingly, the angle α indicates the rotation angle of the table 20 in the θ1 direction with respect to the U axis, and also indicates the angle formed by the U axis and the fiber direction FL. As shown in FIG. 4B, the angle β indicates the angle formed between the normal vector N1 of the table 20 and the N axis, that is, the rotation angle of the table 20 with respect to the θ2 direction.

角度mは、アーチアーム43とU−V平面とのなす角度を示す。角度nはU軸と水平アーム41とのなす角度を示す。角度γは中心O及び射出口45を結ぶ線分R1のU−V平面への正射影R2と、線分R1とのなす角度を示す。角度δはU軸と正射影R2とのなす角度を示す。従って、角度γ及び角度δは、角度m及び角度nによって一意に決定される。   The angle m indicates an angle formed between the arch arm 43 and the U-V plane. An angle n indicates an angle formed between the U axis and the horizontal arm 41. The angle γ indicates an angle formed between the line segment R1 and the orthogonal projection R2 of the line segment R1 connecting the center O and the exit 45 to the U-V plane. The angle δ indicates an angle formed between the U axis and the orthogonal projection R2. Therefore, the angle γ and the angle δ are uniquely determined by the angle m and the angle n.

カメラ50の光軸はU軸上に設定されている。但し、カメラ50の光軸は、これに限定されず、N軸上に設定してもよいし、V軸上に設定してもよいし、いずれにせよ、天球面B1上の一点と、試料Sとを結ぶ直線上に光軸がくるようにカメラ50が設置されていればよい。なお、天球面B1は、説明の便宜のために設定したものであり、実際に存在するものではない。   The optical axis of the camera 50 is set on the U axis. However, the optical axis of the camera 50 is not limited to this, and may be set on the N axis or the V axis. In any case, one point on the celestial sphere B1 and the sample The camera 50 should just be installed so that an optical axis may be on the straight line which connects S. Note that the celestial sphere B1 is set for convenience of explanation, and does not actually exist.

図5及び図6は、本画像処理システムが、テーブル20に載置された物体としての布からなる試料Sを撮影するときの動作を示すフローチャートである。以下、図5及び図6を用いて、光学特性測定装置1の動作について説明する。   5 and 6 are flowcharts showing the operation of the image processing system when photographing the sample S made of a cloth as an object placed on the table 20. Hereinafter, the operation of the optical property measuring apparatus 1 will be described with reference to FIGS. 5 and 6.

ステップS1において、画像処理装置2は、バンドパスフィルタ471が光源部44の前面443aの孔441aに位置決めされるように回転ターレット444を回転させる。なお、本実施の形態では、画像処理装置2は、バンドパスフィルタ471〜478が、この順番で、孔441aに位置決めされるように、回転ターレット444を回転させた後、バンドパスフィルタ479〜4716が、この順番で孔442aに位置決めされるように、回転ターレット445を回転させるものとする。   In step S <b> 1, the image processing apparatus 2 rotates the rotary turret 444 so that the bandpass filter 471 is positioned in the hole 441 a of the front surface 443 a of the light source unit 44. In the present embodiment, the image processing apparatus 2 rotates the rotating turret 444 so that the bandpass filters 471 to 478 are positioned in the holes 441a in this order, and then the bandpass filters 479 to 4716. However, the rotating turret 445 is rotated so that the holes 442a are positioned in this order.

ステップS2において、画像処理装置2は、テーブル20のθ1方向に対する角度αを設定し、モータM1を駆動させ、テーブル20をθ1方向に回転させる。本実施の形態では、角度αは例えば5度ずつ増加される。   In step S2, the image processing apparatus 2 sets an angle α with respect to the θ1 direction of the table 20, drives the motor M1, and rotates the table 20 in the θ1 direction. In the present embodiment, the angle α is increased by 5 degrees, for example.

ステップS3において、画像処理装置2は、モータM2を駆動させ、テーブル20のθ2方向に対する角度βを設定し、テーブル20をθ2方向に回転させる。本実施の形態では、角度βは例えば15度ずつ増加される。   In step S3, the image processing apparatus 2 drives the motor M2, sets an angle β with respect to the θ2 direction of the table 20, and rotates the table 20 in the θ2 direction. In the present embodiment, the angle β is increased by, for example, 15 degrees.

ステップS4において、画像処理装置2は、モータM3を駆動させ、アーチアーム43のθ3方向に対する角度mを設定し、アーチアーム43をθ3方向に回転させる。本実施の形態では、角度mは例えば5度ずつ増加される。   In step S4, the image processing apparatus 2 drives the motor M3, sets the angle m with respect to the θ3 direction of the arch arm 43, and rotates the arch arm 43 in the θ3 direction. In the present embodiment, the angle m is increased by 5 degrees, for example.

ステップS5において、画像処理装置2は、モータM4を駆動させ、水平アーム41のθ1方向に対する角度nを設定し、水平アーム41をθ1方向に回転させる。本実施の形態では、角度nは例えば15度ずつ増加される。   In step S5, the image processing apparatus 2 drives the motor M4, sets an angle n with respect to the θ1 direction of the horizontal arm 41, and rotates the horizontal arm 41 in the θ1 direction. In the present embodiment, the angle n is increased by 15 degrees, for example.

ステップS6において、画像処理装置2は、光源441を所定光量で点灯させ、カメラ50にテーブル20に載置された試料Sを撮影させる。撮影が終了すると、光源441を消灯させる。なお、テーブル20が位置決めされる毎に光源441は点灯されているが、常時、光源441を点灯させてもよい。これにより、光源441の制御が簡略化される。   In step S <b> 6, the image processing apparatus 2 turns on the light source 441 with a predetermined light amount, and causes the camera 50 to photograph the sample S placed on the table 20. When shooting is finished, the light source 441 is turned off. Although the light source 441 is turned on every time the table 20 is positioned, the light source 441 may be turned on at all times. Thereby, control of the light source 441 is simplified.

ステップS7において、画像処理装置2は、カメラ50によって撮影された物体画像を取得し、撮影したときの角度α及び角度β(測定方向)と、角度m及び角度nに対応する角度γ及び角度δ(照射方向)とを対応付けてRAM202、或いは外部記憶装置208に記憶する。なお、請求項8で示す測定条件とは、角度α〜角度δによって規定される条件である。   In step S <b> 7, the image processing apparatus 2 acquires the object image captured by the camera 50, and the angle α and the angle β (measurement direction) when the image is captured, and the angle γ and the angle δ corresponding to the angle m and the angle n. (Irradiation direction) is associated and stored in the RAM 202 or the external storage device 208. Note that the measurement conditions shown in claim 8 are conditions defined by the angles α to δ.

ステップS8において、画像処理装置2は、角度δが最終角度に達しているか否かを判断し、最終角度に達している場合(ステップS8でYES)、角度δに初期値を設定する(ステップS9)。一方、角度δが最終角度に達していない場合(ステップS8でNO)、ステップS5に戻り、再度、角度δの設定を行う。なお、本実施の形態では、角度δは、初期値として0度が設定され、最終角度として360度が設定されており、0度から360度まで15度単位で順次設定されていく。また、角度δは図4(a)で示すU軸が基準とされ、左回りに増加するものとする。   In step S8, the image processing apparatus 2 determines whether or not the angle δ has reached the final angle. If the angle δ has reached the final angle (YES in step S8), an initial value is set for the angle δ (step S9). ). On the other hand, if the angle δ has not reached the final angle (NO in step S8), the process returns to step S5 and the angle δ is set again. In the present embodiment, the angle δ is set to 0 degrees as an initial value and 360 degrees as a final angle, and is sequentially set from 0 degrees to 360 degrees in units of 15 degrees. The angle δ is assumed to increase counterclockwise with the U axis shown in FIG. 4A as a reference.

ステップS10において、画像処理装置2は、角度γが最終角度に達しているか否を判定し、最終角度に達している場合(ステップS10でYES)、角度γを初期値に設定する(ステップS11)。一方、ステップS10において、角度γが最終角度に達していない場合(ステップS10でNO)、処理がステップS4に戻される。なお、本実施の形態では、角度γは、初期値として−90度が設定され、最終角度として90度が設定されており、−90度から90度まで5度単位で順次設定されていく。また、角度γは、線分R1がN軸上にあるときを0度とする。   In step S10, the image processing apparatus 2 determines whether or not the angle γ has reached the final angle. If the angle γ has reached the final angle (YES in step S10), the angle γ is set to an initial value (step S11). . On the other hand, if the angle γ has not reached the final angle in step S10 (NO in step S10), the process returns to step S4. In the present embodiment, the angle γ is set to −90 degrees as an initial value, 90 degrees is set as a final angle, and is sequentially set in units of 5 degrees from −90 degrees to 90 degrees. Further, the angle γ is set to 0 degrees when the line segment R1 is on the N axis.

ステップS12において、画像処理装置2は、角度βが最終角度に達しているか否かを判断し、最終角度に達している場合(ステップS12でYES)、角度βに初期値を設定する(ステップS13)。一方、角度βが最終角度に達していない場合(ステップS12でNO)、ステップS3に戻り、再度、角度βの設定を行う。なお、本実施の形態では、角度βは、初期値として−90度が設定され、最終角度として90度が設定されており、−90度から90度まで5度単位で順次設定されていく。また、角度βは図4(b)で示すN軸が基準とされ、右回りに増加するものとする。   In step S12, the image processing apparatus 2 determines whether or not the angle β has reached the final angle. If the angle β has reached the final angle (YES in step S12), an initial value is set for the angle β (step S13). ). On the other hand, if the angle β has not reached the final angle (NO in step S12), the process returns to step S3 and the angle β is set again. In the present embodiment, the angle β is set to −90 degrees as an initial value, 90 degrees is set as a final angle, and is sequentially set in units of 5 degrees from −90 degrees to 90 degrees. The angle β is assumed to increase clockwise with the N axis shown in FIG. 4B as a reference.

ステップS14において、画像処理装置2は、角度αが最終角度に達しているか否かを判断し、最終角度に達している場合(ステップS14でYES)、処理をステップS15に進める。一方、角度αが最終角度に達していない場合(ステップS14でNO)、ステップS2に戻り、再度、角度αの設定を行う。なお、本実施の形態では、角度αは、初期値として0度が設定され、最終角度として360度が設定されており、0度から360度まで15度単位で順次設定されていく。また、角度αは図4(a)で示すU軸が基準とされ、右回りに増加するものとする。   In step S14, the image processing apparatus 2 determines whether or not the angle α has reached the final angle. If the angle α has reached the final angle (YES in step S14), the process proceeds to step S15. On the other hand, if the angle α has not reached the final angle (NO in step S14), the process returns to step S2, and the angle α is set again. In the present embodiment, the angle α is set to 0 degrees as an initial value, 360 degrees is set as the final angle, and is sequentially set in units of 15 degrees from 0 degrees to 360 degrees. The angle α is assumed to increase clockwise with the U axis shown in FIG. 4A as a reference.

図7、図8、及び図9は、光学特性測定装置1により取得され、画像処理装置2により記憶されるデータのデータ構造を示した図面である。図7に示す第1のテーブルは、角度αが0〜360度の範囲において15度刻みで表した値が各行の項目とされ、角度βが−90度〜90度の範囲において5度刻みで表した値が各列の項目とされている。そして、第1のテーブルの各フィールドには、第2のテーブルを特定するためのインデックスが記憶されている。図7では、アルファベットTに各フィールドの行番号及び列番号を添え字としたものが、第2のテーブルを特定するためのインデックスとされている。例えば、インデックスT00は0行0列のフィールドに記憶されたインデックスであるため、添え字として「00」が記載されている。   7, 8, and 9 are diagrams illustrating a data structure of data acquired by the optical characteristic measurement apparatus 1 and stored by the image processing apparatus 2. In the first table shown in FIG. 7, the values expressed in increments of 15 degrees when the angle α is in the range of 0 to 360 degrees are set as items of each row, and the angles β are in increments of 5 degrees when the angle β is in the range of −90 degrees to 90 degrees. The represented value is an item in each column. In each field of the first table, an index for specifying the second table is stored. In FIG. 7, an index for specifying the second table is obtained by adding the row number and column number of each field to the alphabet T. For example, since index T00 is an index stored in the 0th row, 0th column field, “00” is described as a subscript.

図8に示す第2のテーブルは、複数のテーブルから構成され、各テーブルは、インデックスが付与されており、このインデックスは、第1のテーブルの各フィールドに記憶されたインデックスと対応づけられている。   The second table shown in FIG. 8 is composed of a plurality of tables. Each table is assigned an index, and this index is associated with an index stored in each field of the first table. .

第2のテーブルは、角度γが−90度〜90度の範囲において5度刻みで表した値が各列の項目とされ、角度δが0度〜360度の範囲において15度刻みで表した値が各行の項目とされている。第2のテーブルの各フィールドには、光学特性測定装置1により撮影されたデータが記憶されている。   In the second table, the values expressed in 5 degree increments in the range of the angle γ from −90 degrees to 90 degrees are set as items of each column, and the values expressed in 15 degree increments in the range of the angle δ from 0 degrees to 360 degrees. The value is an item on each line. In each field of the second table, data photographed by the optical characteristic measuring apparatus 1 is stored.

図9は、光学特性情報のデータ構造を示している。図9に示すように光学特性情報は、FI1〜FI16で示す合計16個のフィールドを備えている。フィールドFI1〜FI16の各々には、バンドパスフィルタ471〜4716を透過した光で試料Sを照射したときにカメラ50により撮影された試料Sの画像が記憶されている。   FIG. 9 shows the data structure of the optical characteristic information. As shown in FIG. 9, the optical characteristic information has a total of 16 fields indicated by FI1 to FI16. In each of the fields FI1 to FI16, an image of the sample S photographed by the camera 50 when the sample S is irradiated with light transmitted through the bandpass filters 471 to 4716 is stored.

例えば、図8に示す第2のデーブルにおいて、角度γが−90度、角度δが0度に対応するフィールドに格納されたデータは、角度αが0度、角度βが0度、角度γが−90度、角度δが0度のときにカメラ50により撮影された試料Sの画像が記憶されている。   For example, in the second table shown in FIG. 8, data stored in a field corresponding to an angle γ of −90 degrees and an angle δ of 0 degrees includes an angle α of 0 degrees, an angle β of 0 degrees, and an angle γ of An image of the sample S photographed by the camera 50 when -90 degrees and the angle δ are 0 degrees is stored.

なお、図7及び図8では、角度β及び角度γの刻み幅を5度毎に、角度α及び角度γの刻み幅を15度毎に設定しているが、これに限定されず、光学特性測定装置1の水平アーム41等の分解能に応じて、より細かな刻み幅にしてもよいし、より大きな刻み幅にしてもよいし、さらには、例えば、0〜45度の範囲では5度刻み、45度〜90度の範囲では、10度刻みというように角度範囲に応じて、刻み幅を適宜変更してもよい。   7 and 8, the step widths of the angle β and the angle γ are set every 5 degrees, and the step widths of the angle α and the angle γ are set every 15 degrees. However, the present invention is not limited to this. Depending on the resolution of the horizontal arm 41 or the like of the measuring apparatus 1, the step size may be finer, the step size may be larger, or, for example, in the range of 0 to 45 degrees in increments of 5 degrees. In the range of 45 degrees to 90 degrees, the step width may be appropriately changed according to the angle range, such as 10 degree increments.

図10は、画像処理装置2の機能ブロック図を示している。画像処理装置2は、記憶部100及びプログラム実行部500、及び表示部300を備えている。なお、記憶部100は、図3に示すRAM202、ROM203、及び外部記憶装置208から構成されている。プログラム実行部500は、図3に示すCPU201から構成されている。表示部300は図3に示す表示装置206から構成されている。   FIG. 10 shows a functional block diagram of the image processing apparatus 2. The image processing apparatus 2 includes a storage unit 100, a program execution unit 500, and a display unit 300. The storage unit 100 includes the RAM 202, the ROM 203, and the external storage device 208 shown in FIG. The program execution unit 500 includes the CPU 201 shown in FIG. The display unit 300 includes the display device 206 shown in FIG.

記憶部100は、画像記憶部101、関数記憶部102、モデル記憶部103を備えている。プログラム実行部500は、演算部201、レンダリング処理部502、及び撮影機構制御部503を備えている。これらの機能は、CPU201が外部記憶装置208に記憶されたオペレーティングシステム及び画像処理プログラムを実行することで実現される。   The storage unit 100 includes an image storage unit 101, a function storage unit 102, and a model storage unit 103. The program execution unit 500 includes a calculation unit 201, a rendering processing unit 502, and an imaging mechanism control unit 503. These functions are realized by the CPU 201 executing an operating system and an image processing program stored in the external storage device 208.

画像記憶部101は、図7に示す第1のテーブル、図8に示す第2のテーブルを記憶している。演算部201は、画像記憶部101に記憶されたデータを用いて、BTFを作成し、関数記憶部102に記憶させる。詳細には、第2のテーブルに記憶された16種類の各画像に対し、各画像の重心を中心として所定行×所定列の画素からなる画像を取り出し、取り出した画像を、対応する角度α〜角度δと対応付けてBTFを作成し、関数記憶部102に記憶させる。関数記憶部102は、演算部201により作成されたBTFを記憶する。これにより、16個の色成分を有するBTF、すなわち16バンドのBTFを作成することができる。   The image storage unit 101 stores a first table shown in FIG. 7 and a second table shown in FIG. The computing unit 201 creates a BTF using the data stored in the image storage unit 101 and stores the BTF in the function storage unit 102. Specifically, for each of the 16 types of images stored in the second table, an image composed of pixels in a predetermined row × predetermined column centered on the center of gravity of each image is extracted, and the extracted image is represented by a corresponding angle α˜. A BTF is created in association with the angle δ and stored in the function storage unit 102. The function storage unit 102 stores the BTF created by the calculation unit 201. As a result, a BTF having 16 color components, that is, a 16-band BTF can be created.

モデル記憶部103は、コンピュータ上に設定された仮想3次元空間内において予め作成された仮想3次元モデルの形状を特定するための種々のデータ、例えば、仮想3次元モデルの表面に設定された複数の3角形又は4角形等からなるポリゴンの各々の頂点の座標及び各頂点を結ぶ稜線等を記憶するとともに、仮想3次元空間内に設定された仮想光源、仮想カメラの座標を記憶する。仮想3次元空間は、それぞれ直交するN´、U´及びV´の3軸からなる座標系で表され、それぞれ、図1及び図4(a)(b)に示すN、U及びV軸に対応している。   The model storage unit 103 has various data for specifying the shape of a virtual 3D model created in advance in a virtual 3D space set on a computer, for example, a plurality of data set on the surface of the virtual 3D model The coordinates of the vertices of the polygons such as triangles or quadrangles, and the ridge lines connecting the vertices are stored, and the coordinates of the virtual light source and the virtual camera set in the virtual three-dimensional space are stored. The virtual three-dimensional space is represented by a coordinate system consisting of three orthogonal axes N ′, U ′, and V ′, respectively, and the N, U, and V axes shown in FIGS. 1 and 4A and 4B, respectively. It corresponds.

レンダリング処理部502は、関数記憶部102に記憶されたBTFを読み出し、3次元空間内に設定した仮想スクリーン上に仮想3次元モデルをレンダリングし、表示部300に表示させる。   The rendering processing unit 502 reads the BTF stored in the function storage unit 102, renders the virtual three-dimensional model on the virtual screen set in the three-dimensional space, and causes the display unit 300 to display the virtual three-dimensional model.

撮影機構制御部503は、モータコントローラ401に制御信号を出力することにより、テーブル20を、θ1及びθ2方向に対して、所定角度回転させて位置決めする。また、水平アーム41をθ1方向に対して、所定角度回転させて位置決めすると共に、アーチアーム43をθ3方向に対して、所定角度回転させて位置決めする。また、撮影機構制御部503は、光源441,442を所定タイミング、例えば、試料Sを撮影する直前に光源441,442のいずれかを点灯させ、撮影終了時に光源441,442を消灯させ、光源441,442の点灯制御を行う。表示部300は、表示装置206から構成されている。   The imaging mechanism control unit 503 outputs a control signal to the motor controller 401 to position the table 20 by rotating it by a predetermined angle with respect to the θ1 and θ2 directions. Further, the horizontal arm 41 is positioned by rotating a predetermined angle with respect to the θ1 direction, and the arch arm 43 is positioned by rotating a predetermined angle with respect to the θ3 direction. In addition, the imaging mechanism control unit 503 turns on the light sources 441 and 442 at a predetermined timing, for example, immediately before imaging the sample S, turns off the light sources 441 and 442 at the end of imaging, and turns off the light sources 441. , 442 is controlled. The display unit 300 includes a display device 206.

図11は、レンダリング処理部502の処理を示したフローチャートである。本フローチャートでは、仮想3次元モデルとして、図13に示す仮想人体モデルTOが着服するドレスDOを採用するとともに、試料SとしてドレスDOの生地を採用している。ステップS201において、レンダリング処理部502は、仮想3次元空間内に仮想スクリーンを設定する。ここで、仮想スクリーンは、仮想3次元空間内の仮想カメラVC及び仮想3次元モデル間の所定の位置に設定され、所定の解像度を有する矩形状の領域である。   FIG. 11 is a flowchart showing the processing of the rendering processing unit 502. In this flowchart, a dress DO worn by the virtual human body model TO shown in FIG. 13 is adopted as the virtual three-dimensional model, and a fabric of the dress DO is adopted as the sample S. In step S201, the rendering processing unit 502 sets a virtual screen in the virtual three-dimensional space. Here, the virtual screen is a rectangular area that is set at a predetermined position between the virtual camera VC and the virtual three-dimensional model in the virtual three-dimensional space and has a predetermined resolution.

ステップS202において、レンダリング処理部502は、仮想スクリーン上から1つの画素を抽出する。この場合、レンダリング処理部502は、例えば、仮想カメラVCの視線方向から見て仮想スクリーン上の一番左上に位置する画素を抽出する。   In step S202, the rendering processing unit 502 extracts one pixel from the virtual screen. In this case, for example, the rendering processing unit 502 extracts a pixel located at the upper left corner on the virtual screen when viewed from the line-of-sight direction of the virtual camera VC.

ステップS203において、仮想スクリーン上に設定した画素と、仮想カメラVCとを結ぶ直線上に仮想3次元モデルが存在するか否かを判定し、仮想3次元モデルが存在する場合(ステップS203でYES)、上記直線と仮想3次元モデルとの交点を注目点CP´として設定する(ステップS204)。一方、上記直線と仮想3次元モデルとの交点が存在しない場合(ステップS203でNO)、レンダリング処理部502は、仮想スクリーン上から次の画素を抽出する。この場合、レンダリング処理部502は、例えば右隣に隣接する画素を次の画素として順次抽出していき、1ライン分の全画素が抽出されると、この1ライン分の下の1ラインの一番左に位置する画素を次の画素として抽出する。   In step S203, it is determined whether or not a virtual three-dimensional model exists on a straight line connecting a pixel set on the virtual screen and the virtual camera VC. If a virtual three-dimensional model exists (YES in step S203). Then, the intersection of the straight line and the virtual three-dimensional model is set as the point of interest CP ′ (step S204). On the other hand, when there is no intersection between the straight line and the virtual three-dimensional model (NO in step S203), the rendering processing unit 502 extracts the next pixel from the virtual screen. In this case, for example, the rendering processing unit 502 sequentially extracts pixels adjacent to the right as the next pixel. When all the pixels for one line are extracted, one rendering line below the one line is extracted. The pixel located on the far left is extracted as the next pixel.

ステップS205において、レンダリング処理部502は、仮想3次元モデルの表面に設定した注目点CP´における角度α´〜δ´を算出する。   In step S205, the rendering processing unit 502 calculates angles α ′ to δ ′ at the point of interest CP ′ set on the surface of the virtual three-dimensional model.

図12は、角度α´〜δ´が算出される様子を説明するための図面である。法線ベクトルN1´は、ポリゴンPのポリゴン面PSに対する法線ベクトルを示し、図4(a)、(b)に示すN1に対応している。角度α´及び角度β´は、図4(a)及び(b)に示す角度α及び角度βに対応し、角度γ´及び角度δ´は、図4(a)に示す角度γ及び角度δに対応し、ポリゴンPのポリゴン面PSは、現物の試料Sの表面(すなわち、試料載置面)に対応している。   FIG. 12 is a diagram for explaining how the angles α ′ to δ ′ are calculated. The normal vector N1 ′ is a normal vector of the polygon P with respect to the polygon surface PS, and corresponds to N1 shown in FIGS. 4 (a) and 4 (b). The angles α ′ and β ′ correspond to the angles α and β shown in FIGS. 4A and 4B, and the angles γ ′ and δ ′ correspond to the angles γ and δ shown in FIG. The polygon surface PS of the polygon P corresponds to the surface of the actual sample S (that is, the sample placement surface).

VCは仮想カメラであり、VLは仮想光源である。仮想カメラVCの視線は、U´軸上であって、注目点CP´方向に設定されている。ベクトルLは、仮想光源VLと注目点CP´とを結ぶベクトルであり、ベクトルL1は、ベクトルLのU´−V´平面への正射影ベクトルであり、ベクトルFL´は、繊維の方向FLに対応し、ベクトルFLHは、ベクトルFL´のU´―V´平面への正射影ベクトルである。さらに、注目点CP´は、図4(a)に示す中心Oに対応し、U´,V´,N´軸は、それぞれ、図4(a)、(b)に示すU,V,N軸に対応している。   VC is a virtual camera, and VL is a virtual light source. The line of sight of the virtual camera VC is set on the U ′ axis and in the direction of interest CP ′. The vector L is a vector connecting the virtual light source VL and the target point CP ′, the vector L1 is an orthogonal projection vector of the vector L to the U′-V ′ plane, and the vector FL ′ is in the fiber direction FL. Correspondingly, the vector FLH is an orthogonal projection vector onto the U′-V ′ plane of the vector FL ′. Furthermore, the attention point CP ′ corresponds to the center O shown in FIG. 4A, and the U ′, V ′, and N ′ axes correspond to U, V, and N shown in FIGS. 4A and 4B, respectively. Corresponds to the axis.

レンダリング処理部502は、仮想3次元モデルの表面上に注目点CP´を設定し、注目点CP´を含むポリゴンPの各頂点P11、P12、P13の座標から、ポリゴン面PSに対する法線ベクトルN1´を算出し、仮想光源VLの座標及び注目点CP´の座標からベクトルLを算出する。そして、レンダリング処理部502は、ベクトルL及びベクトルL1間の角度γ´を算出し、ベクトルL1及びU´軸間の角度δ´を算出し、ベクトルFLH及びU´軸間の角度α´を算出し、法線ベクトルN1´及びN´軸間の角度β´を算出して、注目点CP´における角度α´〜δ´を算出する。   The rendering processing unit 502 sets a point of interest CP ′ on the surface of the virtual three-dimensional model, and based on the coordinates of the vertices P11, P12, and P13 of the polygon P including the point of interest CP ′, the normal vector N1 with respect to the polygon surface PS. 'Is calculated, and a vector L is calculated from the coordinates of the virtual light source VL and the coordinates of the point of interest CP'. The rendering processing unit 502 calculates an angle γ ′ between the vector L and the vector L1, calculates an angle δ ′ between the vector L1 and the U ′ axis, and calculates an angle α ′ between the vector FLH and the U ′ axis. Then, the angle β ′ between the normal vector N1 ′ and the N ′ axis is calculated, and the angles α ′ to δ ′ at the attention point CP ′ are calculated.

ステップS206において、レンダリング処理部502は、ステップS205で算出した角度α´〜δ´に対応するBTFの出力値が関数記憶部102に存在するか否かを判定し(ステップS206)、角度α´〜δ´に対応するBTFの出力値が関数記憶部102に存在する場合(ステップS206でYES)、存在するBTFの出力値を読み出し(ステップS207)、読み出したBTFの出力値と、ユーザによって指定された色とから、ステップS202又はステップS210で設定した仮想スクリーン上の画素のRGB値を算出する(ステップS208)。   In step S206, the rendering processing unit 502 determines whether the output value of the BTF corresponding to the angles α ′ to δ ′ calculated in step S205 exists in the function storage unit 102 (step S206), and the angle α ′. When the output value of BTF corresponding to ˜δ ′ is present in the function storage unit 102 (YES in step S206), the existing output value of BTF is read (step S207), and the read output value of BTF and designated by the user The RGB values of the pixels on the virtual screen set in step S202 or step S210 are calculated from the obtained colors (step S208).

一方、ステップS206において、レンダリング処理部502は、ステップS205で算出した角度α´〜δ´に対応するBTFの出力値が関数記憶部102に存在しないと判定した場合(ステップS206でNO)、算出した角度α´〜δ´に対応するBTFの出力値を、当該角度α´〜δ´に近い角度に対応するBTFの出力値を補間することにより算出し(ステップS209)、算出したシェーディング情報とユーザによって設定された色とから、ステップS202又はステップS210で設定した仮想スクリーン上の画素のRGB値を算出する。   On the other hand, if the rendering processing unit 502 determines in step S206 that the BTF output values corresponding to the angles α ′ to δ ′ calculated in step S205 do not exist in the function storage unit 102 (NO in step S206), the calculation is performed. The BTF output values corresponding to the angles α ′ to δ ′ are calculated by interpolating the BTF output values corresponding to the angles close to the angles α ′ to δ ′ (step S209), and the calculated shading information and From the color set by the user, the RGB value of the pixel on the virtual screen set in step S202 or step S210 is calculated.

ステップS210において、レンダリング処理部502は、仮想スクリーン上の全ての画素に対して画素データを設定したか否かを判定し、全ての画素に対しRGB値を算出している場合(ステップS210でYES)、ステップS211に処理を進める。   In step S210, the rendering processing unit 502 determines whether or not pixel data has been set for all the pixels on the virtual screen, and if the RGB value is calculated for all the pixels (YES in step S210). ), The process proceeds to step S211.

一方、ステップS210において、レンダリング処理部502は、仮想スクリーン上の全画素に対するRGB値の算出が終了していないと判定した場合(ステップS210でNO)、仮想スクリーン上から次の画素データを抽出し(ステップS211)、ステップS203に戻る。   On the other hand, if the rendering processing unit 502 determines in step S210 that the calculation of the RGB values for all the pixels on the virtual screen has not been completed (NO in step S210), the next pixel data is extracted from the virtual screen. (Step S211), the process returns to Step S203.

ステップS212において、レンダリング処理部502は、仮想スクリーン上にレンダリングされた仮想3次元モデルを表示部300に表示する。この場合、図13に示すような画像が表示される。レンダリング処理部502は、現物の試料を撮影することにより取得されたBTFを用いて、レンダリングを行っているため、布の光学異方性を高精度に再現することができる。そのため、図13に示すように、ドレスDOの先端部分や胸の部分のプリーツにシェーディングが美しく施された画像を得ることができる。   In step S212, the rendering processing unit 502 displays the virtual three-dimensional model rendered on the virtual screen on the display unit 300. In this case, an image as shown in FIG. 13 is displayed. Since the rendering processing unit 502 performs rendering using the BTF acquired by photographing the actual sample, the optical anisotropy of the cloth can be reproduced with high accuracy. Therefore, as shown in FIG. 13, it is possible to obtain an image in which shading is beautifully applied to the pleats of the tip portion and the chest portion of the dress DO.

以上説明したように、実施の形態1による画像処理システムによれば、バンドパスフィルタ471〜4716を切り替えて試料Sを撮影しているため、16バンドのBTFを得ることができる。   As described above, according to the image processing system according to the first embodiment, since the sample S is imaged by switching the bandpass filters 471 to 4716, a 16-band BTF can be obtained.

(実施の形態2)
実施の形態2による画像処理システムは、BTFに代えてBRDFを算出し、算出したBRDFを用いてレンダリング処理を行うことを特徴としている。図14は、実施の形態2による画像処理システムのブロック図を示している。
(Embodiment 2)
The image processing system according to the second embodiment is characterized in that BRDF is calculated instead of BTF, and rendering processing is performed using the calculated BRDF. FIG. 14 is a block diagram of an image processing system according to the second embodiment.

演算部201は、第2のテーブルのフィールドFI1〜FI16に記憶された各画像を構成する各画素の輝度の平均値を算出し、算出した平均値を対応する角度α〜角度δと対応付けてBRDFを作成し、関数記憶部102に記憶させる。これにより、16個の色成分を有するBRDF、すなわち16バンドのBRDFを作成することができる。   The calculation unit 201 calculates the average value of the luminance of each pixel constituting each image stored in the fields FI1 to FI16 of the second table, and associates the calculated average value with the corresponding angle α to angle δ. A BRDF is created and stored in the function storage unit 102. This makes it possible to create a BRDF having 16 color components, that is, a 16-band BRDF.

レンダリング処理部502は、関数記憶部102に記憶されたBRDFを用いて仮想3次元モデルをレンダリングする。   The rendering processing unit 502 renders the virtual three-dimensional model using the BRDF stored in the function storage unit 102.

カメラ特性記憶部104は、カメラ50のカメラ特性を記憶している。カメラ特性としてはカメラ50の分光感度、及びカメラ50のトーンカーブを用いることができる。図15(a)はカメラ50の分光感度を示したグラフであり、縦軸は感度を示し、横軸は波長を示している。図15(b)はカメラ50のトーンカーブを示したグラフであり、縦軸はカメラ50が出力する階調(0〜250)を示し、横軸はカメラ50が受光する光量(0〜0.1)を示している。   The camera characteristic storage unit 104 stores camera characteristics of the camera 50. As the camera characteristics, the spectral sensitivity of the camera 50 and the tone curve of the camera 50 can be used. FIG. 15A is a graph showing the spectral sensitivity of the camera 50, where the vertical axis shows the sensitivity and the horizontal axis shows the wavelength. FIG. 15B is a graph showing the tone curve of the camera 50, where the vertical axis indicates the gradation (0 to 250) output by the camera 50, and the horizontal axis indicates the amount of light received by the camera 50 (0 to 0. 1).

図14に示すスペクトル記憶部105は、光源441,442の照明光スペクトルを記憶している。図16は照明光スペクトルを示したグラフであり、縦軸は光量を示し、横軸は波長を示している。   The spectrum storage unit 105 illustrated in FIG. 14 stores the illumination light spectrum of the light sources 441 and 442. FIG. 16 is a graph showing an illumination light spectrum, where the vertical axis indicates the amount of light and the horizontal axis indicates the wavelength.

推定部504は、関数記憶部102に記憶されたBRDFとカメラ特性記憶部104に記憶されたカメラ特性とスペクトル記憶部105に記憶された照明光スペクトルとを用いて試料Sの分光反射率を推定する。なお、分光反射率の推定については公知であるため説明は省略する。   The estimation unit 504 estimates the spectral reflectance of the sample S using the BRDF stored in the function storage unit 102, the camera characteristics stored in the camera characteristic storage unit 104, and the illumination light spectrum stored in the spectrum storage unit 105. To do. The estimation of the spectral reflectance is well known and will not be described.

図17は、分光反射率の推定結果を示すグラフであり、細線は推定結果を示し、太線は分光計による分光反射率の実測値を示している。また、縦軸は反射率を示し、横軸は波長を示している。図17に示すように、16バンドのBRDFを用いて推定された分光反射率は、実測値とほぼ一致しており、極めて高精度な推定結果が得られていることが分かる。   FIG. 17 is a graph showing the estimation result of the spectral reflectance. The thin line indicates the estimation result, and the thick line indicates the actual measurement value of the spectral reflectance by the spectrometer. The vertical axis indicates the reflectance, and the horizontal axis indicates the wavelength. As shown in FIG. 17, it can be seen that the spectral reflectance estimated using 16-band BRDF almost coincides with the actual measurement value, and an extremely accurate estimation result is obtained.

図18は、試料Sとして赤のサテンを用いた場合に演算部201により算出されたBRDFを表した図面である。(a)は角度α〜角度δの配列を示し、(b)は(a)に示す正方形により角度α〜角度δを配列した場合における、BRDFの出力値を示している。   FIG. 18 is a diagram showing BRDF calculated by the calculation unit 201 when red satin is used as the sample S. (A) shows an array of angles α to δ, and (b) shows an output value of BRDF when the angles α to δ are arranged by the squares shown in (a).

(a)において正方形の左上の頂点が原点である。そして、(a)に示す正方形は16個の正方形により格子状に分割され、これらの正方形は更に16個に正方形により格子状に分割されている。大きい方の正方形内において、角度α及び角度δは一定の値が割り当てられている。そして、角度αは左側から右側に向けて順に、0,90,180,270度の値が割り当てられ、角度δは上側から下側に向けて順に、0,90,180,270度の値が割り当てられている。   In (a), the upper left vertex of the square is the origin. And the square shown to (a) is divided | segmented into the grid | lattice form by 16 squares, and these squares are further divided | segmented by 16 squares into the grid | lattice form. In the larger square, the angles α and δ are assigned constant values. The angle α is assigned values of 0, 90, 180, and 270 degrees in order from the left side to the right side, and the angle δ is assigned values of 0, 90, 180, and 270 degrees in order from the upper side to the lower side. Assigned.

また、小さい方の正方形内において、角度β及び角度δは一定の値が割り当てられている。そして、大きい方の正方形内において小さい方の正方形は、左側から右側に向けて順に、0,90/40、(90/4)・2,(90/4)・3度の値が割り当てられ、上側から下側に向けて順に、0,90/4、(90/4)・2,(90/4)・3度の値が割り当てられている。そして、このように配列された角度α〜角度δに対するBRDFの出力値を濃淡表示すると(b)に示す図が得られる。   In the smaller square, the angles β and δ are assigned constant values. The smaller square in the larger square is assigned values of 0, 90/40, (90/4) · 2, (90/4) · 3 degrees in order from the left to the right, In order from the upper side to the lower side, values of 0, 90/4, (90/4) · 2, (90/4) · 3 degrees are assigned. When the output values of BRDF with respect to the angles α to δ arranged in this way are displayed in shades, a diagram shown in (b) is obtained.

以上説明したように、実施の形態2による画像処理システムによれば、バンドパスフィルタ471〜4716を切り替えて試料Sを撮影しているため、16バンドのBRDFを得ることができる。更に、16バンドのBRDFから公知の手法を用いてフルスペクトルのBRDFを求めることも可能である。   As described above, according to the image processing system according to the second embodiment, since the sample S is photographed by switching the bandpass filters 471 to 4716, a 16-band BRDF can be obtained. Furthermore, it is also possible to obtain a full spectrum BRDF from a 16-band BRDF using a known method.

(実施の形態3)
実施の形態3による画像処理システムは、カメラ50に代えて分光放射輝度計を用いたことを特徴としている。なお、実施の形態3において、実施の形態1と同一のものは同一の符号を付し説明を省略する。
(Embodiment 3)
The image processing system according to the third embodiment is characterized in that a spectral radiance meter is used instead of the camera 50. In the third embodiment, the same components as those in the first embodiment are denoted by the same reference numerals and the description thereof is omitted.

本実施の形態では、分光放射輝度計はテーブル20に載置された試料Sの反射特性を測定する。従って、図9に示すフィールドFI1〜FI16には、分光放射輝度計により得られた試料Sの各色成分の反射特性の値が記憶される。そして、演算部201は、第2のテーブルの各フィールドに記憶された反射特性を対応する角度α〜δと対応づけて関数記憶部102に記憶させる。レンダリング処理部502は、関数記憶部102に記憶された角度α〜δに対応する反射特性を読み出して仮想3次元モデルをレンダリングする。   In the present embodiment, the spectral radiance meter measures the reflection characteristics of the sample S placed on the table 20. Accordingly, in the fields FI1 to FI16 shown in FIG. 9, values of the reflection characteristics of the respective color components of the sample S obtained by the spectral radiance meter are stored. Then, the calculation unit 201 stores the reflection characteristics stored in each field of the second table in the function storage unit 102 in association with the corresponding angles α to δ. The rendering processing unit 502 reads the reflection characteristics corresponding to the angles α to δ stored in the function storage unit 102 and renders the virtual three-dimensional model.

以上説明したように、実施の形態3による画像処理システムによれば、分光放射輝度計を用いて試料Sの反射特性が測定されるため、角度α〜角度δの4入力値に対し、16個の色成分からなる反射特性を出力する関数を得ることができる。   As described above, according to the image processing system according to the third embodiment, since the reflection characteristics of the sample S are measured using the spectral radiance meter, 16 pieces of the four input values of the angle α to the angle δ are obtained. It is possible to obtain a function that outputs a reflection characteristic composed of the color components.

(実施の形態4)
実施の形態4による画像処理システムは、カメラ50に代えて分光放射輝度計を採用し、反射特性のみならず、蛍光特性も測定させることを特徴としている。なお、実施の形態3において、実施の形態1と同一のものは同一の符号を付し説明を省略する。本実施の形態では、分光放射輝度計は試料Sの反射特性と蛍光特性とを測定する。従って、図9に示すフィールドFI1〜FI16には、分光放射輝度計により得られた試料Sの各色成分の反射特性と蛍光特性との値が記憶される。そして、演算部201は、第2のテーブルの各フィールドに記憶された反射特性と蛍光特性とに対応する角度α〜角度δと対応づけて関数記憶部102に記憶させる。レンダリング処理部502は、関数記憶部102に記憶された角度α〜δに対応する反射特性と蛍光特性とを読み出して仮想3次元モデルをレンダリングする。
(Embodiment 4)
The image processing system according to the fourth embodiment employs a spectral radiance meter instead of the camera 50, and is characterized by measuring not only the reflection characteristic but also the fluorescence characteristic. In the third embodiment, the same components as those in the first embodiment are denoted by the same reference numerals and the description thereof is omitted. In the present embodiment, the spectral radiance meter measures the reflection characteristics and fluorescence characteristics of the sample S. Accordingly, in the fields FI1 to FI16 shown in FIG. 9, values of the reflection characteristics and fluorescence characteristics of each color component of the sample S obtained by the spectral radiance meter are stored. Then, the calculation unit 201 stores the function storage unit 102 in association with the angles α to δ corresponding to the reflection characteristics and the fluorescence characteristics stored in each field of the second table. The rendering processing unit 502 reads the reflection characteristics and fluorescence characteristics corresponding to the angles α to δ stored in the function storage unit 102 and renders the virtual three-dimensional model.

以上説明したように、実施の形態4による画像処理システムによれば、分光放射輝度計を用いて試料Sの反射特性と蛍光特性とが測定されるため、角度α〜角度δの4入力値に対し、16個の色成分からなる反射特性と蛍光特性とを出力する関数を得ることができる。   As described above, according to the image processing system according to the fourth embodiment, since the reflection characteristic and the fluorescence characteristic of the sample S are measured using the spectral radiance meter, the four input values of the angle α to the angle δ are obtained. On the other hand, it is possible to obtain a function that outputs reflection characteristics and fluorescence characteristics composed of 16 color components.

(実施の形態5)
実施の形態5は、カメラ50に代えてマルチスペクトルカメラを用い、マルチスペクトルカメラにより試料Sの蛍光特性と反射特性とを測定させることを特徴としている。なお、実施の形態5において、実施の形態1と同一のものは同一の符号を付し説明を省略する。本実施の形態では、マルチスペクトルカメラは試料Sの反射特性と蛍光特性とを測定する。従って、図9に示すフィールドFI1〜FI16には、マルチスペクトルカメラにより得られた試料Sの各色成分の反射特性と蛍光特性との値が記憶される。
(Embodiment 5)
The fifth embodiment is characterized in that a multispectral camera is used instead of the camera 50 and the fluorescence characteristic and reflection characteristic of the sample S are measured by the multispectral camera. In the fifth embodiment, the same components as those in the first embodiment are denoted by the same reference numerals and description thereof is omitted. In the present embodiment, the multispectral camera measures the reflection characteristics and fluorescence characteristics of the sample S. Accordingly, the fields FI1 to FI16 shown in FIG. 9 store the values of the reflection characteristics and fluorescence characteristics of each color component of the sample S obtained by the multispectral camera.

演算部201は、第2のテーブルの各フィールドに記憶された反射特性と蛍光特性とに対応する角度α〜角度δと対応づけて関数記憶部102に記憶させる。レンダリング処理部502は、関数記憶部102に記憶された角度α〜δに対応する反射特性と蛍光特性とを読み出して仮想3次元モデルをレンダリングする。   The calculation unit 201 stores the information in the function storage unit 102 in association with the angles α to δ corresponding to the reflection characteristics and the fluorescence characteristics stored in each field of the second table. The rendering processing unit 502 reads the reflection characteristics and fluorescence characteristics corresponding to the angles α to δ stored in the function storage unit 102 and renders the virtual three-dimensional model.

以上説明したように、実施の形態5による画像処理システムによれば、マルチスペクトルカメラを用いて試料Sの反射特性と蛍光特性とが測定されるため、角度α〜角度δの4入力値に対し、16個の色成分からなる反射特性と蛍光特性とを出力する関数を得ることができる。   As described above, according to the image processing system according to the fifth embodiment, the reflection characteristic and the fluorescence characteristic of the sample S are measured using the multispectral camera. , A function that outputs reflection characteristics and fluorescence characteristics composed of 16 color components can be obtained.

(実施の形態6)
実施の形態6は、図1に示す光源部44の個数を3個にし、カメラ50としてRGBカメラを採用したことを特徴としている。図19は、実施の形態6による画像処理システムの光源部44を示した図面である。光源部44は、3個の光源部44R、44G、44Bを備えている。光源部44R〜44Bは各々図略の1個の光源及び1個の回転ターレット441R〜441Bを備えている。また、回転ターレット441R〜441Bは各々6個のカラーフィルタ(図略)を備えている。回転ターレット441Rが備える6個のカラーフィルタは、各々カメラ50の分光感度特性の赤の帯域であって、異なる波長成分を透過させる。回転ターレット441Gが備える6個のカラーフィルタは、各々カメラ50の分光感度特性の緑の帯域であって、異なる波長成分を透過させる。回転ターレット441Bが備える6個のカラーフィルタは、各々カメラ50の分光感度の青の帯域であって、異なる波長成分を透過させる。
(Embodiment 6)
The sixth embodiment is characterized in that the number of the light source sections 44 shown in FIG. 1 is three and an RGB camera is employed as the camera 50. FIG. 19 shows the light source unit 44 of the image processing system according to the sixth embodiment. The light source unit 44 includes three light source units 44R, 44G, and 44B. Each of the light source units 44R to 44B includes one light source (not shown) and one rotating turret 441R to 441B. Each of the rotating turrets 441R to 441B is provided with six color filters (not shown). The six color filters provided in the rotating turret 441R are red bands of the spectral sensitivity characteristics of the camera 50, and transmit different wavelength components. The six color filters included in the rotating turret 441G are each a green band of the spectral sensitivity characteristic of the camera 50 and transmit different wavelength components. The six color filters included in the rotating turret 441B are blue bands of the spectral sensitivity of the camera 50, and transmit different wavelength components.

図20は、光源部44R〜44Bのカラーフィルタとカメラ50の分光感度特性とを示したグラフであり、点線はカメラ50の分光感度特性を示し、実線は光源部44R〜44Bの分光感度特性を示している。図20において、横軸は波長を示しているため、点線において左に位置する山は分光感度特性の青の帯域を示し、中心に位置する山は分光感度特性の緑の帯域を示し、右に位置する山は分光感度特性の赤の帯域を示している。   FIG. 20 is a graph showing the color filters of the light source units 44R to 44B and the spectral sensitivity characteristics of the camera 50. The dotted line shows the spectral sensitivity characteristics of the camera 50, and the solid line shows the spectral sensitivity characteristics of the light source units 44R to 44B. Show. In FIG. 20, since the horizontal axis indicates the wavelength, the peak located on the left in the dotted line indicates the blue band of the spectral sensitivity characteristic, the peak positioned at the center indicates the green band of the spectral sensitivity characteristic, and on the right The located mountain indicates the red band of the spectral sensitivity characteristic.

光源部44R〜44Bにより(a)に示す分光感度特性を持つカラーフィルタが選択されると、カメラ50は、一度に3バンドのテクスチャ画像を撮影することができる。次に、光源44R〜44Bにより(b)に示す分光感度特性を持つカラーフィルタが選択されると、カメラ50は、(a)とは波長成分が異なる3バンドのテクスチャ画像を一度に撮影することができる。このようにして、光源部441R〜441Bのカラーフィルタを切り替えていくと、1度の撮影で3バンドの試料Sの画像を撮影することができるため、撮影回数を大幅に少なくすることができる。   When the color filter having the spectral sensitivity characteristic shown in (a) is selected by the light source units 44R to 44B, the camera 50 can capture a texture image of three bands at a time. Next, when a color filter having the spectral sensitivity characteristic shown in (b) is selected by the light sources 44R to 44B, the camera 50 captures a three-band texture image having a wavelength component different from that of (a) at a time. Can do. In this way, when the color filters of the light source units 441R to 441B are switched, an image of the three-band sample S can be taken by one photographing, so that the number of photographing can be greatly reduced.

(実施の形態7)
実施の形態7は、図20に示す光源部44の個数を1個にし、カメラ50としてRGBカメラを採用したことを特徴としている。図21は、実施の形態7による画像処理システムの光源部44を示した図面である。光源部44は、図略の1個の光源及び1個の回転ターレット44Aを備えている。また、回転ターレット44Aは2個のカラーフィルタ(図略)を備えている。回転ターレット441Aが備える2個のカラーフィルタのうち一方のカラーフィルタは、図22(a)の実線で示すような分光感度特性を有しており、他方のカラーフィルタは、図22(b)の実線で示すような分光感度特性を有している。なお、図22に示す点線は図21と同様、カメラ50の分光感度特性を示している。
(Embodiment 7)
The seventh embodiment is characterized in that the number of the light source sections 44 shown in FIG. 20 is one and an RGB camera is employed as the camera 50. FIG. 21 shows the light source unit 44 of the image processing system according to the seventh embodiment. The light source unit 44 includes one light source (not shown) and one rotating turret 44A. The rotating turret 44A includes two color filters (not shown). One of the two color filters included in the rotating turret 441A has a spectral sensitivity characteristic as indicated by a solid line in FIG. 22A, and the other color filter is in FIG. 22B. It has spectral sensitivity characteristics as shown by the solid line. The dotted line shown in FIG. 22 indicates the spectral sensitivity characteristic of the camera 50 as in FIG.

図22(a)に示す分光感度特性は、2個のパルスを有し、左側のパルスは、分光感度特性のBの帯域のピークの波長付近において立ち下がっている。また、右側のパルスは分光感度特性のGの帯域のピークの波長付近において立ち上がっており、分光感度特性のRの帯域のピークの波長付近において立ち下がっている。一方、(b)に示す分光感度特性は、(a)に対して、凹凸を反転させた形状を有している。   The spectral sensitivity characteristic shown in FIG. 22A has two pulses, and the left pulse falls in the vicinity of the peak wavelength in the B band of the spectral sensitivity characteristic. The right pulse rises near the peak wavelength of the G band of the spectral sensitivity characteristic, and falls near the peak wavelength of the R band of the spectral sensitivity characteristic. On the other hand, the spectral sensitivity characteristic shown in (b) has a shape in which the unevenness is inverted with respect to (a).

従って、図21に示す光源部44によれば2度の撮影により6バンドの試料Sの画像を得ることができる。その結果、6バンドのBRDFを生成することが可能となる。   Therefore, according to the light source unit 44 shown in FIG. 21, an image of the 6-band sample S can be obtained by two photographings. As a result, it is possible to generate a 6-band BRDF.

なお、実施の形態1〜7では、プログラム実行部500の各機能をCPUにより構成したが、これに限定されず、ASICなどのハードウェアにより構成し、ビデオカメラ等に搭載してもよい。また、実施の形態1〜5では、テーブル20をθ1及びθ2方向に対して回転可能にして測定方向を変更していたがこれに限定されず、カメラ50を天球面B1上に移動可能に配置することで測定方向を変更してもよい。   In the first to seventh embodiments, each function of the program execution unit 500 is configured by a CPU. However, the present invention is not limited to this, and may be configured by hardware such as an ASIC and mounted on a video camera or the like. In the first to fifth embodiments, the table 20 is rotatable with respect to the θ1 and θ2 directions to change the measurement direction. However, the present invention is not limited to this, and the camera 50 is arranged to be movable on the celestial sphere B1. By doing so, the measurement direction may be changed.

(a)は本発明による画像処理システムの全体構成図を示し、(b)は光源部の詳細を示す図面である。(A) is a diagram showing the overall configuration of an image processing system according to the present invention, and (b) is a drawing showing details of a light source unit. バンドパスフィルタの分光透過率を示すグラフであり、横軸は波長、縦軸は透過率を示している。It is a graph which shows the spectral transmittance of a band pass filter, a horizontal axis shows a wavelength and a vertical axis shows a transmittance. 図1に示す画像処理システムの電気的構成を示すブロック図である。FIG. 2 is a block diagram showing an electrical configuration of the image processing system shown in FIG. 1. (a)は、撮影装置を簡略化して示した図面であり、(b)はテーブルの拡大模式図である。(A) is drawing which simplified and showed the imaging device, (b) is an enlarged schematic diagram of a table. 本画像処理システムが、テーブルに載置された物体としての布からなる試料を撮影するときの動作を示すフローチャートである。It is a flowchart which shows operation | movement when this image processing system image | photographs the sample which consists of cloth as an object mounted on the table. 本画像処理システムが、テーブルに載置された物体としての布からなる試料を撮影するときの動作を示すフローチャートである。It is a flowchart which shows operation | movement when this image processing system image | photographs the sample which consists of cloth as an object mounted on the table. 光学特性測定装置により取得され、画像処理装置により記憶されるデータのデータ構造を示した図面である。It is drawing which showed the data structure of the data acquired by the optical characteristic measuring apparatus and memorize | stored by the image processing apparatus. 光学特性測定装置により取得され、画像処理装置により記憶されるデータのデータ構造を示した図面である。It is drawing which showed the data structure of the data acquired by the optical characteristic measuring apparatus and memorize | stored by the image processing apparatus. 光学特性測定装置により取得され、画像処理装置により記憶されるデータのデータ構造を示した図面である。It is drawing which showed the data structure of the data acquired by the optical characteristic measuring apparatus and memorize | stored by the image processing apparatus. 画像処理装置2の機能ブロック図を示している。2 shows a functional block diagram of the image processing apparatus 2. FIG. レンダリング処理部の処理を示したフローチャートである。It is the flowchart which showed the process of the rendering process part. 角度α´〜δ´が算出される様子を説明するための図面である。It is drawing for demonstrating a mode that angle (alpha) '-delta' is calculated. レンダリング結果を示す図面である。It is drawing which shows a rendering result. 実施の形態2により画像処理システムのブロック図を示している。FIG. 3 shows a block diagram of an image processing system according to a second embodiment. (a)はカメラの分光感度を示したグラフであり、(b)はカメラのトーンカーブを示したグラフである。(A) is a graph showing the spectral sensitivity of the camera, and (b) is a graph showing the tone curve of the camera. 照明光スペクトルを示したグラフであり、縦軸は光量を示し、横軸は波長を示している。It is the graph which showed the illumination light spectrum, the vertical axis | shaft has shown the light quantity, and the horizontal axis has shown the wavelength. 分光反射率の推定結果を示すグラフであり、細線は推定結果を示し、太線は分光計による分光反射率の実測値を示している。It is a graph which shows the estimation result of a spectral reflectance, a thin line shows an estimation result and the thick line has shown the measured value of the spectral reflectance by a spectrometer. 試料として赤のサテンを用いた場合に演算部により算出されたBRDFを表した図面である。(a)は角度α〜角度δの配列を示し、(b)は(a)に示す正方形により角度α〜角度δを配列した場合における、BRDFの出力値を示している。It is drawing which represented BRDF calculated by the calculating part when using red satin as a sample. (A) shows an array of angles α to δ, and (b) shows an output value of BRDF when the angles α to δ are arranged by the squares shown in (a). 実施の形態6による画像処理システムの光源部を示した図面である。10 is a diagram illustrating a light source unit of an image processing system according to a sixth embodiment. 光源部44R〜44Bのカラーフィルタとカメラの分光感度特性とを示したグラフであり、点線はカメラの分光感度特性を示し、実線は光源部44R〜44Bの分光感度特性を示している。It is the graph which showed the color filter of the light source parts 44R-44B, and the spectral sensitivity characteristic of a camera, a dotted line shows the spectral sensitivity characteristic of a camera, and the continuous line has shown the spectral sensitivity characteristic of the light source parts 44R-44B. 図21は、実施の形態7による画像処理システムの光源部44を示した図面である。FIG. 21 shows the light source unit 44 of the image processing system according to the seventh embodiment. 図21に示す光源部が備えるカラーフィルタの分光感度特性を示したグラフである。It is the graph which showed the spectral sensitivity characteristic of the color filter with which the light source part shown in FIG. 21 is provided.

符号の説明Explanation of symbols

1 光学特性測定装置
2 画像処理装置
3 撮影装置
4 制御装置
10 ベース
11 シャフト
20 テーブル
21a 中心部
21 支持板
22 23 立設板
24 シャフト
30 切替部
40 照射部
41 水平アーム
42 連結板
43 アーチアーム
44 光源部
45 射出口
46 光ファイバ
47 バンドパスフィルタ
48 ファイバフォルダ
49 反射ミラー
50 カメラ
60 台座
70 暗箱
71 撮影孔
100 記憶部
101 画像記憶部
102 関数記憶部
103 モデル記憶部
500 プログラム実行部
501 演算部
502 レンダリング処理部
503 撮影機構制御部
DESCRIPTION OF SYMBOLS 1 Optical characteristic measuring device 2 Image processing device 3 Image pick-up device 4 Control device 10 Base 11 Shaft 20 Table 21a Center part 21 Support plate 22 23 Standing plate 24 Shaft 30 Switching part 40 Irradiation part 41 Horizontal arm 42 Connection board 43 Arch arm 44 Light source unit 45 Outlet port 46 Optical fiber 47 Band pass filter 48 Fiber folder 49 Reflection mirror 50 Camera 60 Base 70 Dark box 71 Shooting hole 100 Storage unit 101 Image storage unit 102 Function storage unit 103 Model storage unit 500 Program execution unit 501 Calculation unit 502 Rendering processing unit 503 Imaging mechanism control unit

Claims (25)

  1. 仮想3次元モデルをレンダリングする際に使用される光学特性を示す関数を得るために現物の物体の光学特性を測定する光学特性測定装置であって、
    物体が載置されるテーブルと、
    前記物体に対して照射する光の色を少なくとも4色の中からいずれかの色に切り替えると共に、前記物体に対する光の照射方向を切り替えて、前記物体に光を照射する照射手段と、
    前記テーブルに載置された物体を撮影する白黒カメラと、
    前記白黒カメラの物体に対する撮影方向を切り替える撮影方向切替手段とを備えることを特徴とする光学特性測定装置。
    An optical property measuring device for measuring an optical property of an actual object to obtain a function indicating an optical property used in rendering a virtual three-dimensional model,
    A table on which an object is placed;
    An illumination unit that irradiates the object with light by switching a color of light emitted to the object to any one of at least four colors and switching an irradiation direction of the light with respect to the object;
    A black and white camera for photographing an object placed on the table;
    An optical characteristic measuring apparatus comprising: a photographing direction switching means for switching a photographing direction with respect to an object of the monochrome camera.
  2. 前記照射手段は、
    光源と、
    前記物体を中心とする天球面上で移動可能に配置され、前記光源から出力された光を前記物体に対して射出する射出部と、
    少なくとも4色のカラーフィルタを切り替えて、前記光源からの光を透過させて前記射出部に導く導光部と、
    前記射出部を前記天球面上の任意の位置に位置決めする位置決め手段とを備えることを特徴とする請求項1記載の光学特性測定装置。
    The irradiation means includes
    A light source;
    An emission unit that is arranged to be movable on a celestial sphere centered on the object, and that emits the light output from the light source to the object;
    A light guide unit that switches color filters of at least four colors, transmits light from the light source, and guides the light to the emission unit;
    2. The optical characteristic measuring apparatus according to claim 1, further comprising positioning means for positioning the emitting portion at an arbitrary position on the celestial sphere.
  3. 前記導光部は、
    前記光源からの光を前記射出部へ導く光ファイバと、
    少なくとも4色のカラーフィルタが配列され、いずれかのカラーフィルタが前記光ファイバの光入力端に対して位置決めされるように、前記光源と前記光ファイバとの間に回転可能に配置された回転体とを備えることを特徴とする請求項2記載の光学特性測定装置。
    The light guide is
    An optical fiber that guides light from the light source to the emitting portion;
    A rotating body that is arranged between the light source and the optical fiber so that at least four color filters are arranged and any one of the color filters is positioned with respect to the optical input end of the optical fiber. The optical characteristic measuring device according to claim 2, comprising:
  4. 前記回転体は2個存在し、
    前記光ファイバは、
    各回転体に対応する2個の枝ファイバと、
    各枝ファイバからの光を合波して前記射出部に導く幹ファイバとを備え、
    前記枝ファイバは対応する回転体が備えるカラーフィルタを透過した光を前記幹ファイバに導くことを特徴とする請求項3記載の光学特性測定装置。
    There are two rotating bodies,
    The optical fiber is
    Two branch fibers corresponding to each rotating body;
    A trunk fiber that multiplexes the light from each branch fiber and guides it to the emission part,
    4. The optical characteristic measuring apparatus according to claim 3, wherein the branch fiber guides light transmitted through a color filter included in a corresponding rotating body to the trunk fiber.
  5. 前記照射手段は16色の色を切り替えることを特徴とする請求項1〜4のいずれかに記載の光学特性測定装置。   The optical property measuring apparatus according to claim 1, wherein the irradiating unit switches 16 colors.
  6. 前記位置決め手段は、前記テーブルの中心から水平方向に延設され、鉛直方向を第1の軸心として前記テーブルの中心に対して回転可能に取り付けられ水平アームと、
    先端側に前記射出部を備え、他端側が前記水平アームの先端側に取り付けられ、前記水平アームの長手方向を第2の軸心として回転可能に取り付けられたアーチ形状のアーチアームとを備えることを特徴とする請求項2〜5のいずれかに記載の光学特性測定装置。
    The positioning means extends in the horizontal direction from the center of the table, and is mounted so as to be rotatable with respect to the center of the table with the vertical direction as the first axis.
    An arch-shaped arch arm that includes the ejection portion on the distal end, the other end is attached to the distal end of the horizontal arm, and is rotatably mounted with the longitudinal direction of the horizontal arm as a second axis. The optical property measuring apparatus according to claim 2, wherein:
  7. 前記撮影方向切替手段は、前記テーブルを、物体載置面に直交する方向を第3の軸心として所定角度回転させると共に、前記第3の軸心と直交する方向を第4の軸心として所定角度回転させることで、前記撮影方向を切り替えることを特徴とする請求項1〜6のいずれかに記載の光学特性測定装置。   The imaging direction switching means rotates the table at a predetermined angle with a direction orthogonal to the object placement surface as a third axis, and with a direction orthogonal to the third axis as a fourth axis. The optical characteristic measuring apparatus according to claim 1, wherein the photographing direction is switched by rotating the angle.
  8. 前記白黒カメラは、前記照射方向と前記撮影方向とで規定される測定条件が切り替えられる毎に物体を撮影し、
    前記白黒カメラにより、同一の測定条件において、色毎に撮影された物体の画像を対応付けることで少なくとも4つの色成分からなるテクスチャ画像を生成すると共に、生成したテクスチャ画像をその測定条件とを対応づけることで、物体の双方向テクスチャ関数を生成する関数生成手段を更に備えることを特徴とする請求項1〜7のいずれかに記載の光学測定測定装置。
    The black and white camera captures an object every time the measurement conditions defined by the irradiation direction and the imaging direction are switched,
    The monochrome camera generates a texture image composed of at least four color components by associating images of objects photographed for each color under the same measurement condition, and associates the generated texture image with the measurement condition. The optical measurement measurement device according to claim 1, further comprising a function generation unit that generates a bidirectional texture function of the object.
  9. 前記関数生成手段は、前記テクスチャ画像の代表値を算出し、算出した代表値をその測定条件と対応づけることで物体の双方向反射率分布関数を生成することを特徴とする請求項8記載の光学特性測定装置。   9. The function generating means generates a bidirectional reflectance distribution function of an object by calculating a representative value of the texture image and associating the calculated representative value with the measurement condition. Optical property measuring device.
  10. 前記白黒カメラのカメラ特性を記憶するカメラ特性記憶手段と、
    前記照射手段により照射される光の照明光スペクトルを記憶するスペクトル記憶手段と、
    前記関数生成手段により生成された双方向反射率分布関数と前記カメラ特性と前記照明光スペクトルとを基に、物体の分光反射率を推定する推定手段とを更に備えることを特徴とする請求項9記載の光学特性測定装置。
    Camera characteristic storage means for storing camera characteristics of the monochrome camera;
    Spectrum storage means for storing an illumination light spectrum of light irradiated by the irradiation means;
    10. The apparatus according to claim 9, further comprising: an estimation unit that estimates a spectral reflectance of an object based on a bidirectional reflectance distribution function generated by the function generation unit, the camera characteristics, and the illumination light spectrum. The optical characteristic measuring apparatus as described.
  11. 仮想3次元モデルをレンダリングする際に使用される光学特性を示す関数を得るために現物の物体の光学特性を測定する光学特性測定装置であって、
    物体が載置されるテーブルと、
    前記物体に対して照射する光の色を少なくとも2色の中からいずれかの色に切り替えると共に、前記物体に対する光の照射方向を切り替えて、前記物体に光を照射する照射手段と、
    前記テーブルに載置された物体を撮影するRGBカメラと、
    前記RGBカメラの物体に対する撮影方向を切り替える撮影方向切替手段とを備えることを特徴とする光学特性測定装置。
    An optical property measuring device for measuring an optical property of an actual object to obtain a function indicating an optical property used in rendering a virtual three-dimensional model,
    A table on which an object is placed;
    An illumination unit that irradiates the object with light by switching a color of light emitted to the object to any one of at least two colors, and switching an irradiation direction of the light with respect to the object;
    An RGB camera for photographing an object placed on the table;
    An optical characteristic measuring apparatus comprising: a photographing direction switching means for switching a photographing direction with respect to an object of the RGB camera.
  12. 前記照射手段は、
    光源と、
    前記物体を中心とする天球面上で移動可能に配置され、前記光源から出力された光を前記物体に対して射出する射出部と、
    少なくとも2色のカラーフィルタを切り替えて、前記光源からの光を透過させて前記射出部に導く導光部と、
    前記射出部を前記天球面上の任意の位置に位置決めする位置決め手段とを備えることを特徴とする請求項11記載の光学特性測定装置。
    The irradiation means includes
    A light source;
    An emission unit that is arranged to be movable on a celestial sphere centered on the object, and that emits the light output from the light source to the object;
    A light guide unit that switches color filters of at least two colors, transmits light from the light source, and guides the light to the emission unit;
    The optical characteristic measuring apparatus according to claim 11, further comprising positioning means for positioning the emitting portion at an arbitrary position on the celestial sphere.
  13. 前記導光部は、
    前記光源からの光を前記射出部へ導く光ファイバと、
    少なくとも2色のカラーフィルタが配列され、いずれかのカラーフィルタが前記光ファイバの光入力端に対して位置決めされるように、前記光源と前記光ファイバとの間に回転可能に配置された回転体とを備えることを特徴とする請求項12記載の光学特性測定装置。
    The light guide is
    An optical fiber that guides light from the light source to the emitting portion;
    A rotating body that is arranged between the light source and the optical fiber so that at least two color filters are arranged and any one of the color filters is positioned with respect to the light input end of the optical fiber. The optical characteristic measuring device according to claim 12, comprising:
  14. 前記回転体は、R回転体、G回転体、及びB回転体の3個の回転体であり、
    前記R回転体は、前記RGBカメラの分光感度特性の赤の帯域内において、各々異なる波長成分を透過させる少なくとも2種類のカラーフィルタが配列され、
    前記G回転体は、前記RGBカメラの分光感度特性の緑の帯域内において、各々異なる波長成分を透過させる少なくとも2種類のカラーフィルタから構成され、
    前記B回転体は、前記RGBカメラの分光感度特性の青の帯域内において、各々異なる波長成分を透過させる少なくとも2種類のカラーフィルタから構成され、
    前記光ファイバは、
    各回転体に対応する3個の枝ファイバと、
    各枝ファイバからの光を合波して前記射出部に導く幹ファイバとを備え、
    前記枝ファイバは対応する回転体が備えるカラーフィルタを透過した光を前記幹ファイバに導くことを特徴とする請求項13記載の光学特性測定装置。
    The rotating body is three rotating bodies of an R rotating body, a G rotating body, and a B rotating body,
    In the R rotating body, at least two kinds of color filters that transmit different wavelength components are arranged in the red band of the spectral sensitivity characteristics of the RGB camera,
    The G rotator is composed of at least two types of color filters that transmit different wavelength components in the green band of the spectral sensitivity characteristics of the RGB camera,
    The B rotating body is composed of at least two kinds of color filters that transmit different wavelength components in the blue band of the spectral sensitivity characteristics of the RGB camera,
    The optical fiber is
    Three branch fibers corresponding to each rotating body;
    A trunk fiber that multiplexes the light from each branch fiber and guides it to the emission part,
    The optical characteristic measurement apparatus according to claim 13, wherein the branch fiber guides light transmitted through a color filter included in a corresponding rotating body to the trunk fiber.
  15. 前記位置決め手段は、前記テーブルの中心から水平方向に延設され、鉛直方向を第1の軸心として前記テーブルの中心に対して回転可能に取り付けられ水平アームと、
    先端側に前記射出部を備え、他端側が前記水平アームの先端側に取り付けられ、前記水平アームの長手方向を第2の軸心として回転可能に取り付けられたアーチ形状のアーチアームとを備えることを特徴とする請求項12〜14のいずれかに記載の光学特性測定装置。
    The positioning means extends in the horizontal direction from the center of the table, and is mounted so as to be rotatable with respect to the center of the table with the vertical direction as the first axis.
    An arch-shaped arch arm that includes the ejection portion on the distal end, the other end is attached to the distal end of the horizontal arm, and is rotatably mounted with the longitudinal direction of the horizontal arm as a second axis. The optical characteristic measuring apparatus according to claim 12, wherein
  16. 前記撮影方向切替手段は、前記テーブルを、物体載置面に直交する方向を第3の軸心として所定角度回転させると共に、前記第3の軸心と直交する方向を第4の軸心として所定角度回転させることで、前記撮影方向を切り替えることを特徴とする請求項11〜15のいずれかに記載の光学特性測定装置。   The imaging direction switching means rotates the table at a predetermined angle with a direction orthogonal to the object placement surface as a third axis, and with a direction orthogonal to the third axis as a fourth axis. The optical characteristic measuring device according to claim 11, wherein the photographing direction is switched by rotating the angle.
  17. 前記RGBカメラは、前記照射方向と前記撮影方向とで規定される測定条件が切り替えられる毎に物体を撮影し、
    前記RGBカメラにより同一の測定条件下で撮影された色成分の異なる物体の画像を対応付けて少なくとも4つの色成分からなるテクスチャ画像を生成し、生成したテクスチャ画像をその測定条件と対応づけることで物体の双方向テクスチャ関数を生成する関数生成手段を更に備えることを特徴とする請求項11〜16のいずれかに記載の光学測定測定装置。
    The RGB camera shoots an object every time the measurement conditions defined by the irradiation direction and the shooting direction are switched,
    By associating images of objects with different color components captured by the RGB camera under the same measurement conditions to generate a texture image composed of at least four color components, and associating the generated texture image with the measurement conditions The optical measurement measurement device according to claim 11, further comprising a function generation unit configured to generate a bidirectional texture function of the object.
  18. 前記関数生成手段は、前記テクスチャ画像の代表値を算出し、算出した代表値をその測定条件と対応づけることで物体の双方向反射率分布関数を生成することを特徴とする請求項17記載の光学特性測定装置。   18. The function generation unit generates a bidirectional reflectance distribution function of an object by calculating a representative value of the texture image and associating the calculated representative value with the measurement condition. Optical property measuring device.
  19. 仮想3次元モデルをレンダリングする際に使用される光学特性を示す関数を得るために現物の物体の光学特性を測定する光学特性測定装置であって、
    物体が載置されるテーブルと、
    前記物体に対して照射する光の色を少なくとも4色の中からいずれかの色に切り替えると共に、前記物体に対する光の照射方向を切り替えて、前記物体に光を照射する照射手段と、
    前記テーブルに載置された物体の蛍光特性と反射特性とを測定する分光輝度計と、
    前記分光輝度計の物体に対する測定方向を切り替える測定方向切替手段と、
    前記照射方向と前記撮影方向とで規定される測定条件が切り替えられる毎に、前記分光輝度計により測定された物体の蛍光特性と反射特性とを基に、蛍光特性を含む双方向反射率分布関数を生成する関数生成手段とを備えることを特徴とする光学特性測定装置。
    An optical property measuring device for measuring an optical property of an actual object to obtain a function indicating an optical property used in rendering a virtual three-dimensional model,
    A table on which an object is placed;
    An illumination unit that irradiates the object with light by switching a color of light emitted to the object to any one of at least four colors and switching an irradiation direction of the light with respect to the object;
    A spectral luminance meter for measuring the fluorescence characteristics and reflection characteristics of the object placed on the table;
    Measurement direction switching means for switching the measurement direction with respect to the object of the spectral luminance meter;
    Each time the measurement conditions defined by the irradiation direction and the imaging direction are switched, the bidirectional reflectance distribution function including the fluorescence characteristics based on the fluorescence characteristics and reflection characteristics of the object measured by the spectral luminance meter. An optical property measuring device comprising: function generating means for generating
  20. 前記RGBカメラのカメラ特性を記憶するカメラ特性記憶手段と、
    前記照射手段により照射される光の照明光スペクトルを記憶するスペクトル記憶手段と、
    前記関数生成手段により生成された双方向反射率分布関数と前記カメラ特性と前記照明光スペクトルとを基に、分光反射率を推定する推定手段とを更に備えることを特徴とする請求項19記載の光学特性測定装置。
    Camera characteristic storage means for storing camera characteristics of the RGB camera;
    Spectrum storage means for storing an illumination light spectrum of light irradiated by the irradiation means;
    20. The estimation device according to claim 19, further comprising: an estimation unit configured to estimate a spectral reflectance based on the bidirectional reflectance distribution function generated by the function generation unit, the camera characteristic, and the illumination light spectrum. Optical property measuring device.
  21. 仮想3次元モデルをレンダリングする際に使用される光学特性を示す関数を得るために現物の物体の光学特性を測定する光学特性測定装置であって、
    物体が載置されるテーブルと、
    前記物体に対して照射する光の色を少なくとも4色の中からいずれかの色に切り替えると共に、前記物体に対する光の照射方向を切り替えて、前記物体に光を照射する照射手段と、
    前記測定手段は、マルチスペクトルカメラであり、
    前記マルチスペクトルカメラの物体に対する測定方向を切り替える測定方向切替手段と、
    前記照射方向と前記撮影方向とで規定される測定条件が切り替えられる毎に、前記マルチスペクトルカメラにより測定された物体の蛍光特性と反射特性とを基に、蛍光特性を含む双方向反射率分布関数を生成する関数生成手段とを備えることを特徴とする光学特性測定装置。
    An optical property measuring device for measuring an optical property of an actual object to obtain a function indicating an optical property used in rendering a virtual three-dimensional model,
    A table on which an object is placed;
    An illumination unit that irradiates the object with light by switching a color of light emitted to the object to any one of at least four colors and switching an irradiation direction of the light with respect to the object;
    The measuring means is a multispectral camera;
    Measurement direction switching means for switching the measurement direction with respect to the object of the multispectral camera;
    A bi-directional reflectance distribution function including fluorescence characteristics based on the fluorescence characteristics and reflection characteristics of the object measured by the multispectral camera each time the measurement conditions defined by the irradiation direction and the imaging direction are switched. An optical property measuring device comprising: function generating means for generating
  22. 光学特性測定装置及び画像処理装置を備える画像処理システムであって、
    前記光学特性測定装置は、
    現物の物体が載置されるテーブルと、
    前記物体に対して照射する光の色を少なくとも4色の中からいずれかの色に切り替えると共に、前記物体に対する光の照射方向を切り替えて、前記物体に光を照射する照射手段と、
    前記テーブルに載置された物体を撮影する白黒カメラと、
    前記白黒カメラの物体に対する撮影方向を切り替える撮影方向切替手段と、
    前記照射方向と前記撮影方向とで規定される測定条件が切り替えられる毎に、同一の測定条件において、前記白黒カメラにより色毎に撮影された画像を対応付けて少なくとも4つの色成分からなるテクスチャ画像を生成する共に、生成したテクスチャ画像をその測定条件とを対応づけることで、物体の光学特性を示す関数を生成する関数生成手段とを備え、
    前記画像処理装置は、
    前記関数生成手段により生成された光学特性を示す関数を記憶する関数記憶手段と、
    仮想3次元空間内に予め生成された仮想3次元モデルを記憶するモデル記憶手段と、
    前記光学特性を示す関数を用いて前記仮想3次元モデルをレンダリングするレンダリング手段とを備えることを特徴とする画像処理システム。
    An image processing system including an optical characteristic measurement device and an image processing device,
    The optical property measuring device is
    A table on which the actual object is placed;
    An illumination unit that irradiates the object with light by switching a color of light emitted to the object to any one of at least four colors and switching an irradiation direction of the light with respect to the object;
    A black and white camera for photographing an object placed on the table;
    Shooting direction switching means for switching the shooting direction with respect to the object of the monochrome camera;
    Each time the measurement conditions defined by the irradiation direction and the shooting direction are switched, a texture image composed of at least four color components in association with images taken for each color by the monochrome camera under the same measurement conditions. And a function generation means for generating a function indicating the optical characteristics of the object by associating the generated texture image with the measurement condition,
    The image processing apparatus includes:
    Function storage means for storing a function indicating the optical characteristics generated by the function generation means;
    Model storage means for storing a virtual three-dimensional model generated in advance in the virtual three-dimensional space;
    An image processing system comprising: rendering means for rendering the virtual three-dimensional model using a function indicating the optical characteristic.
  23. 前記レンダリング手段によりレンダリングされた仮想3次元モデルを表示する多原色表示装置を更に備えることを特徴とする請求項22記載の画像処理システム。   The image processing system according to claim 22, further comprising a multi-primary color display device that displays the virtual three-dimensional model rendered by the rendering means.
  24. 光学特性測定装置及び画像処理装置を備える画像処理システムであって、
    前記光学特性測定装置は、
    現物の物体が載置されるテーブルと、
    前記物体に対して照射する光の色を少なくとも2色の中からいずれかの色に切り替えると共に、前記物体に対する光の照射方向を切り替えて、前記物体に光を照射する照射手段と、
    前記テーブルに載置された物体を撮影するRGBカメラと、
    前記RGBカメラの物体に対する撮影方向を切り替える撮影方向切替手段と、
    前記照射方向と前記撮影方向とで規定される測定条件が切り替えられる毎に、同一の測定条件において、前記RGBカメラにより撮影された色成分の異なる物体の画像を対応付けて少なくとも4つの色成分からなるテクスチャ画像を生成し、生成したテクスチャ画像をその測定条件とを対応づけることで物体の光学特性を示す関数を生成する関数生成手段とを備え、
    前記画像処理装置は、
    前記関数生成手段により生成された光学特性を示す関数を記憶する関数記憶手段と、
    仮想3次元空間内に予め生成された仮想3次元モデルを記憶するモデル記憶手段と、
    前記光学特性を示す関数を用いて前記仮想3次元モデルをレンダリングするレンダリング手段とを備えることを特徴とする画像処理システム。
    An image processing system including an optical characteristic measurement device and an image processing device,
    The optical property measuring device is
    A table on which the actual object is placed;
    An illumination unit that irradiates the object with light by switching a color of light emitted to the object to any one of at least two colors, and switching an irradiation direction of the light with respect to the object;
    An RGB camera for photographing an object placed on the table;
    Shooting direction switching means for switching the shooting direction with respect to the object of the RGB camera;
    Each time the measurement conditions defined by the irradiation direction and the shooting direction are switched, the image of an object with a different color component captured by the RGB camera is associated with at least four color components under the same measurement condition. A function generation unit that generates a function indicating the optical characteristics of the object by associating the generated texture image with the measurement condition,
    The image processing apparatus includes:
    Function storage means for storing a function indicating the optical characteristics generated by the function generation means;
    Model storage means for storing a virtual three-dimensional model generated in advance in the virtual three-dimensional space;
    An image processing system comprising: rendering means for rendering the virtual three-dimensional model using a function indicating the optical characteristic.
  25. 前記レンダリング手段によりレンダリングされた仮想3次元モデルを表示する多原色表示装置を更に備えることを特徴とする請求項24記載の画像処理システム。   The image processing system according to claim 24, further comprising a multi-primary color display device that displays the virtual three-dimensional model rendered by the rendering means.
JP2005099146A 2005-03-30 2005-03-30 Optical characteristic measuring apparatus and image processing system Expired - Fee Related JP4806738B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005099146A JP4806738B2 (en) 2005-03-30 2005-03-30 Optical characteristic measuring apparatus and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005099146A JP4806738B2 (en) 2005-03-30 2005-03-30 Optical characteristic measuring apparatus and image processing system

Publications (2)

Publication Number Publication Date
JP2006275955A true JP2006275955A (en) 2006-10-12
JP4806738B2 JP4806738B2 (en) 2011-11-02

Family

ID=37210865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005099146A Expired - Fee Related JP4806738B2 (en) 2005-03-30 2005-03-30 Optical characteristic measuring apparatus and image processing system

Country Status (1)

Country Link
JP (1) JP4806738B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010243478A (en) * 2009-03-31 2010-10-28 Mitsubishi Electric Research Laboratories Inc Method and apparatus for estimating 3d pose of 3d object in environment
CN102175650A (en) * 2011-01-30 2011-09-07 哈尔滨工业大学 Measuring device of continuous spectrum bidirectional reflectance distribution function
JP2013096784A (en) * 2011-10-31 2013-05-20 Toppan Printing Co Ltd Surface characteristic measuring device and computer program
US8497995B2 (en) 2007-08-24 2013-07-30 Canon Kabushiki Kaisha Measurement apparatus and method for measuring surface shape and roughness
KR20130096648A (en) * 2012-02-22 2013-08-30 오츠카 일렉트로닉스 가부시키가이샤 Light source support apparatus and optical radiation characteristic measurement apparatus using the same
CN104458596A (en) * 2014-12-21 2015-03-25 华东交通大学 Device and method for spectral detection of content of malondialdehyde in tomato leaves in multi-angle and in-situ manner
CN104458595A (en) * 2014-12-21 2015-03-25 华东交通大学 Device and method for spectral detection of content of proline in tomato leaves in multi-angle and in-situ manner
CN104568847A (en) * 2014-12-21 2015-04-29 华东交通大学 Device and method for detecting activity of catalase of tomato leaves by multi-angle in-situ spectrum
CN105784592A (en) * 2014-12-21 2016-07-20 华东交通大学 Apparatus for multi-angle in situ spectrum detection of activity of peroxidase in tomato leaves, and method thereof
US9588043B2 (en) 2014-03-12 2017-03-07 Canon Kabushiki Kaisha Measurement apparatus and measurement method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103134463A (en) * 2011-11-22 2013-06-05 北京林业大学 Two-dimensional goniometer

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10115555A (en) * 1996-10-14 1998-05-06 Nippon Paint Co Ltd Colorimetric method for light-material painted-color
JP2000121438A (en) * 1998-10-12 2000-04-28 Fuji Xerox Co Ltd Color image measuring apparatus
JP2000193527A (en) * 1998-12-25 2000-07-14 Kao Corp Method for forming three-dimensional simulation image
JP2001229381A (en) * 2000-02-15 2001-08-24 Matsushita Electric Works Ltd Image processing check system and its method
JP2003337067A (en) * 2002-05-16 2003-11-28 Olympus Optical Co Ltd Spectrophotometry system and color reproduction system
JP2004152015A (en) * 2002-10-30 2004-05-27 Digital Fashion Ltd Image processor, image processing program, recording medium with the program recorded thereon, image processing method, shading information acquisition device, and data structure
JP2004226262A (en) * 2003-01-23 2004-08-12 Kurabo Ind Ltd Spectral colorimetry device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10115555A (en) * 1996-10-14 1998-05-06 Nippon Paint Co Ltd Colorimetric method for light-material painted-color
JP2000121438A (en) * 1998-10-12 2000-04-28 Fuji Xerox Co Ltd Color image measuring apparatus
JP2000193527A (en) * 1998-12-25 2000-07-14 Kao Corp Method for forming three-dimensional simulation image
JP2001229381A (en) * 2000-02-15 2001-08-24 Matsushita Electric Works Ltd Image processing check system and its method
JP2003337067A (en) * 2002-05-16 2003-11-28 Olympus Optical Co Ltd Spectrophotometry system and color reproduction system
JP2004152015A (en) * 2002-10-30 2004-05-27 Digital Fashion Ltd Image processor, image processing program, recording medium with the program recorded thereon, image processing method, shading information acquisition device, and data structure
JP2004226262A (en) * 2003-01-23 2004-08-12 Kurabo Ind Ltd Spectral colorimetry device

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8497995B2 (en) 2007-08-24 2013-07-30 Canon Kabushiki Kaisha Measurement apparatus and method for measuring surface shape and roughness
JP2010243478A (en) * 2009-03-31 2010-10-28 Mitsubishi Electric Research Laboratories Inc Method and apparatus for estimating 3d pose of 3d object in environment
CN102175650A (en) * 2011-01-30 2011-09-07 哈尔滨工业大学 Measuring device of continuous spectrum bidirectional reflectance distribution function
JP2013096784A (en) * 2011-10-31 2013-05-20 Toppan Printing Co Ltd Surface characteristic measuring device and computer program
KR20130096648A (en) * 2012-02-22 2013-08-30 오츠카 일렉트로닉스 가부시키가이샤 Light source support apparatus and optical radiation characteristic measurement apparatus using the same
KR102028371B1 (en) * 2012-02-22 2019-10-04 오츠카 일렉트로닉스 가부시키가이샤 Light source support apparatus and optical radiation characteristic measurement apparatus using the same
US9588043B2 (en) 2014-03-12 2017-03-07 Canon Kabushiki Kaisha Measurement apparatus and measurement method
CN104458596A (en) * 2014-12-21 2015-03-25 华东交通大学 Device and method for spectral detection of content of malondialdehyde in tomato leaves in multi-angle and in-situ manner
CN104458595A (en) * 2014-12-21 2015-03-25 华东交通大学 Device and method for spectral detection of content of proline in tomato leaves in multi-angle and in-situ manner
CN104568847A (en) * 2014-12-21 2015-04-29 华东交通大学 Device and method for detecting activity of catalase of tomato leaves by multi-angle in-situ spectrum
CN105784592A (en) * 2014-12-21 2016-07-20 华东交通大学 Apparatus for multi-angle in situ spectrum detection of activity of peroxidase in tomato leaves, and method thereof

Also Published As

Publication number Publication date
JP4806738B2 (en) 2011-11-02

Similar Documents

Publication Publication Date Title
US20190005711A1 (en) System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
US9689972B2 (en) Scanner display
US20190057554A1 (en) Method and system for representing a virtual object in a view of a real environment
US20180033188A1 (en) Surface Appearance Simulation
Hall Illumination and color in computer generated imagery
JP6360885B2 (en) Viewing angle image manipulation based on device rotation
US9074878B2 (en) Laser scanner
Debevec Image-based lighting
US5557324A (en) Polorization viewer
JP4508421B2 (en) Three-dimensional display system, apparatus and method
JP5338217B2 (en) Image processing method and projection system
Weyrich et al. Principles of appearance acquisition and representation
Miller et al. Illumination and reflection maps
Takai et al. Difference sphere: an approach to near light source estimation
Müller et al. Acquisition, synthesis, and rendering of bidirectional texture functions
Ihrke et al. Transparent and specular object reconstruction
US9117278B2 (en) System and method for geometric modeling using multiple data acquisition means
US7177026B2 (en) BRDF analyzer
US20170345398A1 (en) Minimal-latency tracking and display for matching real and virtual worlds in head-worn displays
US6628298B1 (en) Apparatus and method for rendering synthetic objects into real scenes using measurements of scene illumination
Dana et al. Device for convenient measurement of spatially varying bidirectional reflectance
JP2014102246A (en) Position attitude detection system
ES2377462T3 (en) Scanning system and method of scanning
US20140268160A1 (en) Specular object scanner for measuring reflectance properties of objects
CN104284119B (en) The equipment, system and method for projected image on the predefined part of object

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110419

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20110427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110506

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110427

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110719

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140826

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees