JP2015046142A - カメラシステム、これに用いられる色変換装置及び方法並びに色変換プログラム - Google Patents
カメラシステム、これに用いられる色変換装置及び方法並びに色変換プログラム Download PDFInfo
- Publication number
- JP2015046142A JP2015046142A JP2013232192A JP2013232192A JP2015046142A JP 2015046142 A JP2015046142 A JP 2015046142A JP 2013232192 A JP2013232192 A JP 2013232192A JP 2013232192 A JP2013232192 A JP 2013232192A JP 2015046142 A JP2015046142 A JP 2015046142A
- Authority
- JP
- Japan
- Prior art keywords
- color
- illumination
- dimensional
- stereoscopic
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 210
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000005286 illumination Methods 0.000 claims abstract description 316
- 238000012937 correction Methods 0.000 claims description 70
- 239000007787 solid Substances 0.000 claims description 69
- 238000003384 imaging method Methods 0.000 claims description 34
- 239000003086 colorant Substances 0.000 claims description 29
- 238000005259 measurement Methods 0.000 claims description 24
- 238000004458 analytical method Methods 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 19
- 238000010191 image analysis Methods 0.000 claims description 12
- 238000000149 argon plasma sintering Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 3
- 210000003491 skin Anatomy 0.000 description 53
- 210000000515 tooth Anatomy 0.000 description 35
- 238000010586 diagram Methods 0.000 description 16
- 239000010410 layer Substances 0.000 description 14
- 238000013507 mapping Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 4
- 230000010287 polarization Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 210000003238 esophagus Anatomy 0.000 description 3
- 239000011148 porous material Substances 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000037303 wrinkles Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 210000004207 dermis Anatomy 0.000 description 2
- 210000002615 epidermis Anatomy 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- 239000004925 Acrylic resin Substances 0.000 description 1
- 229920000178 Acrylic resin Polymers 0.000 description 1
- JOYRKODLDBILNP-UHFFFAOYSA-N Ethyl urethane Chemical compound CCOC(N)=O JOYRKODLDBILNP-UHFFFAOYSA-N 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004737 colorimetric analysis Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 210000003298 dental enamel Anatomy 0.000 description 1
- 239000004053 dental implant Substances 0.000 description 1
- 210000004268 dentin Anatomy 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000010437 gem Substances 0.000 description 1
- 229910001751 gemstone Inorganic materials 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 229910052573 porcelain Inorganic materials 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000000434 stratum corneum Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/1032—Determining colour for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C19/00—Dental auxiliary appliances
- A61C19/04—Measuring instruments specially adapted for dentistry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/508—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors measuring the colour of teeth
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/52—Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/52—Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
- G01J3/524—Calibration of colorimeters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6083—Colour correction or control controlled by factors external to the apparatus
- H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Image Processing (AREA)
- Spectrometry And Color Measurement (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
さらに、歯科等では、対象物の表面に押し当てて、対象物に光照射し、対象物を多波長分光計測する撮像装置(特許文献2参照)等も用いられている。
また、特許文献1に開示されている歯科カラーマネージメントシステム(CMS)等における歯科用補綴物の色彩調整方法では、光源を特定し、基準色表示部を設けたシェードガイド等の色リファレンスを患者の歯等の被写体と並べてカメラや撮像素子で撮像し、色リファレンスの基準色の実際の色と撮影されたカラー画像(写真やモニタ表示)中の色リファレンスの基準色の色とを比較するので、人工歯や補綴物の色調を、患者の実際の歯の色調に合わせることができるが、歯科医師が色リファレンスを片手で被写体近くに保持した状態で、もう一方の手でカメラによる撮像を行わなければならず、極めて作業性が悪く、ファインダを見ることもできないため構図やライティングも不適切な写真しか撮影できないという問題があった。
これに対し、通常の被写体の撮影では、通常のRGB3色のデジタルカメラをカラーチャート等でキャリブレーションする方法も知られており、精度良くテーブル作成することにより、色差ΔEが2以下となるようにすることもできる。このため、この程度の精度であれば、歯科インプラント等の人工歯や補綴物の作製には十分な精度となるため、汎用のデジタルカメラを用いることができる安価な計測システムとして期待されていた。
しかしながら、歯科等において、シェードガイド等の色リファレンスを用いて、人工歯や補綴物のような立体物を撮影して色調調整を行う場合には、高精度な色調調整が必要となるため、通常の被写体の撮影に用いられる通常のRGB3色のデジタルカメラを利用するに至っていないという問題があった。
また、本発明の第2の目的は、上記第1の目的に加え、立体被写体の撮影画像データの測色値と共に、撮影された立体被写体の光沢感を出力することができるカメラシステム、歯科カメラシステム、肌計測カメラシステム、色変換装置、色変換方法、及び色変換プログラムを提供することにある。
また、本発明の第3の目的は、上記第1の目的及び第2の目的に加え、撮影された立体被写体の全体の立体構造のみならず、立体被写体の表面のテクスチャ等の微小な立体構造に対しても、精度の良い色再現をすることができ、表面の凹凸感を得ることができるカメラシステム、歯科カメラシステム、肌計測カメラシステム、色変換装置、色変換方法、及び色変換プログラムを提供することにある。
ここで、複数の基準色立体物は、3色以上の基準色立体物であり、
複数の立体色プロファイルは、3色以上の基準色立体物のそれぞれに対して、複数の照明条件に応じてそれぞれ作成されていることが好ましい。
また、変換関係は、平面色プロファイルであり、色変換部は、撮影画像の画像データを、平面色プロファイルを用いて撮影画像の中間測色値に色変換すると共に、色変換された撮影画像の中間測色値を、選択された立体色補正プロファイルを用いて色補正して撮影画像の測色値を作成することが好ましい。
又は、変換関係は、平面色プロファイルであり、色変換部は、平面色プロファイルと選択された立体色補正プロファイルとを用いて立体色プロファイルを作成し、作成された立体色プロファイルに基づいて、立体被写体の撮影画像の画像データから撮影画像の測色値への色変換を行うことが好ましい。
また、基準色立体物には、立体被写体と類似の、半透明性、不透明性、光散乱性、乳白色及び/又は肌色の色味の少なくとも1つを備える基準色立体物が含まれることが好ましい。
また、撮影部は、デジタルカメラを備え、照明幾何学条件は、光源、デジタルカメラ、及び立体被写体又は基準色立体物の3者の幾何学的位置情報を含むことが好ましい。
また、照明幾何学条件は、立体被写体又は基準色立体物に対する光源の照明角度及び照明距離の少なくとも1つであることが好ましい。
また、照明条件は、照明幾何学条件に加え、さらに、撮影時の照明光の照明光質条件を含み、条件判断部は、照明幾何学条件及び照明光質条件を判断することが好ましい。
また、条件判断部は、撮影部から立体被写体の撮影時の付帯情報を取得する付帯情報取得部、立体被写体の撮影画像の画像解析を行う画像解析部、及び予め設定された判断条件組み合せリストを備える条件リスト参照部の少なくとも1つを有し、付帯情報取得部が取得した付帯情報、画像解析部の解析結果、及び条件リスト参照部のリストの中の選択結果の少なくとも1つから、照明条件を判断することが好ましい。
また、光沢判断部は、立体被写体の測色画像データから求められる明度及び立体物被写体に写像された光源像の鮮明度に基づいて光沢感を求めることが好ましい。
また、本発明の第4の態様の肌計測カメラシステムは、上記第1、及び第2の態様のカメラシステムを有し、立体被写体は、人間の皮膚(肌)であり、基準色立体物は、人間の皮膚(肌)と類似の、半透明性又は不透明性、光散乱性、及び乳白色又は肌色の色味の少なくとも1つを備えていることを特徴とする。
また、本発明の各態様によれば、上記各構成により、上記効果に加え、撮影された立体物被写体の表面のテクスチャ等の細部の微小な立体構造の色再現を向上させた凹凸感を得ることもでき、また、撮影された立体物被写体の光沢感を得ることもできる。
図1は、本発明の第1の実施の形態に係る色変換装置を用いるカメラシステムの構成の一例を模式的に示すブロック図である。図2は、図1に示すカメラシステムの撮影部及び撮影対象の立体被写体並びに基準色立体物の一例を模式的に示す模式図である。
以下では、始めに、本発明に係るカメラシステムの具体例としては、歯科CMSにおける歯科カメラシステムを代表例に挙げて主として説明するが、本発明は、歯科カメラシステムに限定されず、肌計測(診断)カメラシステムや、内視鏡カメラシステム等の種々のカメラシステムに適用可能なことはもちろんである。
撮影部12は、図2に示すように、デジタルカメラ(デジタルスチールカメラ:DSC)16と、デジタルカメラ16による撮影の際に立体被写体18や基準色立体物である複数の立体リファレンス(立体チャートともいう)20等の被写体に照明光を照射する撮影光源22とを備える。
なお、デジタルカメラ16は、デジタルスチールカメラに限定されず、デジタルビデオカメラであっても良い。また、本発明では、安価な汎用のデジタルカメラも用いることができるが、特に限定的では無く、デジタルカメラであれば、どのようなものであっても良い。また、デジタルカメラ16で取得される画像データとしては、RGB画像データに限定されず、CMY画像データや、YIQ画像データ、sRGB画像データ等のデバイス依存データを挙げることができる。
また、立体被写体18は、所定の曲面、立体形状、表面の凹凸形状及び層構造を持つものであり、複数の平面や曲面からなる多面体、特に所定の角度を持つ面を備える多面体等の立体構造と見做せるものである。例えば、人間の歯、人間の皮膚(肌)、人間の体腔内壁等は、それぞれに特有の所定の曲面、立体形状、表面の凹凸形状、層構造を持つ。特に、人間の歯の場合などは、半透明な表層及び白色内層からなる2層構造を持つものである。また、人間の皮膚や肌の場合などは、角層、表皮及び真皮からなる3層構造を持ち、しわや毛穴等のように、皮膚(肌)表面から凹んだ表面の凹凸形状、いわゆるテクスチャと呼ばれる微小な立体構造を持つものである。更に、人間の体腔内壁等も、同様に、多層構造を持ち、表面の微少凹凸等の凹凸形状を持つものである。なお、これらの立体物は、微小な立体構造や凹凸形状をも含め、多面体等の立体構造に近似できるものである。
したがって、本発明における立体被写体18は、通常、立体物の全体としての立体構造を対象とするものであるが、これに限定されず、立体物が、例えば、上述したように、人間の皮膚や肌、体腔内壁等のように、その表面にテクスチャと呼ばれる微小な立体構造や凹凸形状を持つ場合には、立体物の全体ではなく、立体物の表面の一部や立体物の細部の微小な立体構造や凹凸形状を対象とするものであっても良いし、立体物の全体としての立体構造に加えて、立体物の細部等の微小な立体構造や凹凸形状をも対象とするものであっても良い。この場合には、なお、立体物全体を、微小な立体構造や凹凸形状をも含め、多面体等の立体構造に近似しても良い。
立体物の全体としての立体構造と、立体物の表面の細部等の微小な立体構造や凹凸形状との両方を対象とする場合や、立体物を微細構造も含めて多面体構造として近似する場合には、立体物の全体のみならず、細部の微小な立体構造や凹凸形状に対しても、精度の良い色再現ができる。
また、細部の微小な立体構造を対象する場合に用いられる立体リファレンス20としては、微小な立体構造や凹凸形状や、これらをも含めた多面体等の立体構造に応じた基準色立体物とするのが好ましい。
なお、立体被写体18及び立体リファレンス20として、細部の微小な立体構造や凹凸形状を対象とする場合については、後述する。
例えば、立体被写体18が人間の歯である場合には、立体リファレンス20として、図11(A)及び(B)にそれぞれ示すような所定の曲面を持つ立体物である卵型(半卵型)の立体リファレンス(基準色立体物)20a、又は図11(C)に示すような所定の傾斜した平面を持つ立体物である多面体(例えば、宝石)型の立体リファレンス(基準色立体物)20bを用いるのが好ましい。このように、立体被写体18に応じて、立体リファレンス20の立体物の形状や構造を選択するのが好ましい。
また、より好ましくは、立体リファレンス20は、このような人間の歯、皮膚や肌、又は体腔内壁等の立体被写体18に類似した半透明性、不透明性、光散乱性、及び乳白色及び/又は肌色の色味の少なくとも1つを持つと良い。
なお、人間の歯の場合、歯の色は、以下の測色値、例えば、CIELabの3次元色空間において、下記最大値(Max)−最小値(Min)の指標内に入るような歯を対象とすることができる。
このように、立体リファレンス20は、立体被写体18と同一又は類似の、曲面、立体形状、表面の凹凸形状及び層構造、並びに複数の平面や曲面からなる多面体、特に所定の角度を持つ面を備える多面体等の立体構造の少なくとも1つを持ち、立体被写体18の類似物質の立体物からなるのが好ましい。
なお、本発明においては、主要被写体となる立体被写体18は、このような立体リファレンス20の1つ以上とともに撮影されることが好ましい。
このような照明幾何学条件としては、又は照明幾何学条件を求めるための幾何学的配置条件としては、被写体撮影時の光源、被写体及びカメラの3者、即ち、例えば、撮影部12によって光源22によって照明された立体被写体18を撮影する時に、光源22、立体被写体18及びデジタルカメラ16の3者の幾何学位置関係を判断するための3者の幾何学的配置関係を示す幾何学位置情報を挙げることができる。これらの幾何学位置情報を、デジタルカメラ16の画像ファイルのタグ情報として、撮影部12の後段の条件判断部26に送ることができる。なお、光源22、立体被写体18及びデジタルカメラ16の3者の幾何学位置は、(a)光源22−立体被写体18、(b)立体被写体18−デジタルカメラ16、(c)デジタルカメラ16−光源22の位置関係の組み合わせで決まる。
このようにして、上記位置関係(a)、(b)及び(c)が決定されると、照明幾何学条件としての光源22による立体被写体18の照明角度、更には、その照明距離を求めることができる。
なお、デジタルカメラ16でタグ情報として取得され、条件判断部26に送られるフラッシュのオン/オフの情報、及び立体被写体18の合焦点情報等以外の幾何学的な位置に関する情報は、条件判断部26内外のメモリに格納された情報や外部入力情報等から、条件判断部26が取得するように構成されているのが好ましい。
なお、このような光質情報、例えば、フラッシュがオンの場合の光源22としてのフラッシュの光源特性(照明光質)の情報や、フラッシュがオフの場合の室内光や歯科用照明装置の照明光等の光源特性(照明光質)の情報も、条件判断部26内外のメモリに格納された情報や外部入力情報等から、条件判断部26が取得するように構成されているのが好ましい。
なお、このような外光、室内光又は環境光等の光源の幾何学的な位置や、外光、室内光又は環境光等の光源特性(光質)も、条件判断部26内外のメモリに格納された情報や外部入力情報等から、条件判断部26が取得するように構成されているのが好ましい。
まず、デジタルカメラ16によって、予め基準測色値が付与された所定の色の立体リファレンス20を、照明角度、フラッシュのオン/オフおよび撮影距離を変えて複数回撮影し、複数の照明角度に対する立体リファレンス20の撮影画像のRGB画像データを取得する。当該立体リファレンス20に予め付与された基準測色値と取得された立体リファレンス20の撮影画像のRGB画像データとを対応させて変換関係とする立体色プロファイルを複数の照明角度、フラッシュのオン/オフおよび複数の撮影距離の各々に応じてそれぞれ複数作成する。こうして、1つの立体リファレンス20に対する1組の複数の立体色プロファイルが作成される。
こうして得られた全ての組の複数の立体色プロファイルは、各組毎に、それぞれ複数の照明角度に関連付けられており、全てデータベース24に格納される。
また、上記管理項目の照明角度及び照明距離に、さらに、フラッシュのオン/オフ(ON/OFF)条件を加えるとより好ましい。また、その他の光源特性、例えば、照明光質条件を上記管理項目に加えるとさらに良い。さらにまた、立体リファレンス20は、立体被写体18に適した色種を選択しておくとさらに良い。
こうして、データベース24には、少なくとも、照明条件として照明幾何学条件の照明角度を管理項目とした、測色値とRGB画像データとの変換関係を示す立体色プロファイルが多数、即ち複数格納される。
例1):管理項目である「照明角度」×「照明距離」の組み合わせに紐付けされた「立体色プロファイル」の関連付け
例2):管理項目である「照明角度」×「照明距離」×「光源特性(フラッシュ等)」の組み合わせに紐付けされた「立体色プロファイル」の関連付け
ここで、「光源特性(フラッシュ等)」は、フラッシュオン/オフ、他の光源特性(指向性等)や撮影条件でもよい。
ここでは、「照明角度」×「照明距離」×「光源特性又は照明光質(フラッシュ等)」の管理項目の組み合わせは固定されているものとする。
照明条件の「組み合わせ条件」に紐付けされた「立体色(補正)プロファイル」のデータベースの例を表1及び表2に示す。
表1においては、フラッシュオン時にも、フラッシュオフ時にも、照明距離を15cmと30cmに変化させると共に、照明角度を0°、30°、45°と変化させて、それぞれの「照明角度」×「照明距離」×「照明光質(フラッシュオン/オフ)」の管理項目の組み合せ毎に作成された立体色プロファイルP1〜P12が、データベース24に格納されている。
このように、データベース24には、様々な照明条件の管理項目の組み合わせに応じた立体色プロファイルが格納されている。
上記例1)の場合:照明条件の内の照明幾何学条件である光源と被写体の照明角度と照明距離を判断する。
上記例2)の場合:例1)に加えて、照明条件の内の照明光質条件(フラッシュのオン/オフ等)を判断する。
上記例3)の場合:光源と被写体の位置関係を判断し、管理項目の組み合せ条件を判断する(表1及び表2参照)。
a)デジタルカメラ16の付帯情報(タグ情報)から直接取得しても良い。例えば、合焦点情報から撮影距離を取得するようにしても良い。
b)また、デジタルカメラ16のタグ情報から、推定しても良い。
c)また、デジタルカメラ16の撮影距離と光源22の位置から光源22、立体被写体18、デジタルカメラ16の位置関係を計算しても良い。
d)デジタルカメラ16のタグ情報から、何らかのデータベース(DB)を参照して取得しても良い。
e)デジタルカメラ16の撮影画像のRGB画像データによる画像解析から求めても良い。
f)立体被写体18の撮影画像の画像データ中の大きさと実際の立体被写体18の大きさとを照らし合わせて推定しても良い。
g)立体リファレンス20(基準色立体物)の曲面又は複数の平面上に発生している陰影から光源の位置を推定しても良い。
例えば、光源22によって照明された立体リファレンス20をデジタルカメラ16で撮影する際に、光源22、立体リファレンス20及びデジタルカメラ16は、立体リファレンス20の特定の面(曲面からなる立体物の離散的に見た微小曲面又は多面体の平面)で反射された光源22の反射光が、デジタルカメラ16の撮影レンズに入射する光学的な幾何学的配置にある時の特定の面の傾斜角を0°とすると、傾斜角が0°の面による光源22の反射光は、直接デジタルカメラ16の撮影レンズに鏡面反射成分として入射する。立体リファレンス20の撮像画像では、傾斜角が0°の面は、反射光強度が最も高く、鏡面光沢が発生している領域となる。したがって、面の傾斜角度が0°から傾斜するにつれて、傾斜面による光源22の反射光の鏡面反射成分は減少し、反射光強度が低い領域となる。これらの結果から、立体リファレンス20の傾斜面の反射光強度を解析することにより、光源22の配置角度を容易に推定することができ、したがって、光源22、立体リファレンス20及びデジタルカメラ16の配置を容易に推定することができる。
こうして解析された光源22の配置角度情報をもとに、条件判断部26において、照明条件(照明幾何学条件)を判断することができる。
図3は、リングライトフラッシュ付きデジタルカメラ16で立体被写体18を撮影した場合の条件判断部26による判断のためのリングライトフラッシュからなる光源22及びデジタルカメラ16と立体被写体18との位置関係の一例を模式的に示す模式図である。
図3に示すような場合、以下のような種々の情報が取得でき、かつ推定できる。
まず、図3に示すように、デジタルカメラ16(撮影レンズの中心)と光源22(リングライトフラッシュのリングライトの位置)との距離bは、リングライトの口径Dから知ることができ、b=D/2で与えられる。
次に、図3に示すように、立体被写体18とデジタルカメラ16の距離は、デジタルカメラ16の合焦点位置情報から得ることができる。
また、リングライトの利用は、リングライトフラッシュのオン/オフ情報から知ることができる。
また、リングライトの利用により、デジタルカメラ16は、立体被写体18の正面にあると推定することができる。
さらに、リングライトの利用により、リングライトの色温度、分光分布等の光質が推定可能である。
図3に示す例おいて、照明幾何学条件の照明角度θは、関係式tanθ=b/aで求めることができ、光源22と立体被写体との間の照明距離aは、リングライトフラッシュ付きデジタルカメラ16であるので、図3に示すように立体被写体18とデジタルカメラ16の距離に等しく、合焦点位置情報から求めることができる。
こうして、条件判断部26の判断により、照明条件(照明幾何学条件、照明光質条件)の管理項目の組み合せ(角度θ、距離a、フラッシュ光源のオン/オフ)が決定される。
即ち、データベース24に格納されている立体色プロファイルの中から、条件判断部26で判断された照明条件に該当する立体色プロファイルを選択するために、例えば、表1及び表2にしめされるような、立体色プロファイルに関連付けられた照明条件の管理項目の組み合せ(角度θ、距離a、フラッシュ光源のオン/オフ)が求められる。
図4(A)に示す条件判断部26aのように、条件判断部26aが撮影部12のデジタルカメラ16から撮影画像のタグ情報を取得するタグ情報取得部34を有する場合には、条件判断部26aは、上述したように、デジタルカメラ16から伝送され、タグ情報取得部34によって取得された合焦点情報やフラッシュのオン/オフ情報等のタグ情報から照明条件を判断する。例えば、上述の照明条件の管理項目の情報の取得方式a)〜d)及び図3に示す例の場合には、タグ情報取得部34において、デジタルカメラ16の画像ファイルのタグ情報を取得し、条件判断部26aで照明条件を判断するのが良い。
なお、条件判断部26aのタグ情報取得部34では、撮影部12によって光源22によって照明された立体被写体18を撮影する時に、光源22、立体被写体18及びデジタルカメラ16の3者の幾何学位置関係を判断するための3者の幾何学的配置関係を示す幾何学位置情報や、立体被写体18とデジタルカメラ16との間の距離(撮影距離)や、光源22の光拡散性、偏光性、分光分布、色温度の情報等をタグ情報として取得しても良い。
例えば、データベース24に、上述の表1及び表2に示すように、照明条件の管理項目の組み合わせ(照明角度θ、照明距離a、フラッシュのオン/オフ)に応じて立体色プロファイルが格納されている場合には、選択部28は、条件判断部26で判断された照明条件の管理項目の組み合わせ(照明角度θ、照明距離a、フラッシュのオン/オフ)に該当する立体色プロファイルを選択する。例えば、照明条件が、室内Aの室内灯が蛍光灯であり、照明角度θが30°であり、フラッシュオンであり、照明距離aが30cmである場合には、データベース24内の表1から該当する立体色プロファイルP5を選択する。
例えば、上述の表1及び表2に示す場合のように、距離20cmに相当するものが無い場合には、15cmに該当するものと30cmに該当するものとから補間して近似の立体色プロファイルを作成することができる。
なお、色変換部30によって色変換して得られた変換測色値は、標準表色系のXYZ測色値(XYZ画像データ)に限定されず、測色値であれば、如何なる測色値であっても良く、例えば、La*b*測色値、Lu*v*測色値等であっても良い。
画像出力部32は、色変換部30で色変換された立体被写体18の測色画像、例えばXYZ測色画像を出力するためのものである。
本発明の第1の実施の形態に係る色変換装置、及びこれを用いるカメラシステムは、基本的に以上のように構成される。
このような場合には、立体リファレンス20として、様々な傾斜角度を持つ曲面からなる立体物や、様々な傾斜角度を持つ複数の平面を持つ多面体等の立体物を用い、立体リファレンス20の撮影画像の輝度分布(明度分布)に基づいて、撮影画像中の鏡面光沢領域が除かれる解析領域を予め設定しておき、立体リファレンス20や、立体被写体18の撮像画像の解析を予め設定された解析領域で色変換等を含む種々の解析を行うことにより、色予測の精度を低下させず、色予測を高精度に維持することが好ましい。
まず、事前の準備として、立体リファレンス20の曲率及び/又は傾斜角を予め計測する。この時、図11(A)及び(B)に示す卵型の立体リファレンス20aの場合には、曲面の曲率、又は曲面を離散的に見た時の面の傾斜角を計測するのが好ましい。一方、図11(C)に示す多面体の立体リファレンス20bの場合には、各面の傾斜角を計測するのが好ましい。
次に、撮影条件に近い条件で色々な角度から撮影した立体リファレンス20の反射光分布(輝度分布)を計測する。
このため、次いで、これらの計測結果、即ち、立体リファレンス20の曲率及び/又は傾斜角の計測結果、及び立体リファレンス20の反射光分布の計測結果から、反射光強度が高くなり過ぎない、曲率及び/又は傾斜角の特定の範囲を解析範囲として設定し、データベース24に登録・格納しておく。もちろん、立体リファレンス20に対する立体色プロファイルの作成に際しては、解析範囲の撮影画像データのみが用いられるのが好ましい。こうして、作成された立体色プロファイルがデータベース24に格納される。
なお、例えば、図12に示すような、歯等の立体被写体18に対する立体リファレンス20の場合には、解析範囲として設定される傾斜角の範囲は、−180°〜−5°及び5°〜180°であるのが好ましく、より好ましくは−180°〜−10°及び10°〜180°とするのが良い。
次に、取得された撮影画像の反射光分布と、データベース24に登録された曲率及び/又は傾斜角の特定の範囲と反射光分布との関係とを照合し、解析範囲に予め指定した、曲率及び/又は傾斜角の部分のみを解析領域として設定する。即ち、図13(B)に示す立体被写体18の撮影画像48において、立体被写体18の2つの鏡面光沢領域18a及び18bに対応する領域48a及び48bは、解析範囲から除かれ、斜線の領域48cのみが解析領域として設定される。
なお、こうして設定された立体被写体18の撮影画像の解析領域内のRGB画像データのみが、色変換部30において用いられる。その結果、色予測を高精度に行うことができる。
図5に示すカメラシステム50は、図1に示すカメラシステム10と、立体リファレンス20の代わりに、平面色票60及び近似色立体リファレンス62を用いる点、データベース24、選択部28及び色変換部30の代わりに、それぞれデータベース54、選択部56及び色変換部58を用いる点で異なる以外は、同様の構成を有するものであるので、同一の構成要素には同一の番号を付し、その詳細な説明は省略する。
図6に示すように、撮影部12は、デジタルカメラ16と、デジタルカメラ16による撮影の際に立体被写体18や、平面色票60及び基準色立体物である1つ以上の、好ましくは複数の近似色(又は類似色)立体リファレンス62等の被写体に照明光を照射する撮影光源22とを備える。
また、近似色立体リファレンス(以下、単に立体リファレンスという)62は、複数個あっても、基準測色値が付与された色が、撮影対象の立体被写体18と類似の色(近似色)である点を除けば、図2に示す立体リファレンス20と同様であるので、その詳細な説明は省略する。
なお、本実施形態においては、立体リファレンス62は、立体被写体18と共に撮影される。
色変換装置52のデータベース54は、複数の立体色補正プロファイルを格納するものであるが、図示例では、RGB画像データと基準測色値とから算出された変換関係を表す1つの平面色プロファイルをも格納している。このように、複数の立体色補正プロファイル、及び1つの平面色プロファイルは、同一のデータベース54に格納されるのが好ましい。
しかしながら、この平面色プロファイルは、1つであり、データベース54に格納されることに限定されず、いずれのメモリに記憶されるものであっても良いが、後述する色変換部58において用いられるものであるので、色変換部58内のメモリに記憶されるのも好ましい。
なお、立体色補正プロファイルは、立体被写体18と類似色の立体リファレンス62から得られるものであり、類似色である点で異なる以外は同様のプロファイルとなる。複数の照明条件(照明幾何学条件、照明光質条件)に応じて求められる立体色補正プロファイルの数、即ち1組の立体色補正プロファイルの数は、図2に示す立体リファレンス20における数と同様にするのが良い。しかしながら、準備すべき立体リファレンス62の数は、図示例では3個であり、図2に示す立体リファレンス20の数8個に比べて少なくすることができるので、データベース54に格納される立体色補正プロファイルの組数は、当然少なくでき、立体色補正プロファイルの全体数も、少なくすることができる。
例えば、上述の表1及び表2に示すプロファイルP1〜P24が、照明条件の管理項目の組み合わせ(照明角度θ、照明距離a、フラッシュのオン/オフ)に応じた立体色補正プロファイルであるとすると、これらの立体色補正プロファイルP1〜P24は、データベース54に格納される。この場合には、選択部56は、条件判断部26で判断された照明条件の管理項目の組み合わせ(照明角度θ、照明距離a、フラッシュのオン/オフ)に該当する立体色プロファイルを選択する。例えば、照明条件が、室内Aの室内灯が電球(白熱灯)であり、照明角度θが0°であり、フラッシュオフであり、照明距離aが15cmである場合には、データベース54内の表1から該当する立体色プロファイルP19を選択することになると言える。
例えば、上述の表1及び表2に示す場合のように、距離20cmに相当するものが無い場合には、15cmに該当するものと30cmに該当するものとから補間して近似の立体色補正プロファイルを作成することができる。
ここで、色変換部58は、平面色プロファイル、及び立体色補正プロファイルに基づく色変換を以下の2つの方式によって行うことができる。
本発明の第2の実施の形態に係る色変換装置、及びこれを用いるカメラシステムは、基本的に以上のように構成される。
また、立体リファレンス20又は62として、人間の皮膚や肌と類似の、半透明性又は不透明性、光散乱性、及び乳白色又は肌色の色味の少なくとも1つ、好ましくは、全部を備えている立体色リファレンス(基準色立体物)を用いる場合には、このカメラシステム10及び50に対して、人間の顔等を所定の被写体距離に固定する冶具を設けることにより、人間の皮膚や肌を立体被写体18とする肌計測(診断)カメラシステムとして用いることができる。なお、肌計測カメラシステムにおいて立体色リファレンスとして人工皮膚や人工乳房を用いることもできる。
さらに、立体リファレンス20又は62として、人間の食道内壁等のような人間の体腔内壁と類似の、半透明性又は不透明性、光散乱性、及び色味を備えている立体色リファレンス(基準色立体物)を用いる場合には、このカメラシステム10及び50の撮影部12を、照明ライトガイドを備える内視鏡撮影部に適用することにより、人間の体腔内壁を立体被写体18とする内視鏡カメラシステムとして用いることができる。
したがって、表面のテクスチャの特徴により検出される毛穴やしわ等の微小な立体構造の凹みのエッジ部分に相当する角度の立体色プロファイルを適用することで、細部の微小な立体構造に対しても精度の良い色再現が可能である。こうして、立体被写体18の細部の凹凸部分の色再現性を上げ、凹凸感を得ることもできる。
図8及び図9は、それぞれ本発明の第3及び第4の実施の形態に係る色変換装置を用いるカメラシステムの構成の一例を模式的に示すブロック図である。
図8に示すカメラシステム10aは、図1に示すカメラシステム10と、色変換部30と画像出力部32との間に、光沢判断部72を有している点を除いて、同様の構成を有するものであり、図9に示すカメラシステム50aは、図5に示すカメラシステム50と、色変換部58と画像出力部32との間に、光沢判断部72を有している点を除いて、同様の構成を有するものであるので、同一の構成要素には同一の番号を付し、その詳細な説明は省略する。
同図に示す色変換装置14aは、データベース(DB)24と、条件判断部26と、選択部28と、色変換部30と、光沢判断部72と、画像出力部32とを有する。
ここで、図8に示すカメラシステム10aの撮影部12と、色変換装置14aのデータベース(DB)24、条件判断部26、選択部28、及び色変換部30とは、図1に示すカメラシステム10の撮影部12と、色変換装置14のデータベース(DB)24、条件判断部26、選択部28、及び色変換部30と、全く同一であるので、その説明は省略する。
同図に示す色変換装置52aは、データベース(DB)54と、条件判断部26と、選択部56と、色変換部58と、光沢判断部72と、画像出力部32とを有する。
ここで、図9に示すカメラシステム50aの撮影部12と、色変換装置52aのデータベース(DB)54、条件判断部26、選択部56、及び色変換部58とは、図5に示すカメラシステム50の撮影部12と、色変換装置52のデータベース(DB)54、条件判断部26、選択部56、及び色変換部58と、全く同一であるので、その説明は省略する。
画像出力部32は、こうして光沢判断部72で得られた光沢感を、色変換部30又は58で得られた測色画像(XYZ測色画像)と共に出力する。
光沢判断部72で求められる、立体物被写体18の光沢感を決定付ける大きな要素、即ち光沢要素は、2つある。1つ目の光沢要素は、被写体の反射率、即ち明度そのものと、2つ目の光沢要素は、周囲環境から写り込んだ写像、例えば光源の写像の鮮明度である。
1つ目の明度は、XYZ測色画像の測色画像データ(XYZ)から得ることができる。即ち、輝度Y値、又は測色画像データ(XYZ)から計算されるL*値で、明るさ(明度)を判断することができる。
また、光沢感は、予め立体物被写体18に対して、明度、例えば、Y値やL*値の最大値及び写像鮮明度の最大値(中間値のぼけ領域78の領域幅の最低値)を求めておき、これらの明度の最大値及び写像鮮明度の最大値の組み合わせに対して、撮影された立体物被写体18の明度(Y値、L*値)と写像鮮明度(中間値のぼけ領域78の領域幅)との組み合わせで表すことができる。もちろん、両者の組み合わせを1つの数値として指標化して、数値化された指標として求めても良い。
即ち、本発明の第1の実施形態の色変換方法は、予め、基準測色値がそれぞれ付与された、複数の基準色立体物をそれぞれ撮影して得られた画像データと、これに対応する基準測色値とからそれぞれ算出された複数の変換関係が、基準色立体物の撮影における照明幾何学条件を含む複数の照明条件にそれぞれ関連付けられた、複数の立体色プロファイルを格納するデータベースを作成しておき、立体被写体を撮影して画像データを取得し、データベースに格納された複数の立体色プロファイルの中から、立体被写体の撮影時の照明条件に基づいて、この照明条件に対応する立体色プロファイルを選択し、選択された立体色プロファイルに基づいて、撮影された立体被写体の撮影画像の画像データから測色値への色変換を行うことにより、実施することができる。
また、図1に示すカメラシステム10の色変換装置14で行われる上記以外の処理についても、全て色変換方法として実施することができる。
さらに、本発明は、図8に示すカメラシステム10aの色変換装置14aの全ての処理の流れも色変換方法として実施することができる。
即ち、本発明の第2の実施形態の色変換方法は、予め、基準測色値が付与された、立体被写体の類似色の1色以上の基準色立体物に対して、撮影時における照明幾何学条件を含む複数の照明条件が関連付けられた複数の立体色補正プロファイルを格納するデータベースを作成しておき、立体被写体を撮影して画像データを取得し、立体被写体の撮影時の照明条件に基づいて、データベースに格納された複数の立体色補正プロファイルの中から、対応する立体色補正プロファイルを選択し、予め基準測色値が付与された複数の平面色票を撮影して得られた画像データと、基準測色値とから算出された変換関係、及び選択された立体色補正プロファイルに基づいて、撮影された立体被写体の撮影画像の画像データから測色値への色変換を行うことにより、実施することができる。
また、図5に示すカメラシステム50の色変換装置52で行われる上記以外の処理についても、全て色変換方法として実施することができる。
さらに、本発明は、図9に示すカメラシステム50aの色変換装置52aの全ての処理の流れも色変換方法として実施することができる。
例えば、本発明の色変換プログラムは、上述した各色変換方法の各ステップをコンピュータ、具体的にはそのCPUに行わせる手順を有するものである。これらの手順からなるプログラムは、1つまたは複数のプログラムモジュールとして構成されていても良い。
これらのコンピュータが実行する手順からなる色変換プログラムは、コンピュータまたはサーバのメモリ(記憶装置)内に記憶されるものであっても良いし、記録媒体に記憶されるものであっても良く、実行時に、当該コンピュータ(CPU)または他のコンピュータによって、メモリまたは記録媒体から読み出されて実行されるものである。したがって、本発明は、上記色変換方法をコンピュータに実行させるための色変換プログラムを記憶したコンピュータに読み取り可能なメモリもしくは記録媒体であっても良い。
12 撮影部
14、14a、52、52a 色変換装置
16 デジタルカメラ
18、18a、18b 立体被写体
20、62 立体リファレンス(基準色立体物)
22 撮影光源(光源)
24、54 データベース(DB)
26、26a、26b、26c、26d 条件判断部
28、56 選択部
30、58、58a、58b 色変換部
32 画像出力部
34 タグ情報取得部
36 画像解析部
38 指定情報入力部
40 条件リスト参照部
42 条件リストデータベース(DB)
44 情報取得部
46 条件取得部
60 平面色票
64 平面色変換部
66 立体色補正部
68 立体色プロファイル作成部
70 立体色変換部
72 光沢判断部
Claims (26)
- 立体被写体を撮影して画像データを取得する撮影部と、
予め、基準測色値がそれぞれ付与された、複数の基準色立体物を、前記撮影部によってそれぞれ撮影して得られた画像データと、これに対応する前記基準測色値とからそれぞれ算出された複数の変換関係が、前記基準色立体物の撮影における照明幾何学条件を含む複数の照明条件にそれぞれ関連付けられた、複数の立体色プロファイルを格納するデータベースと、
このデータベースに格納された前記複数の立体色プロファイルの中から、前記立体被写体の撮影時の前記照明条件に基づいて、この照明条件に対応する立体色プロファイルを選択する選択部と、
この選択部によって選択された前記立体色プロファイルに基づいて、前記撮影部によって撮影された前記立体被写体の撮影画像の前記画像データから測色値への色変換を行う色変換部を有することを特徴とするカメラシステム。 - 前記複数の基準色立体物は、3色以上の基準色立体物であり、
前記複数の立体色プロファイルは、前記3色以上の基準色立体物のそれぞれに対して、前記複数の照明条件に応じてそれぞれ作成されている請求項1に記載のカメラシステム。 - 立体被写体を撮影して画像データを取得する撮影部と、
予め、基準測色値が付与された、前記立体被写体の類似色の1色以上の基準色立体物に対して、前記撮影部による撮影時における照明幾何学条件を含む複数の照明条件が関連付けられた複数の立体色補正プロファイルを格納するデータベースと、
前記立体被写体の撮影時の前記照明条件に基づいて、前記データベースに格納された前記複数の立体色補正プロファイルの中から、対応する立体色補正プロファイルを選択する選択部と、
予め基準測色値が付与された複数の平面色票を撮影して得られた画像データと、前記基準測色値とから算出された変換関係、及び前記選択部によって選択された前記立体色補正プロファイルに基づいて、前記撮影部によって撮影された前記立体被写体の撮影画像の前記画像データから測色値への色変換を行う色変換部を有することを特徴とするカメラシステム。 - 前記1色以上の基準色立体物は、前記立体被写体の前記類似色の1色の基準色立体物であり、
前記複数の立体色補正プロファイルは、前記1色の基準色立体物に対して、前記複数の照明条件に応じてそれぞれ作成されており、
前記複数の平面色票は、3色以上の平面色票である請求項3に記載のカメラシステム。 - 前記変換関係は、平面色プロファイルであり、
前記色変換部は、前記撮影画像の前記画像データを、前記平面色プロファイルを用いて前記撮影画像の中間測色値に色変換すると共に、色変換された前記撮影画像の中間測色値を、選択された前記立体色補正プロファイルを用いて色補正して前記撮影画像の前記測色値を作成する請求項3又は4に記載のカメラシステム。 - 前記変換関係は、平面色プロファイルであり、
前記色変換部は、前記平面色プロファイルと選択された前記立体色補正プロファイルとを用いて立体色プロファイルを作成し、作成された前記立体色プロファイルに基づいて、前記立体被写体の撮影画像の前記画像データから前記撮影画像の前記測色値への色変換を行う請求項3又は4に記載のカメラシステム。 - 前記基準色立体物は、前記立体被写体と同一又は類似の、曲面、立体形状、表面の凹凸形状及び層構造、並びに、傾きの異なる複数の平面又は曲面からなる多面体の少なくとも1つを持ち、前記立体被写体の類似物質の立体物からなる請求項1〜6のいずれか1項に記載のカメラシステム。
- 前記基準色立体物には、前記立体被写体と類似の、半透明性、不透明性、光散乱性、乳白色及び/又は肌色の色味の少なくとも1つを備える基準色立体物が含まれる請求項1〜7のいずれか1項に記載のカメラシステム。
- 前記撮影部は、デジタルカメラを備え、
前記照明幾何学条件は、光源、前記デジタルカメラ、及び前記立体被写体又は前記基準色立体物の3者の幾何学的位置情報を含む請求項1〜8のいずれか1項に記載のカメラシステム。 - 前記基準色立体物は、傾きの異なる複数の平面又は曲面からなる多面体であり、
前記多面体の反射輝度の高い平面又は曲面に基づいて前記光源の配置角度情報を解析し、前記照明幾何学条件として設定する請求項9に記載のカメラシステム。 - 前記多面体は、前記デジタルカメラ及び前記光源との間の光学的な幾何学配置において、光源からの出射光を直接前記デジタルカメラに入射させるように反射する反射面となる平面又は曲面を少なくとも有する請求項10に記載のカメラシステム。
- 前記照明幾何学条件は、前記光源による前記立体被写体又は前記基準色立体物の照明角度及び照明距離の少なくとも1つである請求項9〜11のいずれか1項に記載のカメラシステム。
- さらに、前記立体被写体の前記撮影時の前記照明条件を判断する条件判断部を有し、
前記選択部は、前記条件判断部によって判断された前記照明条件に基づいて、前記データベースから、前記照明条件に対応する立体色プロファイル又は立体色補正プロファイルを選択する請求項1〜12のいずれか1項に記載のカメラシステム。 - 前記照明条件は、前記照明幾何学条件に加え、さらに、前記撮影時の照明光の照明光質条件を含み、
前記条件判断部は、前記照明幾何学条件及び前記照明光質条件を判断する請求項13に記載のカメラシステム。 - 前記条件判断部は、前記撮影部から前記立体被写体の撮影時の付帯情報を取得する付帯情報取得部、前記立体被写体の前記撮影画像の画像解析を行う画像解析部、及び予め設定された判断条件組み合せリストを備える条件リスト参照部の少なくとも1つを有し、前記付帯情報取得部が取得した前記付帯情報、前記画像解析部の解析結果、及び前記条件リスト参照部のリストの中の選択結果の少なくとも1つから、前記照明条件を判断する請求項13又は14に記載のカメラシステム。
- さらに、前記色変換部で色変換された前記立体被写体の測色画像データに基づいて前記立体被写体の光沢感を判断する光沢判断部を有する請求項1〜15のいずれか1項に記載のカメラシステム。
- 前記光沢判断部は、前記立体被写体の測色画像データから求められる明度及び前記立体物被写体に写像された光源像の鮮明度に基づいて光沢感を求める請求項16に記載のカメラシステム。
- さらに、前記色変換部で色変換された前記立体被写体の測色画像データに基づいて前記立体被写体の光沢感を判断する光沢判断部を有する請求項1〜15のいずれか1項に記載のカメラシステム。
- 前記基準色立体物は、傾きの異なる複数の平面又は曲面からなる多面体であり、
前記データベースは、更に、前記多面体の前記平面の傾斜角及び/又は曲面の曲率の計測結果及び前記撮影部によって前記立体被写体の撮影条件又はこれに類似の撮影条件での撮影された前記多面体の反射光強度(輝度)の計測結果から設定された特定の前記平面の傾斜角及び/又は前記曲面の曲率を解析範囲として格納しておくものであり、
前記撮影部によって撮影された前記立体被写体の前記撮像画像から得られた反射光分布を前記データベースに格納されている前記解析範囲内に予め指定された前記平面の傾斜角及び/又は前記曲面の曲率を持つ部分のみを解析領域として設定し、
前記色変換部は、前記立体被写体の前記撮像画像の前記解析領域内の前記画像データを用いて色変換を行う請求項1〜18のいずれか1項に記載のカメラシステム。 - 請求項1〜19のいずれか1項に記載のカメラシステムを有し、
前記立体被写体は、人間の歯であり、
前記基準色立体物は、前記人間の歯と類似の、半透明性、光散乱性及び乳白色の色味を備えていることを特徴とする歯科カメラシステム。 - 請求項1〜19のいずれか1項に記載のカメラシステムを有し、
前記立体被写体は、人間の皮膚であり、
前記基準色立体物は、前記人間の皮膚と類似の、半透明性又は不透明性、光散乱性、及び乳白色又は肌色の色味の少なくとも1つを備えていることを特徴とする肌計測カメラシステム。 - 予め、基準測色値がそれぞれ付与された、複数の基準色立体物を、それぞれ撮影して得られた画像データと、これに対応する前記基準測色値とからそれぞれ算出された複数の変換関係が、前記基準色立体物の撮影における照明幾何学条件を含む複数の照明条件にそれぞれ関連付けられた、複数の立体色プロファイルを格納するデータベースと、
このデータベースに格納された前記複数の立体色プロファイルの中から、前記立体被写体の撮影時の前記照明条件に基づいて、この照明条件に対応する立体色プロファイルを選択する選択部と、
この選択部によって選択された前記立体色プロファイルに基づいて、撮影された前記立体被写体の撮影画像の前記画像データから測色値への色変換を行う色変換部を有することを特徴とする色変換装置。 - 予め、基準測色値が付与された、前記立体被写体の類似色の1色以上の基準色立体物に対して、撮影時における照明幾何学条件を含む複数の照明条件が関連付けられた複数の立体色補正プロファイルを格納するデータベースと、
前記立体被写体の撮影時の前記照明条件に基づいて、前記データベースに格納された前記複数の立体色補正プロファイルの中から、対応する立体色補正プロファイルを選択する選択部と、
予め基準測色値が付与された複数の平面色票を撮影して得られた画像データと、前記基準測色値とから算出された変換関係、及び前記選択部によって選択された前記立体色補正プロファイルに基づいて、撮影された前記立体被写体の撮影画像の前記画像データから測色値への色変換を行う色変換部を有することを特徴とする色変換装置。 - 予め、基準測色値がそれぞれ付与された、複数の基準色立体物をそれぞれ撮影して得られた画像データと、これに対応する前記基準測色値とからそれぞれ算出された複数の変換関係が、前記基準色立体物の撮影における照明幾何学条件を含む複数の照明条件にそれぞれ関連付けられた、複数の立体色プロファイルを格納するデータベースを作成しておき、
立体被写体を撮影して画像データを取得し、
前記データベースに格納された前記複数の立体色プロファイルの中から、前記立体被写体の撮影時の前記照明条件に基づいて、この照明条件に対応する立体色プロファイルを選択し、
選択された前記立体色プロファイルに基づいて、撮影された前記立体被写体の撮影画像の前記画像データから測色値への色変換を行うことを特徴とする色変換方法。 - 予め、基準測色値が付与された、立体被写体の類似色の1色以上の基準色立体物に対して、撮影時における照明幾何学条件を含む複数の照明条件が関連付けられた複数の立体色補正プロファイルを格納するデータベースを作成しておき、
前記立体被写体を撮影して画像データを取得し、
前記立体被写体の撮影時の前記照明条件に基づいて、前記データベースに格納された前記複数の立体色補正プロファイルの中から、対応する立体色補正プロファイルを選択し、
予め基準測色値が付与された複数の平面色票を撮影して得られた画像データと、前記基準測色値とから算出された変換関係、及び選択された前記立体色補正プロファイルに基づいて、撮影された前記立体被写体の撮影画像の前記画像データから測色値への色変換を行うことを特徴とする色変換方法。 - コンピュータに、請求項24又は25に記載の色変換方法の各ステップを手順として実行させるための色変換プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013232192A JP6254826B2 (ja) | 2012-11-09 | 2013-11-08 | カメラシステム、これに用いられる色変換装置及び方法並びに色変換プログラム |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012247895 | 2012-11-09 | ||
JP2012247895 | 2012-11-09 | ||
JP2013158950 | 2013-07-31 | ||
JP2013158950 | 2013-07-31 | ||
JP2013232192A JP6254826B2 (ja) | 2012-11-09 | 2013-11-08 | カメラシステム、これに用いられる色変換装置及び方法並びに色変換プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015046142A true JP2015046142A (ja) | 2015-03-12 |
JP2015046142A5 JP2015046142A5 (ja) | 2016-11-04 |
JP6254826B2 JP6254826B2 (ja) | 2017-12-27 |
Family
ID=50684736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013232192A Active JP6254826B2 (ja) | 2012-11-09 | 2013-11-08 | カメラシステム、これに用いられる色変換装置及び方法並びに色変換プログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US9787965B2 (ja) |
EP (1) | EP2919185A4 (ja) |
JP (1) | JP6254826B2 (ja) |
KR (1) | KR101660323B1 (ja) |
CN (1) | CN104823213B (ja) |
WO (1) | WO2014073642A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018534025A (ja) * | 2015-10-06 | 2018-11-22 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 生体のバイタルサイン関連情報を取得するデバイス、システム及び方法 |
JP2019153931A (ja) * | 2018-03-02 | 2019-09-12 | 株式会社リコー | 測定装置、該測定装置における測色換算用パラメータの設定方法、該測定装置によって検査された工業製品 |
JP2020167563A (ja) * | 2019-03-29 | 2020-10-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2022130308A (ja) * | 2021-02-18 | 2022-09-06 | イボクラール ビバデント アクチェンゲゼルシャフト | 歯色を判定する方法 |
US11494945B2 (en) | 2018-09-06 | 2022-11-08 | Shiseido Company, Ltd. | Image analysis device, image analysis method, and program |
US11557056B2 (en) | 2019-12-06 | 2023-01-17 | Canon Kabushiki Kaisha | Image-capturing control apparatus, image-capturing control method, and storage medium for evaluating appearance of object |
JP2023056033A (ja) * | 2016-04-22 | 2023-04-18 | フィットスキン インコーポレイテッド | 電子装置を用いた皮膚分析のためのシステムおよび方法 |
US11816873B2 (en) | 2018-09-06 | 2023-11-14 | Shiseido Company, Ltd. | Image analysis device, image analysis method, and program |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10893814B2 (en) | 2015-10-06 | 2021-01-19 | Koninklijke Philips N.V. | System and method for obtaining vital sign related information of a living being |
US10664965B2 (en) * | 2016-10-31 | 2020-05-26 | Graftek Imaging Inc. | Digital color assessment |
FI20175247A (fi) | 2017-03-17 | 2018-09-18 | Planmeca Oy | Hammashoitokoneen operaatiovalaisin |
EP3384830A1 (en) * | 2017-04-05 | 2018-10-10 | Koninklijke Philips N.V. | Skin gloss measurement which is sensor angle rotation independent |
EP3384829A1 (en) | 2017-04-05 | 2018-10-10 | Koninklijke Philips N.V. | Skin gloss measurement for quantitative estimation of skin gloss |
EP3668077B1 (en) * | 2017-08-09 | 2023-08-02 | FUJIFILM Corporation | Image processing system, server device, image processing method, and image processing program |
JP2019185730A (ja) * | 2018-03-30 | 2019-10-24 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR102508788B1 (ko) * | 2018-10-05 | 2023-03-10 | 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 | 입체적인 이미지의 쌍들을 수정하는 방법 및 장치 |
EP3685796B1 (en) * | 2019-01-23 | 2024-04-17 | Sirona Dental Systems GmbH | Computer implemented method for customized coloration of dental restorations, device thereof, and dental restoration |
CN110478075A (zh) * | 2019-07-02 | 2019-11-22 | 北京大学口腔医学院 | 一种前牙美学色彩的虚拟预测与显示方法 |
WO2021106192A1 (ja) * | 2019-11-29 | 2021-06-03 | 日本電気株式会社 | 肌色チャート及びその製造方法 |
WO2021111736A1 (ja) * | 2019-12-06 | 2021-06-10 | パナソニックIpマネジメント株式会社 | 撮影方法および撮影装置 |
KR102499875B1 (ko) * | 2020-02-05 | 2023-02-27 | 김현삼 | 인공치아의 색재현장치 및 이를 이용한 인공치아의 색재현방법 |
CN113057583A (zh) * | 2021-03-09 | 2021-07-02 | 上海中医药大学 | 舌象图像颜色校正方法 |
CN113096072B (zh) * | 2021-03-18 | 2022-08-30 | 武汉纺织大学 | 一种色织纱线色彩体系构建方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1185952A (ja) * | 1997-09-09 | 1999-03-30 | Olympus Optical Co Ltd | 色再現装置 |
JP2005181038A (ja) * | 2003-12-18 | 2005-07-07 | Olympus Corp | 反射特性測定装置とそれを用いた高色再現デザインシステム及び反射特性測定方法 |
JP2007190370A (ja) * | 2005-12-19 | 2007-08-02 | Olympus Corp | 画像合成装置およびその方法並びにプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2588656B1 (fr) | 1985-10-16 | 1990-02-09 | Bertin & Cie | Appareil de spectro-colorimetrie a fibres optiques |
JPH04367658A (ja) | 1991-06-14 | 1992-12-18 | Olympus Optical Co Ltd | 歯のシェードガイド及びこれを用いた歯科用補綴物の色彩調整方法 |
JP3713321B2 (ja) * | 1995-12-19 | 2005-11-09 | オリンパス株式会社 | カラー画像記録再生システム及び画像カラー画像記録再生方法 |
JP2002529122A (ja) * | 1998-11-03 | 2002-09-10 | シェード アナライジング テクノロジーズ インコーポレイテッド | 歯のシェードを解析するシステムならびに方法 |
DE1207386T1 (de) * | 2000-11-20 | 2003-05-28 | Dow Global Technologies, Inc. | Verfahren zum Charakterisieren des Aussehens eines Gegenstandes, zum Vorhersagen des Aussehens eines Gegenstandes und zum Herstellen eines Gegenstandes mit vorbestimmtem Aussehen, das optional auf Grundlage eines Referenzobjektes bestimmt wurde |
US6977650B2 (en) * | 2001-04-24 | 2005-12-20 | E. I. Dupont De Nemours And Company | Process for generating a computer image of a coated three-dimensional object |
CN1672021A (zh) | 2002-07-26 | 2005-09-21 | 奥林巴斯株式会社 | 图像处理系统 |
JP2005117612A (ja) * | 2003-09-18 | 2005-04-28 | Fuji Photo Film Co Ltd | 画像処理方法および装置 |
JP2005122706A (ja) * | 2003-09-25 | 2005-05-12 | Fuji Photo Film Co Ltd | 形状診断装置、形状診断方法、及びプログラム |
JP2005201693A (ja) * | 2004-01-13 | 2005-07-28 | Olympus Corp | 色票処理装置、色票処理方法及び色票処理プログラム |
WO2005124302A1 (ja) * | 2004-06-17 | 2005-12-29 | Digital Fashion Ltd. | 画像処理プログラム、画像処理装置、及び画像処理方法 |
US7319529B2 (en) * | 2004-06-17 | 2008-01-15 | Cadent Ltd | Method and apparatus for colour imaging a three-dimensional structure |
JP2008302076A (ja) * | 2007-06-08 | 2008-12-18 | Olympus Corp | 歯科用色見本および歯科用色見本ユニット |
FR2975804B1 (fr) * | 2011-05-27 | 2022-06-17 | Lvmh Rech | Procede de caracterisation du teint de la peau ou des phaneres |
-
2013
- 2013-11-08 EP EP13853936.6A patent/EP2919185A4/en not_active Withdrawn
- 2013-11-08 KR KR1020157011685A patent/KR101660323B1/ko active IP Right Grant
- 2013-11-08 WO PCT/JP2013/080251 patent/WO2014073642A1/ja active Application Filing
- 2013-11-08 JP JP2013232192A patent/JP6254826B2/ja active Active
- 2013-11-08 CN CN201380061073.5A patent/CN104823213B/zh active Active
-
2015
- 2015-05-08 US US14/707,565 patent/US9787965B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1185952A (ja) * | 1997-09-09 | 1999-03-30 | Olympus Optical Co Ltd | 色再現装置 |
JP2005181038A (ja) * | 2003-12-18 | 2005-07-07 | Olympus Corp | 反射特性測定装置とそれを用いた高色再現デザインシステム及び反射特性測定方法 |
JP2007190370A (ja) * | 2005-12-19 | 2007-08-02 | Olympus Corp | 画像合成装置およびその方法並びにプログラム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018534025A (ja) * | 2015-10-06 | 2018-11-22 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 生体のバイタルサイン関連情報を取得するデバイス、システム及び方法 |
JP2023056033A (ja) * | 2016-04-22 | 2023-04-18 | フィットスキン インコーポレイテッド | 電子装置を用いた皮膚分析のためのシステムおよび方法 |
JP2019153931A (ja) * | 2018-03-02 | 2019-09-12 | 株式会社リコー | 測定装置、該測定装置における測色換算用パラメータの設定方法、該測定装置によって検査された工業製品 |
US11494945B2 (en) | 2018-09-06 | 2022-11-08 | Shiseido Company, Ltd. | Image analysis device, image analysis method, and program |
US11816873B2 (en) | 2018-09-06 | 2023-11-14 | Shiseido Company, Ltd. | Image analysis device, image analysis method, and program |
JP2020167563A (ja) * | 2019-03-29 | 2020-10-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP7321738B2 (ja) | 2019-03-29 | 2023-08-07 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US11557056B2 (en) | 2019-12-06 | 2023-01-17 | Canon Kabushiki Kaisha | Image-capturing control apparatus, image-capturing control method, and storage medium for evaluating appearance of object |
JP2022130308A (ja) * | 2021-02-18 | 2022-09-06 | イボクラール ビバデント アクチェンゲゼルシャフト | 歯色を判定する方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150245009A1 (en) | 2015-08-27 |
KR101660323B1 (ko) | 2016-09-29 |
EP2919185A1 (en) | 2015-09-16 |
CN104823213A (zh) | 2015-08-05 |
WO2014073642A1 (ja) | 2014-05-15 |
CN104823213B (zh) | 2018-06-05 |
US9787965B2 (en) | 2017-10-10 |
EP2919185A4 (en) | 2016-07-13 |
JP6254826B2 (ja) | 2017-12-27 |
KR20150068423A (ko) | 2015-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6254826B2 (ja) | カメラシステム、これに用いられる色変換装置及び方法並びに色変換プログラム | |
US7064830B2 (en) | Dental color imaging system | |
JP6045130B2 (ja) | 歯色調マッピングのための方法 | |
US7454046B2 (en) | Method and system for analyzing skin conditions using digital images | |
JP6039008B2 (ja) | 着色評価装置及び着色評価方法 | |
JP2012020130A (ja) | 歯色調マッピング | |
Caglar et al. | Could digital imaging be an alternative for digital colorimeters? | |
JP2015046142A5 (ja) | ||
Sohaib et al. | Colour quality of facial prostheses in additive manufacturing | |
KR20080070070A (ko) | 치과용 측색 장치 | |
JP2006254309A (ja) | 撮影システム | |
JP2007047045A (ja) | 画像処理装置及び方法並びにプログラム | |
US11094085B2 (en) | System comprising a color selection aid and a method for determining tooth colors | |
JP2006285763A (ja) | 被写体についての陰影のない画像を生成する方法および装置、並びにそれに用いる白色板 | |
JP2007190371A (ja) | 歯科用測色装置、システム、方法、およびプログラム | |
Beneducci et al. | Dental shade matching assisted by computer vision techniques | |
JP2022006624A (ja) | 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置 | |
JP2006081654A (ja) | 画像生成方法およびその装置 | |
JP2006030014A (ja) | 色推定システム及び色推定方法 | |
CN109819150B (zh) | 一种多通道图像采集装置以及采集多通道图像的方法 | |
WO2019244254A1 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム | |
JP2009053160A (ja) | 歯科用測色装置 | |
Vasudev et al. | Effects of smartphone sensor characteristics on dermatoscopic images: a simulation study | |
Nayak et al. | Current trends in digital shade matching–A scoping review | |
ILLUMINATE | INCLUDE AN INTRA-ORA |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160915 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160915 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6254826 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |