JP2003233810A - 画像生成方法及び画像生成システム - Google Patents

画像生成方法及び画像生成システム

Info

Publication number
JP2003233810A
JP2003233810A JP2002032652A JP2002032652A JP2003233810A JP 2003233810 A JP2003233810 A JP 2003233810A JP 2002032652 A JP2002032652 A JP 2002032652A JP 2002032652 A JP2002032652 A JP 2002032652A JP 2003233810 A JP2003233810 A JP 2003233810A
Authority
JP
Japan
Prior art keywords
image
subject
light
color
color sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002032652A
Other languages
English (en)
Other versions
JP4032763B2 (ja
Inventor
Kenji Sugimoto
賢司 杉本
Kaori Nagai
香織 永井
Satoshi Kusano
諭 草野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taisei Corp
Pioneer Corp
Original Assignee
Taisei Corp
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taisei Corp, Pioneer Electronic Corp filed Critical Taisei Corp
Priority to JP2002032652A priority Critical patent/JP4032763B2/ja
Priority to US10/356,530 priority patent/US7215825B2/en
Priority to EP03290313A priority patent/EP1335586A3/en
Publication of JP2003233810A publication Critical patent/JP2003233810A/ja
Application granted granted Critical
Publication of JP4032763B2 publication Critical patent/JP4032763B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Color Image Communication Systems (AREA)

Abstract

(57)【要約】 【課題】 絵画等の保護対象物に手を加えることなく、
この保護対対象物を精度よく復元することを可能にす
る。 【解決手段】 復元システムは、保護対象物100近傍
に配置され、グレーチャートが表面に付されている色補
正器30と、通常光よりも低い光量の光を保護対象物1
00及び色補正器30に照射する光源2と、光源2によ
り光が照射されている保護対象物100及び色補正器3
0を撮像して撮像画像を得るカメラ1と、カメラ1が得
た撮像画像中のグレーチャートを参照して当該撮像画像
中の保護対象物100部分の色を変換することで通常光
下で撮像されたと同様な保護対象物100の画像データ
を生成する画像処理機能を有するパーソナルコンピュー
タ10とを備えている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、被写体を撮像した
撮像画像データに基づいて画像データを生成する画像生
成方法及び画像生成システムに関する。
【0002】
【従来の技術】従来、古い絵画等の復元或いは再生等し
て保護していく場合、その保護対象物を目視で確認し
て、手作業により復元等がなされていた。古い絵画とし
ては、屏風絵、巻物の絵、襖絵、天井の絵等が挙げられ
る。復元する際に修復個所の色や形状(塗布範囲)が明
確でない場合には、その個所に使用されている色の顔料
を分析して、同種の顔料を作り、それを塗り絵画を修復
していた。また、絵柄の輪郭が不明の場合には、文献等
を参照して輪郭を特定して絵画を修復していた。
【0003】
【発明が解決しようとする課題】ところで、前述したよ
うな修復方法では、修復を行う技術者の技能に任せるこ
とになるので、形状や色を元通りに正確に復元できない
場合がある。また、復元の後には、再度破損が生じた場
合、同一の復元作業を行う必要がある。すなわち、現物
を修復する限り、修復後も常に経時変化が伴うのであ
り、将来的に修復する必要性がまた発生する。
【0004】また、全体の一部分のみを修復したので
は、他の素材、色等の経時変化が発生している場合に
は、修復個所と元々ある個所とで色合いに違いが発生す
る。すなわち、実際に使用されている顔料を分析して新
たに顔料を作っても、その新たな顔料からは経時変化に
対応した色合いを出すことはできない。また、その保護
対象物そのものを修復するので、同一のものを残すこと
ができない。例えば、保護対象物が伝統的財産である場
合には、手を加えることは避けたいところである。
【0005】また、保護対象物を撮像することで、保護
対象物を写真或いは印刷物にして、その写真等で保護対
象物を修復することも考えられる。しかし、保護対象物
は比較的暗い場所に設置或いは保管されている場合が多
く、撮像の際には、保護対象物に光を照射する必要があ
る。また、保護対象物を確実に撮像するには、通常光の
光量以上の光を照射する必要がある。しかしながら、通
常光或いはそれ以上の光量の光を照射してしまうと、保
護対象物を照射光の熱線や紫外線で傷めてしまうという
問題が生じてしまう。
【0006】そこで、本発明は、前述の実情に鑑みてな
されたものであり、絵画等の保護対象物に手を加えるこ
となく、この保護対象物を精度よく復元することを可能
にする画像生成方法及び画像生成システムを提供するこ
とを目的としている。
【0007】
【課題を解決するための手段】前記問題を解決するため
に、請求項1の発明に係る画像生成方法は、被写体近傍
に色見本を配置し、通常光よりも低い光量の光を前記被
写体及び色見本に照射しながら、当該被写体及び色見本
を撮像し、撮像して取得した撮像画像中の前記色見本を
参照して当該撮像画像中の前記被写体部分の色を変換す
ることで通常光下で撮像されたと同様な前記被写体の画
像データを生成することを特徴としている。
【0008】また、請求項2記載の発明に係る画像生成
方法は、請求項1記載の発明に係る画像生成方法におい
て、前記被写体が発する赤外線を赤外線画像として取り
込み、前記赤外線画像に基づいて前記被写体の画像を補
正することを特徴としている。また、請求項3記載の発
明に係る画像生成システムは、被写体近傍に配置される
色見本と、通常光よりも低い光量の光を前記被写体及び
色見本に照射する光照射手段と、前記光照射手段により
光が照射されている前記被写体及び色見本を撮像し、撮
像画像を得る撮像手段と、前記撮像手段が得た前記撮像
画像中から前記色見本を特定する色見本特定手段と、前
記色見本特定手段が得た色見本を参照して前記撮像画像
中の前記被写体の色を変換することで通常光下で撮像さ
れたと同様な前記被写体の画像データを生成する画像処
理手段と、を備えていることを特徴としている。
【0009】また、請求項4記載の発明に係る画像生成
システムは、請求項3記載の発明に係る画像生成システ
ムにおいて、前記色見本がグレーチャートであることを
特徴としている。また、請求項5記載の発明に係る画像
生成システムは、請求項3又は4に記載の発明に係る画
像生成システムにおいて、前記画像処理手段が、前記被
写体に照射された照射光の明暗のばらつきを補正する補
正手段を備えていることを特徴としている。
【0010】また、請求項6記載の発明に係る画像生成
システムは、請求項3乃至5のいずれかに記載の発明に
係る画像生成システムにおいて、前記被写体が発する赤
外線を赤外線画像として取り込む赤外線画像入力手段を
備えており、前記画像処理手段が、前記赤外線画像入力
手段から入力された前記赤外線画像に基づいて前記被写
体の画像を補正する赤外線画像補正手段を備えているこ
とを特徴としている。
【0011】また、請求項7記載の発明に係る画像生成
システムは、請求項3乃至6のいずれかに記載の発明に
係る画像生成システムにおいて、前記画像処理手段が生
成した画像データに基づいて画像を印刷する印刷手段を
備えていることを特徴としている。ここで、請求項1及
び3記載の発明では、通常光よりも低い光量の光を照射
しながら被写体及び色見本を撮像して撮像画像を取得
し、取得した撮像画像中の色見本を参照して当該撮像画
像中の前記被写体部分の色を変換することで通常光下で
撮像されたと同様な前記被写体の画像データを生成して
いる。すなわち、撮像のための被写体への照射光量を抑
えることで被写体が傷んでしまうことを防止しつつ、通
常光下で撮像されたと同じ被写体の画像データを得てい
る。
【0012】また、請求項2及び6記載の発明では、被
写体が発する赤外線の赤外線画像に基づいて被写体の画
像を補正している。例えば、絵画において同一顔料を使
用している領域からの赤外線の受光量は略同じになる。
このようなことから、請求項2及び6記載の発明では、
赤外線画像に基づいて、絵画である被写体においてかす
れている個所を特定して、被写体の画像を補正してい
る。
【0013】また、請求項4記載の発明では、色見本と
してグレーチャートを使用している。グレーチャートに
より撮像画像を調整して通常光下で撮像されたと同様な
被写体の画像データを得ている。また、請求項5記載の
発明では、被写体に照射された照射光の明暗のばらつき
を補正している。
【0014】通常、線光源或いは点光源である場合に
は、被写体上で照射光のばらつきが発生する。例えば、
光は一様に被写体上に照射されない。請求項5記載の発
明では、このように発生する被写体上での照射光の明暗
のばらつきを補正している。また、請求項7記載の発明
では、生成した画像データに基づいて画像を印刷してい
る。ここで、印刷された画像は、通常光下で撮像された
と同じ前記被写体の画像になる。
【0015】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照しながら詳細に説明する。この実施の形態は、本
発明に係る画像処理システムを備え、絵画等の保護対象
物を電子データ上で復元するように構成した復元システ
ムである。図1及び図2は、復元システムの構成を示
す。復元システムは、図1及び図2に示すように、絵画
等の保護対象物を撮像する撮像手段とされるカメラ1
と、保護対象物に光を照射する照射手段とされる複数の
光源2と、カメラ1の撮像画像データを処理するパーソ
ナルコンピュータ10とを備えている。そして、この復
元システムでは、保護対象物100とともに撮像される
色補正器30を備えている。
【0016】ここで、保護対象物100は、屏風絵、巻
物の絵、襖絵、天井の絵等の経時劣化している絵画であ
る。例えば、屏風絵は、室内に立てつけた状態のまま
で、復元システムのカメラ1により撮像される。また、
色補正器30は、絵画を修復するための色の素材を提供
するものであり、例えば図3に示すように、略板状体で
あって、その表面に色見本とされるグレーチャート31
が付されている。
【0017】グレーチャート31は、格子状に区切られ
た領域、本実施の形態では4×6の領域に、白から黒ま
で階調的に変化される無彩色が塗られている。本実施の
形態では、グレーチャート31は、図3の上側から下側
にいくに従い色が濃くなり、また、右側から左側にいく
にしたがい色が濃くなっている。光源2は、例えば蛍光
灯である。蛍光灯は、省電力、低発熱であるという点で
白色灯等の他の光源より優れている。また、この光源2
は、光量の調節が可能とされている。一般的に照射光量
が少ないと撮像画像データの質(S/N)は悪いので、
被写体に照射する光量の調整は、質がどこまで許される
かという点やカメラ1の性能等を考慮して決定してい
る。
【0018】カメラ1は、被写体を撮像して撮像画像を
得ることができる。例えば、このカメラ1は、撮像画像
をデジタルデータとして得るデジタルカメラである。例
えば、撮像部は、CCD(Charge Coupled Device)に
より構成されている。また、カメラ1は、被写体をスキ
ャンして撮像画像をデジタルデータの撮像画像データと
して取り込む高解像度スキャンタイプのカメラである。
さらに、カメラ1は、光量に対する調整機能を有してお
り、撮影可能な照射光量に幅を有している。また、当
然、照射光量が一定の場合でも、使用するレンズや絞り
によって、撮影可能な照射光量には幅がある。
【0019】また、カメラ1は、撮像画像データを外部
機器に外部出力できるように構成されている。例えば、
外部出力手段として、着脱自在とされた記録媒体やオン
ラインによる外部出力端子を備えている。これにより、
カメラ1は、光源2により光が照射されている保護対象
物100を撮像して得た撮像画像データを外部出力手段
により外部機器とされるパーソナルコンピュータ10に
出力している。
【0020】パーソナルコンピュータ10は、本体20
及びモニタ11を備えている。パーソナルコンピュータ
10は、カメラ1からの撮像画像データを画像処理する
ように構成されている。本体部20は、図4に示すよう
に、当該パーソナルコンピュータ10の各部を制御する
CPU21と、各種データが記憶される記憶部22と、
画像処理を行う画像処理手段である画像処理部50と、
画像処理部50が画像処理の作業用領域として使用する
作業用メモリ24と、外部機器に対するデータの入出力
をするインターフェース(I/F)部25とを備えてい
る。
【0021】I/F部25は、外部機器であるカメラ
1、モニタ11、プリンタ41との間でデータの送受信
を行うことができる。例えば、カメラ1の撮像画像デー
タの外部出力手段が記録媒体により実現される場合に
は、I/F部25は、記録媒体着脱スロットを備えて、
この記録媒体着脱スロットに装着された記録媒体に記録
されている撮像画像データを記憶部22に記憶する。ま
た、I/F部25は、モニタ11に画像表示用データを
出力し、また、プリンタ41に印刷用データを出力す
る。ここで、プリンタ41は、カラープリンタである。
このプリンタ41は、印刷対象である保護対象物100
が前述したように屏風絵等になることから、高解像度プ
リンタであることが好ましい。
【0022】例えば、記憶部22には、各種データ、各
種プログラムが記憶されている。各種プログラムとして
は、当該パーソナルコンピュータ10が画像処理を行う
ためのアプリケーションプログラム等が挙げられる。画
像処理部50は、作業用メモリ24を使用して記憶部2
2に記憶されている撮像画像データについての画像処理
を行うように構成されている。この画像処理部50は、
図5に示すように、グレーチャート特定部51、グレー
チャートに基づく色補正部52、照射光の色補正部5
3、トーンカーブ調整部54及び修復部55を備えてい
る。
【0023】グレーチャート特定部51は、色見本特定
手段であり、保護対象物を含む撮像画像データの撮像画
像中からグレーチャートを特定する。グレーチャート3
1が特定パターンであることを利用して、例えば、グレ
ーチャート特定部51は、作業用メモリ24上に展開し
た撮像画像中から所定パターンの領域を検索してグレー
チャートを特定する。
【0024】グレーチャートに基づく色補正部52は、
グレーチャート特定部51が特定した撮像画像中のグレ
ーチャートにより撮像画像の色補正或いは色調整を行
う。グレーチャートの全ての階調が無彩色の階調として
得られるように色調整をする。例えば、次のように色補
正を行う。画像を作業用メモリ24に展開する。一方、
本体20の記憶部22に保持している基準のグレーチャ
ートと、前記特定したグレーチャートとを比較して、特
定した実際のグレーチャートが基準のグレーチャートに
一致するように、作業用メモリ24に展開している撮像
画像全体の色補正をする。これにより、結果的に、画像
全体が色補正されたものになり、取り込んだ画像が通常
光の下で観賞できるものと同等な画像として得られる。
【0025】また、照射光の色補正部53は、光源2の
特性に基因する照射光を考慮した色補正を行う。通常、
点光源或いは線光源からの光は、被写体上において一様
でなく照射される。これにより、被写体中心付近は明る
く、端にいくほど暗くなる、というように、被写体上に
明暗のばらつきが発生する。このようなことから、復元
システムでも、光源2を用いた場合でも同様な現象が発
生する。
【0026】このようなことから、照射光の色補正部5
3は、光源2に基因して被写体上での照射光量の明暗の
ばらつきを補正する。例えば、記憶部22に光源2につ
いての被写体上での照射パターンのデータを保持してお
り、照射光の色補正部53は、このデータを補正用デー
タとして用いて、実際に撮像して得た撮像画像データの
被写体上に発生している照射光量の明暗のばらつきを補
正する。
【0027】また、トーンカーブ調整部54は、グレー
チャートの各レベルをモニターしてトーンカーブ調整で
階調調整を行う。修復部55は、データ上の保護対象物
について修復処理を行う。例えば、修復の内容として
は、手あか、かび等を除去することや、破損により絵柄
を確認することができないような個所を修復すること等
が挙がられる。
【0028】例えば、パーソナルコンピュータ10は、
自動修復モードとして、自動的に修復したり、また、手
動修復モードとして、手動で修復可能にしたりすること
を可能にしている。修復部55は、自動修復モードの際
に機能するものであり、例えば、修復個所とこの修復個
所の周囲領域等の他の領域と比較して、補完する等して
修復を実施する。
【0029】また、手動修復モードにおける手動による
修復としては、例えば、モニター11に保護対象物の画
像を表示して、ユーザがマウス等の領域支持手段で修復
個所を指定するとともに、そのユーザの感等で色を加え
て修復することなどが挙げられる。そして、修復部55
は、赤外線画像補正手段として赤外線画像に基づく修復
部55aを備えており、この赤外線画像に基づく修復部
55aにより、赤外線撮影に基づいて修復をすることも
できる。この場合、カメラ1は、赤外線画像入力手段と
しての機能として、保護対象物100が発する赤外線に
基づいて赤外線画像データとして撮像画像を取り込むこ
とができるように構成されている。
【0030】修復部55は、例えば、前述したような通
常の撮像により得た撮像画像と、赤外線画像とを比較し
て、異なる部分があればこの異なる部分を保護対象物1
00の一部として修復する。このとき、撮像画像と赤外
線画像との比較は二値画像等として行う。なお、赤外線
画像を利用した修復の原理は、絵の具等の保護対象物1
00を形成する素材が熱の伝わり方が異なることによる
ものである。
【0031】CPU21は、本体部20の各構成部を含
めてパーソナルコンピュータ10の各部を制御する制御
手段である。すなわち例えば、前述したI/F25はこ
のCPU21に制御されて各データをモニタ11やプリ
ンタ41に出力している。以上のように、復元システム
が構成されている。次に、この復元システムによる復元
対象である保護対象物100の復元について説明する。
図6は、その復元手順を示す。
【0032】先ず、ステップS1において、図1及び図
2に示すように、色補正器30を保護対象物100の近
傍に設置し、続くステップS2において、光源2により
通常光よりも低い光量の光を色補正器30及び保護対象
物100に照射する。例えば、光量は、カメラ1が得る
画像の質が許される限界まで抑えるようにする。そし
て、ステップS3において、色補正器30及び保護対象
物100をカメラ1で撮影する。
【0033】図7は、スキャンタイプのカメラ1による
被写体の撮像画像の取り込み状態を示す。カメラ1は、
この図7中の矢印Y方向に、すなわち左右にスキャンし
ながら、下方向にスキャン位置を移動していき、保護対
象物100及び色補正器30を撮像画像として取り込ん
でいる。ここで、例えば、取り込んだ撮像画像データを
モニタ等で一旦確認して、撮像した画像に黒つぶれ、或
いは白つぶれがあるか否かを確認する。例えば、ここで
いうモニタは、カメラ1に一体とされている液晶モニタ
やカメラ1の出力に接続されているモニタ等である。
【0034】この確認において画像に黒つぶれや白つぶ
れがあるような場合には、オフセット調整或いは光量調
整をし、再度撮影をし、つぶれの生じていない画像を得
るようにする。このようにして撮影して得た撮像画像デ
ータは、カメラ1からパーソナルコンピュータ10にオ
ンライン或いは記録媒体を介して送られ、ステップS4
において、この撮像画像データに基づいてパーソナルコ
ンピュータ10の画像処理部50により画像処理が実行
される。
【0035】この復元システムでは、保護対象物を破損
しないようにする等の目的から、保護対象物100に光
源2から光を照射するものの、その光量をカメラ1によ
る撮像可能限界まで低くしている。よって、撮像画像か
らはそのままでは暗く、保護対象物100の絵柄等をそ
の撮像画像中から特定することはできない。このような
ことから、画像処理により通常光下で観賞されていると
同等な色まで撮像画像の色を調整している。なお、この
パーソナルコンピュータ10における画像処理手順につ
いては後で説明する。
【0036】画像処理を実施した後、ステップS5にお
いて、その画像データを保護対象物100の原画の画像
データとして本体20の記憶部22に保存する。これに
より、保護対象物100は、通常光下で撮像されたと同
様な状態の保護対象物として、電子データとされて記憶
部22に保存される。続くステップS6において、画像
処理部50の修復部55により、そのようにして得た画
像データ上で保護対象物100の修復処理を行う。すな
わち、画像データの撮像画像上で保護対象物を補正し、
保護対象物の修復を行う。
【0037】このとき、自動修復モードとして、自動的
に修復したり、また、手動修復モードとして、手動で修
復可能にしたりする。自動修復モードであれば、修復部
55が修復を実施し、手動修復モードであれば、ユーザ
による修復が実施される。また、修復内容は、例えば、
手あか、かび等の除去や、破損により絵柄を確認するこ
とができないような個所の修復等である。また、赤外線
画像に基づく修復を実施する。この赤外線画像の修復に
より、絵柄中において剥がれおちる等して不明瞭になっ
ている輪郭を明確なものとして修復することができる。
【0038】以上のようなにして修復された保護対象物
の画像データは、先に色補正等をして得た修復前の画像
データとは別データとして保存される。このように保存
された修復された保護対象物100の画像データは、例
えば、続くステップS7において、プリンタ41から紙
に印刷された絵画として出力できるようになる。次に、
前記ステップS4の画像処理部50による画像処理手順
について説明する。図8は、その画像処理手順を示す。
【0039】先ず、ステップS11において、撮像画像
を作業用メモリ24に展開して、グレーチャートを用い
た色の補正を行う。グレーチャートを用いた色の補正で
は、先ず、グレーチャート特定部51により、作業用メ
モリ24に展開されている撮像画像中からグレーチャー
トを特定する。そして、グレーチャートに基づく色補正
部52が、基準のグレーチャートと特定した実際のグレ
ーチャートとを比較して、実際のグレーチャートが基準
のグレーチャートに一致するように撮像画像の色補正を
する。これにより、結果的に、画像全体が色調整された
ものになり、取り込んだ画像が通常光の下で観賞できる
ものと同等な画像として得られる。
【0040】このような色補正を実施した後、ステップ
S12において、トーンカーブ調整部54が、グレーチ
ャートの各レベルをモニターしてトーンカーブ調整で階
調調整を行う。その後、ステップS13において、照射
光の色補正部53が、光源2に基因した被写体上での照
射光量の明暗のばらつきを補正する。このように前記ス
テップS4における画像処理を行い、画像処理により得
た画像データが前記ステップS5において原画の画像デ
ータとして保存される。
【0041】以上、本発明が適用された実施の形態の復
元システムの説明である。前述したように、復元システ
ムでは、光源2の光量を極力抑えて保護対象物100を
撮像している。これにより、強い光を照射することで保
護対象物100を傷めてしまうことを防止して撮像する
ことができる。保護対象物100は、例えば歴史ある屏
風の絵、巻物の絵、襖絵、或いは天井の絵であり、これ
らを傷めてしまうことなく撮像することができる。
【0042】また、低発熱である蛍光灯を光源2として
用いることで、光を照射することで保護対象物100が
傷んでしまうことをさらに効果的に防止することができ
る。また、復元システムは、保護対象物100を押えつ
けたり、移動したりすることなく撮像しているので、押
えつけや移動等により保護対象物100を傷めてしまう
ことを防止することができる。
【0043】また、前述したように、復元システムで
は、色見本としてグレーチャートを用いて色補正をして
いる。例えば、光源の光量を極力抑えた状態で、保護対
象物を撮像した場合、白黒のトーンに近い状態で撮像画
像が得られるようになる。このようなことから、グレー
チャートを用いて色補正をすることで、光量を極力抑え
て撮像するという条件下でも、通常光で得られるような
保護対象物の画像を精度をよくして得ることができる。
【0044】また、前述したように、保護対象物100
に照射された照射光の明暗のばらつきを撮像画像データ
上で補正している。これにより、撮像画像データ上での
通常光下の保護対象物の再現を精度よくすることができ
る。また、前述したように、保護対象物100が発する
赤外線を赤外線画像として得て、その赤外線画像を用い
て保護対象物100を修復している。これにより、保護
対象物100で絵柄がかすれたりしている部分を修復す
ることができる。
【0045】また、復元システムでは、グレーチャート
を利用して色調整をしているものの完全に通常光下で観
賞できる状態にすることができないこともある。しか
し、赤外線画像を利用すれば、同一顔料からなる領域の
境界を特定することができるので、これにより、同一顔
料からなる領域の境界が不明瞭である場合でもその領域
境界まで明確に再現することができるようになる。
【0046】例えば、図9中(A)は、修復前の絵画
で、図9中(B)は修復後の絵画である。図9中(A)
の修復前の絵画には、点線で示すように、かすれていた
り補正できなかったり、グレーチャートを利用して色調
整をしているものの完全に通常光下で観賞できる状態に
することができない輪郭部分201があるが、赤外線画
像に基づいて修復することで、図9中(B)に示すよう
に、その輪郭部分201を修復することができるように
なる。
【0047】また、復元システムでは、画像データ上で
修復して得た保護対象物の修復後の保護対象物の画像デ
ータを保存することができる。すなわち、復元システム
では、保護対象物そのものに手を加えることなく、修復
後の保護対象物を得ることができる。よって、現状の保
護対象物を残しつつ、印刷物或いはモニタに表示される
ものとしてではあるが、復元された保護対象物も得るこ
とができる。さらに、このように、画像データすること
で、いわゆる電子図書館等に保存することができるよう
になり、公衆が利用することが修復後の保護対象物を閲
覧するなど、保護対象物の画像を広く利用することがで
きるようになる。
【0048】また、復元システムは、保護対象物を貴重
本にすることもできる。すなわち例えば、復元システム
は、図書館等の蔵書をデータとして読み込むために使用
することができる。例えば、蔵書には、文字情報だけの
蔵書がある。この場合、文字情報だけなのでスキャンニ
ングは容易であり、メモリ量も少なくて済む。しかし、
絵画や写真情報を含む蔵書の場合、メモリー量が多くな
るため、通常のメモリサーバでは対応できず、この場合
には、例えばデータ圧縮と解凍を含めたシステムと巨大
メモリサーバが必要になる。
【0049】しかしながら、絵画や写真情報を含む蔵書
でさらに大変なのは、歴史のある貴重本と呼ばれる蔵書
であり、このような蔵書は、スキャンニングマシンの強
い光に当たると変色や退色をしてしまう。また、そのよ
うな貴重本は、製本のための接着剤や綴じ紐が既に劣化
している場合が多い。その一方、一般的なスキャンニン
グマシンは、スキャンニング対象をガラス面に押し当て
る必要がある。しかし、そのように製本のための接着剤
や綴じ紐が劣化している貴重本をガラス面に強く押し当
ててしまうと、その力で貴重本がつなぎ目で裂けてしま
う場合がある。
【0050】以上のようなことから、貴重本を劣化させ
ないような光で、且つ非接触で貴重本から高画質でデー
タを取り込むことが条件になる。ところで、原画の材質
を特定するための手段として、エックス線分析によるも
のがある。この場合、材質が木材や金属等はいいが、染
料等はエックス線で被爆してしまい、簡単に破壊するの
で、原画の損傷をまぬがれない。このようなことから、
エックス線の遮蔽箱が必要になる。
【0051】材質の分析では、徴量粉体からエックス線
分折を行う通常のやり方によりエネルギーの吸収スペク
トルから材料を確認でき、金属成分を確定できるほうが
絵画を損傷しないことは明らかである。エックス線分析
の短所は、こうした原画の損傷だけでなく、分析対象物
の寸法に制限があることである。すなわち、エックス線
分析では、大きなものは対応できない。また、エックス
線分析では、立体的なフレスコ画のようなものにも対応
できない。
【0052】本発明が適用された復元システムは、これ
らの問題点を解決することができる。すなわち、復元シ
ステムは、高精度で貴重本を傷めないで電子データの形
態としての蔵書が可能になる。特に、貴重本には値段が
つけられないものもあり、このような貴重本には、復元
システムは効果的な手段となる。また、古い絵巻物の保
存や復元は技術的な配慮だけでなく、美術的な認識も大
切である。すなわち例えば、現在、色が落ちてかすれた
色や柄を重みと歴史と感じさせること、復元によって完
成時の美しさを取り戻すことである。復元システムは、
これらを実現できるものであり、絵師の腕の影響を受け
ないで、原画に忠実な表現が可能になる。通常の復元模
写はどうしても描き手の影響を受けるが、復元システム
は、このような影響もなく、原画を忠実に表現できる。
【0053】また、復元システムは、換言すれば、見え
ないものが空中デジタルスキャン(或いは空間デジタル
スキャン)・赤外線撮影・デジタルトーン処理・画像解
析・蛍光照射等により、肉眼で見えるようにしているの
である。染料系の絵の具は、太陽光に含まれる紫外線に
よってすぐに破壊される。群青と呼ばれるフタロシニア
ン系ブルーは紫外線やアルカリによってイオンが変化し
て赤系統に変化したりする。最近では、耐久性の高いコ
バルトブルーにしないと保存力がない。しかし、様々な
技術を駆使して再現するものの、復元についての考え
は、復元するために原画が損傷される危険性があるなら
ば、そのままにして将来技術が開発するまで待つという
のが基本にある。
【0054】こうした意味で、いわゆる空中スキャンニ
ングにより復元を実現する復元システムでは、光を弱く
して、原画を傷つけず、立体対象物でも、寸法が大きい
対象物でも復元できるという点で他に類をみない復元手
法を提供している。なお、本発明は前述の実施の形態と
して適用されることに限定されるものではない。
【0055】すなわち、前述の実施の形態では、色見本
としてグレーチャートを挙げて説明したが、これに限定
されるものではなく、他の物を用いてもよい。この場
合、光源の光量を極力抑えた状態で、保護対象物を撮像
しており、白黒のトーンに近い状態で撮像画像が得られ
るようになるので、このような画像から色の補正をする
ことができる色見本であることが前提になる。例えば、
この条件を満たす限りにおいて、例えば複数の有彩色か
らなるカラーパレットを色見本として用いてもよい。
【0056】また、前述の実施の形態では、光源として
蛍光灯を挙げて説明したが、これに限定されるものでは
ない。例えば、低発熱のもの或いは保護対象物を傷めな
いようなものを光源として用いてもよい。また、前述の
実施の形態では、保護対象物が固定されている場合につ
いて説明しているが、これに限定されるものではない。
例えば、図10に示すように、固定されているカメラ1
に対して保護対象物を巻き取る等してカメラ1に対して
相対移動させて保護対象物を撮像してもよい。
【0057】また、前述の実施の形態では、赤外線撮影
に基づいて修復をする場合にカメラ1がその機能を併有
する構成として説明したが、これに限定されるものでは
ない。例えば、復元システムは、カメラ1とは別個に赤
外線撮影専用の撮像装置を備えて、この撮像装置により
得た赤外線画像データに基づいて赤外線撮像に基づいた
修復を実施するようにしてもよい。
【0058】また、前述の実施の形態では、撮像画像中
のグレーチャートの特定を画像処理部50が自動的に行
う場合について説明したが、これに限定されるものでは
ない。例えば、撮像画像をモニタ11に表示して、ユー
ザがグレーチャートをマウス等の指示手段を利用してそ
の撮像画像中にあるグレーチャートを特定するようにし
てもよい。この場合、色補正部52は、ユーザに特定さ
れた画像部分をグレーチャートとして色補正を行うよう
にする。
【0059】なお、撮像画像中のグレーチャートの特定
を自動的に行えば、画像処理時間を短くすることができ
るという効果はある。また、前述の実施の形態では、光
源として蛍光灯を挙げているが、光源が蛍光灯と赤外線
照射ランプとであってもよい。この場合、蛍光灯と赤外
線ランプを使い分けることで、赤外線画像を確実に得る
ことができる。
【0060】また、前述の実施の形態では、画像処理手
段がパーソナルコンピュータ10の処理機能としての画
像処理部50により実現されているが、これに限定され
るものではない。例えば、画像処理手段は、専用の装置
として構成されているものでもよい。さらに、パーソナ
ルコンピュータ10がそのように画像処理に使用するプ
ログラムは、流通可能な記録媒体に記録されているもの
であってもよい。
【0061】(画像生成方法)以上説明した復元システ
ムにおいては、以下のような画像生成方法が実現されて
いる。すなわち、復元システムでは、被写体近傍に色見
本を配置し、通常光よりも低い光量の光を前記被写体及
び色見本に照射しながら、当該被写体及び色見本を撮像
し、撮像して取得した撮像画像中の前記色見本を参照し
て当該撮像画像中の前記被写体部分の色を変換すること
で通常光下で撮像されたと同様な前記被写体の画像デー
タを生成している。
【0062】
【発明の効果】以上説明したように、請求項1及び3記
載の発明によれば、撮像のための被写体への照射光量を
抑えつつ、通常光下で撮像されたと同じ被写体の画像デ
ータを得ているので、絵画等の保護対象物に手を加える
ことなく、この保護対対象物を精度よく復元することが
できるという効果がある。さらに、撮像する際の光量を
抑えているので、保護対象物を傷つけてしまうことを防
止できるという効果がある。
【0063】また、請求項2及び6記載の発明によれ
ば、絵画である被写体においてかすれている個所を特定
して撮像画像を補正すること等ができ、自動的に被写体
を復元することができるという効果がある。また、請求
項4記載の発明によれば、色見本としてグレーチャート
を使用しているので、照射光を極力抑えた状態でも通常
光下で撮像されたと同じ被写体の画像データを得ること
ができるという効果がある。
【0064】また、請求項5記載の発明によれば、被写
体に照射された照射光の明暗のばらつきを撮像画像デー
タ上で補正することで、データ上でする通常光下での保
護対象物の再現を精度よくすることができるという効果
がある。また、請求項7記載の発明によれば、生成した
画像データに基づいて画像を印刷しており、通常光下で
撮像されたと同じ被写体の画像を印刷物として得ること
ができるという効果がある。
【図面の簡単な説明】
【図1】本発明の実施の形態である復元システムの構成
を示す図である。
【図2】前記復元システムの構成を示す側面図である。
【図3】グレーチャートが付されている色補正器を示す
平面図である。
【図4】パーソナルコンピュータの本体の構成を示す図
である。
【図5】パーソナルコンピュータの画像処理部の構成を
示すブロック図である。
【図6】復元システムによる復元の際の手順を示すフロ
ーチャートである。
【図7】カメラのスキャン方向を示す図である。
【図8】画像処理手順を示すフローチャートである。
【図9】復元前の保護対象物と復元後の画像対象物を示
す図である。
【図10】保護対象物をカメラに相対移動させて撮像す
る場合の説明に使用した図である。
【符号の説明】
1 カメラ 2 光源 10 パーソナルコンピュータ 11 モニタ 20 本体 21 CPU 22 記憶部 24 作業用メモリ 25 I/F部 30 色補正器 31 グレーチャート 41 プリンタ 50 画像処理部 51 グレーチャート特定部 52 グレーチャートに基づく色補正部 53 照射光の色補正部 54 トーンカーブ調整部 55 修復部 55a 赤外線画像に基づく修復部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 永井 香織 東京都新宿区西新宿一丁目25番1号 大成 建設株式会社内 (72)発明者 草野 諭 東京都大田区大森西四丁目15番5号 パイ オニア株式会社大森工場内 Fターム(参考) 5B050 AA06 BA13 CA07 DA02 DA05 FA02 FA03 FA09 FA13 5B057 BA02 BA25 CA08 CA12 CA16 CB08 CB12 CB16 CC01 CE11 CH08 CH11 CH16 5C022 AA00 AB15 AC69 5C066 AA01 AA11 AA15 CA17 EC01 FA09

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 被写体近傍に色見本を配置し、 通常光よりも低い光量の光を前記被写体及び色見本に照
    射しながら、当該被写体及び色見本を撮像し、撮像して
    取得した撮像画像中の前記色見本を参照して当該撮像画
    像中の前記被写体部分の色を変換することで通常光下で
    撮像されたと同様な前記被写体の画像データを生成する
    ことを特徴とする画像生成方法。
  2. 【請求項2】 前記被写体が発する赤外線を赤外線画像
    として取り込み、 前記赤外線画像に基づいて前記被写体の画像を補正する
    ことを特徴とする請求項1記載の画像生成方法。
  3. 【請求項3】 被写体近傍に配置される色見本と、 通常光よりも低い光量の光を前記被写体及び色見本に照
    射する光照射手段と、 前記光照射手段により光が照射されている前記被写体及
    び色見本を撮像し、撮像画像を得る撮像手段と、 前記撮像手段が得た前記撮像画像中から前記色見本を特
    定する色見本特定手段と、 前記色見本特定手段が得た色見本を参照して前記撮像画
    像中の前記被写体の色を変換することで通常光下で撮像
    されたと同様な前記被写体の画像データを生成する画像
    処理手段と、 を備えていることを特徴とする画像生成システム。
  4. 【請求項4】 前記色見本は、グレーチャートであるこ
    とを特徴とする請求項3記載の画像生成システム。
  5. 【請求項5】 前記画像処理手段は、前記被写体に照射
    された照射光の明暗のばらつきを補正する補正手段を備
    えていることを特徴とする請求項3又は4に記載の画像
    生成システム。
  6. 【請求項6】 前記被写体が発する赤外線を赤外線画像
    として取り込む赤外線画像入力手段を備えており、 前記画像処理手段は、前記赤外線画像入力手段から入力
    された前記赤外線画像に基づいて前記被写体の画像を補
    正する赤外線画像補正手段を備えていることを特徴とす
    る請求項3乃至5のいずれかに記載の画像生成システ
    ム。
  7. 【請求項7】 前記画像処理手段が生成した画像データ
    に基づいて画像を印刷する印刷手段を備えていることを
    特徴とする請求項3乃至6のいずれかに記載の画像生成
    システム。
JP2002032652A 2002-02-08 2002-02-08 保護対象物の画像による復元方法及びそのシステム Expired - Fee Related JP4032763B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2002032652A JP4032763B2 (ja) 2002-02-08 2002-02-08 保護対象物の画像による復元方法及びそのシステム
US10/356,530 US7215825B2 (en) 2002-02-08 2003-02-03 Image-generating method and image-generating system
EP03290313A EP1335586A3 (en) 2002-02-08 2003-02-07 Image-generating method and image-generating system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002032652A JP4032763B2 (ja) 2002-02-08 2002-02-08 保護対象物の画像による復元方法及びそのシステム

Publications (2)

Publication Number Publication Date
JP2003233810A true JP2003233810A (ja) 2003-08-22
JP4032763B2 JP4032763B2 (ja) 2008-01-16

Family

ID=27606541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002032652A Expired - Fee Related JP4032763B2 (ja) 2002-02-08 2002-02-08 保護対象物の画像による復元方法及びそのシステム

Country Status (3)

Country Link
US (1) US7215825B2 (ja)
EP (1) EP1335586A3 (ja)
JP (1) JP4032763B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019134331A (ja) * 2018-01-31 2019-08-08 セコム株式会社 画像処理装置
KR20220139043A (ko) * 2021-04-07 2022-10-14 파이 주식회사 회색 레퍼런스 패널을 이용한 장치간 영상 편차 보정방법 및, 이러한 기능을 갖는 안면 피부 진단장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4196212B2 (ja) * 2004-12-24 2008-12-17 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9041508B2 (en) 2008-08-08 2015-05-26 Snap-On Incorporated Image-based inventory control system and method
US8842183B2 (en) * 2008-08-08 2014-09-23 Snap-On Incorporated Image-based inventory control system with automatic calibration and image correction
US8353456B2 (en) 2008-08-08 2013-01-15 Snap-On Incorporated Image-based inventory control system
US9147174B2 (en) 2008-08-08 2015-09-29 Snap-On Incorporated Image-based inventory control system using advanced image recognition
US8634640B2 (en) * 2010-10-21 2014-01-21 Hewlett-Packard Development Company, L.P. Method and apparatus for selecting a color palette
DE102012108861A1 (de) * 2012-09-20 2014-05-28 Continental Teves Ag & Co. Ohg Verfahren zur Kalibrierung einer farbauflösenden Fahrzeugkamera
ES2952060T3 (es) 2015-04-15 2023-10-26 Snap On Incorporated Sistema automatizado de gestión de instrumentos con múltiples tecnologías de detección

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3736856A (en) * 1970-02-27 1973-06-05 Ciba Geigy Ag Photographic camera
JPS521333A (en) 1975-06-24 1977-01-07 Hitachi Ltd Air fuel ratio control apparatus
JPS62157555A (ja) 1985-12-28 1987-07-13 Nippon Kokan Kk <Nkk> 塗装面の欠陥部検出方法
JPH06169395A (ja) * 1992-11-27 1994-06-14 Sharp Corp 画像形成装置
US5581670A (en) * 1993-07-21 1996-12-03 Xerox Corporation User interface having movable sheet with click-through tools
JPH08202890A (ja) * 1995-01-24 1996-08-09 Canon Inc 描画装置
US5852675A (en) * 1995-04-14 1998-12-22 Kiyoshi Matsuo Color chart for image correction and method of color correction
US6007332A (en) * 1996-09-26 1999-12-28 O'brien; William J. Tooth color matching system
AUPO542897A0 (en) 1997-03-03 1997-03-27 Meat Research Corporation Calibration of imaging system
US6128001A (en) * 1997-04-04 2000-10-03 Avid Technology, Inc. Methods and apparatus for changing a color of an image
US6014221A (en) * 1997-06-02 2000-01-11 Gerber Scientific Products, Inc. Method and apparatus for color matching
EP0893914A3 (en) 1997-07-24 2002-01-02 Nikon Corporation Image processing method, image processing apparatus, and storage medium for storing control process
US6046723A (en) * 1997-11-17 2000-04-04 Eastman Kodak Company Method and apparatus for achieving color-appearance matching for an image viewed in surrounds of different relative luminances
US6658163B1 (en) * 1998-04-02 2003-12-02 Fuji Photo Film Co., Ltd. Image processing method
US6043894A (en) * 1998-07-10 2000-03-28 Gretamacbeth Llc Method for maintaining uniformity among color measuring instruments
JP2000321617A (ja) 1999-05-11 2000-11-24 Olympus Optical Co Ltd カメラ
US6636646B1 (en) * 2000-07-20 2003-10-21 Eastman Kodak Company Digital image processing method and for brightness adjustment of digital images
US6628829B1 (en) 2000-08-08 2003-09-30 Richard Jeffrey Chasen Method and system for matching a surface color
US6792136B1 (en) * 2000-11-07 2004-09-14 Trw Inc. True color infrared photography and video

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019134331A (ja) * 2018-01-31 2019-08-08 セコム株式会社 画像処理装置
KR20220139043A (ko) * 2021-04-07 2022-10-14 파이 주식회사 회색 레퍼런스 패널을 이용한 장치간 영상 편차 보정방법 및, 이러한 기능을 갖는 안면 피부 진단장치
KR102462061B1 (ko) * 2021-04-07 2022-11-03 파이 주식회사 회색 레퍼런스 패널을 이용한 장치간 영상 편차 보정방법 및, 이러한 기능을 갖는 안면 피부 진단장치

Also Published As

Publication number Publication date
EP1335586A2 (en) 2003-08-13
US20030152286A1 (en) 2003-08-14
US7215825B2 (en) 2007-05-08
EP1335586A3 (en) 2004-06-23
JP4032763B2 (ja) 2008-01-16

Similar Documents

Publication Publication Date Title
US6377269B1 (en) Automated generation of masks for photo-compositing
US20040234156A1 (en) Data conversion apparatus and data conversion program storage medium
US20110032380A1 (en) Printing system and method
US8400536B2 (en) Image processing method and image processing apparatus
JP2002374541A (ja) 色調スケール及び色におけるデジタル映画投影のためのデジタル処理方法
JPH01253366A (ja) ハイライト・シャドー濃度値の設定方法
JP2000196891A (ja) 画像捕捉装置により捕捉されたデジタル画像の露光及びト―ンスケ―ル補正方法
JP2003233810A (ja) 画像生成方法及び画像生成システム
US20170213328A1 (en) Method and system for processing image content for enabling high dynamic range (uhd) output thereof and computer-readable medium comprising uhd content created using same
JP2018014646A (ja) 画像処理装置および画像処理方法
US20090086100A1 (en) Method, Apparatus and System for Providing Reproducible Digital Imagery Products From Digitally Captured Images
JPH05103336A (ja) カラー映像信号処理装置およびカラー映像信号の色補正方法
JP4220071B2 (ja) 色修正関係抽出方法および色修正方法
CN108259667A (zh) 具有灭屏扫码功能的移动终端及其控制方法
JPH1079023A (ja) 画像のディジタル表現を発生する方法、画像ディジタル化装置、ならびに画像のディジタル表現および入力プロファイルを編集する方法および装置
JPH08235350A (ja) 画像の色を文書処理装置内で調整する方法
US7609883B1 (en) Method and apparatus for compensating for uneven lighting in an image
JP2012165271A (ja) 画像処理装置、画像処理方法及びプログラム
JP2015122616A (ja) 画像処理装置、画像処理方法及びプログラム
EP0862335A3 (en) Automatic color adjustment on host for strobe usage on a digital camera
JP2000180142A (ja) 凹凸情報を強調する装置及び凹凸情報を強調する方法
JP2001197289A (ja) 画像処理方法および画像処理装置
JP4333016B2 (ja) 画像形成装置、画像データ処理方法及び画像データ処理プログラムを記録した記録媒体
JP3895495B2 (ja) 画像処理装置及び画像処理方法及び写真処理装置
US6720992B1 (en) Method for improving the contrast reproduction of digitized images

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061219

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070531

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070822

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071015

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees