JP2002298134A - 画像処理プログラム、画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体 - Google Patents
画像処理プログラム、画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体Info
- Publication number
- JP2002298134A JP2002298134A JP2001097688A JP2001097688A JP2002298134A JP 2002298134 A JP2002298134 A JP 2002298134A JP 2001097688 A JP2001097688 A JP 2001097688A JP 2001097688 A JP2001097688 A JP 2001097688A JP 2002298134 A JP2002298134 A JP 2002298134A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- color
- image
- pixels
- average
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Working Measures On Existing Buildindgs (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
(57)【要約】
【課題】 外壁リフォームを行う際に、顧客の建築物の
カラー画像から外壁の汚れを減少し下地模様を反映した
塗装イメージを生成することが可能な画像処理方法と画
像処理プログラム、および画像処理装置を提供すること
を目的とする。 【解決手段】 カラー画像の各画素に対して着目画素と
その周囲の画素とから平均色強度を求め、色強度を拡散
させることによりカラー画像のノイズを減少し、このカ
ラー画像から同様の方法で平均輝度を求めて二値画像に
変換し、島状に分布する二値画像のノイズを除去して二
値画像の二値の一方の画素には指定の色を、他の画素に
は輝度を変えた色、または他の色を置換するように構成
する。
カラー画像から外壁の汚れを減少し下地模様を反映した
塗装イメージを生成することが可能な画像処理方法と画
像処理プログラム、および画像処理装置を提供すること
を目的とする。 【解決手段】 カラー画像の各画素に対して着目画素と
その周囲の画素とから平均色強度を求め、色強度を拡散
させることによりカラー画像のノイズを減少し、このカ
ラー画像から同様の方法で平均輝度を求めて二値画像に
変換し、島状に分布する二値画像のノイズを除去して二
値画像の二値の一方の画素には指定の色を、他の画素に
は輝度を変えた色、または他の色を置換するように構成
する。
Description
【０００１】
【発明の属する技術分野】本発明は、例えば建築物の外
壁リフォームにおける塗装イメージ画像を作成する際に
適用が可能な画像処理方法、画像処理プログラム、画像
処理装置および画像処理プログラムを記録した記録媒体
に関する。
壁リフォームにおける塗装イメージ画像を作成する際に
適用が可能な画像処理方法、画像処理プログラム、画像
処理装置および画像処理プログラムを記録した記録媒体
に関する。
【０００２】
【従来の技術】近年では、建築する住宅等の設計におい
てＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）技術を
用いたコンピュータ支援による設計（ＣＡＤ：Ｃｏｍｐ
ｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）が一般化してい
る。建築用のＣＡＤシステムにも種々のものがあるが、
特に最近では３次元データにより作成された仮想建築物
の外部や内部をオペレータの指示で歩き廻り、その時の
視点から見たＣＧ画像を見ることができるまでなってい
る（例えば、特開平９−１０６４０８）。建築物のリフ
ォームにおいてもＣＡＤ技術の利用が図られ、増改築部
分の間取りなどの入力を行うことにより３次元の完成イ
メージを見ることができる技術が開示されている（例え
ば、特開平９−３１７２０６）。
てＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）技術を
用いたコンピュータ支援による設計（ＣＡＤ：Ｃｏｍｐ
ｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）が一般化してい
る。建築用のＣＡＤシステムにも種々のものがあるが、
特に最近では３次元データにより作成された仮想建築物
の外部や内部をオペレータの指示で歩き廻り、その時の
視点から見たＣＧ画像を見ることができるまでなってい
る（例えば、特開平９−１０６４０８）。建築物のリフ
ォームにおいてもＣＡＤ技術の利用が図られ、増改築部
分の間取りなどの入力を行うことにより３次元の完成イ
メージを見ることができる技術が開示されている（例え
ば、特開平９−３１７２０６）。
【０００３】本発明は、例えば建築物のリフォームにお
いて外壁の塗装の際に塗装イメージ画像の生成に適用が
可能な画像処理に関する提案である。建築物も建築して
から数年を経過すると、その間の日光や風雨により外壁
の塗装膜の劣化、汚れが目立つようになり塗装し直すこ
とが一般に行われている。顧客（施工主）は業者に塗装
色を指定して外装の塗装を依頼するが、塗装完了後に塗
装前に描いていたイメージと仕上がり状態とにギャップ
を感じ、不満を生ずることがある。このようなギャップ
を少なくするために、業者は塗装前に顧客に塗装の色見
本を渡してその中から色指定をして貰うことを行ってい
るが、小片の色見本と実際に外壁に塗られた状態とのイ
メージギャップは無くなる訳ではない。
いて外壁の塗装の際に塗装イメージ画像の生成に適用が
可能な画像処理に関する提案である。建築物も建築して
から数年を経過すると、その間の日光や風雨により外壁
の塗装膜の劣化、汚れが目立つようになり塗装し直すこ
とが一般に行われている。顧客（施工主）は業者に塗装
色を指定して外装の塗装を依頼するが、塗装完了後に塗
装前に描いていたイメージと仕上がり状態とにギャップ
を感じ、不満を生ずることがある。このようなギャップ
を少なくするために、業者は塗装前に顧客に塗装の色見
本を渡してその中から色指定をして貰うことを行ってい
るが、小片の色見本と実際に外壁に塗られた状態とのイ
メージギャップは無くなる訳ではない。
【０００４】このようなことから、建築物の外壁のイメ
ージをＣＧ技術を用いて表示させる方法が特開平９−１
０６４１１に開示されている。本発明によれば、数種の
外壁表面材の画像データを予め格納しておき、顧客の指
示によりこれらの画像を切り換えて外壁を含む建築物の
外観を表示させるものである。
ージをＣＧ技術を用いて表示させる方法が特開平９−１
０６４１１に開示されている。本発明によれば、数種の
外壁表面材の画像データを予め格納しておき、顧客の指
示によりこれらの画像を切り換えて外壁を含む建築物の
外観を表示させるものである。
【０００５】より簡易にコンピュータを利用する方法と
して、市販されているペイントツールにより指定箇所に
色を塗る方法がある。デジタルカメラなどで撮影した建
築物の画像をコンピュータに取り込み、画像の外壁部分
の領域を設定してペイントツールで指定した色を塗るこ
とは容易である。
して、市販されているペイントツールにより指定箇所に
色を塗る方法がある。デジタルカメラなどで撮影した建
築物の画像をコンピュータに取り込み、画像の外壁部分
の領域を設定してペイントツールで指定した色を塗るこ
とは容易である。
【０００６】
【発明が解決しようとする課題】上記に示しように、色
見本の小片を渡して色指定する方法においてもイメージ
ギャップが生じてしまう。また、特開平９−１０６４１
１によるコンピュータを利用した方法では、予め登録し
てある建築物について外壁の表面材を切り換えて表示で
きるが、顧客の住宅の外壁の色等を変えて見ることは困
難である。さらに、ペイントツールを用いる方法では、
外壁の筋などが下地にある場合に平坦に塗り潰されてし
まい実際の仕上がりのイメージとは異なったものとな
る。下地の状態を表すためにその部分の輝度を変えて塗
ることが考えられるが、輝度を替える部分を個々に指定
するには多大の時間を要することになる。また、画像処
理により一括して下地の状態を区別しようとすると、外
壁の汚れを元々の下地の状態と認識してしまい、ペイン
トツールを用いて塗装イメージを作成することは問題が
多い。
見本の小片を渡して色指定する方法においてもイメージ
ギャップが生じてしまう。また、特開平９−１０６４１
１によるコンピュータを利用した方法では、予め登録し
てある建築物について外壁の表面材を切り換えて表示で
きるが、顧客の住宅の外壁の色等を変えて見ることは困
難である。さらに、ペイントツールを用いる方法では、
外壁の筋などが下地にある場合に平坦に塗り潰されてし
まい実際の仕上がりのイメージとは異なったものとな
る。下地の状態を表すためにその部分の輝度を変えて塗
ることが考えられるが、輝度を替える部分を個々に指定
するには多大の時間を要することになる。また、画像処
理により一括して下地の状態を区別しようとすると、外
壁の汚れを元々の下地の状態と認識してしまい、ペイン
トツールを用いて塗装イメージを作成することは問題が
多い。
【０００７】そこで本発明の目的は、例えば顧客の建築
物のカラー画像を用いて、画像に表れている外壁の汚れ
を減少させ、下地の状態を反映するようにして塗装した
イメージ画像の生成に適用ができる画像処理プログラ
ム、画像処理方法、画像処理装置、および画像処理プロ
グラムを記録した記録媒体を提供することにある。しか
し、本発明の画像処理は塗装イメージの画像作成に限定
されるものではない。
物のカラー画像を用いて、画像に表れている外壁の汚れ
を減少させ、下地の状態を反映するようにして塗装した
イメージ画像の生成に適用ができる画像処理プログラ
ム、画像処理方法、画像処理装置、および画像処理プロ
グラムを記録した記録媒体を提供することにある。しか
し、本発明の画像処理は塗装イメージの画像作成に限定
されるものではない。
【０００８】
【課題を解決するための手段】本発明の原理を図１を用
いて説明する。図１の色強度平均化手順１では取り込ん
だカラー画像の画素に対して、一つの着目画素と着目画
素の周囲の画素とから平均色強度を求め、平均色強度を
その着目画素に置きかえることにより、カラー画像のノ
イズを減少するものである。カラー画像の画素はＲＧＢ
のそれぞれに０〜２５５の強度を持つ三つ原色から成っ
ており、例えばその一つであるＲ（赤）の原色に対して
画素の一つを着目画素とし、着目画素とその着目画素の
周囲の画素のＲの強度との単純平均値を求める。例えば
着目画素が画像の辺に接してなく、着目画素の周囲の画
素を隣接画素とすれば、着目画素に隣接する画素は８個
あり、着目画素を含めて９個の画素のＲ強度の和を求め
て９で除算を行って平均色強度を求め、この値を記憶し
ておく。全ての画素のＲについて同様の処理を行って記
憶しておいた平均色強度を元のカラー画像の各画素に置
きかえることを行い、続いて残りの原色であるＧ（緑）
とＢ（青）についても同様に行う。この処理によって、
汚れに相当する比較的小さな領域部分の色が拡散され、
結果として汚れの部分が減少されたことになる。
いて説明する。図１の色強度平均化手順１では取り込ん
だカラー画像の画素に対して、一つの着目画素と着目画
素の周囲の画素とから平均色強度を求め、平均色強度を
その着目画素に置きかえることにより、カラー画像のノ
イズを減少するものである。カラー画像の画素はＲＧＢ
のそれぞれに０〜２５５の強度を持つ三つ原色から成っ
ており、例えばその一つであるＲ（赤）の原色に対して
画素の一つを着目画素とし、着目画素とその着目画素の
周囲の画素のＲの強度との単純平均値を求める。例えば
着目画素が画像の辺に接してなく、着目画素の周囲の画
素を隣接画素とすれば、着目画素に隣接する画素は８個
あり、着目画素を含めて９個の画素のＲ強度の和を求め
て９で除算を行って平均色強度を求め、この値を記憶し
ておく。全ての画素のＲについて同様の処理を行って記
憶しておいた平均色強度を元のカラー画像の各画素に置
きかえることを行い、続いて残りの原色であるＧ（緑）
とＢ（青）についても同様に行う。この処理によって、
汚れに相当する比較的小さな領域部分の色が拡散され、
結果として汚れの部分が減少されたことになる。
【０００９】色強度平均化手順１の処理を行ったカラー
画像を用いて、次の画像二値化手順２の処理を行う。こ
こでは例えば外壁下地の筋などの凹凸の画像（以下、下
地模様と言う）を区別するために、色強度平均化手順１
で処理されたカラー画像に対して二値画像を求める。グ
レースケールのモノクロ画像はカラー画像の画素の輝度
に対応させており、ＲＧＢの各強度から次の式で求める
ことができる。
画像を用いて、次の画像二値化手順２の処理を行う。こ
こでは例えば外壁下地の筋などの凹凸の画像（以下、下
地模様と言う）を区別するために、色強度平均化手順１
で処理されたカラー画像に対して二値画像を求める。グ
レースケールのモノクロ画像はカラー画像の画素の輝度
に対応させており、ＲＧＢの各強度から次の式で求める
ことができる。
【００１０】 Ｉ＝０．３０×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ ここでＩは求める輝度である。Ｒ、ＧおよびＢは三原色
のそれぞれの強度（０〜２５５）の値である。上記の式
は当分野において一般的に知られている。（画像電子ハ
ンドブック：画像電子学会） このようにして求めた一つの着目画素の輝度と着目画素
の周囲の画素の輝度とから平均輝度を求め、この平均輝
度を閾値として着目画素を二値化する。即ち、着目画素
がこの平均輝度の値以上である場合は着目画素を例えば
白画素とし、そうでない場合は例えば黒画素とする。平
均輝度の求め方は、前述した色強度の平均値を求めた方
法と同様である。これによりカラー画像は例えば白と黒
の二値画像に置き換えられたことになる。この処理の目
的は、外壁の例では画像の中で色が急激に変化している
箇所は下地模様の画像部分であり、汚れなどは色が比較
的穏やかに変化する、という特徴から下地模様を抽出す
ることを行っているものである。
のそれぞれの強度（０〜２５５）の値である。上記の式
は当分野において一般的に知られている。（画像電子ハ
ンドブック：画像電子学会） このようにして求めた一つの着目画素の輝度と着目画素
の周囲の画素の輝度とから平均輝度を求め、この平均輝
度を閾値として着目画素を二値化する。即ち、着目画素
がこの平均輝度の値以上である場合は着目画素を例えば
白画素とし、そうでない場合は例えば黒画素とする。平
均輝度の求め方は、前述した色強度の平均値を求めた方
法と同様である。これによりカラー画像は例えば白と黒
の二値画像に置き換えられたことになる。この処理の目
的は、外壁の例では画像の中で色が急激に変化している
箇所は下地模様の画像部分であり、汚れなどは色が比較
的穏やかに変化する、という特徴から下地模様を抽出す
ることを行っているものである。
【００１１】続いて、ノイズ除去手順３では、画像二値
化手順２で作成した画像に対し、二値化画像に対するノ
イズの除去を行う。画像の中で黒の画素が島状になって
いるもの、あるいは白の画素が島状になっているものを
ノイズと見なして削除するものである。島状を構成する
ノイズの画素サイズを指定されたＮ×Ｍとすれば、Ｎ×
Ｍの画素を着目画素として着目画素と隣接する画素（即
ち着目画素を取り囲む画素）が例えば全て白の画素であ
れば、着目画素を白の画素と置きかえることを行う。逆
に着目画素と隣接する画素が例えば全て黒の画素であれ
ば、着目画素を黒の画素に置き替える。これによりＮ×
Ｍの画素からなるノイズは取り除かれたことになる。
化手順２で作成した画像に対し、二値化画像に対するノ
イズの除去を行う。画像の中で黒の画素が島状になって
いるもの、あるいは白の画素が島状になっているものを
ノイズと見なして削除するものである。島状を構成する
ノイズの画素サイズを指定されたＮ×Ｍとすれば、Ｎ×
Ｍの画素を着目画素として着目画素と隣接する画素（即
ち着目画素を取り囲む画素）が例えば全て白の画素であ
れば、着目画素を白の画素と置きかえることを行う。逆
に着目画素と隣接する画素が例えば全て黒の画素であれ
ば、着目画素を黒の画素に置き替える。これによりＮ×
Ｍの画素からなるノイズは取り除かれたことになる。
【００１２】以上の処理で、カラー画像から下地模様の
画像がノイズが少ない状態で抽出されたことになる。最
後の色付け手順４は、外壁に色を塗布する作業に当たる
ものである。二値画像の画素が二値の一方（例えば白）
の部分には指定の色に置き変え、二値の他方（例えば
黒）の画素には輝度を例えば８０％程度に落とした指定
の色に置き替える。または、指定した色とは異なる色で
塗り替える。これは、二値の画素の一方が外壁の平坦部
であり、他方が下地模様（あるいはその逆）であり、色
または輝度を変えて下地の状態を表現しているものであ
る。
画像がノイズが少ない状態で抽出されたことになる。最
後の色付け手順４は、外壁に色を塗布する作業に当たる
ものである。二値画像の画素が二値の一方（例えば白）
の部分には指定の色に置き変え、二値の他方（例えば
黒）の画素には輝度を例えば８０％程度に落とした指定
の色に置き替える。または、指定した色とは異なる色で
塗り替える。これは、二値の画素の一方が外壁の平坦部
であり、他方が下地模様（あるいはその逆）であり、色
または輝度を変えて下地の状態を表現しているものであ
る。
【００１３】
【発明の実施の形態】本発明の一実施例を図面を参照し
て説明する。図２および図３は、本発明を外装塗装のイ
メージ画像の作成に適用した実施フローである。まず、
外壁を含む建築物の画像をカラー画像データ格納部５か
ら取り込み、最初にＲの原色について色強度の平均化を
行う。図４（ａ）は、取り込んだカラー画像の外壁の一
部をＲの色強度について模式的に示した画素マップであ
り、それぞれの四角は一つの画素を表し、図中の数字は
Ｒの色強度を示している。図４（ｂ）は、Ｒについて視
覚的に分かるように表した参考図（色強度の低いものか
ら段階的に黒く表した）で、斜めに走る黒い帯状の部分
は下地模様を示している。図４（ａ）の左上の画素を着
目画素として順次走査して平均色強度を求めることにす
る。実施例では、着目画素の周囲の画素を隣接画素とし
て平均色強度を着目画素とそれに隣接する画素とから平
均を求めている。図４（ｃ）は着目画素と着目画素に隣
接する画素の状態を示し、太線で囲った画素が隣接画素
である。着目画素ａは左上の画素を着目画素としたとき
の画素であり、この場合の隣接する画素は太線で示した
３個の画素からなる。この時の色強度の平均値は、着目
画素と隣接画素の合計４個の画素の単純平均である。即
ち、 （１４１＋１３９＋１４１＋１４２）／４＝１４０．７
５ 同様に着目画素ｂは、６個の画素の平均となり１３８．
８３、着目画素ｃは９個の画素の平均で１２９．４４と
なる。このようにして求めた平均値を作業領域６に記憶
しておき、全画素について色平均化の処理が終了した段
階で作業領域に記憶した平均色強度値を元のカラー画像
に置き替える。色強度を平均化した例が図４（ｄ）であ
る。ここでは、小数点以下を切り捨てて表示している。
また、図４（ｅ）は図４（ｄ）を視覚化して表示したも
のである。図４（ｅ）は、図４（ｂ）に較べて色強度は
平準化され鈍った画像となっていることが判る。これら
の処理を残りのＧとＢの原色に対しても行う。図４は平
均色強度を求める説明のため外壁の一部の例について行
ったが、この色強度の平均化を行う処理は取り込んだ画
像全体に対して行う。本実施例では、色強度の平均化を
行うときに周囲画素を隣接画素としたが、さらにもう一
周り、あるいは二周り増やしてもよい。また、周囲数を
指定するようにして、その周囲数内で異なる周囲数を試
行し、その結果の中から画像処理を行う使用者に最良の
ものを選択させるようにしてもよい。（Ｓ１〜Ｓ４） 次に色強度を平均化した画像を二値化する処理を行う。
この処理を行うために、一つの着目画素と着目画素に隣
接する画素の輝度から平均を求める。本実施例では、平
均色強度を求めたと同様に周囲画素を隣接画素とした
が、これも周囲数を指定させ試行するようにしてもよ
い。画素の輝度は、前述した輝度を求める式を適用して
輝度を求める。例えば、ＲとＧとＢの強度がそれぞれ１
４０、１２０、１３０である時の輝度Ｉは以下のように
なる。
て説明する。図２および図３は、本発明を外装塗装のイ
メージ画像の作成に適用した実施フローである。まず、
外壁を含む建築物の画像をカラー画像データ格納部５か
ら取り込み、最初にＲの原色について色強度の平均化を
行う。図４（ａ）は、取り込んだカラー画像の外壁の一
部をＲの色強度について模式的に示した画素マップであ
り、それぞれの四角は一つの画素を表し、図中の数字は
Ｒの色強度を示している。図４（ｂ）は、Ｒについて視
覚的に分かるように表した参考図（色強度の低いものか
ら段階的に黒く表した）で、斜めに走る黒い帯状の部分
は下地模様を示している。図４（ａ）の左上の画素を着
目画素として順次走査して平均色強度を求めることにす
る。実施例では、着目画素の周囲の画素を隣接画素とし
て平均色強度を着目画素とそれに隣接する画素とから平
均を求めている。図４（ｃ）は着目画素と着目画素に隣
接する画素の状態を示し、太線で囲った画素が隣接画素
である。着目画素ａは左上の画素を着目画素としたとき
の画素であり、この場合の隣接する画素は太線で示した
３個の画素からなる。この時の色強度の平均値は、着目
画素と隣接画素の合計４個の画素の単純平均である。即
ち、 （１４１＋１３９＋１４１＋１４２）／４＝１４０．７
５ 同様に着目画素ｂは、６個の画素の平均となり１３８．
８３、着目画素ｃは９個の画素の平均で１２９．４４と
なる。このようにして求めた平均値を作業領域６に記憶
しておき、全画素について色平均化の処理が終了した段
階で作業領域に記憶した平均色強度値を元のカラー画像
に置き替える。色強度を平均化した例が図４（ｄ）であ
る。ここでは、小数点以下を切り捨てて表示している。
また、図４（ｅ）は図４（ｄ）を視覚化して表示したも
のである。図４（ｅ）は、図４（ｂ）に較べて色強度は
平準化され鈍った画像となっていることが判る。これら
の処理を残りのＧとＢの原色に対しても行う。図４は平
均色強度を求める説明のため外壁の一部の例について行
ったが、この色強度の平均化を行う処理は取り込んだ画
像全体に対して行う。本実施例では、色強度の平均化を
行うときに周囲画素を隣接画素としたが、さらにもう一
周り、あるいは二周り増やしてもよい。また、周囲数を
指定するようにして、その周囲数内で異なる周囲数を試
行し、その結果の中から画像処理を行う使用者に最良の
ものを選択させるようにしてもよい。（Ｓ１〜Ｓ４） 次に色強度を平均化した画像を二値化する処理を行う。
この処理を行うために、一つの着目画素と着目画素に隣
接する画素の輝度から平均を求める。本実施例では、平
均色強度を求めたと同様に周囲画素を隣接画素とした
が、これも周囲数を指定させ試行するようにしてもよ
い。画素の輝度は、前述した輝度を求める式を適用して
輝度を求める。例えば、ＲとＧとＢの強度がそれぞれ１
４０、１２０、１３０である時の輝度Ｉは以下のように
なる。
【００１４】 Ｉ＝０．３０×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ ＝０．３０×１４０＋０．５９×１２０＋０．１１×１３０ ＝１２７．１ このようにして求めた平均の輝度の値を閾値として、着
目画素の輝度が閾値以上であれば白画素を、そうでない
場合は黒画素を一旦作業領域に格納する。この処理を全
画素について行って別領域に格納した画素を元の画像
（色強度を平均化した画像）の各画素に対応して置き替
えることにより二値画像が得られたことになる。（Ｓ５
〜Ｓ１１） 続いて、二値画像に対してノイズを除く処理に入る。こ
こではノイズと見なす島状の画素の最大値を２×２（即
ちＮ＝２、Ｍ＝２）と指定した。最初に１×１の画素を
着目画素とし、それを取り巻く８個の画素に合わせて着
目画素を同じ画素に置きかえることを行う。例えば、１
画素（即ち着目画素）のみ黒で周りの画素が全て白の場
合は、その１画素を黒から白に置き替え、１画素が黒の
島状のノイズが取り除かれたことになる。着目画素の１
画素が白で周りが全て黒の画素であるときも同様にその
１画素を白から黒に置き替え、白の島状のノイズが除か
れたことになる。着目画素の周りの画素が全て白または
黒でなければ、着目画素を置き替えることは行わない。
これを全画素について実施し、続いて着目画素を１×２
として同様に着目画素を取り巻く１０個の画素について
行う。さらに着目画素を２×１、２×２についても同様
に行い、ノイズを取り除く。この処理を二値画像全体に
行う。また、着目画素が画像の辺に接している場合は、
存在している隣接画素だけで判断している。このように
処理した例を図５および図６に示す。図５は図４で示し
た外壁の一部の画像と同じものであり、図６は取り込ん
だ画像全体を処理した例である。図５、図６それぞれに
（ａ）は二値化処理した画像であり、（ｂ）は二値画像
からノイズ除去処理した画像の例である。（Ｓ１２〜Ｓ
１６） Ｓ１〜Ｓ１６のステップで塗装する前の処理が終わった
ことになる。即ち、外壁部に着目すれば、外壁の平坦な
部分のノイズと下地模様のノイズが減少し、下地模様の
形状が抽出された。以降の処理は、この画像を基に塗装
を行う処理である。まず、外壁の塗装する領域を指定
し、外壁内に他の構造物があればこの部分のマスキング
を行う。続いて、外壁の各画素に対して、対応する二値
画像の画素の色が白の場合は指定の輝度を持った色に、
黒の場合は指定の輝度の８０％の色を置きかえる。輝度
を下げたことにより下地模様が表現されたことになり、
実際に塗装を行った場合に近いイメージ画像を得ること
ができる。輝度を替えることなく、他の色に置き替えて
もよい。次に、指定の色付けを行った画素をマスキング
し、他の部分を元のカラー画像の画素と置きかえる。こ
の処理により、元のカラー画像の外壁部分のみ塗り替え
られたイメージの画像を得ることができる。（Ｓ１７〜
Ｓ２２） （付記１） カラー画像の各画素に対し、周囲の画素を
含めた平均色強度を求め、各画素を平均色強度に置換す
る色強度平均化手順と、前記色強度平均化手順で処理し
た色平均化カラー画像の各画素に対し、周囲の画素を含
めた平均輝度を求め、平均輝度を閾値として二値化する
画像二値化手順と、前記画像二値化手順で処理した二値
画像全体に対し、ＮとＭを所定数とするＮ×Ｍの画素を
着目画素として、着目画素に隣接する全ての画素が二値
の一方の画素であるとき、着目画素を前記二値の一方の
画素に置換するノイズ除去手順と、前記ノイズ除去手順
で処理した画像の画素が、二値の一方の画素であるとき
指定された第一の色の画素に置換し、二値の他方の画素
であるとき前記指定された第一の色の輝度とは異なる輝
度の色、または指定された第二の色の画素に置換する色
付け手順とをコンピュータに実行させることを特徴とす
る画像処理プログラム。 （付記２） 付記１の画像処理プログラムであって、色
強度平均化手順は、カラー画像の各画素に対し、周囲の
画素を含めたＲＧＢの一つの原色の平均色強度を求め、
画素の前記ＲＧＢの一つの原色強度を平均色強度に置換
することを、ＲＧＢの他の二つの原色に対して行うこと
を特徴とする画像処理プログラム。 （付記３） カラー画像の各画素に対し、周囲の画素を
含めた平均色強度を求め、各画素を平均色強度に置換す
る色強度平均化手順と、前記色強度平均化手順で処理し
た色平均化カラー画像の各画素に対し、周囲の画素を含
めた平均輝度を求め、平均輝度を閾値として二値化する
画像二値化手順と、前記画像二値化手順で処理した二値
画像全体に対し、ＮとＭを所定数とするＮ×Ｍの画素を
着目画素として、着目画素に隣接する全ての画素が二値
の一方の画素であるとき、着目画素を前記二値の一方の
画素に置換するノイズ除去手順と、前記ノイズ除去手順
で処理した画像の画素が、二値の一方の画素であるとき
指定された第一の色の画素に置換し、二値の他方の画素
であるとき前記指定された第一の色の輝度とは異なる輝
度の色、または指定された第二の色の画素に置換する色
付け手順とを備えることを特徴とする画像処理方法。 （付記４） カラー画像の各画素に対し、周囲の画素を
含めた平均色強度を求め、各画素を平均色強度に置換す
る色強度平均化手段と、前記色強度平均化手段で処理し
た色平均化カラー画像の各画素に対し、周囲の画素を含
めた平均輝度を求め、平均輝度を閾値として二値化する
画像二値化手段と、前記画像二値化手段で処理した二値
画像全体に対し、ＮとＭを所定数とするＮ×Ｍの画素を
着目画素として、着目画素に隣接する全ての画素が二値
の一方の画素であるとき、着目画素を前記二値の一方の
画素に置換するノイズ除去手段と、前記ノイズ除去手段
で処理した画像の画素が、二値の一方の画素であるとき
指定された第一の色の画素に置換し、二値の他方の画素
であるとき前記指定された第一の色の輝度とは異なる輝
度の色、または指定された第二の色の画素に置換する色
付け手段とを有することを特徴とする画像処理装置。 （付記５） カラー画像の各画素に対し、周囲の画素を
含めた平均色強度を求め、各画素を平均色強度に置換す
る色強度平均化手順と、前記色強度平均化手順で処理し
た色平均化カラー画像の各画素に対し、周囲の画素を含
めた平均輝度を求め、平均輝度を閾値として二値化する
画像二値化手順と、前記画像二値化手順で処理した二値
画像全体に対し、ＮとＭを所定数とするＮ×Ｍの画素を
着目画素として、着目画素に隣接する全ての画素が二値
の一方の画素であるとき、着目画素を前記二値の一方の
画素に置換するノイズ除去手順と、前記ノイズ除去手順
で処理した画像の画素が、二値の一方の画素であるとき
指定された第一の色の画素に置換し、二値の他方の画素
であるとき前記指定された第一の色の輝度とは異なる輝
度の色、または指定された第二の色の画素に置換する色
付け手順とを実現するプログラムを記録したコンピュー
タによって読み取り可能な記録媒体。 （付記６） 付記３の画像処理方法であって、色強度平
均化手順は、カラー画像の各画素に対し、周囲の画素を
含めたＲＧＢの一つの原色の平均色強度を求め、画素の
前記ＲＧＢの一つの原色強度を平均色強度に置換するこ
とを、ＲＧＢの他の二つの原色に対して行うことを特徴
とする画像処理方法。
目画素の輝度が閾値以上であれば白画素を、そうでない
場合は黒画素を一旦作業領域に格納する。この処理を全
画素について行って別領域に格納した画素を元の画像
（色強度を平均化した画像）の各画素に対応して置き替
えることにより二値画像が得られたことになる。（Ｓ５
〜Ｓ１１） 続いて、二値画像に対してノイズを除く処理に入る。こ
こではノイズと見なす島状の画素の最大値を２×２（即
ちＮ＝２、Ｍ＝２）と指定した。最初に１×１の画素を
着目画素とし、それを取り巻く８個の画素に合わせて着
目画素を同じ画素に置きかえることを行う。例えば、１
画素（即ち着目画素）のみ黒で周りの画素が全て白の場
合は、その１画素を黒から白に置き替え、１画素が黒の
島状のノイズが取り除かれたことになる。着目画素の１
画素が白で周りが全て黒の画素であるときも同様にその
１画素を白から黒に置き替え、白の島状のノイズが除か
れたことになる。着目画素の周りの画素が全て白または
黒でなければ、着目画素を置き替えることは行わない。
これを全画素について実施し、続いて着目画素を１×２
として同様に着目画素を取り巻く１０個の画素について
行う。さらに着目画素を２×１、２×２についても同様
に行い、ノイズを取り除く。この処理を二値画像全体に
行う。また、着目画素が画像の辺に接している場合は、
存在している隣接画素だけで判断している。このように
処理した例を図５および図６に示す。図５は図４で示し
た外壁の一部の画像と同じものであり、図６は取り込ん
だ画像全体を処理した例である。図５、図６それぞれに
（ａ）は二値化処理した画像であり、（ｂ）は二値画像
からノイズ除去処理した画像の例である。（Ｓ１２〜Ｓ
１６） Ｓ１〜Ｓ１６のステップで塗装する前の処理が終わった
ことになる。即ち、外壁部に着目すれば、外壁の平坦な
部分のノイズと下地模様のノイズが減少し、下地模様の
形状が抽出された。以降の処理は、この画像を基に塗装
を行う処理である。まず、外壁の塗装する領域を指定
し、外壁内に他の構造物があればこの部分のマスキング
を行う。続いて、外壁の各画素に対して、対応する二値
画像の画素の色が白の場合は指定の輝度を持った色に、
黒の場合は指定の輝度の８０％の色を置きかえる。輝度
を下げたことにより下地模様が表現されたことになり、
実際に塗装を行った場合に近いイメージ画像を得ること
ができる。輝度を替えることなく、他の色に置き替えて
もよい。次に、指定の色付けを行った画素をマスキング
し、他の部分を元のカラー画像の画素と置きかえる。こ
の処理により、元のカラー画像の外壁部分のみ塗り替え
られたイメージの画像を得ることができる。（Ｓ１７〜
Ｓ２２） （付記１） カラー画像の各画素に対し、周囲の画素を
含めた平均色強度を求め、各画素を平均色強度に置換す
る色強度平均化手順と、前記色強度平均化手順で処理し
た色平均化カラー画像の各画素に対し、周囲の画素を含
めた平均輝度を求め、平均輝度を閾値として二値化する
画像二値化手順と、前記画像二値化手順で処理した二値
画像全体に対し、ＮとＭを所定数とするＮ×Ｍの画素を
着目画素として、着目画素に隣接する全ての画素が二値
の一方の画素であるとき、着目画素を前記二値の一方の
画素に置換するノイズ除去手順と、前記ノイズ除去手順
で処理した画像の画素が、二値の一方の画素であるとき
指定された第一の色の画素に置換し、二値の他方の画素
であるとき前記指定された第一の色の輝度とは異なる輝
度の色、または指定された第二の色の画素に置換する色
付け手順とをコンピュータに実行させることを特徴とす
る画像処理プログラム。 （付記２） 付記１の画像処理プログラムであって、色
強度平均化手順は、カラー画像の各画素に対し、周囲の
画素を含めたＲＧＢの一つの原色の平均色強度を求め、
画素の前記ＲＧＢの一つの原色強度を平均色強度に置換
することを、ＲＧＢの他の二つの原色に対して行うこと
を特徴とする画像処理プログラム。 （付記３） カラー画像の各画素に対し、周囲の画素を
含めた平均色強度を求め、各画素を平均色強度に置換す
る色強度平均化手順と、前記色強度平均化手順で処理し
た色平均化カラー画像の各画素に対し、周囲の画素を含
めた平均輝度を求め、平均輝度を閾値として二値化する
画像二値化手順と、前記画像二値化手順で処理した二値
画像全体に対し、ＮとＭを所定数とするＮ×Ｍの画素を
着目画素として、着目画素に隣接する全ての画素が二値
の一方の画素であるとき、着目画素を前記二値の一方の
画素に置換するノイズ除去手順と、前記ノイズ除去手順
で処理した画像の画素が、二値の一方の画素であるとき
指定された第一の色の画素に置換し、二値の他方の画素
であるとき前記指定された第一の色の輝度とは異なる輝
度の色、または指定された第二の色の画素に置換する色
付け手順とを備えることを特徴とする画像処理方法。 （付記４） カラー画像の各画素に対し、周囲の画素を
含めた平均色強度を求め、各画素を平均色強度に置換す
る色強度平均化手段と、前記色強度平均化手段で処理し
た色平均化カラー画像の各画素に対し、周囲の画素を含
めた平均輝度を求め、平均輝度を閾値として二値化する
画像二値化手段と、前記画像二値化手段で処理した二値
画像全体に対し、ＮとＭを所定数とするＮ×Ｍの画素を
着目画素として、着目画素に隣接する全ての画素が二値
の一方の画素であるとき、着目画素を前記二値の一方の
画素に置換するノイズ除去手段と、前記ノイズ除去手段
で処理した画像の画素が、二値の一方の画素であるとき
指定された第一の色の画素に置換し、二値の他方の画素
であるとき前記指定された第一の色の輝度とは異なる輝
度の色、または指定された第二の色の画素に置換する色
付け手段とを有することを特徴とする画像処理装置。 （付記５） カラー画像の各画素に対し、周囲の画素を
含めた平均色強度を求め、各画素を平均色強度に置換す
る色強度平均化手順と、前記色強度平均化手順で処理し
た色平均化カラー画像の各画素に対し、周囲の画素を含
めた平均輝度を求め、平均輝度を閾値として二値化する
画像二値化手順と、前記画像二値化手順で処理した二値
画像全体に対し、ＮとＭを所定数とするＮ×Ｍの画素を
着目画素として、着目画素に隣接する全ての画素が二値
の一方の画素であるとき、着目画素を前記二値の一方の
画素に置換するノイズ除去手順と、前記ノイズ除去手順
で処理した画像の画素が、二値の一方の画素であるとき
指定された第一の色の画素に置換し、二値の他方の画素
であるとき前記指定された第一の色の輝度とは異なる輝
度の色、または指定された第二の色の画素に置換する色
付け手順とを実現するプログラムを記録したコンピュー
タによって読み取り可能な記録媒体。 （付記６） 付記３の画像処理方法であって、色強度平
均化手順は、カラー画像の各画素に対し、周囲の画素を
含めたＲＧＢの一つの原色の平均色強度を求め、画素の
前記ＲＧＢの一つの原色強度を平均色強度に置換するこ
とを、ＲＧＢの他の二つの原色に対して行うことを特徴
とする画像処理方法。
【００１５】
【発明の効果】本発明の画像処理方法を例えば外壁リフ
ォームに適用すれば、顧客の建築物のカラー画像を用い
て外壁のみを塗り替えた画像を得ることができ、顧客が
塗装工事前に描いた塗装イメージと実際の仕上がり状態
とのギャップが少なくなる効果が発揮できる。
ォームに適用すれば、顧客の建築物のカラー画像を用い
て外壁のみを塗り替えた画像を得ることができ、顧客が
塗装工事前に描いた塗装イメージと実際の仕上がり状態
とのギャップが少なくなる効果が発揮できる。
【図１】本発明の原理図である。
【図２】外壁塗装に適用した処理フローの実施例（その
１）である。
１）である。
【図３】外壁塗装に適用した処理フローの実施例（その
２）である。
２）である。
【図４】色強度平均化処理の説明図である。
【図５】外壁の一部の画像の二値化処理とノイズ除去処
理例である。
理例である。
【図６】全体の画像の二値化処理とノイズ除去処理例で
ある。
ある。
１：色強度平均化手順 ２：画像二値化手順 ３：ノイズ除去手順 ４：色付け手順 ５：カラー画像データ格納部 ６：作業領域
フロントページの続き Ｆターム(参考） 2E176 AA00 BB38 5B057 AA01 CA01 CA08 CA12 CA16 CB01 CB06 CB12 CB16 CE02 CE12 CE17 5C077 LL06 MP08 PP32 PP46 PP68 PQ18 RR02 RR15 SS05 5C079 HB01 HB04 LA02 LA34 LB11 MA11 NA07
Claims (5)
- 【請求項１】 カラー画像の各画素に対し、周囲の画素
を含めた平均色強度を求め、各画素を平均色強度に置換
する色強度平均化手順と、 前記色強度平均化手順で処理した色平均化カラー画像の
各画素に対し、周囲の画素を含めた平均輝度を求め、平
均輝度を閾値として二値化する画像二値化手順と、 前記画像二値化手順で処理した二値画像全体に対し、Ｎ
とＭを所定数とするＮ×Ｍの画素を着目画素として、着
目画素に隣接する全ての画素が二値の一方の画素である
とき、着目画素を前記二値の一方の画素に置換するノイ
ズ除去手順と、 前記ノイズ除去手順で処理した画像の画素が、二値の一
方の画素であるとき指定された第一の色の画素に置換
し、二値の他方の画素であるとき前記指定された第一の
色の輝度とは異なる輝度の色、または指定された第二の
色の画素に置換する色付け手順とをコンピュータに実行
させることを特徴とする画像処理プログラム。 - 【請求項２】 請求項１の画像処理プログラムであっ
て、 色強度平均化手順は、カラー画像の各画素に対し、周囲
の画素を含めたＲＧＢの一つの原色の平均色強度を求
め、画素の前記ＲＧＢの一つの原色強度を平均色強度に
置換することを、ＲＧＢの他の二つの原色に対して行う
ことを特徴とする画像処理プログラム。 - 【請求項３】 カラー画像の各画素に対し、周囲の画素
を含めた平均色強度を求め、各画素を平均色強度に置換
する色強度平均化手順と、 前記色強度平均化手順で処理した色平均化カラー画像の
各画素に対し、周囲の画素を含めた平均輝度を求め、平
均輝度を閾値として二値化する画像二値化手順と、 前記画像二値化手順で処理した二値画像全体に対し、Ｎ
とＭを所定数とするＮ×Ｍの画素を着目画素として、着
目画素に隣接する全ての画素が二値の一方の画素である
とき、着目画素を前記二値の一方の画素に置換するノイ
ズ除去手順と、 前記ノイズ除去手順で処理した画像の画素が、二値の一
方の画素であるとき指定された第一の色の画素に置換
し、二値の他方の画素であるとき前記指定された第一の
色の輝度とは異なる輝度の色、または指定された第二の
色の画素に置換する色付け手順とを備えることを特徴と
する画像処理方法。 - 【請求項４】 カラー画像の各画素に対し、周囲の画素
を含めた平均色強度を求め、各画素を平均色強度に置換
する色強度平均化手段と、 前記色強度平均化手段で処理した色平均化カラー画像の
各画素に対し、周囲の画素を含めた平均輝度を求め、平
均輝度を閾値として二値化する画像二値化手段と、 前記画像二値化手段で処理した二値画像全体に対し、Ｎ
とＭを所定数とするＮ×Ｍの画素を着目画素として、着
目画素に隣接する全ての画素が二値の一方の画素である
とき、着目画素を前記二値の一方の画素に置換するノイ
ズ除去手段と、 前記ノイズ除去手段で処理した画像の画素が、二値の一
方の画素であるとき指定された第一の色の画素に置換
し、二値の他方の画素であるとき前記指定された第一の
色の輝度とは異なる輝度の色、または指定された第二の
色の画素に置換する色付け手段とを有することを特徴と
する画像処理装置。 - 【請求項５】 カラー画像の各画素に対し、周囲の画素
を含めた平均色強度を求め、各画素を平均色強度に置換
する色強度平均化手順と、 前記色強度平均化手順で処理した色平均化カラー画像の
各画素に対し、周囲の画素を含めた平均輝度を求め、平
均輝度を閾値として二値化する画像二値化手順と、 前記画像二値化手順で処理した二値画像全体に対し、Ｎ
とＭを所定数とするＮ×Ｍの画素を着目画素として、着
目画素に隣接する全ての画素が二値の一方の画素である
とき、着目画素を前記二値の一方の画素に置換するノイ
ズ除去手順と、 前記ノイズ除去手順で処理した画像の画素が、二値の一
方の画素であるとき指定された第一の色の画素に置換
し、二値の他方の画素であるとき前記指定された第一の
色の輝度とは異なる輝度の色、または指定された第二の
色の画素に置換する色付け手順とを実現するプログラム
を記録したコンピュータによって読み取り可能な記録媒
体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001097688A JP4158350B2 (ja) | 2001-03-29 | 2001-03-29 | 画像処理プログラム、画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001097688A JP4158350B2 (ja) | 2001-03-29 | 2001-03-29 | 画像処理プログラム、画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002298134A true JP2002298134A (ja) | 2002-10-11 |
| JP4158350B2 JP4158350B2 (ja) | 2008-10-01 |
Family
ID=18951435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001097688A Expired - Fee Related JP4158350B2 (ja) | 2001-03-29 | 2001-03-29 | 画像処理プログラム、画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4158350B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101613938B1 (ko) | 2009-10-12 | 2016-04-20 | 엘지전자 주식회사 | 이동단말기의 이미지 생성장치 및 방법 |
| CN105979400A (zh) * | 2016-06-28 | 2016-09-28 | 乐视控股（北京）有限公司 | 屏幕亮度调节方法、装置及终端 |
| JP2019218681A (ja) * | 2018-06-15 | 2019-12-26 | 大和ハウス工業株式会社 | 屋根の劣化診断方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102629323B (zh) * | 2012-02-06 | 2014-01-08 | 重庆医科大学 | 彩色图像的二值化及二值化彩色图像的隐藏和恢复方法 |
-
2001
- 2001-03-29 JP JP2001097688A patent/JP4158350B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101613938B1 (ko) | 2009-10-12 | 2016-04-20 | 엘지전자 주식회사 | 이동단말기의 이미지 생성장치 및 방법 |
| CN105979400A (zh) * | 2016-06-28 | 2016-09-28 | 乐视控股（北京）有限公司 | 屏幕亮度调节方法、装置及终端 |
| JP2019218681A (ja) * | 2018-06-15 | 2019-12-26 | 大和ハウス工業株式会社 | 屋根の劣化診断方法 |
| JP7149738B2 (ja) | 2018-06-15 | 2022-10-07 | 大和ハウス工業株式会社 | 屋根の劣化診断方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4158350B2 (ja) | 2008-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3189870B2 (ja) | 画像処理装置 | |
| US6281904B1 (en) | Multi-source texture reconstruction and fusion | |
| JP4717981B2 (ja) | デジタルペインティング | |
| US7158138B1 (en) | System and method for drawing and painting with warped bitmap brushes | |
| JP3830555B2 (ja) | 原映像を修正する方法及び装置 | |
| US8913074B2 (en) | Colorization method and apparatus | |
| JP2001005987A (ja) | スマート消去ブラシ | |
| US5767857A (en) | Method, apparatus, and software product for generating outlines for raster-based rendered images | |
| US7542033B2 (en) | Method and program for generating a two-dimensional cartoonish picturization of a three-dimensional object | |
| JP3993029B2 (ja) | 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体 | |
| CN112308944A (zh) | 仿真唇妆的扩增实境显示方法 | |
| JP3411469B2 (ja) | フレーム多重画像作成方法 | |
| CN111951345A (zh) | 一种基于gpu的实时图像视频油画风格化方法 | |
| JP2002298134A (ja) | 画像処理プログラム、画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体 | |
| JP2003150146A (ja) | 画像処理装置および画像処理プログラム | |
| CN106327449B (zh) | 一种图像修复方法、装置和计算设备 | |
| US20030063084A1 (en) | System and method for improving 3D data structure representations | |
| WO2002056253A1 (en) | Method for representing color paper mosaic using computer | |
| JP3052839B2 (ja) | 画像処理装置及びその処理方法 | |
| JP3586253B2 (ja) | テクスチャマッピングプログラム | |
| JPH09311954A (ja) | ３次元図形表示システムおよび３次元図形の表示方法 | |
| CN114170071A (zh) | 一种图像处理方法、装置、设备及介质 | |
| JPH1125286A (ja) | 付影処理方法 | |
| JPH03179873A (ja) | 画像処理装置 | |
| JPH08273002A (ja) | ラスタ処理の方法及びコンピュータ・グラフィックス・システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040610 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040610 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080408 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080603 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080624 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080707 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |