JP2004222233A - 画像処理装置および画像処理プログラム - Google Patents
画像処理装置および画像処理プログラム Download PDFInfo
- Publication number
- JP2004222233A JP2004222233A JP2003307357A JP2003307357A JP2004222233A JP 2004222233 A JP2004222233 A JP 2004222233A JP 2003307357 A JP2003307357 A JP 2003307357A JP 2003307357 A JP2003307357 A JP 2003307357A JP 2004222233 A JP2004222233 A JP 2004222233A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing apparatus
- image processing
- dust
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 157
- 238000012937 correction Methods 0.000 claims abstract description 79
- 210000001747 pupil Anatomy 0.000 claims abstract description 64
- 238000006243 chemical reaction Methods 0.000 claims abstract description 62
- 230000003287 optical effect Effects 0.000 claims description 98
- 238000000034 method Methods 0.000 claims description 70
- 230000007547 defect Effects 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 44
- 238000003384 imaging method Methods 0.000 claims description 30
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 239000000428 dust Substances 0.000 abstract description 160
- 238000002834 transmittance Methods 0.000 description 97
- 238000000605 extraction Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 30
- 230000002093 peripheral effect Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- VHYFNPMBLIVWCW-UHFFFAOYSA-N 4-Dimethylaminopyridine Chemical compound CN(C)C1=CC=NC=C1 VHYFNPMBLIVWCW-UHFFFAOYSA-N 0.000 description 9
- 238000010606 normalization Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000007619 statistical method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006837 decompression Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 206010040925 Skin striae Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
【解決手段】
電子カメラ1で、あるF値および瞳位置で青空のような一様に近い基準画像を1回撮影する。引き続き、異なるF値および瞳位置で所望の被写体の画像である補正対象画像を撮影する。基準画像および補正対象画像を画像処理プログラムを有するPC(パソコン)31に入力する。PC31は、基準画像に基づいて透過率マップを作成する。この透過率マップに対して、異なるF値および瞳位置に対応する透過率マップを得るため、F値変換および瞳位置変換を行う。F値変換および瞳位置変換した透過率マップを使用して補正対象画像を補正し、ゴミの影などを除去する。
【選択図】 図12
Description
請求項2の発明は、請求項1に記載の画像処理装置において、欠陥情報を用いて、第1の画像もしくは第2の画像内の欠陥を補正する補正手段を備えることを特徴とするものである。
請求項3の発明は、請求項1に記載の画像処理装置において、第1の画像と第2の画像との間で、絞り値および瞳位置の少なくとも1つの光学的条件が異なることを特徴とするものである。
請求項4の発明は、請求項1から3のいずれかに記載の画像処理装置において、欠陥情報作成手段は、第1の画像と第2の画像の光学的条件の不一致をなくすため、第1の画像と第2の画像の少なくとも一方の画像を、一定の光学的条件に合致するような変換を行う光学的条件変換手段を備えること特徴とするものである。。
請求項5の発明は、請求項4に記載の画像処理装置において、光学的条件変換手段は、光学的条件の絞り値が異なるとき、第1の画像もしくは第2の画像に基づく画素信号に対してローパスフィルタ処理を行って、同じ絞り値のときにあると想定される欠陥の状態に変換することを特徴とするものである。
請求項6の発明は、請求項5に記載の画像処理装置において、光学的条件変換手段は、実質的に均等な重みづけのローパスフィルタを用いて変換することを特徴とするものである。
請求項7の発明は、請求項4に記載の画像処理装置において、光学的条件変換手段は、光学的条件の瞳位置が異なるとき、第1の画像もしくは第2の画像に基づく画素信号に対して光学系の光軸中心から動径方向にずらす変位処理を行って、同じ瞳位置のときにあると想定される欠陥の状態に変換することを特徴とするものである。
請求項8の発明は、請求項7に記載の画像処理装置において、光学的条件変換手段は、光軸中心から遠くになるに従い、動径方向にずらす量を増やす変位処理を行うことを特徴とするものである。
請求項9の発明は、請求項7から8のいずれかに記載の画像処理装置において、光学的条件変換手段は、欠陥の原因となる異物が、光学系内の撮像面から光軸に沿って所定の距離にあると仮定して変位量を予測する演算を行い、変位処理を行うこと特徴とするものである。。
請求項10の発明は、請求項1に記載の画像処理装置において、第1の画像と第2の画像のどちらか一方は補正の対象となる補正対象画像であり、他方は欠陥情報を作成するための基準画像であることを特徴とするものである。
請求項11の発明は、請求項1に記載の画像処理装置において、第1の画像と第2の画像は、どちらも補正の対象となる補正対象画像であり、欠陥情報作成手段は、第1の画像と第2の画像を用いて、第1の画像と第2の画像に共通な欠陥情報を作成することを特徴とするものである。
請求項12の発明は、請求項11に記載の画像処理装置において、欠陥情報作成手段は、第1の画像と第2の画像の光学的条件の不一致をなくすため、第1の画像と第2の画像の少なくとも一方の画像を、一定の光学的条件に合致するような変換を行う光学的条件変換手段を備えることを特徴とするものである。
請求項13の発明は、請求項10に記載の画像処理装置において、画像取得手段は、光学系の可変な絞り値の中で、最も絞り込んだ状態の絞り値で撮影された基準画像を取得することを特徴とするものである。
請求項14の発明は、請求項1に記載の画像処理装置において、欠陥情報作成手段は、取得した画像内において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値に基づき、画像内の欠陥情報を作成することを特徴とするものである。
請求項15の発明は、請求項10、13のいずれかに記載の画像処理装置において、画像取得手段は、補正対象画像の撮影前後の所定時間内に撮影された基準画像を取得することを特徴とする。
請求項16の発明は、画像処理装置に適用され、光学系を通して撮影された第1の画像と、第1の画像とは異なる光学的条件で撮影された第2の画像を取得する画像取得手段と、第1の画像と第2の画像を用いて、第1の画像もしくは第2の画像内に含まれる欠陥を補正する補正手段とを備えることを特徴とするものである。
請求項17の発明は、請求項16に記載の画像処理装置において、第1の画像と第2の画像との間で、絞り値および瞳位置の少なくとも1つの光学的条件が異なることを特徴とするものである。
請求項18の発明は、画像処理プログラムに適用され、請求項1〜17のいずれかに記載の画像処理装置の機能をコンピュータに実行させるものである。
(電子カメラおよびパーソナルコンピュータの構成)
図1は、交換レンズ方式の一眼レフ電子スチルカメラ(以下、電子カメラと言う)の構成を示す図である。電子カメラ1は、カメラ本体2とマウント式交換レンズからなる可変光学系3を有する。可変光学系3は、内部にレンズ4と絞り5を有する。レンズ4は複数の光学レンズ群から構成されるが、図では代表して1枚のレンズで表し、そのレンズ4の位置を主瞳位置と言う(以下、単に瞳位置と言う)。可変光学系3は、ズームレンズであってもよい。瞳位置は、レンズ種やズームレンズのズーム位置によって決まる値である。焦点距離によって変わることもある。
(1)絞り値によってゴミ影の大きさと光の透過率が変わる。
(2)レンズの瞳位置によってゴミ位置がずれる。
この2つの実験事実から固定位置に付着したゴミであっても、レンズの撮影条件(絞り値と瞳位置)が変化する度にゴミの写り込み方が変化していることがわかる。このような可変な光学系に対して、ゴミの影響を除去する手法を以下に示す。
次に、撮影した各画像データにおいて、ゴミの影響を除去する処理について説明する。第1の実施の形態では、各光学的撮影条件毎にゴミ情報を得るための基準画像を、毎回、電子カメラ1で撮影する場合を想定する。ただし、基準画像は、完全に一様な白基準データではなく、青空、一様に近い壁面、グレーチャート、無地の紙面などを撮影して代用するものとする。この場合の基準データは、レンズの周辺減光や被写体のグラデーション、撮像素子のシェーディングなどが含まれていてもよい。基準データは、実際に身近な場所で容易に撮影できる状況で取得できる場合を想定しており、厳密な一様性は要求せず、画像処理側のアルゴリズムで一様なものに変換する。
図3は、第1の実施の形態における、電子カメラ1側の撮影手順について説明する図である。1)瞳位置P1絞り値A1で通常撮影101を行い、補正対象画像データ1を出力する。2)引き続き、同じ瞳位置P1絞り値A1で一様面撮影102を行い、基準画像データ1を出力する。3)次に、異なる瞳位置P2、絞り値A2で通常撮影103を行い、補正対象画像データ2を出力する。4)引き続き、通常撮影103と同じ瞳位置P2絞り値A2で一様面撮影104を行い、基準画像データ2を出力する。すなわち、まず、電子カメラ1を撮影したい被写体に向けた撮影を行い(通常撮影)、直後に電子カメラ1を空や壁面に向けて一様な面の撮影を行う(一様面撮影)。あるいは、カメラは通常撮影のときと同じ状態で、レンズの前数cm〜10cm程度のところに白い紙あるいは一様な色の紙をかざすだけでもよい。このようにして、通常撮影と一様面撮影とを一対とした撮影動作を行う。ここで、画像データを出力するとは、メモリカード30に記録したり、外部インターフェース23を介してPC31に直接出力したりすることを言う。
電子カメラ1で撮影された画像データは、所定の画像処理がなされた後PC31に提供される。PC31では、一対の補正対象画像データと基準画像データとを使用して、ゴミの影響除去処理を行う。PC31は、ゴミの影響除去処理を行う画像処理装置と言ってもよい。基準画像データ、補正対象画像データともにベイヤ配列のRGB補間処理は済んだ状態でPC31に入力される。以下で説明する基準画像データと補正対象画像データは、同一の瞳位置と絞り値の光学的条件下で撮影されたデータである。図6は、PC31で行う処理の流れを示すフローチャートである。
1)輝度面の生成
図6のステップS11では、輝度面の生成を行う。基準画像データの各画素[i,j]について、次の式(1)を使用して、RGB信号から輝度信号を生成する。[i,j]は画素の位置を示す。
Y[i,j]=(R[i,j]+2*G[i,j]+B[i,j])/4 ...(1)
RGB各面で個別に解析することも可能であるが、基本的にゴミ影の影響は信号の減衰を生じるのみで、色成分に関係ない。従って、ここでは全ての情報を有効に使いつつ、ランダムノイズの影響を低減させることが可能な輝度成分への変換を行っている。また、そうすることにより、RGB3面から輝度成分単面だけの解析で済み、高速化が図れる。輝度成分生成比率は上記に限らず、R:G:B=0.3:0.6:0.1等であってもよい。
ステップS12では、以下の処理からなる透過率マップの生成(ゲインマップ抽出)を行う。
2−1)局所的規格化処理(ゲイン抽出処理)
基準画像データは、上述したように必ずしも完全に一様なものでない。従って、生成した輝度面も完全に一様ではない。このような輝度面に対して、局所的な画素値の規格化(正規化)処理を行って、各画素の透過率信号T[i,j]を、次式(2)を使用して算出する。すなわち、着目画素[i,j]の値とこの画素を含む局所範囲の画素平均値との相対比を各々の画素についてとる。これにより一様面データに含まれるグラデーション、シェーディング等の不均一性はアルゴリズム的に問題なく排除され、肝心のゴミ影による透過率の低下のみを抽出することができる。このようにして求めた画像全面の透過率を透過率マップ(ゲインマップ)と言う。透過率マップは、基準画像の欠陥情報を示すものである。なお、画素値とは、各画素における色成分の色信号(色情報)や輝度信号(輝度情報)の値である。例えば、1バイトで表される場合、0〜255の値を取る。
透過率マップのローパス処理は選択可能としてもよいが、大部分で効果があるのでこの処理を入れておくのが好ましい。透過率信号T[i,j]には、輝度信号の量子論的揺らぎに伴うランダムノイズが含まれているため、透過率が1に近いレベルで微妙にゴミ影の影響が残っている領域は、そのランダム性のため以下に続く2−4)の閾値判定を行うと、斑にゴミ影を抽出することがある。それを防ぐため、次式(3)によるローパスフィルタによりゴミ影の集団化を行うとやや見栄えがよくなる。
T[i,j]={4*T[i,j]
+2*(T[i-1,j]+T[i+1,j]+T[i,j-1]+T[i,j+1])
+1*(T[i-1,j-1]+T[i-1,j+1]+T[i+1,j-1]+T[i+1,j+1])}/16 ...(3)
前述の局所的規格化処理により得られた透過率マップの画像全面について、平均値Mを次式(4)により求め、標準偏差σを次式(5)により求める統計解析を行う。なお、Nx,Nyは、x方向、y方向の総画素数を表す。
基本的に透過率マップに占めるゴミ信号の面積的な割合は非常に小さく、2−3)で統計解析した結果は、透過率信号の量子論的揺らぎに伴うランダムノイズ(ショットノイズ)を評価していることになる。図4における符号45部分を拡大した符号46は、この細かいランダムノイズがある様子を示している。透過率マップのヒストグラムをとると、平均値M(Mはほぼ1に近い値)を中心に標準偏差σの正規分布した形となる。図5は、透過率マップのヒストグラムを示す図である。この揺らぎの範囲はゴミ影による透過率の変化を受けていないと考えられるため、強制的に透過率を1に設定してよい。すなわち、次の条件(6)(7)により閾値判定を行う。
if |T[i,j]-M|≦3σ then T[i,j]=1 ...(6)
else T[i,j]=T[i,j] ...(7)
if |T[i,j]-M|≦3σ then T[i,j]=1 ...(8)
else if T[i,j]>1 T[i,j]=1 ...(9)
else T[i,j]=T[i,j] ...(10)
判定に使う平均値Mは常に1に近い値をとるため、1に置き換えてもよい。
3)ゲイン補正
ステップS13では、ゲイン補正を行う。上記のように求めた透過率マップを使用して補正対象画像データの補正を行う。補正対象画像データのR,G,B値各々に対して、式(11)(12)(13)で示すように、透過率信号の逆数を掛け算してゲイン補正を行う。
R[i,j]=R[i.j]/T[i,j] ...(11)
G[i,j]=G[i.j]/T[i,j] ...(12)
B[i,j]=B[i.j]/T[i,j] ...(13)
第2の実施の形態では、ゴミ情報を得るための基準画像を一度だけ撮影し、光学的撮影条件の異なる複数の画像に対してもこの基準画像を利用してゴミ除去する方法を示す。電子カメラ1および画像処理装置としてのPC31の構成は、第1の実施の形態と同様であるので、その説明を省略する。
図7は、第2の実施の形態における、電子カメラ1側の撮影手順について説明する図である。1)瞳位置P0、絞り値A0で一様面撮影201を行い、基準画像データ0を出力する。2)瞳位置P1、絞り値A1で通常撮影202を行い、補正対象画像データ1を出力する。3)瞳位置P2、絞り値A2で通常撮影203を行い、補正対象画像データ2を出力する。4)瞳位置P3、絞り値A3で通常撮影204を行い、補正対象画像データ3を出力する。すなわち、まず、電子カメラ1を空や壁面に向けて一様な面の撮影を行い(一様面撮影)、その後、電子カメラ1を撮影したい被写体に向けて随時撮影する(通常撮影)。
第2の実施の形態において、画像処理装置であるPC31に入力される基準画像データと補正対象画像データには、瞳位置と絞り値が識別できるデータが埋め込まれているものとする。瞳位置データは、撮影データに埋め込まれたレンズの種類、ズーム位置、焦点位置の記録データから換算テーブルを使って算出してもよい。図12は、PC31で行う処理の流れを示すフローチャートである。
1)輝度面生成、透過率マップの生成
ステップS21の輝度面生成、ステップS22の透過率マップの生成は、第1の実施の形態と同様に行う。
ステップS23では、透過率マップの瞳位置変換を行う。基準画像と補正対処画像の瞳位置が相互に異なっているとき、基準画像のゴミ位置を、補正対象画像の瞳位置から見たときに出現すると予測されるゴミ位置に瞳位置変換する。図8は、瞳位置が変化するとゴミ影の位置が変化する様子を示す図である。図8(a)は、瞳位置とゴミと撮像素子8の撮像面との関係を示す図である。図8(b)は、瞳位置の変化に伴い撮像面上でゴミ影が移動している様子を示す図である。
ステップS24では、透過率マップのF値変換を行う。基準画像と補正対処画像の絞り値が相互に異なっているとき、基準画像のゴミ径と透過率を、補正対象画像のより開放側絞り値でのゴミ径と透過率にF値変換する。図9は、絞り値であるF値が変化するとゴミ影の大きさが変化する様子を示す図である。図9(a)は、F値が大きい場合、図9(b)は、F値が小さい場合を示す。図9から明らかなように、F値の定義式(F=焦点距離/レンズの有効口径)を、相似関係にある撮像面からゴミ付着位置までの距離lとゴミ広がりΓに当てはめると次式(16)が成立する。
3)ゲイン補正
ステップS25では、上記変換処理した透過率マップを使用してゲイン補正を行う。第1の実施の形態と同様に、補正対象画像データのR,G,B値各々に対して、式(17)(18)(19)で示すように、瞳位置、F値変換後の透過率信号の逆数を掛け算して、ゲイン補正を行う。
R[i,j]=R[i.j]/T'[i,j] ...(17)
G[i,j]=G[i.j]/T'[i,j] ...(18)
B[i,j]=B[i.j]/T'[i,j] ...(19)
第3の実施の形態では、一様面の基準画像が全くない状態で、補正対象画像内でゴミ検出し、除去する方法を示す。基本的原理は、補正対象画像中の平坦部(画像が部分的に一様な領域)を見つければ、第1の実施の基準画像に対して行っていたゴミの透過率マップ生成処理(ゲインマップ抽出)が、そのまま同じように適用できる。電子カメラ1および画像処理装置としてのPC31の構成は、第1の実施の形態と同様であるので、その説明を省略する。
図14は、第3の実施の形態における、電子カメラ1側の撮影手順について説明する図である。1)瞳位置P1、絞り値A1で通常撮影301を行い、補正対象画像データ1を出力する。2)瞳位置P2、絞り値A2で通常撮影302を行い、補正対象画像データ2を出力する。3)瞳位置P3、絞り値A3で通常撮影303を行い、補正対象画像データ3を出力する。4)瞳位置P4、絞り値A4で通常撮影304を行い、補正対象画像データ3を出力する。すなわち、第3の実施の形態では、第1の実施の形態や第2の実施の形態で行っていた、一様面撮影を行わない。
<補正対象画像に対する処理>
図15は、画像処理装置であるPC31で行う処理のフローチャートを示す図である。ステップS31では、輝度面の生成を行う。ステップS32では、輝度面のガンマ補正、エッジ抽出フィルタ処理、閾値判定により、エッジマップの生成を行う。ステップS33では、エッジマップに暗黒部を追加処理をする。ステップS34では、エッジマップの拡大処理をする。ステップS35では、平坦マップへの変換を行う。ステップS36では、自己ゲイン抽出処理を行う。ステップS37では、自己ゲイン補正処理を行う。以下、各ステップの詳細について説明する。
補正対象画像データの各画素[i,j]について、RGB信号を輝度信号Yへの変換を行う。変換方法は、第1の実施の形態の基準画像に対して行った方法と同様である。
エッジ抽出フィルタを輝度面に掛けて、補正対象画像内の平坦部とエッジ部の分離を行う。光路途中に含まれるゴミの画像内への写り込みは非常にコントラストの低いゴミ影となって現れるため、従来技術のようなエッジ抽出フィルタで検出されない場合が多い。この事実を逆に利用すると、エッジ抽出フィルタで抽出されるエッジ部は、ゴミではなく基本的に画像内のエッジであると多くの箇所で仮定できる。この画像内のエッジとゴミとの区別を更によくするために初めに輝度面に対する階調補正処理を行う。
補正対象画像が線形階調のまま入力されて、上述の輝度面が生成されているものとする。このとき、入力信号をY(0≦Y≦Ymax)、出力信号をY'(0≦Y'≦Y'max)とし、例えば次式(20)のような階調変換を施す。なお、γ=0.4,0.5,0.6等である。
次に、ガンマ補正のなされた輝度面に対して、図16および次式(21)によるエッジ抽出フィルタを掛ける。各画素のエッジ抽出成分をYH[i,j]とする。
YH[i,j]={|Y'[i-1,j]-Y'[i,j]|+|Y'[i+1,j]-Y'[i,j]|
+|Y'[i,j-1]-Y'[i,j]|+|Y'[i,j+1]-Y'[i,j]|
+|Y'[i-1,j-1]-Y'[i,j]|+|Y'[i+1,j+1]-Y'[i,j]|
+|Y'[i-1,j+1]-Y'[i,j]|+|Y'[i+1,j-1]-Y'[i,j]|
+|Y'[i-2,j-1]-Y'[i,j]|+|Y'[i+2,j+1]-Y'[i,j]|
+|Y'[i-2,j+1]-Y'[i,j]|+|Y'[i+2,j-1]-Y'[i,j]|
+|Y'[i-1,j-2]-Y'[i,j]|+|Y'[i+1,j+2]-Y'[i,j]|
+|Y'[i-1,j+2]-Y'[i,j]|+|Y'[i+1,j-2]-Y'[i,j]|
+|Y'[i-3,j]-Y'[i,j]|+|Y'[i+3,j]-Y'[i,j]|
+|Y'[i,j-3]-Y'[i,j]|+|Y'[i,j+3]-Y'[i,j]|
+|Y'[i-3,j-3]-Y'[i,j]|+|Y'[i+3,j+3]-Y'[i,j]|
+|Y'[i-3,j+3]-Y'[i,j]|+|Y'[i+3,j-3]-Y'[i,j]|}/24 ...(21)
次式(22)(23)により、エッジ抽出成分YHを閾値判定して、エッジ部か平坦部かの分類を行い、結果をエッジマップEDGE[i,j]に出力する。閾値Th1は255階調に対して1〜5程度の値をとる。エッジ部の上に存在するゴミ影は、基本的にゴミ影がエッジ部の振動する信号に埋もれてしまって目立たないためゴミ除去の不要な領域である。
if YH[i,j]>Th1 EDGE[i,j]=1(エッジ部) ...(22)
else EDGE[i,j]=0(平坦部) ...(23)
エッジマップは、ゲインマップ抽出してはいけない領域を表す。エッジ領域の他に、ゲインマップ抽出するのが危険な領域が暗い領域(暗黒部)である。暗黒部は、S/Nが悪いため相対ゲインを抽出しても信頼性が低い。更に暗黒部上に存在するゴミ影はほとんど目立たないのでゴミ除去する必要性がない。したがって、暗い領域も、次式(24)によりエッジマップに追加する。閾値Th2は、255線形階調に対しておよそ20以下の値に設定するものとする。模式的にこの操作を「EDGE'=EDGE+DARK」と記述すると分かりやすい。
if Y[i,j]≦Th2 EDGE[i,j]=1 ...(24)
第1の実施の形態と同様に、平坦部内で(2a+1)x(2b+1)画素の中心値と平均値の相対比を比較して透過率マップを生成する。従って、事前にエッジ部がこのカーネル内に入らないように、次式(25)により、エッジ部の(2a+1)x(2b+1)画素拡大処理を行う。m=1,2,...,a、n=1,2,...,bである。
if EDGE[i,j]=1 EDGE[i±m,j±n]=1 ...(25)
次式(26)(27)により、エッジマップEDGE[i,j]を平坦マップFLAT[i,j]に変換する。ビット反転によって達成される。平坦マップが示す平坦領域は、(2a+1)x(2b+1)画素で構成されるゲインマップ抽出カーネルが補正対象画像内で自己抽出してよい領域を表す。
if EDGE[i,j]=0 FLAT[i,j]=1(平坦部) ...(26)
else FLAT[i,j]=0(エッジ部) ...(27)
第1の実施の形態において基準画像データから透過率マップを生成した処理手順を、FLAT[i,j]=1の領域に対してのみ行う。
FLAT[i,j]=1の領域のT[i,j]を(2a+1)x(2b+1)画素内の相対比から生成する。FLAT[i,j]=0の領域は全てT[i,j]=1に設定する。
6−2)透過率マップの統計解析
FLAT[i,j]=1の領域内のT[i,j]を、第1の実施の形態と同様に統計解析して、平均値mと標準偏差σを算出する。
6−3)閾値判定
FLAT[i,j]=1の領域内のT[i,j]を、第1の実施の形態と同様に閾値判定して、m±3σの値をとるものはT[i,j]=1に設定する。
第1の実施の形態と同様に、補正対象画像のR,G,B値各々に対して自己抽出した透過率信号T[i,j]の逆数を掛け算して、自己ゲイン補正を行う。
第4の実施の形態では、第2の実施の形態と同様に一枚だけ基準画像を撮影し、ゴミ位置に関する情報を利用しながらも、透過率マップは基準画像からではなく、第3の実施の形態のように補正対象画像自身から自己抽出する方式を採用したものである。第2の実施の形態では、透過率マップの瞳位置変換を行っているが、瞳位置の値が近似値で正確でない場合に、瞳位置変換に誤差が生じる場合が生じる。一方、第3の実施の形態では、エッジマップ抽出において大きなゴミはエッジとして抽出されてしまい、補正がなされない場合が生じる。第4の実施の形態は、このような第2の実施の形態と第3の実施の形態の不具合にも対処するものである。すなわち、第3の実施の形態による信頼性の高い透過率マップの生成方法を利用しながら、第2の実施の形態と同様な方法で取得する信頼性の高いゴミの位置情報で補うものである。なお、電子カメラ1および画像処理装置としてのPC31の構成は、第1の実施の形態と同様であるので、その説明を省略する。
撮影手順は、第2の実施の形態と同様である。
図17は、画像処理装置であるPC31で行う処理のフローチャートを示す図である。
1)ステップS41の輝度面の生成は、第1の実施の形態および第2の実施の形態と同様である。2)ステップS42の透過率マップの生成(ゲインマップ抽出)は、第1の実施の形態および第2の実施の形態と同様である。3)ステップS43の透過率マップの瞳位置変換は、第2の実施の形態と同様である。4)ステップS44の透過率マップのF値変換は、第2の実施の形態と同様である。
ステップS45では、透過率マップの閾値判定を行う。透過率マップのF値変換が行われた場合は、ローパスフィルタ処理によりほとんどゴミ影が消滅しかかっている透過率1に近い画素が多数発生する。これらを鮮明なゴミ影と区別するため、次式(28)(29)により再度閾値判定を行う。ここで、2)の「透過率マップの生成」過程で算出した標準偏差値σを再度利用する。瞳位置、F値変換された透過率マップをT'[i,j]で表す。
if |T'[i,j]-1|≦3σ then T'[i,j]=1 ...(28)
else T'[i,j]=T'[i,j] ...(29)
ステップS46では、次式(30)(31)により透過率マップを2値化してゴミマップdmap[i,j]に変換する。
if T'[i,j]<1 dmap[i,j]=1 ...(30)
else dmap[i,j]=0 ...(31)
ここで式(30)の判定は、もう少し余裕をもたせてT'[i,j]<0.95のように判定してもよい。
ステップS47では、次式(32)により瞳位置変換で想定される誤差分だけゴミマップを拡大しておくことにより、許容誤差内の領域にはゴミが含まれるようなゴミマップにする。ここでは、例えば±3画素の誤差を見込む。m=1,2,3、n=1,2,3である。
if dmap[i,j]=1 dmap[i±m,j±n]=1 ...(32)
1)ステップS51の輝度面の生成は、第3の実施の形態と同様である。2)ステップS52のエッジマップの生成は、第3の実施の形態と同様である。3)ステップS53のエッジマップに暗黒部を追加する処理は、第3の実施の形態と同様である。模式的にこの操作を「EDGE'=EDGE+DARK」と記述すると分かりやすい。
ステップS54では、エッジマップからゴミ領域を除外する。ゴミ影の多くはコントラストが低いためエッジ抽出されないが、中には大きなゴミでコントラストの高いものがあり、エッジ抽出されてしまうことがある。特に絞り込んで撮影された補正対象画像内で幾つかのゴミ影に発生する。これらのゴミ影がエッジ領域としてゲイン抽出領域の指定から外れることを防ぐため、ステップS46で求めたゴミマップ情報を利用して、次式(33)によりゴミ位置を強制的にエッジ部から除外する処理を行う。ここで、あまり大きくエッジ領域を削ることを防ぐため、ステップS47のゴミマップの拡大処理を行う前のゴミマップを利用することにする。模式的にこの操作を「EDGE''=EDGE+DARK-DUST」と記述すると分かりやすい。
if dmap[i,j]=1 EDGE[i,j]=0 ...(33)
エッジマップがいびつにゴミ部のみくりぬかれた(除外された)状態は不自然なので、エッジマップ内での周辺同化処理を行う。例えば、背景が青空のような一様な画像であれば、ステップS46のゴミマップ情報を使用して、エッジマップから大きなゴミによるエッジ部をくりぬいてもなんら問題が生じない。むしろ、くりぬく必要がある。しかし、背景が模様や構造のある画像である場合に、ステップS46のゴミマップ情報によりゴミがあるとしてその部分をエッジマップからくりぬくと、周辺の実際の模様や構造との関係から不自然な補正処理を行うことになる。従って、エッジ部でないと判断された画素が、その周辺の画素にエッジ画素が多数あると判断される場合は、その画素を再度エッジ部とするようにする。
データコピー
tmp[i,j]=EDGE[i,j] すべての画素[i,j]に対して
周辺同化処理
if tmp[i,j]=0{
sum = tmp[i-8,j]+tmp[i+8,j]+tmp[i,j-8]+tmp[i,j+8]
+tmp[i-8,j-8]+tmp[i+8,j+8]+tmp[i-8,j+8]+tmp[i+8,j-8]
if sum>4 EDGE[i,j]=1
}
ステップS57では、自己ゲイン抽出領域の特定をする。平坦部でかつゴミ領域と特定されている領域に限定して、ゴミ除去を行うのが補正対象画像の誤った補正を防ぐ観点から最も合理的である。したがって、この両条件を満たす領域情報を次式(34)により求め平坦マップに代入する。すなわち、FLATとdmapに両方に1のフラグが立っている場合のみFLAT=1となり、それ以外はFLAT=0となる。
FLAT[i,j]=FLAT[i,j]*dmap[i,j] ...(34)
ステップS58の自己ゲイン抽出は、第3の実施の形態とは異なり、局所的規格化処理(ゲイン抽出処理)のみ行う。それ以降の透過率マップの統計解析と閾値処理によるゴミ領域限定処理は、7)の処理により既にゴミ近傍に限定されているので不要である。局所的規格化処理(ゲイン抽出処理)は、第3の実施の形態と同様である。このように、ステップS47の処理によって瞳位置変換精度の誤差分だけゴミ周辺にゲイン抽出領域を広げてゴミ探索することにより、漏れなくゴミ抽出することが可能となる。
ステップS59の自己ゲイン補正は、第3の実施の形態と同様である。基準画像の透過率マップの瞳位置変換精度が悪くても、補正対象画像自身からゴミの透過率情報を抽出するので、全くずれのないきれいな補正が可能となる。なお、自己ゲインの抽出は、ステップS57で特定された自己ゲイン抽出領域に限って行われる。従って、補正処理もこの範囲に限ってのみ行われ、処理の負荷が軽減される。
2 カメラ本体
3 可変光学系
4 レンズ
5 絞り
6 シャッター
7 光学部品
8 撮像素子
9 マウント部
12 アナログ信号処理部
13 A/D変換部
14 タイミング制御部
15 画像処理部
16 操作部
17 制御部
18 メモリ
19 圧縮/伸長部
20 表示画像生成部
21、32 モニタ
22 メモリカード用インタフェース部
23 外部インタフェース部
24 バス
30 メモリカード
31 PC(パーソナルコンピュータ)
33 プリンタ
34 CD−ROM
Claims (18)
- 光学系を通して撮影された第1の画像と、前記第1の画像とは異なる光学的条件で撮影された第2の画像を取得する画像取得手段と、
前記第1の画像と前記第2の画像を用いて、前記第1の画像もしくは前記第2の画像内に含まれる欠陥情報を作成する欠陥情報作成手段とを備えることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記欠陥情報を用いて、前記第1の画像もしくは前記第2の画像内の欠陥を補正する補正手段を備えることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記第1の画像と前記第2の画像との間で、絞り値および瞳位置の少なくとも1つの光学的条件が異なることを特徴とする画像処理装置。 - 請求項1から3のいずれかに記載の画像処理装置において、
前記欠陥情報作成手段は、前記第1の画像と第2の画像の光学的条件の不一致をなくすため、前記第1の画像と第2の画像の少なくとも一方の画像を、一定の光学的条件に合致するような変換を行う光学的条件変換手段を備えることを特徴とする画像処理装置。 - 請求項4に記載の画像処理装置において、
前記光学的条件変換手段は、前記光学的条件の絞り値が異なるとき、前記第1の画像もしくは前記第2の画像に基づく画素信号に対してローパスフィルタ処理を行って、同じ絞り値のときにあると想定される欠陥の状態に変換することを特徴とする画像処理装置。 - 請求項5に記載の画像処理装置において、
前記光学的条件変換手段は、実質的に均等な重みづけのローパスフィルタを用いて変換することを特徴とする画像処理装置。 - 請求項4に記載の画像処理装置において、
前記光学的条件変換手段は、前記光学的条件の瞳位置が異なるとき、前記第1の画像もしくは前記第2の画像に基づく画素信号に対して前記光学系の光軸中心から動径方向にずらす変位処理を行って、同じ瞳位置のときにあると想定される欠陥の状態に変換することを特徴とする画像処理装置。 - 請求項7に記載の画像処理装置において、
前記光学的条件変換手段は、光軸中心から遠くになるに従い、動径方向にずらす量を増やす変位処理を行うことを特徴とする画像処理装置。 - 請求項7から8のいずれかに記載の画像処理装置において、
前記光学的条件変換手段は、前記欠陥の原因となる異物が、前記光学系内の撮像面から光軸に沿って所定の距離にあると仮定して変位量を予測する演算を行い、変位処理を行うことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記第1の画像と第2の画像のどちらか一方は補正の対象となる補正対象画像であり、他方は欠陥情報を作成するための基準画像であることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記第1の画像と第2の画像は、どちらも補正の対象となる補正対象画像であり、
前記欠陥情報作成手段は、前記第1の画像と前記第2の画像を用いて、前記第1の画像と前記第2の画像に共通な欠陥情報を作成することを特徴とする画像処理装置。 - 請求項11に記載の画像処理装置において、
前記欠陥情報作成手段は、前記第1の画像と第2の画像の光学的条件の不一致をなくすため、前記第1の画像と第2の画像の少なくとも一方の画像を、一定の光学的条件に合致するような変換を行う光学的条件変換手段を備えることを特徴とする画像処理装置。 - 請求項10に記載の画像処理装置において、
前記画像取得手段は、前記光学系の可変な絞り値の中で、最も絞り込んだ状態の絞り値で撮影された前記基準画像を取得することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記欠陥情報作成手段は、前記取得した画像内において、着目画素の値と該着目画素を含む所定範囲内の複数の画素の値の平均値に基づき、前記画像内の欠陥情報を作成することを特徴とする画像処理装置。 - 請求項10、13のいずれかに記載の画像処理装置において、
前記画像取得手段は、前記補正対象画像の撮影前後の所定時間内に撮影された基準画像を取得することを特徴とする。 - 光学系を通して撮影された第1の画像と、前記第1の画像とは異なる光学的条件で撮影された第2の画像を取得する画像取得手段と、
前記第1の画像と前記第2の画像を用いて、前記第1の画像もしくは前記第2の画像内に含まれる欠陥を補正する補正手段とを備えることを特徴とする画像処理装置。 - 請求項16に記載の画像処理装置において、
前記第1の画像と前記第2の画像との間で、絞り値および瞳位置の少なくとも1つの光学的条件が異なることを特徴とする画像処理装置。 - 請求項1〜17のいずれかに記載の画像処理装置の機能をコンピュータに実行させるための画像処理プログラム。
Priority Applications (10)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003307357A JP4466017B2 (ja) | 2002-12-27 | 2003-08-29 | 画像処理装置および画像処理プログラム |
US10/540,972 US7853097B2 (en) | 2002-12-27 | 2003-12-25 | Image processing apparatus and image processing program |
PCT/JP2003/016797 WO2004062275A1 (ja) | 2002-12-27 | 2003-12-25 | 画像処理装置および画像処理プログラム |
EP12157353.9A EP2461576B1 (en) | 2002-12-27 | 2003-12-25 | Image processing apparatus and image processing program |
CN200380107791.8A CN1732682B (zh) | 2002-12-27 | 2003-12-25 | 图像处理装置 |
CN2010101265675A CN101778203B (zh) | 2002-12-27 | 2003-12-25 | 图像处理装置 |
EP03768277.0A EP1583356B1 (en) | 2002-12-27 | 2003-12-25 | Image processing device and image processing program |
CN2010101265533A CN101778222B (zh) | 2002-12-27 | 2003-12-25 | 图像处理装置 |
US12/640,603 US8031968B2 (en) | 2002-12-27 | 2009-12-17 | Image processing apparatus and image processing program |
US13/222,842 US8369651B2 (en) | 2002-12-27 | 2011-08-31 | Image processing apparatus and image processing program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002379720 | 2002-12-27 | ||
JP2003307357A JP4466017B2 (ja) | 2002-12-27 | 2003-08-29 | 画像処理装置および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004222233A true JP2004222233A (ja) | 2004-08-05 |
JP4466017B2 JP4466017B2 (ja) | 2010-05-26 |
Family
ID=32911254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003307357A Expired - Lifetime JP4466017B2 (ja) | 2002-12-27 | 2003-08-29 | 画像処理装置および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4466017B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1667434A1 (en) * | 2003-08-29 | 2006-06-07 | Nikon Corporation | Imaging system diagnosis device, imaging system diagnosis program, imaging system diagnosis program product, and imaging device |
JP2006229898A (ja) * | 2005-02-21 | 2006-08-31 | Canon Inc | デジタルカメラ装置 |
JP2008072416A (ja) * | 2006-09-14 | 2008-03-27 | Samsung Techwin Co Ltd | 撮像装置および撮像方法 |
WO2009013962A1 (en) * | 2007-07-24 | 2009-01-29 | Canon Kabushiki Kaisha | Image capturing apparatus, control method therefor, and program |
JP2010528529A (ja) * | 2007-05-18 | 2010-08-19 | デーティーエス・デジタル・イメージーズ,インコーポレイテッド | カメラの光路中の汚染物質により生じる半透明のアーティファクトのデジタル画像からの除去 |
CN101388959B (zh) * | 2007-09-12 | 2013-04-24 | 佳能株式会社 | 摄像设备及其控制方法 |
JP2013093816A (ja) * | 2011-10-27 | 2013-05-16 | Canon Inc | 撮像装置、その制御方法及びプログラム |
WO2017104291A1 (ja) * | 2015-12-18 | 2017-06-22 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
-
2003
- 2003-08-29 JP JP2003307357A patent/JP4466017B2/ja not_active Expired - Lifetime
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8098305B2 (en) | 2003-08-29 | 2012-01-17 | Nikon Corporation | Image-capturing system diagnostic device, image-capturing system diagnostic program product and image-capturing device for monitoring foreign matter |
EP1667434A1 (en) * | 2003-08-29 | 2006-06-07 | Nikon Corporation | Imaging system diagnosis device, imaging system diagnosis program, imaging system diagnosis program product, and imaging device |
EP1667434A4 (en) * | 2003-08-29 | 2009-11-18 | Nikon Corp | IMAGING SYSTEM DIAGNOSTIC DEVICE, PROGRAM AND PROGRAM PRODUCT, AND IMAGING DEVICE |
JP2006229898A (ja) * | 2005-02-21 | 2006-08-31 | Canon Inc | デジタルカメラ装置 |
JP2008072416A (ja) * | 2006-09-14 | 2008-03-27 | Samsung Techwin Co Ltd | 撮像装置および撮像方法 |
JP4695571B2 (ja) * | 2006-09-14 | 2011-06-08 | 三星電子株式会社 | 撮像装置および撮像方法 |
JP2010528529A (ja) * | 2007-05-18 | 2010-08-19 | デーティーエス・デジタル・イメージーズ,インコーポレイテッド | カメラの光路中の汚染物質により生じる半透明のアーティファクトのデジタル画像からの除去 |
WO2009013962A1 (en) * | 2007-07-24 | 2009-01-29 | Canon Kabushiki Kaisha | Image capturing apparatus, control method therefor, and program |
US8089554B2 (en) | 2007-07-24 | 2012-01-03 | Canon Kabushiki Kaisha | Image capturing apparatus, control method therefor, and program |
CN101388959B (zh) * | 2007-09-12 | 2013-04-24 | 佳能株式会社 | 摄像设备及其控制方法 |
JP2013093816A (ja) * | 2011-10-27 | 2013-05-16 | Canon Inc | 撮像装置、その制御方法及びプログラム |
WO2017104291A1 (ja) * | 2015-12-18 | 2017-06-22 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
JP6161847B1 (ja) * | 2015-12-18 | 2017-07-12 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4466017B2 (ja) | 2010-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4186699B2 (ja) | 撮像装置および画像処理装置 | |
EP1583356B1 (en) | Image processing device and image processing program | |
US10757312B2 (en) | Method for image-processing and mobile terminal using dual cameras | |
JP4466015B2 (ja) | 画像処理装置および画像処理プログラム | |
EP3349433B1 (en) | Control system, imaging device, and program | |
JP6833415B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4196124B2 (ja) | 撮像系診断装置、撮像系診断プログラム、撮像系診断プログラム製品、および撮像装置 | |
JP4419479B2 (ja) | 画像処理装置および画像処理プログラム | |
JP4438363B2 (ja) | 画像処理装置および画像処理プログラム | |
JP4466017B2 (ja) | 画像処理装置および画像処理プログラム | |
JP4523629B2 (ja) | 撮像装置 | |
JP2015192338A (ja) | 画像処理装置および画像処理プログラム | |
JP4466016B2 (ja) | 画像処理装置および画像処理プログラム | |
KR20010037684A (ko) | 디지털 스틸 카메라의 자동 노출 보정 장치 및 방법 | |
JP6348883B2 (ja) | 画像撮像装置、画像撮像方法及びコンピュータプログラム | |
JP2015233202A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP2011135379A (ja) | 撮像装置、撮像方法及びプログラム | |
JP2021064837A (ja) | 撮像装置 | |
JP2004159087A (ja) | スキャナシステム、画像処理プログラム | |
JP2018041203A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2018060567A (ja) | 画像処理装置 | |
JP2018007188A (ja) | Mtf特性を用いたモアレの低減装置 | |
JP2017116606A (ja) | 焦点調節装置、撮像装置およびプログラム | |
JP2012185648A (ja) | 画像処理装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100108 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100202 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4466017 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140305 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |