JP2000244934A - 補間処理装置および補間処理プログラムを記録した記録媒体 - Google Patents

補間処理装置および補間処理プログラムを記録した記録媒体

Info

Publication number
JP2000244934A
JP2000244934A JP11027248A JP2724899A JP2000244934A JP 2000244934 A JP2000244934 A JP 2000244934A JP 11027248 A JP11027248 A JP 11027248A JP 2724899 A JP2724899 A JP 2724899A JP 2000244934 A JP2000244934 A JP 2000244934A
Authority
JP
Japan
Prior art keywords
interpolation
point
vacant
similarity
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11027248A
Other languages
English (en)
Other versions
JP4305989B2 (ja
Inventor
Kenichi Ishiga
健一 石賀
Takeshi Utagawa
健 歌川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP02724899A priority Critical patent/JP4305989B2/ja
Publication of JP2000244934A publication Critical patent/JP2000244934A/ja
Application granted granted Critical
Publication of JP4305989B2 publication Critical patent/JP4305989B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】 最も高い密度で分布する色を出力する格子点
と該色が欠落する空格子点とから成るカラー画像に対
し、空格子点での該色の色情報に相当する補間量を算出
する補間処理を行う補間処理装置および該補間処理をコ
ンピュータに実行させる補間処理プログラムを記録した
記録媒体に関し、エッジ部分での偽色の発生を抑えて、
精度良く補間処理を行うことを目的とする。 【解決手段】 類似性判定手段は、補間処理の対象とな
る着目空格子点を起点として近傍の格子点に向かう複数
の方向の各々に対して、着目空格子点の類似性を判定
し、補間量算出手段は、類似性判定手段で判定された複
数の方向に対する類似性の強弱に基づき、該方向に位置
する格子点の色情報を加重加算することによって補間量
を算出する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、最も高い密度で分
布する色を出力する格子点と該色が欠落する空格子点と
から成るカラー画像に対し、空格子点での該色の色情報
に相当する補間量を算出する補間処理を行う補間処理装
置と、該補間処理をコンピュータに実行させる補間処理
プログラムを記録した記録媒体とに関する。
【0002】
【従来の技術】電子カメラには、カラー画像の画像デー
タを生成する際、単一の撮像素子を用いるものがある。
このような撮像素子は、例えば図7(1)に示すよう
に、RGB(赤色・緑色・青色)の3色のカラーフィル
タがベイア配列されて構成される。ここで、G(緑色)
に着目すると、撮像素子は、図7(2)に示すように緑
色を出力する画素である格子点と、緑色が欠落する画素
である空格子点とで構成されていると言える。
【0003】従来から、このような空格子点に欠落する
色の色情報(補間量)を得るための補間処理が考えられ
ている。例えば、このような補間処理としては、補間処
理の対象となる空格子点(以下、「着目空格子点」とい
う。)に隣接する4つの格子点の色情報の平均値を補間
量とするものがあった。
【0004】また、米国特許第5,382,976号明細
書および米国特許第5,373,322号明細書には、着
目空格子点の空間的な類似性を着目空格子点の色傾斜
(chrominance gradients)によって推定し、類似性が
強い方向に隣接する2つの格子点の色情報に基づいて補
間量を算出する技術が開示されている。
【0005】
【発明が解決しようとする課題】しかし、これらの米国
特許明細書に開示された技術では、類似性が強い方向に
隣接する2つの格子点の色情報の平均値を補間量として
いるため、エッジ部分がぼやけてしまったり、偽色が発
生するなど、補間処理によってカラー画像が破綻する可
能性があった。
【0006】そこで、請求項1ないし請求項4に記載の
発明は、エッジ部分での偽色の発生を抑えて、精度良く
補間処理を行うことができる補間処理装置を提供するこ
とを目的とする。また、請求項5および請求項6に記載
の発明は、エッジ部分での偽色の発生を抑えて精度良い
補間処理をコンピュータに実行させることができる補間
処理プログラムを記録した記録媒体を提供することを目
的とする。
【0007】
【課題を解決するための手段】以下、実施形態の図面に
対応付けて、課題を解決するための手段を説明する。請
求項1に記載の補間処理装置は、補間処理の対象となる
着目空格子点を起点として近傍の格子点に向かう複数の
方向の各々に対して、着目空格子点の類似性を判定する
類似性判定手段(S12〜S15を行っている状態の図
1の補間処理部17に対応する)と、類似性判定手段で
判定された複数の方向に対する類似性の強弱に基づき、
該方向に位置する格子点の色情報(G)を加重加算する
ことによって補間量を算出する補間量算出手段(S1
6、S17を行っている状態の図1の補間処理部17に
対応する)とを備えたことを特徴とする。
【0008】請求項2に記載の補間処理装置は、補間処
理の対象となる着目空格子点を起点として近傍の格子点
に向かう複数の方向の各々に対して該着目空格子点の類
似性を判定し、該類似性の強弱に基づいて該方向に位置
する格子点の色情報(G)を加重加算することによって
補間量を算出する第1の補間量算出手段(S21を行っ
ている状態の図1の補間処理部17に対応する)と、前
記複数の方向に位置する格子点の色情報(G)から予測
される補間量の予測値を、該方向に位置して着目空格子
点と同一の色を出力する空格子点の色情報(Rまたは
B)と着目空格子点の色情報(RまたはB)とに基づい
て補正することによって、補間量を算出する第2の補間
量算出手段(S22を行っている状態の図1の補間処理
部17に対応する)と、着目空格子点の色情報(Rまた
はB)と着目空格子点の近傍に位置する空格子点の色情
報(RまたはB)との大小関係に基づいて、第1の補間
量算出手段と第2の補間量算出手段との切り換えを行う
切り換え手段(S20を行っている状態の図1の補間処
理部17に対応する)とを備えたことを特徴とする。
【0009】なお、請求項2に記載の補間処理装置で
は、第1の補間量算出手段と第2の補間量算出手段とで
2種類の補間量を算出した後に、何れか一方の補間量を
選択しても良いし、予め、何れの補間処理手段によって
補間量を算出するかを決定しておいても良い。また、請
求項2に記載の補間処理装置では、第1の補間量算出手
段のみを用いて補間量を算出するか、第1の補間量算出
手段と第2の補間量算出手段とを用いて補間量を算出す
るかを、切り換え手段で切り換えても良く、第1の補間
量算出手段によって補間量を算出した後に、その補間量
を予測値として第2の補間量算出手段で必要に応じて補
正することも可能である。
【0010】ところで、補間量の予測値を補正すること
によって補間量を算出する方法としては、例えば、米国
特許第5,629,734号明細書に開示された技術が適
応できる。米国特許第5,629,734号明細書に開示
された技術では、色情報が以下のように配置されている
状態において、 着目空格子点の色情報をA5とし、着目空格子点と同一
の色を出力する空格子点の色情報をA1、A3、A7、
A9とし、着目空格子点に隣接する格子点の色情報をG
2、G4、G6、G8とすると、水平方向の類似性が強
い場合、着目空格子点の補間量G5は、 G5=(G4+G6)/2+(−A3+2A5−A7)
/4 によって算出される。また、垂直方向の類似性が強い場
合、着目空格子点の補間量G5は、 G5=(G2+G8)/2+(−A1+2A5−A9)
/4 によって算出される。
【0011】請求項3に記載の補間処理装置は、請求項
1または請求項2に記載の補間処理装置において、前記
複数の方向の各々に対する着目空格子点の類似性は、前
記着目空格子点の色情報の他に、少なくとも該着目空格
子点と同一の色を出力する空格子点の色情報を用いて算
出されることを特徴とする。なお、請求項3に記載の補
間処理装置では、着目空格子点の類似度は、着目空格子
点の色情報および着目空格子点の近傍に位置して着目空
格子点と同一の色を出力する空格子点の色情報以外に、
格子点の色情報や着目空格子点と異なる色を出力する空
格子点の色情報などを用いて算出されても良い。
【0012】請求項4に記載の補間処理装置は、請求項
1ないし請求項3の何れか1項記載の補間処理装置にお
いて、前記複数の方向は、前記着目空格子点を起点に近
傍の格子点に向かう2つの方向の組み合わせのうち、該
着目空格子点の類似性が最も強い組み合わせに属する2
つの方向であることを特徴とする。すなわち、請求項4
に記載の補間処理装置では、上方向と下方向との組み合
わせ(縦方向)、左方向と右方向との組み合わせ(横方
向)、上方向と左方向との組み合わせ、上方向と右方向
との組み合わせ、下方向と左方向との組み合わせ、下方
向と右方向との組み合わせのうち、例えば、縦方向の類
似性が最も強い場合には、上方向に位置する格子点の色
情報と下方向に位置する格子点の色情報とを用いて補間
量が算出される。
【0013】請求項5に記載の記録媒体は、コンピュー
タを請求項1、請求項3、請求項4の何れか1項に記載
の類似性判定手段、補間量算出手段として機能させるた
めの補間処理プログラム(図2の動作フローチャートに
対応する)を記録していることを特徴とする。請求項6
に記載の記録媒体は、コンピュータを請求項2ないし請
求項4の何れか1項に記載の第1の補間量算出手段、第
2の補間量算出手段、切り換え手段として機能させるた
めの補間処理プログラム(図4の動作フローチャートに
対応する)を記録していることを特徴とする。
【0014】
【発明の実施の形態】以下、図面に基づいて、本発明の
実施形態について詳細を説明する。図1は、第1の実施
形態に対応する電子カメラの機能ブロック図である。な
お、第1の実施形態に対応する電子カメラは、請求項
1、請求項3および請求項4に記載の補間処理装置が行
う補間処理の機能を備えた電子カメラに相当する。
【0015】図1において、電子カメラ10は、制御部
11、撮影光学系12、撮像部13、A/D変換部1
4、画像処理部15および記録部16を有する。また、
画像処理部15は、補間処理部(補間処理専用の1チッ
プ・マイクロプロセッサ)17を有する。なお、図1で
は、説明を簡略化するため、画像処理部15内に補間処
理部17のみを記載しているが、画像処理部15内に
は、例えば、階調変換処理など他の画像処理を行う機能
ブロックが設けられても良い。
【0016】図1において、制御部11は、撮像部1
3、A/D変換部14、画像処理部15および記録部1
6に接続される。撮影光学系12で取得された光学像
は、撮像部13に与えられる。撮像部13の出力は、A
/D変換部14によって量子化されて、カラー画像の画
像データとして画像処理部15に供給される。
【0017】画像処理部15に供給された画像データ
は、補間処理部17によって補間処理が施され、記録部
16を介して記録される。図2は、第1の実施形態にお
ける補間処理部17の動作フローチャートである。図3
は、補間処理の対象となる画像データの色情報の配列を
示す図である。図3(1)は、第1の実施形態および第
2の実施形態において補間処理の対象となる画像データ
の色情報の配列(ベイア配列)であり、図3(2)は、
第3の実施形態において補間処理の対象となる画像デー
タの色情報の配列(GストライプR、B市松配列)であ
る。
【0018】図3では、i、jを用いて位置を示し、
G、RB、BRを用いて色を示しており、Gに関して言
えば、Gが記載された位置が格子点に相当し、RBまた
はBRが記載された位置が空格子点に相当する。ここ
で、図中にRBと表記されているカラーフィルタは、R
またはBのカラーフィルタの一方が配置されていること
を示し、また、図中にBRと表記されているカラーフィ
ルタは、BまたはRのカラーフィルタの他方が配置され
ていることを示している。すなわち、図3(1)は、ベ
イア配列されたカラーフィルタを介して生成された画像
データの色情報の配列を示し、図3(2)は、Gのみが
配された列と RとBとが交互に配された列とがストラ
イプ状に配列されたカラーフィルタを介して生成された
画像データの色情報の配列を示している。
【0019】なお、第1の実施形態ないし第3の実施形
態では、座標(i,j)に位置する空格子点を着目空格
子点として扱うことにし、各画素の色情報をRB(i,
j)(R(i,j)またはB(i,j)に相当する)や
G(i,j−1)のように表現することにする。以下、
第1の実施形態の動作を説明するが、第1の実施形態で
は、図2を参照して補間処理部17の動作(特に、Gの
空格子点の補間量を算出するための動作)を中心に説明
する。
【0020】まず、補間処理部17は、着目空格子点の
縦方向の類似度Dv(i,j) および横方向の類似度Dh(i,j)
を算出する(S10)。例えば、補間処理部17は、着
目空格子点の縦方向の類似度Dv(i,j) 、横方向の類似度
Dh(i,j)を Dv(i,j)=|G(i-1,j)-G(i+1,j)|+|G(i-2,j-1)-G(i,j-1)|+
|G(i+2,j-1)-G(i,j-1)| Dh(i,j)=|G(i,j-1)-G(i,j+1)|+|G(i-1,j-2)-G(i-1,j)|+
|G(i-1,j+2)-G(i-1,j)| によって算出するが、如何なる公知技術を適用しても良
い。なお、このようにして算出される縦方向の類似度Dv
(i,j) および横方向の類似度Dh(i,j)は、値が小さい
程、類似性が強いことを意味する。
【0021】次に、補間処理部17は、前述したように
算出した縦方向の類似度Dv(i,j) および横方向の類似度
Dh(i,j) に基づいて、類似性の強い方向を判定する(S
11)。例えば、補間処理部17は、以下に示す<<類似
性判定方法1>>または<<類似性判定方法2>>によって、
類似性の強い方向を判定する。
【0022】<<類似性判定方法1>>補間処理部17は、
任意の値Tについて、 (|Dv(i,j)-Dh(i,j)|>T)∩(Dv(i,j)<Dh(i,j)) が成り立つ場合、縦方向の類似性が強い(以下、「縦類
似」という。)と判定し、 (|Dv(i,j)-Dh(i,j)|>T)∩(Dv(i,j)>Dh(i,j)) が成り立つ場合、横方向の類似性が強い(以下、「横類
似」という。)と判定し、 |Dv(i,j)-Dh(i,j)|≦T が成り立つ場合、何れの方向の類似性が強いかは不明で
ある(以下、「中間類似」という。)と判定する。
【0023】<<類似性判定方法2>>補間処理部17は、 x=(Dv(i,j)-Dh(i,j))/((Dv(i,j)+Dh(i,j))・T1+T2) において、x<-1のとき、f(x)=-1 として縦類似と判定
し、x>1 のとき、f(x)=1として横類似と判定し、-1≦x
≦1 のとき、f(x)= x として中間類似と判定する。
【0024】ただし、T1、T2は、正の定数であり、f(x)
は、後述する補間量の算出時に用いるファジー関数であ
る。補間処理部17は、上述した方法によって類似性の
強い方向の判定を行うと、判定の結果が縦類似の場合、
上方向の類似度Dup(i,j)および下方向の類似度Ddn(i,j)
を算出し(S12)、判定の結果が横類似の場合、左方
向の類似度Dlt(i,j)および右方向の類似度Drt(i,j)を算
出する(S13)。
【0025】例えば、補間処理部17は、上方向の類似
度Dup(i,j)、下方向の類似度Ddn(i,j)、左方向の類似度
Dlt(i,j)および右方向の類似度Drt(i,j)を Dup(i,j)=|RB(i-2,j)-RB(i,j)| Ddn(i,j)=|RB(i+2,j)-RB(i,j)| Dlt(i,j)=|RB(i,j-2)-RB(i,j)| Drt(i,j)=|RB(i,j+2)-RB(i,j)| によって算出する。
【0026】ところで、このようにして算出される類似
度に対して、以下のように着目空格子点に隣接する格子
点や近傍に位置する空格子点の色情報から成る項を加算
して高周波情報を取り込んでも良い。 Dup(i,j)=|RB(i-2,j)-RB(i,j)|+a・|G(i-1,j)-RB(i,j)|+
b・(|BR(i-1,j-1)-G(i,j-1)|+|BR(i-1,j+1)-G(i,j+1)|)/
2 Ddn(i,j)=|RB(i+2,j)-RB(i,j)|+a・|G(i+1,j)-RB(i,j)|+
b・(|BR(i+1,j-1)-G(i,j-1)|+|BR(i+1,j+1)-G(i,j+1)|)/
2 Dlt(i,j)=|RB(i,j-2)-RB(i,j)|+a・|G(i,j-1)-RB(i,j)|+
b・(|BR(i-1,j-1)-G(i-1,j)|+|BR(i+1,j-1)-G(i+1,j)|)/
2 Drt(i,j)=|RB(i,j+2)-RB(i,j)|+a・|G(i,j+1)-RB(i,j)|+
b・(|BR(i-1,j+1)-G(i-1,j)|+|BR(i+1,j+1)-G(i+1,j)|)/
2 ただし、a、bは、0または正の定数であり、各色情報間
の類似性に優先度をつけるために設けた値である。
【0027】なお、このようにして算出される上方向の
類似度Dup(i,j)、下方向の類似度Ddn(i,j)、左方向の類
似度Dlt(i,j)および右方向の類似度Drt(i,j)は、値が小
さい程、類似性が強いことを意味する。補間処理部17
は、前述したようにして各方向の類似度を算出すると、
S11の判定の結果が縦類似の場合、上方向の類似度Du
p(i,j)と下方向の類似度Ddn(i,j)を用いて上方向の加重
係数Wupおよび下方向の加重係数Wdnを算出し(S1
4)、S11の判定の結果が横類似の場合、左方向の類
似度Dlt(i,j)および右方向の類似度Drt(i,j)を用いて右
方向の加重係数Wltおよび左方向の加重係数Wrtを算出す
る(S15)。
【0028】例えば、補間処理部17は、上方向の加重
係数Wup、下方向の加重係数Wdn、右方向の加重係数Wlt
および左方向の加重係数Wrtを Wup=Ddn(i,j)/(Dup(i,j)+Ddn(i,j)) Wdn=Dup(i,j)/(Dup(i,j)+Ddn(i,j)) Wlt=Drt(i,j)/(Dlt(i,j)+Drt(i,j)) Wrt=Dlt(i,j)/(Dlt(i,j)+Drt(i,j)) によって算出する。
【0029】なお、分母が0となる場合の発散を防ぐた
め、以下のように、各項の類似度に正のオフセット値
(ここでは、1とする)を加えても良い。 Wup=(Ddn(i,j)+1)/[(Dup(i,j)+1)+(Ddn(i,j)+1)] Wdn=(Dup(i,j)+1)/[(Dup(i,j)+1)+(Ddn(i,j)+1)] Wlt=(Drt(i,j)+1)/[(Dlt(i,j)+1)+(Drt(i,j)+1)] Wrt=(Dlt(i,j)+1)/[(Dlt(i,j)+1)+(Drt(i,j)+1)] ところで、このようにしてオフセット値が加算された場
合、上方向と下方向とで類似性が等しく、Dup(i,j)=Ddn
(i,j)=0 となったときには、Wup=Wdn=1/2 となり、左方
向と右方向とで類似性が等しく、Dlt(i,j)=Drt(i,j)=0
となったときには、Wlt=Wrt=1/2 となる。
【0030】また、上記定義の加重係数は、Dup=0、Ddn
=maxのとき、Wup=1、Wdn=0となり、類似度の最も強い方
向から値を直接引用する場合も含んでいる。補間処理部
17は、前述したようにして各方向の加重係数を算出す
ると、S11の判定の結果が縦類似の場合、補間量G(i,
j)を G(i,j)=Wup・G(i-1,j)+Wdn・G(i+1,j)=Gv(i,j) によって算出し(S16)、S11の判定の結果が横類
似の場合、補間量G(i,j)を G(i,j)=Wlt・G(i,j-1)+Wrt・G(i,j+1)=Gh(i,j) によって算出する(S17)。
【0031】また、補間処理部17は、S11の判定の
結果が中間類似の場合、補間量G(i,j)を G(i,j)=(Gv(i,j)+Gh(i,j))/2 または G(i,j)=(G(i-1,j)+G(i+1,j)+G(i,j-1)+G(i,j+1))/4 または G(i,j)=Gv(i,j)・(1-f(x))/2+Gh(i,j)・(1+f(x))/2 によって算出する(S18)。
【0032】ただし、f(x)は、前述した<<類似性判定方
法2>>によって算出したファジー関数である。以上説明
したように、第1の実施形態では、ベイア配列されたカ
ラーフィルタを介して生成された画像データに対する補
間処理として、着目空格子点の類似性が強い方向に隣接
する2つの格子点の色情報を用いて補間量を算出する
が、補間量は、従来の補間処理と異なり、各々の格子点
の色情報を加重加算することによって算出される。
【0033】したがって、第1の実施形態では、従来の
補間処理と比べて、エッジ部分の偽色を確実に低減する
ことができる。ところで、第1の実施形態では、上方向
の加重係数Wupと下方向の加重係数Wdnとを加算すると1
となり、左方向の加重係数Wltと右方向の加重係数Wrtと
を加算すると1となる。そのため、第1の実施形態によ
って算出される補間量は、縦類似の場合、縦方向に隣接
する2つの格子点の色情報の範囲(図5(A)〜(C)
の範囲Lに相当する)に収まり、横類似の場合、横方向
に隣接する2つの格子点の色情報の範囲に収まることに
なる。
【0034】すなわち、第1の実施形態では、着目空格
子点の補間量は、必ず隣接する2つの格子点の色情報の
内分点になる。以下、このようにして行われる補間処理
(S12〜S18)を「内分点補間処理」という。
【0035】以下、第2の実施形態の動作を説明する。
なお、第2の実施形態は、請求項2ないし請求項4に記
載の補間処理装置が行う補間処理の機能を備えた電子カ
メラに相当するが、第2の実施形態の特徴は、図1に示
す補間処理部17によって行われる補間処理の方法にあ
り、ハードウエアの構成は、図1と同じであるため、図
示および説明を省略する。
【0036】ところで、第2の実施形態において、補間
処理部17は、前述した内分点補間処理の他に、着目空
格子点の補間量が、隣接する2つの格子点の色情報の範
囲を外れるような補間処理(以下、「外分点補間処理」
という。)を行うので、ここで、このような外分点補間
処理の説明を行う。補間処理部17は、第1の実施形態
と同様にして類似性の強い方向の判定を行った状態にお
いて、判定の結果が縦類似の場合、補間量G(i,j)を G(i,j)=(G(i-1,j)+G(i+1,j))/2+(2・RB(i,j)-RB(i-2,j)-
RB(i+2,j))/4 によって算出し、判定の結果が横類似の場合、補間量G
(i,j)を G(i,j)=(G(i,j-1)+G(i,j+1))/2+(2・RB(i,j)-RB(i,j-2)-
RB(i,j+2))/4 によって算出し、判定の結果が中間類似の場合、補間量
G(i,j)を G(i,j)=(G(i-1,j)+G(i+1,j)+G(i,j-1)+G(i,j+1))/4+(4・
RB(i,j)-RB(i-2,j)-RB(i+2,j)-RB(i,j-2)-RB(i,j+2))/8 によって算出する。
【0037】すなわち、ここでは、着目空格子点に隣接
する格子点の色情報の平均値を補間量の予測値として扱
い、その予測値を補正する(所定の項を加算する)こと
によって、補間量を算出している。なお、このような外
分点補間処理では、予測値を補正する方法として、予測
値に所定の係数を乗算しても良い。例えば、所定の係数
としては、縦類似の場合、 RB(i,j)/((RB(i-2,j)+RB(i+2,j))/2) が考えられ、横類似の場合、 RB(i,j)/((RB(i,j-2)+RB(i,j+2))/2) が考えられる。
【0038】図4は、第2の実施形態における補間処理
部17の動作フローチャートである。なお、図4に示す
処理のうち、図2に示す処理と同じ処理については、同
じ番号を付与し、説明を省略する。以下、図4を参照し
て第2の実施形態における補間処理部17の動作を説明
する。
【0039】まず、補間処理部17は、第1の実施形態
と同様にして、着目空格子点の縦方向の類似度Dv(i,j)
および横方向の類似度Dh(i,j)を算出し(S10)、類
似性の強い方向を判定する(S11)。次に、補間処理
部17は、着目空格子点が外分点であるか否かを判定す
る(S20)。
【0040】例えば、補間処理部17は、S11の判定
の結果が縦類似の場合には、 (RB(i-2,j)-RB(i,j))・(RB(i+2,j)-RB(i,j))>0 が成り立つときに着目空格子点を外分点と判定し、S1
1の判定の結果が横類似の場合には、 (RB(i,j-2)-RB(i,j))・(RB(i,j+2)-RB(i,j))>0 が成り立つときに着目空格子点を外分点と判定し、S1
1の判定の結果が中間類似の場合には、 [(RB(i-2,j)-RB(i,j))・(RB(i+2,j)-RB(i,j))>0]∩ [(RB(i,j-2)-RB(i,j))・(RB(i,j+2)-RB(i,j))>0] が成り立つときに着目空格子点を外分点と判定し、各条
件式が成り立たないときに着目空格子点を内分点と判定
する。
【0041】図5は、内分点と外分点との判定条件の模
式図である。図5において、(1)〜(3)では、着目
空格子点がR(赤色)を出力すると仮定し、着目空格子
点の色情報をR(k)とし、着目空格子点を挟んで同一直線
上に位置してRを出力する2つの空格子点の色情報をR
(k-2)、R(k+2)としている。
【0042】すなわち、第2の実施形態では、図5
(2)のようにR(k)がR(k-2)およびR(k+2)を上回るとき
や、図5(3)のようにR(k)がR(k-2)およびR(k+2)を下
回るときに着目空格子点を外分点と判定し、図5(1)
のようにR(k)がR(k-2)とR(k+2)との範囲内であるときに
着目空格子点を内分点と判定する。なお、着目空格子点
を外分点であると判定する条件を厳しくし、R(k)がR(k-
2)とR(k+2)との範囲から極端に離れているときのみ、着
目空格子点を外分点と判定したい場合には、閾値Thを設
けた以下のような条件式を用いれば良い。
【0043】縦類似の場合の条件式: [(RB(i-2,j)-RB(i,j)>Th)∩(RB(i+2,j)-RB(i,j)>Th)]∪ [(RB(i-2,j)-RB(i,j)<Th)∩(RB(i+2,j)-RB(i,j)<Th)] 横類似の場合の条件式: [(RB(i,j-2)-RB(i,j)>Th)∩(RB(i,j+2)-RB(i,j)>Th)]∪ [(RB(i,j-2)-RB(i,j)<Th)∩(RB(i,j+2)-RB(i,j)<Th)] 中間類似の場合の条件式: [(RB(i-2,j)-RB(i,j)>Th)∩(RB(i+2,j)-RB(i,j)>Th)∩ (RB(i,j-2)-RB(i,j)>Th)∩(RB(i,j+2)-RB(i,j)>Th)]∪ [(RB(i-2,j)-RB(i,j)<Th)∩(RB(i+2,j)-RB(i,j)<Th)∩ (RB(i,j-2)-RB(i,j)<Th)∩(RB(i,j+2)-RB(i,j)<Th)] 補間処理部17は、このようにして着目空格子点が外分
点であるか否かの判定を行うと、判定の結果が内分点の
場合、内分点処理(図2S12〜S18)を行い(S2
1)、判定の結果が外分点の場合、前述した外分点補間
処理を行う(S22)。
【0044】すなわち、第2の実施形態は、内分点補間
処理と外分点補間処理とを切り換える処理に相当する。
ところで、図5(A)〜(C)では、着目空格子点を挟
んで同一直線上に隣接する格子点の色情報をG(k-1)、G
(k+1)としており、図5(1)のように着目空格子点が
内分点である場合には、内分点補間処理が行われ、図5
(2)、(3)のように着目空格子点が外分点である場
合には、外分点補間処理が行われることを示す。
【0045】以上説明したように、第2の実施形態で
は、着目空格子点が外分点である場合には、外分点補間
処理が行われるため、内分点補間処理のみが行われる第
1の実施形態と比べて、エッジ部分の鮮明度を高くする
ことができる。なお、第2の実施形態では、内分点補間
処理と外分点補間処理とが択一的に行われるが、全ての
空格子点に対して内分点補間処理を行った後に、外分点
を示す空格子点に対して外分点補間処理を行っても良
い。ただし、このようにして行われる外分点補間処理で
は、内分点補間処理によって得られた補間量を予測値と
して用いる。
【0046】また、第1の実施形態および第2の実施形
態では、縦方向と横方向とに対して類似性が強い方向の
判定が行われるが、例えば、上方向と下方向との組み合
わせ(縦方向)、左方向と右方向との組み合わせ(横方
向)、上方向と左方向との組み合わせ、上方向と右方向
の類似性との組み合わせ、下方向と左方向との組み合わ
せ、下方向と右方向との組み合わせのうち、類似性が最
も強い組を判定し、その組に属する方向に隣接する格子
点の色情報を用いて補間量を算出しても良い。
【0047】以下、第3の実施形態の動作を説明する。
なお、第3の実施形態は、補間処理の対象となる画像デ
ータの色情報の配列が図3(2)に示す配列に代えられ
た点を除き、前述した第1の実施形態または第2の実施
形態と同じである。そこで、第3の実施形態では、第1
の実施形態と第2の実施形態との相違点を中心に説明す
る。
【0048】第1の実施形態および第2の実施形態で
は、図3(1)に示すように、着目空格子点と同一の色
を出力する空格子点が縦方向および横方向に存在してい
るため、縦方向の類似度および横方向の類似度を算出し
(S10)、類似性の強い方向を判定する(S11)必
要があった。しかし、第3の実施形態では、図3(2)
に示すように、着目空格子点と同一の色を出力する空格
子点が横方向にしか存在しないため、S10およびS1
1の処理は不要であり、S11の判定の結果が縦類似の
場合の処理(S12、S14、S16)やS11の判定
の結果が中間類似の場合の処理(S18)も不要であ
る。
【0049】すなわち、第3の実施形態では、補間処理
部17は、第1の実施形態に対応する補間処理(内分点
補間処理)として、左方向の類似度Dlt(i,j)および右方
向の類似度Drt(i,j)を算出し(S13)、これらの類似
度を用いて右方向の加重係数Wltおよび左方向の加重係
数Wrtを算出し(S15)、補間量G(i,j)を算出する
(S17)。
【0050】例えば、補間処理部17は、左方向の類似
度Dlt(i,j)および右方向の類似度Drt(i,j)を Dlt(i,j)=|RB(i,j-2)-RB(i,j)|+a・|G(i,j-1)-RB(i,j)| Drt(i,j)=|RB(i,j+2)-RB(i,j)|+a・|G(i,j+1)-RB(i,j)| によって算出する。ただし、aは、0または正の定数で
ある。
【0051】また、補間処理部17は、右方向の加重係
数Wltおよび左方向の加重係数Wrtを Wlt=Drt(i,j)/(Dlt(i,j)+Drt(i,j)) Wrt=Dlt(i,j)/(Dlt(i,j)+Drt(i,j)) によって算出し、補間量G(i,j)を G(i,j)=Wlt・G(i,j-1)+Wrt・G(i,j+1) によって算出する。
【0052】また、第3の実施形態では、補間処理部1
7は、第2の実施形態に対応する補間処理(内分点補間
処理と外分点補間処理とを切り換える処理)として、着
目空格子点が外分点であるか否かを判定し(S20)、
判定の結果が内分点の場合、内分点処理を行い(S2
1)、判定の結果が外分点の場合、外分点補間処理を行
う(S22)。
【0053】例えば、補間処理部17は、 [(RB(i,j-2)-RB(i,j)>Th)∩(RB(i,j+2)-RB(i,j)>Th)]∪ [(RB(i,j-2)-RB(i,j)<Th)∩(RB(i,j+2)-RB(i,j)<Th)] が成り立つときに着目空格子点を外分点と判定し、この
ような条件式が成り立たないときに着目空格子点を内分
点と判定する。また、補間処理部17は、外分点補間処
理として、補間量G(i,j)を G(i,j)=(G(i,j-1)+G(i,j+1))/2+(2・RB(i,j)-RB(i,j-2)-
RB(i,j+2))/4 によって算出し、内分点処理として、補間量G(i,j)を G(i,j)=Wlt・G(i,j-1)+Wrt・G(i,j+1) によって算出する。
【0054】以上説明したように、第3の実施形態で
は、図3(2)のように配列された画像データに対して
も、第1の実施形態や第2の実施形態と同様にして、補
間処理を行うことができる。以下、第4の実施形態の動
作を説明する。図6は、第4の実施形態の機能ブロック
図である。
【0055】なお、第4の実施形態は、請求項5および
請求項6に記載の補間処理プログラムを記録した記録媒
体を用いて、パーソナルコンピュータによって補間処理
を実行することに相当する。図6において、機能が図1
に示す機能ブロック図と同じものについては、同じ符号
を付与して示し、構成の説明については省略する。
【0056】なお、図6に示す電子カメラ20と図1に
示した電子カメラ10との構成の相違点は、制御部21
と画像処理部22とが制御部11と画像処理部15とに
代えて設けられ、インタフェース部23が新たに設けら
れた点である。
【0057】また、図6において、パーソナルコンピュ
ータ30は、CPU31、インタフェース部32、ハー
ドディスク33およびメモリ34を有し、CPU31
は、バスを介してインタフェース部32、ハードディス
ク33およびメモリ34に接続される。なお、パーソナ
ルコンピュータ30には、CD−ROMなどの記録媒体
に記録された補間処理プログラム(前述した各実施形態
の補間処理部17と同様にして補間処理を実行する補間
処理プログラム)が予めインストールされているものと
する。すなわち、ハードディスク33には、このような
補間処理プログラムが実行可能な状態で格納されてい
る。
【0058】以下、図6を参照して第4の実施形態の動
作を説明する。まず、電子カメラ20では、図1に示し
た電子カメラ10と同様に生成された画像データが画像
処理部22に供給される。画像処理部22は、画像デー
タに補間処理以外の画像処理(例えば、階調変換処理な
ど)を施し、記録部16では、画像処理が施された画像
データが画像ファイルの形式で記録される。
【0059】このような画像ファイルは、インタフェー
ス部23を介してパーソナルコンピュータ30に供給さ
れる。パーソナルコンピュータ30内のCPU31は、
インタフェース部32を介して画像ファイルを取得する
と、前述した補間処理プログラムを実行する。すなわ
ち、第4の実施形態では、前述した各実施形態と同様の
補間処理をパーソナルコンピュータ30によって行うこ
とができる。
【0060】
【発明の効果】以上説明したように、請求項1に記載の
発明は、着目空格子点の近傍に位置する格子点の色情報
の平均値を補間量とする場合と比べて、エッジ部分の偽
色を確実に低減することができる。
【0061】また、請求項2に記載の発明は、第1の補
間量算出手段だけでは適切な補間量が算出できない場合
に第2の補間量算出手段によって補間量を算出すること
が可能であるため、エッジ部分の鮮明度を高くすること
ができる。したがって、請求項1および請求項2に記載
の発明では、補間処理を精度良く行うことができる。
【0062】さらに、請求項3に記載の発明では、請求
項1または請求項2に記載の発明において、補間量を算
出する際に用いられる格子点が位置する方向に対する着
目空格子点の類似性を精度良く判定することができる。
そのため、請求項3に記載の発明によれば、補間処理の
精度を更に向上することができる。また、請求項4に記
載の発明では、請求項1ないし請求項3の何れか1項に
記載の発明において、着目空格子点を起点に近傍の格子
点に向かう方向が複数存在する場合、着目空格子点との
類似性が最も強い2つの方向に位置する格子点の色情報
を用いて補間量が算出される。そのため、請求項4に記
載の発明によれば、補間処理の精度を更に向上すること
ができる。
【0063】さらに、請求項5に記載の発明によれば、
請求項1、請求項3、請求項4の何れか1項に記載の補
間処理装置と同様の機能をコンピュータで実現すること
ができる。また、請求項6に記載の発明によれば、請求
項2ないし請求項4の何れか1項に記載の補間処理装置
と同様の機能をコンピュータで実現することができる。
【図面の簡単な説明】
【図1】第1の実施形態に対応する電子カメラの機能ブ
ロック図である。
【図2】第1の実施形態における補間処理部の動作フロ
ーチャートである。
【図3】補間処理の対象となる画像データの色情報の配
列を示す図である。
【図4】第2の実施形態における補間処理部の動作フロ
ーチャートである。
【図5】内分点と外分点との判定条件の模式図である。
【図6】第4の実施形態の機能ブロック図である。
【図7】格子点および空格子点を説明する図である。
【符号の説明】
10、20 電子カメラ 11、21 制御部 12 撮影光学系 13 撮像部 14 A/D変換部 15、22 画像処理部 16 記録部 17 補間処理部 23、32 インタフェース部 30 パーソナルコンピュータ 31 CPU 33 ハードディスク 34 メモリ
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C065 AA01 AA03 BB13 BB23 CC01 CC08 DD02 DD17 EE05 EE06 FF09 GG13 GG18 GG21 GG22 GG26 GG32 HH04

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 最も高い密度で分布する色を出力する格
    子点と該色が欠落する空格子点とから成るカラー画像に
    対し、前記空格子点での該色の色情報に相当する補間量
    を算出する補間処理を行う補間処理装置において、 補間処理の対象となる着目空格子点を起点として近傍の
    前記格子点に向かう複数の方向の各々に対して、該着目
    空格子点の類似性を判定する類似性判定手段と、 前記類似性判定手段で判定された複数の方向に対する類
    似性の強弱に基づき、該方向に位置する前記格子点の色
    情報を加重加算することによって補間量を算出する補間
    量算出手段とを備えたことを特徴とする補間処理装置。
  2. 【請求項2】 最も高い密度で分布する色を出力する格
    子点と該色が欠落する空格子点とから成るカラー画像に
    対し、前記空格子点での該色の色情報に相当する補間量
    を算出する補間処理を行う補間処理装置において、 補間処理の対象となる着目空格子点を起点として近傍の
    前記格子点に向かう複数の方向の各々に対して該着目空
    格子点の類似性を判定し、該類似性の強弱に基づいて該
    方向に位置する前記格子点の色情報を加重加算すること
    によって補間量を算出する第1の補間量算出手段と、 前記複数の方向に位置する格子点の色情報から予測され
    る補間量の予測値を、該方向に位置して前記着目空格子
    点と同一の色を出力する空格子点の色情報と該着目空格
    子点の色情報とに基づいて補正することによって、補間
    量を算出する第2の補間量算出手段と、 前記着目空格子点の色情報と該着目空格子点の近傍に位
    置する空格子点の色情報との大小関係に基づいて、前記
    第1の補間量算出手段と前記第2の補間量算出手段との
    切り換えを行う切り換え手段とを備えたことを特徴とす
    る補間処理装置。
  3. 【請求項3】 請求項1または請求項2に記載の補間処
    理装置において、 前記複数の方向の各々に対する着目空格子点の類似性
    は、 前記着目空格子点の色情報の他に、少なくとも該着目空
    格子点と同一の色を出力する空格子点の色情報を用いて
    算出されることを特徴とする補間処理装置。
  4. 【請求項4】 請求項1ないし請求項3の何れか1項記
    載の補間処理装置において、 前記複数の方向は、 前記着目空格子点を起点に近傍の格子点に向かう2つの
    方向の組み合わせのうち、該着目空格子点の類似性が最
    も強い組み合わせに属する2つの方向であることを特徴
    とする補間処理装置。
  5. 【請求項5】 コンピュータを請求項1、請求項3、請
    求項4の何れか1項に記載の類似性判定手段、補間量算
    出手段として機能させるための補間処理プログラムを記
    録した機械読み取り可能な記録媒体。
  6. 【請求項6】 コンピュータを請求項2ないし請求項4
    の何れか1項に記載の第1の補間量算出手段、第2の補
    間量算出手段、切り換え手段として機能させるための補
    間処理プログラムを記録した機械読み取り可能な記録媒
    体。
JP02724899A 1998-12-21 1999-02-04 補間処理装置および補間処理プログラムを記録した記録媒体 Expired - Lifetime JP4305989B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02724899A JP4305989B2 (ja) 1998-12-21 1999-02-04 補間処理装置および補間処理プログラムを記録した記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP36317798 1998-12-21
JP10-363177 1998-12-21
JP02724899A JP4305989B2 (ja) 1998-12-21 1999-02-04 補間処理装置および補間処理プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2000244934A true JP2000244934A (ja) 2000-09-08
JP4305989B2 JP4305989B2 (ja) 2009-07-29

Family

ID=26365152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02724899A Expired - Lifetime JP4305989B2 (ja) 1998-12-21 1999-02-04 補間処理装置および補間処理プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP4305989B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320720A (ja) * 2000-05-12 2001-11-16 Canon Inc 信号処理方法及び信号処理装置
KR100721338B1 (ko) 2004-12-30 2007-05-28 엘지전자 주식회사 디지털 촬영장치의 색상 보간법
KR100782812B1 (ko) 2005-06-15 2007-12-06 삼성전자주식회사 에지 적응적 컬러 보간 방법 및 장치
WO2008013406A1 (en) * 2006-07-25 2008-01-31 Mtekvision Co., Ltd. Color interpolation method and device considering edge direction and cross stripe noise
JP2009060367A (ja) * 2007-08-31 2009-03-19 Victor Co Of Japan Ltd 撮像装置
US7522946B2 (en) 2004-05-19 2009-04-21 Samsung Electronics Co., Ltd. Hinge apparatus for mobile communication terminals
JP2010093336A (ja) * 2008-10-03 2010-04-22 Victor Co Of Japan Ltd 撮像装置および補間処理方法
KR20100084458A (ko) * 2009-01-16 2010-07-26 삼성전자주식회사 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치
CN102780888A (zh) * 2011-05-13 2012-11-14 株式会社尼康 图像处理装置、图像处理方法以及电子照相机
WO2013099917A1 (ja) * 2011-12-28 2013-07-04 富士フイルム株式会社 撮像装置
JP2014233021A (ja) * 2013-05-30 2014-12-11 株式会社Jvcケンウッド 映像信号処理装置及び方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4702912B2 (ja) * 2000-05-12 2011-06-15 キヤノン株式会社 信号処理方法及び信号処理装置
JP2001320720A (ja) * 2000-05-12 2001-11-16 Canon Inc 信号処理方法及び信号処理装置
US7522946B2 (en) 2004-05-19 2009-04-21 Samsung Electronics Co., Ltd. Hinge apparatus for mobile communication terminals
US7710437B2 (en) 2004-12-30 2010-05-04 Lg Electronics Inc. Color interpolation algorithm
KR100721338B1 (ko) 2004-12-30 2007-05-28 엘지전자 주식회사 디지털 촬영장치의 색상 보간법
EP1677548A3 (en) * 2004-12-30 2008-09-10 LG Electronics Inc. Color interpolation algorithm
KR100782812B1 (ko) 2005-06-15 2007-12-06 삼성전자주식회사 에지 적응적 컬러 보간 방법 및 장치
US7835573B2 (en) 2005-06-15 2010-11-16 Samsung Electronics Co., Ltd. Method and apparatus for edge adaptive color interpolation
WO2008013406A1 (en) * 2006-07-25 2008-01-31 Mtekvision Co., Ltd. Color interpolation method and device considering edge direction and cross stripe noise
KR100826215B1 (ko) 2006-07-25 2008-04-29 엠텍비젼 주식회사 격자 노이즈 및 에지 방향을 고려한 컬러 보간 방법 및장치
US8229213B2 (en) 2006-07-25 2012-07-24 Mtekvision Co., Ltd. Color interpolation method and device considering edge direction and cross stripe noise
JP2009060367A (ja) * 2007-08-31 2009-03-19 Victor Co Of Japan Ltd 撮像装置
JP2010093336A (ja) * 2008-10-03 2010-04-22 Victor Co Of Japan Ltd 撮像装置および補間処理方法
KR20100084458A (ko) * 2009-01-16 2010-07-26 삼성전자주식회사 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치
KR101637488B1 (ko) 2009-01-16 2016-07-07 삼성전자주식회사 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치
CN102780888A (zh) * 2011-05-13 2012-11-14 株式会社尼康 图像处理装置、图像处理方法以及电子照相机
US8817137B2 (en) 2011-05-13 2014-08-26 Nikon Corporation Image processing device, storage medium storing image processing program, and electronic camera
WO2013099917A1 (ja) * 2011-12-28 2013-07-04 富士フイルム株式会社 撮像装置
CN104025581A (zh) * 2011-12-28 2014-09-03 富士胶片株式会社 摄像装置
JP5600812B2 (ja) * 2011-12-28 2014-10-01 富士フイルム株式会社 撮像装置
US8970747B2 (en) 2011-12-28 2015-03-03 Fujifilm Corporation Imaging device
JP2014233021A (ja) * 2013-05-30 2014-12-11 株式会社Jvcケンウッド 映像信号処理装置及び方法

Also Published As

Publication number Publication date
JP4305989B2 (ja) 2009-07-29

Similar Documents

Publication Publication Date Title
US6075889A (en) Computing color specification (luminance and chrominance) values for images
JP5260635B2 (ja) パンクロマチック画像を用いたノイズ低減されたカラーの画像
KR101342806B1 (ko) 최종 디지털 컬러 이미지를 형성하는 방법
JP4154661B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
KR101980931B1 (ko) 화상 처리 장치 및 화상 처리 방법과 기록 매체
JPH08298669A (ja) 適応カラー補間単一センサカラー電子カメラ
JPH08298670A (ja) 適応カラー補間単一センサカラー電子カメラ
JP3946866B2 (ja) 画像信号処理装置及びプログラムを記録した媒体
WO2005117455A1 (ja) Rawデ-タから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
JP2002033964A (ja) デジタル画像の欠陥画素補正方法
JP2001061157A (ja) 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置
JP2001245314A (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
JP2009124552A (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
JP2005159957A (ja) 色補間方法
WO2013046827A1 (ja) 画像処理装置、方法、プログラム及び記録媒体並びに撮像装置
JP2000244934A (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
US7489822B2 (en) Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method
US20100134661A1 (en) Image processing apparatus, image processing method and program
JP2000175208A (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
JP2000188762A (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
JP4380399B2 (ja) 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム
JP2000341701A (ja) 補間処理装置および補間処理プログラムを記録した記録媒体
JP4178919B2 (ja) ノイズ除去方法、撮像装置およびノイズ除去プログラム
JPH09200575A (ja) 画像データ補間装置
JP3899144B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090414

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090427

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150515

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150515

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150515

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term