JP2002218483A - 画像補間装置 - Google Patents
画像補間装置Info
- Publication number
- JP2002218483A JP2002218483A JP2001006428A JP2001006428A JP2002218483A JP 2002218483 A JP2002218483 A JP 2002218483A JP 2001006428 A JP2001006428 A JP 2001006428A JP 2001006428 A JP2001006428 A JP 2001006428A JP 2002218483 A JP2002218483 A JP 2002218483A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel
- image
- interpolation processing
- luminance value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Facsimile Heads (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
を減少させる。 【解決手段】 補間処理により画素信号を得ようとして
いる対象画素の左右および上下に隣接する画素のG信号
と対象画素のG信号との差を比較する(ステップ31
0,313,315)。左側の画素のG信号が対象画素
のG信号に最も近いとき、左側の画素に関し、R,G,
B信号を用いて、輝度値Yと色差信号Cbと修正輝度値
YGを求める(ステップ311)。修正輝度値YGと色
差信号Cbを用いて対象画素のB信号bを求める(ステ
ップ312)。右側、上側、下側の画素のG信号が対象
画素のG信号に最も近いときは、それぞれ右側、上側、
下側の画素信号を用いる。
Description
メラにおいて、カラー画像の画質を向上させるために設
けられる画像補間装置に関する。
像を検出するために、CCD等の撮像素子の前面にベイ
ヤー配列のカラーフィルタを設けたものが知られてい
る。このカラーフィルタは、レッド(R)、グリーン
(G)およびブルー(B)の各カラーフィルタ要素を市
松模様に配列して構成され、これらのカラーフィルタ要
素は撮像素子のフォトダイオードにそれぞれ対応してい
る。したがってフォトダイオードにより、各カラーフィ
ルタ要素に対応した色の画素信号が生成され、例えばR
のカラーフィルタ要素に対応したフォトダイオードによ
りRの画素信号が生成される。
ま用いるよりも高画質のカラー画像を表示するため、画
素信号に対して補間処理を施すことがある。通常の補間
処理では、フォトダイオードによってR信号が得られた
画素に対しては、その周囲に位置する画素のG信号の相
加平均をとることによってG信号が生成され、また、そ
の周囲に位置する画素のB信号の相加平均をとることに
よってB信号が生成される。ところが、例えば空間周波
数の高い画像において、補間処理によって求めようとし
ている画素の実際の色とその周囲の画素の実際の色とが
大きく異なることがあり、このような場合、補間処理に
より得られた画素の色信号の値によって、再生画像に色
にじみが生じる。
補間処理によって再生画像に色にじみが生じることを減
少させることを目的としている。
置は、カラーフィルタとパターン設定部とG補間処理手
段とR/B補間処理手段とB補間処理手段とR補間処理
手段を備えている。カラーフィルタは、水平方向にレッ
ド(R)とグリーン(G)のカラーフィルタ要素が交互
に並ぶ第1の列と、この第1の列の上下側に隣接し、水
平方向にGとブルー(B)のカラーフィルタ要素が交互
に並ぶ第2の列とから構成される。撮像素子は、各カラ
ーフィルタ要素に対応した画素信号であるR,G,B信
号を生成する。パターン設定手段は、撮像素子によって
生成されたR,G,B信号から、2×2の画素マトリク
スにおいて左上にR信号が位置する第1パターンと、右
上にG信号が位置する第2パターンと、左下にG信号が
位置する第3パターンと、右下にB信号が位置する第4
パターンとにそれぞれ属する画像を抽出する。G補間処
理手段は、第1および第4パターンに属する画像の各画
素に関し、隣接する画素のG信号を利用してG信号を求
める。R/B補間処理手段は、第2および第3パターン
に属する画像の各画素に関し、隣接する画素のRおよび
B信号を利用してRおよびB信号を求める。B補間処理
手段は、第1パターンに属する画像の各画素に関し、隣
接する画素の中から輝度値が最も近い類似画素を抽出
し、類似画素の輝度値と色差信号Cbに基づいて、B信
号を求める。R補間処理手段は、第4パターンに属する
画像の各画素に関し、隣接する画素の中から輝度値が最
も近い類似画素を抽出し、類似画素の輝度値と色差信号
Crに基づいて、R信号を求める。
第2および第3パターンに属する画像に含まれる。R/
B補間処理手段において、隣接する画素は第1および第
4パターンに属する画像に含まれる。B補間処理手段お
よびR補間処理手段において、隣接する画素は第2およ
び第3パターンに属する画像に含まれる。
好ましくは、隣接する画素におけるG信号の値を用い
て、輝度値が最も近い類似画素を抽出する。類似画素の
色合いが補間処理によって求めようとしている画素の色
合いに近いと推定することにより、色にじみが減少す
る。
画像の各画素に関し、色差信号Cbが類似画素の色差信
号Cbに等しいと仮定してB信号を求めてもよい。同様
にR補間処理手段は、第4パターンに属する画像の各画
素に関し、色差信号Crが類似画素の色差信号Crに等
しいと仮定してR信号を求めてもよい。
画像の各画素に関し、その画素のG信号と類似画素のG
信号との比率を輝度値に乗じて求めた修正輝度値YGと
色差信号Cbを用いて、B信号を求めてもよい。これに
より、さらに色にじみを減少させることが可能になる。
この場合、B補間処理手段は例えば下記式に従ってB信
号を求める。 Y=0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y') Cb=-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y') YG=Y×G(x,y)/G(x',y') b=YG+1.772×Cb ただし、Yは類似画素の輝度値、R(x',y'), G(x',
y'),B(x',y')は類似画素のR,G,B信号、G(x,y)は
第1パターンに属する画像の画素のG信号、bは補間処
理手段により求められる第1パターンに属する画像の画
素のB信号である。
画像の各画素に関し、その画素のG信号と類似画素のG
信号との比率を輝度値に乗じて求めた修正輝度値YGと
色差信号Crを用いて、R信号を求めてもよい。この場
合、R補間処理手段は例えば下記式に従ってR信号を求
める。 Y=0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y') Cr=0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y') YG=Y×G(x,y)/G(x',y') r=YG+1.402×Cr ただし、Yは類似画素の輝度値、R(x',y'), G(x',
y'),B(x',y')は類似画素のR,G,B信号、G(x,y)は
第4パターンに属する画像の画素のG信号、rはR補間
処理手段により求められる第4パターンに属する画像の
画素のR信号である。
G信号およびR信号の値を用いて、輝度値が最も近い類
似画素を抽出してもよい。また、R補間処理手段は、隣
接する画素におけるG信号およびB信号の値を用いて、
輝度値が最も近い類似画素を抽出してもよい。
画像の各画素に関し、その画素のG信号およびR信号に
基づいて得られる第1の参照値と類似画素のG信号およ
びR信号に基づいて得られる第2の参照値との比率を輝
度値に乗じて求めた修正輝度値YGと色差信号Cbを用
いて、B信号を求めてもよい。この場合、B補間処理手
段は例えば下記式に従ってB信号を求める。 Y=0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y') Cb=-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y') YG=Y× (0.587×G(x,y)+0.299×R(x,y))/(0.587×G(x',y')+0.299×R(x',y')) b=YG+1.772×Cb ただし、Yは類似画素の輝度値、R(x',y'), G(x',
y'),B(x',y')は類似画素のR,G,B信号、G(x,y)は
第1パターンに属する画像の画素のG信号、bはB補間
処理手段により求められる第1パターンに属する画像の
画素のB信号である。
画像の各画素に関し、その画素のG信号およびB信号に
基づいて得られる第1の参照値と類似画素のG信号およ
びB信号に基づいて得られる第2の参照値との比率を輝
度値に乗じて求めた修正輝度値YGと色差信号Crを用
いて、R信号を求めてもよい。この場合、R補間処理手
段は例えば下記式に従ってR信号を求める。 Y=0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y') Cr=0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y') YG=Y× (0.587×G(x,y)+0.114×B(x,y))/(0.587×G(x',y')+0.114×B(x',y')) r=YG+1.402×Cr ただし、Yは類似画素の輝度値、R(x',y'), G(x',
y'),B(x',y')は類似画素のR,G,B信号、G(x,y)は
第4パターンに属する画像の画素のG信号、rはR補間
処理手段により求められる第4パターンに属する画像の
画素のR信号である。
参照して説明する。図1は、本発明の第1実施形態であ
る画像補間装置を備えたデジタルカメラ10の概略的な
構成を示している。
CCD12が配設され、CCD12の受光面にはカラー
フィルタ13が設けられている。すなわち撮影レンズ1
1によって得られた被写体Sの光学像がCCD12の受
光面に結像され、CCD12のフォトダイオードには、
被写体像を構成するカラーの画素信号が発生する。画素
信号はCCD12から読み出され、A/D変換器14に
おいてデジタル信号に変換される。そして画素信号はホ
ワイトバランス調整回路15においてホワイトバランス
調整を施され、画像メモリ16に格納される。
れ、パターン設定部17に入力される。パターン設定部
17では、後述するように、所定の配列パターンを構成
する画素信号が全画素信号の中から抽出され、第1、第
2、第3および第4パターンに分類される。補間処理部
18では、パターン設定部17において抽出された画素
信号がそのパターンに応じた補間処理を施される。補間
処理部18から出力された、補間後の画素信号はメモリ
カード等の記録媒体Dに記録される。なおホワイトバラ
ンス調整回路15は、A/D変換器14の後段ではな
く、補間処理部18の後段に設けられてもよい。
フィルタ要素の配列と、パターン設定部17において抽
出される、各パターンに属する画像の画素信号とを示し
ている。カラーフィルタ13は、ベイヤー配列に従って
配置されたレッド(R)、グリーン(G)およびブルー
(B)のカラーフィルタ要素から構成される。すなわち
カラーフィルタ13は、水平方向にRとGのカラーフィ
ルタ要素が交互に並ぶ第1の列13aと、この第1の列
13aの上下側に隣接し、水平方向にGとBのカラーフ
ィルタ要素が交互に並ぶ第2の列13bとから構成さ
れ、CCD12では、各カラーフィルタ要素に対応した
画素信号であるR,G,B信号が生成される。
左下にG、右下にBのカラーフィルタ要素が配置された
2×2の画素マトリクスM1に区画される。パターン設
定部17では、CCD12によって生成されるR,G,
B信号から、画素マトリクスM1において左上にR信号
が位置する第1パターンと、右上にG信号が位置する第
2パターンと、左下にG信号が位置する第3パターン
と、右下にB信号が位置する第4パターンとにそれぞれ
属する画像が抽出される。
ンは、C言語で表わされた論理式(1)に従って、1つ
の画像を構成する全ての画素信号から抽出される。 !(x%2) && !(y%2) (1) なお論理式(1)において、「x」と「y」は画像の左
隅を原点とする横座標と縦座標をそれぞれ示す。すなわ
ち、左隅のR信号の座標は(0,0)その右隣のG信号の座
標は(1,0)である。また論理式(1)において、「!」
は論理否定、「%」は剰余、「&&」は論理積を示す。
したがって論理式(1)によれば、x座標とy座標がと
もに偶数である画素信号(すなわちR信号)から成る画
像が抽出される。
び第4パターンは、論理式(2)、(3)および(4)
に従って抽出される。 (x%2) && !(y%2) (2) !(x%2) && (y%2) (3) (x%2) && (y%2) (4)
ける処理を説明する。図3は、画像メモリ16に格納さ
れた、1つの画像を構成する画素の座標と色を示してい
る。補間処理部18では、後述するように、G補間処理
ルーチン(図4)と、R/B補間処理ルーチン(図5)
と、B補間処理ルーチンと(図7、8)、R補間処理ル
ーチン(図9)とが実行される。これらの補間処理ルー
チンにおいて、補間によって画素データを求めようとし
ている対象画素の座標は(x,y)である。
トである。G補間処理ルーチンでは、第1および第4パ
ターンに属する画像に関する補間処理が行われる。
接する画素のG信号であるG(x-1,y)と右側に隣接する画
素のG信号であるG(x+1,y)との差の絶対値が、対象画素
の上側に隣接する画素のG信号であるG(x,y-1)と下側に
隣接する画素のG信号であるG(x,y+1)との差の絶対値よ
りも小さいか否かが判定される。対象画素の座標が(2,
2)である場合(すなわち第1パターンの画像)を例にと
って説明すると、対象画素はR(2,2)であり、ステップ1
01では|G(1,2)-G(3,2)|が|G(2,1)-G(2,3)|よりも小さ
いか否かが判定される。
に含まれるとき、すなわちR信号であるとき、その左右
に隣接する画素は第2パターンに属する画像に含まれ、
またその上下に隣接する画素は第3パターンに含まれ
る。一方、対象画素が第4パターンに属する画像に含ま
れるとき、すなわちB信号であるとき、その左右に隣接
する画素は第3パターンに属する画像に含まれ、またそ
の上下に隣接する画素は第2パターンに含まれる。
に隣接する画素信号の差の絶対値の方が上下に隣接する
画素信号の差の絶対値よりも小さいと判定されたとき、
ステップ102が実行され、左右に隣接する画素信号で
あるG(x-1,y)とG(x+1,y)の相加平均が、対象画素のG信
号gとして求められる。これに対して、対象画素の左右
に隣接する画素信号の差の絶対値が上下に隣接する画素
信号の差の絶対値よりも小さくないと判定されたとき、
ステップ103において、上下に隣接する画素信号であ
るG(x,y-1)とG(x,y+1)の相加平均が、対象画素のG信号
gとして求められる。ステップ102または103の実
行により、G補間処理ルーチンは終了する。
および第4パターンに属する画像の各画素に関し、左右
および上下に隣接する4つのG信号において、差の小さ
い方の組の2つのG信号の平均値が対象画素のG信号と
して求められる。第1および第4パターンに属する画像
の全ての画素に対してG補間処理ルーチンが実行される
と、1つの画像を構成する全画素におけるG信号が求め
られたことになる。
ャートである。R/B補間処理ルーチンでは、第2およ
び第3パターンに属する画像に関する補間処理が行われ
る。
ンに属する画像に含まれるか否かが判定される。対象画
素が第2パターンに属する画像に含まれるとき、すなわ
ち対象画素が画素マトリクスM1(図2)の右上のG信
号であるとき、ステップ202が実行される。これに対
して対象画素が第2パターンに含まれないとき、すなわ
ち第3パターンに含まれ、画素マトリクスM1(図2)
の左下のG信号であるとき、ステップ203が実行され
る。
接する画素信号(第1パターンの画像)であるR(x-1,y)
とR(x+1,y)の相加平均が対象画素のR信号rとして求め
られる。また対象画素の上下に隣接する画素信号(第4
パターンの画像)であるB(x,y-1)とB(x,y+1)の相加平均
が対象画素のB信号bとして求められる。
接する画素信号(第1パターンの画像)であるR(x,y-1)
とR(x,y+1)の相加平均が対象画素のR信号rとして求め
られる。また対象画素の左右に隣接する画素信号(第4
パターンの画像)であるB(x-1,y)とB(x+1,y)の相加平均
が対象画素のB信号bとして求められる。
R/B補間処理ルーチンは終了する。このようにR/B
補間処理ルーチンでは、第2および第3パターンに属す
る画像の各画素に関し、左右および上下に隣接する画素
信号を補間することにより、対象画素のRおよびB信号
が求められる。G補間処理ルーチン(図4)が完了し、
かつ第2および第3パターンに属する画像の全ての画素
に対してR/B補間処理ルーチンが実行されると、図6
から理解されるように、1つの画像を構成する全画素に
おけるG信号が求められ、また第2および第3パターン
に属する画像の各画素に関してR信号rとB信号bが求
められたことになる。すなわち第1パターンに属する画
像に関しては、B信号がまだ求められておらず、また第
4パターンに属する画像に関しては、R信号がまだ求め
られていない。
画像の各画素に関してB信号を求めるB補間処理ルーチ
ンのフローチャートである。
接する画素のG信号であるG(x-1,y)と対象画素のG信号
であるG(x,y)との差の絶対値が、対象画素の右側に隣接
する画素のG信号であるG(x+1,y)と対象画素のG信号で
あるG(x,y)との差の絶対値よりも小さいか否かが判定さ
れる。換言すれば、対象画素の左右に隣接するいずれの
画素のG信号が対象画素のG信号に近い値を有するか否
かが判定される。左側の画素のG信号が対象画素のG信
号により近いとき、ステップ302において、パラメー
タpが−1に定められる。これに対し、右側の画素のG
信号が対象画素のG信号により近い、あるいは等しいと
き、ステップ303において、パラメータpが1に定め
られる。
接する画素のG信号であるG(x,y-1)と対象画素のG信号
であるG(x,y)との差の絶対値が、対象画素の下側に隣接
する画素のG信号であるG(x,y+1)と対象画素のG信号で
あるG(x,y)との差の絶対値よりも小さいか否かが判定さ
れる。すなわち対象画素の上下に隣接するいずれの画素
のG信号が対象画素のG信号に近い値を有するか否かが
判定される。上側のG信号が対象画素のG信号により近
いとき、ステップ305において、パラメータqが−1
に定められる。これに対し、下側のG信号が対象画素の
G信号により近い、あるいは等しいとき、ステップ30
6において、パラメータqが1に定められる。
ずれかに隣接する画素と、上下のいずれかに隣接する画
素と、対象画素とに関し、G信号の大きさが比較され
る。対象画素の左側の画素のG信号が右側の画素のG信
号よりも対象画素のG信号に近く、かつ対象画素の上側
の画素のG信号が下側の画素のG信号よりも対象画素の
G信号に近いとき、パラメータp,qはともに−1であ
り、G(x-1,y)とG(x,y)との差の絶対値が、G(x,y-1)とG
(x,y)との差の絶対値よりも小さいか否かが判定され
る。左側のG信号が対象画素のG信号により近いとき、
ステップ308において、パラメータsがpすなわち−
1に定められる。これに対し、上側のG信号が対象画素
のG信号により近い、あるいは等しいとき、ステップ3
09においてパラメータsが2×qすなわち−2に定め
られる。
パラメータp,qがそれぞれ−1,1であるとき、パラ
メータp,qがそれぞれ1,−1であるときも同様にし
てステップ307、308または309が実行される。
このようにしてB補間処理ルーチンでは、対象画素のG
信号に関し、第2および第3パターンに属する画像に含
まれる、隣接する画素のG信号の値が検討され、左側に
隣接する画素のG信号が最も近ければパラメータsは−
1に、右側に隣接する画素のG信号が最も近ければパラ
メータsは1に、上側に隣接する画素のG信号が最も近
ければパラメータsは−2に、下側に隣接する画素のG
信号が最も近ければパラメータsは2に、それぞれ定め
られる。
いて、対象画素のG信号に最も近いG信号を有する画素
を類似画素と呼ぶ。類似画素は、輝度値が対象画素の輝
度値に最も近いものが好ましいが、対象画素の輝度値が
未知であるため、G信号を用いて輝度値を判定し、類似
画素を抽出している。
あるか否か、すなわち類似画素が対象画素の左側に隣接
する画素であるか否かが判定される。パラメータsが−
1であるとき、ステップ311が実行され、類似画素の
R,G,B信号であるR(x-1,y),G(x-1,y),B(x-1,y)を用
いて輝度値Y、色差信号Cbおよび修正輝度値YGが求
められる。
YGはそれぞれ(5)式、(6)式および(7)式に従
って演算される。 Y=0.299×R(x-1,y)+0.587×G(x-1,y)+0.114×B(x-1,y) (5) Cb=-0.169×R(x-1,y)-0.331×G(x-1,y)+0.5×B(x-1,y) (6) YG=Y×G(x,y)/G(x-1,y) (7)
正輝度値YGは、(7)式から理解されるように対象画
素のG信号と類似画素のG信号との比率を輝度値Yに乗
じたものである。
が(8)式に従って演算され、B補間処理ルーチンは終
了する。 b=YG+1.772×Cb (8) なお(8)式は、色差信号CbをCb=(B−Y)×0.
5/(1-0.114)と定義し、この定義式を変形するとともに
輝度値Yの代わりに修正輝度値YGを用いることによっ
て得られる。
差信号Cbは類似画素の色差信号Cbに等しいと仮定
し、また修正輝度値YGを対象画素の輝度値と見做し
て、対象画素のB信号を求めている。
1ではないと判定されたとき、ステップ313へ進み、
パラメータsが1であるか否かが判定され、類似画素が
対象画素の右側に隣接する画素であるか否かが判定され
る。パラメータsが1であるとき、ステップ314が実
行され、類似画素のR,G,B信号を用いて輝度値Y、
色差信号Cbおよび修正輝度値YGが求められる。
YGはそれぞれ(5a)式、(6a)式および(7a)
式に従って演算される。 Y=0.299×R(x+1,y)+0.587×G(x+1,y)+0.114×B(x+1,y) (5a) Cb=-0.169×R(x+1,y)-0.331×G(x+1,y)+0.5×B(x+1,y) (6a) YG=Y×G(x,y)/G(x+1,y) (7a)
素のB信号が(8)式に従って演算され、B補間処理ル
ーチンは終了する。
ではないと判定されたとき、ステップ315へ進み、パ
ラメータsが−2であるか否かが判定され、類似画素が
対象画素の上側に隣接する画素であるか否かが判定され
る。パラメータsが−2であるとき、ステップ316が
実行され、類似画素のR,G,B信号を用いて輝度値
Y、色差信号Cbおよび修正輝度値YGが求められる。
YGはそれぞれ(5b)式、(6b)式および(7b)
式に従って演算される。 Y=0.299×R(x,y-1)+0.587×G(x,y-1)+0.114×B(x,y-1) (5b) Cb=-0.169×R(x,y-1)-0.331×G(x,y-1)+0.5×B(x,y-1) (6b) YG=Y(G(x,y)/G(x,y-1) (7b)
同様に、ステップ312が実行され、対象画素のB信号
が(8)式に従って演算され、B補間処理ルーチンは終
了する。
2ではないと判定されたとき、パラメータsは2であ
る、すなわち類似画素が対象画素の下側に隣接する画素
であると見做され、ステップ317において、類似画素
のR,G,B信号を用いて輝度値Y、色差信号Cbおよ
び修正輝度値YGが求められる。
YGはそれぞれ(5c)式、(6c)式および(7c)
式に従って演算される。 Y=0.299×R(x,y+1)+0.587×G(x,y+1)+0.114×B(x,y+1) (5c) Cb=-0.169×R(x,y+1)-0.331×G(x,y+1)+0.5×B(x,y+1) (6c) YG=Y×G(x,y)/G(x,y+1) (7c)
の場合と同様に、ステップ312が実行され、対象画素
のB信号が(8)式に従って演算され、B補間処理ルー
チンは終了する。
する画像の全ての画素に関して実行される。G補間処理
ルーチン(図4)、R/B補間処理ルーチン(図5)お
よびB補間処理ルーチン(図7及び図8)が完了した時
点において、第1、第2および第3パターンに属する画
像に関して、R,G,B信号が求められており、第4パ
ターンに属する画像におけるR信号はまだ決定されてい
ない。
理ルーチンにより求められる。図9はR補間処理ルーチ
ンのフローチャートの後半部分を示している。なおR補
間処理ルーチンの前半部分は図7に示すB補間処理ルー
チンと同じであるので、図示を省略する。
容はステップ310、313、315(図8)と同じで
ある。ステップ411、412、414、416、41
7の処理内容はステップ311、312、314、31
6、317と基本的に同じであるが、R信号を求めるた
めに、色差信号Crを用いている点が異なる。
rおよび修正輝度値YGはそれぞれ(9)式、(10)
式および(11)式に従って演算される。 Y=0.299×R(x-1,y)+0.587×G(x-1,y)+0.114×B(x-1,y) (9) Cr=0.5×R(x-1,y)-0.419×G(x-1,y)-0.081×B(x-1,y) (10) YG=Y×G(x,y)/G(x-1,y) (11)
が修正輝度値YGと色差信号Crを用いて、(12)式
に従って演算される。 r=YG+1.402×Cr (12) なお(12)式は、色差信号CrをCr=(R−Y)×
0.5/(1-0.299)と定義し、この定義式を変形するととも
に輝度値Yの代わりに修正輝度値YGを用いることによ
って得られる。
Crおよび修正輝度値YGはそれぞれ(9a)式、(1
0a)式および(11a)式に従って演算される。 Y=0.299×R(x+1,y)+0.587×G(x+1,y)+0.114×B(x+1,y) (9a) Cr=0.5×R(x+1,y)-0.419×G(x+1,y)-0.081×B(x+1,y) (10a) YG=Y×G(x,y)/G(x+1,y) (11a)
Crおよび修正輝度値YGはそれぞれ(9b)式、(1
0b)式および(11b)式に従って演算される。 Y=0.299×R(x,y-1)+0.587×G(x,y-1)+0.114×B(x,y-1) (9b) Cr=0.5×R(x,y-1)-0.419×G(x,y-1)-0.081×B(x,y-1) (10b) YG=Y×G(x,y)/G(x,y-1) (11b)
Crおよび修正輝度値YGはそれぞれ(9c)式、(1
0c)式および(11c)式に従って演算される。 Y=0.299×R(x,y+1)+0.587×G(x,y+1)+0.114×B(x,y+1) (9c) Cb=0.5×R(x,y+1)-0.419×G(x,y+1)-0.081×B(x,y+1) (10c) YG=Y×G(x,y)/G(x,y+1) (11c)
する画像の全ての画素に関して実行される。
間処理ルーチンと同様に、対象画素の色差信号Crは類
似画素の色差信号Crに等しいと仮定し、また修正輝度
値YGを対象画素の輝度値と見做して、対象画素のR信
号を求めている。
処理ルーチン(図7および図8)とR補間処理ルーチン
(図9)において、対象画素に関して、その左右および
上下に位置する画素から輝度値が最も近いものを類似画
素として抽出し、補間処理を行っている。この補間処理
において、2つの画素における輝度値が近いほど色の相
関が強いため、対象画素の色差信号を類似画素の色差信
号とすることにより、実際の色により近い画素信号を得
ることができる。したがって本実施形態によれば、再生
画像における色にじみを減少させることができる。
態を説明する。図10は、第1パターンに属する画像の
各画素に関してB信号を求めるB補間処理ルーチンの前
半部分を示し、図11は、第4パターンに属する画像の
各画素に関してR信号を求めるR補間処理ルーチンの前
半部分を示している。その他の構成は第1実施形態と同
じであるので省略する。
び右側に隣接する画素と対象画素における輝度値の比較
として、不等式(13)が成立するか否かが判定され
る。 |0.587×(G(x-1,y)-G(x,y))+0.299×(R(x-1,y)-R(x,y))|< |0.587×(G(x+1,y)-G(x,y))+0.299×(R(x+1,y)-R(x,y))| (13) 不等式(13)が真であるとき、すなわち左側の画素の
輝度値が対象画素の輝度値の値により近いとき、ステッ
プ502において、パラメータpが−1に定められる。
これに対し、不等式(13)が偽であるとき、すなわち
右側の画素の輝度値が対象画素の輝度値により近い、あ
るいは等しいとき、ステップ503において、パラメー
タpが1に定められる。
び下側に隣接する画素と対象画素における輝度値の比較
として、不等式(14)が成立するか否かが判定され
る。 |0.587×(G(x,y-1)-G(x,y))+0.299×(R(x,y-1)-R(x,y))|< |0.587×(G(x,y+1)-G(x,y))+0.299×(R(x,y+1)-R(x,y))| (14) 不等式(14)が真であるとき、すなわち上側の画素の
輝度値が対象画素の輝度値の値により近いとき、ステッ
プ505において、パラメータqが−1に定められる。
これに対し、不等式(14)が偽であるとき、すなわち
下側の画素の輝度値が対象画素の輝度値により近い、あ
るいは等しいとき、ステップ506において、パラメー
タqが1に定められる。
ずれかに隣接する画素と、上下のいずれかに隣接する画
素と、対象画素とに関し、不等式(15)に従って輝度
値が比較される。 |0.587×(G(x+p,y)-G(x,y))+0.299×(R(x+p,y)-R(x,y))|< |0.587×(G(x,y+q)-G(x,y))+0.299×(R(x,y+q)-R(x,y))| (15) パラメータp,qがともに−1であり、かつ不等式(1
5)が真であるとき、左側の画素の輝度値が対象画素の
輝度値に最も近く、この場合ステップ508においてパ
ラメータsがpすなわち−1に定められる。これに対
し、不等式(15)が偽であるとき、すなわち上側の画
素の輝度値が対象画素の輝度値により近い、あるいは等
しいとき、ステップ509においてパラメータsが2×
qすなわち−2に定められる。
パラメータp,qがそれぞれ−1,1であるとき、パラ
メータp,qがそれぞれ1,−1であるときも同様にし
てステップ507、508または509が実行される。
このようにしてB補間処理ルーチンでは、対象画素のG
信号およびR信号と、第2および第3パターンに属する
画像に含まれる、隣接する画素のG信号およびR信号と
を用いて輝度値が検討され、左側に隣接する画素の輝度
値が最も近ければパラメータsは−1に、右側に隣接す
る画素の輝度値が最も近ければパラメータsは1に、上
側に隣接する画素の輝度値が最も近ければパラメータs
は−2に、下側に隣接する画素の輝度値が最も近ければ
パラメータsは2に、それぞれ定められる。
近い輝度値を有する類似画素が抽出された後、図8に示
されるフローチャートと同様な処理によって、類似画素
のR,G,B信号を用いて輝度値Y、色差信号Cbおよ
び修正輝度値YGが求められ、対象画素のB信号が求め
られる。なお修正輝度値YGは、対象画素と類似画素の
G信号とR信号を用いて、(16)式に従って求められ
る。その他の式については、第1実施形態と同じであ
る。 YG=Y× (0.587×G(x,y)+0.299×R(x,y))/(0.587×G(x',y')+0.299×R(x',y')) (16) ただし、G(x',y')は類似画素のG信号、R(x',y')は類似
画素のR信号を示す。
パターンの画像のR信号が求められる。ステップ601
では、対象画素の左側および右側に隣接する画素と対象
画素における輝度値の比較として、不等式(17)が成
立するか否かが判定される。 |0.587×(G(x-1,y)-G(x,y))+0.144×(B(x-1,y)-B(x,y))|< |0.587×(G(x+1,y)-G(x,y))+0.144×(B(x+1,y)-B(x,y))| (17) 不等式(17)が真であるときは、ステップ602にお
いてパラメータpが−1に定められ、不等式(17)が
偽であるときは、ステップ603においてパラメータp
が1に定められる。
び下側に隣接する画素と対象画素における輝度値の比較
として、不等式(18)が成立するか否かが判定され
る。 |0.587×(G(x,y-1)-G(x,y))+0.144×(B(x,y-1)-B(x,y))|< |0.587×(G(x,y+1)-G(x,y))+0.144×(B(x,y+1)-B(x,y))| (18) 不等式(18)が真であるときは、ステップ605にお
いてパラメータqが−1に定められ、不等式(18)が
偽であるときは、ステップ606においてパラメータq
が1に定められる。
ずれかに隣接する画素と、上下のいずれかに隣接する画
素と、対象画素とに関し、不等式(19)に従って輝度
値が比較される。 |0.587×(G(x+p,y)-G(x,y))+0.144×(B(x+p,y)-B(x,y))|< |0.587×(G(x,y+q)-G(x,y))+0.144×(B(x,y+q)-B(x,y))| (19) パラメータp,qがともに−1であり、かつ不等式(1
9)が真であるとき、左側の画素の輝度値が対象画素の
輝度値に最も近く、この場合ステップ608においてパ
ラメータsがpすなわち−1に定められる。これに対
し、不等式(19)が偽であるとき、すなわち上側の画
素の輝度値が対象画素の輝度値により近い、あるいは等
しいとき、ステップ609においてパラメータsが2×
qすなわち−2に定められる。
パラメータp,qがそれぞれ−1,1であるとき、パラ
メータp,qがそれぞれ1,−1であるときも同様にし
てステップ607、608または609が実行される。
このようにしてR補間処理ルーチンでは、対象画素のG
信号およびB信号と、第2および第3パターンに属する
画像に含まれる、隣接する画素のG信号およびB信号と
を用いて輝度値が検討され、左側に隣接する画素の輝度
値が最も近ければパラメータsは−1に、右側に隣接す
る画素の輝度値が最も近ければパラメータsは1に、上
側に隣接する画素の輝度値が最も近ければパラメータs
は−2に、下側に隣接する画素の輝度値が最も近ければ
パラメータsは2に、それぞれ定められる。
近い輝度値を有する類似画素が抽出された後、図9に示
されるフローチャートと同じ処理によって、類似画素の
R,G,B信号を用いて輝度値Y、色差信号Crおよび
修正輝度値YGが求められ、対象画素のR信号が求めら
れる。なお修正輝度値YGは、対象画素と類似画素のG
信号とB信号を用いて、(20)式に従って求められ
る。 YG=Y× (0.587×G(x,y)+0.114×B(x,y))/(0.587×G(x',y')+0.114×B(x',y')) (20) ただし、G(x',y')は類似画素のG信号、B(x',y')は類似
画素のB信号を示す。
ルーチン(図10)とR補間処理ルーチン(図11)に
おいて、輝度値としてG信号およびR信号あるいはB信
号を用いているので、輝度信号をより正確に検討するこ
とができる。したがって、再生画像における色にじみ
を、第1実施形態よりも減少させることができる。
によって再生画像に生じる色にじみを減少させることが
できる。
えたデジタルカメラの概略的な構成を示すブロック図で
ある。
配列と、パターン設定部において抽出される各パターン
に属する画像の画素信号とを示す図である。
である。
る。
が実行されたことによって求められた画素信号を示す図
である。
分である。
分である。
分である。
フローチャートの前半部分である。
フローチャートの前半部分である。
Claims (17)
- 【請求項1】 水平方向にレッド(R)とグリーン
(G)のカラーフィルタ要素が交互に並ぶ第1の列と、
この第1の列の上下側に隣接し、水平方向にGとブルー
(B)のカラーフィルタ要素が交互に並ぶ第2の列とか
ら構成されるカラーフィルタと、 前記各カラーフィルタ要素に対応した画素信号である
R,G,B信号を生成する撮像素子と、 前記撮像素子によって生成されたR,G,B信号から、
2×2の画素マトリクスにおいて左上にR信号が位置す
る第1パターンと、右上にG信号が位置する第2パター
ンと、左下にG信号が位置する第3パターンと、右下に
B信号が位置する第4パターンとにそれぞれ属する画像
を抽出するパターン設定手段と、前記第1および第4パ
ターンに属する画像の各画素に関し、隣接する画素のG
信号を利用してG信号を求めるG補間処理手段と、前記
第2および第3パターンに属する画像の各画素に関し、
隣接する画素のRおよびB信号を利用してRおよびB信
号を求めるR/B補間処理手段と、前記第1パターンに
属する画像の各画素に関し、隣接する画素の中から輝度
値が最も近い類似画素を抽出し、前記類似画素の輝度値
と色差信号Cbに基づいて、B信号を求めるB補間処理
手段と、前記第4パターンに属する画像の各画素に関
し、隣接する画素の中から輝度値が最も近い類似画素を
抽出し、前記類似画素の輝度値と色差信号Crに基づい
て、R信号を求めるR補間処理手段とを備えることを特
徴とする画像補間装置。 - 【請求項2】 前記G補間処理手段において、前記隣接
する画素が前記第2および第3パターンに属する画像に
含まれることを特徴とする請求項1に記載の画像補間装
置。 - 【請求項3】 前記R/B補間処理手段において、前記
隣接する画素が前記第1および第4パターンに属する画
像に含まれることを特徴とする請求項1に記載の画像補
間装置。 - 【請求項4】 前記B補間処理手段および前記R補間処
理手段において、前記隣接する画素が前記第2および第
3パターンに属する画像に含まれることを特徴とする請
求項1に記載の画像補間装置。 - 【請求項5】 前記B補間処理手段およびR補間処理手
段が、前記隣接する画素におけるG信号の値を用いて、
前記輝度値が最も近い類似画素を抽出することを特徴と
する請求項1に記載の画像補間装置。 - 【請求項6】 前記B補間処理手段が、前記第1パター
ンに属する画像の各画素に関し、色差信号Cbが前記類
似画素の色差信号Cbに等しいと仮定して前記B信号を
求めることを特徴とする請求項1に記載の画像補間装
置。 - 【請求項7】 前記R補間処理手段が、前記第4パター
ンに属する画像の各画素に関し、色差信号Crが前記類
似画素の色差信号Crに等しいと仮定して前記R信号を
求めることを特徴とする請求項1に記載の画像補間装
置。 - 【請求項8】 前記B補間処理手段が、前記第1パター
ンに属する画像の各画素に関し、その画素のG信号と前
記類似画素のG信号との比率を前記輝度値に乗じて求め
た修正輝度値と色差信号Cbを用いて、前記B信号を求
めることを特徴とする請求項1に記載の画像補間装置。 - 【請求項9】 前記B補間処理手段が、下記式に従って
前記B信号を求めることを特徴とする請求項8に記載の
画像補間装置。 Y=0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y') Cb=-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y') YG=Y×G(x,y)/G(x',y') b=YG+1.772×Cb ただし、Yは前記類似画素の輝度値、R(x',y'), G(x',
y'),B(x',y')は前記類似画素のR,G,B信号、G(x,
y)は第1パターンに属する画像の画素のG信号、bは前
記B補間処理手段により求められる前記第1パターンに
属する画像の画素のB信号、YGは修正輝度値である。 - 【請求項10】 前記R補間処理手段が、前記第4パタ
ーンに属する画像の各画素に関し、その画素のG信号と
前記類似画素のG信号との比率を前記輝度値に乗じて求
めた修正輝度値と色差信号Crを用いて、前記R信号を
求めることを特徴とする請求項1に記載の画像補間装
置。 - 【請求項11】 前記R補間処理手段が、下記式に従っ
て前記R信号を求めることを特徴とする請求項10に記
載の画像補間装置。 Y=0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y') Cr=0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y') YG=Y×G(x,y)/G(x',y') r=YG+1.402×Cr ただし、Yは前記類似画素の輝度値、R(x',y'), G(x',
y'),B(x',y')は前記類似画素のR,G,B信号、G(x,
y)は第4パターンに属する画像の画素のG信号、rは前
記R補間処理手段により求められる前記第4パターンに
属する画像の画素のR信号、YGは修正輝度値である。 - 【請求項12】 前記B補間処理手段が、前記隣接する
画素におけるG信号およびR信号の値を用いて、前記輝
度値が最も近い類似画素を抽出することを特徴とする請
求項1に記載の画像補間装置。 - 【請求項13】 前記R補間処理手段が、前記隣接する
画素におけるG信号およびB信号の値を用いて、前記輝
度値が最も近い類似画素を抽出することを特徴とする請
求項1に記載の画像補間装置。 - 【請求項14】 前記B補間処理手段が、前記第1パタ
ーンに属する画像の各画素に関し、その画素のG信号お
よびR信号に基づいて得られる第1の参照値と前記類似
画素のG信号およびR信号に基づいて得られる第2の参
照値との比率を前記輝度値に乗じて求めた修正輝度値と
色差信号Cbを用いて、前記B信号を求めることを特徴
とする請求項1に記載の画像補間装置。 - 【請求項15】 前記B補間処理手段が、下記式に従っ
て前記B信号を求めることを特徴とする請求項14に記
載の画像補間装置。 Y=0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y') Cb=-0.169×R(x',y')-0.331×G(x',y')+0.5×B(x',y') YG=Y× (0.587×G(x,y)+0.299×R(x,y))/(0.587×G(x',y')+0.299×R(x',y')) b=YG+1.772×Cb ただし、Yは前記類似画素の輝度値、R(x',y'), G(x',
y'),B(x',y')は前記類似画素のR,G,B信号、G(x,
y)は第1パターンに属する画像の画素のG信号、bは前
記B補間処理手段により求められる前記第1パターンに
属する画像の画素のB信号、YGは修正輝度値である。 - 【請求項16】 前記R補間処理手段が、前記第4パタ
ーンに属する画像の各画素に関し、その画素のG信号お
よびB信号に基づいて得られる第1の参照値と前記類似
画素のG信号およびB信号に基づいて得られる第2の参
照値との比率を前記輝度値に乗じて求めた修正輝度値と
色差信号Crを用いて、前記R信号を求めることを特徴
とする請求項1に記載の画像補間装置。 - 【請求項17】 前記R補間処理手段が、下記式に従っ
て前記R信号を求めることを特徴とする請求項16に記
載の画像補間装置。 Y=0.299×R(x',y')+0.587×G(x',y')+0.114×B(x',y') Cr=0.5×R(x',y')-0.419×G(x',y')-0.081×B(x',y') YG=Y× (0.587×G(x,y)+0.114×B(x,y))/(0.587×G(x',y')+0.114×B(x',y')) r=YG+1.402×Cr ただし、Yは前記類似画素の輝度値、R(x',y'), G(x',
y'),B(x',y')は前記類似画素のR,G,B信号、G(x,
y)は第4パターンに属する画像の画素のG信号、rは前
記R補間処理手段により求められる前記第4パターンに
属する画像の画素のR信号、YGは修正輝度値である。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001006428A JP4495355B2 (ja) | 2001-01-15 | 2001-01-15 | 画像補間装置 |
US10/043,127 US6900833B2 (en) | 2001-01-15 | 2002-01-14 | Image interpolating device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001006428A JP4495355B2 (ja) | 2001-01-15 | 2001-01-15 | 画像補間装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2002218483A true JP2002218483A (ja) | 2002-08-02 |
JP2002218483A5 JP2002218483A5 (ja) | 2008-01-31 |
JP4495355B2 JP4495355B2 (ja) | 2010-07-07 |
Family
ID=18874318
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001006428A Expired - Fee Related JP4495355B2 (ja) | 2001-01-15 | 2001-01-15 | 画像補間装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4495355B2 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11122626A (ja) * | 1997-10-17 | 1999-04-30 | Nikon Corp | 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体 |
JPH11331858A (ja) * | 1998-05-15 | 1999-11-30 | Fuji Film Microdevices Co Ltd | 画像信号処理装置およびプログラムを記録した媒体 |
JP2000023174A (ja) * | 1998-07-01 | 2000-01-21 | Ricoh Co Ltd | 画像処理装置及び画像処理方法 |
JP2000188762A (ja) * | 1998-12-21 | 2000-07-04 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
JP2000278503A (ja) * | 1999-03-23 | 2000-10-06 | Minolta Co Ltd | ベイヤ補間装置およびベイヤ補間方法ならびにベイヤ補間プログラムを記録した記録媒体 |
JP2000341701A (ja) * | 1999-05-25 | 2000-12-08 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
JP2001061157A (ja) * | 1999-06-14 | 2001-03-06 | Nikon Corp | 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置 |
JP2002218482A (ja) * | 2001-01-15 | 2002-08-02 | Asahi Optical Co Ltd | 画像補間装置 |
JP2002218484A (ja) * | 2001-01-18 | 2002-08-02 | Asahi Optical Co Ltd | 画像補間装置 |
JP2002223451A (ja) * | 2001-01-26 | 2002-08-09 | Asahi Optical Co Ltd | 画像補間装置 |
-
2001
- 2001-01-15 JP JP2001006428A patent/JP4495355B2/ja not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11122626A (ja) * | 1997-10-17 | 1999-04-30 | Nikon Corp | 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体 |
JPH11331858A (ja) * | 1998-05-15 | 1999-11-30 | Fuji Film Microdevices Co Ltd | 画像信号処理装置およびプログラムを記録した媒体 |
JP2000023174A (ja) * | 1998-07-01 | 2000-01-21 | Ricoh Co Ltd | 画像処理装置及び画像処理方法 |
JP2000188762A (ja) * | 1998-12-21 | 2000-07-04 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
JP2000278503A (ja) * | 1999-03-23 | 2000-10-06 | Minolta Co Ltd | ベイヤ補間装置およびベイヤ補間方法ならびにベイヤ補間プログラムを記録した記録媒体 |
JP2000341701A (ja) * | 1999-05-25 | 2000-12-08 | Nikon Corp | 補間処理装置および補間処理プログラムを記録した記録媒体 |
JP2001061157A (ja) * | 1999-06-14 | 2001-03-06 | Nikon Corp | 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置 |
JP2002218482A (ja) * | 2001-01-15 | 2002-08-02 | Asahi Optical Co Ltd | 画像補間装置 |
JP2002218484A (ja) * | 2001-01-18 | 2002-08-02 | Asahi Optical Co Ltd | 画像補間装置 |
JP2002223451A (ja) * | 2001-01-26 | 2002-08-09 | Asahi Optical Co Ltd | 画像補間装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4495355B2 (ja) | 2010-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101263888B1 (ko) | 화상처리장치 및 화상처리방법과 컴퓨터·프로그램 | |
US8358835B2 (en) | Method for detecting and correcting chromatic aberration, and apparatus and method for processing image using the same | |
US7986352B2 (en) | Image generation system including a plurality of light receiving elements and for correcting image data using a spatial high frequency component, image generation method for correcting image data using a spatial high frequency component, and computer-readable recording medium having a program for performing the same | |
TWI737979B (zh) | 圖像去馬賽克裝置及方法 | |
JP2007129535A (ja) | 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体 | |
JP3905708B2 (ja) | 画像補間装置 | |
JP4945942B2 (ja) | 画像処理装置 | |
US7046277B2 (en) | Image interpolating device, including interpolation and modification processors | |
US7106341B2 (en) | Image interpolating device | |
CN105049820B (zh) | 图像处理设备、摄像设备和图像处理方法 | |
JP4334150B2 (ja) | 画像補間装置 | |
US6900833B2 (en) | Image interpolating device | |
JP4797478B2 (ja) | 画像処理装置 | |
JP5898428B2 (ja) | 画像処理装置及びその制御方法 | |
JP5818568B2 (ja) | 画像処理装置及びその制御方法 | |
JP5673186B2 (ja) | 撮像装置及び撮像装置の補間処理方法 | |
JP4334152B2 (ja) | 画像補間装置 | |
JP4334151B2 (ja) | 画像補間装置 | |
JP4495355B2 (ja) | 画像補間装置 | |
JP4666786B2 (ja) | 画像補間装置 | |
JP2002232903A (ja) | 画像補間装置 | |
JP2005354585A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2003134523A (ja) | 撮像装置及び撮像方法 | |
JP5139350B2 (ja) | 画像処理装置、画像処理方法、撮像装置 | |
KR20090103669A (ko) | 화상 처리 장치, 화상 처리 방법, 및 화상 처리를 달성하는프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071212 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071212 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100406 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100409 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140416 Year of fee payment: 4 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |