JP2000050288A - 映像信号処理方法および撮像装置 - Google Patents
映像信号処理方法および撮像装置Info
- Publication number
- JP2000050288A JP2000050288A JP10210098A JP21009898A JP2000050288A JP 2000050288 A JP2000050288 A JP 2000050288A JP 10210098 A JP10210098 A JP 10210098A JP 21009898 A JP21009898 A JP 21009898A JP 2000050288 A JP2000050288 A JP 2000050288A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- video signal
- color
- pixel
- digital video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000003111 delayed effect Effects 0.000 claims abstract description 13
- 238000003384 imaging method Methods 0.000 claims description 50
- 230000005540 biological transmission Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims 3
- 239000011159 matrix material Substances 0.000 claims 3
- 230000000295 complement effect Effects 0.000 abstract description 18
- 230000000750 progressive effect Effects 0.000 abstract description 17
- 230000001360 synchronised effect Effects 0.000 abstract description 14
- 238000000034 method Methods 0.000 description 14
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
プログレッシブ走査で駆動して、撮像素子から出力され
た信号から同時化された色差信号を容易に生成し、AD
変換器のノイズによる不安定さを取り除き、安定した画
像を得ること。 【解決手段】 CCD5のようなフィルタ配列を有し、
AD変換器7からのディジタル映像信号を1ライン遅延
部9を通過させてディジタル映像信号と上下加算すると
ともに、ディジタル映像信号を1画素遅延部11を通過
させてディジタル映像信号と上下加算し、隣接画素差分
部14にて、1画素ずらした上下画素加算の信号の隣接
画素の差分をとり、同時化部13で同時化処理すること
により、2R−G成分および2B−G成分を抽出する。
Description
撮像装置に関し、特に単板式固体撮像素子の色コーディ
ング処理を行う映像信号処理方法および撮像装置に関す
るものである。
いた撮像装置は、単一のCCDを用いる単板式と、複数
のCCDを用いる多板式とに大別できる。後者の方式と
しては、分光プリズム等で光を三原色に分離し、単一色
の光を単一のCCDによって光電変換する三板式が知ら
れている。これに対し、前者の方式では、単一のCCD
から複数種類の色信号を生成するために、受光面に複数
種類の色フィルタを設けたCCDを用いる。受光面に配
列された光電変換素子は、この色フィルタを透過した特
定の色光を光電変換することにより、色フィルタの種類
に応じた色信号を出力する。
原色であるR(赤)、G(緑)、B(青)から所定のカ
ラー映像信号を生成するため、色フィルタの種類とし
て、光の三原色と同一のR、G、Bといった原色フィル
タを用いる方式と、Gの他にMg(マゼンタ)、Cy
(シアン)、Ye(黄)といった補色フィルタを用いる
方式が知られている。特に、補色フィルタの配列の例を
図5に示す。
現性については優れているが、光の利用効率が低く感度
が低い等の問題がある。後者の補色フィルタを用いる方
式は、この問題を解決する手段として、動画を撮像する
ための撮像装置に広く用いられている。この補色フィル
タを用いた方式に関しては、例えば、特開平7−773
3号公報や特開平7―298273号公報に記載された
ものが知られている。以下にその概略を説明する。
いる色フィルタの配列は、例えば図5に示すように、Y
e(黄)、Cy(シアン)が順に繰り返す第1のライン
と、Mg(マゼンタ)、G(緑)が順に繰り返す第2の
ラインと、上記第1のラインと同様にYe、Cyが順に
繰り返す第3のラインと、上記第2のラインと順序が逆
になったG、Mgが順に繰り返す第4のラインとの配列
が、以降、同様に順次繰り返すようになっている。
素子を用いた信号処理のうち、NTSC方式の場合を例
にとって、まず、色信号処理について説明する。Nフィ
ールドにおいては、角のYe+Mgがまず撮像素子内で
加算され、その次のタイミングでCy+Gが撮像素子内
で加算される。色信号として処理する場合には、Nフィ
ールドのnラインにおいてこれらを減算して、 (Ye+Mg)−(Cy+G)=R+G+B+R−(B+G+G) =2R−G という結果となり、赤成分を含んだ色差信号を得る。な
お、計算の途中で近似演算を行っている。この結果は、
N+1フィールドのnラインにおいても同様に得られる
が、これは、NフィールドとN+1フィールドでは垂直
方向に1画素ずれたものとなるためである。
は、画素から読み出されたYe+GとCy+Mgとを減
算して、 (Ye+G)−(Cy+Mg)=R+G+G−(B+G+B+R) =−(2B−G) という結果となり、青成分を含んだ色差信号を得る。な
お、前記同様の近似演算を行っている。この結果はN+
1フィールドのn+1ラインにおいてもやはり同様に得
られる。
2R−Gと−(2B−G)が1ライン置きに出力される
線順次の形態の間欠的なものとなる。なお、上下隣接し
た画素どうしの加算、つまりYeとMgの加算やCyと
Gの加算などは、撮像素子内で行われるのに対し、加算
した後のこれらの減算、つまり、(Ye+Mg)−(C
y+G)等の左右隣接したものどうしの減算は、サンプ
ルホールド後に行われるようになっている。
素子を用いた信号処理のうち、輝度信号生成について説
明する。輝度信号は、撮像素子から読み出される際に上
述のように加算されている上下隣接画素の出力に、左右
隣接するものを加算するか、または画素出力のサンプリ
ングレートよりもかなり低い周波数、例えば前記サンプ
リングレートの1/4程度の周波数までローパスフィル
タで帯域制限して得られる。
上述のフィルタ出力Ye+MgとCy+Gについて互い
に加算を行い、nラインにおいては、 という結果を得る。また、次のn+1ラインにおいて
は、Ye+GとCy+Mgとを互いに加算して行い、Y
e+G+Cy+Mg=2B+3G+2Rという結果を得
る。
及び輝度信号を生成する画像処理装置例について説明す
る。被写体光像は、撮像光学系60を介して、撮像素子
であるCCD61に入力され、そこで光電変換された
後、相関2重サンプリング回路(以下、CDSと略記す
る。)62に入力されてランダム雑音の低減を行う。こ
のCDS62の出力は二分され、第1サンプルホールド
回路64と第2サンプルホールド回路65とに入力され
てサンプルホールドを行う。
Cy+Gなどの縦に隣接する2画素を加算したCCD6
1の出力を、これら2つのサンプルホールド回路64、
65により色分離用のサンプルホールドパルス1、2で
1画素おきにそれぞれサンプリングホールドするように
なっている。より詳しくは、第1サンプルホールド回路
64では、図示のようなサンプルホールドパルス1によ
り、1番目のYe+Mgをサンプルホールドし、2番目
のCy+Gをスキップして3番目のYe+Mgをサンプ
ルホールドし、4番目のCy+Gを再びスキップするよ
うになっている。これに対して、第2サンプルホールド
回路65では、サンプルホールドパルス2により、1番
目のYe+Mgをスキップして2番目のCy+Gをサン
プルホールドし、3番目のYe+Mgを再びスキップし
て4番目のCy+Gをサンプルホールドするようになっ
ている。そして、上述の色信号を生成するには、第1サ
ンプルホールド回路64 の出力から第2サンプルホー
ルド回路65の出力を減算回路66により減算、すなわ
ち、Ye+MgからCy+Gを減算した出力を得るよう
になっている。その出力は、ローパスフィルタ(図中、
LPFと略記する。)67に入力されて帯域制御が行わ
れる。このローパスフィルタ67の出力C0は二分され
て、一方は1ライン遅延部68に入力され、他方はスイ
ッチ回路であるマルチプレクサ69に入力される。
減算結果である2R−Gと2B−Gが図8に示すような
時系列で得られる。つまり、上記ローパスフィルタ67
の出力信号C0の1番目のパルスが2R−Gである場合
には、1ライン遅延部68の出力信号C1は1つ前の時
間(つまり0番目)の2B−Gとなる。次の時間では、
1番目の2R−Gは信号C1に現れ、このときの信号C
0が1番目の2B−Gとなる。以下同様にして、その次
の時間では、1番目の2B−Gが信号C1に現れ、この
時の信号C0は2番目の2R−Gとなる。
つの信号C0、C1が、マルチプレクサ69に入力され
て、そこで切換を行うことにより、2R−Gだけの出力
である信号CRと、2B−Gだけの出力であるCBとに
分離される。つまり、信号CRへの出力は、まず、C0
の1番目の2R−Gを選択し、次に、1H遅延した2R
−GのコピーであるC1を選択し、さらに、C0の2番
目の2R−Gを選択し、そして、C1の2番目の2R−
Gを選択するようになっていて、以下同様に順次2R−
Gの信号のみを選択するようになっている。こうして、
信号CRは、1番目の2R−G出力を2回繰り返した
後、2番目の2R−G出力を2回繰り返し、以下同様に
同じ2R−G出力を2回ずつ繰り返している。
0、C1の各信号から、順次2B−Gのみを選択して、
同じ出力を2回ずつ繰り返して出力している。こうし
て、信号CRもしくは信号CBを単独で見ると、それぞ
れ同じ出力を2回ずつ繰り返しているので、再現できる
垂直方向の周波数としては走査線の周波数の1/2が上
限となり、色の解像度は水平走査線の1/2以下であ
る。また、同じ出力を2回繰り返すのではなく、1H遅
延器を2つ用いて、補間する(2R−Gのラインでは前
後の2B−Gから補間して2R−Gと同時化した2B−
G出力を得る)方式もあるが、ここでは省略する。
ば図9に示すようになる。なお、この図9においては、
数の上から下に向かう方向が走査線の進行方向を示し、
時間軸もほぼ対応している。それゆえ、横方向に揃って
いるものについては同一時間に出力されることになる。
この図9を参照して、上述のような動作をテレビ信号の
走査線に対応して説明すると、図6と図5に示したCC
D61の色フィルタの1番目のラインのYeと2番目の
ラインのMgからの信号を加減算処理することにより、
C0が1番目の2R−Gを出力する。上記CCD61の
次の2ラインを選択することによって、走査線の2番目
として、C0は1番目の2B−Gを出力する。上記CC
D61の次の2ラインを選択することによって、走査線
の2番目として、C0は1番目の2B−Gを出力する。
このようにして、さらに、2番目の2R−G、2番目の
2B−Gが線順次で選択される。
にシフトしたものであるため、1番目の2R−Gが第2
ラインに出力される。そして、1番目の2B−Gが第3
ラインに出力され、2番目の2R−Gが第4ラインに出
力される。こうして、これらC0、C1からマルチプレ
クサ69で2R−Gのみを選択したものがCRに、2B
−Gのみを選択したものがCBにそれぞれ出力されてい
る。
撮像素子を用いて撮像素子内で上下画素加算を行うイン
ターレース走査(飛び越し走査とも言う)した場合のデ
ィジタル信号処理方式の例である。一方、近年における
ディジタル技術の発達や撮像装置の低価格化、パソコン
の高性能化等により、従来モニタで映像を見るためのビ
デオカメラのような用途のみでなく、パソコン等への画
像入力装置としての撮像機器の需要が急速に伸びてい
る。これにより、パソコン等のモニタの走査方法がプロ
グレッシブ走査(順次走査とも言う)であるため、映像
信号を直接インターフェースできるよう、撮像装置の出
力としてもプログレッシブ走査するものが必要とされて
きている。
フィルタとしては、プログレッシブ走査する場合、原色
方式を用いるのが一般的であるが、今後、監視等、感度
を必要とする分野における応用を考えた場合、感度の良
い補色方式を用いる必要がある。この場合、補色単板撮
像素子を用いて上記応用に対応するために図5の補色単
板撮像素子を用いて、プログレッシブ走査する方式が考
えられる。
る場合、インターレース時に撮像素子内で上下画素加算
していた動作を単純に1H遅延器を用いて1H遅延信号
と基の信号を加算することが考えられる。しかし、図5
の撮像素子のカラーフィルタ配列を見れば分かるよう
に、第2走査期間(つまり、NTSC時のNフィールド
nラインに相当)で第1のラインと第2のラインを加算
した出力として、最初の画素時間でYe+Mgが出力さ
れ、次の画素時間でCy+Gが出力され、色信号として
処理する場合には、これらを減算して、 (Ye+Mg)−(Cy+G)=R+G+B+R−(B+G+G) =2R−G という結果を得る。
のN+1フィールドnラインに相当)で第2のラインと
第3のラインを加算した出力として、最初の画素時間で
Mg+Yeが出力され、次の画素時間でG+Cyが出力
され、色信号として処理する場合には、これらを減算し
て、 (Mg+Ye)−(G+Cy)=R+G+B+R−(B+G+G) =2R−G という結果を得る。
のNフィールドn+1ラインに相当)で第3のラインと
第4のラインを加算した出力として、最初の画素時間で
Ye+Gが出力され、次の画素時間でCy+Mgが出力
され、色信号として処理する場合には、これらを減算し
て、 (Ye+G)−(Cy+Mg)=R+G+G−(B+G+B+R) =−(2B−G) という結果を得る。
のN+1フィールドn+1ラインに相当)で第4のライ
ンと第5のラインを加算した出力として、最初の画素時
間でG+Yeが出力され、次の画素時間でMg+Cyが
出力され、色信号として処理する場合には、これらを減
算して、 (G+Ye)−(Mg+Cy)=R+G+G−(B+G+B+R) =−(2B−G) という結果を得る。
た場合、2ライン毎に2R−Gと−(2B−G)を出力
する形態の間欠的なものとなり、従来に比べ、さらに色
の情報が失われ、垂直の色情報がおよそ1/2になって
しまうという問題を有する。
下単純加算して色信号を生成する信号処理系と、AD変
換部63の出力を1画素分ずらして、1H遅延後の信号
と加算、あるいは1H遅延後の信号を1画素分ずらし
て、AD変換部63の出力と加算してから色信号を生成
する信号処理系とを設けることにより、解像度の劣化を
防止する方法が考えられる。
の信号を1画素ずらして、AD変換部63の出力と加算
する場合を例にとり、簡単に説明する。図10はAD
変換部出力であり、それを1H分遅延させた信号が図1
0のように表せる。また、図10と図10を加
算、つまり、単純上下加算して得られる結果を図10
に表す。
画素分ずらした信号を示す。また、図10と図10
を加算、つまり、画素ずらし上下加算して得られる結果
を図10に示す。
信号図10と図10の隣接画素差分を演算した結果
をそれぞれ図10、図10に示す。このように、画
素ずらし上下加算を行うことにより、同時に2R−G成
分と2B−G成分が得られるので、色解像度の劣化を防
止することができる。また、図10を画素ずらしした
信号と図10を加算しても同様な効果が得られる。
れたが、AD変換部63の入力部分の映像信号にクロッ
クによる固定パターンノイズが重畳した場合、およびA
D変換部の特性により、最下位ビットのバタつきやミス
コード時の下位ビットのバタつき等が発生した場合にお
いて、カメラ画像をモニタに映したとき、ライン濃淡が
発生するという問題があった。ライン濃淡を防止するに
は画素ずらしをしなければ良いが、先述したように色解
像度が劣化するので問題がある。
のライン濃淡発生の様子を図11で説明する。図11
のAD出力より、上から5ラインの信号で考える。図1
1はAD出力のうち、0H目を示す。図11はAD
に重畳する0、1、0、1・・・の固定パターンノイズ
である。
した場合の出力を示す。同様に図11は1H目の信号
に対してノイズ分が重畳した場合、図11は2H目の
信号に対してノイズ分が重畳した場合、図11は3H
目の信号に対してノイズ分が重畳した場合、図11は
4H目の信号に対してノイズ分が重畳した場合をそれぞ
れ示す。
走査線にあたる第1ラインの信号生成、1Hと2Hで第
2走査線にあたる第2ラインの信号生成、2Hと3Hで
第3走査線にあたる第3ラインの信号生成、3Hと4H
で第4走査線にあたる第4ラインの信号生成をそれぞれ
行う。
ンまでの色信号生成のための上下加算及び画素ずらし上
下加算の結果を示す。図11〜(16)の内、左から3画
素目と4画素目に注目して説明する。図11の隣接画
素差分は、 (Ye+Mg)−{(Cy+G)+2}= (2R-G)−2 である。同様に図11(10)の隣接画素差分は、 {(Ye+G)+1}−{(Cy+Mg)+1}=−(2B-G) である。同様に図11(11)隣接画素差分は、 (Ye+Mg)−{(Cy+G)+2}= (2R-G)−2 である。同様に図11(12)隣接画素差分は、 {(Ye+G)+1}−{(Cy+Mg)+1}=−(2B-G) である。同様に図11(13)隣接画素差分は、 (Ye+G)−{(Cy+Mg)+2}=−(2B-G)−2 である。同様に図11(14)隣接画素差分は、 {(Ye+Mg)+1}−{(Cy+G)+1}=2R−G である。同様に図11(15)隣接画素差分は、 (Ye+G)−{(Cy+Mg)+2}=−(2B-G)−2 である。同様に図11(16)隣接画素差分は、 {(Cy+G)+1}−{(Ye+Mg)+1}=−(2R-G) である。
影響により、R成分を含む信号が、ノイズの無い場合の
2R−Gに比べ、2小さいレベルになる。同様に、第2
ラインの色信号はノイズの影響により、R成分を含む信
号が、ノイズの無い場合の2R−Gに比べ、2小さいレ
ベルになる。第3ラインの信号は反対に、B成分を含む
信号が、ノイズの無い場合の−(2B−G)に比べ、2
小さいレベルになる。同様に、第4ラインの色信号はノ
イズの影響により、B成分を含む信号が、ノイズの無い
場合の−(2B−G)に比べ、2小さいレベルになる。
このように、同一色の画面になると2ライン置きにノイ
ズの影響がR成分側とB成分側に乗り変わるため、それ
がライン濃淡として見える。特にAGCがかかると著し
く目立つ。
めになされたもので、補色単板撮像素子を用いて、プロ
グレッシブ駆動する際、解像度の劣化を起こさず、AD
コンバータの出力信号(ディジタル信号)の下位ビット
の乱れの影響を受けず、安定した画像を生成することの
できる映像信号処理方法および装置を提供することを目
的とする。
に、本発明は、撮像面に配置される分光感度の異なる色
フィルタとして、マゼンタ色を透過する色フィルタと緑
色を透過する色フィルタとが交互に配列された第1の水
平列フィルタと、シアン色を透過する色フィルタと黄色
を透過する色フィルタとが交互に配列された第2の水平
列フィルタとからなる色フィルタを使用し、この撮像素
子をプログレッシブ駆動して撮像素子から出力される映
像信号をディジタル信号に変換し、ディジタル映像信号
とこのディジタル映像信号を1ライン遅延させた1ライ
ン遅延信号とを上下加算し、ディジタル映像信号と1画
素分ずらした1画素遅延信号とを上下加算し、それぞれ
上下加算した信号の隣接画素の差分をとり、同時化する
ことにより2R−G成分と2B−G成分を抽出するよう
にしたものである。
を有する撮像素子をプログレッシブ走査で駆動して、撮
像素子から出力された信号から同時化された色差信号を
容易に生成できるとともに、AD変換器のノイズによる
不安定さを取り除き、安定した画像を得ることができ
る。
は、マゼンタ色を透過する色フィルタと緑色を透過する
色フィルタとが交互に配列された第1の水平列フィルタ
と、シアン色を透過する色フィルタと黄色を透過する色
フィルタとが交互に配列された第2の水平列フィルタと
からなる色フィルタを撮像素子の撮像面に配置し、前記
撮像素子をプログレッシブ駆動して、前記撮像素子から
出力される映像信号をディジタル信号に変換し、前記デ
ィジタル映像信号と前記ディジタル映像信号を1ライン
遅延させた1ライン遅延信号とを上下加算し、前記ディ
ジタル映像信号と前記ディジタル映像信号を1画素分ず
らした1画素遅延信号とを上下加算し、前記それぞれ上
下加算した信号の隣接画素の差分をとり、同時化するこ
とにより2R−G成分と2B−G成分を抽出する映像信
号処理方法であり、同時化された色信号が容易に生成で
きるとともに、AD変換部の乱れの影響を受けず、補色
フィルタを有する撮像素子をプログレッシブ走査で駆動
する場合に適したカラー撮像方式を実現することができ
る。
タ色を透過する色フィルタと緑色を透過する色フィルタ
とが交互に配列された第1の水平列フィルタと、シアン
色を透過する色フィルタと黄色を透過する色フィルタと
が交互に配列された第2の水平列フィルタとからなる色
フィルタを撮像素子の撮像面に配置し、前記撮像素子を
プログレッシブ駆動して、前記撮像素子から出力される
映像信号をディジタル信号に変換し、前記ディジタル映
像信号と前記ディジタル映像信号を1ライン遅延させた
1ライン遅延信号とを上下加算し、前記1ライン遅延信
号と前記ディジタル映像信号を1画素分ずらした1画素
遅延信号とを上下加算し、前記それぞれ上下加算した信
号の隣接画素の差分をとり、同時化することにより2R
−G成分と2B−G成分を抽出する映像信号処理方法で
あり、同時化された色信号が容易に生成できるととも
に、AD変換部の乱れの影響を受けず、補色フィルタを
有する撮像素子をプログレッシブ走査で駆動する場合に
適したカラー撮像方式を実現することができる。
タ色を透過する色フィルタと緑色を透過する色フィルタ
とが交互に配列された第1の水平列フィルタと、シアン
色を透過する色フィルタと黄色を透過する色フィルタと
が交互に配列された第2の水平列フィルタとからなる色
フィルタを撮像素子の撮像面に配置し、前記撮像素子を
プログレッシブ駆動して、前記撮像素子から出力される
映像信号をディジタル信号に変換し、前記ディジタル映
像信号と前記ディジタル映像信号を1ライン遅延させた
1ライン遅延信号とを上下加算し、前記1ライン遅延信
号を1画素分ずらした1画素遅延信号と前記ディジタル
映像信号とを上下加算し、前記それぞれ上下加算した信
号の隣接画素の差分をとり、同時化することにより2R
−G成分と2B−G成分を抽出する映像信号処理方法で
あり、同時化された色信号が容易に生成できるととも
に、AD変換部の乱れの影響を受けず、補色フィルタを
有する撮像素子をプログレッシブ走査で駆動する場合に
適したカラー撮像方式を実現することができる。
タ色を透過する色フィルタと緑色を透過する色フィルタ
とが交互に配列された第1の水平列フィルタおよびシア
ン色を透過する色フィルタと黄色を透過する色フィルタ
とが交互に配列された第2の水平列フィルタとからなる
色フィルタと、前記色フィルタを撮像面に配置した撮像
素子と、前記撮像素子をプログレッシブ駆動する駆動信
号発生部と、前記撮像素子から出力される映像信号をデ
ィジタル信号に変換するAD変換部と、前記ディジタル
映像信号と前記ディジタル映像信号を1ライン遅延させ
た1ライン遅延信号とを上下加算する第1の上下画素加
算部と、前記ディジタル映像信号と前記ディジタル映像
信号を1画素分ずらした1画素遅延信号とを上下加算す
る第2の上下画素加算部と、前記それぞれ上下加算した
信号の隣接画素の差分をとり、同時化することにより2
R−G成分と2B−G成分を抽出する信号処理部とを備
えた撮像装置であり、同時化された色信号が容易に生成
できるとともに、AD変換部の乱れの影響を受けず、補
色フィルタを有する撮像素子をプログレッシブ走査で駆
動する場合に適したカラー撮像方式を実現することがで
きる。
タ色を透過する色フィルタと緑色を透過する色フィルタ
とが交互に配列された第1の水平列フィルタおよびシア
ン色を透過する色フィルタと黄色を透過する色フィルタ
とが交互に配列された第2の水平列フィルタとからなる
色フィルタと、前記色フィルタを撮像面に配置した撮像
素子と、前記撮像素子をプログレッシブ駆動する駆動信
号発生部と、前記撮像素子から出力される映像信号をデ
ィジタル信号に変換するAD変換部と、前記ディジタル
映像信号と前記ディジタル映像信号を1ライン遅延させ
た1ライン遅延信号とを上下加算する第1の上下画素加
算部と、前記1ライン遅延信号と前記ディジタル映像信
号を1画素分ずらした1画素遅延信号とを上下加算する
第2の上下画素加算部と、前記それぞれ上下加算した信
号の隣接画素の差分をとり、同時化することにより2R
−G成分と2B−G成分を抽出する信号処理部とを備え
た撮像装置であり、同時化された色信号が容易に生成で
きるとともに、AD変換部の乱れの影響を受けず、補色
フィルタを有する撮像素子をプログレッシブ走査で駆動
する場合に適したカラー撮像方式を実現することができ
る。
タ色を透過する色フィルタと緑色を透過する色フィルタ
とが交互に配列された第1の水平列フィルタおよびシア
ン色を透過する色フィルタと黄色を透過する色フィルタ
とが交互に配列された第2の水平列フィルタとからなる
色フィルタと、前記色フィルタを撮像面に配置した撮像
素子と、前記撮像素子をプログレッシブ駆動する駆動信
号発生部と、前記撮像素子から出力される映像信号をデ
ィジタル信号に変換するAD変換部と、前記ディジタル
映像信号と前記ディジタル映像信号を1ライン遅延させ
た1ライン遅延信号とを上下加算する第1の上下画素加
算部と、前記1ライン遅延信号を1画素分ずらした1画
素遅延信号と前記ディジタル映像信号とを上下加算する
第2の上下画素加算部と、前記それぞれ上下加算した信
号の隣接画素の差分をとり、同時化することにより2R
−G成分と2B−G成分を抽出する信号処理部とを備え
た撮像装置であり、同時化された色信号が容易に生成で
きるとともに、AD変換部の乱れの影響を受けず、補色
フィルタを有する撮像素子をプログレッシブ走査で駆動
する場合に適したカラー撮像方式を実現することができ
る。
号処理部において、原色信号であるR(赤)、G
(緑)、B(青)信号を生成する手段を備えたことを特
徴とする請求項4、5または6記載の撮像装置であり、
信号処理部において2R−G成分と2B−G成分から、
原色信号であるR、G、B信号を容易に生成することが
できる。
号処理部において、輝度信号Yと、2種類の色差信号R
−Y、B−Yとを生成する手段を備えたことを特徴とす
る請求項4、5、6または7記載の撮像装置であり、信
号処理部において2R−G成分と2B−G成分から、輝
度信号Yと2種類の色差信号R−Y、B−Yとを容易に
生成することができる。
R、G、B信号、または前記輝度信号Yと前記色差信号
R−Y、B−Yを記録する媒体を備えたことを特徴とす
る請求項7または8記載の撮像装置であり、R、G、B
信号、およびまたは輝度信号Yと色差信号R−Y、B−
Yとを半導体メモリ等に保存しておくことができる。
R、G、B信号、または前記輝度信号Yと前記色差信号
R−Y、B−Yを伝送する伝送部を備えたことを特徴と
する請求項7または8記載の撮像装置であり、R、G、
B信号、およびまたは輝度信号Yと色差信号R−Y、B
−Yとをパーソナルコンピュータ等に伝送することがで
きる。
て説明する。 (実施の形態1)図1は本発明の第1の実施の形態に係
る撮像装置の撮像部の構成を示す図である。以下の各実
施の形態においては、撮像部として、CCDを適用した
ものである。図1において、1はフォトダイオード等の
光電変換素子と、その上部に設けた色フィルタからなる
画素である。この撮像部(CCD)5では、複数個の画
素が水平および垂直方向に規則的に配列されているが、
図1では代表する1画素にのみ引き出し線と符号を付け
ている。各々の画素に設けられた色フィルタは、Mg
(マゼンタ)、G(緑)、Cy(シアン)、Ye(黄)
の4種類であり、水平方向に2画素、垂直方向に2画素
の計4画素を基本単位として、繰り返し配列されてい
る。Mgは青と赤の色光を透過する色フィルタであり、
同様に、Gは緑の色光を、Cyは緑と青の色光を、Ye
は緑と赤の色光を、それぞれ透過する色フィルタであ
る。
タを透過した色光を光電変換して画素信号を生成する。
一定時間露光することによって各画素に蓄積された画素
信号は、画素列に隣接して設けられた垂直CCD(垂直
転送部)2に読み出される。垂直CCD2を転送された
画素信号は、水平CCD(水平転送部)3に転送された
後、水平CCD3内を同図右方向に転送され、出力部4
から出力される。これらの動作のための基準パルスは駆
動信号発生部6で生成される。以上のような動作によ
り、各画素で生成した画素信号を出力する。
2において増幅され、AD変換部7によりディジタル信
号に変換される。AD変換部7からの出力信号は、第1
の上下加算部8で1ライン遅延部9から出力される信号
と加算され、また、第2の上下加算部10で1画素遅延
部11から出力される信号と加算される。そして、隣接
画素加算部14において隣り合う画素との差分をとり、
2R−G成分と2B−G成分が抽出され、2R−G成分
と2B−G成分を同時化部13でセレクトすることによ
り、同時化される。
トを用いて説明する。図4はAD変換器7出力より、
上から5ラインの信号で考える。図4はAD変換器7
出力のうち、0H目を示す。図4はADに重畳する
0、1、0、1・・・の固定パターンノイズである。図
4はAD変換器7出力にノイズ分が重畳した場合
の出力を示す。同様に図4は1H目の信号に対してノ
イズ分が重畳した場合、図4は2H目の信号に対して
ノイズ分が重畳した場合、図4は3H目の信号に対し
てノイズ分が重畳した場合、図4は4H目の信号に対
してノイズ分が重畳した場合をそれぞれ示す。以上の5
本の信号から、0Hと1Hで第1走査線にあたる第1ラ
インの信号生成、1Hと2Hで第2走査線にあたる第2
ラインの信号生成、2Hと3Hで第3走査線にあたる第
3ラインの信号生成、3Hと4Hで第4走査線にあたる
第4ラインの信号生成をそれぞれ行う。
までの色信号生成のための上下加算及び画素ずらし上下
加算の結果を示す。図4〜(16)の内、左から3画素目
と4画素目に注目して説明する。図4の隣接画素差分
は、 (Ye+Mg)−{(Cy+G)+2}= (2R-G)−2 である。同様に図4(10)の隣接画素差分は、 {(Ye+G)+1}−{(Cy+Mg)+1}=−(2B-G) である。同様に図4(11)の隣接画素差分は、 (Ye+Mg)−{(Cy+G)+2}= (2R-G)−2 である。同様に図4(12)の隣接画素差分は、 {(Ye+G)+1}−{(Cy+Mg)+1}=−(2B-G) である。同様に図4(13)の隣接画素差分は、 (Ye+Mg)−{(Cy+G)+2}= (2R-G)−2 である。同様に図4(14)の隣接画素差分は、 {(Ye+G)+1}−{(Cy+Mg)+1}=−(2B-G) である。同様に図4(15)の隣接画素差分は、 (Ye+Mg)−{(Cy+G)+2}= (2R-G)−2 である。同様に図4(16)の隣接画素差分は、 {(Ye+G)+1}−{(Cy+Mg)+1}=−(2B-G) である。
影響により、R成分を含む信号が、ノイズの無い場合の
2R−Gに比べ、2小さいレベルになる。同様に、第2
ラインの色信号はノイズの影響により、R成分を含む信
号が、ノイズの無い場合の2R−Gに比べ、2小さいレ
ベルになる。同様に、第3ラインの色信号はノイズの影
響により、R成分を含む信号が、ノイズの無い場合の2
R−Gに比べ、2小さいレベルになる。同様に、第4ラ
インの色信号はノイズの影響により、R成分を含む信号
が、ノイズの無い場合の2R−Gに比べ、2小さいレベ
ルになる。このように、同一色の画面の場合で考えると
ノイズの影響でやや色相としてはずれるが2ライン毎の
濃淡は全く無くなるため、自然な画像が再現できる。
施の形態について説明する。図2は図1に示したような
構成を用いて、3原色信号であるR(赤)、G(緑)、
B( 青)信号、並びに輝度信号Yと色差信号R−Y、B
−Yとを生成し、生成したこれらの映像信号を記録媒体
に記録できるようにするとともに、伝送部(例えばイー
サネット)を設けて外部に映像伝送できるように構成し
た、本発明の第2の実施の形態に係る映像装置のブロッ
ク図である。
たCCD、6はCCD5の駆動を行う駆動信号発生部、
12はCCD5からの映像信号を増幅する増幅部、7は
増幅された映像信号をディジタル信号に変換するAD変
換部、9はディジタル映像信号を1ライン遅延させる1
ライン遅延部、8はディジタル映像信号と1ライン遅延
信号とを上下加算する第1の上下画素加算部、11はデ
ィジタル映像信号を1画素分ずらす1画素遅延部、10
Aは1ライン遅延信号と1画素遅延信号とを上下加算す
る第2の上下画素加算部、21は前記した隣接画素差分
部と同時化部を含めた映像信号処理部、22は制御部、
23は伝送部で、24は記録媒体、25はバスである。
て入射した光は、CCD5の受光面に結像する。CCD
5は、先の実施の形態において説明したCCD5と同一
の構成を有し、Mg、G、Cy、Yeの計4種類の画素
信号を出力する。この画素信号は、各画素に対応した離
散的な点順次信号であるが、振幅(電圧)方向には連続
的に変化するアナログ信号である。この信号を増幅部1
2において増幅し、AD変換部7においてディジタル信
号に変換する。こうして得たディジタル信号に対し、先
に述べた上下画素加算および画素ずらし上下加算を1ラ
イン遅延部9、1画素遅延部11、第1の上下加算部
8、第2の上下加算部10Aにより、ライン濃淡を除去
した信号を生成する。本実施の形態2における信号処理
部21は、3原色信号(R、G、B信号)を生成し、ま
た、輝度信号Yおよび色差信号R−Y、B−Yを生成す
る。
らR、G、B、およびY、R−Y、B−Y信号を生成す
る方法について説明する。色信号は先に説明したよう
に、AD変換器7出力の上下加算、または画素ずらし上
下加算後に隣接画素差分を演算することにより、2R−
G、2B−G(符号は省略)を生成できる。この信号か
ら演算を行うことにより、R、G、Bを分離することが
できる。この場合、必要に応じて、ホワイトバランス補
正やガンマ補正等の公知の処理を行ってよい。
e信号とを用いて、下記の式から求めることができる。 Y=Mg+Cy+G+Ye ここで、輝度信号Yは、上記の式によらず、R、G、B
信号から、R、G、B信号と輝度信号Yとの関係式であ
る、次の式を用いて求めても良い。 Y=0.3R+0.6G+0.1B なお、上式においてR、G、B信号にそれぞれ掛かる係
数は、適宜、映像信号の再生方式に応じて変更しても良
い。また、色差信号R−Y,B−Y、または、これらの
色差信号に所定の係数をかけた色差信号V、Uは、以上
のようにして求めた輝度信号Yと色信号を用いて演算す
ることにより、生成することができる。
うな処理によって生成した映像信号を記録媒体24に記
録する。記録媒体24としては、フラッシュメモリ等の
半導体メモリを用いるが、その他、書き換え可能な磁気
ディスクや磁気テープや光ディスク等を用いても良い。
これらの記録媒体は、一般に取り外して交換することが
可能であるが、撮像素子内に固定されたものでも良い。
さらに、メモリカードのように、パーソナルコンピュー
タ等の外部装置でメモリ内のデータを読むことが可能な
記録媒体を用いても良い。
って行い、制御部22によって、撮像部の起動タイミン
グや信号処理のタイミング、信号処理における各種のパ
ラメータ等の制御を行う。また、これらの信号処理の一
部、または全部を制御部22によって行っても良い。制
御部22は、通常マイクロコンピュータと、必要に応じ
てRAMやROM等その周辺回路を用いて構成する。映
像信号データの信号処理部21、制御部22、記録媒体
24間の入出力は、バス25を介して行う。制御部22
では、さらにJPEG(Joint Photographic Experts Group)
等の画像圧縮をソフトウェア処理によって行っても良
い。また、生成した映像信号データは、伝送部からイー
サネットやIEEE1394等による画像伝送を行うことができ
る。
は、信号処理部21、制御部22を用いて、CCD5が
生成する補色信号から3原色であるR、G、B信号や、
輝度信号Yと色差信号R−Y、B−Y(色差信号V、
U)を生成し、記録媒体24に記録したり、伝送部23
を介してパーソナルコンピュータに撮影した画像を入力
できる等の機能を有しており、使い勝手が良い撮像装置
を実現できる。
施の形態について説明する。本実施の形態は、図3に示
すように、画素ずらし上下加算が図2に示した実施の形
態2と異なるのみである。すなわち、1画素遅延部11
Aは、ディジタル映像信号を1ライン遅延部9で1ライ
ン遅延させた1ライン遅延信号を1画素分ずらした1画
素遅延信号を生成し、第2の上下画素加算部10Bは、
この1画素遅延信号とディジタル映像信号とを上下加算
する。このように構成しても、上記実施の形態2と同等
の効果が得られる。
ルタ配列を有する撮像素子をプログレッシブ走査で駆動
して出力される信号を単純に上下加算してから色差信号
を生成する処理と、画素ずらしを施した信号に対して上
下加算してから色差信号を生成する処理を組み合わせる
ことにより、同時化された色差信号を容易に得ることが
できるとともに、AD変換器のノイズの影響も受けるこ
とのない、補色フィルタを有する撮像素子をプログレッ
シブ走査で駆動する場合に適したカラー撮像方式を実現
することができる。
部の構成を示すブロック図
を示すブロック図
を示すブロック図
タイミング図
フィルタの配列を示す模式図
ブロック図
グ図
タイミング図
線に対応して2次元的に表現した模式図
ずらしを用いた信号生成を説明するタイミング図
の考え方に基づいて、ADノイズが発生した場合の信号
生成を説明するタイミング図
Claims (10)
- 【請求項1】 マゼンタ色を透過する色フィルタと緑色
を透過する色フィルタとが交互に配列された第1の水平
列フィルタと、シアン色を透過する色フィルタと黄色を
透過する色フィルタとが交互に配列された第2の水平列
フィルタとからなる色フィルタを撮像素子の撮像面に配
置し、前記撮像素子をプログレッシブ駆動して、前記撮
像素子から出力される映像信号をディジタル信号に変換
し、前記ディジタル映像信号と前記ディジタル映像信号
を1ライン遅延させた1ライン遅延信号とを上下加算
し、前記ディジタル映像信号と前記ディジタル映像信号
を1画素分ずらした1画素遅延信号とを上下加算し、前
記それぞれ上下加算した信号の隣接画素の差分をとり、
同時化することにより2R−G成分と2B−G成分を抽
出する映像信号処理方法。 - 【請求項2】 マゼンタ色を透過する色フィルタと緑色
を透過する色フィルタとが交互に配列された第1の水平
列フィルタと、シアン色を透過する色フィルタと黄色を
透過する色フィルタとが交互に配列された第2の水平列
フィルタとからなる色フィルタを撮像素子の撮像面に配
置し、前記撮像素子をプログレッシブ駆動して、前記撮
像素子から出力される映像信号をディジタル信号に変換
し、前記ディジタル映像信号と前記ディジタル映像信号
を1ライン遅延させた1ライン遅延信号とを上下加算
し、前記1ライン遅延信号と前記ディジタル映像信号を
1画素分ずらした1画素遅延信号とを上下加算し、前記
それぞれ上下加算した信号の隣接画素の差分をとり、同
時化することにより2R−G成分と2B−G成分を抽出
する映像信号処理方法。 - 【請求項3】 マゼンタ色を透過する色フィルタと緑色
を透過する色フィルタとが交互に配列された第1の水平
列フィルタと、シアン色を透過する色フィルタと黄色を
透過する色フィルタとが交互に配列された第2の水平列
フィルタとからなる色フィルタを撮像素子の撮像面に配
置し、前記撮像素子をプログレッシブ駆動して、前記撮
像素子から出力される映像信号をディジタル信号に変換
し、前記ディジタル映像信号と前記ディジタル映像信号
を1ライン遅延させた1ライン遅延信号とを上下加算
し、前記1ライン遅延信号を1画素分ずらした1画素遅
延信号と前記ディジタル映像信号とを上下加算し、前記
それぞれ上下加算した信号の隣接画素の差分をとり、同
時化することにより2R−G成分と2B−G成分を抽出
する映像信号処理方法。 - 【請求項4】 マゼンタ色を透過する色フィルタと緑色
を透過する色フィルタとが交互に配列された第1の水平
列フィルタおよびシアン色を透過する色フィルタと黄色
を透過する色フィルタとが交互に配列された第2の水平
列フィルタとからなる色フィルタと、前記色フィルタを
撮像面に配置した撮像素子と、前記撮像素子をプログレ
ッシブ駆動する駆動信号発生部と、前記撮像素子から出
力される映像信号をディジタル信号に変換するAD変換
部と、前記ディジタル映像信号と前記ディジタル映像信
号を1ライン遅延させた1ライン遅延信号とを上下加算
する第1の上下画素加算部と、前記ディジタル映像信号
と前記ディジタル映像信号を1画素分ずらした1画素遅
延信号とを上下加算する第2の上下画素加算部と、前記
それぞれ上下加算した信号の隣接画素の差分をとり、同
時化することにより2R−G成分と2B−G成分を抽出
する信号処理部とを備えた撮像装置。 - 【請求項5】 マゼンタ色を透過する色フィルタと緑色
を透過する色フィルタとが交互に配列された第1の水平
列フィルタおよびシアン色を透過する色フィルタと黄色
を透過する色フィルタとが交互に配列された第2の水平
列フィルタとからなる色フィルタと、前記色フィルタを
撮像面に配置した撮像素子と、前記撮像素子をプログレ
ッシブ駆動する駆動信号発生部と、前記撮像素子から出
力される映像信号をディジタル信号に変換するAD変換
部と、前記ディジタル映像信号と前記ディジタル映像信
号を1ライン遅延させた1ライン遅延信号とを上下加算
する第1の上下画素加算部と、前記1ライン遅延信号と
前記ディジタル映像信号を1画素分ずらした1画素遅延
信号とを上下加算する第2の上下画素加算部と、前記そ
れぞれ上下加算した信号の隣接画素の差分をとり、同時
化することにより2R−G成分と2B−G成分を抽出す
る信号処理部とを備えた撮像装置。 - 【請求項6】 マゼンタ色を透過する色フィルタと緑色
を透過する色フィルタとが交互に配列された第1の水平
列フィルタおよびシアン色を透過する色フィルタと黄色
を透過する色フィルタとが交互に配列された第2の水平
列フィルタとからなる色フィルタと、前記色フィルタを
撮像面に配置した撮像素子と、前記撮像素子をプログレ
ッシブ駆動する駆動信号発生部と、前記撮像素子から出
力される映像信号をディジタル信号に変換するAD変換
部と、前記ディジタル映像信号と前記ディジタル映像信
号を1ライン遅延させた1ライン遅延信号とを上下加算
する第1の上下画素加算部と、前記1ライン遅延信号を
1画素分ずらした1画素遅延信号と前記ディジタル映像
信号とを上下加算する第2の上下画素加算部と、前記そ
れぞれ上下加算した信号の隣接画素の差分をとり、同時
化することにより2R−G成分と2B−G成分を抽出す
る信号処理部とを備えた撮像装置。 - 【請求項7】 前記信号処理部において、原色信号であ
るR(赤)、G(緑)、B(青)信号を生成する手段を
備えたことを特徴とする請求項4、5または6記載の撮
像装置。 - 【請求項8】 前記信号処理部において、輝度信号Y
と、2種類の色差信号R−Y、B−Yとを生成する手段
を備えたことを特徴とする請求項4、5、6または7記
載の撮像装置。 - 【請求項9】 前記R、G、B信号、または前記輝度信
号Yと前記色差信号R−Y、B−Yを記録する媒体を備
えたことを特徴とする請求項7または8記載の撮像装
置。 - 【請求項10】 前記R、G、B信号、または前記輝度
信号Yと前記色差信号R−Y、B−Yを伝送する伝送部
を備えたことを特徴とする請求項7または8記載の撮像
装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10210098A JP2000050288A (ja) | 1998-07-24 | 1998-07-24 | 映像信号処理方法および撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10210098A JP2000050288A (ja) | 1998-07-24 | 1998-07-24 | 映像信号処理方法および撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000050288A true JP2000050288A (ja) | 2000-02-18 |
Family
ID=16583792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10210098A Pending JP2000050288A (ja) | 1998-07-24 | 1998-07-24 | 映像信号処理方法および撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000050288A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012017968A1 (ja) * | 2010-08-06 | 2012-02-09 | 株式会社日立国際電気 | 撮像方法および撮像装置 |
-
1998
- 1998-07-24 JP JP10210098A patent/JP2000050288A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012017968A1 (ja) * | 2010-08-06 | 2012-02-09 | 株式会社日立国際電気 | 撮像方法および撮像装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4372955B2 (ja) | 固体撮像装置および信号処理方法 | |
US20060050956A1 (en) | Signal processing apparatus, signal processing method, and signal processing program | |
JP2004064165A (ja) | 撮像装置および撮像方法 | |
JP4212134B2 (ja) | 画像信号処理装置 | |
JP3854662B2 (ja) | 撮像装置 | |
JP4294810B2 (ja) | 固体撮像装置および信号読出し方法 | |
JP4317117B2 (ja) | 固体撮像装置および撮像方法 | |
JP3967853B2 (ja) | 固体撮像装置および信号読出し方法 | |
JP3674420B2 (ja) | 固体撮像装置 | |
JP3988760B2 (ja) | 固体撮像装置 | |
JP3909930B2 (ja) | 単板カラー固体撮像装置 | |
JP3967392B2 (ja) | 撮像装置 | |
JP2000050288A (ja) | 映像信号処理方法および撮像装置 | |
JPH09312848A (ja) | 撮像装置 | |
JP3535623B2 (ja) | カラー撮像装置 | |
JP3925479B2 (ja) | 撮像装置 | |
JP2004350319A (ja) | 画像信号処理方法およびその方法を用いた画像信号処理装置およびその方法の手順を表すプログラムコードを記録した記録媒体 | |
JP2001352486A (ja) | 撮像装置 | |
JP5066476B2 (ja) | 撮像装置 | |
JP3728075B2 (ja) | 撮像方法及び撮像装置 | |
JP2000261817A (ja) | 撮像装置 | |
JP3239029B2 (ja) | 固体撮像装置 | |
JP3849230B2 (ja) | 信号処理装置 | |
KR0137232B1 (ko) | 정지화상기록 디지탈 카메라 | |
JP2940820B2 (ja) | 単板式カラーカメラおよび色信号の分離方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081115 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091115 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091115 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101115 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111115 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121115 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131115 Year of fee payment: 11 |
|
LAPS | Cancellation because of no payment of annual fees |