JP2002300591A - 半導体集積回路および撮像システム - Google Patents

半導体集積回路および撮像システム

Info

Publication number
JP2002300591A
JP2002300591A JP2001098750A JP2001098750A JP2002300591A JP 2002300591 A JP2002300591 A JP 2002300591A JP 2001098750 A JP2001098750 A JP 2001098750A JP 2001098750 A JP2001098750 A JP 2001098750A JP 2002300591 A JP2002300591 A JP 2002300591A
Authority
JP
Japan
Prior art keywords
code
circuit
conversion
output
converting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001098750A
Other languages
English (en)
Other versions
JP4574045B2 (ja
Inventor
Yasutoshi Aihara
康敏 相原
Hiroki Nakajima
広樹 中島
Shigeki Imaizumi
栄亀 今泉
Tatsuji Matsuura
達治 松浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Renesas Eastern Japan Semiconductor Inc
Hitachi Solutions Technology Ltd
Original Assignee
Hitachi Ltd
Hitachi ULSI Systems Co Ltd
Hitachi Tohbu Semiconductor Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, Hitachi ULSI Systems Co Ltd, Hitachi Tohbu Semiconductor Ltd filed Critical Hitachi Ltd
Priority to JP2001098750A priority Critical patent/JP4574045B2/ja
Priority to US10/080,586 priority patent/US6781107B2/en
Publication of JP2002300591A publication Critical patent/JP2002300591A/ja
Priority to US10/816,925 priority patent/US7122775B2/en
Priority to US10/817,042 priority patent/US6841770B2/en
Priority to US11/000,415 priority patent/US7351946B2/en
Application granted granted Critical
Publication of JP4574045B2 publication Critical patent/JP4574045B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/617Noise processing, e.g. detecting, correcting, reducing or removing noise for reducing electromagnetic interference, e.g. clocking noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/709Circuitry for control of the power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Analogue/Digital Conversion (AREA)

Abstract

(57)【要約】 【課題】 従来の撮像システムにおいては、AD変換回
路が画像データを出力する際に発生した電源ノイズが、
プリント配線基板上の電源ライン(Vccラインおよび
グランドライン)を介してCCD側に回り込んだり、A
D変換用LSI内部で電源ラインや半導体基板を通して
出力回路側から入力端子側へ回り込んで表示画面にノイ
ズが現われるという課題があった。 【解決手段】 AD変換されたディジタル画像データを
出力する前に差分符号化し、それをグレイコードに変換
もしくはある固定値を加算するような所定のコード変換
を行なってから出力するようにした。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、CCD(チャージ
・カップルド・デバイス)のような撮像素子を用いた撮
像システムにおけるノイズ低減技術さらにはディジタル
画像データの伝達によって生じるノイズをコード変換方
式を用いて低減する技術に関し、例えば電子スチールカ
メラ(いわゆるディジタルカメラ)やビデオカメラなど
に利用して有効な技術に関する。
【0002】
【従来の技術】図10に示すように、CCD10から出
力されたアナログ映像信号をAD変換用LSI(大規模
半導体集積回路)20でディジタル信号に変換してDS
P(ディジタル・シグナル・プロセッサ)30で画像処
理を行ない、ディスプレイ80に表示させるようにした
電子スチールカメラやビデオカメラのような撮像システ
ムがある。ここで、CCD10やDSP30もAD変換
用LSI20と同様にそれぞれ半導体集積回路化され、
これらの半導体集積回路がプリント配線基板100上に
実装されて撮像システムが構成される。
【0003】
【発明が解決しようとする課題】本発明者らは、かかる
撮像システムにおいて表示画面に現われるノイズの原因
について詳細な検討を行なった。その結果、AD変換さ
れた画像データをDSP30へ伝達すべくAD変換用L
SI20が画像データを出力する際に発生した電源ノイ
ズが、プリント配線基板上の電源ライン(Vccライン
およびグランドライン)を介してCCD側に回り込んで
AD変換用LSIへ入力する映像信号にのったり、AD
変換用LSI内部で電源ラインや半導体基板を通して出
力回路側から入力端子側へ回り込むことが主な原因であ
ることを見出した。
【0004】もともとLSIの出力回路は外部のプリン
ト配線等チップ内部に比べて大きな負荷を駆動する必要
があるため、出力用素子もAD変換回路などの内部回路
を構成する素子に比べて大きなサイズ(10倍以上)の
ものが使用され、比較的多くの電流が流れるように設計
されるのが一般的であり、出力信号の切り替わりの際に
大きな貫通電流が流れて電源にノイズがのると考えられ
る。また、出力回路で発生したノイズは基板を通して入
力回路以外の内部回路にも伝播するが、AD変換用LS
Iでは入力アナログ信号を増幅するPGA(プログラマ
ブル・ゲイン・アンプ)のような増幅回路を有するた
め、入力側に伝播したノイズも映像信号と共に増幅され
てしまい表示画質の低下につながることとなる。
【0005】そこで、出力回路の動作に伴なうノイズを
減らすため、AD変換用LSIの電源端子に比較的大き
なパスコンデンサを接続することでノイズ対策を行なっ
てみた。しかしながら、大きなパスコンデンサを設ける
ことはチップサイズを大きくしたり、システムの実装効
率を低下させる要因となるとともに、パスコンデンサの
みでは充分にノイズを除去することができないことが分
かった。
【0006】従って、ノイズを低減するにはAD変換用
LSI20から出力されるディジタル画像データの切替
えに伴なう出力回路での貫通電流を減らすことが有効で
あるとの結論に達した。ところで、出力回路での貫通電
流を減らすには電源電圧を下げたり、出力回路の駆動力
を下げることも一つの対策であるが、そのようにすると
信号の伝達速度が低下してシステムの性能が要求を満た
すことができなくなってしまうことがある。
【0007】この発明は、出力が切り替わる時に出力回
路に流れる貫通電流を減らして発生するノイズを少なく
できる半導体集積回路を提供することを目的とする。
【0008】この発明の他の目的は、信号の伝達速度を
低下させることなく、CCDのような固体撮像素子から
出力されるアナログ映像信号をディジタル画像データに
変換しそれを出力する出力回路で発生するノイズを低減
して、画質を向上させることが可能な撮像システムを提
供することにある。
【0009】この発明の前記ならびにそのほかの目的と
新規な特徴については、本明細書の記述および添付図面
から明らかになるであろう。
【0010】
【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を説明すれば、下記のと
おりである。
【0011】すなわち、AD変換されたディジタル画像
データを出力する前に差分符号化し、それをグレイコー
ドに変換もしくはある固定値を加算するような所定のコ
ード変換を行なってから出力するようにした。より具体
的には、撮像素子から出力されるアナログカラー映像信
号をAD変換回路によりAD変換した後、変換後の同一
色に関わる隣接する画素のコード同士の差分をとり、該
差分化出力コードを前後のコード間で切り替わりビット
数の少ないコードに変換するようにしたものである。か
かるコード変換を行なうことで、出力されるディジタル
信号が切り換わる際に変化するビットの数が少なくな
り、それによって出力回路での貫通電流が減少し、出力
の変化に伴なうノイズを低減することができるようにな
る。
【0012】また、本発明は、撮像素子から出力される
アナログカラー映像信号を増幅する増幅回路と、増幅さ
れた信号をディジタル信号に変換するAD変換回路と、
AD変換後の同一色に関わる隣接する画素のコード同士
の差分をとる差分化手段と、該差分化手段の出力をコー
ド変換するコード変換手段とを設けるようにしたもので
ある。これにより、該半導体集積回路から出力されるデ
ィジタル信号が切り換わる際に変化するビットの数が少
なくなり、それによって出力回路での貫通電流が減少す
るようになる。
【0013】上記コード変換手段としては、入力バイナ
リコードをグレイコードに変化するバイナリ−グレイコ
ード変換回路を用いるのが望ましい。これにより、出力
されるディジタル信号が切り換わる際に変化するビット
の数が確実に少なくなる。
【0014】また、上記コード変換手段として、入力コ
ードに固定値を加算もしくは減算する回路を用いるよう
にしても良い。これにより、出力されるディジタル信号
が切り換わる際に変化するビットの数をかなり少なくす
ることができる。この理由は、次の原理による。すなわ
ち、ディジタル画像データの差分化された成分は0、+
1、−1など0の近傍のデータに集中する。そのため、
バイナリコードではオール“0”であるのに対し、−1
はオール“1”であるから差分データが0から−1にま
たはその逆に変化すると全ビットが変化し、雑音を発生
させてしまう。そこで、入力コードに固定値を加算もし
くは減算することにより、オール“0”からオール
“1”またはその逆の変化を発生しないようにするもの
である。
【0015】さらに、上記差分化手段は、上記AD変換
回路の出力コードを遅延させる遅延回路と、該遅延回路
で遅延されたコードと入力コードとの差分をとる減算手
段とにより構成し、上記遅延回路は入力映像信号の色配
列に応じて遅延時間が可変に構成する。これにより、使
用するフィルタの色配列が異なっていても、遅延回路の
遅延時間を変更することで容易に対応することができ
る。
【0016】また、本発明に係る撮像システムは、色フ
ィルタを備えた撮像素子と、前記撮像素子から出力され
るアナログカラー映像信号を増幅する増幅回路と、増幅
された信号をディジタル信号に変換するAD変換回路
と、AD変換後の同一色に関わる隣接する画素のコード
同士の差分をとる差分化手段と、該差分化手段の出力を
コード変換する第1コード変換手段とを備えた半導体集
積回路と、前記半導体集積回路から出力されるコードを
変換する第2コード変換手段および画像処理回路を備え
画像処理用半導体集積回路とにより構成するようにした
ものである。
【0017】上記した手段によれば、AD変換回路を備
えた半導体集積回路の出力回路での貫通電流が減少し、
出力の変化に伴なうノイズを抑制することができ、その
結果、表示画質を向上させることができる。
【0018】上記第1コード変換手段はバイナリコード
をグレイコードに変換するバイナリ−グレイコード変換
回路を使用し、上記第2コード変換手段はグレイコード
をバイナリコードに変換するグレイ−バイナリコード変
換回路を使用するのが望ましい。これにより、出力され
るディジタル信号が切り換わる際に変化するビットの数
が確実に少なくなり、表示画質を向上させることができ
る。
【0019】また、上記コード変換手段として、入力コ
ードに固定値を加算もしくは減算する回路を用いるよう
にしても良い。これにより、出力されるディジタル信号
が切り換わる際に変化するビットの数をかなり少なくす
ることができ、表示画質を向上させることができる。
【0020】さらに、上記差分化手段は、上記AD変換
回路の出力コードを遅延させる遅延回路と、該遅延回路
で遅延されたコードと入力コードとの差分をとる減算手
段とにより構成し、上記遅延回路は入力映像信号の色配
列に応じて遅延時間が可変に構成する。これにより、使
用するフィルタの色配列が異なっていても、遅延回路の
遅延時間を変更することで容易に対応することができ
る。
【0021】また、ディジタル画像データを記憶する記
憶手段を設けるとともに、上記画像処理用半導体集積回
路には、上記第2コード変換手段により変換された後の
コードを圧縮するデータ圧縮回路および圧縮データを伸
長するデータ伸長回路を設け、上記データ圧縮回路によ
り圧縮されたデータが上記記憶手段に記憶されるように
構成する。これにより、画像データの互換性を保持しつ
つ少ない記憶容量の記憶手段により多くの画像データを
保存することができるようになる。
【0022】
【発明の実施の形態】以下、本発明の好適な実施例を図
面に基づいて説明する。
【0023】図1には、本発明を適用した撮像システム
に用いられるAD変換用LSIの概略構成例を示す。
【0024】図1に示されているように、この実施例の
AD変換用LSI20は、CCD10から出力され入力
端子INに入力されたアナログ映像信号をサンプリング
する相関二重サンプリング回路(CDS)21と、サン
プリングされた信号を増幅する利得可変なプログラマブ
ルゲインアンプ(PGA)22と、増幅されたアナログ
信号をディジタル信号に変換するAD変換回路(AD
C)23と、AD変換されたディジタル画像データを差
分符号化しさらにそれをグレイコードに変換する符号化
&コード変換回路24と、コード変換された信号を出力
端子OUTよりチップ外部へ出力する出力バッファ25
とから構成されている。
【0025】AD変換用LSI20を構成する各回路ブ
ロック21〜25のうち符号化&コード変換回路24を
除く他の回路は、従来のAD変換用LSI20において
も設けられていたものである。つまり、AD変換回路2
3と出力バッファ25との間に符号化&コード変換回路
24を設けたことが本実施例の新規な点である。
【0026】なお、この実施例のAD変換用LSI20
に設けられる回路は、図1に示されているものがすべて
ではない。図1には示されていないが、このLSIチッ
プ内には上記アンプ(PGA)22のゲインを制御する
信号などを生成したりチップ全体の動作を制御したりす
る制御回路や、CDS21へサンプリングタイミングを
与えるクロック信号やAD変換回路23および符号化&
コード変換回路24の動作にそれぞれ必要なクロック信
号を生成するクロック生成回路もしくは外部から供給さ
れるクロック信号をチップ内部の回路に分配するクロッ
クバッファなどが設けられる。
【0027】また、この実施例では、上記符号化&コー
ド変換回路24を設けることにより後述のように出力バ
ッファ25における貫通電流を減らしノイズを低減でき
るようにされているが、さらにノイズを低減するために
は、チップの電源端子にパスコンデンサを接続するのが
望ましい。ただし、本発明を適用することによりパスコ
ンデンサとして容量値の小さなものを使用することがで
きるので実装面積を小さくすることができる。
【0028】図2には、上記符号化&コード変換回路2
4の概略構成が示されている。図2に示されているよう
に、符号化&コード変換回路24はAD変換回路23か
ら出力されたデータを所定のクロック周期だけ遅延させ
る遅延回路41と、AD変換回路23から出力されたデ
ータと遅延回路41で遅延されたデータとの差分をとる
差分符号化回路42と、差分符号化されたバイナリデー
タをグレイコードに変換するコード変換回路43とから
構成される。
【0029】差分符号化回路42は、差分をとった際に
発生したキャリービットを切り捨てるように構成されて
いるキャリービットを切り捨てることで、差分をとる前
のデータのビット数と差分をとった後のデータのビット
数が同一となり、データの取り扱いが容易になる。表1
に、2ビットの場合を例にとって、データ(被減算値
a)とデータ(減算値b)の差分をとってキャリーを切
り捨てた場合の演算結果c(=a−b)と、該演算結果
cと減算値bとから加算により被減算値aを算出した結
果d(=c+b)を示す。なお、本実施例においては、
後述の差分復号化の際に行なわれる加算においても、発
生したキャリービットは切り捨てられる。これにより、
差分をとる前のデータのビット数と差分をとった後のデ
ータのビット数が同一となる。
【0030】
【表1】
【0031】表1においては、第1列目のコード(a)
と第4列目のコード(d)とは一致している。このこと
より、差分符号化の際および差分復号化の際にそれぞれ
キャリーの切捨てを行なっても元のコードを正確に復元
できることが分かる。なお、表1には2ビットのコード
の例を示したが3ビット以上のコードにおいても同様に
キャリーを切り捨てても再現性がある。
【0032】コード変換回路43は、例えば図3に示す
ように変換するコードのビット数よりも1つ少ない数の
イクスクルーシブORゲートG1〜G7で構成され、最
上ビットを除き隣接するビット同士Di,Di+1(i
=0〜6)の排他的論理和をとったものが変換後のビッ
トDi’として出力される。変換前の最上位のビットD
7はそのまま変換後の最上位ビットD7’として出力さ
れる。図3は、一例として8ビットのバイナリコードを
グレイコードに変換する場合の回路例であり、同様の仕
組みにより10ビットや12ビットなど任意のビット数
のコード変換回路を構成することができる。
【0033】次に、上記差分符号化回路42による差分
符号化処理とコード変換回路43によるバイナリグレイ
コード変換の具体的な手順を、図5を参照しながら説明
する。なお、ここで説明する手順は、3原色であるR
(赤),G(緑),B(青)が図4(A)に示すように
配置されている色フィルタを有し、図4(A)に矢印
〜で示すように各ラインを上から順に横方向にスキャ
ンするように構成されたCCDから出力された映像信号
が入力される場合である。この場合、図2の遅延回路4
1における遅延量は2クロック周期すなわちCDS21
における入力信号のサンプリングクロックの2周期分の
遅延とされる。
【0034】図5の(A)欄に示されているように、R
→G→R→G→R→G→R→GのようにR(赤)の信号
とG(緑)の信号が交互に入力される場合を考える。こ
のとき各信号をAD変換した値が10進数で図5の
(B)欄のように変化したとする。これを実際に出力さ
れるバイナリコードで現わすと、図5(C)欄のように
なる。符号化&コード変換回路24を有しない従来のA
D変換用LSIからはこのコードがそのまま出力されて
いた。図5(C)欄のコードの隣接するもの同士を比較
すると明らかなように、各コードが次のコードに変化す
るときの切り替わりビット数は、図5の(D)欄のよう
になる。
【0035】本実施例のコード変換回路24に図5
(C)に示すようなバイナリコードが入力されたときに
差分符号化回路42から出力される値を、10進数で示
すと図5(E)のように、またバイナリコードで示すと
図5(F)のようになる。ここで、差分は隣接する画素
の同一の色同士、つまり図5の(B)欄で矢印で示すよ
うに一つおきの値同士の差分である。そして、図5
(F)の差分バイナリコードをグレイコードに変換する
と図5(G)のようになる。
【0036】図5(G)欄のコードの隣接するもの同士
を比較すると明らかなように、各コードが次のコードに
変化するときの切り替わりビット数は、図5の(H)の
ようになる。図5の(D)欄と(H)欄とを比較する
と、従来方式に比べて本実施例の方が、切り替わりビッ
ト数が大幅に減少することが分かる。
【0037】なお、映像信号においては隣接する画素間
での急激な変化は少ないので、AD変換後のコードを直
ちにグレイコードに変換しても同一色同士ではビット変
化量は少ない。本実施例においてAD変換後のコードを
直ちにグレイコードに変換せずに差分をとっているの
は、映像信号においては隣接する画素同士では変化が少
なくても、図4のような色要素配列のフィルタを通した
CCDの出力におけるひとつの画素の異色間のコード差
は比較的大きいことが多いためである(例外として撮影
対象が色彩の変化に乏しい灰色の場合には、異色間のコ
ード差も小さくなる)。
【0038】本実施例のように差分をとってグレイコー
ドに変換すれば、色が異なっても差分同士にはそれほど
大きな差異がないので、例えばR(赤)成分の画像デー
タの出力からG(緑)成分の画像データの出力へ切り替
わる際に変化するビットの数も少なくなる。
【0039】ただし、単に差分をとるようにしたので
は、1つの画面では差分が正になる場合と負になる場合
がほぼ同一の割合で発生すると予想されるが、2の補数
で表わされるバイナリコードでは正から負に変わるとき
はオール“0”からオール“1”へ、また負から正へ変
わるときはオール“1”からオール“0”にコードが大
きく変化してしまう。そこで、この実施例では、バイナ
リコードをグレイコードに変換することにより、正から
負あるいは負から正へ変わるときにコードが大きく変化
しないようにしている。
【0040】表2に、2の補数で表わされるバイナリコ
ードとグレイコードとの関係を、コードが3ビットの場
合を例にとって示す。
【0041】
【表2】
【0042】表2から分かるように、3ビットのバイナ
リコードでは10進数の「0」から「−1」に変化する
ときに「000」から「111」に変化する。4ビット
や8ビット、あるいはそれ以上のビット数のコードでも
同様にオール「0」からオール「1」に変化する。この
場合、切り替わるビットは全ビット(3個)である。一
方、グレイコードでは、例えば3ビットの場合には10
進数の「0」から「−1」に変化するときに「000」
から「100」に変化するので、この場合、切り替わる
ビットはたった1ビットである。従って、出力バッファ
で出力が切り替わる際に流れる貫通電流もバイナリコー
ドを出力する場合よりもグレイコードを出力する場合の
方が大幅に少なくなる。
【0043】図6には、一例として人間の手のひらをC
CDで撮影した場合における従来方式によるAD変換後
のコードの切り替わりビット数を調べた結果(A)と、
本実施例を適用して差分符号化後にグレイコード変換し
た場合における切り替わりビット数を調べた結果(B)
をグラフで示す。
【0044】同図より、従来方式(A)ではコードの切
り替わりビット数は最大「8」個で最も出現頻度が高い
ビット数は「4」個であるのに対して、本実施例を適用
した場合には切り替わりビット数は最大「6」個で最も
出現頻度が高いビット数は「2」個であり、本実施例の
方が従来方式に比べて切り替わりビット数が少ないこと
が分かる。そして、このように切り替わりビット数が少
なければそのようなコードを出力するときに出力バッフ
ァに流れる貫通電流を減らすことができ、電源ノイズや
基板を通して伝わるノイズも減らすことができる。
【0045】なお、図2に示されている差分符号化およ
びグレイコード変換方式は、図4(B)のようにCy
(シアン),Ye(イエロー),Mg(マゼンタ),G
(グリーン)の4色が配列されてなる補色フィルタを用
いる場合や3原色R(赤),G(緑),B(青)が横一
列に配列されてなるフィルタを用いる場合にも適用する
ことができる。このうち補色フィルタを用いる場合で
も、同一行に2種類の色要素が交互に配列されているフ
ィルタであれば、遅延回路41における遅延量は前記実
施例と同様に2クロック周期とすればよい。
【0046】一方、図示しないが3原色フィルタでも3
つの色要素が順に繰返し横一列に配列されてなる3原色
フィルタを用いる場合には遅延回路41における遅延量
は3クロック周期とすれば良い。このように使用するフ
ィルタに応じて遅延回路41における遅延量は異なるの
で、図2の実施例における遅延回路41を可変遅延回路
で構成するとともに、この可変遅延回路に対応して遅延
量(遅延クロック周期)を指定するためのレジスタを設
けて、このレジスタの設定値を書き換えることで遅延回
路41における遅延量を変更できるように構成するよう
にしても良い。
【0047】次に、本発明の第2の実施例を説明する。
第2の実施例は、第1の実施例のように差分符号化した
後グレイコードに変換するのではなく、差分符号化した
後にあるバイナリコードで表現された固定値を加算(減
算も可)するようにしたものである。表2の右側の列に
差分符号化した後に固定値として「10進数表示で5
(バイナリコードでは“101”)」を加算した場合の
コード(以下、オフセットバイナリコードと称する)を
示す。
【0048】表2より差分符号化後に固定値として
「5」を加算した場合には、10進数の「0」から「−
1」に変化するときにバイナリコードでは「101」か
ら「100」に変化するので、この場合、切り替わるビ
ットはたった1ビットであることが分かる。ただし、こ
の方式の場合、10進数の「2」から「3」に変化する
ときに「111」から「000」に変化するので、この
場合、切り替わるビット数は3個となる。しかし、入力
映像信号すなわち撮影対象によっては隣接する画素間の
信号の変化の量が「−1」〜「+2」の範囲に入る場合
(明度差の小さな映像)もある。このような場合、第2
の実施例を適用したとしても出力の切り替わりの際に変
化するビットの数を減らし、出力の変化に伴なうノイズ
を低減することができる。
【0049】表2にはコードが3ビットの場合を示した
が、ビット数がもっと多くなれば加算する固定値を適当
に選択することで、出力データが切り替わる際に変化す
るビットの数を1以下に抑えることができるオフセット
バイナリコードの範囲を広くすることができる。従っ
て、差分符号化後にオフセットバイナリコードに変換す
るようにしても、第1の実施例ほどではないが、出力さ
れるディジタル信号が切り換わる際に変化するビットの
数をかなり少なくすることができ、それによって出力回
路での貫通電流を減少させ、出力の変化に伴なうノイズ
を低減することができるようになる。
【0050】図7には上記AD変換用LSIから出力さ
れる画像データを受けてデータ処理を行なうDSP(デ
ィジタル・シグナル・プロセッサ)30の概略構成が示
されている。この実施例のDSP30は、AD変換用L
SI20から出力されるグレイコード変換された画像デ
ータを受けてこれを元のバイナリコードに逆変換しさら
に差分復号を行なうグレイ−バイナリ差分復号回路31
と、復号された画像データに対して例えば色補正や画像
合成などの画像処理を行なう画像処理回路32と、復号
された画像データを圧縮して外部のメモリ50に格納し
たりメモリ50から読み出された画像データを伸長した
りする圧縮/伸長回路33などにより構成されている。
メモリ50は、RAMなどの揮発性半導体集メモリの
他、スマートメディアやコンパクトフラッシュ(登録商
標)などの不揮発性メモリが用いられる。
【0051】なお、画像処理回路32で画像処理される
前の画像データを圧縮する代わりに、画像処理された後
の画像データを圧縮/伸長回路33で圧縮して外部のメ
モリ50に格納するように構成することも可能である。
この実施例においては、上記DSP30で画像処理され
た画像データは外部のDA変換回路60へ出力されてア
ナログ信号に変換され、これがフィルタ70を通してデ
ィスプレイ80に供給されて表示されるようにされる。
図7のDSP30は機能ブロックで表わしたものであ
り、実際のハードウェアでは、例えば乗算器や加算器な
どの演算器とデータを保持するレジスタ、それらを処理
内容に応じて所定の順序で動作させる制御回路などから
構成される。
【0052】図8には、上記DSP30に設けられるグ
レイ−バイナリ差分復号回路31の構成が示されてい
る。グレイ−バイナリ差分復号回路31は、例えばデー
タが3ビットの場合には表2の3列目に示されているよ
うなグレイコードを2列目に示されているようなバイナ
リコードに変換するグレイ−バイナリ変換回路311
と、図2に示されている遅延回路41における遅延に対
応して所定のクロック周期だけコード信号を遅延させる
遅延回路312と、グレイ−バイナリ変換回路311で
変換されたコードに遅延回路312で遅延されたコード
を加算することで差分復号化したデータを生成する加算
回路313とから構成されている。なお、加算回路31
3は加算のときに発生したキャリーを切り捨てるように
構成されている。このように差分復号化の際にキャリー
の切捨てを行なうように構成されていても、表1を用い
て説明したように、元のコードを正確に復元することが
できる。
【0053】図9には、上記グレイ−バイナリ変換回路
311の具体的な構成例が示されている。同図に示され
ているように、グレイ−バイナリ変換回路311は、変
換するコードのビット数よりも1つ少ない数のイクスク
ルーシブORゲートG11〜G17で構成され、最上位
を除く各入力ビットDi’とその1つ上位ビット側の変
換後ビット(イクスクルーシブORゲートの出力)Di
+1との排他的論理和をとることでバイナリコードに変
換される。最上位のビットD7’はそのまま変換後の最
上位ビットD7として出力される。図9は、図3に対応
して8ビットのグレイコードをバイナリコードに変換す
る回路の例を示したものであり、同様の仕組みにより1
0ビットや12ビットなど任意のビット数のコード変換
回路を構成することができる。
【0054】なお、図8および図9は送られてくるコー
ドがグレイコードの場合の変換回路の例であり、送られ
てくるコードが表2の4列目に示されているようなオフ
セットバイナリコードである場合には、入力コードから
ある固定値を引き算(あるいは加算)する処理を行なう
回路とされる。
【0055】以上本発明者によってなされた発明を実施
例に基づき具体的に説明したが、本発明は上記実施例に
限定されるものではなく、その要旨を逸脱しない範囲で
種々変更可能であることはいうまでもない。例えば、上
記実施例においては、差分符号化した後に行なうコード
変換の例としてグレイコードに変換する場合とオフセッ
トバイナリコードに変換する場合とを説明したが、コー
ド変換はこれらに限定されるものでなく、差分を示すコ
ードが切り替わる際に変化するビットの数が少ない方式
であればどのようなコード変換を利用するものであって
もよい。
【0056】また、前記実施例においては、CDS(相
関二重サンプリング回路)を搭載したAD変換用LSI
について説明したが、CDSは省略しても良いし別チッ
プで構成されていても良い。前記実施例においては、C
CDを用いた撮像システムにおけるAD変換用LSIに
ついて説明したが、CMOSイメージセンサなどCCD
以外の撮像素子を用いた撮像システムにおけるAD変換
用LSIについても同様に適用することができる。
【0057】以上の説明では主として本発明者によって
なされた発明をその背景となった利用分野である撮像シ
ステムに適用した場合について説明したが、本発明はそ
れに限定されるものでなく、例えば音声信号を処理する
録音システムなどアナログ信号をディジタルデータに変
換して処理するシステムに広く利用することができる。
【0058】
【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば下記
のとおりである。
【0059】すなわち、信号の伝達速度を低下させるこ
となく、撮像素子から出力されるアナログ映像信号をデ
ィジタル画像データに変換するAD変換用LSIの出力
回路で発生するノイズを低減して、画質を向上させるこ
とができるという効果がある。
【図面の簡単な説明】
【図1】本発明を適用した撮像システムに用いられるA
D変換用LSIの概略構成例を示すブロック図である。
【図2】符号化&コード変換回路の概略構成を示すブロ
ック図である。
【図3】バイナリ−グレイ変換回路の概略構成を示すブ
ロック図である。
【図4】電子カメラに用いられるフィルタの構成例を示
す配置図である。
【図5】実施例のAD変換回路における差分符号化とバ
イナリ−グレイ変換の具体例を示すコード変換説明図で
ある。
【図6】従来の撮像システムにおけるAD変換後の画像
データの切り替わりビット数の頻度と本発明を適用した
システムにおけるAD変換後の画像データの切り替わり
ビット数の頻度を示すグラフである。
【図7】AD変換後の画像データを処理するDSPの構
成例を示すブロック図ある。
【図8】DSPに設けられるグレイバイナリ差分復号回
路の構成例を示すブロック図である。
【図9】グレイ−バイナリ変換回路の具体的な構成例を
示すブロック図である。
【図10】一般的な撮像システムの概略構成を示すブロ
ック図である。
【符号の説明】
10 CCD 20 AD変換用LSI 21 相関二重サンプリング回路(CDS) 22 プログラマブルゲインアンプ(PGA) 23 AD変換回路(ADC) 24 符号化&コード変換回路 25 出力バッファ 30 DSP(ディジタル・シグナル・プロセッサ) 31 グレイバイナリ差分復号回路 32 画像処理回路 33 圧縮/伸長回路 41 遅延回路 42 差分符号化回路 43 コード変換回路 50 メモリ 60 DA変換器 70 フィルタ 80 ディスプレイ 100 プリント配線基板
───────────────────────────────────────────────────── フロントページの続き (72)発明者 相原 康敏 東京都小平市上水本町五丁目20番1号 株 式会社日立製作所半導体グループ内 (72)発明者 中島 広樹 群馬県高崎市西横手町1番地1 日立東部 セミコンダクタ株式会社内 (72)発明者 今泉 栄亀 東京都小平市上水本町5丁目22番1号 株 式会社日立超エル・エス・アイ・システム ズ内 (72)発明者 松浦 達治 東京都小平市上水本町五丁目20番1号 株 式会社日立製作所半導体グループ内 Fターム(参考) 5C024 BX01 CX03 DX01 GY01 HX01 HX03 HX17 HX23 HX27 HX29 5C065 AA03 BB22 CC01 DD02 GG12 GG15 GG18 GG20 GG50

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 撮像素子から出力されるアナログカラー
    映像信号を増幅する増幅回路と、増幅された信号をディ
    ジタル信号に変換するAD変換回路と、AD変換後の同
    一色に関わる隣接する画素のコード同士の差分をとる差
    分化手段と、該差分化手段の出力をコード変換するコー
    ド変換手段とを備えたことを特徴とする半導体集積回
    路。
  2. 【請求項2】 上記コード変換手段は、入力バイナリコ
    ードをグレイコードに変換するバイナリ−グレイコード
    変換回路であることを特徴とする請求項1に記載の半導
    体集積回路。
  3. 【請求項3】 上記コード変換手段は、入力コードに固
    定値を加算もしくは減算する回路からなることを特徴と
    する請求項1に記載の半導体集積回路。
  4. 【請求項4】 上記差分化手段は、上記AD変換回路の
    出力コードを遅延させる遅延回路と、該遅延回路で遅延
    されたコードと入力コードとの差分をとる減算手段とに
    より構成され、上記遅延回路は入力映像信号の色配列に
    応じて遅延時間が可変に構成されていることを特徴とす
    る請求項1〜3のいずれかに記載の半導体集積回路。
  5. 【請求項5】 色フィルタを備えた撮像素子と、 前記撮像素子から出力されるアナログカラー映像信号を
    増幅する増幅回路と、増幅された信号をディジタル信号
    に変換するAD変換回路と、AD変換後の同一色に関わ
    る隣接する画素のコード同士の差分をとる差分化手段
    と、該差分化手段の出力をコード変換する第1コード変
    換手段とを備えた半導体集積回路と、 前記半導体集積回路から出力されるコードを変換する第
    2コード変換手段および画像処理回路を備え画像処理用
    半導体集積回路と、を有することを特徴とする撮像シス
    テム。
  6. 【請求項6】 上記第1コード変換手段はバイナリコー
    ドをグレイコードに変換するバイナリ−グレイコード変
    換回路であり、上記第2コード変換手段はグレイコード
    をバイナリコードに変換するグレイ−バイナリコード変
    換回路であることを特徴とする請求項5に記載の撮像シ
    ステム。
  7. 【請求項7】 上記第1コード変換手段は、入力コード
    に固定値を加算もしくは減算する回路からなり、上記第
    2コード変換手段は入力コードから固定値を減算もしく
    は加算する回路からなることを特徴とする請求項5に記
    載の撮像システム。
  8. 【請求項8】 上記差分化手段は、上記AD変換回路の
    出力コードを遅延させる遅延回路と、該遅延回路で遅延
    されたコードと入力コードとの差分をとる減算手段とに
    より構成され、上記遅延回路は入力映像信号の色配列に
    応じて遅延時間が可変に構成されていることを特徴とす
    る請求項5〜7のいずれかに記載の撮像システム。
  9. 【請求項9】 ディジタル画像データを記憶する記憶手
    段を備え、上記画像処理用半導体集積回路は、上記第2
    コード変換手段により変換された後のコードを圧縮する
    データ圧縮回路および圧縮データを伸長するデータ伸長
    回路を備え、上記データ圧縮回路により圧縮されたデー
    タが上記記憶手段に記憶されるように構成されているこ
    とを特徴とする請求項5〜8のいずれかに記載の撮像シ
    ステム。
  10. 【請求項10】 撮像素子から出力されるアナログカラ
    ー映像信号をディジタル信号に変換する信号変換方法で
    あって、映像信号をAD変換回路によりAD変換した
    後、変換後の同一色に関わる隣接する画素のコード同士
    の差分をとり、該差分化出力コードを前後のコード間で
    切り替わるビット数の少ないコードに変換するようにし
    たことを特徴とする信号変換方法。
JP2001098750A 2001-03-30 2001-03-30 半導体集積回路および撮像システム Expired - Fee Related JP4574045B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2001098750A JP4574045B2 (ja) 2001-03-30 2001-03-30 半導体集積回路および撮像システム
US10/080,586 US6781107B2 (en) 2001-03-30 2002-02-25 Semiconductor integrated circuit device and imaging system
US10/816,925 US7122775B2 (en) 2001-03-30 2004-04-05 Semiconductor integrated circuit device and imaging system
US10/817,042 US6841770B2 (en) 2001-03-30 2004-04-05 Semiconductor integrated circuit device and imaging system
US11/000,415 US7351946B2 (en) 2001-03-30 2004-12-01 Semiconductor integrated circuit device and imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001098750A JP4574045B2 (ja) 2001-03-30 2001-03-30 半導体集積回路および撮像システム

Publications (2)

Publication Number Publication Date
JP2002300591A true JP2002300591A (ja) 2002-10-11
JP4574045B2 JP4574045B2 (ja) 2010-11-04

Family

ID=18952371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001098750A Expired - Fee Related JP4574045B2 (ja) 2001-03-30 2001-03-30 半導体集積回路および撮像システム

Country Status (2)

Country Link
US (4) US6781107B2 (ja)
JP (1) JP4574045B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008236195A (ja) * 2007-03-19 2008-10-02 Sony Corp 撮像ブロック及び撮像装置
JP2009038559A (ja) * 2007-08-01 2009-02-19 Panasonic Corp 半導体集積回路、撮像システムおよび信号変換方法
WO2010086896A1 (ja) * 2009-01-30 2010-08-05 パナソニック株式会社 半導体集積回路、撮像システムおよび信号変換方法
US7983106B2 (en) 2009-05-15 2011-07-19 Hynix Semiconductor Inc. Voltage stabilization circuit and semiconductor memory apparatus using the same

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4574045B2 (ja) * 2001-03-30 2010-11-04 ルネサスエレクトロニクス株式会社 半導体集積回路および撮像システム
US20040133489A1 (en) * 2001-11-08 2004-07-08 Stremler Troy D. Philanthropy management apparatus, system, and methods of use and doing business
JP2004328114A (ja) * 2003-04-22 2004-11-18 Matsushita Electric Ind Co Ltd アナログ回路及びこれを用いた映像機器
JP4238737B2 (ja) * 2004-02-09 2009-03-18 株式会社デンソー データ通信制御装置
US20060186315A1 (en) * 2005-02-22 2006-08-24 Kany-Bok Lee Active pixel image sensors
US20070120976A1 (en) * 2005-11-28 2007-05-31 Pentax Corporation Method and device for compressing image signal and endoscope system using such device
DE102006038409B4 (de) * 2006-08-17 2009-07-09 Infineon Technologies Ag Verfahren und Vorrichtung zum Erfassen eines Analogsignals unter Verwendung einer Auswahlschaltung
US20090322961A1 (en) * 2008-06-27 2009-12-31 Limberg Allen Leroy System for digital television broadcasting using modified 2/3 trellis coding
JP5243352B2 (ja) * 2009-06-17 2013-07-24 シャープ株式会社 Ad変換装置、固体撮像装置および電子情報機器
WO2013005359A1 (ja) * 2011-07-01 2013-01-10 パナソニック株式会社 撮像装置
JP2019057873A (ja) * 2017-09-22 2019-04-11 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子及び電子機器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01228289A (ja) * 1988-03-08 1989-09-12 Fuji Photo Film Co Ltd 画像信号の圧縮記録装置および伸長再生装置
JPH05191770A (ja) * 1992-01-08 1993-07-30 Canon Inc 撮像装置
JPH0697826A (ja) * 1992-09-14 1994-04-08 Fuji Photo Film Co Ltd 画像信号のアナログ・ディジタル変換回路
JPH06197359A (ja) * 1992-12-24 1994-07-15 Canon Inc ディジタルフィルタ装置
JP2002165137A (ja) * 2000-08-15 2002-06-07 Pixim Inc ディジタル画素センサ読出し情報内の画素の再配置のための回路及び方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2542540B1 (fr) * 1983-03-08 1989-02-10 Canon Kk Systeme de traitement d'images
US5020118A (en) * 1984-06-13 1991-05-28 Canon Kabushiki Kaisha Image reading apparatus
US5719624A (en) * 1989-07-18 1998-02-17 Canon Kabushiki Kaisha Image recording apparatus with arithmetic processing
US5309183A (en) * 1989-09-28 1994-05-03 Canon Kabushiki Kaisha Image pickup apparatus having difference encoding and non-linear processing of image signals
US6081254A (en) * 1993-08-12 2000-06-27 Hitachi, Ltd. Color correction system of imaging apparatus
JP4190576B2 (ja) * 1994-08-31 2008-12-03 ソニー株式会社 撮像信号処理装置及び撮像信号処理方法、並びに撮像装置
JP3609525B2 (ja) * 1996-03-18 2005-01-12 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
US6791615B1 (en) * 1999-03-01 2004-09-14 Canon Kabushiki Kaisha Image pickup apparatus
US6590343B2 (en) * 2000-06-06 2003-07-08 911Ep, Inc. LED compensation circuit
JP4574045B2 (ja) * 2001-03-30 2010-11-04 ルネサスエレクトロニクス株式会社 半導体集積回路および撮像システム
US7173230B2 (en) * 2001-09-05 2007-02-06 Canesta, Inc. Electromagnetic wave detection arrangement with capacitive feedback

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01228289A (ja) * 1988-03-08 1989-09-12 Fuji Photo Film Co Ltd 画像信号の圧縮記録装置および伸長再生装置
JPH05191770A (ja) * 1992-01-08 1993-07-30 Canon Inc 撮像装置
JPH0697826A (ja) * 1992-09-14 1994-04-08 Fuji Photo Film Co Ltd 画像信号のアナログ・ディジタル変換回路
JPH06197359A (ja) * 1992-12-24 1994-07-15 Canon Inc ディジタルフィルタ装置
JP2002165137A (ja) * 2000-08-15 2002-06-07 Pixim Inc ディジタル画素センサ読出し情報内の画素の再配置のための回路及び方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008236195A (ja) * 2007-03-19 2008-10-02 Sony Corp 撮像ブロック及び撮像装置
JP2009038559A (ja) * 2007-08-01 2009-02-19 Panasonic Corp 半導体集積回路、撮像システムおよび信号変換方法
JP4528808B2 (ja) * 2007-08-01 2010-08-25 パナソニック株式会社 半導体集積回路、撮像システムおよび信号変換方法
WO2010086896A1 (ja) * 2009-01-30 2010-08-05 パナソニック株式会社 半導体集積回路、撮像システムおよび信号変換方法
US8659690B2 (en) 2009-01-30 2014-02-25 Panasonic Corporation Semiconductor integrated circuit, imaging system, and signal conversion method
US7983106B2 (en) 2009-05-15 2011-07-19 Hynix Semiconductor Inc. Voltage stabilization circuit and semiconductor memory apparatus using the same
US8320212B2 (en) 2009-05-15 2012-11-27 Hynix Semiconductor Inc. Voltage stabilization circuit and semiconductor memory apparatus using the same

Also Published As

Publication number Publication date
US20040189842A1 (en) 2004-09-30
US7122775B2 (en) 2006-10-17
US6781107B2 (en) 2004-08-24
US6841770B2 (en) 2005-01-11
US20050092898A1 (en) 2005-05-05
US20020179821A1 (en) 2002-12-05
JP4574045B2 (ja) 2010-11-04
US7351946B2 (en) 2008-04-01
US20040182992A1 (en) 2004-09-23

Similar Documents

Publication Publication Date Title
JP5721007B2 (ja) 画像を転送する方法、イメージ・センサシステム、およびイメージ・センサ
JP4574045B2 (ja) 半導体集積回路および撮像システム
US8054357B2 (en) Image sensor with time overlapping image output
JP3096618B2 (ja) 撮像装置
JP2009273035A (ja) 画像圧縮装置、画像伸張装置及び画像処理装置
US11665446B2 (en) Image sensing system and operating method thereof
WO2011148573A1 (ja) 撮像装置
JP2002508909A (ja) 画像圧縮のためのメモリ・ベースvlsiアーキテクチャ
US8462377B2 (en) Method, apparatus, and system for reduction of line processing memory size used in image processing
JP2005175545A (ja) 半導体集積回路、撮像システム及び信号変換方法
US8264586B2 (en) Imaging apparatus
US20080018742A1 (en) Analog front-end device and imaging apparatus
US9544559B2 (en) Device and method for processing images
JP2002152680A (ja) 画像データ形成方法および画像データ記録装置
JP4528808B2 (ja) 半導体集積回路、撮像システムおよび信号変換方法
JP2002083292A (ja) 画像信号処理装置
US8659690B2 (en) Semiconductor integrated circuit, imaging system, and signal conversion method
TWI516088B (zh) 影像系統
JP2006074467A (ja) 信号処理装置、スチルビデオカメラ、及び信号処理方法
JPH06319153A (ja) 電子スチルカメラ

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050316

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070427

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070730

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100817

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100818

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130827

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees