JP2003032453A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JP2003032453A
JP2003032453A JP2001212302A JP2001212302A JP2003032453A JP 2003032453 A JP2003032453 A JP 2003032453A JP 2001212302 A JP2001212302 A JP 2001212302A JP 2001212302 A JP2001212302 A JP 2001212302A JP 2003032453 A JP2003032453 A JP 2003032453A
Authority
JP
Japan
Prior art keywords
image
signal
processing apparatus
image processing
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001212302A
Other languages
English (en)
Inventor
Seiji Hashimoto
誠二 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001212302A priority Critical patent/JP2003032453A/ja
Priority to US10/190,535 priority patent/US20030025815A1/en
Priority to CN02140595A priority patent/CN1397908A/zh
Priority to DE60227614T priority patent/DE60227614D1/de
Priority to EP02254888A priority patent/EP1278374B1/en
Priority to KR10-2002-0040630A priority patent/KR100488183B1/ko
Publication of JP2003032453A publication Critical patent/JP2003032453A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10851Circuits for pulse shaping, amplifying, eliminating noise signals, checking the function of the sensing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/1092Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing by means of TV-scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1341Sensing with light passing through the finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Input (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Facsimile Heads (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

(57)【要約】 【課題】 暗い場所でも明るい場所でも適正露光を可能
とする。 【解決手段】 被写体12に照射する光の強さを制御可
能な光源10、11と、被写体からの光を画像信号に変
換する撮像手段1と、撮像手段からの画像信号又は画像
信号を増幅した信号の信号レベルを検知し、露光量が適
正か否かの判断を行う検知手段7と、撮像手段の蓄積時
間を制御する蓄積制御手段6とを有し、検知手段の判断
結果に基づき蓄積制御手段により蓄積時間を制御する画
像認識装置であって、検知手段7により露光過多と判断
された場合には蓄積制御手段で露光量を少なくするよう
に蓄積時間を制御し、検知手段7により露光不足と判断
された場合には光源の被写体に照射される光の強さを上
げ、露光量を多く制御してなる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像処理装置に係わ
り、特にバーコードや指紋などの画像認識を行う画像処
理装置に関する。
【0002】
【従来の技術】情報セキュリティはITを確実にするた
めの重要な技術であり、バーコードや指紋などの画像認
識を行う画像認識装置は、通信網を使っての情報の不正
アクセスからの保護や、電子入札、抽選、eコマースな
どのサービスを実現するために重要な装置である。
【0003】
【発明が解決しようとする課題】バーコードや指紋等の
画像を得る画像認識装置の使用環境は、太陽光下の明る
い場所や室内等比較的暗い場所等がある。つまり、外部
環境の異なる場所での使用を考慮しなければならなく、
適切な露光量制御が要求される。
【0004】
【課題を解決するための手段】本発明の画像処理装置
は、被写体に光を照射する光源と、該被写体からの光を
画像信号に変換する撮像手段と、該撮像手段からの画像
信号を検知し、露光量が適正か否かの判断を行う検知手
段と、前記撮像手段の光電荷の蓄積時間を制御する蓄積
制御手段と、前記検知手段により露光過多と判断された
場合には前記蓄積制御手段で露光量を少なくするように
蓄積時間を制御し、前記検知手段により露光不足と判断
された場合には前記光源を点灯させ、前記蓄積制御手段
で蓄積時間を多くすることによって露光量を多く制御す
る制御手段とを有する。
【0005】また、本発明の画像処理装置は、被写体に
光を照射する光源と、該被写体からの光を画像信号に変
換する撮像手段と、該撮像手段からの画像信号を検知
し、露光量が適正か否かの判断を行う検知手段と、前記
撮像手段の光電荷の蓄積時間を制御する蓄積制御手段
と、前記光源が非点灯の状態で前記蓄積制御手段によっ
て所定の蓄積時間になるように制御し、前記光源が点灯
状態で前記蓄積制御手段によって所定の蓄積時間になる
ように制御する制御手段とを有する。
【0006】また、本発明の画像処理装置は、被写体か
らの光を画像信号に変換する撮像手段と、該撮像手段か
らの該画像信号を検知し、露光量が適正か否かの判断を
行う検知手段と、前記撮像手段の光電荷の蓄積時間を制
御する蓄積制御手段とを有し、前記検知手段の判断結果
に基づき前記蓄積制御手段により蓄積時間を制御して露
光量を制御する画像処理装置であって、前記検知手段
は、前記画像信号又は該画像信号を増幅した信号の極小
値又は極大値に基づいて露光量が適正か否かの判断を行
ってなるものである。
【0007】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて詳細に説明する。
【0008】図1は本発明の画像認識装置(画像処理装
置)の一実施形態の構成を示すブロック図である。被写
体12としては2次元バーコードあるいは指紋などがあ
る。被写体12に照射される外光10は太陽光あるいは
案内光などであり、外光が暗い場合は光源である発光素
子からの光、ここではLED11からの光を照射する。
被写体に照射する光の強度を制御可能な光源として、L
ED11を用い、LED11の点灯・非点灯により光の
強度を制御しているが、光強度が可変な一つのLED等
の発光素子、複数のLED等の発光素子から光源を構成
してもよい。つまり、被写体に照射する光の強度を変え
ることができる光源であればいかなるものを用いてもよ
い。また外光10の明るさを制御できればLED11を
設けず、外光10のみで光源を構成してもよい。
【0009】なお、被写体に照射する光の強さは、被写
体の単位面積あたりに入射する放射束(ワット)を表す
放射照度(照度)で規定することができる(光学技術ハ
ンドブック第318頁,4.1.3;朝倉書店発行)。
【0010】被写体12の反射光あるいは透過光が撮像
手段となるセンサ1に入射する。センサ1は、蓄積制御
手段である電子シャッタを有する。センサ1で光電変換
された信号は、A/D変換器の解像度の全範囲に渡るよ
うにアナログ入力信号のレベルを制御するPGA(プロ
グラマブル利得増幅器)2に入力され、A/D変換器3
でアナログ−デジタル変換される。A/D変換器3から
の出力は画像認識回路4で画像認識処理がなされ、例え
ば被写体が二次元バーコードの場合はその内容を検出
し、被写体が指紋の場合は予め登録された本人の指紋と
読み取られた指紋の読み取りデータとが一致するかの判
断を行う。そしてその結果がメモリ8に記憶される。ま
た、画像認識の結果はCPU7を介して表示装置9に表
示される。また画像認識回路4の出力はCPU7に入力
され、CPU7は制御回路6に制御信号を送る。制御回
路6はセンサ1を駆動する駆動回路5、PGA2、A/
D変換器3、LED11の動作を制御する。画像認識回
路4はA/D変換器3からの出力をCPU7に送り、C
PU4はセンサ1での露光量が適正かの判断を行い、そ
の判断結果に基づき、露光過多と判断したときは制御回
路6にセンサ1の蓄積時間を短く、又は/及びLED1
1をオフ(非点灯)する制御信号を送り、露光不足と判
断したときはLED11をオン(点灯)する。
【0011】露光量の判断は間引き走査やスキップ走査
を行い予備駆動を行い、その画像信号に基づいて露光量
の適正値を判断して本駆動を行い画像認識を行う。
【0012】図2はセンサ1の構成を示すブロック図、
図3はセンサ1の画素領域の一画素の構成を示す回路構
成図である。
【0013】図2において、20は複数の画素が配列さ
れて構成された画素領域、21は読み出す画素行を順次
選択するシフトレジスタ等の第1の垂直走査回路(Vs
・SR)、22は蓄積を開始するため、画素行を順次リ
セットするシフトレジスタ等の第2の垂直走査回路(V
c・SR)、23は画素領域20の全画素を一括してリ
セットする全画素リセットスイッチ(VR)、24は画
素領域20からのノイズ信号、センサ信号を記憶するメ
モリ、25はメモリ24からノイズ信号、センサ信号を
出力するために、画素列ごとにメモリ24を走査する水
平走査回路、26はセンサ信号からノイズ信号を差分
(減算)して出力信号Voutを出力する差動アンプであ
る。
【0014】画素領域20の一画素は図3に示すよう
に、フォトダイオードPD、フォトダイオードPDのカ
ソード側からの信号を増幅して出力するための増幅用ト
ランジスタMSF、画素から信号を選択的に出力するため
の選択用トランジスタMSEL、フォトダイオードPDを
リセットするためのリセット用トランジスタMRESから
なる。メモリ24の一画素列分は画素からの画素信号,
ノイズ信号を蓄積容量CS,CNに転送するトランジスタ
MS11,MN11、蓄積容量CS,CN、蓄積容量CS,CNか
ら水平出力線に画素信号出力Sout,ノイズ信号Noutと
して出力するトランジスタMS21,MN21から構成され
る。全画素リセットスイッチ23の一画素行分はトラン
ジスタM1,M2から構成される。
【0015】信号φVRをHレベルとすることにより、
全画素リセットスイッチ23のトランジスタは同時にオ
ンし、全画素は同時にリセットされる。全画素を同時に
リセットすることで、画素領域20の全画素の蓄積開始
時間を同じにすることができる。これを後述する読み取
り感度設定のために利用することができる。
【0016】リセット動作を制御する信号φVcと信号
出力を制御する信号φVsとのスタート時間を変えるこ
とにより、リセットから信号出力までの時間、すなわち
蓄積時間を制御することができる。これをローリングシ
ャッタとも呼ぶ。
【0017】画素アンプとなる増幅用トランジスタMSF
のVthバラツキは画素からの信号をノイズ信号で差分
することで除去することができる。すなわち、画素の信
号をトランジスタMS11を介して蓄積容量CSへ読み出し
た後、フォトダイオードPDをリセットし、そのときの
出力信号をノイズ信号としてトランジスタMN11を介し
て蓄積容量CNへ読み出す。蓄積容量CSからの信号と蓄
積容量CNからのノイズ信号とを、水平走査回路25に
より制御されるトランジスタMS21、MN21を介して各水
平出力線にそれぞれ画素信号出力Sout,ノイズ信号No
utとして読み出し、差動アンプ26で差分することによ
りVthバラツキを除去でき、高SNにできる。
【0018】図4(a)〜(c)は予備駆動等において
画素領域(撮像領域)の特定の画像データを読み出す場
合の読み出し領域を示す図である。図4(a)は縦方向
に分割した例、図4(b)はセンターと周辺に分割した
例、図4(c)は横方向に分割した例である。図4
(a)〜(c)において、A,B,Cは読み出し領域を
示し、a〜dは画素領域の読み出し領域以外の領域を示
す。図4(a)〜(c)の読み出し領域にはバーコード
があっても指があってもよい。後述する読み取り感度設
定を行うときに、例えば図4(c)の場合には、一括リ
セット後、各領域A,B,Cから画像を読み出す時間ま
でが蓄積時間となる。
【0019】読取感度(蓄積時間)を各領域A,B,C
ごとに変えることで、フレーム単位毎に露光量を変化す
る必要がなく、短時間に本駆動条件を設定できる。従っ
てセンサやLEDの消費電力を低減できる。
【0020】図5はセンサと指及び読み出す画素行の位
置例と蓄積時間例を示す図である。図6は蓄積時間3m
sec時の出力信号例を示す特性図である。
【0021】露光量が適正か否かの判断はセンサ1の撮
像領域からの画像信号を増幅した信号の極小値を基準に
判断を行う。
【0022】図6に示すように、指の周辺は外光あるい
はLED光が直接センサーに入射するので出力信号が飽
和する。外光あるいはLED光が明るい時は、多くの光
が指を透過するので指の部分の出力信号も飽和する。一
方、外光あるいはLED光が暗い時は指を透過する光が
少ないので指の部分の出力信号はノイズレベルに低下す
る。図6から明らかなように指の中央領域は光が透過し
にくいので、あるいはLEDの照射は指の周辺から行う
ので、出力信号レベルが低くなり極小値をもつ。またこ
こでは示されていないがバーコードの場合は複数の極小
値をもつので、これらの極小値を基準として(平均値や
最小値を基準として)露光量の設定を行う。
【0023】ここでは図5に示すように、蓄積時間はセ
ンサキズがある場合はそのキズをさけるためやSN比改
善のために5行毎に変え、5行分を加算して信号を読み
出すものとし(外部処理回路での加算処理でもよい)、
1msec、3msec、10msec、30mse
c、100msecに設定する。後述するが、図におい
て最初の200行はスキップし、次に順次値奇跡時間1
msecから100msecまでの信号を読み出す。
【0024】図7は、ある外光とLED点灯時の出力信
号例を示す特性図である。一定の光強度の外光下におい
て、蓄積時間が1msec、3msec、10mse
c、30msecの場合を示す。指の部分は蓄積時間が
長いと飽和しやすく、蓄積時間が短いと信号レベルが低
下する。図の信号波形は、センサのノイズや指紋に依存
する信号振幅の変化は省略している。
【0025】図8は光源を変えた場合の蓄積時間と出力
信号レベルとの関係を示す特性図である。横軸に蓄積時
間、縦軸に出力信号レベルを示す。出力信号レベルは飽
和値を1としたときの相対値で示す。図において照射光
の例をLEDのみ、外光(A)+LED、外光(B)+
LEDで示す(外光(B)の光強度>外光(A)の光強
度)。
【0026】蓄積時間を例えば1msecから100m
secまでの設定できれば、その時の信号レベルから本
駆動時の最適露光量を判断できる。図8において、例え
ば蓄積時間Ts=100msecで出力信号がa1の出
力値であると、Ts=10msecではa2=a1/1
0、Ts=1msecではa3=a1/100となる。
従って、出力値a2と出力値a1から最適な露光条件を
計算できる。露光量は指の出力信号レベルの極小値(指
のほぼ中央部の値)で判断する。
【0027】指の周辺からLED光を照射するため、指
の周辺部分は飽和しやすく、指のセンター部分の信号が
低レベルとなる(従って極小値をもつ)。そのため露光
計算は指のセンター部分の信号で行う。露光量の設定は
出力信号がVLからVHの範囲内に入るようにする。VL
はセンサのノイズから考慮しVHは設計時の出力信号の
シェーディングから考慮する。
【0028】例えばセンサのノイズが5mVであればV
L=50mVに設定すると、LED光が劣化しても信号
ゲインをアップして2値化し、そのデータ処理が可能と
なる。
【0029】高温の場合、センサの暗電流が大きくなる
ので、その暗電流によるノイズの増大をも考慮する必要
がある。暗電流が大きい場合はVL>50mVにするこ
とが求められるので、VLとVHの設定レベル差は小さく
なる。VHは指の大きさにもよるが実験では200mV
から500mVで高い認証判別ができた。従って、V H
は200mVから500mVに設定することが望まし
い。VL,VHの設定はセンサの信号レベルとノイズ(ラ
ンダムノイズ、固定パターンノイズ、暗電流ノイズな
ど)の比であるSN比を考慮して決める。
【0030】本発明による画像認識装置の動作を示すフ
ローチャートの例を図9に示す。この例では予備駆動、
本駆動ともに発光素子であるLEDを点灯させる。
【0031】まず、センサ上に指をおき、予備駆動の撮
像条件の設定(条件設定A)を行う(ステップS11)。
ここでは、LEDはオンし、センサの走査条件は図5に
示したような、露光条件を変化させた間引き走査とし、
PGAは0dBとする。その後、設定された撮像条件で
予備駆動を行う(ステップS12)。この予備駆動に基づ
き、最適条件を選択し(ステップS13)、本駆動の撮像
条件の設定(条件設定B)を行う(ステップS14)。こ
こでは、LEDはオンし、センサの走査条件は露光条件
を一定とした(蓄積時間を適正値に設定した)全画素走
査とし、PGAのゲインはGB(適正値に設定されたゲ
イン)とする。その後、設定された撮像条件で本駆動を
行う(ステップS15)。センサからの出力信号をデータ
処理し(ステップS16)、その読み取りデータから指の
指紋の認証を行う(ステップS17)。指紋の認証は予め
登録された本人の指紋と本駆動による指紋の読み取りデ
ータとが一致するか否かにより行う。本人と認証できた
ときには、その後処理、例えばキャッシュカード、クレ
ジットカードの使用、パーソナルコンピュータの操作が
許容されて実行される。本人と認証できない場合には、
ステップS11にもどる。なお、ここでは指紋の認証につ
いて説明したが、バーコード等の画像認証にも用いるこ
とができる。
【0032】図10は予備駆動のタイミング例を示すタ
イミングチャートである。読み出し領域は図4(a)の
構成とし、蓄積時間3msec、10msec、30m
sec、100msecの感度で蓄積する各領域はセン
サキズあるいはSN改善のため例えば5行毎とする。そ
して信号読み出しの場合には5行分を加算して出力す
る。信号φVRで全画素を一括リセットするとともに、
LED11(図1に図示)を点灯する。次に垂直走査回
路21から画素領域20に信号φVsを送り、画素信号
を読み出す。なお、この時、指の中央部が配置されるセ
ンサのセンター部の信号を読み出すためにスキップ走査
(スキップ画素200行、すなわち画素200行分飛び
越して走査する)を行う。図10のφVFはスキップ走
査期間を示す。スキップ走査はシフトレジスタの走査を
通常の読み出し走査より速く走査することで実現するこ
とができる。
【0033】まず、一括リセットから3msec後に
(蓄積時間Ts=3msec)、5つの画素行を読み出
す。次に7msec後に、蓄積時間Ts=10msec
の画素行5行を読み出す。同様に20msec後に、蓄
積時間Ts=30msecの画素行5行を読み出し、さ
らに70msec後に、蓄積時間Ts=100msec
の画素行5行を読み出す。図10のVout(φ3、φ1
0、φ30、φ100)は読み出した画素信号を示す。
【0034】その時の信号は、図7に示すようになり、
例えば3msecと10msecの信号から本駆動時の
低信号レベル=VがVL<V<VHになる様、露光条件を
設定する。Vの想定値により信号ゲインを設定する。
【0035】図11は予備駆動と本駆動を示すタイミン
グチャートである。予備駆動を行い、データ処理で露光
条件を決めた後に本駆動を行う。そしてデータ処理と認
証判断を行う。本駆動時の露光時間はφVcとφVsの
走査間隔により設定できる。蓄積時間12.5msec
は画素リセット信号φVcより画素読み出し信号φVs
を12.5msec遅らせることにより実現でき、出力
Vout1も12.5msec遅れることになる。
【0036】同様に蓄積時間100msecは画素リセ
ット信号φVcより画素読み出し信号φVsを100m
sec遅らせることにより実現でき、Vout2も100m
sec遅れることになる。LEDの点灯は露光の開始か
ら、蓄積信号を全て読み出すまでの期間行う。すなわ
ち、Vout1の場合はLEDをLED1の期間、Vout2の
場合はLEDをLED2の期間点灯させる。このよう
に、一回の予備駆動と一回の本駆動で認証が可能となる
ので、短時間、低消費電力である。
【0037】本発明によるフローチャートの他の例を図
12に示す。LED非点灯で最適露光条件を判断し、も
し不適の場合はLED点灯で最適露光条件をさがす方法
である。まず、センサ上に指をおき、予備駆動の撮像条
件の設定(条件設定A1)を行う(ステップS21)。こ
こでは、LEDはオフし、センサの走査条件は露光条件
を変化させた間引き走査とし、PGAは0dBとする。
その後、設定された撮像条件で予備駆動を行い、センサ
からの出力信号のレベルVがVL<V<VHかの判断を行
う(ステップS22)。VL<V<VHならば、最適条件を
選択し(ステップS23)、本駆動の撮像条件の設定(条
件設定A2)を行う(ステップS24)。ここでは、LE
Dはオフし、センサの走査条件は露光条件を一定とした
全画素走査とし、PGAはゲインをGA1とする。その
後、設定された撮像条件で本駆動を行い、センサからの
出力信号をデータ処理し(ステップS25)、その読み取
りデータから指の指紋の認証を行う(ステップS26)。
指紋の認証は予め登録された本人の指紋と本駆動による
指紋の読み取りデータとが一致するか否かにより行う。
本人と認証できたときには、その後処理、例えばキャッ
シュカード、クレジットカードの使用、パーソナルコン
ピュータの操作が許容されて実行される。本人と認証で
きない場合には、ステップS21にもどる。VL<V<VH
でないならば、再度予備駆動の撮像条件の設定(条件設
定B1)を行う(ステップS27)。ここでは、LEDは
オンし、センサの走査条件は露光条件を変化させた間引
き走査とし、PGAは0dBとする。その後、設定され
た撮像条件で予備駆動を行い、最適条件を選択し(ステ
ップS28)、本駆動の撮像条件の設定(条件設定B2)
を行う(ステップS29)。ここでは、LEDはオンし、
センサの走査条件は露光条件を一定とした全画素走査と
し、PGAはゲインをGB2とする。そして、ステップS
25へ移る。
【0038】なお、ここでは指紋の認証について説明し
たが、バーコード等の画像認証にも用いることができ
る。
【0039】本発明によるフローチャートの他の例を図
13に示す。フレーム単位で露光条件をさがす方法であ
る。この場合は、ロータリーシャッタで蓄積時間を変化
させる。まず、センサ上に指をおき、予備駆動の撮像条
件の設定(初期条件設定)を行う(ステップS31)。こ
こでは、LEDはオフし、センサの走査条件は所定の露
光条件の間引き走査とし、PGAは0dBとする。その
後、設定された撮像条件で予備駆動を行い、センサから
の出力信号のレベルViがVi<VL、VL<Vi<
H、Vi>VHかの判断を行う(ステップS32)。VL
<Vi<VHならば、最適条件を選択し、本駆動の撮像
条件の設定(ゲイン処理)を行う(ステップS33)。こ
こでは、LEDはオフし、センサの走査条件は露光条件
を一定とした全画素走査とし、PGAは適正なゲインと
する。その後、設定された撮像条件で本駆動を行い(ス
テップS35)、センサからの出力信号をデータ処理し
(ステップS35)、その読み取りデータから指紋を認証
する(ステップS36)。指紋の認証は予め登録された本
人の指紋と本駆動による指紋の読み取りデータとが一致
するか否かにより行う。本人と認証できたときには、そ
の後処理、例えばキャッシュカード、クレジットカード
の使用、パーソナルコンピュータの操作が許容されて実
行される。本人と認証できない場合には、ステップS21
にもどる。Vi<VLならば、LEDをオンし、センサ
の走査条件は蓄積時間を増やした間引き走査とし、PG
Aは0dBとする。その後、設定された撮像条件で予備
駆動を行いステップS32の判断を行う。Vi>VHなら
ば、LEDをオフ、センサの走査条件は露光時間を短く
設定し間引き走査とし、PGAは0dBとする。その
後、設定された撮像条件で予備駆動を行いステップS32
の判断を行う。なお、ここでは指紋の認証について説明
したが、バーコード等の画像認証にも用いることができ
る。
【0040】以上説明したように、本実施形態によれ
ば、暗い場所でも明るい場所でもLEDの制御と電子シ
ャッタの制御により適正露光が可能となった。
【0041】また本実施形態によれば、読み取り信号の
極値で露光条件を判断するため、被写体の飽和を検知す
るよりも短時間に判断が可能となる。
【0042】予備駆動で領域毎に感度を変化させ読み取
りを行うことで、短時間の処理を低消費電力化で行うこ
とが可能となった。複数行を読むので一部の画素行にキ
ズがあってもデータの読み取りが可能となり、複数行の
信号の加算によりSN比を向上させることができる。
【0043】照明光と被写体光との関係でシェーディン
グが発生した場合、信号の極値をある信号レベル範囲に
なるように露光条件を決めることで認証率を向上させる
ことができる。
【0044】
【発明の効果】本発明の画像処理装置は、高精度な露光
制御が可能となる。
【図面の簡単な説明】
【図1】本発明の画像認識装置の一実施形態の構成を示
すブロック図である。
【図2】センサ1の構成を示すブロック図である。
【図3】センサ1の画素領域の一画素の構成を示す回路
構成図である。
【図4】(a)〜(c)は予備駆動等において画素領域
(撮像領域)の特定の画像データを読み出す場合の読み
出し領域を示す図である。
【図5】センサと指及び読み出す画素行の位置例と蓄積
時間例を示す図である。
【図6】蓄積時間3msec時の出力信号例を示す図で
ある。
【図7】ある外光とLED点灯時の出力信号例を示す特
性図である。
【図8】光源を変えた場合の蓄積時間と出力信号レベル
との関係を示す特性図である。
【図9】本発明による画像認識装置の動作を示すフロー
チャートである。
【図10】予備駆動のタイミング例を示すタイミングチ
ャートである。
【図11】予備駆動と本駆動を示すタイミングチャート
である。
【図12】本発明による画像認識装置の動作を示すフロ
ーチャートである。
【図13】本発明による画像認識装置の動作を示すフロ
ーチャートである。
【符号の説明】
1 センサ 2 PGA(プログラマブル利得増幅器) 3 A/D変換器 4 画像認識回路 5 駆動回路 6 制御回路 7 CPU 8 メモリ 9 表示装置 10 外光 11 LED光 12 被写体
フロントページの続き Fターム(参考) 5B047 AA25 AB02 BA02 BB04 BC11 BC14 CA06 CA19 CB04 CB22 DA01 DB01 DC09 5B072 CC24 DD01 DD21 LL11 LL18 5C051 AA01 BA04 DA06 DB01 DB07 DB15 DB29 DC03 DC05 DE05 DE15 DE17 DE30 5C072 AA01 BA13 CA05 CA14 EA08 FB19 FB25 RA13 UA05 UA06 VA07

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 被写体に光を照射する光源と、該被写体
    からの光を画像信号に変換する撮像手段と、該撮像手段
    からの画像信号を検知し、露光量が適正か否かの判断を
    行う検知手段と、前記撮像手段の光電荷の蓄積時間を制
    御する蓄積制御手段と、前記検知手段により露光過多と
    判断された場合には前記蓄積制御手段で露光量を少なく
    するように蓄積時間を制御し、前記検知手段により露光
    不足と判断された場合には前記光源を点灯させ、前記蓄
    積制御手段で蓄積時間を多くすることによって露光量を
    多く制御する制御手段とを有する画像処理装置。
  2. 【請求項2】 被写体に光を照射する光源と、該被写体
    からの光を画像信号に変換する撮像手段と、該撮像手段
    からの画像信号を検知し、露光量が適正か否かの判断を
    行う検知手段と、前記撮像手段の光電荷の蓄積時間を制
    御する蓄積制御手段と、前記光源が非点灯の状態で前記
    蓄積制御手段によって所定の蓄積時間になるように制御
    し、前記光源が点灯状態で前記蓄積制御手段によって所
    定の蓄積時間になるように制御する制御手段とを有する
    画像処理装置。
  3. 【請求項3】 被写体からの光を画像信号に変換する撮
    像手段と、該撮像手段からの該画像信号を検知し、露光
    量が適正か否かの判断を行う検知手段と、前記撮像手段
    の光電荷の蓄積時間を制御する蓄積制御手段とを有し、
    前記検知手段の判断結果に基づき前記蓄積制御手段によ
    り蓄積時間を制御して露光量を制御する画像処理装置で
    あって、 前記検知手段は、前記画像信号又は該画像信号を増幅し
    た信号の極小値又は極大値に基づいて露光量が適正か否
    かの判断を行ってなる画像処理装置。
  4. 【請求項4】 請求項1乃至請求項3のいずれか1項に
    記載の画像処理装置において、前記蓄積制御手段により
    前記撮像手段の撮像領域内で蓄積時間の異なる領域を設
    け、 前記検知手段は、該蓄積時間の異なる領域から読み出さ
    れた画像信号又は該画像信号を増幅した信号の極小値又
    は極大値に基づいて露光量が適正か否かの判断を行い、
    露光量の制御は該信号の極小値又は極大値がある設定範
    囲になるように行われる画像処理装置。
  5. 【請求項5】 請求項1又は請求項2に記載の画像処理
    装置において、前記画像信号を増幅する可変増幅手段を
    有し、前記検知手段により露光不足と判断された場合
    に、前記光源を点灯させるとともに、前記可変増幅手段
    の増幅率を上げてなる画像処理装置。
  6. 【請求項6】 請求項1乃至請求項3のいずれか1項に
    記載の画像処理装置において、前記蓄積制御手段はロー
    リング電子シャッタである画像処理装置。
  7. 【請求項7】 請求項1乃至請求項3のいずれか1項に
    記載の画像処理装置において、前記蓄積制御手段は一括
    電子シャッタ及びローリング電子シャッタであり、該一
    括電子シャッタを用いて露光を行い、画像信号を読み出
    して前記検知手段により露光量の判断を行い、前記検知
    手段により露光過多と判断された場合には前記ローリン
    グ電子シャッタを用いて露光量を少なくするように蓄積
    時間を制御し、露光を行うことを特徴とする画像処理装
    置。
  8. 【請求項8】 請求項1又は請求項2に記載の画像処理
    装置において、前記光源は発光素子である画像処理装
    置。
  9. 【請求項9】 請求項1乃至請求項3のいずれか1項に
    記載の画像処理装置において、前記撮像手段の撮像領域
    の任意の領域から画像信号を読み出す駆動手段を有し、
    該駆動手段により該撮像領域の一部の領域からの画像信
    号の読み出しを間引き走査で行うことを特徴とする画像
    処理装置。
  10. 【請求項10】 請求項1乃至請求項3のいずれか1項
    に記載の画像処理装置において、前記撮像手段の撮像領
    域の任意の領域から画像信号を読み出す駆動手段を有
    し、該駆動手段により該撮像領域の一部の領域からの画
    像信号の読み出す場合に、該一部の領域以外の領域はス
    キップ走査することを特徴とする画像処理装置。
  11. 【請求項11】 請求項3に記載の画像処理装置におい
    て、前記画像信号を増幅する可変増幅手段を有し、前記
    検知手段により露光不足と判断された場合に、前記可変
    増幅手段の増幅率を上げてなる画像処理装置。
JP2001212302A 2001-07-12 2001-07-12 画像処理装置 Pending JP2003032453A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2001212302A JP2003032453A (ja) 2001-07-12 2001-07-12 画像処理装置
US10/190,535 US20030025815A1 (en) 2001-07-12 2002-07-09 Image processing apparatus
CN02140595A CN1397908A (zh) 2001-07-12 2002-07-10 图像处理装置
DE60227614T DE60227614D1 (de) 2001-07-12 2002-07-11 Bildverarbeitungsgerät
EP02254888A EP1278374B1 (en) 2001-07-12 2002-07-11 Image processing apparatus
KR10-2002-0040630A KR100488183B1 (ko) 2001-07-12 2002-07-12 화상처리장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001212302A JP2003032453A (ja) 2001-07-12 2001-07-12 画像処理装置

Publications (1)

Publication Number Publication Date
JP2003032453A true JP2003032453A (ja) 2003-01-31

Family

ID=19047484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001212302A Pending JP2003032453A (ja) 2001-07-12 2001-07-12 画像処理装置

Country Status (6)

Country Link
US (1) US20030025815A1 (ja)
EP (1) EP1278374B1 (ja)
JP (1) JP2003032453A (ja)
KR (1) KR100488183B1 (ja)
CN (1) CN1397908A (ja)
DE (1) DE60227614D1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005152587A (ja) * 2003-10-30 2005-06-16 Sony Corp 撮像装置及びその方法並びに通信端末装置
JP2006155575A (ja) * 2004-11-05 2006-06-15 Hitachi Ltd 指認証装置
JP2008046813A (ja) * 2006-08-14 2008-02-28 Sony Corp 条件決定方法、登録装置及びプログラム
JP2010225179A (ja) * 2004-11-05 2010-10-07 Hitachi Automotive Systems Ltd 指認証装置
JP2010277599A (ja) * 2004-05-14 2010-12-09 Sony Corp 撮像装置
US8615114B2 (en) 2007-09-27 2013-12-24 Mitsumi Electric Co., Ltd. Image reading apparatus and image reading method
WO2016021366A1 (ja) * 2014-08-06 2016-02-11 ローランドディー.ジー.株式会社 光学シンボルの読み取り装置および読み取り方法
CN113766143A (zh) * 2019-01-25 2021-12-07 原相科技股份有限公司 光检测芯片、图像处理装置及其运作方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3901048B2 (ja) * 2002-07-24 2007-04-04 日本ビクター株式会社 アクティブマトリクス型液晶表示装置
JP2004320106A (ja) * 2003-04-11 2004-11-11 Olympus Corp 固体撮像装置
JP2005004718A (ja) * 2003-05-16 2005-01-06 Canon Inc 信号処理装置及び制御方法
JP3741282B2 (ja) * 2003-07-28 2006-02-01 セイコーエプソン株式会社 入力装置、電子機器及び入力装置の駆動方法
JP2007243250A (ja) * 2006-03-03 2007-09-20 Olympus Imaging Corp 撮像装置および撮像方法
CN201615880U (zh) * 2009-12-22 2010-10-27 王继华 免疫层析试纸条的智能化识别分析装置
JP6336286B2 (ja) 2014-01-31 2018-06-06 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法および撮像装置を有する撮影装置
JP6338385B2 (ja) 2014-01-31 2018-06-06 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法および撮像装置を有する撮影装置
JP6389685B2 (ja) 2014-07-30 2018-09-12 キヤノン株式会社 撮像装置、および、撮像システム
TW201822709A (zh) * 2016-12-30 2018-07-01 曦威科技股份有限公司 即時心跳偵測方法及即時心跳偵測系統
EP3451226B1 (en) 2017-07-17 2020-08-05 Shenzhen Goodix Technology Co., Ltd. Method for determining optical sensing correction parameters, biometric detection apparatus and electronic terminal
JP2021019058A (ja) 2019-07-18 2021-02-15 キヤノン株式会社 光電変換装置および機器

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2170374B (en) * 1984-12-28 1989-04-05 Canon Kk Image sensing apparatus
JPH03269681A (ja) * 1990-03-19 1991-12-02 Sharp Corp 画像認識装置
US5382974A (en) * 1991-04-18 1995-01-17 Fuji Photo Film Company, Limited Movie camera having still picture photographing function and method of photographing still picture therewith
KR940007936B1 (ko) * 1992-09-05 1994-08-29 나우정밀 주식회사 바코드 스캐너의 광량 자동조절장치
JP3235249B2 (ja) * 1992-12-18 2001-12-04 株式会社デンソー 光学的情報読取り装置
IL106691A (en) * 1993-08-13 1998-02-08 Sophis View Tech Ltd System and method for diagnosis of living tissue diseases
US5784102A (en) * 1995-05-15 1998-07-21 Welch Allyn, Inc. Optical reader having improved interactive image sensing and control circuitry
JP3794053B2 (ja) * 1996-04-26 2006-07-05 Necインフロンティア株式会社 バーコード読取装置
JP3473658B2 (ja) * 1996-07-18 2003-12-08 アルプス電気株式会社 指紋読取り装置
JPH10105707A (ja) * 1996-09-25 1998-04-24 Sony Corp 画像照合装置
CN1148693C (zh) * 1996-11-08 2004-05-05 国家计算机系统公司 具有经校正的象素输出的光学扫描
JP2834113B1 (ja) * 1997-06-16 1998-12-09 日本電気精器株式会社 コード読取方法及び装置
KR100248226B1 (ko) * 1997-10-15 2000-03-15 윤종용 화상독취기의 밝기조정방법 및 그 장치
DE19956274A1 (de) * 1998-11-26 2000-05-31 Fuji Photo Film Co Ltd Vorlagenlesegerät
US6867811B2 (en) * 1999-11-08 2005-03-15 Casio Computer Co., Ltd. Photosensor system and drive control method thereof
JP4703815B2 (ja) * 2000-05-26 2011-06-15 株式会社半導体エネルギー研究所 Mos型センサの駆動方法、及び撮像方法
KR100338977B1 (ko) * 2001-02-01 2002-06-03 안준영 지문인식 방법

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005152587A (ja) * 2003-10-30 2005-06-16 Sony Corp 撮像装置及びその方法並びに通信端末装置
KR101106396B1 (ko) 2003-10-30 2012-01-17 소니 주식회사 촬상 장치 및 통신 단말 장치
JP4556107B2 (ja) * 2003-10-30 2010-10-06 ソニー株式会社 撮像装置及びその方法並びに通信端末装置
JP2010277599A (ja) * 2004-05-14 2010-12-09 Sony Corp 撮像装置
JP2013140636A (ja) * 2004-11-05 2013-07-18 Hitachi Automotive Systems Ltd 指認証装置
KR101168435B1 (ko) 2004-11-05 2012-07-25 가부시키가이샤 히타치세이사쿠쇼 개인 인증 장치
US7881506B2 (en) 2004-11-05 2011-02-01 Hitachi, Ltd. Finger identification method and apparatus
JP4671811B2 (ja) * 2004-11-05 2011-04-20 日立オートモティブシステムズ株式会社 指認証装置
JP2010225179A (ja) * 2004-11-05 2010-10-07 Hitachi Automotive Systems Ltd 指認証装置
JP2006155575A (ja) * 2004-11-05 2006-06-15 Hitachi Ltd 指認証装置
US8103064B2 (en) 2004-11-05 2012-01-24 Hitachi, Ltd. Finger identification method and apparatus
JP4706933B2 (ja) * 2006-08-14 2011-06-22 ソニー株式会社 条件決定方法、登録装置及びプログラム
JP2008046813A (ja) * 2006-08-14 2008-02-28 Sony Corp 条件決定方法、登録装置及びプログラム
US8615114B2 (en) 2007-09-27 2013-12-24 Mitsumi Electric Co., Ltd. Image reading apparatus and image reading method
WO2016021366A1 (ja) * 2014-08-06 2016-02-11 ローランドディー.ジー.株式会社 光学シンボルの読み取り装置および読み取り方法
JPWO2016021366A1 (ja) * 2014-08-06 2017-04-27 ローランドディー.ジー.株式会社 光学シンボルの読み取り装置および読み取り方法
US9928395B2 (en) 2014-08-06 2018-03-27 Roland Dg Corporation Optical symbol reading apparatus and reading method
CN113766143A (zh) * 2019-01-25 2021-12-07 原相科技股份有限公司 光检测芯片、图像处理装置及其运作方法
CN113766143B (zh) * 2019-01-25 2024-01-19 原相科技股份有限公司 光检测芯片、图像处理装置及其运作方法

Also Published As

Publication number Publication date
KR100488183B1 (ko) 2005-05-10
US20030025815A1 (en) 2003-02-06
DE60227614D1 (de) 2008-08-28
EP1278374A2 (en) 2003-01-22
KR20030007150A (ko) 2003-01-23
EP1278374A3 (en) 2004-12-22
EP1278374B1 (en) 2008-07-16
CN1397908A (zh) 2003-02-19

Similar Documents

Publication Publication Date Title
JP2003032453A (ja) 画像処理装置
US6788340B1 (en) Digital imaging control with selective intensity resolution enhancement
US9071762B2 (en) Image sensor including real-time automatic exposure control and swallowable pill including the same
US9609241B2 (en) Image sensor pixel array having output response curve including logarithmic pattern for image sensor based terminal
USRE44062E1 (en) Image sensor for detecting flicker noise and method thereof
US6952002B2 (en) Image processing apparatus
JP3748267B2 (ja) 撮像装置
US20020154225A1 (en) Imaging system using solid-state CMOS imaging device
JP2009141739A (ja) 撮像素子、撮像装置及び状態検査システム
JP2007122237A (ja) 偽造判定用撮像装置及び個人識別装置
JP2004112034A (ja) 撮像装置
US20070241192A1 (en) Data reader and methods for imaging targets exposed to high intensity illumination
JP4208491B2 (ja) 撮像装置及び指紋認識装置
US20090078773A1 (en) Multiple Configuration Image Scanner
JP2020188310A (ja) 画像認識装置および画像認識方法
US7202897B2 (en) Solid-state image pickup exposure control system and method
JP2009080713A (ja) 画像読取装置及び画像読取方法
EP1067775A2 (en) Digital imaging control with selective intensity resolution enhancement
JP2002330336A (ja) 画像捕捉装置および方法
JP3814988B2 (ja) 2次元コード読取装置
JP3087684B2 (ja) 画像読取装置
EP1133168A2 (en) Smart exposure determination for imagers
JPH1049654A (ja) 画像取込装置の信号補正方法
JP4257768B2 (ja) 2次元画像読取装置の感度調整装置及びその感度調整方法
JP2003030582A (ja) 情報読取装置、方法、プログラム、及びコンピュータ読み取り可能な記憶媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050613

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051021

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20051121

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20051222