JP2003319145A - 非接触画像読取システム - Google Patents

非接触画像読取システム

Info

Publication number
JP2003319145A
JP2003319145A JP2002125184A JP2002125184A JP2003319145A JP 2003319145 A JP2003319145 A JP 2003319145A JP 2002125184 A JP2002125184 A JP 2002125184A JP 2002125184 A JP2002125184 A JP 2002125184A JP 2003319145 A JP2003319145 A JP 2003319145A
Authority
JP
Japan
Prior art keywords
reading system
image reading
contact image
images
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002125184A
Other languages
English (en)
Other versions
JP3931107B2 (ja
Inventor
Keisuke Nakajima
啓介 中島
Shinichi Shinoda
伸一 篠田
Kenji Sugiyama
健治 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2002125184A priority Critical patent/JP3931107B2/ja
Publication of JP2003319145A publication Critical patent/JP2003319145A/ja
Application granted granted Critical
Publication of JP3931107B2 publication Critical patent/JP3931107B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Facsimile Scanning Arrangements (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】複数のカメラや回転機構、特別な距離測定手段
が必要であったので、多くの制限があると共に製造コス
トが高い。 【解決手段】画像を読み取るカメラと、そのカメラを支
える支柱と、原稿を置く原稿台とを備え、原稿台を水平
方向に移動可能な原稿台とする。また、原稿台を移動さ
せる操作者に読取位置を把握させる手段を備える。ま
た、カメラで撮影した複数の画像を1枚の画像に合成す
る合成手段を備える。また、カメラで撮影した複数の画
像を用いてカメラから対象物の注目位置までの距離を測
定する距離測定手段を備える。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理機能を有
した非接触画像読取システムに関する。
【0002】
【従来の技術】従来、カメラの撮影範囲を超える画像を
得たい場合は、特開平9−322055号公報「電子カメラシ
ステム」で開示されているように、カメラを動かしてパ
ノラマ画像を得る方式が示されていた。しかし、これら
の技術を非接触画像読取システムに適用するには、カメ
ラを回転する機能,高精度な回転角度を検出する機能を
必要とし、システムが高価になってしまうという問題が
あった。
【0003】また、本などの立体物を読み取る装置とし
ては、特開平9−102854号公報「画像読取装置」
で開示されているようにミラーを使う方法や、画像だけ
ではなく距離データを得たい場合は、特開平9−507
1号公報「距離計測方法」のように複数のカメラを用い
る例が示されていた。しかし、ミラーを使う方法では、
一方向の曲がりにしか対応できず、複数のカメラを用い
る方法では、カメラの調整が複雑になり、製造コストも
あがってしまうという問題があった。
【0004】
【発明が解決しようとする課題】本発明では、机上で低
コストに、カメラの撮像エリアを越える画像を合成し、
また本などの立体物の表面を平面に修復する機能を有す
る非接触画像読取システムを提供することにある。
【0005】
【課題を解決するための手段】本発明は、画像を読み取
るカメラ部と、そのカメラ部を支える支柱部と、原稿を
置く原稿台とを有し、前記原稿台は水平方向に移動可能
である構成とした。
【0006】また原稿台を移動させる操作者が、読取位
置を把握できる手段、たとえば、インデックスプランジ
ャーを設け、移動動力と移動開始ボタンと組み合わせ、
一回の移動開始ボタン押下で、次のインデックスプラン
ジャーの位置まで、バネなどの移動動力を用いる構成と
した。
【0007】ここで、読取位置を把握できる手段として
は、座標位置表示手段でも良い。
【0008】また、カメラ部で撮影した複数の画像を1
枚の画像に合成する手段を有し、エッジ情報の量を用い
た重なり部分の特徴点を抽出する手段,正規化相関など
のテンプレートマッチングを用いた画像間の対応点を検
索する手段,基準画像に合わせて画像を変形する手段と
して画像間の対応点情報に基づきアフィン変換係数を求
め基準画像以外の非接続画像をアフィン変換する手段を
有する構成とした。
【0009】また、カメラ部で撮影した複数の画像を用
いて、ステレオ測距法を用いて、カメラ部から対象物の
注目位置までの距離を測定する手段を有し、距離を測定
する手段による距離データにもとづき表面形状を2つの
3次関数の組み合わせとして仮定し、測定データとの差
分を評価し最適なモデルを探索しモデル化する手段とカ
メラからの距離に応じて拡大率を制御し合成画像を生成
する平面に修復する手段を有する構成とした。
【0010】また、そのカメラ部で撮影した複数の画像
を用いて、カメラ部から対象物の注目位置までの距離を
測定し、複数の平面修復画像を生成し、平面修復画像を
1枚の画像に合成する手段を有する構成とした。
【0011】
【発明の実施の形態】以下本発明に係る一実施例につい
て図1を用いて説明する。
【0012】図1は本発明の装置構成図である。本発明
は、原稿台12と、原稿台12上に置かれる原稿を読み
取るカメラヘッド11と、基台13の上部にカメラヘッ
ド11を支える支柱14で構成されるスキャナ部と、ス
キャナ部で読み込んだ画像を処理するパソコン部2で構
成される。
【0013】パソコン部2での処理は大きく分けて、三
次元処理部21と大画面処理部22で構成される。三次
元処理部21は、本などの立体物の表面を平面に修復す
る処理を行う。三次元処理部21は、カメラから原稿ま
での距離を測定するステレオ距離測定部211,測定し
た距離データを元に表面形状を関数で表現するモデル化
部212,関数に基づき平面に修復する平面修復部21
3で構成される。
【0014】大画面処理部22は、複数の平面画像をつ
なぎ合わせ大きな画面に合成する処理を行う。大画面処
理部22は、隣り合う画像の重なり部分を判定する重な
り部判定部221,滑らかに画像を接続するために画像
を変形するための係数を算出する変換係数算出部22
2,接続のための画像を変換するアフィン変換・合成部
223で構成される。大画面処理部22の出力は表示部
3に表示される。
【0015】本発明の特徴は、原稿台12が、左右に移
動する点にあり、これにより本来A4サイズの画像入力
しかできないスキャナで、A3サイズの入力が簡単に実
施できる。
【0016】図2に、原稿移動の概念図を示す。図2
(a)は、通常状態で、本を見開き状態に置いた場合、
左側が読まれる。図2(a)は、遷移状態で、本を見開
き状態に置いた場合、右側が読まれる。通常状態から遷
移状態への移動は操作者が手動操作で行う。原稿第12
は、基台13上を左右に移動できる構造になっており、
画像取得スイッチ15を押下すると、あらかじめ決めら
れた量だけ原稿台が移動する。
【0017】図3は、原稿台移動の構造を示している。
図3(a)は原稿台12の裏側を示しており、原稿台の
裏には、インデックス・ホール121a,122aを有
するレール121と122が設けられ、基台13に固定
されたベアリング123a−d,124a−d,125
a−d,126a−dとで、インデックスプランジャー
を構成している。インデックスプランジャーとは、所定
の位置で半固定可能な仕掛けである。このため、操作者
は、容易に定められた読取位置に原稿台をセットするこ
とが可能である。移動原稿台を、通常位置から遷移位置
に操作者が移動すると、バネ128が伸長し、通常位置
への引き戻し力が発生する。
【0018】図3(b)は、移動原稿台12の操作者の
手前から見た側面図、図3(c)は、横から見た側面図
を示している。画像取得スイッチ15を押下すると、構
造物131,132で変位で伝達され、ベアリング12
3a−b,126a−bは左に、ベアリング124c−
d,126c−dは右側に移動する。このため、インデ
ックス・ホール121aで止められていたレールが開放
され、次のインデックスホールまでバネの収縮力でレー
ルが移動する。
【0019】図4は、ステレオ距離測定の概念図を示
す。図4(a)は、画像入力の概念図を示す。カメラヘ
ッド11の下で、移動原稿台12を移動するということ
は、移動原稿台を固定して考えれば、カメラヘッド11
が、仮想ヘッド位置11k…11nに移動して画像を入
力したことと等価である。これは、等価的にマルチカメ
ラ画像入力を実現している。
【0020】図4(b)における、原稿台上の高さの異
なる画素1000,1001を、仮想ヘッド位置11
k,11(k+1)で画像入力すると、図4(c)に示
すように、対応する画像位置にずれが生じ、このズレ量
を計測することで高さを計測することができる。
【0021】図5は、ステレオ距離測定部211の詳細
ブロック図を示している。K番目の画像を入力し、特徴
点を抽出2111し、テンプレート選別部2112で有
効な特徴点のみを選別した後、隣接するK+1番目の画
像と正規化相関部2113でテンプレートマッチングを
行い、対応点を検索する。その後、画像上でのズレ量を
計算2114し、距離値を計算2115する。
【0022】図6は、モデル化の概念図を示す。計測し
た距離データから、本のようななめらかな表面を再現す
るため関数による近似を行う。しかし、一つの関数で表
現するには、本の折れ目などを表せないため、ここでは
2つの3次関数が、ある点で繋がっているというモデル
を仮定し、どの程度関数がマッチするか評価する。図6
(a)では、分離点2120を設定した様子を示してい
る。プログラムでは、分岐点を探すために、全ての点で
分離点を設定し、関数当てはめを実施し、正しかったか
どうかを評価し、最も誤差の少なかったものを、正しい
分離点、正しい関数と判定する。図6(b)に関数当て
はめの例を示す。2つの3次関数の合成2121で表現
している。
【0023】図7は、モデル化のフローを示す。モデル
化部212は、K番目の画像距離値を入力し、まず分離
点を設定し、2つの三次関数への当てはめを実施212
2する。実際の入力データと最小二乗誤差を計算212
3し、誤差が所定量以下かチェック2124し、所定量
以下になるまで、分離点設定,関数当てはめ2122,
最小二乗誤差計算2123を繰り返す。誤差が所定量以
下になれば、分離点,関数の係数を決定2125し、平
面修復部213へパラメータを出力する。平面修復部で
は、距離値関数の値に応じて拡大縮小処理を実施し、立
体物表面を平面に変換する。この詳細については、特開
平2000−112210号を参照いただきたい。
【0024】図8は、大画面処理の概念図を示す。平面
修復された複数の画像を張り合わせるのが大画面処理の
機能である。隣接画像を張り合わせる際、まず対応点を
見つける必要がある。図8(a)は、隣接画像を張り合
わせる際、左の画像の中から、右画像と重複部で対応エ
リアの抽出を行う概念図を示す。まず、0列目で、12
8画素 *128画素単位でエリア抽出を行い1列分24
10−2124抽出する。このうちエッジ量が所定量以
上含まれる有効テンプレート2410,2412,24
13を選別する。同様に1列目,n−1列目と評価を進
め、最も有効なテンプレートを含む列が多いものを採用
する。
【0025】次に、図8(b)に示すように、先ほど抽出
した左画像のテンプレート2425,2426と右画像
のマッチングを行い、対応点を検索し、アフィン変換パ
ラメータを算出する。アフィン変換とは、画像の拡大・
縮小,回転などの線形変換動作を示しており、係数が決
定されれば、一意に変換が可能である。図8(c)に、
画像変換の概念図を示している。
【0026】図9は、重なり判定部221のフローを示
している。K番目の平面画像を入力し、特徴点を抽出2
211し、テンプレート列の選別2212を行い、K+
1番目の平面画像と正規化相関2213を行い、対応点
判定2214を行う。その後、アフィン変換の変換係数
を決定し、アフィン変換後、画像を合成する。
【0027】
【発明の効果】本発明によれば、A4サイズのスキャナ
でA3サイズ以上の画像を得ることができ、また本など
の立体物の表面を平面修復できるスキャナを低価格に提
供できる効果がある。
【図面の簡単な説明】
【図1】本発明に係る非接触画像読取システムの一構成
例を示す図である。
【図2】本発明に係る非接触画像読取システムの原稿移
動の概念を示す図である。
【図3】本発明に係る非接触画像読取システムの原稿台
移動の一実施例を示す図である。
【図4】本発明に係る非接触画像読取システムのステレ
オ距離測定の概念を示す図である。
【図5】本発明に係る非接触画像読取システムのステレ
オ距離測定部の詳細ブロック図である。
【図6】本発明に係る非接触画像読取システムのモデル
化の概念を示す図である。
【図7】本発明に係る非接触画像読取システムのモデル
化のフローを示す図である。
【図8】本発明に係る非接触画像読取システムの大画面
処理の概念を示す図である。
【図9】本発明に係る非接触画像読取システムの重なり
判定部のフローを示す図である。
【符号の説明】
2…パソコン(PC)、3…表示部、11…カメラヘッ
ド、12…原稿台、13…基台、14…支柱、15…画
像取得SW、20…インターフェイスケーブル、21…
三次元処理部、22…大画面処理部、211…ステレオ
距離測定部、212…モデル化部、213…平面修復
部、221…重なり判定部、222…変換係数算出部、
223…アフィン変換・合成部。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 1/387 H04N 1/10 5/222 (72)発明者 杉山 健治 愛知県尾張旭市晴丘町池上1番地 株式会 社日立製作所情報機器事業部内 Fターム(参考) 2F065 AA06 AA14 AA20 BB02 BB05 CC02 EE08 FF05 FF67 JJ03 JJ26 MM07 PP02 QQ18 QQ21 QQ24 QQ25 QQ28 QQ31 5B057 AA11 BA02 CD12 CE08 DC02 DC03 DC16 DC34 5C022 CA07 5C072 AA01 BA09 BA10 BA20 LA12 NA02 RA08 RA10 5C076 AA12 AA36 AA40 BA01 BA06

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】画像を読み取るカメラ部と、前記カメラ部
    を支える支柱部と、原稿を置く原稿台とを有する非接触
    画像読取システムにおいて、 前記原稿台を水平方向に移動可能な原稿台としたことを
    特徴とする非接触画像読取システム。
  2. 【請求項2】請求項1の非接触画像読取システムにおい
    て、 前記原稿台を移動させる操作者に読取位置を把握させる
    手段を有することを特徴とする非接触画像読取システ
    ム。
  3. 【請求項3】請求項2の非接触画像読取システムにおい
    て、 前記読取位置を把握させる手段は、インデックスプラン
    ジャーであることを特徴とする非接触画像読取システ
    ム。
  4. 【請求項4】請求項1の非接触画像読取システムにおい
    て、 前記原稿台は、移動動力手段と、異動開始ボタンと、イ
    ンデックスプランジャーとを有し、前記異動開始ボタン
    の一回の押下で、前記移動動力手段により次のインデッ
    クスプランジャーの位置まで移動する移動機構を有する
    ことを特徴とする非接触画像読取システム。
  5. 【請求項5】請求項4の非接触画像読取システムにおい
    て、 移動動力手段は、バネであることを特徴とする非接触画
    像読取システム。
  6. 【請求項6】請求項2の非接触画像読取システムにおい
    て、 前記読取位置を把握させる手段は、読取位置を座標位置
    として表示する座標位置表示手段を有することを特徴と
    する非接触画像読取システム。
  7. 【請求項7】請求項1の非接触画像読取システムにおい
    て、 前記カメラ部で撮影した複数の画像を1枚の画像に合成
    する合成手段を有することを特徴とする非接触画像読取
    システム。
  8. 【請求項8】請求項7の非接触画像読取システムにおい
    て、 前記合成手段は、重なり部分の特徴点を抽出する特徴点
    抽出手段と、画像間の対応点を検索する画像間対応点検
    索手段と、基準画像に合わせて画像を変形する画像変形
    手段とを有することを特徴とする非接触画像読取システ
    ム。
  9. 【請求項9】請求項8の非接触画像読取システムにおい
    て、 前記特徴点抽出手段はエッジ情報の量を用いて重なり部
    分の特徴点を抽出することを特徴とする非接触画像読取
    システム。
  10. 【請求項10】請求項8の非接触画像読取システムにお
    いて、 前記画像間対応点検索手段は少なくとも正規化相関のテ
    ンプレートマッチングを用いることを特徴とする非接触
    画像読取システム。
  11. 【請求項11】請求項8の非接触画像読取システムにお
    いて、 前記画像変形手段は、画像間の対応点情報に基づきアフ
    ィン変換係数を求め、基準画像以外の非接続画像をアフ
    ィン変換することを特徴とする非接触画像読取システ
    ム。
  12. 【請求項12】請求項1の非接触画像読取システムにお
    いて、 前記カメラ部で撮影した複数の画像を用いて前記カメラ
    部から対象物の注目位置までの距離を測定する距離測定
    手段を有することを特徴とする非接触画像読取システ
    ム。
  13. 【請求項13】請求項12の非接触画像読取システムに
    おいて、 前記距離測定手段は、ステレオ測距法を用いる特徴とす
    る非接触画像読取システム。
  14. 【請求項14】請求項12の非接触画像読取システムに
    おいて、 前記距離測定手段による距離データに基づいて表面形状
    をモデル化するモデル化手段と、平面に修復する平面修
    復手段を有することを特徴とする非接触画像読取システ
    ム。
  15. 【請求項15】請求項14の非接触画像読取システムに
    おいて、 前記モデル化手段は表面形状を複数の同一次数関数の組
    み合わせとして仮定し、測定データとの差分を評価し、
    最適なモデルを探索することを特徴とする非接触画像読
    取システム。
  16. 【請求項16】請求項15の非接触画像読取システムに
    おいて、 仮定する関数は、2つの3次関数の組み合わせとするこ
    とを特徴とする非接触画像読取システム。
  17. 【請求項17】請求項15の非接触画像読取システムに
    おいて、 前記平面修復手段は、前記カメラ部からの距離に応じて
    拡大率を制御し合成画像を生成することを特徴とする非
    接触画像読取システム。
  18. 【請求項18】請求項1の非接触画像読取システムにお
    いて、 前記カメラ部で撮影した複数の画像を用いて前記カメラ
    部から対象物の注目位置までの距離を測定し、複数の平
    面修復画像を生成し、前記平面修復画像を1枚の画像に
    合成することを特徴とする非接触画像読取システム。
JP2002125184A 2002-04-26 2002-04-26 非接触画像読取システム Expired - Fee Related JP3931107B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002125184A JP3931107B2 (ja) 2002-04-26 2002-04-26 非接触画像読取システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002125184A JP3931107B2 (ja) 2002-04-26 2002-04-26 非接触画像読取システム

Publications (2)

Publication Number Publication Date
JP2003319145A true JP2003319145A (ja) 2003-11-07
JP3931107B2 JP3931107B2 (ja) 2007-06-13

Family

ID=29539974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002125184A Expired - Fee Related JP3931107B2 (ja) 2002-04-26 2002-04-26 非接触画像読取システム

Country Status (1)

Country Link
JP (1) JP3931107B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008148270A (ja) * 2006-12-11 2008-06-26 Newsoft Technology Corp 固定焦点画像取得装置の合焦を補助するシステムおよび方法
WO2013175550A1 (ja) * 2012-05-21 2013-11-28 ピタフォー・モバイル・エルエルシー 撮像システム、撮像方法、撮像用プログラム及び情報記録媒体
KR20160078617A (ko) * 2014-12-24 2016-07-05 전자부품연구원 단일 카메라 기반의 대상물 검출 시스템 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5684653B2 (ja) 2011-06-13 2015-03-18 株式会社Pfu 画像読取装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008148270A (ja) * 2006-12-11 2008-06-26 Newsoft Technology Corp 固定焦点画像取得装置の合焦を補助するシステムおよび方法
JP4512108B2 (ja) * 2006-12-11 2010-07-28 力新国際科技股▲ふん▼有限公司 固定焦点画像取得装置の合焦を補助するシステムおよび方法
WO2013175550A1 (ja) * 2012-05-21 2013-11-28 ピタフォー・モバイル・エルエルシー 撮像システム、撮像方法、撮像用プログラム及び情報記録媒体
JPWO2013175550A1 (ja) * 2012-05-21 2016-01-12 ピタフォー モバイル エルエルシー 撮像システム、撮像方法、撮像用プログラム及び情報記録媒体
KR20160078617A (ko) * 2014-12-24 2016-07-05 전자부품연구원 단일 카메라 기반의 대상물 검출 시스템 및 방법
KR101972819B1 (ko) * 2014-12-24 2019-08-19 전자부품연구원 단일 카메라 기반의 대상물 검출 시스템 및 방법

Also Published As

Publication number Publication date
JP3931107B2 (ja) 2007-06-13

Similar Documents

Publication Publication Date Title
US6535650B1 (en) Creating high resolution images
US5581637A (en) System for registering component image tiles in a camera-based scanner device transcribing scene images
US6633303B2 (en) Method, system and record medium for generating wide-area high-resolution image
US20050163396A1 (en) Captured image projection apparatus and captured image correction method
JP4010754B2 (ja) 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体
JP4115117B2 (ja) 情報処理装置および方法
TW468331B (en) Non-contact image reading device and the system using the same
WO2006004043A1 (ja) 広視野画像入力方法及び装置
US20110141319A1 (en) Image capturing apparatus and image processing apparatus
WO2006054598A1 (ja) 顔特徴照合装置、顔特徴照合方法、及びプログラム
CN106713740B (zh) 定位跟踪摄像方法与系统
JPH11136575A (ja) 撮像装置及び撮像画像合成方法
US5909521A (en) Multi-shot still image reader
JP2005049999A (ja) 画像入力装置、画像入力方法、この方法を情報処理装置上で実行可能に記述されたプログラム、及びこのプログラムを記憶した記憶媒体
JP2003319145A (ja) 非接触画像読取システム
JP2003296708A (ja) データ処理方法、データ処理プログラムおよび記録媒体
Alby et al. Low cost solutions for dense point clouds of small objects: Photomodeler Scanner vs. David Laserscanner
US20040252381A1 (en) Documentation camera and method of controlling operation thereof
JP3109580B2 (ja) 画像入力装置および画像入力装置の画像処理プログラムを記録したコンピュータが読み取り可能な記録媒体
JP3730450B2 (ja) 画像入力装置および画像入力方法
Galarza et al. Time-of-flight sensor in a book reader system design for persons with visual impairment and blindness
CN108916592A (zh) 一种图像处理设备支架
JP2005038021A (ja) 画像処理装置、画像入力装置、画像処理方法、および画像処理方法をコンピュータで実行するプログラム
JP2006113001A (ja) 写真測量による3次元計測方法及び装置
JP3191659B2 (ja) 画像入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041122

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051024

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060510

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070312

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees