JP2002152485A - 撮像装置、撮像画像の合成方法、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体及び撮像システム - Google Patents
撮像装置、撮像画像の合成方法、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体及び撮像システムInfo
- Publication number
- JP2002152485A JP2002152485A JP2000339448A JP2000339448A JP2002152485A JP 2002152485 A JP2002152485 A JP 2002152485A JP 2000339448 A JP2000339448 A JP 2000339448A JP 2000339448 A JP2000339448 A JP 2000339448A JP 2002152485 A JP2002152485 A JP 2002152485A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- divided
- unit
- imaging unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
- H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
- H04N1/195—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3876—Recombination of partial images to recreate the original image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/48—Increasing resolution by shifting the sensor relative to the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/04—Scanning arrangements
- H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
- H04N2201/0414—Scanning an image in a series of overlapping zones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/04—Scanning arrangements
- H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
- H04N2201/0436—Scanning a picture-bearing surface lying face up on a support
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Input (AREA)
Abstract
を精度よく合成することのできる撮像装置を提供する。 【解決手段】 結像部10の停止位置を画素ピッチと同
じオーダーで検出し、結像部10の停止位置のずれ量か
ら、撮像した分割画像のずれ量を求め、各分割画像毎
に、そのずれ量に基づいて正規のアドレスに変換するよ
うに構成した。
Description
数の部分に分割して撮像し、各部分の撮影画像を合成し
て、被写体全体の画像を得る撮像装置、撮像画像の合成
方法、画像処理プログラムを記録したコンピュータ読み
取り可能な記録媒体及び撮像システムに関する。
的として、撮像センサと撮影レンズとを用いて被写体の
光像を複数の部分に分割して撮影した後、得られた分割
画像を被写体全体の画像に合成する機能を備えた撮像装
置が広く知られている。
いては、当該装置に備えられる各部材や機構の取付位置
のずれ等によって、撮像センサと撮影レンズの相対位置
がずれ、これにより、各分割画像にずれが発生し、各分
割画像がその境界部分で重なったり、その境界部分に隙
間が生じたりする場合がある。そのため、高品質な合成
画像が得られるように、分割画像を合成する際に、上記
のような分割画像のずれをできるだけ低減し、各分割画
像間で精度よく位置合わせを行う技術が求められてい
る。
画像間で精度よく位置合わせを行うことを目的として、
走査面上に補正用パターンが描かれた補正基準チャート
を原稿台に配置し、この補正基準チャートの補正用パタ
ーンを原稿とともに撮影して、この撮影された補正用パ
ターンを用いて各分割画像の位置を合わせる技術が開示
されている。
にあっては、原稿台に補正基準チャートを配置する分、
装置の構成が大型化することになる。また、原稿の大き
さによっては上記のスケールが覆われて隠れてしまい、
補正パターンを原稿とともに撮影することができなくな
るという場合が生じる。
り、撮像装置の大型化を回避しつつ、各分割画像を精度
よく合成することのできる撮像装置、撮像画像の合成方
法、画像処理プログラムを記録したコンピュータ読み取
り可能な記録媒体及び撮像システムを提供することを目
的とする。
は、被写体像を光電変換する撮像手段と、上記撮像手段
に被写体像を結像する結像手段とを備え、上記結像手段
及び撮像手段を用いて上記被写体像を複数の部分に分割
して撮像する撮像装置において、上記結像手段と撮像手
段の相対位置に関する情報を検出する情報検出手段と、
上記情報検出手段により検出された情報を用いて各分割
画像を位置合わせして合成する合成手段とを備えること
を特徴とする。
変換する撮像手段と、上記撮像手段に被写体像を結像す
る結像手段と、被写体像を複数の停止位置に位置させる
べく上記撮像手段に結像する被写体像を移動させる走査
手段と、上記走査手段及び撮像手段を制御して、被写体
像を複数の部分に分割して撮像させる制御手段と、上記
被写体像の実際の停止位置を検出する情報検出手段と、
上記情報検出手段により検出された情報を用いて各分割
画像を位置合わせして合成する合成手段とを備えること
を特徴とする。
2に記載の撮像装置において、上記合成手段は、上記情
報検出手段により検出された情報を用いて、各分割画像
毎に撮影画面内の正規の撮像位置からのずれ量を算出す
るずれ量算出手段と、その算出されたずれ量に基づいて
各分割画像間の境界部分の位置を合わせる位置合わせ手
段と、位置合わせ後の各分割画像を、それぞれ境界部分
で貼り合わせるように合成する画像合成手段とを有する
ことを特徴とする。
の撮像手段に光像を結像する結像手段を備えた撮像装置
によって複数の部分に分割して撮像された各分割画像
と、上記撮像手段及び結像手段との相対位置のずれに関
する情報とを用いて、各分割画像をその境界部分の位置
を合わせて全体画像に合成する撮像画像の合成方法であ
って、上記情報を用いて、各分割画像毎に撮影画面内の
正規の撮像位置からのずれ量を算出し、その算出された
ずれ量に基づいて各分割画像間の境界部分の位置を合わ
せ、位置合わせ後の各分割画像を、それぞれ境界部分で
貼り合わせるように合成することを特徴とする。
の撮像手段に光像を結像する結像手段を備えた撮像装置
によって複数の部分に分割して撮像された各分割画像
と、上記撮像手段及び結像手段との相対位置のずれに関
する情報とを用いて、各分割画像をその境界部分の位置
を合わせて全体画像に合成する画像処理プログラムを記
録したコンピュータ読み取り可能な記録媒体において、
上記情報を用いて、各分割画像毎に撮影画面内の正規の
撮像位置からのずれ量を算出するステップと、その算出
されたずれ量に基づいて各分割画像間の境界部分の位置
を合わせるステップと、位置合わせ後の各分割画像を、
それぞれ境界部分で貼り合わせるように合成するステッ
プとを有することを特徴とする。
変換する撮像手段と、上記撮像手段に被写体像を結像す
る結像手段と、上記結像手段と撮像手段の相対位置に関
する情報を検出する情報検出手段とを備え、上記結像手
段及び撮像手段を用いて上記被写体像を複数の部分に分
割して撮像する撮像装置と、上記情報検出手段により検
出された情報を用いて各分割画像を位置合わせして合成
する画像合成装置とを備えることを特徴とする。
変換する撮像手段と、上記撮像手段に被写体像を結像す
る結像手段と、被写体像を複数の停止位置に位置させる
べく上記撮像手段に結像する被写体像を移動させる走査
手段と、上記走査手段及び撮像手段を制御して、被写体
像を複数の部分に分割して撮像させる制御手段と、上記
被写体像の実際の停止位置を検出する情報検出手段とを
備える撮像装置と、上記情報検出手段により検出された
情報を用いて各分割画像を位置合わせして合成する画像
合成装置とから構成されていることを特徴とする。
それぞれ次のような作用が得られる。
及び結像手段を用いて被写体像が複数の部分に分割して
撮像されると、情報検出手段により、結像手段と撮像手
段の相対位置に関する情報が検出される。そして、合成
手段により、上記情報検出手段によって検出された情報
を用いて各分割画像が位置合わせされて合成される。
により、上記撮像手段に結像される被写体像が移動さ
れ、制御手段により、被写体像の移動が順次停止され、
その停止位置で撮像手段に撮像動作を行わせることによ
り上記被写体像が複数の部分に分割して撮像される。そ
の際、情報検出手段により、被写体像の実際の停止位置
がそれぞれ検出される。その後、合成手段により、上記
情報検出手段によって検出された情報を用いて各分割画
像が位置合わせされて合成される。
手段により、情報検出手段により検出された情報を用い
て、各分割画像毎に撮影画面内の正規の撮像位置からの
ずれ量が算出され、その算出されたずれ量に基づいて各
分割画像間の境界部分の位置が合わされ、位置合わせ後
の各分割画像がそれぞれ境界部分で貼り合わせるように
合成される。
媒体に記録された画像処理プログラムをコンピュータに
読み取らせることにより、そのコンピュータで、撮像手
段及び結像手段との相対位置のずれに関する情報を用い
て、各分割画像毎に撮影画面内の正規の撮像位置からの
ずれ量を算出するずれ量算出処理と、その算出されたず
れ量に基づいて各分割画像間の境界部分の位置を合わせ
る位置合わせ処理と、位置合わせ後の各分割画像を、そ
れぞれ境界部分で貼り合わせるように合成する画像合成
処理とが行われる。
内において、結像手段及び撮像手段により被写体像が複
数の部分に分割して撮像され、情報検出手段により、上
記結像手段と撮像手段の相対位置に関する情報が検出さ
れる。そして、画像合成装置内において、上記情報検出
手段により検出された情報を用いて各分割画像が位置合
わせされて合成される。
内において、走査手段により、撮像手段に結像される被
写体像が移動されるとともに、制御手段により、被写体
像の移動が順次停止して撮像され、被写体像が複数の部
分に分割して撮像される。その際、情報検出手段によ
り、実際の停止位置が検出される。そして、画像合成装
置内において、上記情報検出手段により検出された情報
を用いて各分割画像が位置合わせして合成される。
態について説明する。
撮像装置1は、原稿(被写体)Qを載置する際の基準位
置を示すL字型のストッパ部2と、このストッパ部2の
適所から立設されたアーム部3と、このアーム部3の上
端部に設けられたヘッド部4とを有し、上記ストッパ部
2に沿って載置された原稿Qの像を、上記ヘッド部4に
設けられた後述の結像部10、撮像部20、走査部30
により縦横それぞれ2分割して分割像Q1〜Q4を順に撮
像し、その後、撮像した各分割画像Q1’〜Q4’を1つ
の全体画像に合成するように構成されている。
Q4がずれて撮像された場合でも各分割画像Q1’〜
Q4’が欠損しないように、各分割像Q1〜Q4に対し縦
横それぞれ所定の幅2wだけ余分に多く撮像するように
なっている(以下、この余分に撮像する領域を重ね代T
という)。したがって、撮像装置1による撮影動作にお
いて誤差が生じなければ、図2(b)に示すように、各
分割画像Q1’〜Q4’はそれぞれ対応する撮像領域の中
央に位置することになり(以下、この位置を正規の位置
という)、撮影動作に誤差が生じれば、各分割画像
Q1’〜Q4’は、上記の中央位置からずれることにな
る。
0及び走査部30の斜視図である。
スレンズ(図示せず)からなり、図4に示すように、被
写体Qの光像を結像部10の上方位置に配設された撮像
部20の撮像面上に結像させるものである。結像部10
は、上記の各レンズがモータ15(図10参照)によっ
て駆動されることで、撮影倍率や焦点位置の変更・調節
を行うように構成されている。
たCCDカラーエリアセンサ(以下、CCDと略称す
る。)からなり、結像部10により結像された被写体Q
の光像を、R(赤),G(緑),B(青)の色成分の画
像信号(各画素で受光された画素信号の信号列からなる
信号)に光電変換して出力するものである。なお、上記
撮像部20は、長方形状の撮像領域を備えたCMOS型
のカラーエリアセンサ等で構成されているものであって
もよい。
3と、アクチュエータ34とを有する。
像部10に外嵌する略円筒形状の部材とされ、軸受32
を介してヘッド部4の内壁部(図示せず)に相対回転自
在に支持されている。その場合に、結像部10は、ロー
タ31の軸心位置から偏心した位置に内嵌しているの
で、軸心方向から見たときの結像部10の移動軌跡は、
ロータ31の軸心位置を中心とする円形状となり、図4
に示すように、撮像部20の配設位置を円錐体Sの頂点
とすると、結像部10はその円錐体Sの底面上を移動す
ることになる。したがって、このことを利用し、軸Lを
中心にしてロータ31を回転させて、後述の各停止位置
で結像部10に撮像動作を行わせることにより、位置の
異なる上記各分割像Q1〜Q4を撮像することができる。
N極とが所定のピッチで交互に着磁された磁界発生部3
1bとされているとともに、下側の軸受32の上面適所
にMR素子33が取り付けられており、このMR素子3
3と磁界発生部31bとを用いてロータ31の回転角度
を撮像部20の画素ピッチと同等のオーダーで検出する
ようになっている。
回転軸Lを中心に回転させるアクチュエータ34が配設
されている。このアクチュエータ34によりロータ31
が回転駆動されると、磁界発生部31bの回転によりM
R素子33を通過する磁力線の方向及びその密度が、M
R素子33に対向する磁界発生部31bの磁極に応じて
変化し、MR素子33の電気抵抗が変化することから、
MR素子33に通電してその両端の電圧の変化を検出
し、MR素子33の近傍を通過した磁極の個数を検出す
ることで、ロータ31の回転角度を算出するようになっ
ている。図5に示すように、結像部10の位置におい
て、位置アは、基準位置(初期位置)オから角度θ1だ
け回転したときの位置、位置イは、基準位置オから角度
θ2だけ回転したときの位置、位置ウは、基準位置オか
ら角度θ3だけ回転したときの位置、位置エは、基準位
置オから角度θ4だけ回転したときの位置であり、撮像
装置1は、結像部10が各位置ア〜エに到達したときに
撮像動作を行う。
が、例えば、直交して配置された2本の圧電素子と、そ
の交点に設けられ、ロータ31の周面に接触するチップ
部材と、上記各圧電素子を固定するベース部材とから構
成されている。上記圧電素子に所定の正弦波信号を入力
することにより、チップ部材に楕円運動を行わせ、アク
チュエータ34を所定の圧力でロータ31に押し付ける
ことにより、チップ部材の回転運動をロータ31に伝達
し、ロータ31を回転させるようになっている。
明する。
図5に示すように、アクチュエータ34によりロータ3
1を矢印カの方向に回転駆動する。上記磁界発生部31
bとMR素子33とを用いて結像部10が基準位置オに
位置するときの状態からの回転角度を検出し、回転角度
θ1だけ回転したときに、ロータ31を停止させて分割
像Q1を撮像する(図6)。そして、再度ロータ31を
回転させ、回転角度θ2だけ回転したときに、ロータ3
1を停止させて分割像Q2を撮像する(図7)。再度ロ
ータ31を回転させ、回転角度θ3だけ回転したとき
に、ロータ31を停止させて分割像Q3を撮像する(図
8)。再度ロータ31を回転させ、回転角度θ4だけ回
転したときに、ロータ31を停止させて分割像Q4を撮
像する(図9)。
1〜Q4を撮像する際、所定の重ね代Tを設けて撮像す
る。図6〜9の網線部分は、その重ね代Tの領域を示
す。なお、点A,点B,点C,点Dは、各分割像Q1〜
Q4の中心であり、正規の位置で撮像されたときの原稿
上での光軸の位置である。また、図5において、点a,
点b,点c,点dは、結像部10が各位置ア〜エに位置
するときの光軸の位置である。
て説明する。
である。
力される画像信号(アナログ信号)に所定のアナログ信
号処理を施すものである。信号処理部40は、画像信号
のノイズの低減を行なうと共に、画像信号のレベル調整
を行なう。
力された画像信号の各画素信号(アナログ信号)をディ
ジタル信号に変換するものである。
りA/D変換された画素信号(以下、画素データとい
う。)の黒レベルを基準の黒レベルに補正し、R
(赤),G(緑),B(青)各色成分の画素データのレ
ベル変換を行ない、画素データのγ特性を補正するもの
である。
及びMR素子33からなり、ロータ31の回転角度を検
出するものである。
ートボタン等からなる。
0の各レンズを駆動するモータ15の駆動制御を行うも
のである。
と、駆動制御部102と、走査制御部103と、停止位
置記憶部104と、誤差算出部105とを有する。
種設定ボタン等の操作を検出するものである。
するモータ15の回転動作を制御するものである。
動するアクチュエータ34の動作を制御して、結像部1
0を各位置ア〜エに順に移動・停止させるものである。
1’〜Q4’が各撮像領域の中央に位置する(図11
(a)の点線)ように撮像されるのが理想的であるが、
当該装置1に備えられる各部材・機構の取付位置のずれ
等によって撮像部20に対する結像部10の相対位置が
ずれることにより、図11(a)の実線で示すように、
各分割画像が正規の位置からずれる場合がある。
際の停止位置を記憶するものである。
104により記憶された結像部10の実際の停止位置
が、上記の正規の停止位置に対してどれだけずれている
か(ずれ量)を算出するものである。
の各部に生じるずれの関係を示す図である。
位置を矢印アで示す。このとき、光軸は撮像領域Mの中
心点Aを通り、撮像領域Mを撮像するものとする。ま
た、結像部10が正規の位置からずれて停止したときの
位置を矢印イで示す。このとき、光軸は上記中心点Aか
らずれた点A’を通り、撮像領域M’を撮像するものと
する。矢印ウで示す実線は、結像部10の光軸の移動軌
跡であり、点Oは、この移動軌跡の中心である。この点
Oを中心として、撮像領域Mの短辺方向にX軸、長辺方
向にY軸をそれぞれ設定するものとする。また、ロータ
31の半径をrd,結像部10の回転半径をrm,撮影倍
率を1/m(m>1)とする。そして、結像部10の光
軸の位置がEr(X−X’間)だけずれたことにより、
位置検出部70により検出される検出値に誤差Ed(Y
−Y’間)が生じ、光軸が原稿面上でEi(A−A’
間)だけずれたものとする。
は相似の関係にあるから、 rm:Er=rd:Ed …(1) が成り立ち、結像部10の光軸の位置誤差Erは、 Er=Ed×(rm/rd) …(2) となる。
A’とは相似の関係にあるから、 rm:Er=rm×m:Ei …(3) が成り立ち、撮影画像の位置誤差Eiは、 Ei=Er×m=Edm×(rm/rd) …(4) となる。
ixとY軸方向の成分Eiyとを求めるため、図12(b)
に示すように、上記点A’の位置を、点Aから当該点A
における接線P方向であって、かつ上記点Aの位置から
上記位置誤差Eiだけ左斜め下方向の位置A”と近似
し、上記接線PとX軸とのなす角度を角度θ(小さい
方)とする。撮影画像のX方向及びY方向の位置誤差E
ix,Eiyは、 Eix=Eicosθ=Edmcosθ×(rm/rd) …(5) Eiy=Eisinθ=Edmsinθ×(rm/rd) …(6) となる。誤差Edは、検出値であり、撮影倍率の逆数
m,接線PとX軸とのなす角度θ,結像部10の回転半
径rm,ロータ31の半径rdは既定値である。
算出し、上記演算式(5),(6)にEd,m,θ,
rm,rdの値を代入して演算することにより、X方向の
位置誤差EixとY方向の位置誤差Eiyとを算出する。
撮像された各分割画像Q1’〜Q4’を1つの全体画像に
合成するものである。画像合成部110は、画像データ
を記憶するメモリ110a〜110dを備え、各停止位
置ア〜エで撮像された分割画像Q1’〜Q4’の画像デー
タを記憶する。
割画像Q1’〜Q4’についてそれぞれずれ量(Eix,E
iy)が算出されると、図11(b)に示すように、各メ
モリ110a〜110dに記憶されている分割画像
Q1’〜Q4’の画像データについて、各画素データのア
ドレスをそのずれ量(Eix,Eiy)分だけ変換し、この
アドレス変換後の各画素データを再度メモリ110a〜
110dに格納する。その後、図11(c)に示すよう
に、各分割画像Q1’〜Q4’を1つの全体画像に合成す
る。
70の検出精度は、撮像部20の画素ピッチと同等とさ
れていることから、上記画素データのアドレス変換によ
り、画素ピッチと同等のオーダーで各分割画像のずれを
補正することになる。
のフローチャートにしたがって説明する。
示がなされる(ステップ♯1)と、ズームレンズ及びフ
ォーカスレンズが駆動されて撮影倍率やピントが調節さ
れた後(ステップ♯2)、ロータ31が1回転駆動さ
れ、このとき、各停止位置が記憶される(ステップ♯
3,4)。
テップ♯5)と、撮影のためのロータ31の回転駆動が
開始される(ステップ♯6)。そして、結像部10が各
停止位置ア〜エで順に停止され、被写体の分割像Q1〜
Q1が撮像・記憶され(ステップ♯7)、全ての分割像
Q1〜Q4の撮影が終了する(ステップ♯6でYES)
と、各分割画像Q1’〜Q4’を1つの全体画像に合成す
る上記の画像合成処理が行われ(ステップ♯9)、所定
の外部装置に出力される(ステップ♯10)。
いては、結像部10の停止位置を画素ピッチと同じオー
ダーで検出し、結像部10の停止位置のずれ量から、撮
像した分割画像のずれ量を求め、各分割画像毎に、その
ずれ量に基づいて正規のアドレスに変換してから各分割
画像Q1’〜Q4’をつなぎ合わせるように構成したか
ら、各分割画像Q1’〜Q4’がずれて撮像されても、そ
れらの分割画像Q1’〜Q4’を高精度に合成することが
できる。また、原稿の他に所定のパターンを一緒に撮影
して位置合わせを行うように構成された従来の撮像装置
に比べて、上記所定のパターンが描かれた部材が不用と
なる分、撮像装置の構成が大型化するのを回避すること
ができる。
装置について説明する。本実施形態に係る撮像装置は、
上記第1実施形態に対し主に画像合成処理が異なり、そ
の他の部分については略同様であるから、上記画像合成
処理についてのみ説明し、その他の部分については説明
を省略するものとする。
70の検出精度が画素ピッチより大きい(位置検出部7
0が画素ピッチより低い分解能で検出する)構成とされ
たものである。この構成の場合、第1実施形態と同様
に、上記位置検出部70による検出値に基づいてずれ量
を算出し、このずれ量分だけアドレス変換して各分割画
像Q1’〜Q4’を合成したとしても、この算出されたず
れ量に画素ピッチ以上の誤差があるため、各分割画像Q
1’〜Q4’間に依然として1画素ピッチ以上のずれが残
る場合がある。本撮像装置は、位置検出部70の検出精
度が画素ピッチより大きくても、画素ピッチと同等のオ
ーダーで各分割画像Q1’〜Q4’を合成することができ
るように、上記位置検出部70による検出値に基づいて
算出したずれ量Eiを用い、次に示すような方法で各分
割画像Q1’〜Q4’の画像合成処理を行うようになって
いるところに特徴がある。なお、上記第1実施形態にお
いては、重ね代Tは、単に、ずれが生じても撮影画像に
欠損が生じないようにするためのものであるが、本実施
形態においては、この重ね代Tの画像データを用いて画
像合成処理を行うようになっている。
る画像合成処理を示すフローチャートである。
撮像が終了されると、各分割画像Q 1’〜Q4’について
それぞれ誤差Ein(以下、ずれ量Einという)が算出さ
れる(ステップ♯101)。そして、図15に示すよう
に、第1撮影画像の重ね代Tから、輝度段差などの特徴
点GAが抽出される(ステップ♯102)。
述したようにこの値には誤差を有する)を用いて上記特
徴点GAに対応する第2撮影画像上の点GBを探索する領
域を限定する。図15に示すように、上記特徴点GAの
第1撮影画像Q1におけるアドレスを(X1,Y1)、正
規の位置で撮像された場合の点GBの第2撮影画像にお
けるアドレスを(X2,Y2)とする。このとき、位置検
出部70の検出精度をnとすると、上記点GBは、アド
レス(X2+Eix,Y2+Eiy)を中心とする2n四方の
領域に存在するから、特徴点GBの存在する領域がこの
2n四方の領域に設定される(ステップ♯103)。
割画像Q2’のアドレス(X2+Eix,Y2+Eiy)を中
心とする2n四方の各画素に対し、X方向及びY方向に
一画素ずつそれぞれずらしながら上記特徴点GAに対応
する点が探索される(ステップ♯104)。具体的に
は、例えば、図17(b)に示すように、まず、第2撮
影画像における探索領域の左上の画素を注目画素とす
る。そして、この注目画素を中心とする例えば9つの画
素と、(a)に示すように、上記第1撮影画像における
特徴点GAを中心とする9つの画素との一致度が相関演
算により算出される。そして、(c)に示すように、探
索範囲内の画素を順に注目画素とおいて、各注目画素の
一致度が算出され、一致度が最も高い画素が上記特徴点
GAに対応する画素とされる。なお、図16,17にお
いて、最小の四角形は画素を表す。
関係に基づいて、第2撮影画像の位置ずれを補正した
後、両分割画像が合成される。以上の処理を分割画像Q
2’−Q3’間、 Q3’−Q4’間、 Q1’−Q4’間につ
いても行うことにより、1つの全体画像に合成される
(ステップ♯106)。
によって、次のような作用が得られる。
利用せずに分割画像Q1’−Q2’間の位置合わせを行う
場合には、次のように探索する必要がある。例えば、図
17に示すように、各分割像Q1,Q2の周囲に幅10
(mm)の重ね代Tを設けて撮像しようとしたが、第1
分割画像Q1’が左に10(mm)ずれ(右端に20m
mの重ね代)、第2分割画像Q2’が右に10(mm)
ずれた(左端に20mmの重ね代)とき(つまり、図1
7における横方向において第1、第2分割画像Q 1’,
Q2’が互いに反対側にずれたとき)には、第1分割画
像Q1’の右端部E1と第2撮影画像の左端部E2とが横
方向に一致する状態(a)と、第1分割画像Q1’の右
端部E1と第2分割画像Q2’の左端部E3とが横方向に
一致する状態(b)との間で横方向に移動させて探索す
る必要がある。したがって、横方向の探索範囲が、20
(mm)となる。また、図示しないが、上記の横方向と
同様に、縦方向において、両分割画像Q1’,Q2’が反
対側にずれている場合の探索範囲も、20(mm)とな
る。したがって、両分割画像が横方向及び縦方向にそれ
ぞれ反対側にずれているときには、20(mm)四方を
探索する必要がある。
置を上記のように推定することにより、その位置の周辺
で特徴点を探索すればよく、探索すべき領域を狭い領域
に限定することができ、その限定された領域内で特徴点
を探索すればよい。例えば、位置検出部70の検出精度
nがn=1(mm)(>画素ピッチ)であるとすると、
上述したように、探索範囲は2×1=2(mm)とな
る。したがって、本実施形態の画像合成処理により、探
索範囲は、この例で言うと(2/20)2=1/100
に減少することになる。
画素ピッチより低い場合であっても、探索領域、延いて
は処理時間を短縮しながら、画素ピッチと同等のオーダ
ーで各分割画像を合成することができる。また、原稿の
他に所定のパターンを一緒に撮影して位置合わせを行う
ように構成された従来の撮像装置に比べて、上記所定の
パターンが描かれた部材が不用となる分、撮像装置の構
成が大型化するのを回避することができる。さらに、被
写体像が複数の同一パターンからなる場合(同様の特徴
点が複数ある場合)には、各分割画像が誤って位置合わ
せされるのを回避することができる。
以下のような変形形態を採用し得る。 (1)上記実施形態においては、撮影画像の位置誤差E
iを上記各演算式により演算して算出するように構成さ
れているが、停止位置の誤差Edをパラメータとする上
記位置誤差Eiについてのテーブルを予め用意しておい
てもよい。これにより、上記第1実施形態における画像
合成処理に比べて、演算に要する時間を省略できる分、
さらに処理時間を短縮することができる。 (2)位置検出部70の精度を高めて画素ピッチより小
さい分解能で位置誤差を検出し、画素データの重なり度
合いに応じて画素値に重みを付け、各画素毎に平均化す
ることにより、画素ピッチより小さなオーダーで分割画
像の位置合わせができ、より高い画像品質で撮像するこ
とができる。位置検出部70の精度を高める方法とし
て、例えば、磁界発生部31bに着磁された磁極のピッ
チを細かくしたり、検出値をサインカーブで内挿するな
どの方法が採用可能である。 (3)本発明は、上記各実施形態のように、撮像部20
に対し結像部10を相対的に移動させて各分割像を撮像
する装置に限らず、例えば、分割像毎に撮像部20及び
結像部10が固定的に設けられているような撮像装置に
おいても採用可能である。 (4)上記実施形態では、結像光学系を移動させること
により被写体像を走査するように構成されているが、こ
れに限らず、被写体像をミラー(走査手段の一例)で走
査して撮像部に撮像される領域を変更することにより、
被写体像を複数の部分に分割して撮影する構成、及び、
光学系と撮像部とを一体化したユニットを回転させるこ
とにより、撮影方向を変更して分割撮影する構成にも本
発明は適用可能である。なお、走査手段は、上記のミラ
ーに限らず、撮像部に撮像される領域を変更することが
できるものであれば他のものでもよい。 (5)上記実施形態では、撮像装置内で分割画像の貼り
合わせ処理、すなわち各分割画像毎に撮影画面内の正規
の撮像位置からのずれ量を算出するずれ量算出処理と、
その算出されたずれ量に基づいて各分割画像間の境界部
分の位置を合わせる位置合わせ処理と、位置合わせ後の
各分割画像を、それぞれ境界部分で貼り合わせるように
合成する画像合成処理とを行うように構成されている
が、分割画像と停止位置情報とを例えばパソコン等の外
部装置へ出力し、外部装置で分割画像の貼り合わせ処理
を行うように構成してもよい。この場合、例えば、撮像
装置内で撮像手段及び結像手段との相対位置のずれに関
する情報を検出し、その情報を用いて上記貼り合わせ処
理を行うプログラムをCD−ROM等の記録媒体に記録
しておき、外部装置でこの記録媒体からプログラムを読
み出して上記貼り合わせ処理を実行するように構成する
とよい。
相対位置に関する情報を検出し、この検出した情報を用
いて各分割画像を位置合わせして合成するように構成し
たから、各分割画像を精度よく合成することができると
ともに、従来のように、原稿の他に撮影するパターンを
有する部材が不用となる分、撮像装置の構成が大型化す
るのを回避することができる。
体斜視図である。
ある。
る。
る。
る。
を説明するための説明図である。
る。
すフローチャートである。
すフローチャートである。
合成処理を説明するための説明図である。
合成処理を説明するための説明図である。
合成処理を説明するための説明図である。
合の問題点を説明するための説明図である。
Claims (7)
- 【請求項1】 被写体像を光電変換する撮像手段と、 上記撮像手段に被写体像を結像する結像手段とを備え、 上記結像手段及び撮像手段を用いて上記被写体像を複数
の部分に分割して撮像する撮像装置において、 上記結像手段と撮像手段の相対位置に関する情報を検出
する情報検出手段と、 上記情報検出手段により検出された情報を用いて各分割
画像を位置合わせして合成する合成手段とを備えること
を特徴とする撮像装置。 - 【請求項2】 被写体像を光電変換する撮像手段と、 上記撮像手段に被写体像を結像する結像手段と、 被写体像を複数の停止位置に位置させるべく上記撮像手
段に結像する被写体像を移動させる走査手段と、 上記走査手段及び撮像手段を制御して、被写体像を複数
の部分に分割して撮像させる制御手段と、 上記被写体像の実際の停止位置を検出する情報検出手段
と、 上記情報検出手段により検出された情報を用いて各分割
画像を位置合わせして合成する合成手段とを備えること
を特徴とする撮像装置。 - 【請求項3】 上記合成手段は、上記情報検出手段によ
り検出された情報を用いて、各分割画像毎に撮影画面内
の正規の撮像位置からのずれ量を算出するずれ量算出手
段と、 その算出されたずれ量に基づいて各分割画像間の境界部
分の位置を合わせる位置合わせ手段と、 位置合わせ後の各分割画像を、それぞれ境界部分で貼り
合わせるように合成する画像合成手段とを有することを
特徴とする請求項1または2に記載の撮像装置。 - 【請求項4】 撮像手段及びこの撮像手段に光像を結像
する結像手段を備えた撮像装置によって複数の部分に分
割して撮像された各分割画像と、上記撮像手段及び結像
手段との相対位置のずれに関する情報とを用いて、各分
割画像をその境界部分の位置を合わせて全体画像に合成
する撮像画像の合成方法であって、 上記情報を用いて、各分割画像毎に撮影画面内の正規の
撮像位置からのずれ量を算出し、 その算出されたずれ量に基づいて各分割画像間の境界部
分の位置を合わせ、 位置合わせ後の各分割画像を、それぞれ境界部分で貼り
合わせるように合成することを特徴とする撮像画像の合
成方法。 - 【請求項5】 撮像手段及びこの撮像手段に光像を結像
する結像手段を備えた撮像装置によって複数の部分に分
割して撮像された各分割画像と、上記撮像手段及び結像
手段との相対位置のずれに関する情報とを用いて、各分
割画像をその境界部分の位置を合わせて全体画像に合成
する画像処理プログラムを記録したコンピュータ読み取
り可能な記録媒体において、 上記情報を用いて、各分割画像毎に撮影画面内の正規の
撮像位置からのずれ量を算出するステップと、 その算出されたずれ量に基づいて各分割画像間の境界部
分の位置を合わせるステップと、 位置合わせ後の各分割画像を、それぞれ境界部分で貼り
合わせるように合成するステップとを有する画像処理プ
ログラムを記録したコンピュータ読み取り可能な記録媒
体。 - 【請求項6】 被写体像を光電変換する撮像手段と、上
記撮像手段に被写体像を結像する結像手段と、上記結像
手段と撮像手段の相対位置に関する情報を検出する情報
検出手段とを備え、上記結像手段及び撮像手段を用いて
上記被写体像を複数の部分に分割して撮像する撮像装置
と、 上記情報検出手段により検出された情報を用いて各分割
画像を位置合わせして合成する画像合成装置とを備える
ことを特徴とする撮像システム。 - 【請求項7】 被写体像を光電変換する撮像手段と、上
記撮像手段に被写体像を結像する結像手段と、被写体像
を複数の停止位置に位置させるべく上記撮像手段に結像
する被写体像を移動させる走査手段と、上記走査手段及
び撮像手段を制御して、被写体像を複数の部分に分割し
て撮像させる制御手段と、上記被写体像の実際の停止位
置を検出する情報検出手段とを備える撮像装置と、 上記情報検出手段により検出された情報を用いて各分割
画像を位置合わせして合成する画像合成装置とから構成
されていることを特徴とする撮像システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000339448A JP4182638B2 (ja) | 2000-11-07 | 2000-11-07 | 撮像装置、撮像画像の合成方法、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体及び撮像システム |
US09/981,700 US7184091B2 (en) | 2000-11-07 | 2001-10-17 | Method for connecting split images and image shooting apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000339448A JP4182638B2 (ja) | 2000-11-07 | 2000-11-07 | 撮像装置、撮像画像の合成方法、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体及び撮像システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002152485A true JP2002152485A (ja) | 2002-05-24 |
JP4182638B2 JP4182638B2 (ja) | 2008-11-19 |
Family
ID=18814518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000339448A Expired - Fee Related JP4182638B2 (ja) | 2000-11-07 | 2000-11-07 | 撮像装置、撮像画像の合成方法、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体及び撮像システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7184091B2 (ja) |
JP (1) | JP4182638B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006101110A1 (ja) * | 2005-03-23 | 2006-09-28 | Fujifilm Corporation | 描画用画像データ作成方法および装置ならびに描画用画像データ作成描画装置 |
JP2010271246A (ja) * | 2009-05-22 | 2010-12-02 | Sony Corp | 色彩輝度測定装置及び色彩輝度測定方法 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002090887A2 (en) * | 2001-05-04 | 2002-11-14 | Vexcel Imaging Gmbh | Digital camera for and method of obtaining overlapping images |
JP2005122323A (ja) * | 2003-10-14 | 2005-05-12 | Casio Comput Co Ltd | 撮影装置、画像処理装置、撮影装置の画像処理方法及びプログラム |
US20050168589A1 (en) * | 2004-01-30 | 2005-08-04 | D. Amnon Silverstein | Method and system for processing an image with an image-capturing device |
JP4794963B2 (ja) * | 2005-06-28 | 2011-10-19 | キヤノン株式会社 | 撮像装置および撮像プログラム |
US8072502B2 (en) | 2005-12-12 | 2011-12-06 | Sony Ericsson Mobile Communications Ab | Multi-mega pixel resolution with small sensor |
US8509563B2 (en) * | 2006-02-02 | 2013-08-13 | Microsoft Corporation | Generation of documents from images |
US7742659B2 (en) * | 2006-05-09 | 2010-06-22 | Arcsoft, Inc. | Edge based auto order supporting rotation algorithm |
WO2007101887A2 (en) * | 2007-05-31 | 2007-09-13 | Sinar Ag | Method of manufacturing a picture and image taking apparatus with enhanced imaging capabilities |
EP1940141A1 (de) | 2008-02-11 | 2008-07-02 | Texmag GmbH Vertriebsgesellschaft GmbH | Vorrichtung zum Erfassen eines Bildes und Verfahren zum Auswerten von Bilddaten |
US20090206243A1 (en) * | 2008-02-11 | 2009-08-20 | Texmag Gmbh Vertriebsgesellschaft | Image Capturing System and Method for the Analysis of Image Data |
US9124422B2 (en) * | 2009-05-29 | 2015-09-01 | Adobe Systems Incorporated | System and method for digital rights management with secure application-content binding |
US20110169975A1 (en) * | 2010-01-12 | 2011-07-14 | Robert William Justice | Image-scanning computational pixel resolving camera |
JP5471965B2 (ja) * | 2010-08-16 | 2014-04-16 | 富士通セミコンダクター株式会社 | 画像処理装置、撮像装置、及び画像処理方法 |
JP5546593B2 (ja) * | 2011-09-02 | 2014-07-09 | キヤノン株式会社 | 画像表示装置及びその制御方法 |
US9307133B1 (en) | 2015-02-11 | 2016-04-05 | Pho Imaging Limited | System and method of imaging for increasing image resolution |
US10142568B2 (en) * | 2017-02-13 | 2018-11-27 | Semiconductor Components Industries, Llc | Methods and apparatus for vignette and out-of-focus correction |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62204380A (ja) * | 1986-03-04 | 1987-09-09 | Matsushita Graphic Commun Syst Inc | 画像デ−タ処理装置 |
JPS63234765A (ja) | 1987-03-24 | 1988-09-30 | Dainippon Screen Mfg Co Ltd | 画像読取装置 |
US5016109A (en) * | 1990-07-02 | 1991-05-14 | Bell South Corporation | Apparatus and method for segmenting a field of view into contiguous, non-overlapping, vertical and horizontal sub-fields |
US5686960A (en) * | 1992-01-14 | 1997-11-11 | Michael Sussman | Image input device having optical deflection elements for capturing multiple sub-images |
US5515181A (en) * | 1992-03-06 | 1996-05-07 | Fuji Xerox Co., Ltd. | Image reading apparatus providing high quality images through synthesis of segmented image data |
JP3413247B2 (ja) | 1993-06-18 | 2003-06-03 | オリンパス光学工業株式会社 | 画像取扱装置 |
JPH07222045A (ja) | 1994-01-31 | 1995-08-18 | Canon Inc | 撮像装置 |
US6005682A (en) * | 1995-06-07 | 1999-12-21 | Xerox Corporation | Resolution enhancement by multiple scanning with a low-resolution, two-dimensional sensor array |
US6389179B1 (en) * | 1996-05-28 | 2002-05-14 | Canon Kabushiki Kaisha | Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image |
US6104840A (en) * | 1996-11-08 | 2000-08-15 | Ricoh Company, Ltd. | Method and system for generating a composite image from partially overlapping adjacent images taken along a plurality of axes |
JPH10164413A (ja) | 1996-12-02 | 1998-06-19 | Nikon Corp | 撮像装置 |
JPH10178535A (ja) | 1996-12-17 | 1998-06-30 | Fuji Xerox Co Ltd | 画像読取装置及び撮像装置 |
JP3598704B2 (ja) | 1997-01-23 | 2004-12-08 | 富士ゼロックス株式会社 | 画像読取装置 |
US6670991B1 (en) * | 1997-09-26 | 2003-12-30 | Canon Kabushiki Kaisha | Image sensing system, control method, and recording medium for controlling a camera apparatus utilizing a client device connected thereto |
JP3109469B2 (ja) * | 1998-02-20 | 2000-11-13 | 日本電気株式会社 | 画像入力装置 |
US6304284B1 (en) * | 1998-03-31 | 2001-10-16 | Intel Corporation | Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera |
US6727954B1 (en) * | 1998-08-12 | 2004-04-27 | Minolta Co., Ltd. | Electronic camera and image processing system |
JP2000201296A (ja) | 1999-01-07 | 2000-07-18 | Mitsubishi Electric Corp | 画像合成装置及び画像合成方法 |
US6512539B1 (en) * | 1999-09-29 | 2003-01-28 | Xerox Corporation | Document periscope |
EP1096777A1 (en) * | 1999-10-28 | 2001-05-02 | Hewlett-Packard Company, A Delaware Corporation | Document imaging system |
JP2001144911A (ja) * | 1999-11-15 | 2001-05-25 | Minolta Co Ltd | 画像入力装置 |
JP2001189847A (ja) * | 2000-01-04 | 2001-07-10 | Minolta Co Ltd | 画像傾き補正装置、画像傾き補正方法および画像傾き補正プログラムを記録した記録媒体 |
JP2001223855A (ja) * | 2000-02-07 | 2001-08-17 | Minolta Co Ltd | 画像入力装置及び画像入出力システム |
US7554596B2 (en) * | 2001-04-13 | 2009-06-30 | The Trustees Of Columbia University In The City Of New York | Method and apparatus for recording a sequence of images using a moving optical element |
-
2000
- 2000-11-07 JP JP2000339448A patent/JP4182638B2/ja not_active Expired - Fee Related
-
2001
- 2001-10-17 US US09/981,700 patent/US7184091B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006101110A1 (ja) * | 2005-03-23 | 2006-09-28 | Fujifilm Corporation | 描画用画像データ作成方法および装置ならびに描画用画像データ作成描画装置 |
JP2010271246A (ja) * | 2009-05-22 | 2010-12-02 | Sony Corp | 色彩輝度測定装置及び色彩輝度測定方法 |
Also Published As
Publication number | Publication date |
---|---|
US7184091B2 (en) | 2007-02-27 |
US20020054217A1 (en) | 2002-05-09 |
JP4182638B2 (ja) | 2008-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002152485A (ja) | 撮像装置、撮像画像の合成方法、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体及び撮像システム | |
JP4012710B2 (ja) | 画像入力装置 | |
JP5163676B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP3817119B2 (ja) | 画像入力装置 | |
TWI414178B (zh) | 攝像裝置、影像處理方法及記錄媒體 | |
US20070132856A1 (en) | Image processing apparatus, image-pickup apparatus, and image processing method | |
JP4297630B2 (ja) | 電子撮像装置 | |
US10038849B2 (en) | Imaging device with controlled timing of images to be synthesized based on shake residual | |
JP2003015218A (ja) | 投影型表示装置 | |
JPH09294225A (ja) | 画像歪み補正用パラメータ決定方法及び撮像装置 | |
JP2012019292A (ja) | 3dカメラモジュールの撮像検査装置およびその撮像検査方法、3dカメラモジュールの撮像検査制御プログラム、3dカメラモジュールの撮像補正方法、3dカメラモジュールの撮像補正制御プログラム、可読記録媒体、3dカメラモジュール、電子情報機器 | |
JP4089426B2 (ja) | プロジェクタ、撮像装置、台形補正用プログラム | |
JPH08181903A (ja) | 撮像装置 | |
JP2001250114A (ja) | 画像処理方法と画像処理装置及びコンピュータ読み取り可能な記録媒体 | |
JP2010272957A (ja) | 画像補正装置及びそのプログラム | |
JP3191659B2 (ja) | 画像入力装置 | |
JP4390779B2 (ja) | 画像入力装置 | |
JP2002101318A (ja) | 撮像装置 | |
JP3601272B2 (ja) | 画像撮像装置 | |
JP2002042125A (ja) | 画像合成装置、画像合成方法、および、画像合成プログラムを記録したコンピュータ読取可能な記録媒体 | |
JP2014241621A (ja) | 撮像装置、及びプログラム | |
JPH11225291A (ja) | 画像読み取り装置 | |
JPH03117278A (ja) | 撮影装置 | |
JP2002074353A (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体 | |
JP3856926B2 (ja) | 撮像装置及び画像読取装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061025 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080718 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080812 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080825 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130912 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |