JP2000221029A - 写真測量用タ―ゲットの基準点の算出装置、写真測量用タ―ゲットの基準点の算出方法及び写真測量用タ―ゲットの基準点の算出プログラムが格納された記録媒体 - Google Patents
写真測量用タ―ゲットの基準点の算出装置、写真測量用タ―ゲットの基準点の算出方法及び写真測量用タ―ゲットの基準点の算出プログラムが格納された記録媒体Info
- Publication number
- JP2000221029A JP2000221029A JP33484699A JP33484699A JP2000221029A JP 2000221029 A JP2000221029 A JP 2000221029A JP 33484699 A JP33484699 A JP 33484699A JP 33484699 A JP33484699 A JP 33484699A JP 2000221029 A JP2000221029 A JP 2000221029A
- Authority
- JP
- Japan
- Prior art keywords
- reference point
- point
- straight line
- points
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
準点を自動算出する。 【解決手段】 撮影画像内の同一直線上にある高い輝度
情報を有する3点列と4点列を1つづつ選択し、ステッ
プS1056でそれぞれの端点に相当するグループの重
心が一致するかチェックし、一致する場合、ステップS
1058で4点列を構成するグループのうち3点列の端
点と一致する端点と反対側の端点に相当するグループの
重心の座標を変数A1に格納し、3点列と4点列の一致
する端点に相当するグループの重心の座標を変数A2に
格納し、3点列を構成するグループのうち4点列の端点
と一致する端点と反対側の端点に相当するグループの重
心の座標を変数A3に格納する。ステップS1060
で、A2からA1へのベクトルに対するA2からA3へ
のベクトルの成す反時計回りの角度θが所定の範囲内に
あるかチェックし、範囲内の場合、4点列、3点列を基
準点、補助点と判断する。
Description
カメラ位置の算出に関する。
ステレオ写真による測量が知られている。ステレオ写真
による測量では、所定の距離をおいた2つのカメラで同
時に現場が撮影され、それにより得られるステレオ画像
を光学式の機械で立体視しながら立体化された画像内の
点を測量点として指定し、各測量点の座標が算出され
る。測量点を算出するためには、撮影画像を撮影した2
つカメラの位置情報、即ちカメラから被写体までの距離
や、被写体に対するカメラの角度等の情報が必要であ
る。そのため、撮影現場において、担当者がカメラの位
置情報を常に計測し記録しなければならない。
るカメラの距離や角度を計測するのは煩わしく、また時
間と労力を要するため、迅速な処理が求められる事故調
査等の現場では、常に正確なカメラの位置情報を得るこ
とは困難であった。さらに、ステレオ画像を光学式の機
械で立体視したり、立体化された画像内の点を指定する
といった作業は担当者の熟練度に左右されるため、測量
の作業効率や測量精度の点においても問題があった。
準点部材を備えたターゲットを用いた写真測量システム
が提案されている。測量現場に前述のターゲットを設置
した上で異なるカメラ位置及び角度で複数の写真を撮影
し、コンピュータのメモリにデジタル画像として格納す
る。複数のデジタル画像の中から、適宜一対のデジタル
画像を選出してコンピュータに接続されたモニタ上に表
示させ、それぞれの画像内においてターゲットの基準点
部材をコンピュータに接続されたマウス等を用いて指定
する。指定された基準点部材の座標値に基づいてカメラ
位置データが算出される。さらに、モニタ上の画像内の
任意の測量点を指定し、指定された測量点の座標値及び
カメラ位置データに基づいて適宜演算処理が実行され、
測量現場の白地図が作成されモニタに表示される。
し出されたデジタル画像を目視しながらマウス操作を行
ない基準点部材を指定するという作業は、操作者の操作
技術に依存する部分が大きい。また、測量現場の状況に
よっては撮影される写真が大量になる場合があり、マウ
スによる基準点部材の指定は操作者に多大な労力を強い
ることになる。即ち、基準点部材の指定が常時、正確に
行なわれるとは限らない。基準点部材の指定が正確に行
なわれない場合、精度の高いカメラ位置データは算出さ
れず、その結果、カメラ位置データに基づく演算処理に
影響を及ぼし、白地図が精度高く作成されないという問
題があった。
り、撮影画像からカメラ位置を自動的に算出する写真測
量装置を提供することを目的としている。
用ターゲットの基準点の算出装置は、互いの間隔が既知
である第1、第2、第3の基準点が設けられ、第1の基
準点と第2の基準点を結ぶ第1の直線と第2の基準点と
第3の基準点を結ぶ第2の直線とが所定の角度を有し、
第1の直線上と第2の直線上にそれぞれ個数の異なる補
助点が設けられた写真測量用ターゲットと共に測量対象
物をカメラにより撮影する画像取得手段と、画像取得手
段により得られる撮影画像内において、第1の直線上の
補助点の数と、第2の直線上の補助点の数を比較するこ
とにより、撮影画像内の第1の基準点、第2の基準点及
び第3の基準点の位置を特定し、撮影画像内の2次元直
交座標である写真座標系における第1の基準点、第2の
基準点及び第3の基準点の座標値を取得する2次元座標
取得手段とを備えたことを特徴とする。
て、第1の基準点、第2の基準点、第3の基準点及び補
助点が撮影画像内において他の被写体よりも相対的に高
い輝度情報を有するよう反射部材から成り、2次元座標
取得手段が、撮影画像を構成する各画素の輝度情報を所
定の閾値と比較して、画素のそれぞれについて高い輝度
情報を有する画素と低い輝度情報を有する画素との2種
類に種別する2値化処理手段と、撮影画像内において高
い輝度情報を有する画素が所定範囲内で複数連続するグ
ループを抽出するグループ抽出手段と、グループを構成
する各画素の輝度情報および写真座標系における座標値
に基づいて、グループの重心の座標値を算出するグルー
プ重心座標値算出手段と、撮影画像内において、第1の
基準点と第2の基準点と第1の直線上の補助点の数の合
計点数と等しい数の重心が同一直線上に並ぶ第1の点列
を抽出する第1の点列抽出手段と、撮影画像内におい
て、第2の基準点と第3の基準点と第2の直線上の補助
点の数の合計点数と等しい数の重心が同一直線上に並ぶ
第2の点列を抽出する第2の点列抽出手段と、それぞれ
の点列において一方の端部の重心を共有する第1の点列
と第2の点列の組合せを選択する選択手段と、選択手段
により選択された第1の点列において選択手段により選
択された第2の点列と共有する重心と反対側の端部に相
当する重心を第1の基準点と特定し、選択手段により選
択された第1の点列と第2の点列が共有する重心を第2
の基準点と特定し、選択手段により選択された第2の点
列において選択手段により選択された第1の点列と共有
する重心と反対側の端部に相当する重心を第3の基準点
と特定する基準点特定手段とを備えている。
1の直線上に補助点が2つ設けられ、第2の直線上に補
助点が1つ設けられ、撮影画像内において第1の点列が
重心が同一直線上に4つ並ぶ4点列であり、第2の点列
が重心が同一直線上に3つ並ぶ3点列であることを特徴
とする。
準点の算出方法は、互いの間隔が既知である第1、第
2、第3の基準点が設けられ、第1の基準点と第2の基
準点を結ぶ第1の直線と第2の基準点と第3の基準点を
結ぶ第2の直線とが所定の角度を有し、第1の直線上と
第2の直線上にそれぞれ個数の異なる補助点が設けられ
た写真測量用ターゲットと共に測量対象物をカメラによ
り撮影する第1ステップと、カメラにより撮影された撮
影画像内において、第1の直線上の補助点の数と第2の
直線上の補助点の数との差に基づいて、第1の基準点、
第2の基準点、及び第3の基準点を特定し、撮影画像内
の2次元直交座標である写真座標系における第1の基準
点、第2の基準点及び第3の基準点の座標値を取得する
第2ステップとを備えることを特徴とする。
の基準点の算出プログラムが格納された記録媒体は、互
いの間隔が既知である第1、第2、第3の基準点が設け
られ、第1の基準点と第2の基準点を結ぶ第1の直線と
第2の基準点と第3の基準点を結ぶ第2の直線とが所定
の角度を有し、第1の直線上と第2の直線上にそれぞれ
個数の異なる補助点が設けられた写真測量用ターゲット
と共に測量対象物がカメラにより撮影された撮影画像内
において、第1の直線上の補助点の数と第2の直線上の
補助点の数の相違に基づいて、第1の基準点、第2の基
準点及び第3の基準点を特定し、撮影画像内の2次元直
交座標である写真座標系における第1の基準点、第2の
基準点及び第3の基準点の座標値を取得する2次元座標
取得ルーチンを備えたことを特徴とする。
を参照して説明する。図1には、本発明に係る実施形態
に適用される写真測量用ターゲットが一部破断して示さ
れる。図2には、同写真測量用ターゲットの側面図が示
される。ターゲット10はL字型を呈しており、2本の
柱状部材12、14を備える。第1の柱状部材12およ
び第2の柱状部材14は金属材料から形成され、内部が
中空の四角柱形状を呈しており、それらの全外周面には
無反射シートが貼付される。第1の柱状部材12および
第2の柱状部材14の幅は共に同じ長さLw であり、ま
たそれぞれの厚みは共に同じ長さLH である。
は、直方体の制御部筐体20が一体的に固定される。制
御部筐体20は金属材料から形成され、その全外周面に
は無反射シートが貼付される。制御部筐体20におい
て、その厚みは第1の柱状部材12の厚みと同じ長さL
H であり、またその幅は第1の柱状部材12の幅Lw の
約2倍である。制御部筐体20はその側面20bが第1
の柱状部材12の側面12bと同一平面上に位置するよ
うに設けられており、制御部筐体20の側面20cは第
1の柱状部材12の側面12cから突出している。
柱状部材14の一方の端部14aがヒンジ15により回
動可能に取付けられる。第2の柱状部材14の側面14
bは、制御部筐体20の第1の柱状部材12が設けられ
る面の反対側の端面20dと同一平面上に位置する。
筐体20の側面20cとが成す角α、即ち2本の柱状部
材12および14の軸心AおよびB(図中、二点鎖線で
示す)が成す鋭角側には固定部材であるステー16が連
結され、これにより2本の柱状部材12および14は互
いに固定される。ステー16はその幅および厚みは第1
および第2の柱状部材12、14の幅Lw および厚みL
H より小さい。またステー16の長手方向長さは第1の
柱状部材12の長手方向長さより短い。
対してそれぞれ傾斜して設けられ、このとき第2の柱状
部材14の第1の柱状部材12に対して成す鋭角αは9
0度である。ステー16はステー用ヒンジ92により第
1の柱状部材12に回動可能に固定され、ロックヒンジ
94により第2の柱状部材14に対して着脱自在であ
る。
材12、14および制御部筐体20の上面には3個の基
準点部材31、34、36、および3個の補助点部材3
2、33、35が同一平面上に設けられる。基準点部材
31(第1の基準点)、補助点部材32、33は第1の
柱状部材12の上面12eに設けられ、基準点部材34
(第2の基準点)は制御部筐体20の上面20eに設け
られ、補助点部材35、基準点部材36(第3の基準
点)は第2の柱状部材14の上面14eに設けられる。
すなわち、基準点部材31と基準点部材34を結ぶ直線
(第1の直線)上に2個の補助点部材32、33が設け
られ、基準点部材34と基準点部材36を結ぶ直線(第
2の直線)上に1個の補助点部材35が設けられてい
る。
補助点部材32、33、35は円板状を呈しており、そ
れらの直径は全て同じであり、かつ柱状部材12、14
の幅Lw より小さい。
33は、軸心A方向に平行な基準点部材31と基準点部
材34を結ぶ直線(第1の直線)上に設けられ、基準点
部材34、36および補助点部材35は、軸心B方向に
平行な基準点部材34と基準点部材36を結ぶ直線(第
2の直線)上に設けられる。すなわち、基準点部材31
と基準点部材34を結ぶ直線上に2個の補助点部材3
2、33が設けられ、基準点部材34と基準点部材36
を結ぶ直線上に1個の補助点部材35が設けられてお
り、各直線上に配設される補助点部材の数は異なる。基
準点部材31と補助点部材32の間、補助点部材32と
補助点部材33の間、補助点部材33と基準点部材34
の間の距離はそれぞれ等しく、基準点部材34と補助点
部材35の間、補助点部材35と基準点部材36の間の
距離はそれぞれ等しい。また、基準点部材31から基準
点部材34までの距離と、基準点部材34から基準点部
材36までの距離は等しい。
点部材32、33、35によって、写真測量の基準平面
が定められ、同時に基準点部材31、34、36を頂点
とする二等辺三角形の辺長さが基準尺として定められ
る。即ち、基準点部材31から基準点部材34までの距
離、あるいは基準点部材34から基準点部材36までの
距離、あるいは基準点部材36から基準点部材31まで
の距離が既知であり、これらが基準尺として写真測量に
用いられる。
長さの等しい2辺において補助点部材の数が異なってい
るため、ターゲット10の向きが容易に判別でき、被写
体が同一の撮影画像が多数ある場合に、そのカメラ位置
が容易に想定できる。
部材32、33、35により規定される基準平面は、道
路面と平行であることが望ましい。制御部筐体20は第
1の柱状部材12側に設けられており、ヒンジ15で第
2の柱状部材14の端部のみを連結した場合、第1の柱
状部材12側が重いために第2の柱状部材14が道路面
から浮き、第1の柱状部材12側の基準点部材31、補
助点部材32、33と、第2の柱状部材14側の補助点
部材35、基準点部材36が同一平面上に位置すること
ができなくなり、また基準平面が道路面に対して平行で
なくなる恐れがある。
2、14の中間を互いに連結させて、第2の柱状部材1
4の道路面からの浮上りを防止し、基準平面を道路面に
平行にして写真測量の精度を向上させている。
制御部筐体20の側面20cと第2の柱状部材14の端
面14aとの間隙にはシート状の弾性部材19(図5参
照)が設けられ、これにより第2の柱状部材14のガタ
つきが防止される。弾性部材19はゴムやスポンジ等か
ら形成され、第2の柱状部材14の端面14aに密着固
定される。なお、シート状の弾性部材19の代わりにバ
ネ部材を設けてもよい。
部材32、33、35には反射シートが貼付され、さら
に各基準点部材31、34、36および補助点部材3
2、33、35の周りには、黒色の円板部材である無反
射部材41、42、43、44、45、46がそれぞれ
設けられる。これにより、撮影画像における基準点部材
31、34、36および補助点部材32、33、35の
識別が容易になり、写真測量の精度を向上させることが
できる。
4、36および補助点部材32、33、35が設けられ
る面の反対側の面に3本の脚18を備える。脚18は基
準点部材31、34、36に対応して設けられ、これら
によりターゲット10は道路面に対して脚18の長さ分
だけ離れて載置される。
5および無反射部材45の構成について説明する。図3
は、図1のVIII−VIII線断面におけるターゲッ
ト10の断面図である。図4は無反射部材45の第2の
柱状部材14側の面を示す平面図である。他の基準点部
材31、34、36、補助点部材32、33および無反
射部材41、42、43、44、46は、補助点部材3
5および無反射部材45と同様の構成であるのでここで
は説明を省略する。
保持部材62が設けられ、この磁石保持部材62の内部
には環状の磁石64が収納される。磁石保持部材62の
外径は第2の柱状部材14の幅Lw と略同じ長さであ
る。磁石64は磁石保持部材62とともに、ネジ部材6
6により第2の柱状部材14に一体的に固定される。ネ
ジ部材66の頭部67には反射シート68が貼付され
る。これら磁石保持部材62、磁石64、ネジ部材66
および反射シート68により、補助点部材35が構成さ
れる。
料、例えば樹脂あるいはゴムから形成された円板72を
備える。円板72の材料がゴムの場合、無反射部材45
の落下による破損が防止される。円板72の一方の面に
は無反射シート74が貼付される。無反射部材45の直
径はこの実施形態においては、補助点部材35、即ちネ
ジ部材頭部67の直径の約7倍である。また、無反射部
材45の厚みはネジ部材66の頭部67の厚みよりわず
かに小さい。
の頭部67と略同径の嵌合穴76が形成される。無反射
部材45の無反射シート74が設けられていない面にお
いて、嵌合穴76の周囲には環状の鉄板78が埋込まれ
ている。鉄板78の内径は嵌合穴76の直径と略等し
く、その外径は磁石保持部材62の外径と略等しい。
着脱自在である。ターゲット10の使用時には、ネジ部
材66の頭部67と嵌合穴76とが嵌合させられ、この
とき磁石64の磁力により鉄板78がネジ部材66の頭
部67あるいは磁石保持部材62に密着固定される。図
3から明らかなように、無反射部材45が補助点部材3
5に取付けられた状態において、反射シート68と無反
射シート74とは略同一平面上にある。ターゲット10
の非使用時には、人手により無反射部材45が補助点部
材35から取外される。
35に対して着脱自在にすることにより、ターゲット1
0の携帯性が向上する。さらに、反射シート68の周囲
に無反射シート74が設けられることにより、補助点部
材35の領域が明確になり、夜間や雨によって周囲が暗
い現場での撮影、あるいは道路面が反射しやすい現場で
の撮影等の撮影条件が悪い場合でも、撮影画像における
補助点部材35の識別が容易になる。
の直径の比率、即ち反射シート68および無反射シート
74の領域の大きさは、特にこの実施形態に限定され
ず、ターゲット10の撮影画像において反射シート68
が十分認識できる大きさであればよい。また補助点部材
35および無反射部材45の形状も円形に限定されな
い。
傍を拡大して示す平面図であり、一部破断して示す図で
ある。図6は図5のXI−XI線における断面図であ
り、制御部筐体20の構成を簡略化して示す図である。
納室83が設けられる。電池収納室83には電源である
電池87が収納され、ターゲット10に電力を供給して
いる。電池収納室83は端面20d側に開口を有し、蓋
部83aにより閉密される。制御部筐体20の端面20
dにはスイッチ85が一体的に設けられ、このスイッチ
85の手動操作により電源のオン、オフが切換えられ
る。電源がオンされると、傾斜角センサや方位センサ等
(図示せず)の各種のセンサが作動し、ターゲット10
の位置情報が得られる。
有しており、この開口81はカバー82により閉密され
る。カバー82は電波が透過可能な材料、例えば樹脂か
ら形成される。
いて所定の位置に配設された上で、カメラにより撮影さ
れる。
のカメラ位置算出の手順について説明する。図7は、タ
ーゲット10とカメラ100との位置関係を示す図であ
る。ターゲット10は、カメラ100によってカメラ位
置Mで撮影される。カメラ位置Mは、カメラ100の撮
影レンズの後側主点位置として定義される。カメラ位置
Mでの光軸は2点鎖線Oで示される。上述のようにター
ゲット10上には3個の基準点部材と3個の補助点部材
が設けられるが、図の複雑化を避けるために頂点である
3個の基準点部材のみを説明に用いる。図7において、
基準点部材31、34および36によって決定される平
面は基準平面とされ、基準点部材31と基準点部材34
との間の距離、および基準点部材34と基準点部材36
との間の距離が基準尺Lとして示される。
0には読み出し可能な記録媒体であるICカード24が
装着されている。ICカード24はカメラ100に対し
て着脱自在である。撮影された画像データはこのICカ
ード24に記録される。画像データに基づく写真測量の
実行は、ICカード24を後述する写真測量装置に装着
し、ICカード24に記録された画像データを写真測量
装置のメモリにロードした上で行なわれる。
示される。撮影画像には2次元直交座標系(Xp, Y
p)が設定され、その座標原点は撮像中心CPとされ
る。図8から明らかなように、撮影画像では、基準点部
材31、34および36の像点はそれぞれ座標P1(X
p1 ,Yp1 )、P2(Xp2 ,Yp2 )、P3(Xp
3,Yp3 )で示される。尚、本明細書では撮影画像の
2次元直交座標を「写真座標系」と呼ぶ。
ターゲット10との間の位置関係を相対的に示す図であ
る。基準点部材31、34および36により規定される
基準平面は、図中ハッチング領域で示される。図9にお
いて、カメラ位置Mの3次元直交座標は(Xc,Yc,
Zc)で示される。その座標原点はカメラ位置Mにおけ
るカメラ100の撮影レンズの後側主点位置に一致し、
またそのZc軸はカメラ位置Mにおける撮影レンズの光
軸Oに一致する。また、Xc軸は図8に示す撮影画像の
2次元直交座標系のXp軸と平行であり、Yc軸は同2
次元直交座標系のYp軸と平行である。本明細書では、
カメラ位置Mの3次元直交座標を「カメラ座標系」と呼
ぶ。
を特定するために、図10に示す右手系の3次元直交座
標系(Xs,Ys,Zs)が適宜設定される。3次元直
交座標系(Xs,Ys,Zs)の座標原点はターゲット
10の基準点部材34に一致させられる。Zs軸は、基
準点部材34から36へ向かう方向であり、基準点部材
34を通り、Zs軸に直交し、かつ基準平面にある軸を
Xs軸とし、基準点部材34を通り、基準平面に直交す
る軸、すなわち紙面に直交する軸をYs軸とする。上述
のようにターゲット10の基準点部材31と基準点部材
34、および基準点部材34と基準点部材36との間の
距離はLなので、基準点部材31、34および36の像
点はそれぞれ座標Ps1(−L,0,0)、Ps2
(0,0,0)、Ps3(0,0,L)で示される。本
明細書ではこの3次元直交座標を「シーン座標系」と呼
ぶ。
標系の相対的な関係で示される。すなわち、シーン座標
系の原点からのカメラ座標系の原点の移動距離と、Xs
軸のXc軸回りの回転角と、Ys軸のYc軸回りの回転
角、およびZs軸のZc軸回りの回転角で、カメラ位置
Mは定義される。
i(Psxi,Psyi,Pszi)(i=1、2、
3)と、カメラ座標系における基準点Piの座標値Pc
i(Pcxi,Pcyi,Pczi)(i=1、2、
3)との関係は(1)式で示される。
りの回転角、βはYs軸のYc軸回りの回転角、γはZ
s軸のZc軸回りの回転角であり、Rはα、β、γの回
転行列、Δはシーン座標からカメラ座標へのベクトルで
ある。
値Pci(Pcxi,Pcyi,Pczi)(i=1、
2、3)と、写真座標系における基準点の座標値Di
(Dxi、Dyi)(i=1、2、3)との関係は式
(2)で表わされる。尚、(2)式における「f」はカ
メラ100の撮影レンズの焦点距離である。
(2)式により、基準点のシーン座標系における座標値
から、写真座標系における座標値が算出される。一方、
写真座標系における基準点の座標値は、後述するように
撮影画像より自動抽出される。従って、(1)式および
(2)式から算出した基準点の座標値と、撮影画像から
自動抽出した座標値とを比較することにより、カメラ位
置を定義するΔX、ΔY、ΔZ、α、β、γの値を算出
することができる。
像データに基づいて写真測量が行なわれる写真測量装置
の座標算出システムのブロック図である。図17に示す
ように、座標算出システムはコンピュータ184を備え
るコンピュータシステムで構成される。コンピュータ1
84は、中央演算処理装置(CPU)184A、オペレ
ーティングシステム、常数等が格納された読出し専用メ
モリ(ROM)184B、データ等を一時的に格納する
書込み/読出し自在なメモリ(RAM)184C、CP
U184Aで実行された演算結果を格納するためのハー
ドディスク184D、入出力インターフェース(I/
O)184Eを有する。
4Eを介してコンピュータ184に接続されるICカー
ドリーダ186を備える。ICカードリーダ186はI
Cメモリカード24が装着されるスロットを備えてお
り、1フレーム分のデジタル画像や他のデータを読み込
むためのICカードドライバ188を有する。
84Eを介してコンピュータ184に接続されるCD−
ROMリーダ197を備える。CD−ROMリーダ19
7は、CD−ROM198を装着するためのトレーを備
えており、CD−ROMドライブユニット199を有す
る。後述するターゲットの基準点やカメラ位置の算出プ
ログラムは、CD−ROM198に格納されている。こ
の算出プログラムはCD−ROM198から読み出さ
れ、ハードディスク184Dに記憶される。
モリカード24から読み出された1フレーム分のデジタ
ル画像データに基づく撮影画像の再生や、コンピュータ
184により作成される測量図の再生を行なうためのモ
ニタ190、種々のコマンド信号やデータをコンピュー
タ184に入力するためのキーボード192、モニタ1
90に表示されるカーソルを操作するためのマウス19
4、必要に応じて測量図を印刷するためのプリンタ19
6を備える。
行される、本実施形態のカメラ位置算出の手順を示すフ
ローチャートである。ステップS1000において、上
述のターゲット10を設置して撮影した測量現場のデジ
タル画像が本実施形態の写真測量装置にロードされ、次
いでステップS1002でグレースケール処理が行なわ
れる。グレースケール処理とは、カラー画像から色成分
を除去し、輝度情報のみを抽出する処理である。デジタ
ル画像を構成する全ての画素毎に256階調の輝度情報
が抽出され、配列形式の変数Imgに格納される。すな
わち、各画素の輝度情報はImg(j,k)で表わされ
る。jおよびkは画素のデジタル画像における2次元座
標値(写真座標系の座標値)である。
た輝度情報の2値化処理が行なわれる。変数Imgに格
納された輝度情報を所定の閾値を比較し、その輝度情報
が高く閾値を超えていれば「1」、輝度情報が低く閾値
以下であれば「0」をImgと同様の配列形式の変数B
inに格納する。すなわち、各画素の輝度情報を2値化
したデータはBin(j,k)で表わされる。上述のよ
うに、本実施形態で用いられるターゲット10の基準点
部材31、34、36、補助点部材32、33、35に
は反射シートが貼付され、その周りには、黒色の無反射
部材41、42、43、44、45、46が設けられて
いる。従って、基準点部材31、34、36および補助
点部材32、33、35に対応する画素の2値化データ
は「1」となり、周囲の無反射部材41、42、43、
44、45、46に対応する画素の2値化データは
「0」となる。
が行なわれる。ラベリングとは、2値化データが「1」
である画素が連続している部分を1つのグループとして
抽出する処理であり、デジタル画像において輝度情報の
高い領域が抽出される。各グループ毎に、そのグループ
を構成する画素の数およびそれぞれの2次元座標値が所
定の変数に格納される。
の面積、すなわち画素数が算出され、ステップS101
0で、各グループの画素数に基づいて、そのグループが
基準点部材若しくは補助点部材に相当するか否かを判別
する。具体的には、画素数が下限値Th1と上限値Th
2の範囲内にあるか否かをチェックする。下限値Th1
および上限値Th2は、それにより規定される画素数の
範囲が、デジタル画像内の基準点部材、補助点部材に相
当するグループの画素数を十分に含み、かつ最小の範囲
となるよう設定されている。従ってステップS1010
の処理により、デジタル画像のノイズに相当する画素数
が1、2個程度のグループや、測量現場の道路上におい
てペンキが塗布されたような、広範囲にわたって高い輝
度情報を有する領域に相当するグループが除去される。
ープの輝度情報を考慮した重心の算出が行われる。図1
2は、重心算出の処理手順を示すフローチャートであ
る。ステップS1022で変数SumX、SumY、S
umImgが初期化される。変数SumXには、グルー
プを構成する各画素の輝度情報とx座標値との積が累積
して格納され、変数SumYには、グループを構成する
各画素の輝度情報とy座標値との積が累積して格納され
る。また、変数SumImgは、グループを構成する各
画素の輝度情報を加算した総和が格納される。
(Img(j,k))と画素のx座標値(j)の積が算
出され、その時点で変数SumXに格納されている値に
加算した上で変数SumXに格納される。次いでステッ
プS1028で、画素の輝度情報と画素のy座標値
(k)の積が算出され、その時点で変数SumYに格納
されている値に加算した上で変数SumYに格納され
る。さらに、ステップS1030で、画素の輝度情報が
その時点で変数SumImgに格納されている値に加算
され、変数SumImgに格納される。以上のステップ
S1026〜S1030の処理が、グループを構成する
全ての画素に対して繰り返される。
度情報をx方向の座標値に基づいて重み付けをした値の
総和が格納され、変数SumYには、各画素の輝度情報
をy方向の座標値に基づいて重み付けをした値の総和が
格納される。また、変数SumImgには、各画素の輝
度情報の総和が格納される。
全ての画素に対して、上述の輝度情報の累積演算処理が
行われたか否かがチェックされる。グループを構成する
全ての画素についてステップS1026〜S1030の
処理が行われたら、ステップS1034へ進む。ステッ
プS1034では、各画素の輝度情報をx方向の座標値
に基づいて重み付けをした値の総和を、各画素の輝度情
報の総和により除算する処理が行なわれ、グループの重
心のx座標値が算出される。ステップS1036では、
各画素の輝度情報をy方向の座標値に基づいて重み付け
をした値の総和を、各画素の輝度情報の総和により除算
する処理が行なわれ、グループの重心のy座標値が算出
される。
影画像内の全てのグループについて輝度情報を考慮した
重心の座標の算出が行われたか否かがチェックされる。
全てのグループについての重心の座標の算出処理が終了
していない場合は、ステップS1020〜S1036ま
での処理が繰り返される。全てのグループについての重
心の座標の算出処理が終了したら、図11のステップS
1014へ進む。
行なわれた後の撮影画像の各画素の状態を模式的に示す
図であり、輝度情報の低い画素には斜線を付してある。
図13に示すように、グループG1〜G13が抽出され
ており、それぞれの重心はGC1〜GC13である。
の基準点部材31、34、36、補助点部材32、3
3、35の相対関係を満たす、グループの組み合わせを
抽出する。図14はグループの組み合わせ抽出処理の前
半を示すフローチャート、図15は後半を示すフローチ
ャートである。以降、グループの組合せ抽出処理の手順
を図13を参照しながら説明する。
ら任意の2グループを選択され、ステップS1042
で、選択した2グループの重心を含む直線が算出され
る。次いでステップS1044で直線上において、選択
した2グループの重心の間に重心を有するグループが検
出される。
1044で検出されたグループの数がチェックされる。
直線上に重心を有するグループがステップS1040で
選択された2グループを含めて4つの場合はステップS
1048へ進み、3つの場合はステップS1050へ進
み、その他の場合はステップS1052へ進む。
択された場合、それぞれの重心GC1、GC2を含む直
線上には他のグループの重心が存在しないため、処理は
ステップS1052へ進む。グループG3とグループG
6が選択された場合、若しくはグループG10とグルー
プ13が選択された場合、重心GC3、GC6を含む直
線上にはグループG4の重心GC4とグループG5の重
心GC5の2つの重心が存在し、重心GC10、GC1
3を含む直線上にはグループG11の重心GC11とグ
ループG12の重心GC12の2つの重心が存在する。
従って処理はステップS1048へ進む。グループG1
とグループG3が選択された場合、若しくはグループG
7とグループG9が選択された場合、重心GC1、GC
3を含む直線上にはグループG2の重心GC2が1つ存
在し、重心GC7、GC9を含む直線上には、グループ
G8の重心GC8が1つ存在する。従って処理はステッ
プS1050へ進む。
が同一直線上に並列する4点列として登録され、ステッ
プS1050では、3つのグループが同一直線上に並列
する3点列として登録される。例えば図13の各グルー
プは、グループG1、G2、G3と、グループG6、G
7、G8がそれぞれ3点列として登録され、グループG
4、G5、G6、G7と、グループG10、G11、G
12、G13がそれぞれ4点列として登録される。
ての組合せについて処理が行なわれたか否かがチェック
され、全ての組合せについて処理が終了していない場合
はステップS1040〜S1050の処理が繰り返され
る。2グループの全ての組合せについて処理が終了した
ら、図15のステップS1054へ進む。
線上にある3点列と4点列が1つづつ選択され、それぞ
れの端点に相当するグループの重心が一致するか否かが
チェックされる。それぞれの端点に相当するグループの
重心が一致する場合ステップS1058へ進み、端点に
相当するグループの重心が一致しない場合、ステップS
1054へ戻り、他の組合せの3点列と4点列が選択さ
れる。図13において、グループG3は、グループG
1、G2、G3の3点列の端点であり、かつグループG
3、G4、G5、G6の4点列の端点である。従って、
3点列と4点列の組合せとして、グループG1、G2、
G3と、グループG3、G4、G5、G6が選択され
る。
るグループのうち、3点列の端点と一致する端点と反対
側の端点に相当するグループの重心の座標が、基準点部
材31の座標を示す変数A1(Ax1 、Ay1 )に格納
され、3点列と4点列の一致する端点に相当するグルー
プの重心の座標が基準点部材34の座標を示す変数A2
(Ax2 、Ay2 )に格納され、3点列を構成するグル
ープのうち、4点列の端点と一致する端点と反対側の端
点に相当するグループの重心の座標が、基準点部材36
の座標を示す変数A3(Ax3 、Ay3 )に格納され
る。すなわち、図13の重心GC6の座標が変数A1に
格納され、重心GC3が変数A2に格納され、重心GC
1が変数A3に格納される。
A2から変数A1へ向かうベクトルに対する、変数A2
から変数A3へ向かうベクトルの成す角度がチェックさ
れる。変数A2から変数A1へ向かうベクトルに対す
る、変数A2から変数A3へ向かうベクトルの成す反時
計回りの角度θが、下限値Th3より大きくかつ上限値
Th4より小さいか否かがチェックされる。本実施形態
では、下限値Th3は0度、上限値Th4は180度に
設定されている。ステップS1060の条件を満たす場
合、選択された3点列と4点列の組合せがターゲット1
0の3つの基準点部材31、34、36、補助点部材3
2、33、35の相対的関係を満たす組合せであるの
で、グループの組み合わせ抽出処理を終了し、図11の
ステップS1016へ進む。
囲内にない場合、ステップS1062へ進み、3点列と
4点列の全ての組合せについて処理が行なわれたか否か
がチェックされる。ステップS1056〜S1060ま
での処理が行なわれていない3点列と4点列の組合せが
存在する場合は、ステップS1054へ戻り、ステップ
S1060までの処理を繰り返す。
補助点部材32、33、35の相対的関係を満たす3点
列と4点列の組合せが検出されるまでステップS105
4〜S1062の処理が繰り返される。基準点部材と補
助点部材の相対的関係を満たす3点列と4点列の組合せ
が検出されたら、他の3点列と4点列の他の組合せの処
理は行なわずに処理を終了する。
プG1、G2、G3と、グループG3、G4、G5、G
6に関して、変数A2から変数A1へ向かうベクトルに
対する変数A2から変数A3へ向かうベクトルの反時計
回りの角度は、図13から明らかなように、下限値Th
3と上限値Th4の範囲内にある。従って、グループG
1、G2、G3と、グループG3、G4、G5、G6
は、基準点部材31、34、36、補助点部材32、3
3、35の相対的関係を満たす3点列と4点列の組合せ
として検出される。
の算出処理が行われる。図16は、カメラ位置算出の処
理手順を示すフローチャートである。ステップS107
0で、上述の(1)式の変数ΔX、ΔY、ΔZ、α、
β、γを初期化する。次いで、ステップS1072で、
(1)式のPs1、Ps2、Ps3にそれぞれ(−L,
0,0)、(0,0,0)、(0,0,L)を代入し、
かつ変数ΔX、ΔY、ΔZ、α、β、γに適当な値を代
入し、カメラ座標系における基準点部材31、34、3
6の各座標値Pc1(Pcx1 、Pcy1 、Pc
z1 )、Pc2(Pcx 2 、Pcy2 、Pcz2 )、P
c3(Pcx3 、Pcy3 、Pcz3 )を算出する。
Pc1、Pc2、Pc3の各座標値を代入し、写真座標
系における基準点部材31、34、36の各座標値D1
(Dx1 、Dy1 )、D2(Dx2 、Dy2 )、D3
(Dx3 、Dy3 )を算出する。
ら自動抽出した基準点部材31、34、36の写真座標
系における各座標値A1、A2、A3と、上述の(1)
式および(2)式を用いて算出した座標値D1、D2、
D3とを比較する。すなわち、各基準点部材の座標値D
1、D2、D3とA1、A2、A3との差分の絶対値を
それぞれ算出し、その合計値Sを算出する。
あるか否かを確認し、最小でない場合は、変数ΔX、Δ
Y、ΔZ、α、β、γの値を変えてステップS1072
からS1076の処理を繰り返す。すなわち、合計値S
が最小となる変数ΔX、ΔY、ΔZ、α、β、γを最小
二乗法により算出する。
ることが確認されたら、ステップS1080において合
計値Sが最小となった場合の変数ΔX、ΔY、ΔZ、
α、β、γの値をカメラ位置Mを示すパラメータとして
登録し、カメラ位置算出処理を終了する。
ット10において基準点部材31、34の間に設けられ
た補助点部材と、基準点部材34、36の間に設けられ
た補助点部材の数が異なり、かつ各基準点部材および各
補助点部材に反射シートが貼付されているため、撮影画
像内において輝度情報により各基準点部材、補助点部材
の位置を特定することが容易である。従って、撮影画像
内における基準点部材31、34、36の座標値が自動
的に抽出される。
0の基準点部材31、34の間の長さと基準点部材3
4、36の間の長さ、および第1の柱状部材12と第2
の柱状部材14の角度が既知であるため、シーン座標系
における各基準点部材の座標値が所定の値に定まってお
り、その座標値に基づいて写真座標系における各基準点
部材の座標値を算出できる。従って、撮影画像内で自動
抽出した基準点部材の座標値と比較することにより、カ
メラ位置を自動算出することができる。
すフローチャートの処理は、測量現場のデジタル画像を
モニタに表示し、モニタ上でターゲットの基準点及び任
意の測量点を指定し、所定の測量演算等が実行される写
真測量システムにおいて、ターゲットの基準点の2次元
座標の算出及びカメラ位置の算出を実行する部分であ
る。即ち、本実施形態によれば、モニタに表示されたデ
ジタル画像内のターゲットの基準点をマウスにより指定
するという作業が省略されると共に、担当者の熟練度に
左右されない正確なカメラ位置のデータが常時得られ、
写真測量システムにおける以降の処理段階において精度
の高い演算処理が実行される。
量においてカメラ位置を自動的に算出することができ
る。
ゲットを示す平面図である。
る。
ゲットの断面図である。
状部材側の面を示す平面図である。
大して示す平面図であり、一部破断して示す図である。
御部筐体の構成を簡略化して示す図である。
とカメラとの位置関係を示す斜視図である。
である。
ズの後側主点位置との位置関係を3次元座標で示す図で
ある。
図である。
順を示すフローチャートである。
の重心を算出する手順を示すフローチャートである。
撮影画像の各画素の状態を模式的に示す図である。
フローチャートである。
フローチャートである。
ートである。
図である。
Claims (5)
- 【請求項1】 互いの間隔が既知である第1、第2、第
3の基準点が設けられ、前記第1の基準点と前記第2の
基準点を結ぶ第1の直線と前記第2の基準点と前記第3
の基準点を結ぶ第2の直線とが所定の角度を有し、前記
第1の直線上と前記第2の直線上にそれぞれ個数の異な
る補助点が設けられた写真測量用ターゲットと共に測量
対象物をカメラにより撮影する画像取得手段と、 前記画像取得手段により得られる撮影画像内において、
前記第1の直線上の前記補助点の数と、前記第2の直線
上の前記補助点の数を比較することにより、前記撮影画
像内の前記第1の基準点、前記第2の基準点及び前記第
3の基準点の位置を特定し、前記撮影画像内の2次元直
交座標である写真座標系における前記第1の基準点、前
記第2の基準点及び前記第3の基準点の座標値を取得す
る2次元座標取得手段とを備えたことを特徴とする写真
測量用ターゲットの基準点の算出装置。 - 【請求項2】 前記写真測量用ターゲットにおいて、前
記第1の基準点、前記第2の基準点、前記第3の基準点
及び前記補助点が前記撮影画像内において他の被写体よ
りも相対的に高い輝度情報を有するよう反射部材から成
り、前記2次元座標取得手段が、 前記撮影画像を構成する各画素の輝度情報を所定の閾値
と比較して、前記画素のそれぞれについて高い輝度情報
を有する画素と低い輝度情報を有する画素との2種類に
種別する2値化処理手段と、 前記撮影画像内において前記高い輝度情報を有する画素
が所定範囲内で複数連続するグループを抽出するグルー
プ抽出手段と、 前記グループを構成する各画素の輝度情報および前記写
真座標系における座標値に基づいて、前記グループの重
心の座標値を算出するグループ重心座標値算出手段と、 前記撮影画像内において、前記第1の基準点と前記第2
の基準点と前記第1の直線上の前記補助点の数の合計点
数と等しい数の前記重心が同一直線上に並ぶ第1の点列
を抽出する第1の点列抽出手段と、 前記撮影画像内において、前記第2の基準点と前記第3
の基準点と前記第2の直線上の前記補助点の数の合計点
数と等しい数の前記重心が同一直線上に並ぶ第2の点列
を抽出する第2の点列抽出手段と、 それぞれの点列において一方の端部の前記重心を共有す
る前記第1の点列と前記第2の点列の組合せを選択する
選択手段と、 前記選択手段により選択された前記第1の点列において
前記選択手段により選択された前記第2の点列と共有す
る前記重心と反対側の端部に相当する前記重心を前記第
1の基準点と特定し、前記選択手段により選択された前
記第1の点列と前記第2の点列が共有する前記重心を前
記第2の基準点と特定し、前記選択手段により選択され
た前記第2の点列において前記選択手段により選択され
た前記第1の点列と共有する前記重心と反対側の端部に
相当する前記重心を前記第3の基準点と特定する基準点
特定手段とを備えていることを特徴とする請求項1に記
載の写真測量用ターゲットの基準点の算出装置。 - 【請求項3】 前記写真測量用ターゲットにおいて、前
記第1の直線上に前記補助点が2つ設けられ、前記第2
の直線上に前記補助点が1つ設けられ、前記撮影画像内
において前記第1の点列が前記重心が同一直線上に4つ
並ぶ4点列であり、前記第2の点列が前記重心が同一直
線上に3つ並ぶ3点列であることを特徴とする請求項2
に記載の写真測量用ターゲットの基準点の算出装置。 - 【請求項4】 互いの間隔が既知である第1、第2、第
3の基準点が設けられ、前記第1の基準点と前記第2の
基準点を結ぶ第1の直線と前記第2の基準点と前記第3
の基準点を結ぶ第2の直線とが所定の角度を有し、前記
第1の直線上と前記第2の直線上にそれぞれ個数の異な
る補助点が設けられた写真測量用ターゲットと共に測量
対象物をカメラにより撮影する第1ステップと、 前記カメラにより撮影された撮影画像内において、前記
第1の直線上の前記補助点の数と前記第2の直線上の前
記補助点の数との差に基づいて、前記第1の基準点、前
記第2の基準点、及び前記第3の基準点を特定し、前記
撮影画像内の2次元直交座標である写真座標系における
前記第1の基準点、前記第2の基準点及び前記第3の基
準点の座標値を取得する第2ステップとを備えることを
特徴とする写真測量用ターゲットの基準点の算出方法。 - 【請求項5】 互いの間隔が既知である第1、第2、第
3の基準点が設けられ、前記第1の基準点と前記第2の
基準点を結ぶ第1の直線と前記第2の基準点と前記第3
の基準点を結ぶ第2の直線とが所定の角度を有し、前記
第1の直線上と前記第2の直線上にそれぞれ個数の異な
る補助点が設けられた写真測量用ターゲットと共に測量
対象物がカメラにより撮影された撮影画像内において、
前記第1の直線上の前記補助点の数と前記第2の直線上
の前記補助点の数の相違に基づいて、前記第1の基準
点、前記第2の基準点及び前記第3の基準点を特定し、
前記撮影画像内の2次元直交座標である写真座標系にお
ける前記第1の基準点、前記第2の基準点及び前記第3
の基準点の座標値を取得する2次元座標取得ルーチンを
備える写真測量用ターゲットの基準点の算出プログラム
が格納されていることを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33484699A JP3737919B2 (ja) | 1998-11-25 | 1999-11-25 | 写真測量用ターゲットの基準点の算出装置、写真測量用ターゲットの基準点の算出方法及び写真測量用ターゲットの基準点の算出プログラムが格納された記録媒体 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10-334320 | 1998-11-25 | ||
JP33432098 | 1998-11-25 | ||
JP33484699A JP3737919B2 (ja) | 1998-11-25 | 1999-11-25 | 写真測量用ターゲットの基準点の算出装置、写真測量用ターゲットの基準点の算出方法及び写真測量用ターゲットの基準点の算出プログラムが格納された記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000221029A true JP2000221029A (ja) | 2000-08-11 |
JP3737919B2 JP3737919B2 (ja) | 2006-01-25 |
Family
ID=26574808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33484699A Expired - Fee Related JP3737919B2 (ja) | 1998-11-25 | 1999-11-25 | 写真測量用ターゲットの基準点の算出装置、写真測量用ターゲットの基準点の算出方法及び写真測量用ターゲットの基準点の算出プログラムが格納された記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3737919B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017096738A (ja) * | 2015-11-24 | 2017-06-01 | 大豊精機株式会社 | 3次元位置計測システム、3次元位置計測用プローブ、及びキャリブレータ |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010139329A (ja) | 2008-12-10 | 2010-06-24 | Fanuc Ltd | キャリブレーション用の校正治具および校正治具を備えた画像計測システム |
JP5832278B2 (ja) | 2011-12-26 | 2015-12-16 | 三菱重工業株式会社 | カメラ計測システムのキャリブレーション方法 |
-
1999
- 1999-11-25 JP JP33484699A patent/JP3737919B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017096738A (ja) * | 2015-11-24 | 2017-06-01 | 大豊精機株式会社 | 3次元位置計測システム、3次元位置計測用プローブ、及びキャリブレータ |
Also Published As
Publication number | Publication date |
---|---|
JP3737919B2 (ja) | 2006-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6823080B2 (en) | Three-dimensional information processing apparatus and method | |
US5259037A (en) | Automated video imagery database generation using photogrammetry | |
CN110462686B (zh) | 用于从场景获得深度信息的设备和方法 | |
Zhang et al. | Multiple illuminant direction detection with application to image synthesis | |
US9182220B2 (en) | Image photographing device and method for three-dimensional measurement | |
KR102408570B1 (ko) | 3차원으로 건물의 입체 외곽선을 자동 도화할 수 있는 공간영상도화시스템 | |
JP2001524228A (ja) | 機械視覚較正標的並びに画像内で標的の位置及び方向を決定する方法 | |
WO2006083639A1 (en) | Determining scene distance in digital camera images | |
JP2010256253A (ja) | 三次元計測用画像撮影装置及びその方法 | |
EP3712782B1 (en) | Diagnosis processing apparatus, diagnosis system, and diagnosis processing method | |
JP2000517452A (ja) | 視認の方法 | |
KR20020035652A (ko) | 3 차원적인 복구를 위한 스트랩다운 시스템 | |
JPWO2021142451A5 (ja) | ||
JP3898945B2 (ja) | 写真測量システムと写真測量方法と写真測量プログラムが格納された記録媒体 | |
KR101574636B1 (ko) | 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템 | |
US11257287B2 (en) | System, device and method for creating three-dimensional models | |
JP6425353B2 (ja) | 空中写真測量および三次元立体モデル生成用標識、空中写真測量方法 | |
JP2001317915A (ja) | 3次元計測装置 | |
JP2000221029A (ja) | 写真測量用タ―ゲットの基準点の算出装置、写真測量用タ―ゲットの基準点の算出方法及び写真測量用タ―ゲットの基準点の算出プログラムが格納された記録媒体 | |
US6650764B1 (en) | Device for calculating positional data of standard points of a photogrammetric target | |
JPH1023311A (ja) | 画像情報入力方法及び装置 | |
JPH09329430A (ja) | 物体の損傷程度計測方法及び装置、並びに物体の修理費算出装置 | |
JP3737918B2 (ja) | 写真測量用ターゲットの基準点の算出装置、写真測量用ターゲットの基準点の算出方法及び写真測量用ターゲットの基準点の算出プログラムが格納された記録媒体 | |
JP3221384B2 (ja) | 三次元座標計測装置 | |
CN113256811B (zh) | 建筑物建模方法、设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051028 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091104 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101104 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111104 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111104 Year of fee payment: 6 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111104 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121104 Year of fee payment: 7 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121104 Year of fee payment: 7 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131104 Year of fee payment: 8 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |