JP2001021351A - 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体 - Google Patents

写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体

Info

Publication number
JP2001021351A
JP2001021351A JP11192940A JP19294099A JP2001021351A JP 2001021351 A JP2001021351 A JP 2001021351A JP 11192940 A JP11192940 A JP 11192940A JP 19294099 A JP19294099 A JP 19294099A JP 2001021351 A JP2001021351 A JP 2001021351A
Authority
JP
Japan
Prior art keywords
group
coordinate system
image
images
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11192940A
Other languages
English (en)
Other versions
JP3777067B2 (ja
Inventor
Toshihiro Nakayama
利宏 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Original Assignee
Asahi Kogaku Kogyo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Kogaku Kogyo Co Ltd filed Critical Asahi Kogaku Kogyo Co Ltd
Priority to JP19294099A priority Critical patent/JP3777067B2/ja
Priority to US09/610,958 priority patent/US6618498B1/en
Publication of JP2001021351A publication Critical patent/JP2001021351A/ja
Application granted granted Critical
Publication of JP3777067B2 publication Critical patent/JP3777067B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area

Abstract

(57)【要約】 【課題】 写真測量画像処理装置におけるマニュアル作
業を大幅に効率化する。 【解決手段】 共通のターゲットTを含む画像を読み込
み、それぞれのカメラ位置およびその光軸の傾きを算出
する。2枚の画像を1つのグループにグループ化し、多
数のグループを相互に関連付けてグループ接続する。画
像表示領域IMAおよび作図領域DRAを同一表示画面
に設定し、ペア画像選択タグPIMTによってグループ
GP1のペア画像IM1およびIM2を選択表示する。
各画像IM1、IM2について対応する像点OP1' お
よびOP1" を指定し、物点OP1の3次元座標を算出
する。この3次元座標に基づいて作図領域DRAに物点
OP1を点表示する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は写真測量における画
像処理に関する。
【0002】
【従来の技術】写真測量は地図の作成に広く使用されて
いるが、交通事故の現場検証等の局所的な状況の記録に
おいても極めて有効な手段として活用されている。従来
写真測量は2台のカメラを離間しつつ固定したステレオ
カメラを使用し、両カメラで撮影した2枚の画像から各
測量点の3次元座標を算出する。ここにステレオカメラ
は大重量かつ大型の機材であり、また3次元座標の計算
にはカメラの位置情報、傾斜角度、被写体の実測長さ等
詳細な情報を記録しておく必要があり、測量作業は煩雑
かつ重労働であった。また交通事故現場の周囲に障害物
が多い等、充分広い撮影環境が確保されないことも多
く、ステレオカメラによる現場検証が困難なときも多か
った。
【0003】そこで本願出願人は、単眼のカメラによる
写真測量方法(特開平10−293026号公報、特開
平10−221072号公報)、および同写真測量の精
度を向上させるために、一対の画像(以下、「ペア画
像」という)に含めるターゲット(特開平10−307
025号公報、特開平10−293026号公報、特開
平10−185563号公報、特開平10−18556
2号公報、特開平10−170263号公報、特開平1
0−141951号公報)を多数提案して、簡易機材に
よる効率的な写真測量を実現している。
【0004】このような写真測量方法においては、同一
のターゲットと測量対象物とが任意の異なる方向から撮
影されたペア画像を得、専用の写真測量画像処理装置に
おいて、マウス等の入力手段を用いたマニュアル作業に
よって、ペア画像に共通に写し込まれた測量点(以下、
「物点」という)を指定することにより、これら物点に
基づいて任意の範囲の測量が行われる。
【0005】
【発明が解決しようとする課題】ところで、測量が広範
囲に渡る場合には多数のペア画像が用いられるが、この
場合、このマニュアル作業に際しては、ペア画像におい
てそれぞれ対応する物点を見出し指定することの煩雑さ
もさることながら、測量精度を考慮しつつ、充分な精度
が得られる物点を選択することは、熟練したオペレータ
にとっても極めて煩雑な作業であった。
【0006】また、多数のペア画像からそれぞれ得られ
る測量図を接続するが、作図時点では得られた各測量図
が測量範囲のどの位置を示すものか識別しにくく、接続
作業は極めて煩雑であった。
【0007】本発明はこのような従来の問題点を解消す
べく創案されたもので、写真測量画像処理装置における
マニュアル作業を大幅に効率化し得る、写真測量画像処
理装置および写真測量画像処理方法および写真測量画像
処理プログラムを格納した記録媒体を提供することを目
的とする。
【0008】
【課題を解決するための手段】本発明に係る写真測量画
像処理装置は、所定形状のターゲットを共通に含む複数
の画像を、画像記憶媒体から読み込む読込手段と、各画
像について、ターゲットに基づいて座標系を設定し、各
座標系における撮影したカメラの位置およびその光軸の
傾きを含むカメラパラメータを算出するカメラパラメー
タ算出手段と、同一位置のターゲットを含む所定数の画
像を、画像記憶媒体の記憶順に従って、同一のグループ
にグループ分けするグループ化手段と、全グループの座
標系のうちの1つを所定の基準座標系に定め、他の座標
系を基準座標系に統一することにより、各グループ同士
を接続するグループ接続手段と、グループごとに画像を
切替表示する画像表示領域と、基準座標系に基づいて設
定された作図領域とを有する表示手段と、画像表示領域
に表示するグループを指定すると共に、表示された所定
数の画像内に共通に写る物点を指定する入力手段と、カ
メラパラメータ算出手段によって算出されたカメラパラ
メータを用いて、物点の基準座標系における3次元座標
を算出し、この3次元座標に基づいて測量図を生成し、
作図領域に表示する測量図作成手段とを備えたことを特
徴としている。これによって、作図に使用する物点の指
定数を大幅に削減でき、写真測量におけるマニュアル作
業を大幅に効率化し得る。
【0009】写真測量画像処理装置において、各グルー
プが2枚の画像を含んでもよく、これによって必要最小
限の画像による測量図作成が可能である。
【0010】写真測量画像処理装置のグループ接続手段
において、好ましくは、画像記憶媒体の記憶順に従って
グループ同士が接続され、これにより接続の手順が簡略
化でき、撮影履歴が容易に想起できる。
【0011】写真測量画像処理装置のグループ接続手段
において、好ましくは、最初に接続されるグループの座
標系が基準座標系に定められる。これにより、接続する
グループの数を容易に増減できる。
【0012】また、本発明に係る写真測量画像処理方法
は、所定形状のターゲットを共通に含む複数の画像を得
る第1のステップと、各画像について、ターゲットに基
づいて座標系を設定し、各座標系における撮影したカメ
ラの位置およびその光軸の傾きを含むカメラパラメータ
を算出する第2のステップと、同一位置のターゲットを
含む所定数の画像を、画像記憶媒体の記憶順に従って、
同一のグループにグループ分けする第3のステップと、
全グループの座標系のうちの1つを所定の基準座標系に
定め、他の座標系を基準座標系に統一することにより、
各グループ同士を接続する第4のステップと、表示装置
の画像表示領域にグループごとに画像を切替表示すると
ともに、基準座標系に基づいた作図領域を画像表示領域
と同一画面上に設定する第5のステップと、画像表示領
域に表示するグループを指定すると共に、表示された所
定数の画像内に共通に写る物点を指定する第6のステッ
プと、第2のステップによって算出されたカメラパラメ
ータを用いて、物点の基準座標系における3次元座標を
算出し、この3次元座標に基づいて測量図を生成し、作
図領域に表示する第7のステップとを備えたことを特徴
としている。これによって、作図に使用する物点の指定
数を大幅に削減でき、写真測量におけるマニュアル作業
を大幅に効率化し得る。
【0013】また、本発明に係る記憶媒体は、所定形状
のターゲットを共通に含む複数の画像を、画像記憶媒体
から読み込む画像読込ルーチンと、各画像について、タ
ーゲットに基づいて座標系を設定し、各座標系における
撮影したカメラの位置およびその光軸の傾きを含むカメ
ラパラメータを算出するカメラパラメータ算出処理ルー
チンと、同一位置のターゲットを含む所定数の画像を、
画像記憶媒体の記憶順に従って、同一のグループにグル
ープ分けするグループ化処理ルーチンと、全グループの
座標系のうちの1つを所定の基準座標系に定め、他の座
標系を基準座標系に統一することにより、各グループ同
士を接続するグループ接続処理ルーチンと、表示装置の
画像表示領域にグループごとに画像を切替表示するとと
もに、基準座標系に基づいた作図領域を画像表示領域と
同一画面上に設定する表示処理ルーチンと、入力装置の
操作に基づいて、画像表示領域に表示するグループを決
定すると共に、表示された所定数の画像内に共通に写る
物点を決定する入力処理ルーチンと、カメラパラメータ
算出処理ルーチンによって算出されたカメラパラメータ
を用いて、物点の基準座標系における3次元座標を算出
し、この3次元座標に基づいて測量図を生成し、作図領
域に表示する測量図作成処理ルーチンとを備えた写真測
量画像処理プログラムを格納したことを特徴としてい
る。従って、汎用のパーソナルコンピュータにより写真
測量画像処理プログラムを実行させることができ、高精
度な測量図が容易に作成できる。
【0014】
【発明の実施の形態】次に本発明に係る写真測量画像処
理装置、写真測量画像処理方法、および写真測量画像処
理プログラムの実施形態を図面に基づいて説明する。
【0015】図1は、本発明の一実施形態における写真
測量の撮影状況を示す図であり、測量対象である道路の
外形および白線を鉛直上方から見た水平面図である。同
図には、撮影地点を示すカメラ位置M1〜18が示さ
れ、各カメラ位置Mはそれぞれカメラ50の撮影光学系
の後側主点位置に一致する。このカメラ位置M1〜18
からそれぞれ伸びる矢印は撮影光学系の光軸の方向を示
している。カメラは図示しないCCDを備え、光学画像
を電子画像、即ちデジタル画素データに変換する。
【0016】撮影はカメラ位置M1から順に行われ、1
つの測量対象に対して異なる2方向からの撮影が連続し
て行われる。カメラ位置M1およびM2で得られた2枚
の画像は1つのグループ(グループGP1)として定義
され、ターゲット位置RP1にあるターゲット(図中、
L字で示される)を共通に写し込んでいる。続いて、カ
メラ位置M3およびM4(グループGP2)、カメラ位
置M5およびM6(グループGP3)、・・・、カメラ
位置M17およびM18(グループGP9)の順に、2
回の連続撮影が順に行われる。このような撮影により、
9グループのペア画像が得られる。なお、1グループに
含める画像枚数は3以上でもよい。
【0017】ターゲットを全画像に写し込むために、撮
影地点の移動に伴って、ターゲットはターゲット位置R
P1からRP2、およびRP3へ順次移動させられる。
グループGP1〜3(カメラ位置M1〜6の画像)にお
いてはターゲットはターゲット位置RP1であり、グル
ープGP4および5(カメラ位置M7〜10の画像)の
ターゲット位置はRP2、グループ6〜9(カメラ位置
M11〜18の画像)のターゲット位置はRP3であ
る。
【0018】図中、三角点で示される接続点RC1〜4
には、例えばコーン等の目印が置かれる。この接続点R
Cは、異なるターゲット位置RPの略中間に置かれ、少
なくとも同一ターゲット位置における複数グループの内
の1グループには必ず写し込まれている。
【0019】このようにして得られた9グループのペア
画像(18枚)は、カメラによりメモリカード等の画像
記憶媒体(符号13、図3)に所定のフォーマットに従
って格納される。
【0020】ターゲット位置RP2およびRP3は、そ
の初期値RP1からの相対座標で表される。この相対座
標は例えば移動量および回転角であり、ターゲットTに
内蔵されたセンサ( 図示せず) により測定され、ターゲ
ットTからカメラに送信され、画像データ(デジタル画
素データ)とともに画像記憶媒体13に格納される。
【0021】図2は画像記憶媒体13に格納される測量
写真データのフォーマットを示す図であり、画像18枚
分の写真データ(図2ではn−2番目〜n+1番目の写
真データが示されている)が順次格納される。1個の写
真データ(n番目)はヘッダHと画像データIMDより
なり、隣接する写真データとの区切りのため、画像デー
タIMDの後に予備のスペースSPが設けられている。
画像データIMDはデジタル画素データ列である。
【0022】ヘッダHは画像名H1、識別番号H2、撮
影日・撮影条件H3、回転角・移動量H4等を含む。画
像名H1はカメラにおいてマニュアルで入力され、H3
の撮影日はマニュアルあるいは、図示しない日時自動設
定機構により決定される。識別番号H2は、例えば撮影
ごとに1ずつインクリメントされる撮影地点番号と、タ
ーゲットTが移動した際に1ずつインクリメントされる
ターゲット位置番号とを含み、後述する画像のグループ
化や、グループ接続等に用いられる。
【0023】H3の撮影条件は撮影時にカメラから入力
され、カメラの焦点距離f、水平および垂直方向の画角
ΘhおよびΘv、CCDの分解能rp等が含まれる。H
4の回転角には撮影時におけるターゲットTの水平面上
の回転角および方位が含まれ、移動量は最初のターゲッ
ト位置RP1(図1)からの移動量である。
【0024】次に図3を参照して、画像記憶媒体13か
ら9グループのペア画像を読み出して、測量図として図
1に示すような水平面図を作成する写真測量画像処理装
置の全体構成について説明する。同図には写真測量画像
処理装置の全体構成を示すブロック図が示される。
【0025】写真測量画像処理装置は、表示装置10、
キーボードおよびマウス等の入力装置12、画像記憶媒
体13およびCPU14を有し、これらは直接または間
接的にバス15に接続されている。
【0026】CPU14には、入力状態管理部41、表
示状態管理部42、演算処理部43およびデータ管理部
44が設けられ、ここで必要な管理、演算、処理が実行
される。入力装置12には、バス15に接続された入力
装置制御装置17が接続され、これによって入力装置1
2からの入力がバス15に転送され、また入力装置12
の入力モード等が設定される。画像記憶媒体13はメモ
リカードリーダ等の記憶媒体制御装置18に挿入され、
これによって画像記憶媒体13に格納された写真データ
(図2)が適宜読み出される。
【0027】さらにバス15には作業メモリ19、表示
メモリ20が接続され、作業メモリ19はCPU14の
演算、処理におけるキャッシュメモリ等に使用され、後
述するグループ接続処理に用いられるオブジェクトに関
するデータはここに格納される。表示メモリ20には表
示装置10で表示すべき内容が保持される。表示装置1
0には、バス15に接続された表示装置制御装置16が
接続され、表示メモリ20内のデジタルデータが表示装
置10のためのアナログRGB信号に変換される。
【0028】CPU14の入力状態管理部41は入力装
置12の設定を管理し、また入力された情報、例えばマ
ウスにより画面上を移動するマウスポインタの座標、キ
ーボードから入力された文字等を所定のデジタルデータ
に変換する。表示状態管理部42は表示装置10に表示
すべき内容を管理し、表示に関する設定の変更等があっ
たときには表示内容を変更する。演算処理部43は後述
するカメラ位置等の算出処理およびグループ接続処理に
使用される。データ管理部44は画像記憶媒体13から
読込んだ画像、および生成されたオブジェクト等のデー
タを管理し、また後述するオブジェクトおよび画像のグ
ループ設定内容、これに基づいて作成された種々の座標
データ、作図された測量図のデータ等を管理する。
【0029】図3に示す写真測量画像処理装置において
は、まず画像記憶媒体13から画像18枚分の写真デー
タが読み出され、これらに基づいてそれぞれカメラ位置
M1〜18の3次元座標およびその光軸の傾きが算出さ
れる。
【0030】図4〜図6を参照して、ターゲットを用い
たカメラ位置およびその光軸の傾きを算出する処理を説
明する。代表して、カメラ位置M1の場合について説明
する。図4はカメラ位置M1におけるカメラ50による
撮影状況を示す斜視図であり、図5は同撮影状況により
得られた画像IM1とターゲットTの関係を概念的に示
す斜視図、図6は画像IM1の概念図である。
【0031】図4においては、カメラ50によって画角
(FFでその境界を示す)内にターゲットTが捕らえら
れている。ターゲットTは基準点32、34、36を有
し、これら基準点32、36を端点とし、基準点34を
角部とする直角のL字型に形成される。基準点32、3
4間の長さ、および基準点34、36間の長さはともに
長さLTとする。なお、点M1はカメラ位置を示し、一
点鎖線O1はカメラ50の光軸を示す。
【0032】図5に示すように、ターゲットTをカメラ
50の結像面F上に結像した状態においては、光軸O1
はカメラ位置M1および結像面Fの撮影中心Cを通り、
結像面Fに投影された基準点32、34、36の像点p
1、p2、p3は、カメラ位置M1と各基準点32、3
4、36とを結ぶ直線上にそれぞれ位置する。
【0033】図5および図6に示すように、結像面Fに
実質的に一致する画像IM1には、撮影中心Cを原点
(0,0)とする写真座標系(Xp,Yp)が設定され
る。この写真座標系において像点p1、p2、p3の2
次元座標は、それぞれp1(xp1,yp1)、p2
(xp2,yp2)、p3(xp3,yp3)である。
【0034】また、図5において、カメラ位置M1を原
点(0,0,0)とする3次元座標系がカメラ座標系
(Xc,Yc,Zc)として設定されており、Xc軸お
よびYc軸はそれぞれ写真座標系のXp軸およびYp軸
に平行であり、Zc軸は光軸O1に一致する。
【0035】カメラ座標系における基準点32、34、
36の3次元座標をPci(Pcxi,Pcyi,Pc
zi)(ただし、i=1〜3)と定義すると、像点であ
る写真座標pi(xpi,ypi)と基準点のカメラ座
標(Pcxi,Pcyi,Pczi)との関係は式
(1)および式(2)により示される。なお、式(1)
および式(2)において、fはカメラ50の焦点距離で
ある。
【数1】
【0036】さらに、図5において、ターゲットTの基
準点34を原点とする3次元座標が第1シーン座標系
(Xs,Ys,Zs)として設定される。第1シーン座
標系のXs軸、Zs軸は基準点34、32、基準点3
4、36の辺にそれぞれ沿っており、Ys軸はXs軸、
Zs軸に対して垂直である。ターゲットTが傾斜面に置
かれたときには、そのXs軸、Zs軸の水平面に対する
それぞれの回転角(図2のH4)が画像データとともに
記録されており、これによりXs軸およびZs軸の傾き
が補正される。従って、Ys軸は鉛直方向に一致させら
れ、Xs−Zs平面は水平面にほぼ一致せしめられる。
【0037】ここで、第1シーン座標系におけるカメラ
位置M1の座標を(ΔX,ΔY,ΔZ)、光軸O1の傾
きを(α,β,γ)と定義すると、カメラ座標Pci
(Pcxi,Pcyi,Pczi)とシーン座標Psi
(Psxi,Psyi,Pszi)との関係は、式
(3)により示される。
【数2】
【0038】なお、式(3)におけるRは回転行列であ
り、式(4)に示されるように、光軸O1(Zc軸)の
方向余弦cosα、cosβ、cosγで表される。ま
た、式(3)におけるΔは、座標原点移動量であり、カ
メラ位置M1のシーン座標(ΔX,ΔY,ΔZ)に一致
する。
【0039】実際には、基準点部材32、34、36は
白色、ターゲットTは黒色を呈し、画像記憶媒体13か
ら画像IM1がCPU14に読み込まれると、2値化処
理等の画像処理が施されて、基準点32、34、36が
自動抽出されて、その写真座標pi(xpi,ypi)
(i=1〜3)が求められる。また、第1シーン座標系
における基準点32、34、36のシーン座標は、それ
ぞれPs1(−LT,0,0)、Ps2(0,0,
0)、Ps3(0,0,LT)である(図5)。これら
の値により、逐次近似解法を用いて、第1シーン座標系
におけるカメラ位置M1のシーン座標(ΔX,ΔY,Δ
Z)、光軸O1の傾き(α,β,γ)が算出される。
【0040】なお、逐次近似解法については公知である
ので詳述しないが、この算出において最初に与えられる
初期値としては、ΔX=0m、ΔY=1.5m、ΔZ=
0m、α=0度、βは0〜360度の範囲における任意
の値、γ=0度が与えられる。ΔYに関しては撮影者の
目の高さに相当する。またβに関しては経験によって定
められるおおよその値である。このように、実際の撮影
に即した近似値を初期値として与えると、算出時間の短
縮化が図れる。
【0041】カメラ位置M1(ΔX,ΔY,ΔZ)およ
び光軸O1の傾き(α,β,γ)からなる6つのパラメ
ータを、カメラパラメータと呼ぶ。残り17枚の画像I
M2〜18のカメラパラメータについても、同様の手法
で求められる。これらカメラパラメータは、作業メモリ
19の所定領域に格納される。
【0042】実際には、画像記憶媒体13からその記憶
順に従って画像が読み出され、18枚の画像IM1〜1
8について順次カメラパラメータ算出処理が行われ、カ
メラパラメータがそれぞれ求められる。その後各画像を
相互に対応付ける接続処理が行われる。
【0043】上述のカメラパラメータ算出処理により求
められた各画像のカメラパラメータは、ターゲット位置
PRに基づいたシーン座標系で表されており、ターゲッ
トTが移動すれば各シーン座標系が異なるものとなるた
め、全画像から1つの測量図を作成するためには、各シ
ーン座標系を統一する必要がある。ここでは第1シーン
座標系を基準座標に定め、ターゲット位置RP2を原点
とする第2シーン座標系、およびターゲット位置RP3
を原点とする第3シーン座標系に、それぞれ座標変換を
施している。
【0044】図7は、第2シーン座標系(Xs' ,Z
s' )におけるカメラ位置M7、M8を基準座標(X
s,Zs)に座標変換する状況を示す概念図である。タ
ーゲット位置RP1からターゲット位置RP2への相対
移動量を(Xdp,Zdp)、Xs軸に対するXs' 軸
(あるいはZs軸に対するZs' 軸)の回転角をξとす
ると、座標変換は式(5)で表される。また、光軸O7
およびO8の傾きについては回転角ξがそれぞれのα、
γに加算される。なお、この相対移動量および回転角
は、ヘッダH4に記録されたデータに基づいて求められ
る。
【数3】
【0045】この座標変換により、カメラ位置M7〜1
0および光軸O7〜10が基準座標(Xs,Zs)で表
される。第3シーン座標系におけるカメラ位置M11〜
18および光軸O11〜18についても、同様に座標変
換が施される。なお、異なるターゲット位置RPにおい
て鉛直方向の移動がある場合には、ヘッダHに記録され
たデータに基づいて適宜補正されるが、実際には無視で
きる程度の誤差である。
【0046】以上のようにして、異なるターゲット位置
であっても全画像を同一の座標系に統一することができ
るので、広範囲にわたる測量図を一度に作成することが
できる。
【0047】図8〜図16を参照して、図7に示す原理
を用いた接続処理を説明する。この接続処理において
は、まず1つのグループに含まれる2枚の画像を定義す
る「グループ化」が行われ、さらに定義されたグループ
同士を接続して対応付ける「グループ接続」が行われ
る。
【0048】この「グループ化」および「グループ接
続」においては、全画像IM1〜18に対応してそれぞ
れオブジェクトOB1〜18が生成され、これらのオブ
ジェクトOBを画面に表示して視覚的に編集することに
より、全画像IM1〜18が対応付けられる。即ち、画
面においてオブジェクトを「グループ化」または「グル
ープ接続」することにより、対応する画像も「グループ
化」または「グループ接続」される。
【0049】なお、オブジェクトOBは、例えば対応す
る画像IMの縮小画像で表される。1つのグループは2
個のオブジェクト、即ち2枚の画像によって構成され
る。なお、1グループに含めるオブジェクト(画像)の
数は3以上でもよい。
【0050】図8はグループGP1の画像IM1および
IM2と、オブジェクトOB1およびOB2との関係を
示す図である。オブジェクトOB1、OB2に対応する
2枚の画像IM1、IM2は、地面に置かれた共通のタ
ーゲットTを含む一対のペア画像として定義されてい
る。画像記憶媒体13から画像IM1、IM2がCPU
14に読み込まれると、各画像IM1、IM2に対応し
たオブジェクトOB1、OB2が生成され、これらオブ
ジェクトOBのデータは作業メモリ19に格納される。
【0051】図9および図10には、「グループ化」を
行うときの表示画面が示される。この表示画面には、グ
ループ表示領域GDA、一時退避表示領域TMPA、メ
ッセージ表示領域MDAが設けられ、さらにオブジェク
トの編集、操作のための完了ボタンCIB、キャンセル
ボタンCSB、第1移動ボタンMB1、第2移動ボタン
MB2、第3移動ボタンMB3およびスクロールバーS
RBが設けられている。
【0052】画像IM1〜18に対応したオブジェクト
OB1〜18は、画像記憶媒体13における記憶順に従
って一時的にグループ分けされる。即ち、連続する2枚
ずつの画像(オブジェクト)が仮のグループGPに自動
的に設定され、グループ表示領域GDAに表示される。
【0053】グループ表示領域GDAには、5つの仮の
グループに分けられた10個のオブジェクト、即ちグル
ープGP1(OB1,OB2)、グループGP2(OB
X,OB3)、グループGP3(OB4,OB5)、グ
ループGP4(OB6,OB7)およびグループGP5
(OB8,OB9)が表示されている。同一グループG
P内の2個のオブジェクトOBは水平方向に並んで表示
され、各グループGPは垂直方向に図中上から順に並ん
で表示される。
【0054】グループ表示領域GDAには10個のオブ
ジェクトOBが表示可能であるが、本実施形態において
処理するオブジェクトOBは18個であるため、オブジ
ェクトOBの右側方に設けられたスクロールバーSRB
の上下指示によってオブジェクトOB(グループGP)
をスクロールし、オブジェクトOB11〜18(グルー
プ6〜9)を表示し得る。
【0055】撮影はペア画像を連続して撮影するので、
このグループ分けがそのまま適正なグループ分けになる
可能性が高い。しかし、撮影途中で関連した証拠写真を
撮影する場合等、仮のグループGPが適正なグループG
Pとならないこともある。図9はそのような状態の表示
画面を示し、3番目のオブジェクトOBXがペアとなっ
ているオブジェクトOB3との関連がない。これはオブ
ジェクトOBXに対応する画像IM、即ち3番目に関連
の薄い画像IMXが撮影されたことが原因である。
【0056】そこで図10に示すように、オブジェクト
OBXをグループ表示領域GDAから除去し、一時退避
表示領域TMPAに退避させる。移動に際してはオブジ
ェクトOBXをマウス等の入力装置12によって指定
し、指定が完了したことを示すためにオブジェクトOB
Xを反転させる。ここでマウスにより第1移動ボタンM
B1を指示することにより、オブジェクトOBXは一時
退避表示領域TMPAに移動する。そしてオブジェクト
OBXの位置にオブジェクトOB3が繰り上がり、以降
のオブジェクトOB4以下も同様に1つ前のオブジェク
トの位置に繰り上がる。
【0057】以上のようにして適正なグループ分けが実
現され、グループ表示領域GDAにはグループ1(OB
1,OB2)、グループ2(OB3,OB4)、グルー
プ3(OB5,OB6)、グループ4(OB7,OB
8)およびグループ5(OB9,OB10)が表示され
る。
【0058】このように、仮のグループ分けが自動的に
行われ、グループ分けの状況を目視確認しつつ、その編
集を容易に行うことができるので、適正なグループ分け
を容易に実現し得る。
【0059】なお、グループ表示領域GDAおよび一時
退避表示領域TMPAの双方においてオブジェクトOB
をマウスで指定した後に、第2移動ボタンMB2をマウ
スで指示すると、一時退避表示領域TMPAで指定され
たオブジェクトOBが、グループ表示領域GDAで指定
されたオブジェクトOBの前に挿入される。そして、グ
ループ表示領域GDAで指定されたオブジェクトOB以
降のオブジェクトOBが、それぞれ1つ後のオブジェク
トOBの位置に繰り下がる。
【0060】第3移動ボタンMB3を指示した場合に
は、一時退避表示領域TMPAで指定されたオブジェク
トOBがグループ表示領域GDAの最後のオブジェクト
OBの後に挿入される。オブジェクト指定のキャンセル
にはキャンセルボタンCSBが使用され、グループ分け
の編集が完了したときには完了ボタンCIBが指示され
る。
【0061】この完了ボタンCIBの指示により、グル
ープ表示領域GDAの表示内容に従って画像IMがグル
ープ化され、各グループGP内においてペア画像が対応
付けられる。即ち、グループGP1のペア画像が画像I
M1およびIM2に定義され、同様にグループGP2
(IM3,IM4)、グループGP3(IM5,IM
6)、グループGP4(IM7,IM8)およびグルー
プGP5(IM9,IM10)が定義付けられる。以上
で「グループ化」が終了する。
【0062】続いて、図11〜図16を参照して「グル
ープ接続」について説明する。図11〜図16には「グ
ループ接続」を行うときの表示画面が示される。この
「グループ接続」により全グループGPの相互関係、あ
るいは撮影履歴を表示装置10の画面上で容易に視認で
きる。
【0063】同一ターゲット位置のグループGPは、シ
ーン座標系が同一であるので予め相互に関連付けられて
おり、1つの上位グループGGに定義される。同一上位
グループGG内においては、各グループGPは所定の順
番、例えば画像記憶媒体の記憶順、即ち撮影順に「グル
ープ接続」され、上位グループGGの順番もターゲット
位置の順番に応じて定められる。上位グループGGのグ
ループ分け、および上位グループGG内における接続
は、図2に示す写真データのヘッダH2に格納される識
別番号(ターゲット位置番号)に基づいて決定される。
【0064】詳述すると、ターゲット位置がRP1であ
るグループGP1〜3が上位グループGG1に定義さ
れ、ターゲット位置がRP2であるグループGP4およ
びGP5が上位グループGG2に、ターゲット位置がR
P3であるグループGP6〜9が上位グループGG3に
定められる。
【0065】ターゲット位置RPが異なる上位グループ
GGについては、シーン座標系が異なるので、マニュア
ル操作により両者が「グループ接続」され、式(5)で
示す変換式により両者のシーン座標系が統一される。
【0066】図11は、表示装置10における表示画面
の初期状態を示す図である。この表示画面の右側には接
続候補表示領域GDAが設けられる。接続候補表示領域
GDAには、1つの上位グループGG(上位グループG
G1)が表示されている。各グループGPはそれぞれ2
枚の画像によって構成されるが、接続候補表示領域GD
Aには、各グループGPの一方のオブジェクトOBが表
示される。これにより、簡略な表現でありながら各グル
ープGPの特徴を明示し得る。図11においては、上位
グループGG1を構成するグループGP1〜3の代表と
して、垂直方向に沿って上から順にオブジェクトOB
1、OB3およびOB5が表示される。
【0067】接続候補表示領域GDAの図中上方には、
上位グループ送りボタンGGAおよび上位グループ戻し
ボタンGGRが設けられており、上位グループ送りボタ
ンGGAによって順位が後の上位グループGGのオブジ
ェクトOBが順次選択表示され、上位グループ戻しボタ
ンGGRによって順位が前の上位グループGGのオブジ
ェクトOBが順次選択表示される。
【0068】これにより接続候補表示領域GDAにオブ
ジェクトOBを上位グループGGごとに切り替え表示で
き、任意の上位グループGGのオブジェクトOBを選択
できる。なお接続候補表示領域GDAに表示する上位グ
ループGGを2個以上とし、あるいは表示個数を適宜変
更可能な構成とすることも勿論可能である。
【0069】接続候補表示領域GDAの図中左方には接
続編集領域CEAが設けられ、この接続編集領域CEA
において、接続候補表示領域GDAで選択されたオブジ
ェクトOBの配置等がマニュアルにより自在に編集さ
れ、これにより各グループGPの相互の接続関係が定義
されるとともに、撮影履歴を容易に視覚化し得る。
【0070】接続編集領域CEAの図中上方には、左端
から順に配置モードボタンARM、移動モードボタンM
VM、削除モードボタンDLMの3つの編集モード設定
ボタンが設けられ、オペレータにより「配置モード」、
「移動モード」および「削除モード」の中から何れか1
つの編集モードが選択される。
【0071】「配置モード」のときには、接続候補表示
領域GDAで選択されたオブジェクトOBを上位グルー
プGGごとに接続編集領域CEAへ配置できる。「移動
モード」が設定されているときには、接続編集領域CE
A内において各オブジェクトOBを任意の位置に移動で
きる。また「削除モード」が設定されているときには、
接続編集領域CEAに配置されているオブジェクトOB
を上位グループGGごとに一括して削除し、接続候補表
示領域GDAへ退避できる。なお、図11に示す初期状
態においては、予め「配置モード」に設定されており、
配置モードボタンARMがハッチングで示される。
【0072】また、接続編集領域CEAの図中右上に
は、表示更新ボタンDRMおよび表示設定ボタンDST
が設けられ、さらにその上方にはオペレータにメッセー
ジを報知するためのメッセージ表示領域MSAが設けら
れる。表示設定ボタンDSTのクリックによって、図示
しない表示設定変更メニューが表示され、接続編集領域
CEAに表示するオブジェクトOBの大きさおよび表示
画像の変更、あるいはオブジェクトOB間を接続する接
続線CNL(図12)の線種、線幅および線色等などが
適宜変更される。そして表示更新ボタンDRMのクリッ
クによって、設定変更の結果に基づいて接続編集領域C
EAが更新表示される。さらに表示画面の右上隅には、
グループ接続処理の終了を指示する完了ボタンCIB、
およびグループ接続処理の中止を指示するキャンセルボ
タンCSBが設けられる。
【0073】上位グループGG1のオブジェクトOB
1、3および5は、接続候補表示領域GDAから接続編
集領域CEAへ移動させられると同時に互いに接続され
る。詳述すると、「配置モード」状態において、接続候
補表示領域GDAに示された上位グループGG1の任意
のオブジェクトOB、例えばオブジェクトOB1(画像
IM1)をマウスクリックにより指定する。このとき、
指定されたオブジェクトOB1の周囲は一点鎖線で囲ま
れて指定画像であることが示され、他の画像と区別され
る。なお、指定画像の区別化は一点鎖線表示でなくても
よく、線種、線幅あるいは線色等の変更、反転表示等で
示してもよい。
【0074】その後、接続編集領域CEA内にマウスポ
インタを移動させると、マウス操作に応じて移動するオ
ブジェクトマーカGM(図中、破線で示す)が表示され
る。このオブジェクトマーカGMは、マウスポインタを
中心としオブジェクトOB1とほぼ同じ大きさの長方形
を呈している。編集領域CEA内におけるオブジェクト
マーカGMの位置をマウスで指定することにより、上位
グループGG1は接続編集領域CEAの指定位置に移動
する。
【0075】図12は、上位グループGG1が接続編集
領域CEAに移動した状態を示す。図11で示されたオ
ブジェクトマーカGMの位置にはオブジェクトOB1が
配置され、同時にオブジェクトOB3およびOB5がそ
の下に連続して表示される。連続する2つのオブジェク
トOB間(OB1−OB3間、OB3−OB5間)には
接続線CNLが示され、相互に接続されていることが明
示される。接続編集領域CEAにおいては、2つのオブ
ジェクトOBの略中央を結ぶ接続線CNLが描かれ、そ
の上に2つのオブジェクトOBが覆うように表示され
る。
【0076】このように、同一上位グループGG内にお
けるオブジェクトOB間の接続は、接続編集領域CEA
へのオブジェクトOBの移動により、自動的に行われ
る。同時に、同一上位グループGG内のグループGPは
撮影順に接続される。
【0077】上位グループGG1の接続編集領域CEA
への移動によって、上位グループGG1を除いた中で一
番前の順位にある上位グループGG、即ち上位グループ
GG2のオブジェクトOB7およびOB9が、接続候補
表示領域GDAに新たに表示される。
【0078】続いて、図13〜図15を参照して、上位
グループGG2のオブジェクトOB7および9を、既に
接続が終了しているオブジェクトOB1、3および5に
接続する操作について説明する。具体的には、前述した
操作と同じ操作によってオブジェクトOB7および9を
接続編集領域CEAへ一括して移動して互いに接続し、
次にマニュアルでオブジェクトOB5にオブジェクトO
B7を接続する。
【0079】まず、接続候補表示領域GDAにおいて接
続すべきオブジェクトOB7が指定され、一方、接続編
集領域CEAにおいて接続されるべきオブジェクトOB
5が指定され、これらの周囲は一点鎖線に表示変更され
る。これら2つのオブジェクトOB5、7の指定が完了
し、マウスポインタを接続編集領域CEA内に移動する
と、オブジェクトマーカGMが表示され、オブジェクト
OB7を配置すべき位置が示される。マウス操作により
オブジェクトマーカGMを移動すれば、配置位置を変更
し得る。位置が決定した時点でマウスをクリックする
と、オブジェクトOB7の位置が確定する。
【0080】ここで、図14に示すように、オブジェク
トOB5とオブジェクトOB7とを接続する画面に切り
替えられる。図14には、オブジェクトOB5に対応す
るグループGP3のペア画像IM5およびIM6が上段
に並列して表示され、オブジェクトOB7に対応するグ
ループGP4のペア画像IM7およびIM8が下段に並
列して表示される。
【0081】これらの画像IM5〜8において、接続点
RC1およびRC2(図1)の像点が指定される。な
お、これらの接続点RC1およびRC2は、図1の撮影
ではコーンを載置することにより示されていたが、全画
像IM5〜8内に共通に写し込まれた2点であればよ
い。
【0082】接続点RC1の像点の指定においては、ま
ず、第1の指定モードボタンKB1がクリックされ、こ
れにより、以後マウスにより画像IM5〜8で連続して
指定される4点が接続点RC1の像点として対応付けら
れる。接続点RC1の像点は画像IM5〜8においてそ
れぞれRC15、RC16、RC17およびRC18で
示される。同様に、第2の指定モードボタンKB2のク
リック後、画像IM5〜8において、接続点RC2の像
点RC25、RC26、RC27およびRC28が指定
される。
【0083】ペア画像IM5およびIM6において、接
続点RC1の像点RC15、RC16が指定されると、
これら像点の写真座標から、第1シーン座標系における
接続点RC1の3次元座標が求められ、同様に像点RC
17、RC18の写真座標から、第2シーン座標系にお
ける3次元座標が求められる。これにより、第1シーン
座標系に対する第2シーン座標系の相対移動量が求めら
れる。さらに、接続点RC2の第1および第2シーン座
標系における3次元座標を加味すれば、第1シーン座標
系に対する第2シーン座標系の回転角が求められる。従
って、図7に示すXdp、Zdp、およびξが求められ
ることとなり、式(5)に基づいて座標変換が行える。
【0084】2つの接続点RC1およびRC2の対応付
けが完了したときには、完了ボタンOFNを指示するこ
とにより、接続処理が完了する。これにより、グループ
GP4がグループGP3に接続され、同時に第2シーン
座標系で表されていたグループGP4およびGP5が第
1シーン座標系(基準座標系)に座標変換される。な
お、完了ボタンOFNの下には処理を中断するためのキ
ャンセルボタンOCSが設けられる。なお、像点指定の
際には図示しない倍率設定メニューにより像点の近傍の
画像を任意に拡大でき、像点指定が高精度に行われる。
【0085】接続処理が完了すると、図15に示す画面
に切り替えられ、オブジェクトOB5とオブジェクトO
B7とが接続線CNLで接続される。このとき、接続候
補表示領域GDAには次の順位の上位グループGG3の
オブジェクトOB11、13、15および17が表示さ
れる。上位グループGG3の接続に関しては、上述の操
作と同様であり、ここでは説明を省略する。
【0086】図16を参照して、「移動モード」につい
て説明する。移動モードボタンMVMがマウスにより指
定されると、「移動モード」に設定され、接続編集領域
CEA内におけるオブジェクトOBの配置変更を可能に
する。これによって図16に示すように、各グループG
Pにより示される撮影領域の実際の位置関係に近い表示
が可能であり、あるいは、接続編集領域CEAで表示に
適した配置を設定し得る。なお、このとき接続候補表示
領域GDAおよび接続編集領域CEA間におけるオブジ
ェクトOBの移動は不可である。
【0087】具体的には、任意のオブジェクトOBをマ
ウスで指定すると、このオブジェクトの周囲が一点鎖線
表示されるとともに、オブジェクトマーカGMが発生す
る。このオブジェクトマーカGMを移動させたい位置に
マウスで移動させてクリックすると、このオブジェクト
マーカGMに示された位置に指定されたオブジェクトO
Bが移動する。
【0088】また、図示されないが、削除モードボタン
DLMにより「削除モード」が設定された場合には、接
続編集領域CEAで指定されたオブジェクトOBが、こ
のオブジェクトOBと同一上位グループGGのオブジェ
クトOBとともに、接続候補表示領域GDAへ移動せし
められる。このとき、オブジェクトOB間およびグルー
プGP間の接続関係も同時に削除される。
【0089】オブジェクトOBの編集が終了し、完了ボ
タンCIBがクリックされると、この編集結果に基づい
て全画像IM1〜18が対応付けられる。そして「グル
ープ接続」が完了し、この編集結果のデータは作業メモ
リ19に格納される。
【0090】このように、「グループ化」によって同一
グループ内の2枚の画像が対応付けられるとともに、
「グループ接続」によって異なるグループ同士が対応付
けられることにより、基準座標系における全カメラ位置
M1〜18および全光軸傾きO1〜18が求められる。
従って、ペア画像において共通に移し込まれている物点
の像点を指定すると、これら2つの像点に基づいて物点
の3次元座標が特定できる。またこの像点指定におい
て、対応付けられた複数の異なるグループに渡って物点
指定が容易に行えるので、指定する物点数を減らすこと
ができ、作業効率が向上する。
【0091】「グループ化」および「グループ接続」の
後、各グループGPのペア画像における像点の指定、物
点の座標演算、描画等の「測量図作成」が行われる。
【0092】図17は、「測量図作成」における表示画
面を示す図である。表示画面の画像表示領域IMAに
は、グループGP1の画像IM1およびIM2が並列し
て表示される。画像表示領域IMAの上方にはペア画像
選択タグPIMTが設けられ、このペア画像選択タグP
IMTをマウスでクリックすることによって、画像表示
領域IMAに表示すべきペア画像をグループGP1〜9
のいずれかから任意に選択できる。また、画像表示領域
IMAの上部には補助メニューSMが設けられており、
「ペア名称変更」、「基準点再設定」、「ユーザ設定変
更」、「ウインドウ設置」等のコマンドを選択し得る。
【0093】画像表示領域IMAの下側には作図領域D
RAが設けられ、グループGP1〜9の18枚の画像に
基づいて作図された測量図(図中の道路の外形を示す実
線L等)が描かれる。測量図は道路を鉛直上方から見た
水平面図である。なお、作図領域DRAにはターゲット
位置RP1、RP2およびRP3が予め点表示される。
【0094】測量図の作図に際しては、ペア画像中で対
応する像点がマニュアルで指定される。詳述すると、画
像IM1およびIM2において、道路の角の像点OP
1' 、OP1" がマウスによりマニュアル指定される
と、これら像点OP1' 、OP1" に対応した物点OP
1の3次元座標が算出されるとともに、作図領域DRA
に物点OP1が点表示される。同様に、像点OP2' 、
OP2" が指定されると、作図領域DRAに物点OP2
が点表示される。
【0095】作図領域DRA内には、作図のためのメニ
ューDRMが設けられ、このメニューDRMにおいて、
「直線描画」、「多角形描画」、「直径指定円描画」、
「半径指定円描画」、「補助点描画」、「入力完了」等
のコマンドが選択される。例えば「直線描画」が選択さ
れている場合、物点OP1およびOP2が連続して指定
されると、この2点OP1、OP2を結ぶ直線L1が自
動的に作成され、作図領域DRAに表示される。
【0096】画像領域IMAおよび作図領域DRAの左
側にはメインメニューMMが設けられ、メインメニュー
MM内には、作業完了ボタンCIB、コマンドメニュー
CM、倍率設定部MG、回転設定部RTおよび表示設定
部DTが設けられている。作業完了ボタンCIBがマウ
スクリックされると、測量図作成処理が終了する。
【0097】コマンドメニューCMにおいては、「道路
外形描画」、「当事者記号描画」、「図形記号描画」、
「記号描画」、「文字描画」、「計測」、「記号、図形
編集」、「元に戻す」、「消去」、「図面保存」、「印
刷設定」、「図面印刷」、「図面校正」等のコマンドが
選択可能である。倍率設定部MGにおいては、作図領域
DRAに表示倍率を適宜設定し、回転設定部RTにおい
ては作図領域DRAに表示された測量図等を適宜回転指
定し得る。また表示設定部DTにおいては、測量図(実
線L)の線種、線幅、色等の変更が設定される。
【0098】このように、ペア画像を表示する画像表示
領域IMAと、測量図を表示する作図領域DRAを同一
画面に表示することにより、ペア画像における像点の指
定とそれに対応して表示される物点との対応が容易に確
認できる。
【0099】図18〜図21のフローチャートを参照し
て、測量図作成処理ルーチンについて説明する。この測
量図作成処理ルーチンは、図17に示す画面が表示され
た後に、CPU14において実行される。
【0100】まず、画面上におけるマウスクリック位置
を示すフラグSurveyが「0」に初期化される(ス
テップS201)。このSurveyは、左側に表示さ
れた画像(図17においては画像IM1)において作図
したい物点、例えばOP1の像点OP1' が指定された
場合には「1」となり、右側に表示された画像(図17
においては画像IM2)において像点OP1" が指定さ
れた場合には「2」となる。
【0101】次いで、作業完了ボタンCIBがマウス指
定されたか否かが判定され(ステップS202)、さら
にマウスクリックの有無が検出される(ステップS20
3)。作業完了の指示があった場合には直ちに測量図作
成処理ルーチンは終了し、作業完了ボタンCIBが指定
されず、かつマウスクリックが検出された場合には、マ
ウスクリックが行われた場所により分岐処理が行われる
(ステップS204)。
【0102】ここで、クリック場所がペア画像選択タグ
PIMT(図17)であったときは第1の分岐処理サブ
ルーチン(ステップS300)に移行し、画像表示領域
IMAであったときは第2の分岐処理サブルーチン(ス
テップS400)に移行する。
【0103】マウスクリックが検知されない場合(ステ
ップS203)、クリック場所がペア画像選択タグPI
MTまたは画像表示領域IMAの何れでもなかった場
合、または第1または第2の分岐処理サブルーチンが終
了した場合には、ステップS202に戻り、ステップS
202が再実行される。
【0104】第1の分岐処理サブルーチンにおいては、
フラグSurveyが0であるか否かが判定され(ステ
ップS301)、「0」であれば指定されたペア画像選
択タグに対応する画像ペアを表示して(ステップS30
2)、第1の分岐処理サブルーチンが終了する。Sur
veyが「0」でなければ、直ちに第1の分岐処理サブ
ルーチンが終了する。
【0105】第2の分岐処理サブルーチンにおいては、
Surveyの値によりさらに分岐し(ステップS40
1)、「0」であったときは両画像において初めて像点
が指定されたと判定され、クリック位置に応じてSur
veyに値が代入されると共に、クリック位置の座標、
即ち像点OP1' またはOP1" の写真座標が読み取ら
れる(ステップS402)。クリック位置が左画像IM
1であればSurveyに「1」が代入され、右画像I
M2であれば「2」が代入される。
【0106】Surveyが「1」の場合(ステップS
401)には、左画像IM1において像点OP1' が既
に指定されたと判定され、さらに右画像IM2がクリッ
クされたか否かが判定される(ステップS403)。左
画像IM1および右画像IM2が連続してクリックされ
た場合には、それぞれのクリック位置が対応する像点O
P1' およびOP1" であるとみなされ、2つの像点O
P1' およびOP1"の写真座標から物点OP1の3次
元座標が算出され(ステップS500)、Survey
が「0」に戻される(ステップS405)。
【0107】左画像IM1が連続して指定された場合
(ステップS403)には、前回指定されたクリック位
置に変わって、現在指定されているクリック位置が像点
OP1' に定められる(ステップS407)。
【0108】Surveyが「2」の場合(ステップS
401)には、右画像IM2において像点OP1" が既
に指定されたと判定され、さらに左画像IM1がクリッ
クされたか否かが判定される(ステップS406)。右
画像IM2および左画像IM1が連続してクリックされ
た場合には、それぞれのクリック位置が対応する像点O
P1" およびOP1' であるとみなされ、2つの像点O
P1" およびOP1'の写真座標から物点OP1の3次
元座標が算出され(ステップS500)、作図領域DR
Aに物点OP1が表示されると共に、Surveyが
「0」に戻される(ステップS405)。
【0109】右画像IM2が連続して指定された場合
(ステップS406)には、前回指定されたクリック位
置に変わって、現在指定されているクリック位置が像点
OP1" に定められる(ステップS407)。
【0110】ステップS402、ステップS405およ
びステップS407が実行されると、第2の分岐処理サ
ブルーチンが終了し、ステップS201(図18)に戻
る。
【0111】図21は、物点の3次元座標算出サブルー
チン(ステップS500)の詳細を示すフローチャート
である。3次元座標算出には逐次近似解法が用いられ
る。まず、物点OP1の3次元座標Ps(Psx,Ps
y,Psz)に適当な初期値が与えられ(ステップS5
01)、左画像IM1において指定された像点OP1'
の写真座標po1(xo1,yo1)および右画像IM
2における像点OP1"の写真座標po2(xo2,y
o2)が読み出される(ステップS502)。次に、左
画像IM1のカメラパラメータ(ΔX1,ΔY1,ΔZ
1,α1,β1,γ1)および右画像IM2のカメラパ
ラメータ(ΔX2,ΔY2,ΔZ2,α2,β2,γ
2)が作業メモリ19から読み出される。
【0112】そして、初期値の与えられたシーン座標P
s(Psx,Psy,Psz)と、2つのカメラパラメ
ータと、式(1)〜(4)とに基づいて、計算上の像点
OP1' の写真座標p1(px1,py1)および像点
OP1" の写真座標p2(px2,py2)が算出され
る(ステップS504)。
【0113】この算出された写真座標p1またはp2
と、画像から読み取られた写真座標po1またはpo2
との差の二乗の和Φ(式(6)参照)が最小になるよう
に、3次元座標Psの値が更新されつつ繰り返し演算さ
れることにより、3次元座標Psが決定される。
【数4】
【0114】物点OP1の3次元座標Ps(Psx,P
sy,Psz)が求められると、3次元座標算出サブル
ーチンは終了する。このように、画像ペア選択タグPI
MTによりペア画像を切り替えながら、物点指定が行え
る。従って、測量が広範囲にわたる場合に個々の測量図
作成して、その後に全測量図を貼り合わせる従来の作業
に比べ、指定する物点数を大幅に減らすことができ、ま
た糊代部分に生じた誤差を考慮する必要もなくなる。
【0115】本実施形態の写真測量画像処理装置におい
ては、画像を読み出し、各画像からそれぞれカメラパラ
メータを算出し、画像を所定枚数ごとに対応付ける「グ
ループ化」を行い、さらにグループ同士を関連付ける
「グループ接続」を行った後に、物点指定による作図が
行われる。
【0116】即ち、作図の前に全画像のカメラパラメー
タが同一の基準座標系で示されているので、測量が広範
囲に渡る場合でも1つの測量図を作成するだけでよい。
従って複数のグループに渡る物点指定が容易に行え、広
範囲の測量図の作成において物点指定数を減らすことが
できる。この「グループ化」および「グループ接続」
は、表示画面上表示された画像を用いて目視により行わ
れるので、オペレータは撮影状況を想起しながら作業で
き、作業効率を向上できる。
【0117】また、画像上で指定した像点から物点を求
める演算や、基準座標系への座標変換はCPU14によ
り実行されるので、作図時にはオペレータが意識するこ
となく、物点指定作業を視覚的に行える。
【0118】さらに、作図のための表示画面(図17)
においては、作図領域DRAの上方に各グループの画像
が選択的に表示できるので、画像上の像点と測量図上の
物点との対応が容易に視認でき、作業効率が上がると共
に、誤操作が防止できる。
【0119】また、本実施形態では測量図が水平面図で
あるため、略水平面に平行に設けられたターゲットの基
準点を基準の3次元座標系(基準座標系およびシーン座
標系)に定めることにより、測量図に最適な座標系が設
定され、演算をより簡略化できる。
【0120】
【発明の効果】本発明によれば、写真測量におけるグル
ープ化およびグループ接続を、測量図作成の前に行うの
で、異なるグループ間に渡る物点指定が容易に行え、指
定する物点数を大幅に減らしてマニュアル作業を大幅に
効率化できる。
【図面の簡単な説明】
【図1】 写真測量における撮影状況を模式的に示す図
であって、鉛直上方から見た水平面図である。
【図2】 本発明に係る写真測量画像処理装置の一実施
形態で処理される写真データのフォーマットを示す概念
図である。
【図3】 本発明に係る写真測量画像処理装置の全体構
成を示すブロック図である。
【図4】 1枚の画像の撮影状況を示す斜視図である。
【図5】 図4に示す撮影状況における画像、カメラ位
置およびターゲットの関係を模式的に示す斜視図であ
る。
【図6】 図4に示す撮影状況により得られた画像を示
す概念図である。
【図7】 異なるカメラ位置を1つの基準座標に変換す
る状況を示した概念図である。
【図8】 1つのグループにおける2枚の画像と対応す
るオブジェクトとの関係を示す図である。
【図9】 図3に示す表示装置の表示画面を示す図であ
り、グループ化における操作画面を示す概念図である。
【図10】 グループ化において、関連性の薄い画像を
グループから削除した状態の表示画面を示す概念図であ
る。
【図11】 図3に示す表示装置の表示画面を示す図で
あり、グループ接続における操作画面を示す概念図であ
る。
【図12】 グループ接続において、接続候補表示領域
のオブジェクトを接続編集領域に配置した状態の表示画
面を示す概念図である。
【図13】 グループ接続において、さらに他の接続候
補表示領域のオブジェクトを選択した状態の表示画面を
示す概念図である。
【図14】 グループ接続を実行するための別の表示画
面を示す概念図である。
【図15】 グループ接続後の表示画面を示す概念図で
ある。
【図16】 グループ接続において、接続編集領域内に
おいてオブジェクトを移動した状態の表示画面を示す概
念図である。
【図17】 図3に示す表示装置の表示画面を示す図で
あり、測量図作成における操作画面を示す概念図であ
る。
【図18】 図3に示すCPUにおいて実行されるルー
チンを示すフローチャートである。
【図19】 図18に示す第1の分岐処理サブルーチン
の詳細を示すフローチャートである。
【図20】 図18に示す第2の分岐処理サブルーチン
の詳細を示すフローチャートである。
【図21】 図20に示す3次元座標算出サブルーチン
の詳細を示すフローチャートである。
【符号の説明】
10 表示装置 12 入力装置 13 画像記憶媒体 IMA 画像表示領域 DRA 作図領域 PIMT ペア画像選択タグ T ターゲット RP1〜RP3 ターゲット位置 RC1〜RC4 接続点

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 所定形状のターゲットを共通に含む複数
    の画像を、画像記憶媒体から読み込む読込手段と、 前記各画像について、前記ターゲットに基づいて座標系
    を設定し、各座標系における撮影したカメラの位置およ
    びその光軸の傾きを含むカメラパラメータを算出するカ
    メラパラメータ算出手段と、 同一位置のターゲットを含む所定数の画像を、前記画像
    記憶媒体の記憶順に従って、同一のグループにグループ
    分けするグループ化手段と、 全グループの前記座標系のうちの1つを所定の基準座標
    系に定め、他の前記座標系を前記基準座標系に統一する
    ことにより、各グループ同士を接続するグループ接続手
    段と、 前記グループごとに前記画像を切替表示する画像表示領
    域と、前記基準座標系に基づいて設定された作図領域と
    を有する表示手段と、 前記画像表示領域に表示するグループを指定すると共
    に、表示された所定数の画像内に共通に写る物点を指定
    する入力手段と、 前記カメラパラメータ算出手段によって算出されたカメ
    ラパラメータを用いて、前記物点の前記基準座標系にお
    ける3次元座標を算出し、この3次元座標に基づいて測
    量図を生成し、前記作図領域に表示する測量図作成手段
    とを備えたことを特徴とする写真測量画像処理装置。
  2. 【請求項2】 前記各グループは2枚の画像を含むこと
    を特徴とする請求項1に記載の写真測量画像処理装置。
  3. 【請求項3】 前記グループ接続手段において、前記画
    像記憶媒体の記憶順に従って前記グループ同士が接続さ
    れることを特徴とする請求項1に記載の写真測量画像処
    理装置。
  4. 【請求項4】 前記グループ接続手段において、最初に
    接続される前記グループの前記座標系が前記基準座標系
    に定められることを特徴とする請求項1に記載の写真測
    量画像処理装置。
  5. 【請求項5】 所定形状のターゲットを共通に含む複数
    の画像を得る第1のステップと、 前記各画像について、前記ターゲットに基づいて座標系
    を設定し、各座標系における撮影したカメラの位置およ
    びその光軸の傾きを含むカメラパラメータを算出する第
    2のステップと、 同一位置のターゲットを含む所定数の画像を、前記画像
    記憶媒体の記憶順に従って、同一のグループにグループ
    分けする第3のステップと、 全グループの前記座標系のうちの1つを所定の基準座標
    系に定め、他の前記座標系を前記基準座標系に統一する
    ことにより、各グループ同士を接続する第4のステップ
    と、 表示装置の画像表示領域に前記グループごとに前記画像
    を切替表示するとともに、前記基準座標系に基づいた作
    図領域を前記画像表示領域と同一画面上に設定する第5
    のステップと、 前記画像表示領域に表示するグループを指定すると共
    に、表示された所定数の画像内に共通に写る物点を指定
    する第6のステップと、 前記第2のステップによって算出されたカメラパラメー
    タを用いて、前記物点の前記基準座標系における3次元
    座標を算出し、この3次元座標に基づいて測量図を生成
    し、前記作図領域に表示する第7のステップとを備えた
    ことを特徴とする写真測量画像処理方法。
  6. 【請求項6】 所定形状のターゲットを共通に含む複数
    の画像を、画像記憶媒体から読み込む画像読込ルーチン
    と、 前記各画像について、前記ターゲットに基づいて座標系
    を設定し、各座標系における撮影したカメラの位置およ
    びその光軸の傾きを含むカメラパラメータを算出するカ
    メラパラメータ算出処理ルーチンと、 同一位置のターゲットを含む所定数の画像を、前記画像
    記憶媒体の記憶順に従って、同一のグループにグループ
    分けするグループ化処理ルーチンと、 全グループの前記座標系のうちの1つを所定の基準座標
    系に定め、他の前記座標系を前記基準座標系に統一する
    ことにより、各グループ同士を接続するグループ接続処
    理ルーチンと、 表示装置の画像表示領域に前記グループごとに前記画像
    を切替表示するとともに、前記基準座標系に基づいた作
    図領域を前記画像表示領域と同一画面上に設定する表示
    処理ルーチンと、 入力装置の操作に基づいて、前記画像表示領域に表示す
    るグループを決定すると共に、表示された所定数の画像
    内に共通に写る物点を決定する入力処理ルーチンと、 前記カメラパラメータ算出処理ルーチンによって算出さ
    れたカメラパラメータを用いて、前記物点の前記基準座
    標系における3次元座標を算出し、この3次元座標に基
    づいて測量図を生成し、前記作図領域に表示する測量図
    作成処理ルーチンとを備えた写真測量画像処理プログラ
    ムを格納したことを特徴とする記憶媒体。
JP19294099A 1999-07-07 1999-07-07 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体 Expired - Fee Related JP3777067B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP19294099A JP3777067B2 (ja) 1999-07-07 1999-07-07 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体
US09/610,958 US6618498B1 (en) 1999-07-07 2000-07-06 Image processing computer system for photogrammetric analytical measurement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19294099A JP3777067B2 (ja) 1999-07-07 1999-07-07 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体

Publications (2)

Publication Number Publication Date
JP2001021351A true JP2001021351A (ja) 2001-01-26
JP3777067B2 JP3777067B2 (ja) 2006-05-24

Family

ID=16299547

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19294099A Expired - Fee Related JP3777067B2 (ja) 1999-07-07 1999-07-07 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体

Country Status (2)

Country Link
US (1) US6618498B1 (ja)
JP (1) JP3777067B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002232869A (ja) * 2001-02-02 2002-08-16 Mitsubishi Electric Corp カメラのキャリブレーション方法
JP2009294109A (ja) * 2008-06-05 2009-12-17 Fujitsu Ltd キャリブレーション装置
JP2010145231A (ja) * 2008-12-18 2010-07-01 Sumitomo Heavy Ind Ltd 対象物の変位測定装置及び方法
JP5070435B1 (ja) * 2011-07-01 2012-11-14 株式会社ベイビッグ 3次元相対座標計測装置およびその方法
JP2013015519A (ja) * 2012-06-26 2013-01-24 Baybig Co Ltd 3次元相対座標計測装置およびその方法
JP5629874B2 (ja) * 2011-07-01 2014-11-26 株式会社ベイビッグ 三次元座標計測装置及び三次元座標計測方法
WO2017154606A1 (ja) * 2016-03-10 2017-09-14 ソニー株式会社 情報処理装置および情報処理方法
KR20200125383A (ko) * 2019-04-25 2020-11-04 군산대학교산학협력단 지오 태그 사진들로부터 어트랙션 지역을 발견하는 방법 및 이를 수행하는 장치

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3831548B2 (ja) * 1999-06-16 2006-10-11 ペンタックス株式会社 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体
US6954217B1 (en) * 1999-07-02 2005-10-11 Pentax Corporation Image processing computer system for photogrammetric analytical measurement
US7098997B2 (en) * 2002-06-26 2006-08-29 Pentax Corporation Surveying system
US7075634B2 (en) * 2002-06-28 2006-07-11 Pentax Corporation Surveying system
JP4540322B2 (ja) * 2003-09-29 2010-09-08 Hoya株式会社 画像間対応点検出装置および画像間対応点検出方法
JP4488804B2 (ja) * 2004-06-23 2010-06-23 株式会社トプコン ステレオ画像の関連付け方法及び3次元データ作成装置
US8456488B2 (en) * 2004-10-06 2013-06-04 Apple Inc. Displaying digital images using groups, stacks, and version sets
US7804508B2 (en) * 2004-10-06 2010-09-28 Apple Inc. Viewing digital images on a display using a virtual loupe
US7705858B2 (en) * 2004-10-06 2010-04-27 Apple Inc. Techniques for displaying digital images on a display
US7889212B2 (en) * 2006-09-07 2011-02-15 Apple Inc. Magnifying visual information using a center-based loupe
US7912320B1 (en) 2007-01-16 2011-03-22 Paul Minor Method and apparatus for photographic measurement
US8775953B2 (en) 2007-12-05 2014-07-08 Apple Inc. Collage display of image projects
ITTO20111230A1 (it) * 2011-12-29 2013-06-30 Telespazio Spa Piattaforma avanzata per l'interpretazione bidimensionale e tridimensionale di elementi del territorio
JP2014185996A (ja) * 2013-03-25 2014-10-02 Toshiba Corp 計測装置
CN103557841B (zh) * 2013-08-28 2016-08-10 陈天恩 一种提高多相机合成影像摄影测量精度的方法
US20170059317A1 (en) * 2014-05-07 2017-03-02 Datumate Ltd. System and method for automatically generating cad field sketches and automatic validation thereof
CN104374373A (zh) * 2014-10-15 2015-02-25 中铁电气化局集团有限公司 基于受电弓图像分析的接触网状态监测系统
CN106403906A (zh) * 2016-10-18 2017-02-15 安徽协创物联网技术有限公司 一种提高多全景相机合成影像摄像测量精度的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5699444A (en) 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
JPH10141951A (ja) 1996-11-06 1998-05-29 Asahi Optical Co Ltd 写真測量用ターゲット
US6108497A (en) 1996-11-06 2000-08-22 Asahi Kogaku Kogyo Kabushiki Kaisha Standard measurement scale and markers for defining standard measurement scale
JP3417775B2 (ja) 1996-12-13 2003-06-16 ペンタックス株式会社 写真測量用ターゲット
JP3417776B2 (ja) 1996-12-19 2003-06-16 ペンタックス株式会社 写真測量用ターゲットおよびこの写真測量用ターゲットを用いた写真測量
JPH10185562A (ja) 1996-12-19 1998-07-14 Asahi Optical Co Ltd 写真測量用ターゲット
JP3766518B2 (ja) 1997-01-07 2006-04-12 ペンタックス株式会社 センサ内蔵カメラ
JP3426459B2 (ja) 1997-02-03 2003-07-14 ペンタックス株式会社 写真測量システムおよび写真測量方法
JP3758830B2 (ja) 1997-02-18 2006-03-22 ペンタックス株式会社 画像選択装置およびこの画像選択装置を備えたカメラ
JP3758809B2 (ja) 1997-05-07 2006-03-22 ペンタックス株式会社 点光源装置およびこの点光源装置を用いた写真測量用ターゲット
US6304669B1 (en) * 1997-11-10 2001-10-16 Asahi Kogaku Kogyo Kabushiki Kaisha Photogrammetric analytical measurement system
JP3467186B2 (ja) 1998-04-10 2003-11-17 ペンタックス株式会社 識別番号発生装置およびカメラおよび基準尺、および画像表示装置
US6442293B1 (en) * 1998-06-11 2002-08-27 Kabushiki Kaisha Topcon Image forming apparatus, image forming method and computer-readable storage medium having an image forming program
US6487517B2 (en) * 2000-05-25 2002-11-26 Pentax Corporation Target for photogrammetric analytical measurement system

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002232869A (ja) * 2001-02-02 2002-08-16 Mitsubishi Electric Corp カメラのキャリブレーション方法
JP2009294109A (ja) * 2008-06-05 2009-12-17 Fujitsu Ltd キャリブレーション装置
JP2010145231A (ja) * 2008-12-18 2010-07-01 Sumitomo Heavy Ind Ltd 対象物の変位測定装置及び方法
JP5629874B2 (ja) * 2011-07-01 2014-11-26 株式会社ベイビッグ 三次元座標計測装置及び三次元座標計測方法
WO2013005265A1 (ja) * 2011-07-01 2013-01-10 株式会社ベイビッグ 三次元座標計測装置及び三次元座標計測方法
JP5070435B1 (ja) * 2011-07-01 2012-11-14 株式会社ベイビッグ 3次元相対座標計測装置およびその方法
JPWO2013005265A1 (ja) * 2011-07-01 2015-02-23 株式会社ベイビッグ 三次元座標計測装置及び三次元座標計測方法
JP2013015519A (ja) * 2012-06-26 2013-01-24 Baybig Co Ltd 3次元相対座標計測装置およびその方法
WO2017154606A1 (ja) * 2016-03-10 2017-09-14 ソニー株式会社 情報処理装置および情報処理方法
JPWO2017154606A1 (ja) * 2016-03-10 2019-01-10 ソニー株式会社 情報処理装置および情報処理方法
KR20200125383A (ko) * 2019-04-25 2020-11-04 군산대학교산학협력단 지오 태그 사진들로부터 어트랙션 지역을 발견하는 방법 및 이를 수행하는 장치
KR20210004918A (ko) * 2019-04-25 2021-01-13 군산대학교산학협력단 지오 태그 사진들로부터 어트랙션 지역을 발견하는 방법 및 이를 수행하는 장치
KR102249383B1 (ko) 2019-04-25 2021-05-07 군산대학교 산학협력단 지오 태그 사진들로부터 어트랙션 지역을 발견하는 방법 및 이를 수행하는 장치
KR102308864B1 (ko) 2019-04-25 2021-10-06 군산대학교산학협력단 지오 태그 사진들로부터 어트랙션 지역을 발견하는 방법 및 이를 수행하는 장치

Also Published As

Publication number Publication date
JP3777067B2 (ja) 2006-05-24
US6618498B1 (en) 2003-09-09

Similar Documents

Publication Publication Date Title
JP3777067B2 (ja) 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体
JP3831548B2 (ja) 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体
US4970666A (en) Computerized video imaging system for creating a realistic depiction of a simulated object in an actual environment
JP2005326274A (ja) 配置情報推定方法および情報処理装置
US6304669B1 (en) Photogrammetric analytical measurement system
JP2020005186A (ja) 画像表示システムおよび方法
JP3798922B2 (ja) 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体
JP3766578B2 (ja) 写真測量用画像処理装置およびこの写真測量用画像処理装置を用いた写真測量方法
JPH10281728A (ja) 画像データ処理装置及び撮影装置
JP2005310044A (ja) データ処理装置、データ処理方法、及びデータ処理プログラム
JP4053217B2 (ja) 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体
JP4208980B2 (ja) 写真撮影管理方法
JP3777066B2 (ja) 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体
JP3859794B2 (ja) 写真撮影管理方法
JP3441657B2 (ja) 画像点設定装置及びこの画像点設定装置を用いた写真測量方法
RU2226262C2 (ru) Способ обновления цифровой карты местности и устройство для осуществления этого способа
JP6846269B2 (ja) 写真付き報告書の作成プログラム
JP3851483B2 (ja) 像点対応付け装置、像点対応付け方法、および像点対応付けプログラムを格納した記録媒体
JP2001041745A (ja) 写真測量方法および写真測量画像処理装置
JP3851887B2 (ja) ステレオ写真方式による立体視地図表示装置および方法
JP3615509B2 (ja) 壁面の画像・損傷・修復情報登録管理システム
JP2686479B2 (ja) 図形識別符号入力装置
KR102642144B1 (ko) 위치정보를 촬영이미지에 합성하여 보정할 수 있는 영상처리시스템
JP7406904B2 (ja) 測量システム、測量装置、測量方法及びプログラム
JP2006293484A (ja) 情報処理方法、情報処理装置、コンピュータプログラム、記憶媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060224

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090303

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100303

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110303

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110303

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120303

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130303

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140303

Year of fee payment: 8

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees