JP2003323611A - 衛星撮影画像のオルソ補正処理方法 - Google Patents

衛星撮影画像のオルソ補正処理方法

Info

Publication number
JP2003323611A
JP2003323611A JP2003069813A JP2003069813A JP2003323611A JP 2003323611 A JP2003323611 A JP 2003323611A JP 2003069813 A JP2003069813 A JP 2003069813A JP 2003069813 A JP2003069813 A JP 2003069813A JP 2003323611 A JP2003323611 A JP 2003323611A
Authority
JP
Japan
Prior art keywords
image
pixel position
block
pixel
satellite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003069813A
Other languages
English (en)
Other versions
JP2003323611A6 (ja
JP3869814B2 (ja
Inventor
Fuminobu Furumura
文伸 古村
Hiroshi Ueda
浩史 上田
Takashi Hino
隆司 樋野
Takatoshi Kodaira
高敏 小平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Software Global Technology Ltd
Original Assignee
Hitachi Software Global Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Software Global Technology Ltd filed Critical Hitachi Software Global Technology Ltd
Publication of JP2003323611A publication Critical patent/JP2003323611A/ja
Publication of JP2003323611A6 publication Critical patent/JP2003323611A6/ja
Application granted granted Critical
Publication of JP3869814B2 publication Critical patent/JP3869814B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G06T3/153
    • G06T5/80

Landscapes

  • Image Processing (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 地上基準点がなくても適用でき、画像全体で
誤差の発散がなく、計算量が過大とならず、地表面の起
伏に起因する倒れ込み歪を補正可能とする。 【解決手段】 基準回転楕円体地球モデル23の海抜標
高ゼロの基準面26aに対して、複数の異なる標高の基
準面26b〜26dを設定し、補正画像5を等間隔の格
子でブロック1,2,3,……に分割し、これらブロッ
ク毎に、かつ各基準面26a〜26d毎に、バイリニア
関数による歪みのモデル式を求める。さらに、補正画像
5の各画素位置A’について、該当するブロックの標高
データDEMの値を直接挟む上下の標高の2つの基準面の
モデル式を用いて、夫々の標高値に対応する観測画像の
画素位置を計算し、標高データDEMの値により、該2つ
の画素位置を線形補間して、所望の観測画像の画素位置
を求める。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、衛星から撮影した
地上画像の歪みを補正する画像処理方法に係り、特に、
地表の起伏に起因する歪みを補正するオルソ補正処理方
法に関する。
【0002】
【従来の技術】始めに、衛星から撮影した画像(衛星画
像)とその補正の原理について説明する。
【0003】図6は衛星による画像撮影の説明図であっ
て、1は衛星、2は地表、3は地表観測線である。
【0004】同図において、衛星1は、下方に向けて搭
載したセンサ(図示せず)で地表2からの電磁波を検知
することにより、地表2を撮影する。かかるセンサが衛
星用センサとして一般的なCCDなどのラインセンサで
ある場合、かかるセンサは、それを構成する1列のセル
(センサ素子)の配列方向が衛星1の進行方向Lに直交
するようにして、配置されており、かかるセンサによっ
て同時に観測される地表2上の範囲が地表観測線3であ
る。かかる地表観測線3は衛星1とともにその進行方向
Lに移動し、この移動とともに各セルの検知データが所
定のサンプリング周期で取り込まれる。かかる検知デー
タの取込みタイミングは全セル同時である。この地表観
測線3全体のデータが衛星画像の1ライン分に相当する
ものであり、従って、1回のデータ取込み(1サンプリ
ング)で撮影画像の1ラインに相当するデータを取得す
ることになる。このようにして、衛星1の軌道上の進行
に伴い、地表観測線3による一定の幅(Swath)で地表
2が連続観測される。
【0005】図7はこのようにして得られた衛星画像の
補正の原理を示す図であり、4が観測画像、5が補正画
像である。
【0006】同図において、以上の衛星による撮影画像
は、観測画像4として、地上に送られる。かかる観測画
像4は、衛星の軌道や姿勢の揺らぎ,センサの光学系の
歪み,地球表面の形状などの要因により、その画像の形
状に歪みが生じている。このため、衛星による撮影画像
の利用のためには、この観測画像4の歪みを補正し、所
定の地図投影法に従った補正画像5に変換する必要があ
る。ここで、かかる補正は、観測画像4の画素A(p,
l)からこれに対応する補正画像5の画素A’(x,
y)への写像を行なうものであるが、これを写像Fとい
う。
【0007】なお、観測画像4は、衛星1でのセンサの
セルの配列方向(即ち、地表観測線3の長手方向)をp
座標、衛星1の進行方向Lをl座標とするp−l座標系
で表わされ、また、補正画像5は、観測画像4のp座標
に対応する方向をx座標、観測画像4のl座標に対応す
る方向をy座標とするx−y座標系で表わされる。
【0008】図8はかかる観測画像4の補正処理を示す
フロ一チャートである。
【0009】図7に示す補正画像5では、画素が等間隔
に配列・設定されているものであり、これに対し、観測
画像4では、上記のような歪みのため、補正画像5の各
画素に対応する画素位置は等間隔に配列されない。図8
に示す補正処理は、補正画像5における各画素位置毎
に、その画素位置に相当する観測画像4での画素位置の
画素を見つけ出し、これを補正画像5での該当する画素
位置に位置付けるものである。
【0010】図8において、かかる補正は、歪みのモデ
リング100とリサンプリング101とからなってい
る。歪みのモデリング100では、補正画像5における
各画素位置毎に、その画素位置に相当する観測画像4で
の画素位置を求めるものである。図7についてみると、
予め作成された歪モデル6を用いて、補正画像5での画
素A’(x,y)の位置に対応する観測画像4の画素A
(p,l)の位置を求めるものである。そのためには、
写像Fの逆写像F-1を求める必要がある。
【0011】ここで、歪モデル6は、かかる観測画像4
の撮影時での衛星の軌道や姿勢の揺らぎ,センサの光学
系の歪みなどから予測されるされるもの、あるいは衛星
の観測結果などから得られるものである。
【0012】また、リサンプリング101では、歪みの
モデリング100で補正画像5での画素A’(x,y)
の位置に対応する観測画像4の画素A(p,l)の位置
が求まると、この画素A(p,l)の位置での画素の強
度を求め、それを補正画像5の画素A’(x,y)での
画素の強度とするものである。
【0013】図9は図8におけるリサンプリング101
の説明図であって、図7に示した観測画像4と補正画像
5とでもって説明する。なお、7は観測画像4での画素
の中心位置(以下、画素位置という)である。
【0014】同図において、図8で説明した歪みのモデ
リング100により、補正画像5の画素A’(x,y)
の位置に対応する観測画像4の画素A(p,l)の位置
が求まるのであるが、画素A(p,l)の位置は、図示
するように、一般にセンサによる観測データの画素位置
7に一致しない。そこで、この画素A(p,l)の位置
における観測データの強度を、この画素A(p,l)の
位置の周辺の実際に得られた画素位置7の画素強度から
補間によって求める必要がある。このための補間方法と
しては、Nearest Neighbor,Bilinear,Cubic Convolu
tionなどの補間式が一般に用いられる。
【0015】ところで、従来、上記の原理に基づく衛星
観測画像データの第1の補正方法としては、オルソ補正
の方法が知られている(例えば、非特許文献1参照)。
【0016】これは、図8の歪みのモデリング100を
次の数1で表わすものである。
【0017】
【数1】 この式はRational polynomial methodと呼ばれるもので
あって、撮影した画像毎にその都度、x,y,zの多項
式の係数を、地上基準点GCP(Ground ControlPoint)を
用いることにより、以下に説明するように計算して求
め、得られた係数を用いた数1により、補正画像5の各
画素位置に対する観測画像4の位置を求めるものであ
る。
【0018】図10はかかる地上基準点を用いた第1の
補正方法の説明図である。
【0019】同図において、観測画像4において、複数
の地上基準点Gi(i=1,2,……)、例えば、3個の
地上基準点G1,G2,G3を選定する。かかる地上基準
点は、観測画像4で形状や位置が鮮明に識別できるもの
であり、かつこれら地上基準点の位置に対応する補正画
像5での位置座標が、地図からの読み取りにより、ある
いは測量により、正確に得られるものである。補正画像
5では、これら地上基準点G1,G2,G3に対応する位
置を夫々G1’,G2’,G3’として示している。
【0020】このようにして、観測画像4での複数の地
上基準点Gi(pi,li)とこれらに対応する補正画像
5での位置Gi’(xi,yi,zi)とが求まると、これ
ら地上基準点Gi(pi,li)の画素座標値と位置Gi
(xi,yi,zi)の地図座標値とから、数1で示す多項
式の未知の係数を最小自乗法で求めることができ、これ
により、逆写像F-1が可能となる。なお、多項式の次数
は、地上基準点GCPの数や歪みの状況に応じて適宜設
定する。
【0021】この第1の方法によると、観測対象地域の
標高データDEM(Digital ElevationModel)と地上基準
点とがあれば、衛星の軌道データ,姿勢データ或いは衛
星のセンサの光学モデルがなくても、歪みのモデリング
及びそれを用いた補正処理が可能である、という利点が
ある。
【0022】また、従来の衛星観測画像データの第2の
補正方法としては、非オルソ補正、即ち、地表の標高に
よる起伏を考慮しない方法として、次のような方法も知
られている。これは、衛星の軌道データや姿勢データ,
衛星のセンサの光学モデルを用いた幾何モデルによる方
法である。この方法は、補正画像を等間隔の格子でもっ
てブロックに分け、ブロック毎に歪みのモデル式を求め
ることに特徴がある。
【0023】図11はこの第2の補正方法での格子によ
るブロック分けを説明するための図である。
【0024】同図において、補正画像5において、縦横
に等間隔に格子8を設定し、かかる格子8により、補正
画像5を複数のブロック9に区分する。補正画像5での
画素位置は、かかるブロック9により、ブロック分けさ
れている。そして、これら格子8が交差する各格子点1
0に対応する観測画像4の位置を逆写像F-1により求
め、得られたこれらの位置を格子点12とする格子13
を設定し、かかる格子13により、観測画像4もブロッ
ク11によって区分されることになる。一例として、観
測画像4での格子点Aが補正画像5での格子点A’の逆
写像F-1として求められたものとし、これら格子点
A’,Aが対応するものであることを示している。
【0025】そして、観測画像4のブロック11は補正
画像5のいずれかのブロック9と対応することになり、
観測画像4と補正画像5とでブロック11,9間が一対
一に対応することになる。なお、ブロック9,11は、
これらの中で歪みが近似的に均一となるように、設定さ
れるものであり、隣り合うブロック間では、歪みが異な
っていてもよい。但し、隣り合うブロックの境界で歪み
が連続するように、逆写像F-1が設定されるものであ
る。
【0026】ここで、逆写像F-1として、次の数2で示
すバイリニア関数を用いる。
【0027】
【数2】 ここで、数2では、x,yの0次,1次の項とxyの項
とからなり、これにより、隣り合うブロックの境界で歪
みが連続するようにしている。なお、x2,y2以上の高
次の項を含ませると、隣り合うブロックの境界で歪みの
不連続性(段差)が生ずることになり、これをなくすた
めには、多くの高次の項を付加して画面全体を1つのブ
ロックとみなして計算する必要があり、計算が非常に複
雑で時間がかかるものとなる。ここでは、歪みが均一と
みてよい程度の大きさのブロックに画像4,5を分割
し、このブロック毎にバイリニア関数を求め、これによ
って逆写像F-1を行なうものであるから、数2のような
簡単な式でもって逆写像F-1を行なうことができるので
ある。この場合、上記のように、xyの項を付加するこ
とにより、隣り合うブロックの境界で歪みが連続するよ
うにしているのである。
【0028】図12は上記のバイリニア関数での係数a
0,a1,a2,a3,b0,b1,b2,b3の算出方法を示
すフローチャートである。
【0029】同図において、この計算は、格子点計算2
00と係数算出201とから構成されている。
【0030】図11を例にして説明すると、格子点計算
200は、補正画像5の各格子点A’(x,y)に対す
る観測画像4での座標位置A(p,l)を求めるもので
ある。これには、写像F-1が必要となるが、これは、一
般に、地上基準点なしには直接得られないので、写像F
の幾何学計算の繰り返し収束演算を用いて求める。
【0031】図13は写像Fの幾何学計算を示すフロー
チャートであり、図14は観測画像4の一部の画素位置
の配列を示す図である。また、図15は写像Fの幾何学
計算の説明のための図である。写像Fは、座標値A
(p,l)に対する格子点A’(x,y)を求めるもの
である。なお、図13における軌道データ14,姿勢デ
ータ15,センサ光学モデル16,画素位置データ17
が、図8における歪モデル6に相当するものである。
【0032】図14では、4個の画素位置A1(p1
1)、A2(p2,l1)、A3(p2,l2)、A4(p1
2)を示している。まず、画素位置A1(p1,l1)を
例にして、図13に示す計算を説明する。
【0033】図13及び図15において、画素位置A1
(p1,l1)の座標値l1からその画素位置A1の撮影時
刻tが得られる(ステップ300)。衛星1の軌道デー
タ14と得られた撮影時刻tとから座標値l1の撮影時
の衛星1の慣性空間における位置(衛星位置)が得られ
(ステップ301)、この衛星位置と衛星1でのセンサ
の光学モデル16とから座標値l1の撮影時のセンサの
光学中心の慣性空間での位置(センサ光学中心)19が
得られる(ステップ302)。
【0034】また、ステップ300で得られた撮影時刻
tと衛星1の姿勢データ15とからこの撮影時刻tでの
衛星1の慣性空間における姿勢(衛星姿勢)が得られ
(ステップ303)、この衛星姿勢とセンサの光学モデ
ル16と画素位置データ17(ここでは、画素位置A1
(p1,l1)での座標値p1)とから、センサ面20上
のこの座標値p1に該当するセンサ素子(即ち、セル)
の位置21を通る、画素位置A1(p1,l1)に対する
視線ベクトル22が慣性空間で求められる(ステップ3
04)。そして、ステップ302で求めたセンサ光学中
心19から延びる視線ベクトル22と地表モデル23と
の交点24が得られる(ステップ305)。この交点2
4が観測画像4の画素位置A1(p1,l1)の地表モデ
ル23上の緯度,経度で示される位置を表わするもので
あり、これと所定の地図投影法18による計算により、
補正画像5での画素位置A1(p1,l1)に対応する座
標位置A’(x,y)を求める。なお、地表モデル23
としては、通常、回転楕円体を用いる。
【0035】ところで、このようにして求めた画素位置
1(p1,l1)に対応する座標位置A’(x,y)
は、補正画像5で設定された格子点10(図11)とは
一致しない。そこで、図14での画素位置A1(p1,l
1)に隣接する画素位置、例えば、画素位置A2(p2
1)を選択し、これについて同様の計算を行ない、補
正画像5での画素位置A2(p2,l1)に対応する座標
位置A’(x,y)を求める。そして、これでも補正画
像5で設定された格子点10と一致しない場合には、再
び他の画素位置を選択して同様の計算を行ない、という
ようにして繰り返し計算を行なって計算結果が補正画像
5の格子点10に収束するようにしていき、例えば、4
ないし5回程度の計算により、補正画像5の格子点A’
(x,y)に対応する観測画像4の画素位置A(p,
l)が近似的に求める。
【0036】そして、かかる計算を補正画像5の格子点
10毎に行ない、補正画像5の各格子点10に対応する
観測画像4の画素位置A(p,l)が得られることにな
る。以上が図12における格子点計算200である。
【0037】図12における係数算出201では、図1
1に示す補正画像5の各ブロック9毎に上記数2で示す
バイリニア関数の係数a0,a1,a2,a3,b1,b2
3を求めるものである。つまり、ブロック9毎にバイ
リニア関数を求めるものである。
【0038】例えば、図16に示すように、補正画像5
でのブロック9に対して、観測画像4では、ブロック1
1が対応するものとすると、ブロック11内の画素をブ
ロック9内に逆写像F-1するためのバイリニア関数を求
めるのが、この係数算出201である。このために、こ
れらブロック9,11の四隅の格子点の座標値を用いて
数2のa0,a1,a2,a3,b1,b2,b3を求める。
【0039】ここで、ブロック9での四隅の格子点
1’(x1,y1),A2’(x2,y1),A3’(x2
2),A4’(x1,y2)はブロック11の四隅の格子
点(画素位置)A1(p1,l1),A2(p2,l2),A
3(p3,l3),A4(p4,l4)に対応するものであ
り、従って、ブロック9,11の四隅の格子点の座標対
((x1,y1),(p1,l1))、((x2,y1),
(p2,l2))、((x2,y2),(p3,l3))、((x
1,y2),(p4,l4))から、次の数3で示す連立方
程式、即ち、
【数3】 を解くことにより、所望の係数a0,a1,a2,a3,b
1,b2,b3が得られる。このようにして得られたこれ
ら係数を数2に代入することにより、これらブロック
9,11に対するバイリニア関数が得られ、これがブロ
ック9内の画素位置に対するブロック11内の画素位置
を示すことになる。なお、かかるバイリニア関数によ
り、ブロック9内の画素位置がブロック11内の画素位
置に一致しない場合には、図9で説明したような補間処
理を行なうことはいうまでもない。
【0040】そして、以上のような係数算出201(図
12)を補正画像5のブロック9毎に行なうことによ
り、これらブロック9毎のバイリニア関数が得られるこ
とになり、観測画像4から補正画像5への逆写像F-1
可能となる。
【0041】この第2の方法には、(1)ブロック毎の
バイリニアモデルなので、第1の方法のごとき最小自乗
法に起因する誤差の発散がない、(2)ブロックの境界
で歪みモデルが連続である、(3)数3を用いるので、
補正画像の1点1点の位置座標の計算の演算量が数1の
多項式に比べて小さい、(4)地上基準点がなくてもモ
デリングができる、(5)なお、地上基準点がある場合
にそれを用いて衛星の軌道データ、姿勢データに含まれ
る誤差を推定し、それを補正することにより、よりモデ
リングの精度が高められるという利点がある。
【0042】
【非特許文献1】Demystification of IKONOS by Thier
ry Toutin and Philip Cheng Earth Observation Magaz
ine vol.9,No.7,pp.17-21,2000
【0043】
【発明が解決しようとする課題】ところで、上記第1の
補正方法では、(1)モデリングのために地上基準点が
必須であり、地図などが整備されていない地域などで地
上基準点が得られない場合に適用ができない、(2)モ
デリングの精度が地上基準点の数,配置に依存し、かか
る数,配置によっては、多項式の係数の推定精度が劣化
し、特に、地上基準点以外での誤差が発散する恐れがあ
る、(3)補正画像の一つ一つに対して、上記数1の計
算が必要となり、補正処理の計算量が大きくなるという
問題点があった。
【0044】また、上記第2の補正方法は、地表面が起
伏しない回転楕円体モデルで近似しているので、観測対
象地域の標高データDEMを考慮し、地面の起伏に起因す
る倒れ込み歪を考慮したオルソ補正には、そのまま適用
できない、という問題があった。
【0045】ここで、図17により、地面の起伏に起因
する倒れ込み歪について説明する。
【0046】同図において、上記第2の補正方法による
と、回転楕円体の地表モデル23に対し、実際には、起
伏した地表面25がある。そこで、衛星10の撮影によ
り、上記のようにして観測画像4を得る場合、センサ面
20でのセルSについてみると、このセルSは、上記の
ようにして求めたセンサ光学中心19と視線ベクトル2
2とにより、地表モデル23との交点P1を所定の地図
投影法で表わした座標を補正画像の画素位置とするもの
であるが、実際には、起伏する地表面25との交点Qを
通る鉛直線と地表モデル23との交点P2を所定の地図
投影法で表わした座標が正しい補正画像の画素位置とな
るものである。これら交点P1と交点P2との位置ずれに
相当する補正画像上の位置ずれを倒れ込み歪δという。
【0047】本発明の目的は、かかる問題を解消し、地
上基準点を必要とせず、画像全体で誤差の発散がなくて
計算量が過大となることなく、しかも、地表面の起伏に
起因する倒れ込み歪を補正可能とした衛星画像のオルソ
補正方法を提供することにある。
【0048】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、基準回転楕円体地球モデルの海抜標高ゼ
ロの基準面に対して、複数の相異なる標高の基準面を設
定し、補正画像を等間隔の格子でブロックに分割し、ブ
ロック毎に、かつ上記複数の標高の基準面毎に、バイリ
ニア関数による歪みのモデル式を求めるものである。
【0049】また、本発明は、補正画像の各画素位置に
ついて、該当するブロックでの画素位置の標高の値を挟
む上下の標高の2つの基準面のモデル式を用いて、夫々
の標高値に対応する観測画像の画素位置を計算し、標高
データの値により、観測画像のこれら2つの画素位置を
線形補間して、観測画像の画素位置を求めるものであ
る。
【0050】
【発明の実施の形態】以下、本発明の実施形態を図面を
用いて説明する。
【0051】図1は本発明による衛星撮影画像のオルソ
補正処理方法の一実施形態を示す説明図であって、26
a,26b,26c,26dは基準面である。
【0052】同図において、地表面25を断面で示して
おり、補正画像5上で複数の相異なる標高の基準面26
a,26b,26c,26dを設定する。ここで、基準
面26aは基準回転楕円体の地表モデル23の海抜標高
ゼロ(HO=0)の基準面とし、基準面26bは標高H1
の基準面、基準面26cは標高H2の基準面、基準面2
6dは標高H3の基準面であり、H0<H1<H2<H3
ある。なお、標高H1,H2,H3は夫々、所望とするよ
うに適宜設定される。
【0053】図1では、ブロック1,2,3を示してい
る。そして、ブロック毎に各基準面でのバイリニア関数
を求め、これを用いることにより、各基準面毎にその画
素位置に対する観測画像での画素位置を求める。このよ
うにして求めた基準面での画素位置と観測画像4での画
素位置との対応関係を用いて、地表面25上での画素位
置と観測画像4での画素位置との対応関係を求めるもの
であり、これにより、地表面25の起伏に起因する歪を
なくすようにするものである。
【0054】以下、かかる処理について説明する。
【0055】図2はこの実施形態の補正処理を示すフロ
ーチャートであって、図8に示した補正処理での歪みの
モデリング処理100に相当するものである。
【0056】補正画像5には、図1に示したように、複
数の基準面26a〜26dが設定されており、これら基
準面に、互いに対応するようにして、先の従来技術と同
様、等間隔の格子によってブロックが設定されている。
補正画像を等間隔の格子によりブロックに区分する。
【0057】いま、補正画像4での着目画素A’の座標
を、この着目画像A’が起伏する地表面25上にあって
標高データDEMで与えられる標高zを有していることか
ら、(x,y,z)と表わすことにする。
【0058】そこで、図2において、まず、着目画素
A’の座標値(x,y)をもとに該当するブロックを求
める(ステップ400)。図1の場合、ブロック1が求
められる。
【0059】次に、この着目画素A’の標高zをもと
に、この着目画素A’の位置を直接上下に挟む2つの基
準面を求める。この標高値zが標高値Hi(但し、i=
0,1,2,……)の基準面と標高値Hi+1の基準面と
の間、即ち、
【数4】 であるとき、標高値Hi,Hi+1の基準面を求める。図1
の場合、標高値H0の基準面26aと標高値H1の基準面
26bとが求まることになる(ステップ401)。な
お、ブロック2の点Bでは、標高値H0の基準面26a
と標高値H1の基準面26bとが求まり、点Cでは、標
高値H1の基準面26bと標高値H2の基準面26cとが
求まる。
【0060】そして、求めた標高値Hiの基準面での上
記数2で示すバイリニア関数の係数a0,a1,a2
3,b0,b1,b2,b3を後述する方法で求め、これ
ら係数を用いたバイリニア関数を用いて、標高値Hi
基準面での画素位置Ai'(xi,yi)に対応する観測画像
5での座標値Ai(pi,li)を求める(ステップ40
2)。同様にして、標高値Hi+1の基準面における画素
位置Ai+1’(xi+1,yi+1)に対応する観測画像4での
座標値Ai+1(pi+1,li+1)を求める。図1の場合に
は、標高値H0の基準面26aでの画素位置A0'(x0
0,z0)に対応する観測画像5での座標値A0(p0
0)と、標高値H1の基準面26bにおける画素位置A
1’(x1,y1,z1)に対応する観測画像4での座標値
1(p1,l1)が求まることになる(ステップ12
3)。
【0061】次に、観測画像4において、座標値Ai+1
と座標値Aiとから着目画素A’の標高zに対する座標
値位置A(p,l)を、次の数5により、
【数5】 線形補間して求める(ステップ404)。
【0062】図3は図2におけるステップ402,40
3でのバイリニア関数の係数の算出方法を示すフローチ
ャートである。
【0063】同図において、標高が異なる各基準面毎
に、図12で説明した計算を行なうものである。ここ
で、格子点計算500は図12での格子点計算200と
同様のものであり、係数算出501も図12での係数算
出201と同様のものである。格子点計算500での写
像Fの幾何学計算も、図13に示したものと同様であ
る。但し、図3に示す計算では、計算の基準となる基準
面が標高値Hiに応じて変更されるものである。
【0064】これを図4でもって説明すると、補正画像
5での同じブロックの標高値H0 ,Hi,Hi+1の基準面
26a,26i,26i+1について、基準面26aでの位置
0に対し、基準面26i,26i+1では、この位置P0
真上の位置Pi,Pi+1(即ち、位置P0と緯度経度が同
じ位置)が対応する。そこで、基準面26aでの位置P
0に対するセンサ面20でのセルをS1とすると、基準面
26iでの位置Piに対するセンサ面20でのセルはセル
2であり、基準面26i+1での位置Pi+1に対するセン
サ面20でのセルはセルS3である。
【0065】このように、同じ緯度,経度の位置であっ
ても、標高が異なる基準面に応じてセルが異なることな
り、従って、基準面に応じてセルを異ならせる処理、即
ち、図13での座標値p及びlを修正することが必要と
なる。
【0066】図5は複数の標高が異なる基準面に対する
観測画像4での格子点の写像を示す図であり、27a,
27b,27c,27dはブロックである。
【0067】同図において、ブロック27aは図1での
基準面26aに対する領域でのブロック1に対応するも
のであり、ブロック27bは同じく基準面26bに対す
る領域でのブロック1に対応するものであり、ブロック
27cは同じく基準面26cに対する領域でのブロック
1に、ブロック27dは同じく基準面26dに対する領
域でのブロック1に夫々対応するものである。このよう
に、補正画像5の同じブロックであっても、基準面26
a,26b,26c,26d毎に観測画像4でのブロッ
クが異なることになる。これは、図3での格子点計算5
00において、図13における座標値17を標高に応じ
て修正したことによるものである。
【0068】このようにして、格子点計算500によ
り、補正画像5の基準面毎の格子点位置とこれに対する
観測画像4での画素位置が求まると、係数算出501に
より、図12に示した係数算出201と同様にして、各
基準面でのブロック毎に上記数2で示すバイリニア関数
の係数a0,a1,a2,a3,b0,b1,b2,b3が求め
られ、各基準面でのブロック毎のバイリニア関数が得ら
れる。
【0069】そこで、例えば、図1での補正画像4での
ブロック1の標高値zの画素位置A’に対する観測画像
4での画素位置Aを求める場合には、得られたバイリニ
ア関数により、この画素位置A’を直接挟む基準面26
a,26bのブロック1に対する観測画像4でのブロッ
ク27a,27b(図5)において、基準面26aでの
画素位置A’に対応する画素位置Aa’に対する観測画
像4の画素位置Aaをブロック27aから求め、基準面
26bでの画素位置A’に対応する画素位置Ab’に対
する観測画像4の画素位置Abをブロック27bから求
め、これらの得られた画素位置Aa,Abでもって画素位
置A’の標高値zに応じた補間処理を行なうことによ
り、補正画像5での画素位置A’(x,y,z)に対す
る観測画像4での画素位置A(p,l)が得られること
になる。
【0070】なお、基準面の標高Hiの選定には、次の
条件、即ち、 (1)各ブロックについて、該ブロック内の標高値デー
タDEMの最小値と最大値との範囲をカバーするに十分な
数の相異なる標高を持つ基準面を設定すること (2)隣接するブロックの境界で歪みモデルが連続とな
るように、隣接する2つのブロック夫々の標高値データ
DEMの変動範囲の共通部分を越える最小の基準標高値と
この共通部分を下まわる最大の基準標高値との間に合ま
れる全ての基準面の標高値は、これら隣接するブロック
で共通の値を設定すること を考慮する必要がある。
【0071】なお、この(2)について、図1のブロッ
ク2,3を例にして説明すると、ブロック2での標高値
の変化は h1〜h3であり、ブロック3での標高値の変
化はh2〜h4である。ここで、h1<h2<h3<h4であ
ると、標高の変化範囲h2〜h3は、その範囲でブロック
2での標高の変動範囲とブロック3での標高の変動範囲
とが重なっており、これがブロック2,3での「隣接す
る2つのブロック夫々の標高値データDEMの変動範囲の
共通部分」である。また、上記の「共通部分を越える最
小の基準標高値」は標高値H2であり、また、「共通部
分を下まわる最大の基準標高値」は標高値H1である。
そして、かかる標高値H1,H2間に基準面を設定すると
きには、かかる基準面の標高値はブロック2とブロック
3とで同じでなければならないとするものである。
【0072】また、標高Hiの間隔は、ブロック内の標
高値データDEMの変動の大きさ、ブロックのオフネデイ
ア角(衛星10の直下点から計った斜視角の大きさ)に
よって決定できる。
【0073】即ち、バイリニアモデルの近似誤差と倒れ
込み量の標高値に対する線形近似誤差との合計が、補正
後の誤差の許容値の範囲に収まればよい。定性的には、
ブロック内の標高変動が大きいとき、斜視角が大きいと
き、夫々倒れ込み量及びその線形近似誤差が大きくなる
ので、標高Hiの間隔を小さくする必要がある。予めこ
の近似誤差をモデル計算などにより推定して、間隔を決
めることができる。
【0074】
【発明の効果】以上説明したように、本発明によれば、
(1)与えられた標高データDEMを用いて、地表面の起
伏に起因する倒れ込み歪を補正できる、(2)ブロック
毎のバイリニアモデルなので、Rational polynomial me
thodの多項式を最小自乗法で求めることに起因する誤差
の発散がない、(3)ブロックの境界で歪みモデルが連
続である、(4)地上基準点がなくても、モデリングが
できる、(5)地上基準点がある場合には、それを用い
て衛星の軌道データや姿勢データに含まれる誤差を推定
し、それを補正することにより、モデリングの精度がよ
り高められ、補正精度を向上できるという効果が得られ
る。これにより、精度と計算量の両面で実用的な衛星画
像のオルソ補正方法を提供することができる。
【図面の簡単な説明】
【図1】本発明による衛星撮影画像のオルソ補正処理方
法の一実施形態を示す説明図である。
【図2】図1に示す実施形態の補正処理を示すフローチ
ャートである。
【図3】図2におけるステップ402,403でのバイ
リニア関数の係数の算出方法を示すフローチャートであ
る。
【図4】図3における格子点計算500の説明図であ
る。
【図5】複数の標高が異なる基準面に対する観測画像の
格子点の写像を示す図である。
【図6】衛星による画像撮影の説明図である。
【図7】衛星画像の補正の原理を示す図である。
【図8】観測画像の補正処理を示すフロ一チャートであ
る。
【図9】図8におけるリサンプリングの説明図である。
【図10】地上基準点を用いた観測画像の第1の補正方
法の説明図である。
【図11】観測画像の第2の補正方法での格子点,ブロ
ックを説明するための図である。
【図12】バイリニア関数での係数の算出方法を示すフ
ローチャートである。
【図13】図12における格子点計算200での写像F
の幾何学計算を示すフローチャートである。
【図14】観測画像の一部の画素位置の配列を示す図で
ある。
【図15】図13での写像Fの幾何学計算の説明のため
の図である。
【図16】補正画像と観測画像とでのブロックの関係を
説明するための図である。
【図17】標高による倒れ込み歪を説明するための図で
ある。
【符号の説明】
1 衛星 2 地表 3 地表観測線 4 観測画像 5 補正画像 6 歪モデル 7 画素位置 8 格子 9 ブロック 10 格子点 11 ブロック 12 格子点 13 格子 14 軌道データ 15 姿勢データ 16 センサ光学モデル 17 座標値 18 地図投影法 19 センサ光学中心 20 センサ面 21 センサ素子位置 22 視線ベクトル 23 地表モデル 24 交点 25 地表面 26a〜26d,26i,26i+1 基準面 27a〜27d ブロック
───────────────────────────────────────────────────── フロントページの続き (72)発明者 古村 文伸 アメリカ合衆国 コロラド州 80021 ウ エストミンスター ウエストムアドライブ 10355 スイート250 日立ソフトウエア グローバル テクノロジー リミテッド 内 (72)発明者 上田 浩史 アメリカ合衆国 コロラド州 80021 ウ エストミンスター ウエストムアドライブ 10355 スイート250 日立ソフトウエア グローバル テクノロジー リミテッド 内 (72)発明者 樋野 隆司 東京都品川区東品川4丁目12番7 日立ソ フトウエアエンジニアリング株式会社内 (72)発明者 小平 高敏 東京都品川区東品川4丁目12番7 日立ソ フトウエアエンジニアリング株式会社内 Fターム(参考) 2C032 HA02 HB11 5B050 AA01 BA02 BA06 BA17 EA05 EA13 EA18 5B057 AA14 CA12 CA16 CB12 CB16 CD12 CD17 DA07 DB02 DB09 DC33

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 補正画像の画素位置と衛星による観測画
    像の画素位置とを対応づける歪みのモデリング処理と、
    該歪のモデリング処理に従って該観測画像の画素強度を
    補間するリサンプリング処理とからなる衛星撮影画像の
    オルソ補正処理方法において、 該歪みのモデリング処理が、基準回転楕円体地球モデル
    の海抜標高ゼロの基準面に対して、複数の相異なる標高
    の基準面を設定するとともに、該補正画像を等間隔の格
    子でもって複数のブロックに分割し、 該補正画像の各画素位置に該当する該ブロックを求め、
    求めた該ブロックにおける該画素位置の標高の値を挟む
    上下の2つの基準面を求め、該ブロックの該基準面毎に
    求めたバイリニア関数による歪みのモデル式を用いて、
    夫々の標高値に対応する観測画像の画素位置を計算し、
    該補正画像の該画素位置の標高の値により、計算した2
    つの該画素位置を線形補間して、該補正画像での該画素
    位置に対する観測画像の画素位置を求めることを特徴と
    する衛星観測画像のオルソ補正処理方法。
  2. 【請求項2】 請求項1において、 前記各ブロックでは、前記ブロック内の画素位置の標高
    の値の最小値と最大値とによる範囲を力バーするに十分
    な数の相異なる標高の基準面が設定され、 隣接する2つのブロックでの標高の値の変動範囲の共通
    部分を越える最小の基準標高値と該共通部分を下まわる
    最大の基準標高値との間に含まれる全ての基準面の標高
    の値がこれら隣接するブロックで共通の値であることを
    特徴とする衛星観測画像のオルソ補正処理方法。
JP2003069813A 2002-04-24 2003-03-14 衛星撮影画像のオルソ補正処理方法 Expired - Fee Related JP3869814B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/128,586 US6810153B2 (en) 2002-03-20 2002-04-24 Method for orthocorrecting satellite-acquired image
US10/128586 2002-04-24

Publications (3)

Publication Number Publication Date
JP2003323611A true JP2003323611A (ja) 2003-11-14
JP2003323611A6 JP2003323611A6 (ja) 2005-04-14
JP3869814B2 JP3869814B2 (ja) 2007-01-17

Family

ID=28790957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003069813A Expired - Fee Related JP3869814B2 (ja) 2002-04-24 2003-03-14 衛星撮影画像のオルソ補正処理方法

Country Status (5)

Country Link
US (1) US6810153B2 (ja)
EP (1) EP1357516B1 (ja)
JP (1) JP3869814B2 (ja)
CN (1) CN100405398C (ja)
DE (1) DE60330524D1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189372A (ja) * 2005-01-07 2006-07-20 Mitsubishi Electric Corp 衛星画像の位置補正装置
JP2007248216A (ja) * 2006-03-15 2007-09-27 Mitsubishi Electric Corp 合成開口レーダ画像のオルソ補正装置及びオルソ補正方法
WO2014163069A1 (ja) * 2013-04-01 2014-10-09 株式会社次世代技術研究所 レーダの信号処理方法及び装置
KR20190026452A (ko) * 2017-09-05 2019-03-13 순천대학교 산학협력단 위성영상과 제공 rpc로부터 제작된 수치표고모델의 자동 오차보정 방법

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7310440B1 (en) * 2001-07-13 2007-12-18 Bae Systems Information And Electronic Systems Integration Inc. Replacement sensor model for optimal image exploitation
KR100488685B1 (ko) * 2002-08-22 2005-05-11 한국과학기술원 자동 영상등록 및 보정을 위한 영상 처리방법
US7983446B2 (en) * 2003-07-18 2011-07-19 Lockheed Martin Corporation Method and apparatus for automatic object identification
US7324664B1 (en) * 2003-10-28 2008-01-29 Hewlett-Packard Development Company, L.P. Method of and system for determining angular orientation of an object
JP2008506167A (ja) * 2004-06-25 2008-02-28 デジタルグローブ インコーポレイテッド 画像に関連するロケーションを確定する方法および装置
US20060126959A1 (en) * 2004-12-13 2006-06-15 Digitalglobe, Inc. Method and apparatus for enhancing a digital image
DE602005010039D1 (de) * 2004-12-23 2008-11-13 Hewlett Packard Development Co Verbesserungen in der Anwendung von bilinearen Abbildungen bei kryptographischen Anwendungen
US7660430B2 (en) * 2005-05-23 2010-02-09 Digitalglobe, Inc. Method and apparatus for determination of water pervious surfaces
CA2613252A1 (en) * 2005-06-24 2007-01-04 Digitalglobe, Inc. Method and apparatus for determining a location associated with an image
TW200733590A (en) * 2006-02-16 2007-09-01 Univ Nat Central Correction method for parameters of long-orbit satellite image
KR100762891B1 (ko) * 2006-03-23 2007-10-04 연세대학교 산학협력단 Los벡터 조정모델을 이용한 영상의 기하보정 방법 및 그장치
US8155433B2 (en) 2008-07-10 2012-04-10 Goodrich Corporation Method of object location in airborne imagery using recursive quad space image processing
US8666193B2 (en) 2009-04-27 2014-03-04 St-Ericsson (France) Sas Geometric method of transforming a two-dimensional image
US8577186B1 (en) 2011-02-14 2013-11-05 DigitalOptics Corporation Europe Limited Forward interpolation approach using forward and backward mapping
US8675115B1 (en) 2011-02-14 2014-03-18 DigitalOptics Corporation Europe Limited Forward interpolation approach for constructing a second version of an image from a first version of the image
US8340462B1 (en) * 2011-02-14 2012-12-25 DigitalOptics Corporation Europe Limited Pixel mapping using a lookup table and linear approximation
CN102682481B (zh) * 2012-05-28 2014-08-20 国家卫星气象中心 区域观测模式下地球几何特征信息确定方法
US8942421B1 (en) * 2012-11-07 2015-01-27 Exelis, Inc. Geolocation of remotely sensed pixels by introspective landmarking
CN104463924B (zh) * 2014-11-12 2017-02-15 南京师范大学 基于散乱点高程采样数据的数字高程地形模型生成方法
CN105717538B (zh) * 2014-12-02 2018-02-02 中国石油天然气股份有限公司 起伏地表地震数据偏移基准面转换方法及装置
CN104977013A (zh) * 2015-05-27 2015-10-14 无锡市崇安区科技创业服务中心 一种gps导航的图像处理方法
US10055885B2 (en) * 2015-09-16 2018-08-21 Raytheon Company Systems and methods for digital elevation map filters for three dimensional point clouds
US11194034B2 (en) * 2019-03-07 2021-12-07 Utilis Israel Ltd. System and method for determining a geographic location of pixels in a scan received from a remote sensor
US20210208375A1 (en) * 2020-01-02 2021-07-08 Raytheon Company Optical orthorectification system
CN114155167B (zh) * 2021-12-08 2022-06-14 感知天下(北京)信息科技有限公司 一种基于在线遥感卫星影像的自动化快速校正方法
CN116520369B (zh) * 2023-06-26 2023-09-15 银河航天(北京)通信技术有限公司 基于遥感图像提升移动终端定位精度的方法及装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3219032C3 (de) * 1982-05-19 1988-07-07 Messerschmitt Boelkow Blohm Stereophotogrammetrisches aufnahme- und auswerteverfahren
JPS59133667A (ja) * 1983-01-20 1984-08-01 Hitachi Ltd 画像補正処理方法
JPS60120473A (ja) * 1983-12-02 1985-06-27 Hitachi Ltd 衛星画像補正処理方法
FR2653918B1 (fr) * 1989-10-31 1992-02-14 Europ Agence Spatiale Procede de rectification en temps reel des images des satellites meteorologiques geostationnaires.
DE4419359A1 (de) * 1994-06-03 1995-12-07 Wolfram Dipl Ing Kirchner Verfahren zur Erfassung, Auswertung, Ausmessung und Speicherung von Geo-Informationen
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US6011505A (en) * 1996-07-11 2000-01-04 Science Applications International Corporation Terrain elevation measurement by interferometric synthetic aperture radar (IFSAR)
US6084989A (en) * 1996-11-15 2000-07-04 Lockheed Martin Corporation System and method for automatically determining the position of landmarks in digitized images derived from a satellite-based imaging system
JPH11184375A (ja) * 1997-12-25 1999-07-09 Toyota Motor Corp デジタル地図データ処理装置及びデジタル地図データ処理方法
US6356668B1 (en) * 1998-12-29 2002-03-12 Eastman Kodak Company Method for efficient rate control
US6694064B1 (en) * 1999-11-19 2004-02-17 Positive Systems, Inc. Digital aerial image mosaic method and apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189372A (ja) * 2005-01-07 2006-07-20 Mitsubishi Electric Corp 衛星画像の位置補正装置
JP4523422B2 (ja) * 2005-01-07 2010-08-11 三菱電機株式会社 衛星画像の位置補正装置
JP2007248216A (ja) * 2006-03-15 2007-09-27 Mitsubishi Electric Corp 合成開口レーダ画像のオルソ補正装置及びオルソ補正方法
JP4702122B2 (ja) * 2006-03-15 2011-06-15 三菱電機株式会社 合成開口レーダ画像のオルソ補正装置
WO2014163069A1 (ja) * 2013-04-01 2014-10-09 株式会社次世代技術研究所 レーダの信号処理方法及び装置
KR20190026452A (ko) * 2017-09-05 2019-03-13 순천대학교 산학협력단 위성영상과 제공 rpc로부터 제작된 수치표고모델의 자동 오차보정 방법
KR101965965B1 (ko) * 2017-09-05 2019-08-13 순천대학교 산학협력단 위성영상과 제공 rpc로부터 제작된 수치표고모델의 자동 오차보정 방법

Also Published As

Publication number Publication date
EP1357516A2 (en) 2003-10-29
US20030179950A1 (en) 2003-09-25
EP1357516A3 (en) 2005-03-16
CN1453746A (zh) 2003-11-05
CN100405398C (zh) 2008-07-23
JP3869814B2 (ja) 2007-01-17
DE60330524D1 (de) 2010-01-28
EP1357516B1 (en) 2009-12-16
US6810153B2 (en) 2004-10-26

Similar Documents

Publication Publication Date Title
JP2003323611A (ja) 衛星撮影画像のオルソ補正処理方法
JP2003323611A6 (ja) 衛星撮影画像のオルソ補正処理方法
CN110310248B (zh) 一种无人机遥感影像实时拼接方法及系统
JP4901103B2 (ja) 地理的位置を決定し及び測定を行うコンピュ−タ化システム及び方法、並びにプログラム
US10789673B2 (en) Post capture imagery processing and deployment systems
CN107492069B (zh) 基于多镜头传感器的图像融合方法
CN111784585B (zh) 图像拼接方法、装置、电子设备和计算机可读存储介质
JP2007248216A (ja) 合成開口レーダ画像のオルソ補正装置及びオルソ補正方法
KR102159134B1 (ko) 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치
CN113436267B (zh) 视觉惯导标定方法、装置、计算机设备和存储介质
JP3653769B2 (ja) 流れ計測方法及び装置
JP3490774B2 (ja) ジオスペシフィックテクスチャ生成の方法
CN115326025B (zh) 一种用于海浪的双目影像测量与预测方法
Büyüksalih et al. Handling of IKONOS-images from Orientation up to DEM Generation
CN113902626B (zh) 超宽幅线阵影像附加约束条件的正射纠正方法
JP2004127322A (ja) ステレオ画像形成方法及び装置
CN117647230A (zh) 一种依托于dem和视场角的目标定位方法
Theiss Rigorous image formation from airborne and spaceborne digital array scanners
CN115775351A (zh) 一种航空影像正射纠正多任务并行处理方法
JPS61286978A (ja) ステレオ観測画像の処理方式
CN113643177A (zh) 一种基于弱交会条件下卫星影像的区域网平差方法
CN115810078A (zh) 基于pos数据和机载可见光影像赋色激光点云的方法
CN117788281A (zh) 低pos精度的机载线阵高光谱影像区域影像拼接方法及系统
CN117761715A (zh) 定位融合方法、装置、架站式三维扫描设备以及存储介质
CN115719378A (zh) 一种用于分布式架构的线阵卫星影像核线纠正方法及系统

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061013

R150 Certificate of patent or registration of utility model

Ref document number: 3869814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121020

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121020

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151020

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

Free format text: JAPANESE INTERMEDIATE CODE: R313115

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees