JP2003005628A

JP2003005628A - 写真画像処理装置

Info

Publication number: JP2003005628A
Application number: JP2001187038A
Authority: JP
Inventors: Katsuyuki Kamei; 克之亀井; Kazuo Seo; 和男瀬尾; Takashi Tamada; 隆史玉田; Hiroshi Monma; 啓門馬
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2001-06-20
Filing date: 2001-06-20
Publication date: 2003-01-08

Abstract

(57)【要約】【課題】従来の俯瞰地図に対応させたものは、広範な
対象領域内の何処を見ているのか直感的に理解しにくい
ものであり、また鉛直下方を撮影した写真画像を対象と
したものは俯瞰的な立体感が得られず実用性に乏しいな
どの課題があった。【解決手段】デジタル地図データ、写真画像およびカ
メラ位置情報等を記憶する記憶手段と、デジタル地図デ
ータから地図面を描画し、写真画像を地図面上に投影
し、カメラ位置情報を読み出してカメラ位置および光軸
方向に従って写真画像を投影して描画し、地図面上の建
物輪郭の位置と写真画像に描かれた建物の屋上投影部分
とが合致するように投影する描画手段と、投影結果を表
示するディスプレイ装置とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は写真画像を撮影す
るカメラの高度を補正して写真と地図を合致させるよう
に重ね合わせる写真画像処理装置に関するものである。

【０００２】

【従来の技術】遠隔監視できる映像通信技術の発達によ
り、遠隔地域の映像をリアルタイムで入手することが可
能になってきており、その遠隔地域映像を地図属性デー
タと共に統合して現地広範囲を容易に理解できるように
する要望がある。この種の写真画像処理装置としては特
開平１０−２１０４５６号公報の記載がある。これは、
景観を撮影した映像上に、カメラパラメータを合わせて
俯瞰地図データを重畳描画する構成で、実映像上で地図
属性データを容易に確認することができ、現地状況の理
解を容易にしている。

【０００３】

【発明が解決しようとする課題】上記従来の写真画像処
理装置は、以上のように構成されているが、広範な対象
領域内の何処を見ているのか直感的に理解しにくいもの
であった。一方、これに対し特開平１１−３３１８３１
号公報に示されるものがある。それは地図上に写真画像
の画枠を設定し位置関係を把握できるようにしている
が、鉛直下方を撮影した写真画像を対象としており、監
視装置として使用する場合には俯瞰的な立体感が得られ
ず実用性に乏しかったなどの課題があった。

【０００４】この発明は上記のような課題を解決するた
めになされたもので、鉛直撮影は勿論のこと俯瞰的に撮
影した写真画像をデジタル画像データに重畳描画して容
易に対応性が取れるようにした写真画像処理装置を得る
ことを目的とする。また、この発明はデジタル画像デー
タ上に描画する際に写真画像の有効な投影部分を生成す
るようにした写真画像処理装置を得ることを目的とす
る。

【０００５】

【課題を解決するための手段】この発明に係る写真画像
処理装置は、デジタル地図データ、このデジタル地図デ
ータに対応させる景観を撮影した写真画像および写真画
像撮影時のカメラ位置情報等を記憶する記憶手段と、デ
ジタル地図データを読み出して地図面を描画し、写真画
像を読み出して地図面上に投影し、カメラ位置情報を読
み出してカメラ位置および光軸方向に従って写真画像を
投影して描画し、このときデジタル地図データから得ら
れる地図面上の対象とする建物の建物輪郭の位置と写真
画像に描かれた建物の屋上投影部分とが合致するように
投影する描画手段と、この描画手段による投影結果を表
示するディスプレイ装置とを備えたものである。

【０００６】この発明に係る写真画像処理装置は、描画
手段が、カメラ位置情報により得られるカメラ位置の高
さから建物の高さを差し引いた値を修正後のカメラ位置
の高さとすることにより、この修正後のカメラ位置から
地図面上へ写真画像を投影し描画することにより建物輪
郭の位置と屋上投影部分とを合致させるようにしたもの
である。

【０００７】この発明に係る写真画像処理装置は、描画
手段が、カメラ位置情報により得られるカメラ位置の高
さから投影領域内にある複数の建物の高さの平均値を差
し引いた値を修正後のカメラ位置の高さとし、この修正
後のカメラ位置から地図面上へ写真画像を投影し描画す
ることにより建物輪郭の位置と屋上投影部分とを合致さ
せるようにしたものである。

【０００８】この発明に係る写真画像処理装置は、デジ
タル地図データ、このデジタル地図データに対応させる
景観を撮影した写真画像および写真画像撮影時のカメラ
位置情報等を記憶する記憶手段と、デジタル地図データ
を読み出して地図面を描画し、写真画像を読み出して地
図面上に投影し、カメラ位置情報を読み出してカメラ位
置および光軸方向に従って写真画像を投影して描画し、
このとき写真画像を投影部分と非投影部分に分割し、分
割した投影部分を地図面上に投影し、写真画像中の地上
を写す部分を十分な解像度で地図面上に投影し描画する
描画手段と、この描画手段による投影結果を表示するデ
ィスプレイ装置とを備えるようにしたものである。

【０００９】この発明に係る写真画像処理装置は、写真
画像の分割された投影部分が、写真画像の撮影時におけ
るカメラの光軸回りの任意の回転角に対して形成される
多角形の領域であるようにしたものである。

【００１０】この発明に係る写真画像処理装置は、ディ
スプレイ装置に予め表示される地図面上の投影領域およ
び／もしくは写真画像に対し、マニュアル操作により分
割する写真画像の投影部分と非投影部分を決定し、この
決定結果を描画手段に入力する領域入力手段を備えたも
のである。

【００１１】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。実施の形態１．図１はこの発明の実施の形態１乃至実施
の形態８による写真画像処理装置の概略構成を示すブロ
ック図である。図において、１は記憶装置で、デジタル
地図データ、このデジタル地図データに対応させる景観
を撮影した写真画像および写真画像撮影時のカメラ位置
情報等を記憶する記憶手段である。２は描画装置で、記
憶装置１からデジタル地図データを読み出して地図面を
描画し、写真画像を読み出して地図面上に投影し、カメ
ラ位置情報を読み出してカメラ位置および光軸方向に従
って写真画像を投影して描画し、その際に、デジタル地
図データから得られる地図面上の対象とする建物の建物
輪郭の位置と写真画像に描かれた建物の屋上投影部分と
が合致するように写真画像を投影する描画手段である。
さらに、この描画装置２は、カメラ位置情報により得ら
れるカメラ位置の高さから建物の高さを差し引いた値を
修正後のカメラ位置の高さとし、この修正後のカメラ位
置から地図面上へ写真画像を投影し描画することで建物
輪郭の位置と屋上投影部分とを合致させるものである。
３は描画装置２による描画結果を表示するディスプレイ
装置である。

【００１２】図２乃至図５は実施の形態１による動作状
態を表す説明図で、そのうち図２乃至図４は実際上の景
観を撮影している様子を仮想的に示すものである。図に
おいて、４は写真画像で、デジタル地図データに対応さ
せて景観を撮影したものである。５はカメラ、６は写真
画像４の撮影時のカメラ位置、７は写真画像４の撮影時
におけるカメラの光軸、８はデジタル地図データから得
られる地図面（実際上の地表面に対応する面）である。
９は地図面８上の写真画像４の投影領域、１０はカメラ
位置６のから地図面８に下ろした垂線の足、１１はデジ
タル地図データに含まれる建物の輪郭、１２は写真画像
４に写された建物の屋上、１３は画像面、１４は投影領
域９の頂点、１５はカメラ位置６と頂点１４とを結ぶ直
線、１６は画像面１３と直線１５との交点である。１７
は建物、１８は投影領域９の外接長方形、１９は地図面
８上の点、２０は点１９からデジタル地図データに示さ
れる高さ値だけ上方にある点、２１は点２０とカメラ位
置６を結ぶ直線である。２２は直線２１と画像面１３と
の交点、３０は写真画像４に描かれた建物１７の地図面
８への投影像、４１は投影像３０のうちの屋上投影部
分、４２は地図面８を上方に移動した修正地図面であ
る。ここで用いられるデジタル地図データは、予め準備
されたもので、例えば市販のベクトル数値地図などがあ
る。これには、建物の輪郭線とその座標値が含まれてお
り、また階数が含まれているものもある。階数が含まれ
ていれば、平均的な１階当たりの高さを乗じて建物の高
さＨを計算することができる。

【００１３】図２は、カメラ位置６のカメラ５によって
上空から撮影する状態を表し、写真画像４はこのとき撮
影したものを示し、地図面８は地上の水平面を示すこと
になる。図３は写真画像４を地図面８に投影し、地図面
８に描画するデジタル地図データと重ね合わせて表示を
行う様子を示す。また、図４は、図３において、さらに
建物の高さＨだけ地図面を高く配置した修正地図面４２
との関係を示している。図４のように扱うことにより、
建物の位置、平面輪郭および高さ値からなるデジタル地
図データにより描画される建物の輪郭１１と写真画像４
によって投影される建物の屋上１２とが一致する。修正
地図面４２のようにＨだけ地図面８を高くすることは、
カメラ位置６の高さをＨだけ差し引くことと等価であ
る。

【００１４】上空のカメラ位置６より撮影された写真画
像４を地図に重ね合わせる場合、写真画像４は、実際の
景観を画像面１３に投影したものであるから、図３に示
すように画像面１３の写真画像４を、カメラ位置６を中
心に地図面８の台形である投影領域９の内部に投影する
ことになる。また、図２において、地図面８はｘｙ平面
上にとり、高さ方向にｚ軸をとる。ここで、カメラ位置
６の高さをＺとする。なお、図２では説明の便宜上、カ
メラ位置６をｚ軸上にとり、座標を（０，０，Ｚ）とし
ているが、ｚ軸上にない場合でも、カメラ位置６がｚ軸
上に乗るように座標系の平行移動変換を施すことで、同
様に実行できる。焦点距離をｆ、写真画像４の画素数を
Ｎ×Ｍとする。光軸７の水平面内の方向（緯度）をθ、
水平面に対する俯角をφで表す。

【００１５】通常、投影領域９の４頂点１４Ｖ_ａ，
Ｖ_ｂ，Ｖ_ｃ，Ｖ_ｄは、図３に示すように、カメラ位置６
と画像面１３の４頂点のそれぞれとを結ぶ直線１５と地
図面８との交点１６として得られる。画像面１３の４頂
点の位置ベクトルは、それぞれｓ _ａ、ｓ_ｂ，ｓ_ｃ，ｓ_ｄ
とすれば、次式のようになる。

【００１６】

【数１】

【００１７】ここで、Ｒとｐはそれぞれカメラ座標系
（ｕ，ｖ，ｗ）から上記座標系（ｘ，ｙ，ｚ）への変換
を表すための回転行列と平行移動ベクトルである。カメ
ラ座標系は、カメラ位置６を原点とし、光軸７の方向に
ｕ軸、画像面１３のｉ軸負方向にｖ軸、ｊ軸方向にｗ軸
をとる。直線１５の方程式は、ｔを媒介変数として、そ
れぞれ

【数２】のように表現できる。これらを、ｚ＝０として解くこと
により、地図面８上における投影領域９の頂点１４の座
標が得られる。これは、

【数３】として、

【数４】のように得られる。この投影領域９内の点１９に対し、
カメラ位置６とを結ぶ直線２１と画像面１３との交点２
２に対応する写真画像４の画素パターンを投影すればよ
い。しかしながら、この投影においては、カメラ５の俯
角が浅い場合、建物１７の像は図３に示すように前後に
のびた投影像３０となる。特に都市部においては建物が
密集しており、その屋上１２のみが写真画像４に写され
たものとなる。したがって、多くの屋上投影部分４１が
地図面８上に投影された状態となることも少なくない。
このような場合、デジタル地図データと重ね合わせる
と、デジタル地図データにより得られる建物の輪郭１１
とその建物１７内で唯一投影されている屋上投影部分４
１とが隔離し、対応付けができなくなる。

【００１８】実施の形態１では、地図面８上に写真画像
４を投影してデジタル地図データと重ね合わせたとき
に、建物１７の屋上投影部分４１がデジタル地図データ
の建物の輪郭１１に合致するようにする。そのために
は、図４に示すように、建物の高さＨを考慮し、地図面
８をＨだけ上方に移動させた修正地図面４２に投影を行
う。このとき、修正地図面４２上の投影領域９’の頂点
１４’（Ｖ_ａ’，Ｖ_ｂ’，Ｖ_ｃ’，Ｖ_ｄ’）は、直線１
５（図３）の方程式をｚ＝Ｈとして解いて、次式として
得られる。

【００１９】

【数５】

【００２０】これらのｘ，ｙ座標は、Ｖ_ａ，Ｖ_ｂ，
Ｖ_ｃ，Ｖ_ｄのＺをＺ−Ｈで置き換えたものになる。つま
り、修正地図面４２を基準とした場合、カメラ位置６の
高さをＺ―Ｈとして考えることになる。これにより、修
正地図面４２上でデジタル地図データと重ね合わせたと
きに、建物の屋上の輪郭１２がデジタル地図データの建
物の輪郭１１に合致するようになる。

【００２１】図６はこの発明の実施の形態１による動作
手順を示すフローチャート、図７は実施の形態１による
描画結果例を示す説明図である。以下、このフローチャ
ートに従って説明する。描画装置２が、記憶装置１より
写真画像４、カメラ位置６および光軸７方向を読み出す
（ステップＳＴ１）。同様に、カメラ位置６における建
物の高さ値Ｈを読み出す（ステップＳＴ２）。描画装置
２は台形である修正地図面４２上の投影領域９’の頂点
Ｖａ’，Ｖｂ’，Ｖｃ’，Ｖｄ’（図４参照）を求める
（ステップＳＴ３）。投影領域９’の外接長方形１８
（図５参照）を求める（ステップＳＴ４）。これは、投
影領域９’における頂点１４’のｘの最大値、最小値を
それぞれｘ_ｍａｘ、ｘ_ｍｉｎとし、ｙの最大値、最小値
をそれぞれｙ_ｍａｘ、ｙ_ｍｉ _ｎとして、ｘ_ｍｉｎ≦ｘ≦
ｘ_ｍａｘ、ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘと表す。次に、投影
点１９を表す変数ｘをｘ_ｍｉｎに初期化する（ステップ
ＳＴ５）。同じく変数ｙをｙ_ｍｉｎに初期化する（ステ
ップＳＴ６）。修正地図面４２上、（ｘ，ｙ，Ｈ）で表
される点２０が投影領域９’内に含まれるかどうかを判
定する（ステップＳＴ７）。

【００２２】点２０が投影領域９’内に含まれている場
合には、点２０に写真画像４上の画素値を描画する（ス
テップＳＴ８）。これは、点２０（ｘ，ｙ，Ｈ）とカメ
ラ位置６（０，０，Ｚ）を結ぶ直線２１と画像面１３と
の交点２２に対応する写真画像４上の画素値である。こ
の画素はカメラ座標系にて考える。点２０をカメラ座標
系に変換すると、

【数６】である。直線２１はこの点とカメラ座標系とを通り、ｕ
＝ｆにある画像面１３との交点がすなわち交点２２であ
るから、交点２２の画像面上の（ｉ，ｊ）座標は、

【数７】で求められる。このとき、ｉ、ｊに小数点以下が出る場
合は、四捨五入してもよいし、周囲の画素値を用いて補
間してもよい。一方、ステップＳＴ７の判定で、点２０
が投影領域９’内に含まれていない場合には、ｙに１を
加える（ステップＳＴ９）。次に、ｙがｙ_ｍａｘ以下か
どうかを判定し（ステップＳＴ１０）、そうであればス
テップＳＴ７に戻り、そうでなければステップＳＴ１１
に進んでｘに１を加える（ステップＳＴ１１）。その後
ｘがｘ_ｍａｘ以下かどうかを判定し（ステップＳＴ１
２）、そうであればステップＳＴ６に戻り、そうでなけ
ればステップＳＴ１３に進む。

【００２３】デジタル地図データから得られる、例えば
多角形で表される建物の輪郭１１を修正地図面４２（図
４参照）上に上書きする（ステップＳＴ１３）。その
後、描画装置２は図７に示すような描画結果をディスプ
レイ装置３に表示する（ステップＳＴ１４）。ここで行
った写真画像の描画処理は、計算機に装備された、コン
ピュータグラフィックスのテクスチャマッピング機能お
よびソフトウェアを利用して高速に実行するように構成
してもよい。

【００２４】また、ステップＳＴ９およびステップＳＴ
１１では、それぞれｙ，ｘを１ずつ増加させたが、この
増加幅は、描画装置２が描画する画像の画素単位に増加
させるように構成してもよい。さらに、座標系の単位を
画素として構成してもよい。また、高さＨは建物の高さ
として説明したが、建物の高さが低い地域であっても地
表面に起伏がある場合は、Ｈを基準標高からの地表面の
高さとして動作させるように構成することで、同様の結
果が得られる。また、デジタル地図データが建物の輪郭
に加え、道路や河川の線分、さらに地名などの文字情報
を含んでいる場合は、それらも描画するように構成して
もよい。また、ディスプレイ装置３に表示する描画結果
は、修正地図面４２上の任意の地点および縮尺での描画
結果である。このとき、投影領域９’の全部または一部
が描画結果の範囲の外になる場合、投影領域９’の投影
処理の全部（ステップＳＴ５からステップ１２）または
一部（範囲の外の点（ｘ，ｙ）でのステップＳＴ８）を
省略するように構成してもよい。

【００２５】以上のように、この実施の形態１によれ
ば、投影領域９に投影された写真画像上の建物１７の屋
上投影部分４１が地図面８上の建物の輪郭１１に合わせ
て描かれるので、カメラ位置の高さを調節することによ
り写真画像とデジタル地図データの対応付けを容易にす
る効果が得られる。

【００２６】実施の形態２．上記実施の形態１におい
て、記憶装置１に記憶された写真画像４とカメラ位置情
報を用いるとして説明してきた。この実施の形態２で
は、写真画像４と撮影位置データは、例えば航空機、ヘ
リコプタ、人工衛星により撮影および計測され、随時送
られ、記憶装置１に格納されるものを用いる。カメラを
例えばヘリコプタに搭載した場合、ＧＰＳ（Global Pos
itioning System)装置によって、ヘリコプタの位置や高
度を算出する。また、この時カメラにセンサを装着する
ことによって、視線方向θと俯角φを得て、これらを写
真画像と共に処理センタに送信する。上記位置、高度等
から地図面の座標系に変換することにより写真画像４と
デジタル地図データとの一致性をとればよい。

【００２７】以上のように、この実施の形態２によれ
ば、現在の様子を示す写真画像が地図面に正確に投影さ
れるので、特に災害時などには、現地の状況を的確に捉
えられる効果が得られる。

【００２８】実施の形態３．上記実施の形態１および実
施の形態２において、記憶装置１に記憶された写真画像
４とカメラ位置情報は一組として説明した。この実施の
形態３では、この写真画像と撮影位置データとして、例
えば航空機、ヘリコプタ、人工衛星によりそれぞれ撮影
および計測された複数の組が存在し、それらのすべてあ
るいは一部を順次同一地図面８に重ね書きするように構
成するものである。

【００２９】以上のように、この実施の形態３によれ
ば、複数の写真画像が同時に地図面に投影、描画され、
より広範囲の領域において写真画像が提示されるので、
全体的な状況を的確に捉えられる効果が得られる。

【００３０】実施の形態４．図８はこの発明の実施の形
態４による動作状態を示す説明図、図９は実施の形態４
による動作の一部手順を示すフローチャートである。図
において、２３は修正地図面４２上における建物の輪郭
１１’を構成する輪郭多角形の頂点、２４は輪郭１１’
を構成する輪郭多角形の辺である。上記実施の形態１に
おいては、カメラ位置の高さを修正する高さＨは、写真
画像４の視野内で一定であるものとして構成した場合に
ついて述べた。この実施の形態４では、デジタル地図デ
ータに個々の建物の高さ値もしくは階数値が含まれてい
る場合、それらの値を用いて建物の平均の高さＨ_ａを決
定するように構成するものである。すなわち、図１の描
画装置２が、カメラ位置情報により得られるカメラ位置
の高さから投影領域内にある複数の建物の高さの平均値
を差し引いた値を修正後のカメラ位置の高さとすること
により、この修正後のカメラ位置から地図面上へ写真画
像を投影し描画することにより建物輪郭の位置と屋上投
影部分とを合致させるように動作する。この場合の、建
物の平均の高さＨ_ａを求める手順の一例を、図９のフロ
ーチャートを用いて説明する。

【００３１】先ず、高さを示す変数ｈを０に、建物数を
示す変数ｎを０に初期化する（ステップＳＴ４１）。次
に、デジタル地図データに含まれる建物の輪郭１１’を
一つ取り出す（ステップＳＴ４２）。この輪郭１１’を
構成する多角形が投影領域９’内にあるかどうかを判定
する（ステップＳＴ４３）。これは、例えば図８に示す
ように、多角形の少なくとも一つの頂点２３が投影領域
９’内にあるか、または輪郭多角形の少なくとも一つの
辺２４が投影領域９’と交われば、輪郭多角形が投影領
域９’内と判定する。

【００３２】ステップＳＴ４３の判定において、投影領
域９’内であれば、ｈに建物の高さ値を加える（ステッ
プＳＴ４４）。建物の階数値が与えられている場合はそ
の階数値に１階当たりの高さの値、例えば３ｍを乗じて
高さを推定、これをｈに加える。同時にｎに１を加え
る。また、判定において、投影領域９’内でなければ、
未処理の建物があるかどうかを判定する（ステップＳＴ
４５）。未処理の建物があればステップＳＴ４２に戻
る。未処理の建物がなくなった場合、投影領域９’内に
ある建物の平均の高さＨ_ａを算出する（ステップＳＴ４
６）。

【００３３】なお、すべての建物を同等に扱ったが、輪
郭多角形の面積によって重みをつけて平均の高さＨ_ａを
算出するようにしてもよい。また、Ｈ_ａは建物の高さを
算出するとして説明したが、建物の高さが低い地域であ
っても地表面に起伏がある場合は、ステップＳＴ４２と
ステップＳＴ４３の輪郭を標高が与えられる標高点、ス
テップＳＴ４４の高さをその標高点の標高値と読み替え
て動作させることにより同様の効果が得られる。

【００３４】以上のように、実施の形態４によれば、投
影領域内にある複数の建物の高さの平均値Ｈ_ａをもって
カメラ位置の高さを修正するので、合致を取るときに複
数の建物に対して即応でき、また建物輪郭と投影された
の屋上のずれを小さく抑えることができる効果が得られ
る。

【００３５】実施の形態５．図１０および図１１はこの
発明の実施の形態５による動作状態を表す説明図、図１
２は実施の形態５による一部動作手順を示すフローチャ
ート、図１３同写真画像例を示す説明図、図１４は同描
画結果を示す説明図である。図において、２５は写真画
像４（図２参照）中の投影部分、２６は写真画像４中の
非投影部分、２７は写真画像４の中心軸、２８は中心軸
２７上の画素である。２９はカメラ位置６と画素２８と
を結ぶ直線、３１は地図面８への投影部分２５の投影領
域、３２は投影領域３１の外接長方形、３３はカメラ位
置６と地図面８上の点１９とを結ぶ直線、３４は直線３
３と画像面１３との交点である。

【００３６】この実施の形態５においては、図１におけ
る描画装置２の機能として、写真画像を投影部分と非投
影部分に分割し、分割した投影部分を地図面上に投影
し、写真画像中の地上を写す部分が十分な解像度で地図
面上に描かれるように投影し描画するようにしたもので
ある。すなわち、図１０に示すように、写真画像４を投
影部分２５と非投影部分２６とに分けるものである。写
真画像４が空を写す場合、その部分は地図面８には投影
できない。また、遠方の景観は写真画像４上での解像度
が低下するため、地図面８上に投影しても粗い投影像し
か得られない。写真画像４に空や遠方の景観が写ってい
る場合には、それらの部分を非投影部分２６とし、地図
面８には描画しないように処理する。これは、例えば、
角度Φをしきい値とし、写真画像４の中心軸２７上でカ
メラ位置６と画素２８とを結ぶ直線２９の水平面（地図
面８）とのなす角がしきい値Φとなる画素（Ｎ／２，
Ｊ）により、ｊ≦Ｊを投影部分２５とする。この場合、
写真画像４の投影部分２５は長方形になる。このＪは以
下のように定まる。直線２９の俯角はしきい値Φに一致
するので、 Φ＝φ−ａｒｃｔａｎ｛（Ｊ−Ｍ／２）／ｆ｝であり、Ｊ＝ｆ・ｔａｎ（φ−Φ）＋Ｍ／２を得る。投影部分２５の投影領域３１の頂点について
は、Ｖ_ａ，Ｖ_ｂは実施の形態１に示したものと同一であ
る。Ｗ_ｃ，Ｗ_ｄは、実施の形態１で示した式において、

【数８】のように変更して求めたＶ_ｃ，Ｖ_ｄに一致する。投影領
域３１内の投影の動作手順を図１２のフローチャートに
より説明する。先ず、描画装置２が記憶装置１より写真
画像４、カメラ位置６および光軸７を読み出す（ステッ
プＳＴ５１）。しきい値Φにより、長方形である投影部
分２５を確定する（ステップＳＴ５２）。上記Ｖ_ａ，Ｖ
_ｂ，Ｗ_ｃ，Ｗ_ｄにより、投影部分２５に対する投影領域
３１を求める（ステップＳＴ５３）。図１１に示すよう
に、投影領域３１の外接長方形３２を求める。これを、
ｘ_ｍｉｎ≦ｘ≦ｘ_ｍａｘ、ｙ_ｍｉｎ≦ｙ≦ｙ_ｍａｘと表
す（ステップＳＴ５４）。点１９を表す変数ｘをｘ
_ｍｉｎに初期化する（ステップＳＴ５５）。同じく変数
ｙをｙ_ｍｉｎに初期化する（ステップＳＴ５６）。地図
面８上の（ｘ，ｙ）で表される点１９が投影領域３１に
含まれるかどうかを判定する（ステップＳＴ５７）。

【００３７】投影領域３１に含まれている場合には、点
１９とカメラ位置６を結ぶ直線３３と画像面１３との交
点３４に対応する写真画像４上の画素値を点１９に描画
する（ステップＳＴ５８）。ここで、点１９をカメラ座
標系にて表すと、

【数９】となる。これより交点３４の画像面１３上での座標
（ｉ，ｊ）は、次式により得られる。

【００３８】

【数１０】

【００３９】一方、ステップＳＴ５７で、点１９が投影
領域３１に含まれていないと判定された場合、ｙに１加
える（ステップＳＴ５９）。次に、ｙがｙ_ｍａｘ以下か
どうかを判定し（ステップＳＴ６０）、そうであればス
テップＳＴ５７に戻る。また、そうでなければ、ｘに１
加える（ステップＳＴ６１）。さらに進んで、ｘがｘ
_ｍａｘ以下かどうかを判定し（ステップＳＴ６２）、そ
うであればステップＳＴ５６に戻り、そうでなければ、
地図面８上にデジタル地図データにより得られる、例え
ば多角形で表される建物の輪郭１１を上書きする（ステ
ップＳＴ６３）。その後、描画装置２は描画結果をディ
スプレイ装置３に表示する（ステップＳＴ６４）。例え
ば、図１３に示すような写真画像４から図１４に示すよ
うな描画結果を得る。また、実施の形態１と同様、デジ
タル地図データが道路や河川の線分、地名などの文字情
報を含んでいる場合は、それらも描画するように構成し
てもよい。また、ディスプレイ装置３に表示する描画結
果は、地図面８上の任意の地点および縮尺での描画結果
である。このとき、投影領域９の全部または一部が描画
結果の範囲の外になる場合、投影領域９の投影処理の全
部（ステップＳＴ５５からステップＳＴ６２）または一
部（範囲の外の点（ｘ，ｙ）でのステップＳＴ５８）を
省略するように構成してもよい。

【００４０】以上のように、実施の形態５によれば、写
真画像中の十分な解像度で地上部分が写された領域のみ
を地図面８に投影するので、投影された画像は十分な解
像度を持ち、また、写真画像中の有効な投影部分２５の
みを投影するので、処理時間を短縮することができる効
果が得られる。

【００４１】実施の形態６．上記実施の形態５におい
て、記憶装置１に記憶された写真画像４とカメラ位置情
報を用いるとして説明した。この実施の形態６では、写
真画像４とカメラ位置情報は、例えば航空機、ヘリコプ
タ、人工衛星により撮影および計測され、随時送られ、
記憶装置１に格納されるものを用いるように構成する。

【００４２】以上のように、実施の形態６によれば、現
在の様子を示す写真画像が地図面８に投影されるように
なるので、特に災害時などには、現地の状況を的確に理
解することができる効果が得られる。

【００４３】実施の形態７．上記実施の形態５において
は、記憶装置１に記憶された写真画像４とカメラ位置情
報は一組として説明した。この実施の形態７では、この
写真画像４とカメラ位置情報は、例えば航空機、ヘリコ
プタ、人工衛星により撮影および計測された複数の組が
存在し、それらのすべてあるいは一部を順次同一地図面
８に重ね書きするように構成する。

【００４４】以上のように実施の形態７によれば、複数
の写真画像が同時に地図面８に投影、描画され、より広
範囲の領域において写真画像が提示されるので、全体的
な状況を的確に理解することができる効果が得られる。

【００４５】実施の形態８．図１５、図１６および図１
７はこの発明の実施の形態８による動作状態を表す説明
図である。図において、３５は画像面１３の辺、３６は
辺３５上に対応する写真画像４（図２参照）の画素、３
７はカメラ位置６と画素３６とを結ぶ直線である。３８
は投影部分２５（図１０参照）に相当する三角形、３９
は投影部分２５（図１０参照）に相当する四角形、４０
は投影部分２５に相当する五角形である。実施の形態５
から実施の形態７においては、写真画像４の撮影時にお
ける光軸７回りの回転角は０度として説明してきた。こ
の実施の形態８では、光軸回りの回転角が任意のψ度で
ある場合について適用できることを説明する。

【００４６】カメラの光軸回りの任意の回転角ψを各種
とった場合、例えば、カメラ位置６から画像面１３の辺
３５上の画素３６を通る直線３７に関し地図面８とのな
す角Φを考える。図１１、図１２および図１５に例示す
るように、この角Φが一定値以内となる部分を辺として
構成される三角形３８、四角形３９あるいは五角形４０
を投影部分とし、その他の部分を非投影部分とする。こ
れらの投影部分を投影して地図面８上の建物の屋上投影
部分と重ね合わす動作を行うが、このとき、地図面８上
に形成される各投影領域３１も、それぞれ三角形、四角
形、五角形となる。

【００４７】以上のように、実施の形態８によれば、写
真画像４における光軸７の回りの回転角ψ度が０度でな
い場合にも写真画像４の必要な部分を十分な解像度で地
図面８に投影することができるので、投影された画像は
十分な解像度を持ち、また、写真画像中の投影部分のみ
を投影するので、処理時間を短縮することができる効果
が得られる。

【００４８】実施の形態９．図１８はこの発明の実施の
形態９による写真画像装置の構成を示すブロック図、図
１９は実施の形態９による動作状態を表す説明図であ
る。図１８において、４３は領域入力装置で、ディスプ
レイ装置３に予め表示される地図面上の投影領域および
／もしくは写真画像に対し、マニュアル操作により分割
する写真画像の投影部分と非投影部分を決定し、この決
定結果を描画装置２に入力する領域入力手段である。図
１９において、４４は領域入力装置４３にて入力された
領域を表す点、４５は点４４を通り投影領域９の底辺に
平行な直線、４６は直線４５と投影領域９の辺との交点
である。

【００４９】上記実施の形態５においては、投影部分２
５は、角度Φを与えることによりＪを計算し、自動的に
設定することについて述べた。この実施の形態９におい
ては、例えば、地図面８上で、領域入力装置４３のマニ
ュアル操作により、投影領域９内に点４４を指定し、点
４４を通り底辺Ｖ_ａＶ_ｂに平行な直線４５と辺Ｖ_ａＶ _ｄ
と辺Ｖ_ｂＶ_ｃとの交点４６をそれぞれＷ_ｃ、Ｗ_ｄとし
て、投影領域３１を設定する。設定された投影領域３１
に対応して画像面１３から分割する投影部分２５と非投
影部分２６を決定するように構成する。決定結果は描画
装置２に入力され分割を実施し、投影部分２５だけが地
図面８上に投影領域３１として描画される。

【００５０】領域入力装置４３の以上の動作の実施に
は、幾つかの方法がある。その一つは、投影領域９に写
真画像４を投影してディスプレイ装置３に予め表示して
おいて、その結果を確認して領域入力装置４３により実
施することである。また、投影領域９を台形として地図
面８上にデジタル地図データと共にディスプレイ装置３
に予め表示した後に、その結果を確認して実施するよう
にすることである。さらに、ディスプレイ装置３に写真
画像４のみをそのまま表示し、領域入力装置４３により
写真画像４上で直接投影部分２５を設定することであ
る。

【００５１】以上のように、実施の形態９によれば、投
影部分２５を適宜マニュアル操作により設定し、また、
修正することが可能となるので、適切な投影部分２５の
みを地図面８に投影することができる効果が得られる。

【００５２】

【発明の効果】以上のように、この発明によれば、デジ
タル地図データ、このデジタル地図データに対応させる
景観を撮影した写真画像および写真画像撮影時のカメラ
位置情報等を記憶する記憶手段と、デジタル地図データ
を読み出して地図面を描画し、写真画像を読み出して地
図面上に投影し、カメラ位置情報を読み出してカメラ位
置および光軸方向に従って写真画像を投影して描画し、
このときデジタル地図データから得られる地図面上の対
象とする建物の建物輪郭の位置と写真画像に描かれた建
物の屋上投影部分とが合致するように投影する描画手段
と、この描画手段による投影結果を表示するディスプレ
イ装置とを備えるように構成したので、地図面上の建物
輪郭と写真画像の屋上とを合致させるように写真画像を
デジタル地図データに投影することができ、両者の対応
付けを容易にする効果がある。

【００５３】この発明によれば、描画手段が、カメラ位
置情報により得られるカメラ位置の高さから建物の高さ
を差し引いた値を修正後のカメラ位置の高さとすること
により、この修正後のカメラ位置から地図面上へ写真画
像を投影し描画することにより建物輪郭の位置と屋上投
影部分とを合致させるように構成したので、カメラ位置
の高さを調節することにより、容易に建物輪郭と屋上輪
郭とを合致させることができるという効果がある。

【００５４】この発明によれば、描画手段が、カメラ位
置情報により得られるカメラ位置の高さから投影領域内
にある複数の建物の高さの平均値を差し引いた値を修正
後のカメラ位置の高さとし、この修正後のカメラ位置か
ら地図面上へ写真画像を投影し描画することにより建物
輪郭の位置と屋上投影部分とを合致させるように構成し
たので、写真画像とデジタル地図データの合致を取ると
きに複数の建物に対して即応でき、また建物輪郭と投影
されたの屋上のずれを小さく抑えることができる効果が
ある。

【００５５】この発明によれば、デジタル地図データ、
このデジタル地図データに対応させる景観を撮影した写
真画像および写真画像撮影時のカメラ位置情報等を記憶
する記憶手段と、デジタル地図データを読み出して地図
面を描画し、写真画像を読み出して地図面上に投影し、
カメラ位置情報を読み出してカメラ位置および光軸方向
に従って写真画像を投影して描画し、このとき写真画像
を投影部分と非投影部分に分割し、分割した投影部分を
地図面上に投影し、写真画像中の地上を写す部分を十分
な解像度で地図面上に投影し描画する描画手段と、この
描画手段による投影結果を表示するディスプレイ装置と
を備えるように構成したので、写真画像の一部のみを描
画することにより、空が写っている部分が投影されるこ
とを回避でき、さらに遠方が写っている部分の画質が低
下して描画されることを回避できる効果がある。

【００５６】この発明によれば、写真画像の分割された
投影部分が、写真画像の撮影時におけるカメラの光軸回
りの任意の回転角に対して形成される多角形の領域であ
るように構成したので、写真画像の投影部分を多角形と
することにより、投影部分を簡易に指定できる効果があ
る。

【００５７】この発明によれば、ディスプレイ装置に予
め表示される地図面上の投影領域および／もしくは写真
画像に対し、マニュアル操作により分割する写真画像の
投影部分と非投影部分を決定し、この決定結果を描画手
段に入力する領域入力手段を備えるように構成したの
で、写真画像の投影部分を任意に選択して入力できるよ
うになり、適宜投影部分を修正できる効果がある。

【図面の簡単な説明】

【図１】この発明の実施の形態１乃至実施の形態８に
よる写真画像処理装置の概略構成を示すブロック図であ
る。

【図２】この発明の実施の形態１による動作状態を表
す説明図である。

【図３】この発明の実施の形態１による動作状態を表
す説明図である。

【図４】この発明の実施の形態１による動作状態を表
す説明図である。

【図５】この発明の実施の形態１による動作状態を表
す説明図である。

【図６】この発明の実施の形態１による動作手順を示
すフローチャートである。

【図７】この発明の実施の形態１による描画結果を示
す説明図である。

【図８】この発明の実施の形態４による動作状態を表
す説明図である。

【図９】この発明の実施の形態４による一部動作手順
を示すフローチャートである。

【図１０】この発明の実施の形態５による動作状態を
表す説明図である。

【図１１】この発明の実施の形態５による動作状態を
表す説明図である。

【図１２】この発明の実施の形態５による一部動作手
順を示すフローチャートである。

【図１３】この発明の実施の形態５による写真画像例
を示す説明図である。

【図１４】この発明の実施の形態５による描画結果を
示す説明図である。

【図１５】この発明の実施の形態８による動作状態を
表す説明図である。

【図１６】この発明の実施の形態８による動作状態を
表す説明図である。

【図１７】この発明の実施の形態８による動作状態を
表す説明図である。

【図１８】この発明の実施の形態９による写真画像処
理装置の構成を示すブロック図である。

【図１９】この発明の実施の形態９による動作状態を
表す説明図である。

【符号の説明】

１記憶装置（記憶手段）、２描画装置（描画手
段）、３ディスプレイ装置、４写真画像、５カメ
ラ、６カメラ位置、７光軸、８地図面、９，９’
投影領域、１０垂線の足、１１，１１’ 輪郭、１
２屋上、１３画像面、１４，１４’，２３頂点、
１５，３３，３７，４５直線、１６，２２，３４，４
６交点、１７建物、１８，３２外接長方形、１
９，２０，４４点、２１，２９直線、２４，３５
辺、２５投影部分、２６非投影部分、２７中心
軸、２８，３６画素、３０投影像、３１投影領
域、３８三角形、３９四角形、４０五角形、４
１，４１’ 屋上投影部分、４２修正地図面、４３
領域入力装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者玉田隆史東京都千代田区丸の内二丁目２番３号三菱電機株式会社内 (72)発明者門馬啓東京都千代田区丸の内二丁目２番３号三菱電機株式会社内Ｆターム(参考） 2C032 HA02 5B050 BA02 BA06 BA15 BA17 CA07 DA02 DA07 EA06 EA12 EA13 EA19 FA02 FA06 5B057 AA13 AA14 CA08 CA12 CA13 CA16 CB08 CB12 CB16 CD01 CD14 CE08 DA07 DC16

Claims

【特許請求の範囲】

【請求項１】デジタル地図データ、このデジタル地図
データに対応させる景観を撮影した写真画像および写真
画像撮影時のカメラ位置情報等を記憶する記憶手段と、
前記デジタル地図データを読み出して地図面を描画し、
前記写真画像を読み出して前記地図面上に投影し、前記
カメラ位置情報を読み出してカメラ位置および光軸方向
に従って前記写真画像を投影して描画し、このとき前記
デジタル地図データから得られる前記地図面上の対象と
する建物の建物輪郭の位置と前記写真画像に描かれた前
記建物の屋上投影部分とが合致するように投影する描画
手段と、この描画手段による投影結果を表示するディス
プレイ装置とを備えたことを特徴とする写真画像処理装
置。
【請求項２】描画手段が、カメラ位置情報により得ら
れるカメラ位置の高さから建物の高さを差し引いた値を
修正後のカメラ位置の高さとすることにより、この修正
後のカメラ位置から地図面上へ写真画像を投影し描画す
ることにより建物輪郭の位置と屋上投影部分とを合致さ
せることを特徴とする請求項１記載の写真画像処理装
置。
【請求項３】描画手段が、カメラ位置情報により得ら
れるカメラ位置の高さから投影領域内にある複数の建物
の高さの平均値を差し引いた値を修正後のカメラ位置の
高さとし、この修正後のカメラ位置から地図面上へ写真
画像を投影し描画することにより建物輪郭の位置と屋上
投影部分とを合致させることを特徴とする請求項１また
は請求項２記載の写真画像処理装置。
【請求項４】デジタル地図データ、このデジタル地図
データに対応させる景観を撮影した写真画像および写真
画像撮影時のカメラ位置情報等を記憶する記憶手段と、
前記デジタル地図データを読み出して地図面を描画し、
前記写真画像を読み出して前記地図面上に投影し、前記
カメラ位置情報を読み出してカメラ位置および光軸方向
に従って前記写真画像を投影して描画し、このとき前記
写真画像を投影部分と非投影部分に分割し、分割した前
記投影部分を地図面上に投影し、前記写真画像中の地上
を写す部分を十分な解像度で前記地図面上に投影し描画
する描画手段と、この描画手段による投影結果を表示す
るディスプレイ装置とを備えたことを特徴とする写真画
像処理装置。
【請求項５】写真画像の分割された投影部分が、写真
画像の撮影時におけるカメラの光軸回りの任意の回転角
に対して形成される多角形の領域であることを特徴とす
る請求項４記載の写真画像処理装置。
【請求項６】ディスプレイ装置に予め表示される地図
面上の投影領域および／もしくは写真画像に対し、マニ
ュアル操作により分割する前記写真画像の投影部分と非
投影部分を決定し、この決定結果を描画手段に入力する
領域入力手段を備えたことを特徴とする請求項４記載の
写真画像処理装置。