JP4138145B2

JP4138145B2 - Image forming apparatus

Info

Publication number: JP4138145B2
Application number: JP10066999A
Authority: JP
Inventors: 仁志大谷; 忠之伊藤; 伸夫高地
Original assignee: Topcon Corp
Current assignee: Topcon Corp
Priority date: 1999-04-07
Filing date: 1999-04-07
Publication date: 2008-08-20
Anticipated expiration: 2019-04-07
Also published as: JP2000292166A

Description

【０００１】
【産業上の利用分野】
本発明は、画像形成装置に係り、特に、計測現場にて図面を作成する際に、図面上にのる、即ち、寸法が正しく合って重ねられるような正射投影画像（オルソ画像）を形成する画像形成装置に関する。本発明は、図面にオルソ画像を貼り付けることで、誰でも簡単に正射投影画像を図化できるようにし、計測現場の状況が詳細にわかる正射投影画像を作成・修正することができる画像形成装置に関する。
【０００２】
【従来の技術】
従来技術によれば、計測現場で測量することにより得られる図面は、平板測量に代表されるような紙と鉛筆等により作成されていた。また、近年では、電子平板に代表されるような測量機とポータブルコンピュータとの組み合わせにより、計測現場の線画図面が作成されていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来のように、電子平板等により現地にて図面を作成しても、線画で表現されているだけで、現地の状況を十分に把握することができなかった。そこで、カメラ等により現場状況を撮影していたが、撮影は斜め方向からであるのに対し、要求される図面は鉛直方向（正射投影）であるため、撮影した画像は、図面と直接結びつかない。したがって、操作者は、図面と画像の双方を見比べて、現場の状況を把握するしかなく、不便であり且つ状況の把握が困難であった。
【０００４】
また、１枚の画像だと撮影できる範囲は狭く、複数枚撮影した場合でも、それぞれの写真に関連性・連続性がないため、相互の整合がとりにくく、図面と見比べるのは煩雑且つ難しいものとなっていた。また、精度の高いオルソ画像が求められる場合、カメラのレンズ歪みが問題となり、従来は、レンズ歪みデータの無いカメラでは、精度良いオルソ画像が作成できなかった。
【０００５】
本発明は、以上の点に鑑み、計測現場の状況を図化する際に、寸法の反映された正射投影画像（オルソ画像）から簡単に現場を図化でき、状況を容易に把握できるようにした画像形成装置を提供することを目的とする。本発明は、計測現場において、迅速且つ簡単に、計測忘れやミスがなく画像の作成・修正ができ、現場状況の把握がその場ででき、画像図面（オルソ画像）を現地にてリアルタイムで確認しながら簡単に作成することを目的とする。本発明は、簡単な撮影と、測量機による数点の測量だけで、画像の補測を行うと同時に、現場状況を容易に把握可能な画像図面を得て、さらに写っていない部分やわかりにくい部分を補間し、高解像度化され且つ広範囲なオルソ画像を作成することを目的とする。
【０００６】
本発明は、１枚の画像では、見えにくい所があったり、遠くの画像が粗くなる等のように、状況がわかりにくい場合であっても、複数枚の画像から状況を把握することができ、且つ、精度の高いオルソ画像を作成することを目的とする。また、本発明は、簡単な作業を繰り返すことにより複数枚の画像を統合し、広範囲なオルソ画像を取得することを目的とする。本発明は、さらに、隣接領域とオーバーラップした画像を複数撮影することにより、精度が高く品質の高いオルソ画像を高速に作成することを目的とする。
【０００７】
また、本発明は、簡単な計測でレンズ歪み補正（カメラキャリブレーション補正）を行なうと同時に、レンズ歪みデータの無いカメラでも高精度なオルソ画像を作成することを目的とする。さらに、本発明は、各種測量機を利用して３次元座標を計測しながらオルソ画像修正を行なえば、必要個所を必要な精度で、品質の良いオルソ画像が作成することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の解決手段によると、
複数の基準点が写し込まれた中心投影画像を計測し、該基準点について画像座標を求める基準点計測部と、
上記基準点計測部により求められた該基準点の画像座標と実際に測定された基準点の３次元座標とに基づき、画像座標と３次元座標との対応付けを行う変換パラメータを求める座標変換パラメータ算出部と、
上記座標変換パラメータ算出部により求められた変換パラメータに基づき、中心投影画像から正射投影画像を作成するオルソ画像形成部と、
実測した追加点の３次元座標に基づき、上記オルソ画像形成部により求められた画像座標を修正し、正射投影画像の修正を行うオルソ画像修正部と
を備えた画像形成装置を提供する。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
【００１０】
Ａ．画像形成装置の構成及び動作概要
図１に、本発明に係る画像形成装置の構成図を示す。画像形成装置は、制御部１０、記憶部２、入出力インターフェース３、３次元座標入力部７、画像入力部４、表示部５、入出力部６を備える。さらに、制御部１０は、基準点計測部１０１、座標変換パラメータ算出部１０２、オルソ画像形成部１０３、オルソ画像修正部１０４、追加画像計測部１０５を含む。これらの各部（機能）は、例えばポータブルコンピュータ（ＰＣ）により実現することができる。
【００１１】
記憶部２には、基準点のデータがあらかじめ記憶されるとともに、画像データ等が記憶される。基準点のデータは、例えば地上座標と呼ばれる３次元座標（Ｘ、Ｙ、Ｚ）で記憶される。入出力インターフェース３は、共通バス等で構成され、各種装置を接続する。３次元座標入力部７は、例えばグローバルポジショニングシステム（ＧＰＳ）やトータルステーション等の各種測量機や３次元座標測定装置から、基準点や追加計測点等の３次元座標を得るものである。画像入力部４は、例えばデジタルカメラ、固体撮像素子又は電荷結合素子（ＣＣＤ、Charge Coupled Device）等の２次元又は３次元画像を得るものである。画像入力部４からは、基準点が含まれ、且つ、１枚あるいは複数枚の画像が入力される。
【００１２】
表示部５は、ＣＲＴ、液晶ディスプレイ又はプラズマディスプレイ等を備え、２次元又は３次元表示を行うものである。表示部５は、制御部１０のオルソ画像形成部１０３やオルソ画像修正部１０４等で形成されたオルソ画像を表示する。また、表示部５は、基準点計測部１０１で入力された基準点位置や、追加画像計測部１０５で追加された画像等を表示する。入出力部６は、各種画像データや判定結果、又は、測量機等の３次元座標入力装置からの３次元座標データ等を、他の装置と入出力するものである。入出力部６としては、例えば、光ディスク装置やカード型の記憶媒体（ＨＤＤ、メモリ等）、フロッピーディスク、キーボード、ペン、マウス、ターミナル、ＣＤ−ＲＯＭディスクドライブなどの各種入力装置・出力装置を備えることができる。入出力部６は、マウス、ライトペン等のポインティングデバイスにより、表示部５の画面上の基準点や各種の位置を指示する。
【００１３】
基準点計測部１０１は、複数の基準点が写し込まれた中心投影画像を計測し、それらの基準点について画像座標を求める。基準点計測部１０１は、既知点からの距離と角度を測定する測量機又はグローバルポジショニングシステム等を画像入力部４として用いることにより、得られた座標に基づき、基準点の３次元座標を計測し、必要に応じて記憶部２に記憶する。基準点計測部１０１は、基準点によっては、３次元座標を得た各基準点に対応する中心投影した各画像座標値を自動的に求めるようにすることもできる。
【００１４】
座標変換パラメータ算出部１０２は、基準点計測部１０１により求められた画像座標を、原点を主点（レンズ中心を通り画面と直交する線が画像と交わる点）とする写真座標に変換するとともに、基準点計測部１０１により求められた基準点の画像座標と３次元座標とに基づき、写真座標と３次元座標との対応付けを行う変換パラメータを求める。また、座標変換パラメータ算出部１０２は、後述のように、中心投影について共線条件を満足させ、画面距離が既知の画像入力部を使用することにより、地上座標系が既知である最低３点の基準点に基づいて変換パラメータを計算することができる。また、座標変換パラメータ算出部１０２は、画像入力部のレンズ歪みデータ又は複数の基準点の実測データに基づいて、レンズ歪みを補正することができる。
【００１５】
オルソ画像形成部１０３は、座標変換パラメータ算出部１０２により求められた変換パラメータに基づき、３次元座標を画像座標に変換し、正射投影画像を作成する。オルソ画像形成部１０３は、複数の画像を貼り合わせて正射投影画像を形成する場合、各画像から基準点までの距離又は各画像から計測点までの距離に基づいて得られた各画像を選択することができる。
【００１６】
オルソ画像修正部１０４は、実測した追加点の３次元座標に基づき、オルソ画像形成部１０３により求められた画像座標を修正し、正射投影画像の修正を行う。また、オルソ画像修正部１０４は、複数の中心投影画像が得られている場合に、適宜の基準で選択した画像、例えば、各箇所の縮尺が所定の縮尺以下若しくは縮尺の比較的小さい画像、又は、計測位置若しくは基準点に近い画像を、優先的に組み合わせて正射投影画像を形成することができる。オルソ画像修正部１０４は、複数の中心投影画像が得られている場合に、オルソ画像形成部１０３により正射投影画像を形成した結果、画像の不足箇所又は不適切箇所を表示部５に表示させることもできる。
【００１７】
追加画像計測部１０５は、基準点計測部１０１により計測された基準点を含むように、他の中心投影画像を計測するとともに、座標変換パラメータ算出部１０２を用いて他の中心投影画像についての変換パラメータを計算する。
【００１８】
つぎに、全体的な動作概略を説明する。
図２に、本発明に係る画像形成処理のフローチャートを示す。以下に、この図に従って、制御部１０における画像形成処理について説明する。
【００１９】
図２の処理は、現場で行うオンライン処理と、基準点計測だけ現場で行い、あとは持ち帰ってオフィス等で行うオフライン処理の２通りがある。オンライン処理では、オフライン処理と異なり、基準点計測とその後の画像形成及び表示等を、現場で実行するものである。
【００２０】
画像形成処理では、まず、基準点計測処理（３点以上）（ステップＳ１１０）を行い、それらの画像データと測量データをもとにオルソ画像作成の準備を行う。さらに複数方向から撮影を行っている場合は、追加画像計測処理（ステップＳ１４０）を行う。１枚のみで解析を行う場合は、追加画像計測（ステップＳ１４０）を行う必要はない。つぎに、例えばＰＣ上で、オルソ画像形成処理（ステップＳ１６０）を行う。ここで作成されたオルソ画像が所望のものでない場合は、オルソ画像修正処理（ステップＳ１８０）を行う。このオルソ画像修正作業で、充分な画像が得られたか否かを判断し（ステップＳ２００）、「ＯＫ」となれば、次の計測したいエリアへ移動し、基準点計測処理（ステップＳ１１０）から同じ作業を繰り返す。一方、オルソ画像修正作業（ステップＳ１８０）でも満足のいく画像が得られない場合は、追加画像計測処理（ステップＳ１４０）を再び行い、これら作業を満足のいく画像が得られるまで繰り返す。
【００２１】
追加画像計測処理（ステップＳ１４０）は、例えば、１方向からの撮影であるとよくみえない箇所がある場合や、１枚の画像上でも遠い部分は画像が粗くなり精度が充分でない場合等に行なわれる。すなわち、既に入力された画像を補う他方向や、不足と思われる他方向からさらに撮影し、オルソ画像作成を行なえば、見えないところや精度の粗い場所は、他方向のカメラ画像から選択・合成し、品質の良いオルソ画像が作成できるようになる。
【００２２】
また、図３に、広範囲を計測する場合の説明図を示す。計測したい範囲が広範囲な場合は、必要精度にあわせて計測範囲を決め、図２の作業を、図３の計測範囲１、２、３・・・と各エリアで順次繰り返していけばよい。なお、必要精度は、例えば、対象物との距離、ＣＣＤ１画素の大きさ等に依存する。このように、広い範囲を分割して処理することで、どんなに広い範囲でも簡単にオルソ画像を作成していくことができる。
【００２３】
Ｂ．処理動作の詳細
以下に、図２のフローチャートについて詳細に説明する。
【００２４】
（１）基準点計測部１０１による基準点計測処理（ステップＳ１１０）
ここでは、基準点計測部１０１による基準点計測処理（ステップＳ１１０）について詳細に説明する。
【００２５】
（１−１）オンライン計測
まず、オンライン計測の例について説明する。図４に、オンラインによる基準点計測のフローチャートを示す。作業現場のフィールド上でオルソ画像作成を行うオンラインによる基準点計測は、現場にてオルソ画像をリアルタイムで作成し、確認しながら作業を行うものである。したがって、オンライン基準点計測によると、計測ミスや撮影画像を持ち帰って解析してから不足部分に気づいた場合のように、現地にて再測するなどの効率的でない作業を未然に防ぐことができる。
【００２６】
最初に、計測したい範囲に最低基準点３点を設置する（ステップＳ１１２）。また、基準点は、画像上で見分けがつくようなもので、かつ測量機等（３次元座標入力部７）で計測可能なターゲットとすると良い。基準点は、例えば、プリズムや反射ターゲットを用いたり、又は、ノンプリズムトータルステーションの場合には反射（測定）信号が返ってくるようなものを用いることができる。つぎに、デジタルカメラ等（画像入力部４）で撮影する（ステップＳ１１４）。撮影は、１枚でも、複数方向からでも何枚撮影してもよい。例えば、１方向からではよくみえないものがあるときや、画像の精度を考慮するとき等、複数方向からさらに撮影するとよい。
【００２７】
つぎに、デジタルカメラで撮影しカメラの記憶装置に記憶された画像を、画像形成装置の制御部１０に転送し、記憶部２に読み込む（ステップＳ１１６）。制御部１０に読み込まれた画像は、ＰＣ上で計測可能な状態になり、撮影された画像が表示部５に表示される。ここでターゲットを測量機で視準し（ステップＳ１１８）、確認する。ＯＫであれば、ＰＣの画像上でターゲットである基準点を計測する（ステップＳ１２０）。この際、例えば、ターゲット（基準点）位置を、入出力部６の入力デバイスであるペンなどで指示する。ここで、ＰＣ上で画像座標（ｐｘ、ｐｙ）（ＣＣＤ座標系、原点を画面の左上端等の画面端とする。）が計測されると、３次元座標入力部７に計測の指示を出力し、３次元座標入力部７は計測を行い（ステップＳ１２２）、その基準点の地上座標計測値を入出力Ｉ／Ｆ３を介して制御部１０及び記憶部２に送る（ステップＳ１２４）。このようにして、基準点の地上座標とＰＣ上の画像座標の対応付けと計測が行われた。ここで、この作業を最低３点について繰り返す（ステップＳ１２６）。
【００２８】
以下に、基準点計測部１０１による自動基準点計測について説明する。
【００２９】
図５に、基準点計測部により基準点を自動計測する場合のフローチャートを示す。また、図６に、基準点配置の一例の説明図を示す。
【００３０】
まず、反射シートのついた基準点を設置する（ステップＳ５０１）。反射シートを取り付ければ、画像による自動計測と同時に、通常のトータルステーションやノンプリ型のトータルステーション等による計測作業が容易になる。基準点は、どの方向からも見えるようなターゲットとし、例えば、三角錐や三角柱の頂点に取り付けることができる。また、基準点が３点であれば、例えば、図に示すような配置とし、あきらかに大きさの異なるものを１つ設定しておくと良い。つぎに、一例として、ストロボをたいて撮影する（ステップＳ５０３）。こうすることで、どのような状況でも確実に検出が可能となる。そして、パソコンに撮影画像を読み込む（ステップＳ５０５）。つぎに、測量機により基準点の３次元座標を計測する（ステップＳ５０７）。一番大きい反射シートをつけた基準点を計測する際には、属性として測量機からその情報を同時に制御部１０に転送する。
【００３１】
つぎに、テンプレートマッチングにより、画像上の画像座標を検出する（ステップＳ５０９）。例えば、反射シートから返ってくる光量は、輝度の高いものであり、また、その形状から、あらかじめテンプレートとしてそれらを登録しておけば、位置検出は容易になる。また、テンプレートは、この例では大小２種類とすることができる。つぎに、以上により位置検出した基準点の画像座標と３次元座標の点と対応づけを行なう（ステップＳ５１１）。例えば、図のように３点の配置を行い、１点だけ大きくしておけば、画像上での大きい基準点はテンプレートにより識別可能となり、また、３次元座標計測した属性より対応づけがなされる。他の２点に対しては、その３次元座標位置と画像座標位置から、どの向きから撮影したものであっても対応づけが可能となる。
【００３２】
位置検出の信頼性をさらに上げたければ、同じ撮影場所について、ストロボをたいた画像とたかない画像を２枚撮影し、これら画像を差分処理すれば、ターゲットだけ浮かび上がることとなり、マッチングによる自動座標位置検出は、一層確実で、信頼のおけるものとなる。こうすることで、どのような状況でも確実に検出が可能となる。
【００３３】
以上、大小の反射シートによる説明を行なったが、これら反射シートに色をつけたり、模様をつけたりすること等によっても画像座標検出や対応づけがなされる。また、反射シートに限らず、画像上で見分けのつくものなら良い。したがって、基準点の数、配置、形状、その他はこの限りではない。
【００３４】
ここで、以下に、テンプレートマッチング処理の説明をする。
【００３５】
テンプレートマッチングは、正規化相関法や残差逐次検定法（ＳＳＤＡ法）などどのような適宜の方法を用いても良い。例えば、残差逐次検定法を使用すれば、処理が高速化できる。ここでは、残差逐次検定法を説明する。
【００３６】
残差逐次検定法の式を以下に示す。この式で、残差Ｒ（a,b）が最小になる点が、求める画像の位置である。処理の高速化をはかるためには、例えば、この式の加算において、R（a,b）の値が過去の残差の最小値を越えたら加算を打ち切り、次の（a,b）に移るよう計算処理を行う。
【００３７】
【数１】

【００３８】
（１−２）座標変換パラメータ算出部１０２による座標変換パラメータ算出処理（ステップＳ３００）
以上の基準点についての計測が、これでＯＫであれば、次の座標変換パラメータ算出部１０２による座標変換パラメータ算出処理（ステップＳ３００）を行う。
【００３９】
図７に、座標変換パラメータ算出処理のフローチャートを示す。
【００４０】
まず、ＰＣ上で計測された点は、デジタルカメラ等の固体撮像素子（ＣＣＤ）上に画像座標として求められているので、これを写真座標系（ｘ、ｙ）に変換する（ステップＳ２０３）。写真座標系（ｘ、ｙ）とは、原点を主点とする２次元座標である。一方、画像座標とは、ＣＣＤ座標系（ｐｘ、ｐｙ）であり、例えば左上を原点として２次元座標である。
【００４１】
測量機による計測により地上座標系（Ｘ、Ｙ、Ｚ）で計測した３点と、ＰＣ上で計測した画像座標系（ｘ、ｙ）の２点を以下に示す式に代入し、座標変換のための各パラメータ（座標変換パラメータ）を求める（ステップＳ２０５）。数式２及び数式３は、投影中心、ＣＣＤ上の画像および対象物が一直線にあるという共線条件式である。これらにより、最低３点以上の既知点があれば、各座標変換パラメータを算出することができる。但し、この場合は、画面距離ｃは、概略既知である必要がある。検定済みのカメラを使用する場合は、画面距離ｃがわかるので問題ない。
【００４２】
【数２】

【００４３】
【数３】

【００４４】
一方、画面距離ｃが既知でない場合は、平面の４点の座標値を計測することによって、２次の射影関係からこの値を求めることが可能となる。また、６点により画像座標と被写体の３次元座標（対象点座標）との関係を３次の射影変換式で近似したもので求めることもできる。この場合は、例えば、直接線形変換法（Direct Linier Transformation,ＤＬＴ）法を利用して、基準点などから得られた地上座標（Ｘ、Ｙ、Ｚ）と画像上で計測されて得られた写真座標（ｘ、ｙ）との変換パラメータを計算する。ここで、ＤＬＴ法とは、極端に斜め撮影された画像であっても、正射投影画像に変換することのできる画像変換方法である。ＤＬＴ法は、画像座標と被写体の３次元座標（地上座標、対象点座標）との関係を３次又は２次の射影変換式で近似したものである。
【００４５】
以下に、ＤＬＴ法について説明する。これはオルソ画像上のピクセル位置を求めるための変換パラメータを算出する処理である。ここでは、主に、基準点・標定点の既知の座標及び計測された画像（写真）座標に基づいて処理が行われる。
【００４６】
まず、次式にＤＬＴ法の基本式を示す。
【００４７】
【数４】

ここで、（ｘ、ｙ）：画像座標、
（Ｘ、Ｙ、Ｚ）：地上座標、
Ｌ_１〜Ｌ_１１：ＤＬＴ法の未知変量。
【００４８】
これらのような数式４を、基準点のデータに基づき最小二乗法を用いて解くと、画像座標（ｘ、ｙ）と地上座標（Ｘ、Ｙ、Ｚ）との関係を決定する座標変換パラメータＬ_１〜Ｌ_１１を取得することができる。
【００４９】
さらに、これら座標変換式は、上述のものだけでなく、地上座標と画像座標を対応づけできるものであれば良く、そのような適宜の座標変換式を採用することができる。
【００５０】
（１−３）カメラキャリブレーション
以上の説明は、レンズ歪みを無視できる精度の計測、あるいは無歪みレンズを利用した場合であるが、レンズ歪みがあり、それが精度上無視できない場合は、レンズ歪みが求められているカメラを使うか、次に述べるような処理によってレンズ歪みを補正しながら計測を行なう。
【００５１】
すなわち、レンズの歪みデータのないカメラを利用する場合は、基準点計測を６点以上行い、以下の数式５乃至７の計算によりカメラのレンズ歪みを求めることで、レンズ歪みを補正する。また、あらかじめレンズ歪みが求まっているカメラは、最初からこれら式を用いて補正しながら座標値を求めればよい。
【００５２】
【数５】

【００５３】
【数６】

【００５４】
【数７】

これら計算は、基準点を地上座標と画像座標で６点以上計測することにより、逐次近似解法によって算出される。
【００５５】
また、上述の他にも、セルフキャリブレーション付き射影変換式（ＤＬＴ法）を用いて、数式８及び９により、レンズ歪み補正を求めることもできる。但し、この場合、基準点は８点必要となる。
【００５６】
【数８】

【００５７】
【数９】

【００５８】
このような数式を分母を払って、基準点のデータに基づき最小二乗法を用いて解くと、未知変量であるｋ_１、ｋ_２、ｘ_０、ｙ_０を解くことができる。
【００５９】
以上のように、これら数式によりレンズディストーションが求まり、レンズ歪み補正を兼ねた計測が可能となる。なお、これらの数式は、一例であり、他の数式によって計算しても良い。
【００６０】
つぎに、図４に戻り、以上の座標変換パラメータ算出処理（ステップＳ３００）が終了したら、変換されたパラメータを利用して、座標変換値と基準点との残差を求め、規定値以内かどうかを判定する（ステップＳ１２８）。ここで、規定値以内であれば、つぎの処理へ移る。一方、規定値に入らなかった場合は、ステップＳ１１８にもどり、計測点数を増しながら、ステップＳ１１８〜Ｓ１２８を規定値に入るまで行なう。
【００６１】
ここで、残差は、以下のように求めることができる。すなわち、数式２及び３（又は数式５及び６）により求められた変換パラメータと、基準点計測した画像座標（ｘ、ｙ）を、以下に示す数式１０、１１に代入し、地上座標系（Ｘ、Ｙ、Ｚ）の計算基準点Ｘ’、Ｙ’を算出する。そして、実際に計測された地上座標値（Ｘ、Ｙ）との残差を、数式１２によって求める。このようにして求められた残差δが、規定値以内であれば、ＯＫとする。規定値は、例えば実際の現場における必要精度等を設定する。なお、ここに、ｎは基準点数である。なお、残差の式はこれらに限られず、他のものを用いても良い。
【００６２】
【数１０】

【００６３】
【数１１】

【００６４】
【数１２】

【００６５】
（２）追加画像計測部１０５による追加画像計測処理（ステップＳ１４０）
つぎに、追加画像計測処理（ステップＳ１４０）の詳細を説明する。図８に、追加画像計測フローチャートを示す。撮影する画像が、１枚でよい場合、あるいはとりあえず１枚だけで画像作成する場合は、この処理はスキップしてよい。また、最初にステップＳ１１４、Ｓ１１６において、複数枚画像を撮影している場合は、撮影ステップ（ステップＳ１４２）及びＰＣ上への画像読みこみステップ（ステップＳ１４４）はスキップしてもよい。
【００６６】
追加画像の撮影は、基準点計測処理（ステップＳ１１０）における基準点設置（ステップＳ１１２）により設置した基準点を、全部含むように行なう。つぎに、ＰＣ上に画像を読み込み（ステップＳ１４４）、追加撮影した画像を表示部５に表示し、計測したい追加画像を選択する（ステップＳ１４６）。つぎに、その画像上に写しこまれている基準点を、ＰＣ上で画像計測する（ステップＳ１４８）。この作業を基準点数分繰り返す（ステップＳ１５０）。例えば、ペン入力タイプ等のポータブルコンピュータであれば、ターゲットをペン等のポインティングデバイスで基準点を指示することで、その画像座標（ｐｘ、ｐｙ）（又は、写真座標（ｘ、ｙ））を求める。そして、上述のような座標変換パラメータ算出処理（ステップＳ３００）を行なう。
【００６７】
さらに、ここで他の画像を追加計測したいときは、追加画像選択（ステップＳ１４６）に戻り、この手順を撮影枚数分繰り返して行う。追加計測しないときは、次のステップへ進んでオルソ画像形成（ステップＳ１６０）を行なう。
【００６８】
（３）オルソ画像形成部１０３によるオルソ画像形成処理（ステップＳ１６０）つぎに、オルソ画像形成処理（ステップＳ１６０）の詳細について説明する。図９に、オルソ画像形成処理のフローチャートを示す。
【００６９】
まず、オルソ画像上の各画素（ピクセル）の地上座標を計算する（ステップＳ２０７）。この処理では、オルソ画像作成のために、オルソ画像の画像座標（ｘ、ｙ）を地上座標（Ｘ、Ｙ、Ｚ）に変換するものである。地上座標（Ｘ、Ｙ、Ｚ）は、先に座標変換パラメータ算出処理（ステップＳ３００）のステップＳ２０５で求められた変換パラメータを用いて計算される。即ち、オルソ画像の画像座標（ｘ、ｙ）に対応する地上座標（Ｘ、Ｙ、Ｚ）は、以下の式で与えられる。このようにして、オルソ画像上の各ピクセルの取得位置を求めることができる。
【００７０】
【数１３】

ここで、
（Ｘ_０、Ｙ_０）：地上座標系でのオルソ画像の左上の位置、
（ΔＸ、ΔＹ）：地上座標系での１画素の大きさ（例：ｍ／ｐｉｘｅｌ）、
（ｘ、ｙ）：オルソ画像の画像座標、
（Ｘ、Ｙ、Ｚ）：地上画像、
ａ、ｂ、ｃ、ｄ：ある画像座標（ｘ、ｙ）を内挿する複数の基準点により形成される平面方程式の係数である。
【００７１】
今度は、ステップＳ２０５で求めた変換パラメータを使用して、数式２及び３又は数式５及び６により、ステップＳ２０７で求められた地上座標（Ｘ、Ｙ、Ｚ）に対応する画像座標（ｘ、ｙ）を計算する（ステップＳ２０９）。このように求められた画像座標（ｘ、ｙ）から、該当する画像の地上座標（Ｘ、Ｙ、Ｚ）上の濃度値を取得する。この濃度値が、オルソ画像上における２次元の位置（Ｘ、Ｙ）のピクセルの濃度である。このように、地上座標上の位置（Ｘ、Ｙ）に貼り付ける画像濃度を取得する。以上のような処理を、オルソ画像のすべてのピクセルに対して行うことにより、画像貼付が行なわれる（ステップＳ２１１）。
【００７２】
ここで、複数枚の画像貼付についてさらに説明する。
画像が１枚でなく、複数枚であった場合は、どの画像を選択するかは、基準点とカメラの位置関係によりきめる。すなわち、それぞれの画像の各カメラの位置（Ｘ_０、Ｙ_０、Ｚ_０）は、数式２及び３により既に算出されている。従って、この値と実際の基準点座標の値（Ｘ、Ｙ、Ｚ）から距離を算出し、近い方の画像のピクセル濃度値を取得して、貼り合わせる。このように、基準点に近い画像を使って画像合成を行なうことにより、解像力の高い画像データを自動的に選択することが可能となる。
【００７３】
（４）オルソ画像修正部１０４によるオルソ画像修正処理（ステップＳ１８０）つぎに、オルソ画像修正処理（ステップＳ１８０）の詳細について説明する。図１０に、オルソ画像修正処理のフローチャートを示す。
【００７４】
オルソ画像形成処理（ステップＳ１６０）を行い、作成されたオルソ画像上で視覚的、あるいは後述の処理によりチェックし、計測ミス及び計測データが特に必要な部分があった場合は、それら部分について測量機で計測を行う（ステップＳ１８４）。計測した３次元座標（地上座標）は、測量機から制御部１０に転送され（ステップＳ１８８）、先に説明したオルソ画像形成処理（ステップＳ１６０）を自動的に行い、表示部５により即座にオルソ画像表示を行い、再度チェックする。
【００７５】
このようにすることで、１点１点計測しかつ修正画像をリアルタイムで確認しながら処理が行えるので、計測ミスや計測忘れ等を未然に防ぐことが可能となり、常に最終成果品となる画像を確認しながら計測を行なえることになる。
【００７６】
つぎに、作成されたオルソ画像から、基準点不足部分や不適切個所を抽出、修正する方法を説明するフローを示す。
【００７７】
図１１に、基準点不足個所又は画像不適切個所表示についてのフローチャートを示す。また、図１２に、基準点不足領域又は画像不適切領域の一例の説明図を示す。
【００７８】
最初に、基準点不足個所表示の処理を実行する。まず、１枚〜複数枚から作成されたオルソ画像を表示する（ステップＳ６０１）。つぎに、計測領域で確認したい範囲を指定する（ステップＳ６０３）。ここで、基準点配置適切領域内に基準点が入っているかどうかチェックし表示する（ステップＳ６０５）。例えば、基準点６点であった場合、図１２のようになる。基準点配置チェックは、基準点適切範囲を計測基準点数によりオルソ画像上で分割し、基準点の座標をチェックし、区画内に基準点があるかないか判定し表示する。あるいは、計算せずとも図１２のように基準点適切範囲枠（この例では、領域を６分割）を表示する。但し、基準点適切範囲を決める方法はこの限りではない。
【００７９】
引き続き、画像不適切個所表示の処理を実行する。まず、隣接基準点の間隔と高低差を計算する（ステップＳ６０７）。ここで、計算値（例えば、高低差）がしきい値以上の点は、その旨の表示を行なう（ステップＳ６０９）。しきい値は、例えば、基準点数、基準点の間隔と高低差から急激に変化している点を検出できるよう、画像縮尺から算出する。
【００８０】
つぎに、上述のように、オルソ画像修正処理（ステップＳ１８０）にて、基準点不足部分ならびにしきい値以上の点近傍を測量機で計測、画像修正を行なう。もし、これら手順でも満足いかない場合は、これら表示された画像の情報をもとに、追加画像計測を行なうようにしても良い。
【００８１】
以上のような計測及び処理により、オルソ画像の基準点不足個所や不適切部分を修正することができる。
【００８２】
つぎに、作成されたオルソ画像から、不足部分や不適切個所を抽出、表示する方法を説明する。ここでは、画像解像度から不足・不適切個所を指示する方法について説明する。
【００８３】
図１３に、画像の不足個所又は不適切個所表示についてのフローチャートを示す。また、図１４に、画像の不足個所又は不適切個所表示の説明図を示す。なお、必要計測精度は、対象物によって異なるので、対象にあわせた設定を行なっておく。
【００８４】
まず、１枚〜複数枚から作成されたオルソ画像を表示する（ステップＳ７０１）。ここでは、撮影位置Ａ及びＢから撮影された場合を想定する。つぎに、計測領域で確認したい範囲を指定する（ステップＳ７０３）。カメラ位置（Ｘ_０、Ｙ_０、Ｚ_０）は、数式２、３より求まっているので、その位置から計測確認領域の１画素の精度を計算する（ステップＳ７０５）。なお、複数方向から撮影されている場合は、この計算を、各カメラについて算出する。つぎに、各カメラの画素精度が、設定された精度に満たない場所で、かつ重複する範囲をオルソ画像上に表示する（ステップＳ７０７）。そして、表示された場所の方向から追加画像計測する（ステップＳ７０９）。ここでは、追加画像撮影位置Ｃから追加画像を撮影する場合が示される。
【００８５】
このようにすれば、画像の不足個所や不適切個所の画素解像力（１画素精度）を補う画像が取得され、結果的に満足のいく画像を得ることができる。また、画素精度の判定は、例えば、中心投影画像をオルソ画像に変換する際の比率が大きくなるにつれ精度が低下し、画像の撮影点から画像として写り込んでいる対象物まで距離が遠くなるにつれて、精度が低下するというように行うことができる。
【００８６】
Ｃ．応用
【００８７】
（１）各種測量機の使用
つぎに、各種の測量機の使用と、それによる利点について説明する。
【００８８】
・例えば、ノンプリズム型のトータルステーションで修正作業を行えば、光（計測信号）が返ってくる対象物の場合は、対象物に向かって計測する作業だけでオルソ画像が随時更新されるので簡便に作業が済みかつ多数点が計測できるという卓越した効果がある。
・また、自動追尾型のトータルステーションで修正処理を行えば、不足計測領域をプリズムを持って歩くだけでより精度の高いオルソ画像が作成できるという卓越した効果がある。
・さらに電波の届くところであればＧＰＳをもって歩くだけでオルソ画像が更新され、誰でも簡単に補測しながらオルソ画像作成が行えるようになるという非常に優れた効果がある。
・また、高密度かつ高精度で失敗のないオルソ画像を得たい場合は、この計測したい範囲をオーバーラップするようステレオ撮影を行い、現場にて相互標定を行っておけばよい（特開平１０−１６３９）。こうすることにより、ステレオ画像から自動ステレオマッチングを行って高密度な３次元計測点を取得、オルソ画像形成部にてオルソ画像作成を行えば、高密度かつ精度のよいオルソ画像が取得可能となる。あるいは、形成された立体画像を見ながら、不足部分や不連続部分等を立体ディスプレイ上でマニュアル計測し、それらの計測点を合わせて、オルソ画像形成部にてオルソ画像作成を行なえば、失敗がなく精度が高いオルソ画像が取得される。
【００８９】
（２）広範囲領域の計測
さらに、広範囲の計測を行いたい場合は、図３に示した計測範囲１についての計測の終了後、次の計測範囲２、３・・・について、図２に示した画像形成処理のスタートから再び同じように始めればよい。この場合、計測範囲の境界は、特に意識する必要はない。あるいは、計測範囲１と計測範囲２等の隣接する範囲をわざとオーバーラップさせて、その領域に基準点を数点を入れれば、その分の測量機による基準点計測は省略することができ、それらの点の画像計測（ステップＳ１４８）さえ行なえば良いということになる。こうして、計測範囲１、２、・・・の画像と基準点とを利用して、オルソ画像作成を各領域で行なっていけば、計測範囲１、２、・・・が統合されたオルソ画像を容易に作成することができる。以上のようにして、順次計測領域を拡大していくことが簡単にできる。
【００９０】
（３）オフライン計測
以上は、基準点計測処理（ステップＳ１１０）において、オンラインで基準点を計測する例であるが、つぎに、オフライン処理について説明する。図１５に、オフライン処理のフローチャートを示す。
【００９１】
オフライン処理の場合は、現地にて撮影と測量機による基準点計測とを行なうだけで、他はすべてオフライン（例えば、オフィス内等）で行なうものである。基準点計測処理（ステップＳ１１０）におけるオフライン計測は、例えば、画像撮影の作業と基準点計測の作業とを分けて別々に現場で行い、オフィス等でゆっくり解析作業をするときに利用する。この場合は、画像を複数取得しておいて、後で適宜の画像を選択しながらの画像形成処理が可能となる。
【００９２】
したがって、基準点計測は、測量機とＰＣを連動させず（即ち、ＰＣはなくともよい）、測量機だけで計測を行なう（ステップＳ１３２）。そして、計測した基準点データを一括してＰＣに送ればよい（ステップＳ１３６）。さらに、つぎに、追加画像計測処理（ステップＳ１４０）の処理を行うこととなる。このように、オフライン処理の場合は、基準点計測と撮影とを別々に行えるので、ヘリコプターやバルーン等の空撮で得られた画像を処理することが可能となる。
【００９３】
【発明の効果】
本発明によると、以上のように、計測現場の状況を図化する際に、寸法の反映された正射投影画像（オルソ画像）から簡単に現場を図化でき、状況を容易に把握することができる。本発明によると、計測現場において、迅速且つ簡単に、計測忘れやミスがなく画像の作成・修正ができ、現場状況の把握がその場ででき、画像図面（オルソ画像）を現地にてリアルタイムで確認しながら簡単に作成することができる。本発明によると、簡単な撮影と、測量機による数点の測量だけで、画像の補測を行うと同時に、現場状況を容易に把握可能な画像図面を得ることができ、さらに写っていない部分やわかりにくい部分を補間し、高解像度化され且つ広範囲なオルソ画像を作成することができる。
【００９４】
本発明によると、１枚の画像では、見えにくい所があったり、遠くの画像が粗くなる等のように、状況がわかりにくい場合であっても、複数枚の画像から状況を把握することができ、且つ、精度の高いオルソ画像を作成することができる。また、本発明によると、簡単な作業を繰り返すことにより複数枚の画像を統合し、広範囲なオルソ画像を取得することができる。本発明によると、さらに、隣接領域とオーバーラップした画像を複数撮影することにより、精度が高く品質の高いオルソ画像を高速に作成することができる。
【００９５】
また、本発明によると、簡単な計測でレンズ歪み補正（カメラキャリブレーション補正）を行なうと同時に、レンズ歪みデータの無いカメラでも高精度なオルソ画像を作成することができる。さらに、本発明によると、各種測量機を利用して３次元座標を計測しながらオルソ画像修正を行なえば、必要個所を必要な精度で、品質の良いオルソ画像が作成することができる。
【図面の簡単な説明】
【図１】本発明に係る画像形成装置の構成図。
【図２】本発明に係る画像形成処理のフローチャート。
【図３】広範囲を計測する場合の説明図。
【図４】オンラインによる基準点計測のフローチャート。
【図５】基準点計測部により基準点を自動計測する場合のフローチャート。
【図６】基準点配置の一例の説明図。
【図７】座標変換パラメータ算出処理のフローチャート。
【図８】追加画像計測フローチャート。
【図９】オルソ画像形成処理のフローチャート。
【図１０】オルソ画像修正処理のフローチャート。
【図１１】基準点不足個所又は画像不適切個所表示についてのフローチャート。
【図１２】基準点不足領域又は画像不適切領域の一例の説明図。
【図１３】画像の不足個所又は不適切個所表示についてのフローチャート。
【図１４】画像の不足個所又は不適切個所表示の説明図。
【図１５】オフライン処理のフローチャート。
【符号の説明】
１０制御部
２記憶部
３入出力インターフェース
４画像入力部
５表示部
６入出力部
７３次元座標入力部
１０１基準点計測部
１０２座標変換パラメータ算出部
１０３オルソ画像形成部
１０４オルソ画像修正部
１０５追加画像計測部
Ｓ１１０基準点計測処理
Ｓ１４０追加画像計測処理
Ｓ１６０オルソ画像形成処理
Ｓ１８０オルソ画像修正処理[0001]
[Industrial application fields]
The present invention relates to an image forming apparatus, and in particular, when creating a drawing at a measurement site, forms an orthographic projection image (ortho image) that fits on the drawing, that is, is superimposed with the dimensions correctly matched. The present invention relates to an image forming apparatus. The present invention enables an orthographic projection image to be easily created by anyone by pasting an ortho image on a drawing, and an orthographic projection image in which details of a measurement site can be created and corrected The present invention relates to a forming apparatus.
[0002]
[Prior art]
According to the prior art, a drawing obtained by surveying at a measurement site has been created with paper, a pencil, and the like as represented by flat plate surveying. In recent years, line drawings of measurement sites have been created by a combination of a surveying instrument represented by an electronic flat plate and a portable computer.
[0003]
[Problems to be solved by the invention]
However, as in the past, even if a drawing was created on the spot using an electronic flat plate or the like, the situation in the spot could not be fully grasped simply because it was represented by a line drawing. Therefore, the situation in the field was photographed with a camera, etc., but since the photographing was from an oblique direction, the required drawing was in the vertical direction (orthogonal projection), so the photographed image was directly linked to the drawing. Absent. Therefore, the operator has to compare both the drawing and the image to grasp the situation at the site, which is inconvenient and difficult to grasp the situation.
[0004]
Also, the range of images that can be taken with a single image is narrow, and even when multiple images are taken, each photo is not relevant or continuous, making it difficult to match each other and making it difficult and difficult to compare with drawings It was. In addition, when an ortho image with high accuracy is required, lens distortion of the camera becomes a problem. Conventionally, a camera without lens distortion data cannot create an ortho image with high accuracy.
[0005]
In view of the above points, the present invention can easily map a scene from an orthographic projection image (ortho image) in which dimensions are reflected when plotting the situation of a measurement spot. An object of the present invention is to provide an image forming apparatus. The present invention can quickly and easily create and modify images without forgetting or making mistakes at the measurement site, grasp the site situation on the spot, and confirm the image drawing (ortho image) in real time. While aiming to create easily. The present invention performs image supplementation by simple shooting and surveying with a few surveyors at the same time, and at the same time obtains an image drawing that makes it easy to grasp the on-site situation. The purpose is to interpolate a part and create a high-resolution and wide-range ortho image.
[0006]
The present invention makes it possible to grasp the situation from a plurality of images even when the situation is difficult to understand, such as when there is a place where it is difficult to see with one image or when a distant image becomes rough. An object is to create an ortho image with high accuracy. Another object of the present invention is to integrate a plurality of images by repeating simple operations and obtain a wide range of ortho images. Another object of the present invention is to create an ortho image with high accuracy and high quality at a high speed by capturing a plurality of images overlapping with adjacent regions.
[0007]
Another object of the present invention is to perform lens distortion correction (camera calibration correction) with simple measurement, and at the same time create a highly accurate ortho image even with a camera having no lens distortion data. It is another object of the present invention to create a high-quality ortho image at a required accuracy with necessary accuracy if ortho image correction is performed while measuring three-dimensional coordinates using various surveying instruments.
[0008]
[Means for Solving the Problems]
According to the solution of the present invention,
A reference point measurement unit that measures a central projection image in which a plurality of reference points are imprinted, and obtains image coordinates for the reference points;
A coordinate conversion parameter for obtaining a conversion parameter for associating the image coordinates with the three-dimensional coordinates based on the image coordinates of the reference points obtained by the reference point measurement unit and the three-dimensional coordinates of the reference points actually measured. A calculation unit;
An ortho-image forming unit that creates an orthographic projection image from the central projection image based on the conversion parameter obtained by the coordinate conversion parameter calculation unit,
An ortho image correcting unit that corrects the orthographic projection image by correcting the image coordinates obtained by the ortho image forming unit based on the actually measured three-dimensional coordinates of the additional points;
An image forming apparatus including the above is provided.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0010]
A. Outline and configuration of image forming apparatus
FIG. 1 is a configuration diagram of an image forming apparatus according to the present invention. The image forming apparatus includes a control unit 10, a storage unit 2, an input / output interface 3, a three-dimensional coordinate input unit 7, an image input unit 4, a display unit 5, and an input / output unit 6. Further, the control unit 10 includes a reference point measurement unit 101, a coordinate conversion parameter calculation unit 102, an ortho image formation unit 103, an ortho image correction unit 104, and an additional image measurement unit 105. Each of these units (functions) can be realized by a portable computer (PC), for example.
[0011]
The storage unit 2 stores reference point data in advance and image data and the like. The reference point data is stored as, for example, three-dimensional coordinates (X, Y, Z) called ground coordinates. The input / output interface 3 includes a common bus and connects various devices. The three-dimensional coordinate input unit 7 obtains three-dimensional coordinates such as a reference point and additional measurement points from various surveying instruments such as a global positioning system (GPS) and a total station and a three-dimensional coordinate measuring apparatus. The image input unit 4 obtains a two-dimensional or three-dimensional image such as a digital camera, a solid-state imaging device, or a charge coupled device (CCD). From the image input unit 4, a reference point is included and one or a plurality of images are input.
[0012]
The display unit 5 includes a CRT, a liquid crystal display, a plasma display, or the like, and performs two-dimensional or three-dimensional display. The display unit 5 displays an ortho image formed by the ortho image forming unit 103 or the ortho image correcting unit 104 of the control unit 10. The display unit 5 displays the reference point position input by the reference point measurement unit 101, the image added by the additional image measurement unit 105, and the like. The input / output unit 6 inputs / outputs various image data, determination results, or three-dimensional coordinate data from a three-dimensional coordinate input device such as a surveying instrument to / from other devices. The input / output unit 6 includes, for example, various input devices and output devices such as an optical disk device, a card-type storage medium (HDD, memory, etc.), a floppy disk, a keyboard, a pen, a mouse, a terminal, and a CD-ROM disk drive. be able to. The input / output unit 6 instructs a reference point and various positions on the screen of the display unit 5 with a pointing device such as a mouse or a light pen.
[0013]
The reference point measurement unit 101 measures a central projection image in which a plurality of reference points are imprinted, and obtains image coordinates for these reference points. The reference point measurement unit 101 measures the three-dimensional coordinates of the reference point based on the obtained coordinates by using a surveying instrument or a global positioning system that measures the distance and angle from a known point as the image input unit 4. The data is stored in the storage unit 2 as necessary. Depending on the reference point, the reference point measurement unit 101 may automatically obtain each image coordinate value projected on the center corresponding to each reference point obtained three-dimensional coordinates.
[0014]
The coordinate conversion parameter calculation unit 102 converts the image coordinates obtained by the reference point measurement unit 101 into photographic coordinates whose origin is a principal point (a point where a line passing through the center of the lens and perpendicular to the screen intersects the image), Based on the image coordinates and the three-dimensional coordinates of the reference point obtained by the reference point measurement unit 101, a conversion parameter for associating the photograph coordinates with the three-dimensional coordinates is obtained. Further, as will be described later, the coordinate conversion parameter calculation unit 102 satisfies the collinear condition for the center projection, and uses an image input unit with a known screen distance, so that at least three points whose ground coordinate system is known are used. Conversion parameters can be calculated based on the reference points. The coordinate conversion parameter calculation unit 102 can correct the lens distortion based on the lens distortion data of the image input unit or the actual measurement data of a plurality of reference points.
[0015]
The ortho image forming unit 103 converts the three-dimensional coordinates into image coordinates based on the conversion parameters obtained by the coordinate conversion parameter calculation unit 102, and creates an orthographic projection image. The ortho image forming unit 103 selects each image obtained based on the distance from each image to the reference point or the distance from each image to the measurement point when forming an orthographic projection image by pasting together a plurality of images. can do.
[0016]
The ortho image correcting unit 104 corrects the orthographic projection image by correcting the image coordinates obtained by the ortho image forming unit 103 based on the actually measured three-dimensional coordinates of the additional points. Further, the ortho image correction unit 104, when a plurality of center projection images are obtained, an image selected on the basis of an appropriate standard, for example, an image in which the scale of each part is below a predetermined scale or a relatively small scale, or The orthographic projection image can be formed by preferentially combining the images close to the measurement position or the reference point. The ortho image correcting unit 104 causes the display unit 5 to display an insufficient or inappropriate portion of the image as a result of forming the orthographic projection image by the ortho image forming unit 103 when a plurality of center projection images are obtained. You can also
[0017]
The additional image measurement unit 105 measures another central projection image so as to include the reference point measured by the reference point measurement unit 101, and converts the other central projection image using the coordinate conversion parameter calculation unit 102. Calculate the parameters.
[0018]
Next, an overall operation outline will be described.
FIG. 2 shows a flowchart of the image forming process according to the present invention. Hereinafter, the image forming process in the control unit 10 will be described with reference to FIG.
[0019]
The processing in FIG. 2 includes two types of processing: online processing performed at the site and offline processing performed only at the site for reference point measurement, and then taken back to the office or the like. In the online processing, unlike the offline processing, the reference point measurement and the subsequent image formation and display are performed on-site.
[0020]
In the image forming process, first, a reference point measurement process (three or more points) (step S110) is performed, and preparation for creating an ortho image is performed based on the image data and the survey data. Further, when photographing from a plurality of directions, additional image measurement processing (step S140) is performed. When the analysis is performed with only one sheet, it is not necessary to perform additional image measurement (step S140). Next, an ortho image forming process (step S160) is performed on a PC, for example. If the ortho image created here is not the desired one, an ortho image correction process (step S180) is performed. It is determined whether or not a sufficient image has been obtained by this ortho image correction work (step S200). If “OK”, the operation moves to the next area to be measured and the same from the reference point measurement process (step S110). Repeat the work. On the other hand, if a satisfactory image is not obtained even in the ortho image correction operation (step S180), the additional image measurement process (step S140) is performed again, and these operations are repeated until a satisfactory image is obtained.
[0021]
The additional image measurement process (step S140) is performed, for example, when there is a portion that cannot be clearly seen when shooting from one direction, or when the image is rough in a distant portion of one image and the accuracy is not sufficient. It is. In other words, if you shoot further from the other direction that supplements the already input image or another direction that seems to be insufficient, and create an ortho image, the invisible or rough place is selected and synthesized from the camera image in the other direction Then, it becomes possible to create a high-quality ortho image.
[0022]
FIG. 3 is an explanatory diagram for measuring a wide range. When the range to be measured is wide, the measurement range is determined according to the required accuracy, and the operation of FIG. 2 may be repeated sequentially in the measurement ranges 1, 2, 3,... The required accuracy depends on, for example, the distance to the object, the size of one CCD pixel, and the like. In this way, by dividing and processing a wide range, it is possible to easily create an ortho image in any wide range.
[0023]
B. Details of processing operation
Hereinafter, the flowchart of FIG. 2 will be described in detail.
[0024]
(1) Reference point measurement processing by the reference point measurement unit 101 (step S110)
Here, the reference point measurement process (step S110) by the reference point measurement unit 101 will be described in detail.
[0025]
(1-1) Online measurement
First, an example of online measurement will be described. FIG. 4 shows a flowchart of online reference point measurement. Online reference point measurement, which creates an ortho image on the field of a work site, creates an ortho image in real time and performs the work while checking it. Therefore, online reference point measurement can prevent inefficient work such as re-measurement at the site, such as when a measurement error or a photographed image is taken back and analyzed and a missing part is noticed. .
[0026]
First, three minimum reference points are set in a range to be measured (step S112). The reference point may be a target that can be distinguished on the image and can be measured by a surveying instrument or the like (three-dimensional coordinate input unit 7). As the reference point, for example, a prism or a reflection target can be used, or in the case of a non-prism total station, a reference (reflection) signal can be used. Next, an image is taken with a digital camera or the like (image input unit 4) (step S114). The number of shots may be one or any number from multiple directions. For example, when there are things that do not look well from one direction, or when considering the accuracy of the image, it is better to take more images from a plurality of directions.
[0027]
Next, the image taken by the digital camera and stored in the storage device of the camera is transferred to the control unit 10 of the image forming apparatus and read into the storage unit 2 (step S116). The image read into the control unit 10 becomes measurable on the PC, and the captured image is displayed on the display unit 5. Here, the target is collimated with a surveying instrument (step S118) and confirmed. If OK, the target reference point is measured on the PC image (step S120). At this time, for example, the target (reference point) position is indicated by a pen as an input device of the input / output unit 6. Here, when image coordinates (px, py) are measured on the PC (CCD coordinate system, the origin is the screen edge such as the upper left corner of the screen), a measurement instruction is output to the three-dimensional coordinate input unit 7. Then, the three-dimensional coordinate input unit 7 performs measurement (step S122), and sends the ground coordinate measurement value of the reference point to the control unit 10 and the storage unit 2 via the input / output I / F 3 (step S124). In this way, the ground coordinates of the reference point and the image coordinates on the PC are associated and measured. Here, this operation is repeated for at least three points (step S126).
[0028]
The automatic reference point measurement by the reference point measurement unit 101 will be described below.
[0029]
FIG. 5 shows a flowchart when the reference point is automatically measured by the reference point measurement unit. FIG. 6 illustrates an example of the reference point arrangement.
[0030]
First, a reference point with a reflective sheet is set (step S501). If a reflection sheet is attached, measurement work by a normal total station or a non-pre-type total station becomes easy at the same time as automatic measurement by an image. The reference point is a target that can be seen from any direction, and can be attached to the apex of a triangular pyramid or a triangular prism, for example. If there are three reference points, for example, an arrangement as shown in the figure may be used, and one having clearly different sizes may be set. Next, as an example, shooting is performed with a strobe (step S503). This makes it possible to reliably detect any situation. Then, the captured image is read into the personal computer (step S505). Next, the three-dimensional coordinates of the reference point are measured by the surveying instrument (step S507). When measuring the reference point with the largest reflective sheet, the information is simultaneously transferred from the surveying instrument to the control unit 10 as an attribute.
[0031]
Next, image coordinates on the image are detected by template matching (step S509). For example, the amount of light returned from the reflection sheet is high in luminance, and if the shape is registered in advance as a template based on its shape, position detection becomes easy. In this example, the template can be of two types, large and small. Next, the image coordinates of the reference points whose positions are detected as described above are associated with the three-dimensional coordinate points (step S511). For example, as shown in the figure, if three points are arranged and only one point is enlarged, a large reference point on the image can be identified by a template, and correspondence is made based on an attribute measured by three-dimensional coordinates. . The other two points can be associated with each other regardless of the direction taken from the three-dimensional coordinate position and the image coordinate position.
[0032]
If you want to further improve the reliability of position detection, take two images of the same shooting location with and without a strobe, and if these images are differentially processed, only the target will emerge, and automatic coordinates by matching Position detection is more reliable and reliable. This makes it possible to reliably detect any situation.
[0033]
Although the description has been made with respect to the large and small reflective sheets, the image coordinate detection and association can also be performed by adding colors or patterns to the reflective sheets. In addition to the reflective sheet, any material that can be distinguished on the image may be used. Therefore, the number, arrangement, shape, etc. of the reference points are not limited to this.
[0034]
Here, the template matching process will be described below.
[0035]
For template matching, any appropriate method such as a normalized correlation method or a residual sequential test method (SSDA method) may be used. For example, the use of the residual sequential test method can speed up the processing. Here, the residual sequential test method will be described.
[0036]
The formula of the residual sequential test method is shown below. In this equation, the point where the residual R (a, b) is minimized is the position of the image to be obtained. In order to speed up the processing, for example, in the addition of this expression, if the value of R (a, b) exceeds the minimum value of the residual in the past, the addition is aborted, and the next (a, b) is started. Perform the calculation process.
[0037]
[Expression 1]

[0038]
(1-2) Coordinate conversion parameter calculation processing by the coordinate conversion parameter calculation unit 102 (step S300)
If the above measurement for the reference point is OK, the coordinate conversion parameter calculation process (step S300) by the next coordinate conversion parameter calculation unit 102 is performed.
[0039]
FIG. 7 shows a flowchart of the coordinate conversion parameter calculation process.
[0040]
First, since the points measured on the PC are obtained as image coordinates on a solid-state imaging device (CCD) such as a digital camera, they are converted into a photographic coordinate system (x, y) (step S203). The photographic coordinate system (x, y) is a two-dimensional coordinate having the origin as the principal point. On the other hand, the image coordinates are a CCD coordinate system (px, py), and are two-dimensional coordinates with the upper left as an origin, for example.
[0041]
By substituting the three points measured in the ground coordinate system (X, Y, Z) by the surveying instrument and the two points of the image coordinate system (x, y) measured on the PC into the following formula, Each parameter (coordinate conversion parameter) is obtained (step S205).

Equations

2 and 3 are collinear conditions that the projection center, the image on the CCD, and the object are in a straight line. Thus, each coordinate conversion parameter can be calculated if there are at least three known points. However, in this case, the screen distance c needs to be roughly known. When using a verified camera, there is no problem because the screen distance c is known.
[0042]
[Expression 2]

[0043]
[Equation 3]

[0044]
On the other hand, when the screen distance c is not known, it is possible to obtain this value from the quadratic projection relationship by measuring the coordinate values of the four points on the plane. In addition, the relationship between the image coordinates and the three-dimensional coordinates (target point coordinates) of the subject can be obtained by approximating the relationship between the image coordinates and the subject using six points with a cubic projective transformation equation. In this case, for example, using the direct linear transformation (DLT) method, the ground coordinates (X, Y, Z) obtained from the reference point and the like and the photograph obtained by measurement on the image A conversion parameter with coordinates (x, y) is calculated. Here, the DLT method is an image conversion method that can convert an image taken extremely obliquely into an orthographic projection image. The DLT method approximates the relationship between the image coordinates and the three-dimensional coordinates of the subject (ground coordinates, target point coordinates) using a cubic or quadratic projective transformation formula.
[0045]
The DLT method will be described below. This is a process of calculating a conversion parameter for obtaining a pixel position on the ortho image. Here, the processing is mainly performed based on the known coordinates of the reference points and orientation points and the measured image (photograph) coordinates.
[0046]
First, the following formula shows the basic formula of the DLT method.
[0047]
[Expression 4]

Where (x, y): image coordinates,
(X, Y, Z): ground coordinates,
L ₁ ~ L ₁₁ : Unknown variable of DLT method.
[0048]
When Equation 4 like these is solved using the least square method based on the reference point data, a coordinate transformation parameter L that determines the relationship between the image coordinates (x, y) and the ground coordinates (X, Y, Z). ₁ ~ L ₁₁ Can be obtained.
[0049]
Furthermore, these coordinate conversion formulas are not limited to those described above, and any coordinate conversion formula can be adopted as long as it can associate the ground coordinates with the image coordinates.
[0050]
(1-3) Camera calibration
The above explanation is based on measurement with precision that can ignore lens distortion, or when using a non-distortion lens. If there is lens distortion and this cannot be ignored, use a camera that requires lens distortion. Or, measurement is performed while correcting lens distortion by the following process.
[0051]
That is, when a camera without lens distortion data is used, six or more reference point measurements are performed, and the lens distortion is corrected by calculating the lens distortion of the camera by the following equations 5 to 7. In addition, for a camera for which lens distortion has been obtained in advance, the coordinate value may be obtained while correcting using these equations from the beginning.
[0052]
[Equation 5]

[0053]
[Formula 6]

[0054]
[Expression 7]

These calculations are calculated by a successive approximation method by measuring six or more reference points in ground coordinates and image coordinates.
[0055]
In addition to the above, lens distortion correction can also be obtained by Equations 8 and 9 using a projective transformation equation with self-calibration (DLT method). However, in this case, 8 reference points are required.
[0056]
[Equation 8]

[0057]
[Equation 9]

[0058]
If such a mathematical formula is solved using the least square method based on the data of the reference point with the denominator, k is an unknown variable. ₁ , K ₂ , X ₀ , Y ₀ Can be solved.
[0059]
As described above, the lens distortion can be obtained by these mathematical expressions, and measurement that also serves as lens distortion correction can be performed. These mathematical expressions are examples, and may be calculated by other mathematical expressions.
[0060]
Next, returning to FIG. 4, when the above coordinate conversion parameter calculation process (step S300) is completed, a residual between the coordinate conversion value and the reference point is obtained using the converted parameter, and whether or not it is within a prescribed value. Is determined (step S128). If it is within the specified value, the process proceeds to the next process. On the other hand, if the specified value is not reached, the process returns to step S118, and steps S118 to S128 are performed until the specified value is reached while increasing the number of measurement points.
[0061]
Here, the residual can be obtained as follows. That is, the transformation parameters obtained by Equations 2 and 3 (or Equations 5 and 6) and the image coordinates (x, y) measured at the reference point are substituted into Equations 10 and 11 shown below, and the ground coordinate system (X , Y, Z) calculation reference points X ′, Y ′ are calculated. Then, a residual with the actually measured ground coordinate values (X, Y) is obtained by Expression 12. If the residual δ obtained in this way is within a specified value, it is determined as OK. For example, the required value is set to the required accuracy at the actual site. Here, n is the number of reference points. Note that the residual equation is not limited to these, and other equations may be used.
[0062]
[Expression 10]

[0063]
## EQU11 ##

[0064]
[Expression 12]

[0065]
(2) Additional image measurement processing by additional image measurement unit 105 (step S140)
Next, details of the additional image measurement process (step S140) will be described. FIG. 8 shows an additional image measurement flowchart. This process may be skipped when only one image is required or when only one image is to be created. When a plurality of images are first photographed in steps S114 and S116, the photographing step (step S142) and the image reading step on the PC (step S144) may be skipped.
[0066]
The additional image is photographed so as to include all the reference points set by the reference point setting (step S112) in the reference point measurement process (step S110). Next, the image is read on the PC (step S144), the additionally photographed image is displayed on the display unit 5, and the additional image to be measured is selected (step S146). Next, an image measurement is performed on the PC for the reference point imaged on the image (step S148). This operation is repeated for the number of reference points (step S150). For example, in the case of a portable computer such as a pen input type, the image coordinates (px, py) (or photographic coordinates (x, y)) are obtained by designating a reference point with a pointing device such as a pen. . Then, the coordinate conversion parameter calculation process (step S300) as described above is performed.
[0067]
Furthermore, when it is desired to additionally measure other images, the process returns to the additional image selection (step S146) and this procedure is repeated for the number of shots. When the additional measurement is not performed, the process proceeds to the next step and ortho image formation (step S160) is performed.
[0068]
(3) Orthoimage Forming Process by Orthoimage Forming Unit 103 (Step S160) Next, details of the orthoimage forming process (step S160) will be described. FIG. 9 shows a flowchart of the ortho image forming process.
[0069]
First, the ground coordinates of each pixel (pixel) on the ortho image are calculated (step S207). In this process, the image coordinates (x, y) of the ortho image are converted to the ground coordinates (X, Y, Z) in order to create the ortho image. The ground coordinates (X, Y, Z) are calculated using the conversion parameters previously obtained in step S205 of the coordinate conversion parameter calculation process (step S300). That is, the ground coordinates (X, Y, Z) corresponding to the image coordinates (x, y) of the ortho image are given by the following equations. In this way, the acquisition position of each pixel on the ortho image can be obtained.
[0070]
[Formula 13]

here,
(X ₀ , Y ₀ ): Upper left position of the ortho image in the ground coordinate system,
(ΔX, ΔY): the size of one pixel in the ground coordinate system (eg, m / pixel),
(X, y): image coordinates of the ortho image,
(X, Y, Z): ground image,
a, b, c, d: coefficients of a plane equation formed by a plurality of reference points for interpolating a certain image coordinate (x, y).
[0071]
This time, using the transformation parameters obtained in step S205, image coordinates (x, y) corresponding to the ground coordinates (X, Y, Z) obtained in step S207 according to

equations

2 and 3 or

equations

5 and 6 are used. ) Is calculated (step S209). From the image coordinates (x, y) thus determined, the density value on the ground coordinates (X, Y, Z) of the corresponding image is acquired. This density value is the density of the pixel at the two-dimensional position (X, Y) on the ortho image. In this manner, the image density to be pasted at the position (X, Y) on the ground coordinates is acquired. Image pasting is performed by performing the above processing on all the pixels of the ortho image (step S211).
[0072]
Here, the multiple image pasting will be further described.
When there are a plurality of images instead of one, which image to select is determined by the positional relationship between the reference point and the camera. That is, the position of each camera (X ₀ , Y ₀ , Z ₀ ) Has already been calculated by

Equations

2 and 3. Accordingly, the distance is calculated from this value and the actual reference point coordinate values (X, Y, Z), and the pixel density value of the closer image is acquired and pasted. As described above, by performing image composition using an image close to the reference point, it is possible to automatically select image data with high resolving power.
[0073]
(4) Orthoimage Correction Processing by Orthoimage Correction Unit 104 (Step S180) Next, details of the orthoimage correction processing (step S180) will be described. FIG. 10 shows a flowchart of the ortho image correction process.
[0074]
The ortho image forming process (step S160) is performed, and the generated ortho image is checked visually or by the process described later. If there are parts where measurement errors and measurement data are particularly necessary, the surveying instrument is used for those parts. Then, measurement is performed (step S184). The measured three-dimensional coordinates (ground coordinates) are transferred from the surveying instrument to the control unit 10 (step S188), and the ortho image forming process (step S160) described above is automatically performed, and the display unit 5 immediately performs the ortho image. Display the image and check again.
[0075]
In this way, it is possible to perform processing while measuring one point at a time and checking the corrected image in real time, so that it is possible to prevent measurement mistakes and forgetting measurement in advance, and an image that is always the final product is always obtained. Measurement can be performed while checking.
[0076]
Next, a flow for explaining a method for extracting and correcting a reference point deficient portion and an inappropriate portion from the created ortho image is shown.
[0077]
FIG. 11 shows a flowchart for displaying a reference point deficient location or an image inappropriate location display. FIG. 12 is an explanatory diagram showing an example of a reference point shortage region or an image inappropriate region.
[0078]
First, the reference point deficient location display process is executed. First, an ortho image created from one to a plurality of images is displayed (step S601). Next, a range to be confirmed in the measurement area is designated (step S603). Here, it is checked and displayed whether or not the reference point is within the reference point arrangement appropriate region (step S605). For example, when there are 6 reference points, it is as shown in FIG. In the reference point arrangement check, the appropriate reference point range is divided on the ortho image by the number of measurement reference points, the coordinates of the reference points are checked, and whether or not there is a reference point in the section is displayed. Alternatively, the reference point appropriate range frame (in this example, the area is divided into six) is displayed without calculation, as shown in FIG. However, the method for determining the reference point appropriate range is not limited to this.
[0079]
Subsequently, processing for displaying an inappropriate image portion is executed. First, the interval between adjacent reference points and the height difference are calculated (step S607). Here, when the calculated value (for example, the height difference) is equal to or greater than the threshold value, a message to that effect is displayed (step S609). The threshold value is calculated from the image scale so that, for example, the number of reference points, the interval between the reference points, and a point that changes rapidly can be detected.
[0080]
Next, as described above, in the ortho image correction process (step S180), the reference point deficient part and the vicinity of the point equal to or higher than the threshold value are measured and the image is corrected. If these procedures are not satisfactory, additional image measurement may be performed based on the information of the displayed images.
[0081]
Through the measurement and processing as described above, it is possible to correct the shortage of reference points and inappropriate portions of the ortho image.
[0082]
Next, a method for extracting and displaying a lacking portion or an inappropriate portion from the created ortho image will be described. Here, a method for instructing a shortage / inappropriate part from the image resolution will be described.
[0083]
FIG. 13 shows a flowchart for displaying a missing or inappropriate portion of an image. Further, FIG. 14 is an explanatory diagram for displaying a lacking part or an inappropriate part of the image. Note that the required measurement accuracy varies depending on the object, so a setting is made according to the object.
[0084]
First, an ortho image created from one to a plurality of images is displayed (step S701). Here, the case where it image | photographed from imaging | photography position A and B is assumed. Next, a range to be confirmed in the measurement area is designated (step S703). Camera position (X ₀ , Y ₀ , Z ₀ ) Is obtained from

Equations

2 and 3, the accuracy of one pixel in the measurement confirmation region is calculated from the position (step S705). Note that this calculation is performed for each camera when images are taken from a plurality of directions. Next, an overlapping range is displayed on the ortho image at a location where the pixel accuracy of each camera is less than the set accuracy (step S707). Then, an additional image is measured from the direction of the displayed location (step S709). Here, a case where an additional image is captured from the additional image capturing position C is shown.
[0085]
In this way, an image that compensates for the pixel resolving power (one-pixel accuracy) at an insufficient or inappropriate portion of the image is acquired, and as a result, a satisfactory image can be obtained. In addition, for example, the pixel accuracy is determined as the ratio when the center projection image is converted into the ortho image increases, and the accuracy decreases, and as the distance from the image capturing point to the object captured as the image increases. The accuracy can be reduced.
[0086]
C. application
[0087]
(1) Use of various surveying instruments
Next, the use of various surveying instruments and their advantages will be described.
[0088]
-For example, if correction work is performed at a non-prism type total station, if the object returns light (measurement signal), the ortho image will be updated from time to time simply by measuring toward the object, so it will be easy. There is an excellent effect that work is completed and a large number of points can be measured.
-In addition, if correction processing is performed with an automatic tracking type total station, there is an excellent effect that an ortho image with higher accuracy can be created simply by walking in the insufficient measurement area with a prism.
-If the radio wave reaches, the ortho image can be updated simply by walking with GPS, and anyone can easily create an ortho image while performing supplementary measurements.
In addition, when it is desired to obtain a high-density, high-accuracy ortho image without failure, it is only necessary to perform stereo shooting so that the range to be measured overlaps and to perform relative orientation on the spot (Japanese Patent Laid-Open No. 10-101). 1639). By doing this, automatic stereo matching is performed from a stereo image to acquire a high-density three-dimensional measurement point, and if an ortho-image is created in the ortho-image forming unit, a high-density and accurate ortho image can be acquired. . Or, while looking at the formed stereoscopic image, manually measure the missing part or discontinuous part on the stereoscopic display, match those measurement points, and create the ortho image at the ortho image forming unit, failure will occur An ortho image with high accuracy is obtained.
[0089]
(2) Wide area measurement
Further, when it is desired to perform measurement over a wide range, after the measurement for the measurement range 1 shown in FIG. 3 is completed, the next measurement ranges 2, 3,... Are again started from the start of the image forming process shown in FIG. You can start the same way. In this case, the boundary of the measurement range need not be particularly conscious. Alternatively, if the adjacent ranges such as the measurement range 1 and the measurement range 2 are intentionally overlapped, and several reference points are put in the region, the reference point measurement by the surveying instrument can be omitted. That is, it is only necessary to perform image measurement of the point (step S148). Thus, if an ortho image is created in each region using the images of the measurement ranges 1, 2,... And the reference point, an ortho image in which the measurement ranges 1, 2,. Can be easily created. As described above, the measurement area can be easily enlarged sequentially.
[0090]
(3) Offline measurement
The above is an example in which the reference point is measured online in the reference point measurement process (step S110). Next, the offline process will be described. FIG. 15 shows a flowchart of offline processing.
[0091]
In the case of offline processing, all that is performed offline (for example, in an office, etc.) is only performed by photographing at the site and measuring a reference point by a surveying instrument. The off-line measurement in the reference point measurement process (step S110) is performed, for example, when the image photographing work and the reference point measurement work are separately performed on-site and are performed slowly in an office or the like. In this case, it is possible to perform image forming processing while acquiring a plurality of images and selecting an appropriate image later.
[0092]
Therefore, in the reference point measurement, the surveying instrument and the PC are not linked (that is, the PC may not be provided), and the measurement is performed only by the surveying instrument (step S132). Then, the measured reference point data may be collectively sent to the PC (step S136). Next, an additional image measurement process (step S140) is performed. Thus, in the case of off-line processing, since the reference point measurement and photographing can be performed separately, it is possible to process an image obtained by aerial photography such as a helicopter or a balloon.
[0093]
【The invention's effect】
According to the present invention, as described above, when plotting the situation of the measurement site, the site can be easily plotted from the orthographic projection image (ortho image) reflecting the dimensions, and the situation can be easily grasped. Can do. According to the present invention, it is possible to create and modify images quickly and easily without forgetting or mistakes in the measurement site, and to grasp the on-site situation on the spot. Can be created easily while checking. According to the present invention, it is possible to obtain an image drawing that can easily grasp the on-site situation at the same time as performing supplementary image measurement by simple photographing and surveying by a few points by a surveying instrument, and a portion that is not shown It is possible to create a wide range of ortho images with high resolution by interpolating difficult to understand parts.
[0094]
According to the present invention, it is possible to grasp the situation from a plurality of images even if the situation is difficult to understand, such as when there is a place where it is difficult to see with one image or when a distant image becomes rough. And an ortho image with high accuracy can be created. In addition, according to the present invention, it is possible to integrate a plurality of images by repeating simple operations and obtain a wide range of ortho images. According to the present invention, it is possible to create an ortho image with high accuracy and high quality at a high speed by capturing a plurality of images overlapping with adjacent regions.
[0095]
Further, according to the present invention, it is possible to perform lens distortion correction (camera calibration correction) with simple measurement, and at the same time, it is possible to create a highly accurate ortho image even with a camera having no lens distortion data. Furthermore, according to the present invention, if an ortho image is corrected while measuring three-dimensional coordinates using various surveying instruments, a high-quality ortho image can be created with a required accuracy at a required location.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an image forming apparatus according to the present invention.
FIG. 2 is a flowchart of image forming processing according to the present invention.
FIG. 3 is an explanatory diagram for measuring a wide range.
FIG. 4 is a flowchart of online reference point measurement.
FIG. 5 is a flowchart when the reference point is automatically measured by the reference point measurement unit.
FIG. 6 is an explanatory diagram of an example of reference point arrangement.
FIG. 7 is a flowchart of a coordinate conversion parameter calculation process.
FIG. 8 is an additional image measurement flowchart.
FIG. 9 is a flowchart of an ortho image forming process.
FIG. 10 is a flowchart of an ortho image correction process.
FIG. 11 is a flowchart for displaying a reference point shortage portion or an image inappropriate portion.
FIG. 12 is an explanatory diagram of an example of a reference point shortage region or an image inappropriate region.
FIG. 13 is a flowchart for displaying a missing or inappropriate portion of an image.
FIG. 14 is an explanatory diagram of a display of a missing part or an improper part of an image.
FIG. 15 is a flowchart of offline processing.
[Explanation of symbols]
10 Control unit
2 storage unit
3 I / O interface
4 Image input section
5 display section
6 Input / output section
7 3D coordinate input section
101 Reference point measurement unit
102 Coordinate conversion parameter calculation unit
103 Ortho-image forming unit
104 Ortho image correction part
105 Additional image measurement unit
S110 Reference point measurement process
S140 Additional image measurement processing
S160 Orthoimage formation processing
S180 Ortho image correction processing

Claims

A reference point measurement unit that measures a central projection image in which a plurality of reference points are imprinted, and obtains image coordinates for the reference points;
Based on the image coordinates of the reference point obtained by the reference point measurement unit and the actually measured three-dimensional coordinates of the reference point, a conversion parameter for associating the image coordinates with the three-dimensional coordinates is obtained and measured. was when the three-dimensional coordinates of the additional points are added again, coordinates asking you to conversion parameters for performing correspondence between the image coordinates and the three-dimensional coordinates including the image coordinates and the three-dimensional coordinates of the reference points and additional points A conversion parameter calculation unit;
The ground coordinates of each pixel on the orthographic projection image are obtained, the image coordinates on the central projection image corresponding to the ground coordinates are calculated based on the transformation parameters obtained by the coordinate transformation parameter calculation unit, and the normal coordinates are obtained from the central projection image. An ortho image forming unit for creating a projection image;
Using the transformation parameter obtained by adding the measured three-dimensional coordinates of the additional point, the ortho image forming unit obtains the ground coordinates of each pixel on the orthographic projection image again, and the central projection image corresponding to the ground coordinates An image forming apparatus comprising: an ortho image correcting unit that corrects an orthographic projection image by calculating upper image coordinates.

The image forming apparatus according to claim 1.
While measuring the other central projection image so as to include the reference point measured by the reference point measurement unit, the coordinate conversion parameter calculation unit is used to calculate the coordinate conversion parameter for the measured other central projection image. An image forming apparatus, further comprising an additional image measurement unit for calculating.

The image forming apparatus according to claim 1, wherein
The image forming apparatus, wherein the measured reference point is measured by a surveying instrument that measures a distance and an angle from a known point, which is a three-dimensional coordinate input unit, or a global positioning system.

The image forming apparatus according to any one of claims 1 to 3,
The image forming apparatus according to claim 1, wherein the reference point measurement unit automatically obtains each image coordinate value of the central projection image corresponding to each reference point obtained three-dimensional coordinates.

The image forming apparatus according to claim 1,
The coordinate conversion parameter calculation unit satisfies the collinear condition for the center projection, and uses an image input unit with a known screen distance, thereby converting the conversion parameter based on the known three-dimensional coordinates of at least three reference points. An image forming apparatus characterized in that it can be calculated.

The image forming apparatus according to claim 1,
2. The image forming apparatus according to claim 1, wherein the coordinate conversion parameter calculation unit corrects the lens distortion based on lens distortion data of the image input unit or actual measurement data of a plurality of reference points.

The image forming apparatus according to claim 1,
When the ortho image forming unit forms an orthographic projection image by pasting together a plurality of images, each of the obtained images is obtained based on the distance from each image to the reference point or the distance from each image to the measurement point. An image forming apparatus comprising: selecting an image forming apparatus.

The image forming apparatus according to claim 1,
The ortho image correction unit preferentially selects an image whose scale is smaller than a predetermined scale or a relatively small scale, or an image close to a measurement position or a reference point, when a plurality of center projection images are obtained. Forming an orthographic projection image in combination with the image forming apparatus.

The image forming apparatus according to claim 1,
The ortho image correction unit is characterized in that when a plurality of center projection images are obtained, the ortho image projection unit forms an orthographic projection image, and as a result, displays an insufficient portion or an inappropriate portion of the image. Image forming apparatus.

The image forming apparatus according to claim 1,
When measuring a wide area, a reference point in the first measurement range and a reference point in the second measurement range are partially used in common, and an orthographic projection image is formed in each measurement range. An image forming apparatus.