JP2019100995A - 測量画像表示制御装置、測量画像表示制御方法および測量画像表示制御用プログラム - Google Patents

Abstract

【課題】複数の視点からの画像を合成したパノラマ画像とレーザースキャン点群とを合成した画像において、画像同士のずれ、および画像と点群画像のずれを判別し易くする。【解決手段】視点の異なる複数の静止画像を合成したパノラマ画像を作成するパノラマ画像作成部１０７と、前記パノラマ画像に特定の色を付与したレーザースキャン点群の表示を重ねる画像と点群画像の重畳部１０８と、前記レーザースキャン点群の表示を、前記レーザースキャン点群が視認でき、且つ、背景が透けて見える透過状態に調整する点群表示の透過状態調整部１１１とを備える測量画像表示制御装置１００。【選択図】図４

Description

本発明は、レーザースキャン点群の画像表示技術に関する。

全周カメラとレーザースキャナを車両に搭載し、走行しながら全周撮影とレーザースキャンを行い、画像とレーザースキャンデータを取得し、それにより三次元データを作成する技術が知られている。

この技術では、パノラマ合成画像が作成され、三次元モデル化のための各種の作業が行われる。測量用途の画像は、画像の歪みに対する要求が厳しいので、複眼構造の全周カメラが用いられる。複眼構造の全周カメラを用いた場合、パノラマ画像の作成に際して、視点が僅かにずれた画像を合成することになるので、画像のつながりの部分で像がぼやける問題が生じる。この問題に対応する技術については、例えば、特許文献１に記載されている。

特開２０１７―５８８４３号公報

特許文献１の技術では、パノラマ画像を投影するために設定される投影球の半径を調整することで、像がぼやける位置を移動させ、着目点の像のぼやけを解消している。

ところで、パノラマ画像とレーザースキャン点群とを重ねた画像は、三次元モデルの作成を行うに際して極めて有用であるが、写真画像に点群が重ねて表示されていると、上記画像のぼやけが視認し難くなる問題がある。

また、上記の像のぼやけと同じ要因により、撮影された画像（以下写真画像）と点群表示（以下点群画像）とが部分的にずれる問題が発生する。画像表示された点群は、目立ち易い様に色が付与されるが、背景の画像の色や濃淡、画像の細かさ等との関係で、上記点群の画像からのずれが見難い場合がある。

このような背景において、本発明は、複数の視点からの画像を合成したパノラマ画像とレーザースキャン点群とを重畳した（位置を合わせて重ね合わせた）画像において、画像同士のずれ、および画像と点群画像のずれを判別し易くする技術の提供を目的とする。

本発明は、視点の異なる複数の静止画像を合成したパノラマ画像を作成するパノラマ画像作成部と、前記パノラマ画像に特定の色を付与したレーザースキャン点群の表示を重ねる重畳部と、前記レーザースキャン点群の表示を、前記レーザースキャン点群が視認でき、且つ、背景が透けて見える透過状態に調整する点群表示の透過状態調整部とを備える測量画像表示制御装置である。本発明は、方法の発明およびプログラムの発明として把握することも可能である。

本発明において、前記特定の色を、レーザースキャン点の反射強度の違いおよびレーザースキャン点と重なる部分の画像の色の少なくとも一方を反映させた色に設定する色設定部を備える態様が挙げられる。本発明において、前記色設定部は、レーザースキャン点の特定の位置からの距離の違い、レーザースキャンの原点の違いの一または複数を反映させた色に設定する態様が挙げられる。

本発明において、前記パノラマ画像中の特定の位置における前記静止画像の解像度の調整を行う画像解像度調整部を備える態様が挙げられる。本発明において、前記パノラマ画像中の特定の位置における前記レーザースキャン点群の表示密度の調整を行う点群表示密度調整部を備える態様が挙げられる。本発明において、前記点群表示密度調整部は、反射強度が特定の範囲にあるスキャン点の隙間に、前記特定の範囲の反射強度を有する仮想のスキャン点を補完する処理を行う態様が挙げられる。

本発明によれば、複数の視点からの画像を合成したパノラマ画像とレーザースキャン点群とを重ねた画像において、画像同士のずれ、および画像と点群画像のずれを判別し易くする技術が得られる。

画像を合成してパノラマ画像を形成する原理を示す図である。 画像のずれが生じる原理を示す図である。 画像のずれが生じない条件を示す図である。 実施形態のブロック図である。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。 パノラマ画像の一例を示す図面代用写真である。 写真画像と点群画像を重畳したパノラマ画像の一例を示す図面代用写真である。 写真画像と点群画像を重畳したパノラマ画像の一例を示す図面代用写真である。 写真画像と点群画像を重畳したパノラマ画像の一例を示す図面代用写真である。 パノラマ画像の一例を示す図面代用写真である。

１．第１の実施形態
（画像のズレの要因、およびそれを解消する原理）
まず、視点が異なる複数の画像同士を合成した際に生じる問題について説明する。図１には、位置（視点）が異なる３つのカメラを用いて一部が重複する静止画像を３枚撮影し、それを投影球の内周面に投影してパノラマ画像を作成した場合が示されている。なお、通常全周カメラは、複眼構造であり、個別のカメラを複合化したものではないが、等価的には、複数のカメラを複合化したものとして捉えることができる。ここでは、話を分かり易くするために、３台のカメラの画像を合成してパノラマ画像を作成する場合の例を説明する。よって、原理は、複眼構造の全周カメラの場合も同じである。

図２には、視点Ｃ１の第１のカメラおよび視点Ｃ２の第２のカメラが点Ｐの位置を撮影した場合が示されている。ここで、視点Ｃ１とＣ２は、一致しておらず、パノラマ画像を作成する際の投影球の中心Ｃ０も視点Ｃ１およびＣ２と一致していない。この場合、第１のカメラの撮像画像中の点Ｐの画面位置がｐ１であり、第２のカメラの撮像画像中の点Ｐの画面位置がｐ２となる。

まず、２つのカメラの撮影画像を合成する場合を考える。この場合、投影球の面上にｐ１とｐ２を投影する。具体的には、Ｃ１とｐ１を結ぶ方向線を設定し、この方向線と投影球とが交わる点が投影球へのｐ１の投影位置Ｐ１となる。同様に、Ｃ２とｐ２を結ぶ方向線を設定し、この方向線と投影球とが交わる点が投影球へのｐ２の投影位置Ｐ２となる。

この場合、理想的には、得られるパノラマ画像上において、視点Ｃ０から見た点Ｐの画像が投影球面上の点Ｐ０の位置に見えなくてはならない。しかしながら、第１のカメラが写した画像に基づくパノラマ画像上では、点ＰがＰ１の位置に写り、第２のカメラが写した画像に基づくパノラマ画像上では、点ＰがＰ２の位置に写る。つまり、パノラマ画像上において、点Ｐは、正確な位置ではなく、更に２点にぶれて見える。

上記の現象に起因して、パノラマ画像上での画像のズレが発生する。また、視点の違いに起因する画面全体における歪みが発生する。図１４は、この現象が生じたパノラマ画像の一例を示す図面代用写真である。図１４の画像では、○印で囲まれた白線の部分でズレが生じている。このズレは、図２を用いて説明した本来点Ｐ０の位置に見える像がＰ１とＰ２の位置に見える現象に起因する。この現象は、視点Ｃ１，Ｃ２の位置が投影球の中心Ｃ０と一致しないことに原因がある。

図３は、上記のズレを解消する原理を示す概念図である。図３は、図２に示す状況において、投影球の半径Ｒを可変させた場合が示されている。ここで、Ｄ１,Ｄ２は、第１のカメラから撮影した画像に基づく投影点Ｐ１と第２のカメラから撮影した画像に基づく投影点Ｐ２との投影位置の差である。図３から判るように、投影球の半径Ｒを可変すると、投影位置の差Ｄの値は変化する。Ｄ１,Ｄ２は、画像のブレ幅と捉えることができる。

Ｒの変化に起因するＤの違いは、実際の画像上で確認できる。図１０は、図１４の場合と投影球の半径を変更した場合のパノラマ画像である。図１０では、図１４で生じた白線のブレが解消している。これは、投影半径Ｒを適切に選択することで、該当する白線の部分でＤ＝０としたことに起因する。なお、図１０では明らかでないが、対象までの距離がまちまちであるので、パノラマ画像の全ての位置でＤ＝０にはできず、パノラマ画像中のどこかで画像のズレやブレは生じる。

図３から、投影球の半径Ｒを投影球中心Ｃ０とＰとの間の距離ｒに一致させると、すなわちＲ＝ｒとすると、Ｄ＝０となることが判る。この場合、Ｐ１，Ｐ２，Ｐ０の位置が一致し、パノラマ画像における画像のズレは解消される。ここで、Ｒ＝ｒとするには、ｒを知る必要がある。なお、通常画像中でｒは一定でなく、画像中の場所によって異なるので、パノラマ画像の全体でＲ＝ｒとすることはできず、故にどこかで画像のズレが生じることが理解できる。

本実施形態では、ｒをレーザースキャンデータ（三次元点群データ）から取得する。手順としては、まず点Ｐの指定が行なわれる。次に、点Ｐに対応する三次元点群データから対応する三次元座標のデータが取得される。そして、投影球中心Ｃ０の位置データと点Ｐの三次元位置データとに基づき、ｒの距離が計算される。次いで、Ｒ＝ｒとなるようにＲを設定し、点Ｐに係る複数の画像の投影球面上での画像の合成（パノラマ画像の作成）を行う。以上の処理により、点Ｐの位置に限定されるが画像のズレが解消される。

（本実施形態の概要）
パノラマ画像における画像のズレの原因は、上記の通りであるが、パノラマ画像における写真画像と、当該パノラマ画像に投影したレーザースキャン点群の画像の間にもズレも生じる。これは、レーザースキャン点群は、計算により投影球中心を原点とした三次元座標データに変換可能であるが、画像は撮影視点が投影球中心と一致しないことに起因する。この画像とレーザースキャン点群のズレも、上述したＲの可変により解消できる。ただし、パノラマ画像の全体でズレは解消できず、ある部分で解消すれば、他の部分で生じる点は、写真画像同士の合成の場合と同じである。

パノラマ画像における上述した写真画像と点群画像のズレは、例えば図１１のパノラマ画像から視認できる。図１１は、図１４にスキャン点群の表示を重ねたものである。図１１には、手前の白線部分で、白線の白い線と白線からの反射点を示す赤いスキャン点（点群表示）とのズレが生じている。なお、図１１では、スキャンの反射強度に応じてスキャン点に色を付与している。

ところで、図１１のようにスキャン点（点群）の表示を強くした場合、図１４に示す写真画像間のズレが視認し難くなる。現に、図１４の白線部分のズレが図１１において視認し難くなっている。このように、写真画像間のズレと、画像と点群表示間のズレを同時に認識しようとすると、一方は見易いが他方が見難い問題が生じる。

この問題に対応するために、本実施形態では、点群表示を半透過状態で表示でき、更にその半透過の状態を可変できる機能を採用する。半透過状態というのは、重なった背後の写真画像が点群の表示を透かして点群と同時に見える状態のことをいう。図１１に点群表示の透過率が０％の場合、図１２に同透過率が６５％の場合、図１０に同透過率が８５％の場合が示されている。

（ハードウェアの構成）
図４には、実施形態のブロック図が示されている。図４には、画像処理装置１００、全周カメラ２００、レーザースキャナ３００および表示装置４００が示されている。画像処理装置１００は、コンピュータとして機能し、後述する機能部を有する。全周カメラ２００は、全方位撮影用多眼カメラであり、上方と周囲３６０°の撮影を行う。この例において、全周カメラ２００は、実質６台のカメラを備えている（６眼方式）。６台のカメラの内、５台のカメラは、水平方向に向けられ鉛直上方から見て等角な角度位置（７２°毎）に配置されている。また、残りの１台のカメラは、鉛直上方（仰角９０°）に向けられている。これら６台のカメラは、画角（撮影範囲）が一部重複するように設定されている。この６台のカメラから得られる静止画像を合成することでパノラマ画像が得られる。

全周カメラ２００において、各カメラの向きと位置の相対位置関係は予め調べられ、既知となっている。また、物理的な問題から、各カメラの視点（投影中心）の位置は一致していない。全周カメラについては、例えば、特開２０１２−２０４９８２号公報や特開２０１４−７１８６０号公報に記載されている。全周カメラ２００として市販品を用いることもできる。市販されている全周カメラとしては、Point Grey社製の商品名Ladybug3等がある。なお、全周カメラの代わりに回転機構を有するカメラを用いて撮影方向の違う複数の静止画像を得、この複数の静止画像を合成してパノラマ画像を得る形態も利用可能である。勿論、パノラマ画像は、全周画像に限定されず、特定の角度範囲におけるものであってもよい。全周カメラ２００から異なる方向を撮影した複数の静止画像の画像データは、画像処理装置１００に送られる。

６台のカメラは、特定のタイミングで同時に静止画像を撮影する。撮影は、特定の時間間隔でもって行なうことも可能である。例えば、時差をもって６台のカメラを順次動作させ、得られた画像を合成することで全周画像を得ることも可能である。また、動画を撮影する形態も可能である。動画を撮影する場合、動画を構成するフレーム画像（例えば、１秒間に３０枚撮影されるフレーム画像）が静止画像として取り扱われる。

レーザースキャナ３００は、対象物にレーザー光を照射し、その反射光を検出することで、対象物までの方向と距離を検出する。ここで、レーザースキャナ３００の外部標定要素（位置と向き）が既知であれば、レーザー光の反射点の絶対座標系での三次元座標が判る。また、レーザースキャナ３００の絶対位置が不明であっても、相対座標系における三次元点群位置データを得ることができる。レーザースキャナ３００は、レーザー照射部と反射光受光部を備えた光学部を回転させながら、周囲への測距用レーザー光の照射とその反射光の検出を行い、全周カメラ２００の撮影範囲と同じ範囲のレーザースキャンを行う。レーザースキャナについては、特開２００８―２６８００４号公報や２０１０−１５１６８２号公報に記載されている。

レーザースキャナ３００と全周カメラ２００の位置関係と向きの関係は予め取得されており、既知である。レーザースキャナ３００が取得する点群位置データの座標系は、絶対座標系であってもよし、相対座標系におけるものであってもよい。絶対座標系というのは、ＧＮＳＳ等を用いて測定した位置を記述する座標系である。相対座標系というのは、全周カメラ２００の機械中心やその他適当な位置を原点として記述されるローカル座標系である。

絶対座標系を用いるのであれば、ＧＮＳＳ等の手段により、全周カメラ２００とレーザースキャナ３００の位置情報を取得する。全周カメラ２００とレーザースキャナ３００の位置情報が取得できない環境では、全周カメラ２００の構造的な重心の位置等を原点とする相対座標を設定し、この相対座標を用いてレーザースキャナ３００と全周カメラ２００における位置と向きの関係、およびレーザースキャナ３００が取得する三次元点群位置データの記述を行なう。

表示装置４００は、液晶ディスプレイ等の画像表示装置である。表示装置４００として、タブレットやパーソナルコンピュータのディスプレイを利用することができる。表示装置４００には、画像処理装置１００で処理された画像のデータが送られ、その画像が表示される。

図４には、画像処理装置１００が備える各機能部が示されている。画像処理装置１００は、ＣＰＵ、電子メモリやハードディスク装置等の各種の記憶装置、各種の演算回路、インターフェース回路を備え、後述する機能を実行するコンピュータとしての機能を有している。

画像処理装置１００は、画像データ受付部１０１、指定受付部１０２、点群位置データ取得部１０３、三次元位置取得部１０４、距離算出部１０５、投影球設定部１０６、パノラマ画像作成部１０７、画像と点群画像の重畳部１０８、点群表示の透過状態調整部１０９、色設定部１１０、画像解像度調整部１１１、点群表示密度調整部１１２を備えている。この例では、パーソナルコンピュータを用いて画像処理装置１００が実現されている。すなわち、上述する各機能部を実現するためのアプリケーションソフトウェア（動作プログラム）をパーソナルコンピュータにインストールし、該ソフトウェアを起動することで、当該パーソナルコンピュータを画像処理装置１００として動作させている。

各機能部は、ソフトウェア的な構成（プログラムがＣＰＵによって実行されることで実現される構成）であってもよいし、専用の回路によって構成されていてもよい。また、ソフトウェア的に構成された機能部と、専用の回路によって構成された機能部が混在していてもよい。例えば、図示する各機能部は、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などのＰＬＤ（Programmable Logic Device）などの電子回路の１または複数の組み合わせにより構成することもできる。

以下、画像処理装置１００が備える各機能部について説明する。画像データ受付部１０１は、全周カメラ２００が撮影した静止画像の画像データを受け付ける。具体的には、全周カメラ２００が備える６台のカメラが撮影した静止画像の画像データが画像データ受付部１０１で受け付けられる。

指定受付部１０２は、パノラマ画像作成部１０７で形成した合成画像（パノラマ画像）における着目点の指定を受け付ける。例えば、重複する対象を撮影した２枚の静止画像を合成したパノラマ画像があり、そのパノラマ画像がＰＣ（パーソナルコンピュータ）の画面上に表示されている場合を考える。この場合、ユーザーは、当該ＰＣのＧＵＩ（グラフィカル・ユーザー・インターフェース）を操作して、画像のズレを低減する処理を行う点を着目点として指定する。例えば、カーソルを着目点に移動させ、そこで左クリックを行うことで、着目点を指定する。カーソルで指定された着目点の画面上における位置は、ＧＵＩの機能から取得できる。

点群位置データ取得部１０３は、レーザースキャナ３００が取得した点群位置データを取得し、画像処理装置１００内に取り込む。この例では、レーザースキャナ３００を用いて点群位置データを計測するが、ステレオ画像から点群位置データを得ることもできる。ステレオ画像を用いて点群位置データを得る技術に関しては、例えば特開２０１３−１８６８１６号公報に記載されている。

三次元位置取得部１０４は、指定受付部１０２で指定された点（着目点）の三次元位置を点群位置データに基づいて取得する。以下、この処理について説明する。着目点の三次元点群位置を取得するには、後述する画像と点群の重畳部１０８で得られたパノラマ画像と三次元点群位置データとを重畳した画像を利用する。まず、パノラマ画像と三次元点群位置データとを重畳した画像について説明する。

点群位置データは、各点（各スキャン点）の三次元座標が判るので、投影球の中心（図２、図３のＣ０）を決めれば、そこから各点への方向が判る。したがって、点群の各点を投影球の内周面に投影し、その投影点にスキャン点を点像として表示させた点群画像（点群により構成された２次元画像）が作成できる。この点群画像は、多数の点で構成された画像であり、通常の静止画像と同様に扱うことができる。

ここで、全周カメラ２００とレーザースキャナ３００における相対位置関係と相対的な向きの関係は予め取得され既知である。よって、全周カメラを構成する６台のカメラの画像を合成する方法と同じ方法で、全周カメラ２００のカメラが撮影した静止画像と上記の点群画像とは重ね合わせることができる。この重畳画像を作成する処理が、画像と点群の重畳部１０８において行われる。

以下、重畳画像を作成する方法の一例を説明する。まず、投影球の中心を設定する。投影球の中心は、全周カメラ２００の多眼構造の機械中心や重心位置、あるいは全周カメラ２００を構成する各カメラの光学原点（投影中心）の平均位置等が採用される。投影球の中心位置の設定は、任意であり、データが扱い易く、なるべく誤差が生じない位置が選択される。

投影球中心の三次元座標を定めることで、投影球中心を原点とした座標系でレーザースキャン点群の各点の座標を記述できる。よって、投影球中心から見たレーザースキャン点群各点の方向が求まり、投影球の内周面にレーザースキャン点群を投影できる。また、後述するパノラマ画像作成部１０７の機能により、投影球設定部１０６が設定した半径Ｒの投影球の内周面に全周カメラ２００の各カメラ（この場合は、６台のカメラ）が撮影した静止画像を投影し、一部が重複した状態で合成された６枚の静止画像により構成されるパノラマ画像を形成する。

そして、写真画像から構成されるパノラマ画像に投影球の内周面に投影したレーザースキャン点群を重ねて表示する。こうして、全周カメラ２００が撮影した画像とレーザースキャナ３００が取得したレーザースキャン点群とを重畳したパノラマ重畳画像が得られる。図１１〜図１３に点群画像と写真画像を重畳（重ね合わせた）したパノラマ重畳画像の一例を示す。

写真画像と点群画像を重畳した重畳画像を利用することで、指定受付部１０２で指定された点（着目点）の三次元位置を点群位置データに基づいて取得できる。具体的には、指定受付部１０２で指定された点（着目点）のパノラマ画面上の位置に対応する点群位置データの点が上記の重畳画像から取得される。そしてこの取得した点の三次元座標位置を点群位置データ取得部１０３が取得した点群位置データから取得する。なお、着目点に対応する点がない場合は、（１）近傍の点を選択し、その点の三次元位置を取得、（２）近傍の点の複数を選択し、その三次元位置の平均値を取得、（３）近傍の点の複数を選択し、更にそこから三次元位置が近い複数の点を選択し、その平均値を取得、といった方法で着目点の三次元座標の値を取得する。以上の写真画像と点群画像を重ねたパノラマ重畳画像を用いて着目点の三次元位置を取得する処理が三次元位置取得部１０４において行われる。

距離算出部１０５は、三次元位置取得部１０４が取得した着目点とパノラマ画像作成部１０７が合成画像（パノラマ画像）を形成する際に利用する投影球（投影球設定部１０６が設定する投影球）の中心との間の距離を計算する。例えば、図３のｒの値の算出が距離算出部１０５において行われる。

投影球の中心は、既知の位置に設定される。レーザースキャナ３００および全周カメラ２００における各カメラの相対的な外部標定要素（位置と向き）が予め取得され、既知であるので、上記の投影球の中心の位置と三次元位置取得部１０４が取得した着目点の三次元位置とは、同じ座標系を用いて記述される。したがって、三次元位置取得部１０４が取得した着目点と投影球設定部１０６が設定する投影球の中心との間の距離（図３のｒ）を計算することができる。

投影球設定部１０６は、パノラマ画像の作成に必要な投影球の設定を行う。以下、図３を参照して、投影球設定部１０６の機能について説明する。図３に例示するように、投影球は、予め設定した既知の位置を中心とした半径Ｒの球面状の仮想的な投影面である。この投影面に全周カメラ２００の６台のカメラが写した静止画像を投影することで６枚の画像が合成され、投影球の内側に映し出されたパノラマ画像が得られる。なお、投影球の中心は、上述したように、全周カメラ２００の多眼構造の機械中心や重心位置、あるいは全周カメラ２００を構成する各カメラの光学原点（投影中心）の平均位置が採用されるが、他の位置であってもよい。

投影球設定部１０６の重要な機能は、上述した投影球の半径Ｒの値を可変設定できる点にある。以下、この機能について説明する。まず、指定受付部１０２が画面上の特定の位置を指定する指示を受け付けていない場合、投影球設定部１０６は、予め決められている初期設定値のＲの値を選択し、投影球の設定を行う。Ｒの初期設定値としては、例えば数ｍ〜数十ｍの値、あるいは無限遠の値が選択される。

指定受付部１０２が画面上の特定の位置（着目点）の指定を受け付けている場合、投影球設定部１０６は、当該着目点と投影球中心との間の距離ｒに対応させて投影球の半径Ｒの値を設定する。この例では、Ｒ＝ｒとする処理が行なわれる。Ｒはｒに完全に一致させなくてもよいが、極力一致させることが望ましい。例えば、Ｒはｒに±５％以下の精度で一致させる。

距離算出部１０５は、ｒの値をリアルタイムに計算する。投影球設定部１０６は、リアルタイムに計算されるｒの値に応じて、Ｒの値をリアルタイムに計算する。例えば、指定受付部１０２が受け付けるユーザーが選択した着目点の位置が変わり、距離算出部１０５が計算するｒの値が変化すると、Ｒ＝ｒとなるように、投影球設定部１０６がＲの値を計算し直す。

パノラマ画像作成部１０７は、投影球設定部１０６が設定した半径Ｒの投影球の内周面に全周カメラ２００の各カメラ（この場合は、６台のカメラ）が撮影した静止画像を投影し、一部が重複した状態で合成された６枚の静止画像により構成されるパノラマ画像を形成する。

上記の構成では、図３に示すように、パノラマ画像における特定の位置が着目点Ｐとして指定されると、ｒの値が計算され、更にＲ＝ｒとなるように処理が行なわれる。この結果、着目点Ｐの位置の変更に伴うｒの変化に対応して、投影球の半径Ｒが動的に変動する。

点群表示の透過状態調整部１０９は、画面表示された点群（レーザースキャン点群）の透過状態を調整する。透過状態の調整は、点群を構成する各点それぞれのアルファ値を変更することで行われる。点群表示（点群画像）の透過状態を大きくすると（透過率を上げると）、重なる背景の画像が見える程度が強くなる。逆に、点群表示（点群画像）の透過状態を小さくすると（透過率を下げると）、重なる背景の画像が見え難くなる程度が強くなる。

色設定部１１０は、点群を表示する色（点の色）の選択を行う。点の色の選択は、（１）レーザースキャン点の反射強度の違いに基づく場合、（２）レーザースキャン点と重なる部分の画像の色に基づく場合、（３）レーザースキャン点の特定の位置からの距離の違いに基づく場合、（４）レーザースキャンの原点の違いに基づく場合、（５）これらの複数を組み合わせる場合がある。その他、指定した色を点群に付与する形態も可能である

（１）の場合、点の反射強度に応じて色を割り振り、それを点の色として採用する。（２）の場合、背景の画像（重畳される画像の当該点の部分の色）に対して識別がし易い色（例えば補色の関係にある色）が選択される。（１）と（２）を組み合わせ、両方の要素を勘案する態様も有効である。（１）や（２）の色の設定を採用した場合、重畳する写真画像との関係を識別し易く、特に、点群画像と写真画像のズレが視認し易くなる。

（３）は、レーザースキャン点のレーザースキャナからの距離に応じて、色を付与する場合や、スキャン点の高度に応じて色を与える場合である。（４）は、複数のレーザースキャナを用いた場合に、レーザースキャナ毎にスキャン点の色を変える場合や、移動しながらレーザースキャンを行った場合に、スキャンを行った位置に応じてスキャン点の色を変える場合である。

これらの色の設定は、ユーザーの操作により適宜変更や組み合わせが選択可能であることが好ましい。重要なのは、重畳して表示されている写真画像と点群画像の関係を把握し易くする点にある。点群や写真画像の色や状態は多様であるので、着目する場所で両者の関係が見易くなるように点群表示の色が、ユーザーにより選択あるいは調整出来る態様が好ましい。

画像解像度調整部１１１は、画面上のユーザーが指定する位置や領域における写真画像の解像度の調整を行う。解像度の設定は、ユーザーにより選択される。パノラマ画像の全体で解像度を高くすると、画像処理に係る演算の負担が大きくなり、処理速度の遅延、エラーの発生、意図しない演算の停止等が問題となる。全体の解像度を低めに抑え、ユーザーに指定された部分の解像度を変更する形態とすることで、ユーザーが着目している部分における写真画像の解像度を高くでき、且つ、演算の負担の増大を抑えることができる。

点群表示密度調整部１１２は、パノラマ重畳画像中の特定の位置におけるレーザースキャン点群の表示密度の調整を行う。この調整では、画面上に表示されるレーザースキャン密度が低く、画像中での点群密度が疎な領域の点群密度を高くする処理が行なわれる。具体的には、反射強度が特定の範囲にある隣接するスキャン点の隙間に、前記特定の範囲の反射強度を有する仮想のスキャン点を補完する処理が行なわれる。

この処理によれば、スキャン点の密度が疎で、点群画像として目立たない部分が視認し易くなる。例えば、図１１の道路上の白線のスキャン点に着目する。図１１を見ると白線の遠方の部分は、画面上における白線の見かけ上の幅が狭くなるので、スキャン点の密度が高く表示されるが、視点に近い部分は、スキャン点の表示が疎に見える。そこで、この白線のスキャン点が疎に見える部分の表示点群密度を高くするために、隣接する同じ反射強度のスキャン点の間（隙間）に、同じ反射強度のスキャン点が得られるものと仮定して、同じ色のスキャン点を付加する。この実際存在するスキャン点の隙間に付加する仮想のスキャン点の数は、見かけのスキャン点の密度が特定の値以上となる数で行う。

スキャン点の表示を補完することで、実際にはスキャン点の表示が疎である点群画像が視認し易くなる。背景の写真画像と点群画像との関係、特に対象物の縁等の境界部分を明確に視認する上で、上記のスキャン点の表示の補完は有効となる。なお、この補間した点は、実際に三次元座標を計測した点ではないので、画像上での視認のし易さを補助する目的で利用、あるいは計測点がない部分の投影球の半径の設定に利用する形態が好ましい。

（処理の一例）
（投影球の半径の制御）
以下、図４の画像処理装置１００で実行される処理の手順の一例を説明する。図５は、処理の手順の一例を示すフローチャートである。図５の処理を実行するプログラムは、画像処理装置１００内の記憶領域や適当な外部記憶媒体に記憶され、画像処理装置１００によって実行される。これは、図６〜図９のフローチャートについても同じである。

処理が開始されると、全周カメラ２００が撮影した静止画像の画像データが受け付けられる（ステップＳ１０１）。ここでは、全周カメラ２００が備える６台のカメラが撮影した静止画像のデータが取得される。なお、画像データは、リアルタイムに全周カメラ２００から得る場合に限定されず、予め撮影しておき、適当な記憶領域に記憶させておいたものを改めて受け付ける形態であってもよい。この処理は、図４の画像データ受付部１０１において行われる。また、レーザースキャナ３００が計測した点群位置データを取得する（ステップＳ１０２）。この処理は、点群位置データ取得部１０３において行われる。なお、後述する図６〜図８の処理の契機となるユーザーからの指示の受付は、ステップＳ１０２以降の任意のタイミングにおいて可能である。

次に、投影球の半径Ｒの値を初期値に設定する（ステップＳ１０３）。初期値の値は予め定めておいた値を利用する。Ｒの初期値を設定したら、投影球の設定を行う（ステップＳ１０４）。ステップＳ１０３およびＳ１０４の処理は、図４の投影球設定部１０６において行われる。

投影球の設定を行ったら、ステップＳ１０１で受け付けた画像データに基づき、全周カメラ２００が備える６台のカメラが写した静止画像をステップＳ１０４で設定された投影球の内面に投影し、画像の合成を行う（ステップＳ１０５）。この処理は、図４のパノラマ画像作成部１０７において行われる。ステップＳ１０５の処理により、投影球の中心から周囲を見たパノラマ画像が得られる。ステップ１０５の処理によって得られたパノラマ画像の画像データは、図４のパノラマ画像作成部１０７から表示装置４００に出力され、当該パノラマ画像が表示装置４００に表示される。

パノラマ画像を得たら、パノラマ画像と点群画像とを重ね合わせパノラマ重畳画像を作成する（ステップＳ１０６）。この処理は、画像と点群画像の重畳部１０８において行われる。この処理で得られた重畳画像を実際に表示した場合の一例が図１１〜図１３に示されている。

パノラマ画像、およびパノラマ画像と点群との重畳画像（パノラマ重畳画像）を得たら、指定受付部１０２が新たに着目点（図３の場合の点Ｐ）の指定を受け付けたか否か、を判定し（ステップＳ１０７）、新たな着目点が指定された場合、ステップＳ１０８に進み、新たな着目点が指定されていない場合、ステップＳ１０７の処理を繰り返す。例えば、着目点の指定の変更がない場合、この時点で設定されているＲの値がそのまま維持される。

着目点の変更がある場合、図４の距離算出部１０５において、ｒの値（図３参照）が計算される（ステップＳ１０８）。ｒの計算は、以下のようにして行われる。まず、着目点のパノラマ画像中での位置を特定する。次いで、ステップＳ１０６の処理で得たパノラマ画像と点群画像とを重畳したパノラマ重畳画像（例えば、図１１の画像）中で、着目点の位置を特定し、着目点に対応する位置（例えば、図３の点Ｐ）の点群データからその位置の三次元座標を得る。そして、この着目点の三次元位置と投影球の中心の位置との間の距離を計算する。例えば、図３の場合でいうと、点Ｐと点Ｃ０の間の距離ｒが計算される。

ｒを得たら、Ｒ＝ｒとした条件で投影球の再設定が行なわれる（ステップＳ１０９）。Ｒの再設定を行ったら、ステップＳ１０５以下の処理を新たに設定したＲを用いて再度実行する。この場合、表示装置４００に表示されるパノラマ画像におけるＲの値（図３参照）がＲ＝ｒとなるように変更され、この変更を反映したパノラマ重畳画像の表示が行なわれる。

以上のようにして、着目点の変更により、ｒの値が変化すると、それに応じてＲの値は変更される。つまり、着目点が変更され、その三次元位置が変わった場合、パノラマ画像の投影面となる投影球の半径が動的に変更される。そしてこの投影球の変更を反映したパノラマ重畳画像の表示が行なわれる。

（点群表示の透過状態の変更処理）
以下、レーザースキャン点群を表示したパノラマ重畳画像の画面上における点群表示の透過状態を変更する処理に係るフローの一例を説明する。図６は、この際の処理の手順の一例を示すフローチャートである。この処理では、点群の画像表示の透過状態の変更を指示する操作がユーザーにより行なわれたか否か、の判定が行われる（ステップＳ１５１）。

ユーザーによる点群表示の透過状態に係る指示の操作は、画像処理装置１００を構成するパーソナルコンピュータのＧＵＩ（グラフィカル・ユーザー・インターフェース）等のユーザーインターフェースが用いて行われる。この点は、ユーザーによる他の操作についても同じである。

ステップＳ１０１の指示があった場合、当該指示に応じた透過状態の調整が行われる（ステップＳ１５２）。例えば、一例として、図１１に点群表示の透過率が０％の場合、図１２に同透過率が６５％の場合、図１３に同透過率が８５％の場合の点群画像を重畳したパノラマ画像の例が示されている。

（点群表示の配色の変更処理）
図７に点群表示の色の変更を行う場合に係る処理の一例を示す。この場合、ユーザーによる点群表示の配色の変更を指示する旨の操作が行われたか否か、の判定が行われ（ステップＳ１１１）。色の変更が指示された場合、指示された内容に応じた点群表示の色を変更する処理が行なわれる（ステップＳ１１２）。

（画像解像度の変更処理）
図８に写真画像の解像度の変更を行う場合に係る処理の一例を示す。この場合、ユーザーによる写真画像の解像度の変更を指示する旨の操作が行われたか否か、の判定が行われ（ステップＳ１２１）。解像度の変更が指示された場合、パノラマ画像中（あるいはパノラマ重畳画像）における指定された位置の情報（画面中の座標）を取得する（ステップＳ１２２）。次に、指示された内容に応じた解像度の変更が行われる（ステップＳ１２３）。解像度の変更は、指定された画像部分を含む１枚の写真画像（パノラマ画像を構成する複数の写真画像の中の一枚）が選択される。また、ユーザーに指定された範囲の解像度の変更を行う形態も可能である。

（点群表示密度の変更処理）
ある特定の領域で点群表示の密度を増加させる処理が指示された場合、図９の処理が行なわれる。図９の処理では、指定された領域における点群の表示密度が規定値以下であるか否か、が判定され（ステップＳ１３１）、点群の表示密度が規定値以下であれば、同程度の反射強度の隣接するスキャン点の間を同じ色のスキャン点で補間する処理を行う（ステップＳ１３２）。この処理により、点群の表示密度が高くなり、対象物が点群の表示として視認し易くなる。

（優位性）
図３に原理が示されているように、着目点Ｐが指定された際にｒを計算し、更にＲ＝ｒとすることで、点Ｐの位置における投影像のズレが解消される。着目点Ｐの位置が変更され、ｒの値が変わると、それに応じてＲの値も変わり、Ｒ＝ｒの関係が維持される。このため、着目点Ｐにおける像の精度は維持される。

また、写真画像間のズレに加えて、写真画像と点群画像との間にもズレが生じるが、投影球の半径Ｒを調整することで、写真画像と点群画像との間のズレも解消できる。

上記のズレは、画面上においてカーソルを用いて着目点を指定することで、ユーザーが希望する位置で行うことができる。なお、例えば、カーソルを移動させると、その動きに従って画像中の鮮明となる位置が移動する。

写真画像間のズレは、点群画像が重畳表示されていると視認し難い。また、写真画像と点群画像との間のズレは、写真画像の被写体の色、濃淡、微細さ等と点群画像の状態に影響される。そこで本実施形態では、点群画像の透過状態を調整可能とすることで、状況に応じて写真画像間のズレを視認し易くし、また他方で写真画像と点群画像のズレを視認し易くしている。特に点群画像の透過表示の状態を可変できるようにすることで、写真画像と点群画像の見え方を微妙に調整でき、写真画像と点群画像の関係をユーザーが把握し易い表示が可能となる。これにより、パノラマ合成画像を用いた三次元モデルの作成等の作業効率を高めることができる。

（その他）
着目点の指定を受け付ける別の方法として、パノラマ画像作成部１０７が形成したパノラマ画像をタッチパネルディスプレイに表示し、タッチペン等の当該ディスプレイへの接触により、着目点の指定を受け付ける方法が挙げられる。

また、着目点の指定を受け付ける別の方法として、パノラマ画像作成部１０７が形成したパノラマ画像を見ているユーザーの視線を検出し、更にその視線と当該パノラマ画像の画像面との交点を検出し、その位置を指定位置として受け付ける方法が挙げられる。この方法によれば、ユーザーが着目した位置の画像が鮮明になるように動的に投影球の半径の調整が行なわれる。視線を検出する技術については、例えば、特開２０１５−１１８５７９号公報に記載されている。

Claims (9)

1. 視点の異なる複数の静止画像を合成したパノラマ画像を作成するパノラマ画像作成部と、
   前記パノラマ画像に特定の色を付与したレーザースキャン点群の表示を重ねる重畳部と、
   前記レーザースキャン点群の表示を、前記レーザースキャン点群が視認でき、且つ、背景が透けて見える透過状態に調整する点群表示の透過状態調整部と
   を備える測量画像表示制御装置。
2. 前記特定の色を、レーザースキャン点の反射強度の違いおよびレーザースキャン点と重なる部分の画像の色の少なくとも一方を反映させた色に設定する色設定部を備える請求項１に記載の測量画像表示制御装置。
3. 前記色設定部は、レーザースキャン点の特定の位置からの距離の違い、レーザースキャンの原点の違いの一または複数を反映させた色に設定する請求項１に記載の測量画像表示制御装置。
4. 前記色の変更が可能な請求項２または３に記載の測量画像表制御装置。
5. 前記パノラマ画像中の特定の位置における前記静止画像の解像度の調整を行う画像解像度調整部を備える請求項１〜４のいずれか一項に記載の測量画像表示制御装置。
6. 前記パノラマ画像中の特定の位置における前記レーザースキャン点群の表示密度の調整を行う点群表示密度調整部を備える請求項１〜５のいずれか一項に記載の測量画像表示制御装置。
7. 前記点群表示密度調整部は、反射強度が特定の範囲にあるスキャン点の隙間に、前記特定の範囲の反射強度を有する仮想のスキャン点を補完する処理を行う請求項５に記載の測量画像表示制御装置。
8. 視点の異なる複数の静止画像を合成したパノラマ画像を作成するパノラマ画像の作成処理と、
   前記パノラマ画像に特定の色を付与したレーザースキャン点群の表示を重ねる重畳処理と、
   前記レーザースキャン点群の表示を、前記レーザースキャン点群が視認でき、且つ、背景が透けて見える透過状態に調整する点群表示の透過状態調整処理と
   を備える測量画像表示制御方法。
9. コンピュータに読み取らせて実行させるプログラムであって、
   コンピュータに
   視点の異なる複数の静止画像を合成したパノラマ画像を作成するパノラマ画像の作成処理と、
   前記パノラマ画像に特定の色を付与したレーザースキャン点群の表示を重ねる重畳処理と、
   前記レーザースキャン点群の表示を、前記レーザースキャン点群が視認でき、且つ、背景が透けて見える透過状態に調整する点群表示の透過状態調整処理と
   を実行させる測量画像表示制御用プログラム。

Images