JP2022136754A - 光学データ処理装置、光学データ処理方法および光学データ処理用プログラム - Google Patents

Abstract

【課題】簡便な方法で複数の光学データ間の同期を確保する。【解決手段】移動する移動体に搭載されたレーザースキャナにより得たレーザースキャンデータおよび前記移動する移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得部３０１と、前記レーザースキャンデータに基づき作成された特定の時刻Ｔにおける視点から見た点群画像と前記時刻Ｔに前記カメラに対して撮影を命令した際にΔｔ遅延して前記カメラによる撮影が行われる場合における前記Δｔを算出する遅延時間取得部３０５とを備え、前記レーザースキャナと前記カメラの外部標定要素の関係は既知であり、前記Δｔは、前記撮影画像および前記点群画像の時間軸上での重なり具合の差が最小となる条件により求められる光学データを処理する演算装置１０８。【選択図】図５

Description

本発明は、複数の光学データ間の同期をとる技術に関する。

移動体にレーザースキャナ、カメラ、ＧＮＳＳ位置測定装置、ＩＭＵその他計測機器を搭載し、移動しながら周囲の三次元計測を行う技術が知られている（例えば、特許文献１を参照）。

特開２０１６－５７１０８公報

上記の技術においては、例えば、レーザースキャナが取得したレーザースキャン点群（レーザースキャンデータ）とカメラが撮影した撮影画像との比較、更には両者の統合を行うために、両者を同期させる処理が必要となる。

この同期をとる方法として、カメラに撮影命令信号を出力し、カメラからexposure信号（実際にシャッターを切ったタイミングを示す信号）が出力され、このexposure信号に基づき、撮影画像の撮影時刻の管理を行う方法が採用されている。

上記のexposure信号を用いる方法は、カメラ側にexposure信号を出力する機能が必要であり、また制御側もexposure信号を扱うための設定が必要となる。また、exposure信号を扱う信号伝送手段も必要となる。

このため、全般的に高コスト化し、またシステムとしての汎用性が低下する。また、ユーザが用意したカメラを利用する場合に制限が多く、システムとしての使い勝手が良くない。

このような背景において、本発明は、簡便な方法で複数の光学データ間の同期を確保できる技術の提供を目的とする。

本発明は、移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得部と、時刻Ｔに前記カメラに対して撮影を命令した際にΔｔ遅延して前記カメラによる撮影が行われる場合における前記Δｔを取得する遅延時間取得部と、前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像とを視線の方向を合わせた状態で重ねて投影した投影画像を作成する投影部とを備え、前記移動体における前記レーザースキャナと前記カメラの外部標定要素の関係は既知であり、前記投影が、前記点群画像および前記撮影画像の一方または両方の視点の位置を変えて複数行なわれることで、前記投影画像が複数作成され、前記Δｔは、複数作成された前記投影画像における前記点群画像と前記撮影画像の重なり具合の差が最小または閾値以下となる条件により求められる光学データ処理装置である。

本発明において、前記レーザースキャン点群と前記撮影画像の対応関係に基づく単写真標定により、前記撮影画像の撮影時における前記カメラの位置を算出するカメラ位置算出部を備え、前記撮影画像の撮影を命令した時刻と前記算出された前記カメラの位置の時刻との差に基づき、前記Δtの参考値の算出が行われ、前記Δｔの前記参考値に基づき、前記視点の位置の範囲が選択される態様が挙げられる。

本発明において、前記Δｔの前記参考値に対応する位置を中心とした特定の範囲が前記視点の範囲として選択される態様が挙げられる。本発明において、定期的に前記Δｔの取得が繰り返し行われる態様が挙げられる。本発明において、前記カメラの設定が変更されたことを契機として、前記Δｔの取得が行われる態様が挙げられる。

本発明は、移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データの取得と、時刻Ｔに前記カメラに対して撮影を命令した際にΔｔ遅延して前記カメラによる撮影が行われる場合における前記Δｔの取得と、前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像とを視線の方向を合わせた状態で重ねて投影した投影画像の作成とを有し、前記移動体における前記レーザースキャナと前記カメラの外部標定要素の関係は既知であり、前記投影が、前記点群画像および前記撮影画像の一方または両方の視点の位置を変えて複数行なわれることで、前記投影画像が複数作成され、前記Δｔは、複数作成された前記投影画像における前記点群画像と前記撮影画像の重なり具合の差が最小または閾値以下となる条件により求められる光学データ処理方法として把握することもできる。

本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータに移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データの取得と、時刻Ｔに前記カメラに対して撮影を命令した際にΔｔ遅延して前記カメラによる撮影が行われる場合における前記Δｔの取得と、前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像とを視線の方向を合わせた状態で重ねて投影した投影画像の作成とを実行させ、前記移動体における前記レーザースキャナと前記カメラの外部標定要素の関係は既知であり、前記投影が、前記点群画像および前記撮影画像の一方または両方の視点の位置を変えて複数行なわれることで、前記投影画像が複数作成され、前記Δｔは、複数作成された前記投影画像における前記点群画像と前記撮影画像の重なり具合の差が最小または閾値以下となる条件により求められる光学データ処理用プログラムとして把握することもできる。

本発明によれば、簡便な方法で複数の光学データ間の同期を確保できる技術が得られる。

実施形態の概念図である。 撮影画像と点群画像のズレを示すイメージ図である。 視点を変えた点群画像を示すイメージ図である。 時間の経過に伴う撮影画像と点群画像のズレを示すイメージ図である。 実施形態のブロック図である。 カメラの外部標定要素を求める原理（単写真標定（後方交会法））を示す図である。 処理の手順の一例を示すフローチャートである。 処理の手順の一例を示すフローチャートである。

（概要）
図１は、概念図である。図２は点群画像と撮影画像の重畳の様子を示すイメージ図である。この例では、車両１００はカメラ１０１とレーザースキャナ１０２を搭載している。車両１００を走行させながら、カメラ１０１による対象物２００に対する撮影と、レーザースキャナ１０２によるレーザースキャンを行う。

ここで、カメラ１０１には、撮影命令信号が出力され、この信号を受けてカメラ１０１は撮影を行う。カメラ１０１は、exposure信号またはそれに相当する信号、すなわち撮影を行ったタイミングを確定できる信号を出力しない。カメラ１０１として、exposure信号またはそれに相当する信号を出力する仕様のものを採用することもできる。この場合、exposure信号は利用せず、そのためのハードウェアや設定は必要ない。

撮影命令信号を受けてからカメラ１０１による撮影が行われるタイミングには、遅延時間Δｔがある。最初の段階で遅延時間Δｔは未知である。遅延は、カメラ１０１内部での撮影に必要な処理に要する時間に起因する。Δｔは、カメラの種類や機種によって異なる。また、同じカメラであっても動作モードや撮影条件の違いによってもΔｔが違う場合も有り得る。

レーザースキャナ１０２の方は、レーザースキャン光の発光時刻、対象物から反射したレーザースキャン光の受光時刻が管理されている。この時刻を刻む時計は、例えばＧＮＳＳ位置測定装置１０３が内蔵する時計が利用される。

ここで、車両１００におけるカメラ１０１、レーザースキャナ１０２、ＧＮＳＳ位置測定装置１０３、ＩＭＵ１０４の位置と姿勢の関係は予め取得され既知であるとする。なお、カメラ１０１の外部標定要素（位置と姿勢）が未知である場合、後述する方法により、車両１００におけるカメラ１０１の位置と姿勢を最初に取得し、その後に以下に説明する処理が行なわれる。勿論、最初からカメラ１０１の車両１００における外部標定要素が既知であってもよい。

まず、車両１００が移動している状態において、時刻Ｔにカメラ１０１に対して撮影命令信号が出力されとする。すなわち、時刻Ｔにカメラ１０１に撮影が指示されたとする。

そして、後処理により、レーザースキャナ１０２が取得したレーザースキャン点群に基づき、時刻Ｔの位置を視点とした点群画像を生成する。この点群画像は、時刻Ｔにおける位置Ｘから見た点群の見た目の分布の状態を示す画像である。ここで、位置Ｘとして、時刻Ｔにおけるカメラ１０１の投影原点（光学原点）の位置を採用する。図３に時刻Ｔにおける位置Ｘを視点として点群画像を得る場合のイメージを示す。

上記視点の位置とその時刻は、計測されている。すなわち、車両１００の位置は、ＧＮＳＳ位置測定装置１０３により測位され、その速度の変化や向きの変化はＩＭＵ１０６により計測され、車両１００の車輪の回転はホイールエンコーダ１０７により計測されている。これらの計測値から、点群画像の視点の位置を知ることができる。また、ＧＮＳＳでは、測位の時刻も得られるので、測位に紐づいた時刻も取得できる。よって、移動する車両１００における上記視点の位置と、その位置の時刻は取得できる。

演算装置１０８からの撮影命令信号の出力の時刻と、カメラ１０１におけるその受信時刻とは、同じと見なすことができる。ここで、時刻Ｔに撮影命令信号が出されたとする。この場合、Δｔ遅れてカメラ１０１は撮影を行う。なお、撮影時刻は、露光を開始した時刻とする。撮影時刻としては、露光時間の中心の時刻や露光が終わった時刻を採用することもできる。

図２には、レーザースキャナ１０２が取得したレーザースキャン点群に基づき、時刻Ｔにおける位置を視点として作成した点群画像と、時刻Ｔに撮影が命令されることで、時刻Ｔ＋Δｔにカメラ１０１が撮影した撮影画像とを重畳させた状態（重ねて投影した状態）が示されている。

ここで、レーザースキャナ１０２とカメラ１０１の車両１００における外部標定要素は既知である。よって、カメラ１０１が撮影した画像の光軸方向に合わせて、またカメラ１０１の投影原点（光学原点）があると仮定した位置を視点として、レーザースキャナ１０２が取得したレーザースキャン点群に基づく点群画像を生成することができる。

仮に時刻Ｔにカメラ１０１による撮影が行われていれば、点群画像と撮影画像は理想的には、完全に重なる。

図２の場合、カメラ１０１の側の動作に遅延時間Δｔが存在するために、時刻Ｔを基準にレーザースキャナ１０２が得たレーザースキャン点群に基づく点群画像と、カメラ１０１が撮影した撮影画像とを重畳させると、両者にズレが生じる。なお、車両１００が移動していなければ、０＜Δｔであっても、図２のズレは生じない。

カメラ１０１からexposure信号が出力されていれば、Δｔが把握できるので、一方の画像を時間軸上で移動させることで、すなわち、一方の画像の視点の位置をΔｔに対応する距離で移動させれば、両者をズレがないように重ねることができる。つまり、同期させることができる。従来の技術では、この方法により、カメラが撮影した撮影画像とレーザースキャン由来の点群画像との同期を確保していた。

本実施形態では、exposure信号を利用しないので、以下の方法でΔｔを探索する。ここでは、時間軸上で一方の画像を移動させ、両画像の重なり具合を評価することでΔｔを見積もる。ここでは、レーザースキャン点群に基づく点群画像を時間軸上で移動させる場合を説明する。

図１に示すように、Δｔは、その間における車両１００の移動量Δｘに対応している。車両１００の移動は、ＧＮＳＳ位置測定装置１０３、ＩＭＵ１０６およびホイールエンコーダ１０７の機能により計測されている。これらの計測値に基づき、車両１００の時刻に関連付けされた移動の軌跡は算出できる。

この移動の軌跡に基づき、レーザースキャン点群を見る視点の位置として、例えばＴ＋１ｍｓにおける視点の位置、Ｔ＋２ｍｓにおける視点の位置、Ｔ＋３ｍｓにおける視点の位置、・・・・と１ｍｓ毎の視点の位置を求める。なお、視点の位置をもっと細かく算出し、精度を上げることもできる。

そして、Ｔ＋１ｍｓにおける位置から見た点群画像、Ｔ＋２ｍｓにおける位置から見た点群画像、Ｔ＋３ｍｓにおける位置から見た点群画像・・・・と、１ｍｓ毎に視点の位置をずらした点群画像を作成する。なお視点の位置は、カメラ１０１の投影原点の位置として設定され、視線の方向はカメラ１０１の光軸の方向に合わせる。

レーザースキャン点群は、絶対座標系上で分布し、各点の位置は確定しているので、視点の位置を変更した点群画像は計算により求めることができる。図３に視点の位置をずらした場合の点群画像のイメージを示す。

上記の視点の位置を漸次ずらした点群画像は、例えばＴ～Ｔ＋３０ｍｓまでの間で１ｍｓ毎に作成する。ここで、上限を３０ｍｓとしたのは、Δｔの上限が３０ｍｓ程度と推定されるからである。この値は、使用するカメラの性能によって決定される。通常は、２５ｍｓ～５０ｍｓ程度の範囲からこの上限の値が選択される。

そして、Ｔ＋１ｍｓにおける位置から見た点群画像、Ｔ＋２ｍｓにおける位置から見た点群画像、Ｔ＋３ｍｓにおける位置から見た点群画像・・・・と、時刻Ｔに撮影の実行を命令（指示）することで得たカメラ１０１による撮影画像とを重ねて投影した重畳投影画像を作成する。この場合、計３０枚の重畳投影画像が作成される。

図４は、ずらす時間を変えた場合における点群画像と撮影画像の重畳の状態を示す重畳投影画像のイメージ図である。ここで、点群画像は、レーザースキャナ１０２が得たレーザースキャン点群に基づき、図３の原理で得たものであり、撮影画像はカメラ１０１が撮影した画像である。

図４には、理解し易いように、５ｍｓ毎に視点の位置をずらして点群画像を生成し、それらと撮影画像とを重ねて投影した場合が示されている。点群画像の視点の位置をずらすことで、点群画像と時刻Ｔ＋Δｔに撮影された撮影画像とのずれの具合が変化する。

図４には、Δｔ＝２０ｍｓに相当する視点の位置から見た点群画像の場合が、撮影画像との差が最小となる場合が示されている。この場合、撮影命令信号を出力してから約２０ｍｓ後に実際の撮影が行われたと推定され、Δｔ＝２０ｍｓが遅延時間として取得される。

ところで、同じ視点から同じ視線の向きで２枚の撮影画像を撮影した場合、この２枚の撮影画像は重なる。ここで、図４の重畳投影画像は、視線の方向を合わせた状態で、点群画像の視点の位置を漸次ずらすことで得ている。よって、点群画像と撮影画像のズレが最小となる状況では、点群画像の視点の位置と撮影画像の視点の位置のズレ（差）が最小となる。このことから、図４の作業は、点群画像と撮影画像とが一致する点群画像の視点の位置を探索することで、撮影画像の視点の位置（カメラ位置）を探索する作業と捉えることもできる。

このように、視点の位置を微小にずらした点群画像を作成し、それとカメラ１０１が撮影した撮影画像とを比較することで、実際のΔｔの近似値を求めることができる。また、当該撮影画像のカメラ位置を求めることができる。なお、ずらす時間の差を更に細かくすることで、より精密にΔｔを求めることができる。

ここでは、点群画像の側を時間軸上でずらす手法を示したが、撮影画像を時間軸上でずらしてもよい。また、点群画像と撮影画像の両方を時間軸上でずらす手法も可能である。

以上のようにして、実際のΔｔを見積もり、撮影を命令してから実際に撮影が行われるまでの遅延時間Δｔを取得する。Δｔの取得を定期的に行い、定期的にΔｔの値を更新してもよい。

Δｔが判れば、同期処理を行う。例えば、レーザースキャンに基づく点群画像を時間軸上でずらし、時刻Ｔ＋Δｔの位置を視点としたものとする。図３には、時刻Ｔの視点位置から時刻Ｔ＋Δｔの視点位置、すなわち時刻Ｔに対応する位置Ｘから、時刻Ｔ＋Δｔに対応する位置Ｘ＋Δｘに視点をずらし、点群画像を生成する場合が示されている。これにより、時間軸上でレーザースキャンに基づく点群画像と撮影画像の視点の位置をそろえること、すなわち同期をとることができる。

以上の説明では、レーザースキャンと撮影を行った後の後処理により、Δｔの取得、およびそれに基づく点群画像および／または撮影画像の視点の位置の修正を行う場合を説明したが、レーザースキャナと撮影を行いながら、同時並行的にΔｔを求めることも可能である。この場合、Δｔが求まった段階で、Δｔの遅延があることを織り込んでカメラ１０１に対する撮影命令信号を早めに行うことができる。

例えば、カメラ１０１に時刻Ｔに撮影を行わせたい場合、時刻Ｔ－Δｔ、すなわち時刻ＴよりもΔｔ前の時刻に撮影命令信号をカメラ１０１に対して出力する。こうすることで、撮影命令信号の出力からΔｔ遅れて撮影が行われ、丁度時刻Ｔにカメラ１０１による撮影が行われる。これにより、時刻Ｔを基準に作成した点群画像と同期した撮影画像が得られる。

あるいは、時刻Ｔに撮影を命令した場合、時刻Ｔ＋Δｔに実際の撮影が行われるので、時刻Ｔ＋Δｔを基準に点群画像を生成する。こうすることで、撮影画像と点群画像を同期させることができる。

１．第１の実施形態
図１には、移動体の一例である車両１００が示されている。車両１００は、カメラ１０１、レーザースキャナ１０２、ＧＮＳＳ位置測定装置１０３、ＩＭＵ（慣性計測装置）１０６、ホイールエンコーダ１０７、演算装置１０８を搭載している。

カメラ１０１は、デジタルスチールカメラであり、静止画像を撮影する。動画を撮影できるカメラを利用することもできる。この例において、カメラ１０１は、特定の時間間隔で繰り返し静止画像の撮影を行う。動画撮影を行う場合は、動画を構成するフレーム画像が利用される。

レーザースキャナ１０２は、測距用のレーザー光を広範囲あるいは特定の範囲でスキャンすることで、レーザースキャンデータを得る。例えば、鉛直面に沿って数ｋHz～数百ｋHzの繰り返し周波数でパルスレーザー光を線状にスキャンする。車輛１００を走行させながら上記のスキャンを行うことで、特定の範囲のレーザースキャンが行われる。面状に分布した多数のレーザー測距光を同時に照射し、ある範囲のレーザースキャンデータを同時に得るレーザースキャナを用いることもできる。

ＧＮＳＳ位置測定装置１０３は、ＧＰＳ衛星等の航法衛星から送信される航法信号に基づき絶対座標系（グローバル座標系）における位置の計測を行う。絶対座標系は、地図情報の記述で用いられる座標系である。絶対座標系では、例えば、緯度・経度・標高によって位置が特定される。ＩＭＵ（慣性計測装置）１０６は、加速度と向きの変化を計測する。ホイールエンコーダ１０７は、車両１００の車輪の回転を検出し、車両１００の走行距離（移動量）を計測する。

ＧＮＳＳ位置測定装置１０３の計測値の変化、ＩＭＵ１０６により計測される車両１００の加速度と向き変化、およびホイールエンコーダ１０７により計測される車両１００の走行距離から、時間と位置に紐付された車両１００の移動経路や移動量が算出される。ＧＮＳＳ位置測定装置１０３は、高精度の時計を備えており、この時計を用いて車両１００における時刻が確定される。

図５に演算装置１０８のブロック図を示す。演算装置１０８は、コンピュータであり、ＣＰＵ、データ記憶装置、入出力インターフェース、通信装置を備える。演算装置１０８として、汎用のＰＣ（パーソナル・コンピュータ）を用いることもできる。演算装置１０８を専用のハードウェアで構成してもよい。演算装置１０８での処理をサーバで行う形態も可能である。演算装置１０８の機能を複数のコンピュータを用いて分散して行う形態も可能である。

演算装置１０８は、光学データ取得部３００、撮影命令信号出力部３０１、移動量算出部３０２、点群生成部３０３、点群特徴点算出部３０４、遅延時間（Δｔ）取得部３０５、カメラ撮影時刻算出部３０６、カメラ位置姿勢算出部３０７、点群特徴点画像投影部３０８、画像特徴点算出部３０９、特徴点間画像上残差算出部３１０、同期処理部３１２を有する。

これらの機能部は、ソフトウェアの実行により、演算装置１０８を構成するコンピュータにより実現される。図５に示す機能部の一以上を専用のハードウェアで構成することも可能である。

光学データ取得部３００は、カメラ１０１が撮影した画像の画像データと、レーザースキャナ１０２が得たレーザースキャンデータを取得する。また、光学データ取得部３００は、レーザースキャナ１０２が得たレーザースキャンデータに基づくレーザースキャン点群のデータを取得する。

撮影命令信号出力部３０１は、カメラ１０１に撮影を命令（指示）する信号を出力する。例えば、図１の時刻Ｔに撮影命令信号出力部３０１からカメラ１０１に撮影を命令する撮影命令信号が出力される。

移動量算出部３０２は、ＧＮＳＳ位置測定装置１０３が測定した車両１００の位置の変化、ＩＭＵ１０６が計測した車両１００の速度の変化および向きの変化、およびホイールエンコーダ１０７が計測した車両１００の車輪の回転数に基づき、車両１００の移動量および移動方向を算出する。例えば、図１のΔｘや１ｍｓ毎における車両１００の移動量と移動方向が算出される。ＧＮＳＳ位置測定装置１０３は時計を持っているので、算出される移動量と移動方向は、時刻に紐づけされたものが得られる。

点群生成部３０３は、レーザースキャナ１０２が取得したレーザースキャンデータに基づき、レーザースキャン点群を生成する。レーザースキャナ１０２は、レーザースキャン光の反射点の方向（レーザースキャナから見た方向）と、その点までの距離を計測し、この反射点までの方向と距離のデータをレーザースキャンデータとして出力する。この方向と距離に基づき、反射点（レーザースキャン点）の三次元座標を算出する。この処理が点群生成部３０３で行われる。この三次元座標が求められた反射点の集合がレーザースキャン点群となる。なお、レーザースキャナ１０２として、レーザースキャン点群を直接出力する形態のものを採用することもできる。

点群特徴点算出部３０４は、点群生成部３０３が生成したレーザースキャン点群に基づき、レーザースキャン点群で記述される対象物の特徴点を算出する。例えば、図１の場合、建物２００のレーザースキャン点群に基づき、建物２００の形状を特徴づける特徴点を算出する。この特徴点を画像化したものが点群特徴点画像となる。この点群特徴点画像は、点群画像の一例であり、レーザースキャンデータに起因する対象物の特徴点の画像となる。

建物２００の形状を特徴づける特徴点を算出する方法としては、２つの方法が挙げられる。第１の方法は、建物２００を対象としたレーザースキャン点群の中から、建物２００の形状を特徴づける特徴点を抽出する方法である。第２の方法は、建物２００を対象としたレーザースキャン点群に基づき、建物２００の３次元モデルを作成し、その３次元モデルから、建物２００の形状を特徴づける特徴点を抽出する方法である。

遅延時間（Δｔ）取得部３０５は、カメラ１０１に撮影を命令（撮影命令信号を出力）してから、実際にカメラ１０１による撮影が行われるまでの遅延時間Δｔの取得を行う。Δｔの取得は、図１～図４に関連して説明した方法を用いて行われる。具体的には、図４に例示する方法で、撮影画像と点群画像のズレを評価し、このズレが最小となる条件から、遅延時間Δｔを取得する。

カメラ撮影時刻算出部３０６は、上述したΔｔに基づき、カメラ１０１の撮影時刻を算出する。例えば、演算装置１０８で用いている時計における時刻Ｔにおいて、カメラ１０１に対する撮影命令信号が出力されたとする。この場合、時刻Ｔ＋Δｔがカメラ１０１による撮影が行われた時刻（撮影時刻）となる。

カメラ１０１の撮影時刻は、図４の原理で探索した点群画像の視点の位置から求めることもできる。図４に例示する投影画像において、点群画像と撮影画像が一致した段階で、点群画像と撮影画像の視点の位置が一致する。よって、この際の点群画像の視点の位置がカメラ１０１による撮影位置（カメラ位置）となる。車輛１００におけるカメラ１０１の位置は既知であり、車輛１００の移動軌跡と時刻の関係は取得されているので、カメラ１０１の撮影位置が分かれば、その位置の時刻が分かる。この位置の時刻がカメラ１０１による撮影が行われた時刻となる。この場合、カメラ１０１による撮影時刻をＴ＋Δｔ、カメラ１０１に撮影を命令した時刻をＴとすれば、Δｔを求めることができる。

カメラ位置姿勢算出部３０７は、車両１００におけるカメラ１０１の外部標定要素（位置と姿勢）を算出する。この処理については後述する。

点群特徴点画像投影部３０８は、点群生成部３０３が生成したレーザースキャン点群に基づき点群特徴点算出部３０４が算出した点群特徴点画像を撮影画像に投影し、両画像を重畳した重畳投影画像を作成する。図２、図４が重畳投影画像の一例である。図４の処理では、レーザースキャン点群に基づく点群画像をカメラが撮影した撮影画像に投影し、両画像の重なり具合を調べるが、ここでは点群画像そのものでなく、対象の特徴点をレーザースキャン点群の中から抽出した上記点群特徴点画像を点群画像として用い、この画像を撮影画像に投影する。なお、この際の投影の対象となる撮影画像は、撮影画像から特徴点を抽出することで得た画像特徴点画像を用いる。

上記の投影処理の段階において、レーザースキャナ１０２とカメラ１０１の車両１００における外部標定要素は既知である。よって、カメラ１０１が撮影した画像の光軸方向に合わせて、また視点の位置をカメラ１０１の投影原点（光学原点）として、レーザースキャナ１０２が取得したレーザースキャン点群に基づく点群画像を生成することができる。

なお、この段階でカメラ１０１の撮影時の位置は、未知の遅延時間Δｔがある故に未知である。そこで、下記に示すように、時間軸上で仮のカメラ位置となる点群画像の視点の位置を複数設定し、そこにカメラ１０１があると見なして、点群画像の生成を行う。

例えば、上記の点群特徴点画像の撮影画像（画像特徴点画像）への投影は、１ｍｓ単位で対応する視点の位置をずらして行う。なお、図４には、５ｍｓ単位でずらした場合が示されている。この際、カメラ１０１の光軸の方向はこの段階で既知であるので、この光軸の方向に視線の方向を合わせた状態で点群画像（点群特徴点画像）を生成する。

特徴点間画像上残差算出部３１０は、重畳された点群画像（点群特徴点画像）と撮影画像（画像特徴点画像）の残差を算出する。具体的には、図４に示す２つの画像のズレの程度を算出する。

画像同期処理部３１２は、遅延時間取得部３０５が取得した遅延時間に基づき、レーザースキャナ１０２が取得したレーザースキャン点群に基づく点群画像と、カメラ１０１が撮影した撮影画像とを同期させる同期処理を行う。

同期処理には、複数の方法がある。第１の方法は、点群画像を時間軸上で移動させ、撮影画像と同期させる方法である。例えば、時刻Ｔにカメラ１０１に撮影を命令した場合にΔｔ遅延して撮影が行われとする。この場合、Ｔ＋Δｔの時刻に対応する位置を視点とした点群画像を作成することで、点群画像と撮影画像の同期をとることができる。

同期処理の第２の方法は、撮影画像の方を時間軸上で移動させる方法である。この場合、Ｔ＋Δｔの時刻に撮影された画像を時刻Ｔの視点の位置から見た画像に変換する。この変換は、例えば射影変換により行う。これにより、時刻Ｔにおける視点でレーザースキャンデータ由来の点群画像と、カメラ１０１が撮影した撮影画像の同期をとることができる。なお、点群画像と撮影画像の両方を時間軸上で移動（視点の空間軸上での移動）を行う形態も可能である。

同期処理の第３の方法は、カメラ１０１の撮影タイミングの遅れを考慮し、予めΔｔ早めたタイミングで撮影の命令を出す方法である。例えば、時刻Ｔに撮影を行いたい場合、時刻Ｔ－Δｔに撮影命令信号をカメラ１０１に向けて出力する。この場合、撮影命令信号を出力してからΔｔ遅延した後の時刻Ｔにカメラ１０１による撮影が行われる。この場合、撮影画像と時刻Ｔの視点から作成した点群画像との同期が確保される。

（処理の一例）
以下、演算装置１０８で行われる処理の一例を説明する。図７および図８は、処理の手順の一例を示すフローチャートである。図７および図８の処理を実行するためのプログラムは、演算装置１０８を構成するＰＣの記憶装置に記憶され、当該ＰＣのＣＰＵにより実行される。当該プログラムを適当な記憶媒体に記憶する形態も可能である。当該プログラムをインターネットに接続されたサーバに記憶し、そこから演算装置１０８を実現するためのＰＣにダウンロードする形態も可能である。

ここでは、最初の段階でカメラ１０１の車両１００における外部標定要素が未知であるとし、まずカメラ１０１の車両１００における外部標定要素の算出を行う（図７）。なお、車両１００におけるカメラ１０１の外部標定要素が既知である場合は、図７の処理は不要である。

ここでは、初期の段階において、車両１００におけるカメラ１０１の位置と姿勢が大凡判明しているとする。これは、例えば、ユーザがカメラ１０１を用意し、それを車両１００に取り付けた場合を想定している。この場合、カメラを取り付ける位置が予め指定されており、そこにユーザがカメラ１０１をセッティングする。

車両１００におけるレーザースキャナ１０２、ＧＮＳＳ位置測定装置１０３、ＩＭＵ１０６の位置と姿勢の関係は予め求められており、既知であるとする。車両１００の位置は、ＩＭＵ１０６の位置で把握される。

まず、車両１００を図１のＸ軸の方向に走行させた状態で、レーザースキャナ１０２による対象物（例えば建物２００）のレーザースキャンと、同じ対象物に対するカメラ１０１による撮影を行う。この際、ＧＮＳＳ位置測定装置１０３により、車両１００の絶対座標系における位置およびその変化を計測し、車両１００の時刻と紐付された移動経路を把握する。この移動経路の把握では、ＩＭＵ１０６とホイールエンコーダ１０７の計測値も利用する。また、これらの計測値により、移動経路の各点や指定した時刻における車両１００の速度ベクトルを求めることができる。

撮影画像とレーザースキャンデータを取得した後、後処理により、下記の処理を行う。まず、同一の対象物に対するカメラ１０１による撮影画像とレーザースキャナ１０２によるレーザースキャンのデータを光学データ取得部３０１で取得する（ステップＳ１０１）。

次に、取得したレーザースキャンデータに基づき、点群生成部３０３でレーザースキャン点群を作成する。次に、カメラ１０１の外部標定要素の算出の前準備として、点群画像作成のための視点を仮設定する（ステップＳ１０２）。

この視点は、対象としている撮影画像のカメラ位置を算出するための初期値となる。この段階において、Δｔは未知であるので、当該視点の位置もこの段階で未知である、よって、ここでは、大凡の値を初期値として設定する。なお、カメラ位置は、利用するカメラの投影原点の位置として把握される。

例えば、カメラ１０１に時刻Ｔに撮影が命令された場合を考える。ここで、撮影の命令（指示）から実際に撮影が行われるまでの遅延時間の最大値が３０ｍｓと推定されるとする。この場合、３０ｍｓの幅の中央の値を仮定し、Ｔ＋１５ｍｓに撮影が行われたと仮定する。つまり、Ｔ＋１５ｍｓを撮影時刻として仮定する。

そして、Ｔ＋１５ｍｓの時刻に、カメラ１０１が位置すると推定される位置を仮の視点位置Ｘ０１として設定する。

ここで、車両１００におけるカメラ１０１の凡その取り付け位置が判っているとする。この場合、ＩＭＵ１０６に対するカメラ１０１の大凡のオフセット位置に基づき、時刻Ｔにおけるカメラ１０１の大凡の位置Ｘ０が判る。ここで、時刻Ｔにおける車両１００の位置および時刻Ｔにおける車両の速度ベクトルＶから、上記時刻Ｔにおけるカメラ１０１の位置Ｘ０を初期値として、時刻Ｔ＋１５ｍｓにおけるカメラ１０１の位置Ｘ０１を計算で求める。具体的には、Ｘ０１＝Ｘ０＋（Ｖ×１５ｍｓ）により、Ｘ０１を求める。

視点の位置Ｘ０１を仮設定したら、その位置から先に作成したレーザースキャン点群を見た点群画像を作成する。

次に、上記の視点Ｘ０１からレーザースキャン点群を見た点群画像と、時刻Ｔにカメラ１０１に撮影を命令した場合に得られた撮影画像との対応関係を求める。

次に、当該撮影画像の撮影時におけるカメラ１０１の外部標定要素の算出が行われる。以下、この処理について説明する。

点群画像と撮影画像の対応関係が判ることで、撮影画像中の多数の点の絶対座標系における位置が判る。ここで、座標が判明した撮影画像中の多数の点を基準点（標定点）として、後方交会法により、カメラ１０１の絶対座標系における位置を算出する。

また、カメラ１０１の光軸方向と投影原点から見た各点の方向の関係を調べることで、絶対座標系におけるカメラ１０１の向きを算出することができる。この手法は、単写真標定の基本的な手法である。この処理の詳細については、例えば特開２０１６－５７１０８公報に記載されている。

以下、上記カメラの位置と姿勢を求める手法の原理を簡単に説明する。図６において、位置Ｘにカメラがあり、ｐ１～ｐ６はカメラ１０１が撮影した撮影画像の画面中の特徴点であり、Ｐ１～Ｐ６はｐ１～ｐ６に対応するレーザースキャン点群の点である。なお、カメラ位置Ｘは未知であり、カメラの内部標定要素は既知であるとする。また、カメラ位置Ｘは、当該カメラの投影原点（光学原点）であるとする。

ここで、Ｐ１とｐ１を通る方向線、Ｐ２とｐ２を通る方向線、Ｐ３とｐ３を通る方向線、・・・を作成する。これら方向線が交わる点がカメラの位置Ｘとなる。この原理を利用して、ここで対象としている撮影画像の撮影時におけるカメラ１０１の位置（撮影の視点）Ｘ１を算出する。また、位置Ｘ１と画面の中心を通る線が当該カメラの光軸となる。この光軸と上記方向線の関係から、カメラ位置Ｘ１におけるカメラの姿勢が求められる。

なお、上記の複数の方向線の交わる点が確定できない場合、あるいは当該複数の方向線が交差する範囲が予め定めた範囲より大きい場合、時刻Ｔにおけるカメラ位置Ｘ０の値を変更し、再計算を行う。カメラ位置Ｘ０の値を変更し再計算を行う方法の代わり、あるいはそれに加えて、撮影画像上の特徴点と点群画像上の特徴点の対応関係を見直して再計算を行う方法もある。上記の複数の方向線の交わる点が確定、あるいは当該複数の方向線が交差する範囲が予め定めた範囲に収まるＸ１を探索することで、より真値に近い時刻Ｔ＋Δｔ（真の撮影時刻）におけるカメラ１０１の位置Ｘ１を求めることができる。

こうして、時刻Ｔにカメラ１０１に対する撮影を命令した場合に、Δｔ遅延して行われた撮影時におけるカメラ１０１の外部標定要素（位置と姿勢）が求まる（ステップＳ１０３）。この処理がカメラ位置姿勢算出部３０８で行われる。

なお、この段階で得られるカメラ１０１の外部標定要素は、絶対座標系における値である。

この段階では、車両１００におけるカメラ１０１の外部標定要素は未知である。これは、この段階において、Δｔが未知であり、当該撮影画像の撮影時刻が未知であり、この撮影時刻における車両１００の位置が未知だからである。

次に、Δｔの算出が行われる（ステップＳ１０４）。Δｔは、以下のようにして算出される。

ここで、撮影を命令した時刻Ｔにおけるカメラ１０１の位置をＸ０とすると、カメラ１０１による撮影が行われた時刻がＴ＋Δｔであり、その時刻のカメラ位置がＸ１であるので、Ｘ０からＸ１まで車両１００（カメラ１０１）が移動するのに要する時間がΔｔとなる。

ここで、時刻Ｔにおける車両１００の速度が速度Ｖであるとすると、Ｖ＝（Ｘ１－Ｘ０）／Δｔが成立する。つまり、Δｔ＝（Ｘ１－Ｘ０）／ＶによりΔｔを求めることができる。この計算は、遅延時間（Δｔ）取得部３０５で行われる。

ここで、Ｘ１は、図６の原理により計算したカメラ１０１の撮影位置（カメラ位置）である。Ｘ０は、Ｘ１の計算の初期条件として仮定した時刻Ｔにおけるカメラ１０１の位置である。Ｖは、時刻Ｔにおける車両１００の速度である。

また、時刻Ｔにおける車両１００の速度ベクトルは、ＧＮＳＳ位置測定装置１０３、ＩＭＵ１０６、ホイールエンコーダ１０８から得られる計測値に基づき求めることができるので、上記Ｖはこれら計測値から求めることができる。

Δｔの算出後、ここで着目している撮影画像の撮影時Ｔ１＝Ｔ＋Δｔの車両１００におけるカメラ１０１の外部標定要素（位置と姿勢）を求める（ステップＳ１０５）。

すなわち、Δｔが求まることで、カメラ１０１の実際の撮影時刻Ｔ１＝Ｔ＋Δｔが判明する。この結果、時刻Ｔ１における車両１００の位置、つまりカメラ１０１による撮影時の車両１００の位置が分かる。また、時刻Ｔ１におけるＩＭＵ１０６の計測データから車両１００の姿勢が判る。そして、時刻Ｔ１における車両１００の位置と時刻Ｔ１におけるカメラ１０１の位置Ｘ１の関係から、車両１００におけるカメラ１０１の位置が求まる。

また、時刻Ｔ１におけるカメラ１０１の絶対座標系における姿勢は、ステップＳ１０６で算出されている。よって、時刻Ｔ１における車両１００の絶対座標系における姿勢と、時刻Ｔ１におけるカメラ１０１の絶対座標系における姿勢の関係から、車両１００におけるカメラ１０１の姿勢が求まる。こうして、車両１００におけるカメラ１０１の外部標定要素（位置と姿勢）が求まる。これらの処理はカメラ位置姿勢算出部３０７で行われる。

次に、図８を参照して、カメラ１０１が撮影した画像と、レーザースキャナ１０２が取得したレーザースキャンデータに基づく点群画像とを同期させる処理について説明する。なお、図８の処理は、車両１００におけるカメラ１０１の外部標定要素が既知である状態で行なわれる。

まず、レーザースキャナ１０２が得たレーザースキャン点群のデータと、特定の時刻Ｔに出された命令に基づきカメラ１０１が撮影した撮影画像のデータ（画像データ）を取得する（ステップＳ２１１）。ここで、対応するレーザースキャン点群と撮影画像は、同じ対象で重複するものを取得する。

次に、レーザースキャン点群に基づき、複数の視点の位置からの点群画像を複数作成する（ステップＳ２１２）。例えば、時刻Ｔ＋１ｍｓの位置を視点とした点群画像、時刻Ｔ＋２ｍｓの位置を視点とした点群画像、時刻Ｔ＋３ｍｓの位置を視点とした点群画像、・・・時刻Ｔ＋３０ｍｓの位置を視点とした点群画像を作成する。

この結果、例えば図４に例示するように時間軸上で少しずつずれた状態の点群画像が作成される。次に、カメラ１０１が撮影した撮影画像へのステップＳ２１２で作成した点群画像の投影を行う（ステップＳ２１３）。この投影により、重畳投影画像が作成される。なお、実際の処理では、レーザースキャン由来の点群画像から特徴点を抽出した点群特徴点画像を、撮影画像から得た画像特徴点の画像に投影する。

次に、レーザースキャナ１０２によるレーザースキャン由来の点群画像と、カメラ１０１が撮影した画像との投影画面上での残差を算出し（ステップＳ２１４）、この残差が最小となる条件を取得する（ステップＳ２１５）。例えば、図４の４パターンの投影画像の場合、Ｔ＋２０ｍｓの場合が、上記残差が最小の場合となる。

そして、ステップＳ２１５で取得した条件におけるΔｔの値を取得する（ステップＳ２１６）。図４の場合だと、Δｔ＝２０ｍｓが取得される。最後に、ステップＳ２１６で取得したΔｔに基づき、同期処理を行う（ステップＳ２１７）。この同期処理により、レーザースキャナ１０２によるレーザースキャン由来の点群画像と、カメラ１０１が撮影した画像との同期が確保される。

（優位性）
本実施形態では、カメラ１０１からのexposure信号を必要としない。カメラ１０１には、撮影を命令する撮影信号が出されるだけである。そのため、カメラ１０１として多様なものを利用することができる。また、exposure信号を扱うハードウェアを必要とせず、低コスト化が図れる。また、ユーザが用意したカメラを利用する場合の自由度と設定の簡便性が向上する。

（その他）
撮影の間隔は任意に設定することができる。本発明で扱う撮影画像として動画を構成するフレーム画像を利用することもできる。遅延時間（時間オフセット）Δｔの算出を定期的に行ってもよい。この場合、定期的にΔｔが更新される。

移動体は、車両に限定されず、航空機や船舶であってもよい。移動体は、有人であっても無人であってもよい。

図４に例示するカメラが撮影した撮影画像と、レーザースキャン点群由来の点群画像とを重畳した重畳投影画像における撮影画像と点群画像の重なり具合の差の判定として、差が予め定めた閾値以下とする条件も可能である。例えば、両画像の重なり具合の差が１％以下といった条件でΔｔを求めることも可能である。この閾値は、点群の密度や要求される分解能から決めることができる。

２．第２の実施形態
図８のステップＳ２１２で作成する点群画像の視点の範囲を図７の処理で得たカメラ１０１の外部標定要素に基づき決めることができる。前述したように、カメラ１０１の外部標定要素を求めることで、カメラ１０１に撮影を命令してから実際に撮影が行われるまでの遅延時間Δｔが得られる。

このΔｔは、常に一定とは限らないが、大きく変動する可能性は小さい。そこで、外部標定要素から求めたΔｔを参考値として、図４に例示する点群画像の視点の時間位置の範囲（視点の位置の範囲）を決定する。

例えば、ある時刻における外部標定要素から求めたカメラ１０１に係るΔｔがΔｔ＝１５ｍｓであったとする。また、Δｔの変動の範囲が１０ｍｓ程度であるとする。この場合、図４に例示する視点の位置の時刻の設定の範囲を、Ｔ＋１０ｍｓ～Ｔ＋２０ｍｓとする。

この態様によれば、視点の位置を変えたレーザースキャン点群由来の点群画像の作成における視点の範囲（仮設定する遅延時間の範囲）を絞ることができる。また、この範囲が絞られることで、より細かく視点位置が設定でき、最終的に求めるΔｔの精度を高めることができる。また、無駄な演算を削減できる。

３．第３の実施形態
カメラによっては、設定を変更すると、Δｔが変化する場合がある。設定の変更としては、露光時間の変更、連射速度の変更、解像度の変更、光学倍率の変更、消費電力モードの変更等が挙げられる。

このような設定の変更があった場合、それを契機として、Δｔの取得に係る処理を実行する。こうすることで、Δｔの変化に対応することができる。

また、複数のカメラを用いる場合に、使用するカメラを切り替えたことを契機として、Δｔの取得に係る処理を実行する形態も有効である。

１００…車両、１０１…カメラ、１０２…レーザースキャナ、１０３…ＧＮＳＳ位置測定装置、１０６…ＩＭＵ、１０７…ホイールエンコーダ、１０８…演算装置。

Claims (7)

1. 移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得部と、
   時刻Ｔに前記カメラに対して撮影を命令した際にΔｔ遅延して前記カメラによる撮影が行われる場合における前記Δｔを取得する遅延時間取得部と、
   前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像とを視線の方向を合わせた状態で重ねて投影した投影画像を作成する投影部と
   を備え、
   前記移動体における前記レーザースキャナと前記カメラの外部標定要素の関係は既知であり、
   前記投影が、前記点群画像および前記撮影画像の一方または両方の視点の位置を変えて複数行なわれることで、前記投影画像が複数作成され、
   前記Δｔは、複数作成された前記投影画像における前記点群画像と前記撮影画像の重なり具合の差が最小または閾値以下となる条件により求められる光学データ処理装置。
2. 前記レーザースキャン点群と前記撮影画像の対応関係に基づく単写真標定により、前記撮影画像の撮影時における前記カメラの位置を算出するカメラ位置算出部を備え、
   前記撮影画像の撮影を命令した時刻と前記算出された前記カメラの位置の時刻との差に基づき、前記Δtの参考値の算出が行われ、
   前記Δｔの前記参考値に基づき、前記視点の位置の範囲が選択される請求項１に記載の光学データ処理装置。
3. 前記Δｔの前記参考値に対応する位置を中心とした特定の範囲が前記視点の範囲として選択される請求項２に記載の光学データ処理装置。
4. 定期的に前記Δｔの取得が繰り返し行われる請求項１～３のいずれか一項に記載の光学データ処理装置。
5. 前記カメラの設定が変更されたことを契機として、前記Δｔの取得が行われる請求項１～４のいずれか一項に記載の光学データ処理装置。
6. 移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データの取得と、
   時刻Ｔに前記カメラに対して撮影を命令した際にΔｔ遅延して前記カメラによる撮影が行われる場合における前記Δｔの取得と、
   前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像とを視線の方向を合わせた状態で重ねて投影した投影画像の作成と
   を有し、
   前記移動体における前記レーザースキャナと前記カメラの外部標定要素の関係は既知であり、
   前記投影が、前記点群画像および前記撮影画像の一方または両方の視点の位置を変えて複数行なわれることで、前記投影画像が複数作成され、
   前記Δｔは、複数作成された前記投影画像における前記点群画像と前記撮影画像の重なり具合の差が最小または閾値以下となる条件により求められる光学データ処理方法。
7. コンピュータに読み取らせて実行させるプログラムであって、
   コンピュータに
   移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データの取得と、
   時刻Ｔに前記カメラに対して撮影を命令した際にΔｔ遅延して前記カメラによる撮影が行われる場合における前記Δｔの取得と、
   前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像とを視線の方向を合わせた状態で重ねて投影した投影画像の作成と
   を実行させ、
   前記移動体における前記レーザースキャナと前記カメラの外部標定要素の関係は既知であり、
   前記投影が、前記点群画像および前記撮影画像の一方または両方の視点の位置を変えて複数行なわれることで、前記投影画像が複数作成され、
   前記Δｔは、複数作成された前記投影画像における前記点群画像と前記撮影画像の重なり具合の差が最小または閾値以下となる条件により求められる光学データ処理用プログラム。
   
   

Images