JP2022136764A - 光学データ処理装置、光学データ処理方法および光学データ処理用プログラム - Google Patents

Abstract

【課題】簡便な方法で複数の光学データ間の同期を確保する複数の光学データ間の同期をとる光学データ処理装置、方法及びプログラムを提供する。【解決手段】車両１００に搭載された演算装置１０８は、移動している車両に搭載されたレーザースキャナ１０２により得たレーザースキャン点群及び移動している車両に搭載されたカメラ１０１が撮影した撮影画像の画像データを取得する光学データ取得部と、レーザースキャン点群を特定の視点から見た点群画像と撮影画像との対応関係を求める対応関係特定部と、対応関係に基づき単写真標定により撮影画像の撮影時におけるカメラの位置を求めるカメラ位置姿勢算出部と、時刻Ｔにカメラに対して撮影を命令した際にΔｔ遅延してカメラによる撮影が行われる場合におけるΔｔを算出する遅延時間（Δｔ）算出部と、を備える。遅延時間（Δｔ）算出部は、カメラの位置に対応する時刻と前記時刻Ｔの差から、Δｔを算出する。【選択図】図１

Description

本発明は、複数の光学データ間の同期をとる技術に関する。

移動体にレーザースキャナ、カメラ、ＧＮＳＳ位置測定装置、ＩＭＵその他計測機器を搭載し、移動しながら周囲の三次元計測を行う技術が知られている（例えば、特許文献１を参照）。

特開２０１６－５７１０８公報

上記の記述においては、例えば、レーザースキャナが取得したレーザースキャン点群とカメラが撮影した撮影画像との比較、更には両者の統合を行うために、両者を同期させる処理が必要となる。

この同期をとる方法として、カメラに撮影命令信号を出力し、カメラからexposure信号（実際にシャッターを切ったタイミングを示す信号）が出力され、このexposure信号に基づき、撮影画像の撮影時刻の管理を行う方法が採用されている。

上記のexposure信号を用いる方法は、カメラ側にexposure信号を出力する機能が必用であり、また制御側もexposure信号を扱うための設定が必用となる。また、exposure信号を扱う信号伝送手段も必要となる。

このため、全般的に高コスト化し、またシステムとしての汎用性が低下する。また、ユーザが用意したカメラを利用する場合に制限が多く、システムとしての使い勝手が良くない。

このような背景において、本発明は、簡便な方法で複数の光学データ間の同期を確保できる技術の提供を目的とする。

本発明は、移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得部と、前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像との対応関係を求める対応関係特定部と、前記対応関係に基づき単写真標定により前記撮影画像の撮影時における前記カメラの位置Ｘ１を求めるカメラ位置算出部と、時刻Ｔに前記カメラに対して撮影を命令した際にΔｔ遅延して前記カメラによる撮影が行われる場合における前記Δｔを算出する遅延時間算出部とを備え、前記Δｔは、前記Ｘ１に基づき算出される光学データ処理装置である。

本発明において、前記Δｔは、前記時刻Ｔにおける前記カメラの位置をＸ０、前記時刻Ｔにおける前記移動体の速度をＶとして、Δｔ＝（Ｘ１－Ｘ０）／Ｖにより算出される態様が挙げられる。

本発明において、前記Ｘ０として、前記単写真標定における初期条件が採用される態様が挙げられる。

本発明において、前記移動体の位置と時刻の関係は取得されており、前記移動体における前記カメラの位置は既知であり、前記カメラの位置Ｘ１に対応する時刻Ｔ１は、前記Ｘ１、前記移動体の位置と時刻の関係および前記移動体における前記カメラの位置に基づき算出され、前記時刻Ｔと前記時刻Ｔ１の差から前記Δｔが算出される態様が挙げられる。

本発明は、移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得ステップと、前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像との対応関係を求める対応関係特定ステップと、前記対応関係に基づき単写真標定により前記撮影画像の撮影時における前記カメラの位置Ｘ１を求めるカメラ位置算出ステップと、時刻Ｔに前記カメラに対して撮影を命令した際にΔｔ遅延して前記カメラによる撮影が行われる場合における前記Δｔを算出する遅延時間算出ステップとを備え、前記Δｔは、前記Ｘ１に基づき算出される光学データ処理方法として把握することもできる。

本発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得部と、前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像との対応関係を求める対応関係特定部と、前記対応関係に基づき単写真標定により前記撮影画像の撮影時における前記カメラの位置Ｘ１を求めるカメラ位置算出部と、時刻Ｔに前記カメラに対して撮影を命令した際にΔｔ遅延して前記カメラによる撮影が行われる場合における前記Δｔを算出する遅延時間算出部として動作させ、前記Δｔは、前記Ｘ１に基づき算出される光学データ処理用プログラムとして把握することもできる。

本発明によれば、簡便な方法で複数の光学データ間の同期を確保できる技術が得られる。

実施形態の概念図である。 実施形態のブロック図である。 視点を変えた場合の点群画像を示すイメージ図である。 カメラの外部標定要素を求める原理（単写真標定（後方交会法））を示す図である。 処理の手順の一例を示すフローチャートである。

１．第１の実施形態
（構成）
図１は、実施形態の概念図である。図１には、移動体の一例である車両１００が示されている。車両１００は、カメラ１０１、レーザースキャナ１０２、ＧＮＳＳ位置測定装置１０３、ＩＭＵ（慣性計測装置）１０６、ホイールエンコーダ１０７、演算装置１０８を搭載している。

この例では、車両１００を走行させながら、カメラ１０１による対象物２００に対する撮影と、レーザースキャナ１０２による対象物２００に対するレーザースキャンを行う。

車両１００におけるレーザースキャナ１０２、ＧＮＳＳ位置測定装置１０３、ＩＭＵ１０６の位置と姿勢の関係は予め取得され既知である。なお、カメラ１０１の車両１００における大凡の位置と姿勢は判明している。これは、例えば、ユーザによりカメラ１０１が車両に取り付けられた場合を想定している。

カメラ１０１は、デジタルスチールカメラであり、静止画像を撮影する。動画を撮影できるカメラを利用することもできる。この例において、カメラ１０１は、特定の時間間隔で繰り返し静止画像の撮影を行う。動画撮影を行う場合は、動画を構成するフレーム画像が利用される。

カメラ１０１には、撮影命令信号が出力され、この信号を受けてカメラ１０１は撮影を行う。カメラ１０１は、exposure信号またはそれに相当する信号、すなわち撮影を行ったタイミングを確定できる信号を出力しない。カメラ１０１として、exposure信号またはそれに相当する信号を出力する仕様のものを採用することもできる。この場合、exposure信号は利用せず、そのためのハードウェアや設定は必要ない。

撮影命令信号を受けてからカメラ１０１による撮影が行われるタイミングには、遅延時間Δｔがある。最初の段階で遅延時間Δｔは未知である。遅延は、カメラ１０１内部での撮影に必要な処理に要する時間に起因する。Δｔは、カメラの種類や機種によって異なる。また、同じカメラであっても動作モードや撮影条件の違いによってもΔｔが違う場合も有り得る。

なお、撮影時刻は、露光を開始した時刻とする。撮影時刻としては、露光時間の中心の時刻や露光が終わった時刻を採用することもできる。また、カメラ１０１の位置は、カメラ１０１の投影原点（光学原点）の位置として把握される。

レーザースキャナ１０２は、測距用のレーザー光を広範囲あるいは特定の範囲でスキャンして照射することで、レーザースキャンデータを得る。例えば、鉛直面に沿って数ｋHz～数百ｋHzの繰り返し周波数でパルスレーザー光を走査して照射し、線状のレーザースキャンが行われる。車輛１００を走行させながら上記のレーザースキャンを行うことで、特定の範囲のレーザースキャンが行われる。面状に分布した多数のレーザースキャン光を同時に照射し、ある範囲のレーザースキャンデータを同時に得るレーザースキャナを用いることもできる。

レーザースキャナ１０２の位置は、レーザースキャン光の発光点および受光点の原点となる位置として把握される。

レーザースキャナ１０２では、レーザースキャン光の発光時刻、対象物から反射したレーザースキャン光の受光時刻が管理されている。この時刻を刻む時計は、例えばＧＮＳＳ位置測定装置１０３が内蔵する時計が利用される。

ＧＮＳＳ位置測定装置１０３は、ＧＰＳ衛星等の航法衛星から送信される航法信号に基づき絶対座標系（グローバル座標系）における位置の計測を行う。絶対座標系は、地図情報の記述で用いられる座標系である。絶対座標系では、例えば、緯度・経度・標高によって位置が特定される。ＩＭＵ（慣性計測装置）１０６は、加速度と向きの変化を計測する。ホイールエンコーダ１０７は、車両１００の車輪の回転を検出し、車両１００の走行距離（移動量）を計測する。

ＧＮＳＳ位置測定装置１０３の計測値の変化、ＩＭＵ１０６により計測される車両１００の加速度の変化と向き変化、およびホイールエンコーダ１０７により計測される車両１００の走行距離から、時刻に紐付された車両１００の移動軌跡が算出される。

ＧＮＳＳ位置測定装置１０３は、高精度の時計を備えており、この時計を用いて車両１００における時刻が確定される。

図２に演算装置１０８のブロック図を示す。演算装置１０８は、上述したカメラ１０１の遅延時間Δｔに関係する演算を行う。演算装置１０８は、コンピュータであり、ＣＰＵ、データ記憶装置、入出力インターフェース、通信装置を備える。演算装置１０８として、汎用のＰＣ（パーソナル・コンピュータ）を用いることもできる。演算装置１０８を専用のハードウェアで構成してもよい。演算装置１０８での処理をサーバで行う形態も可能である。演算装置１０８の機能を複数のコンピュータを用いて分散して行う形態も可能である。

演算装置１０８は、光学データ取得部３０１、撮影命令信号出力部３０２、速度ベクトル算出部３０３、レーザースキャン点群作成部３０４、視点設定部３０５、点群画像作成部３０６、対応関係特定部３０７、カメラ位置姿勢算出部３０８、遅延時間（Δｔ）算出部３０９、同期処理部３１０を有する。

これらの機能部は、ソフトウェアの実行により、演算装置１０８を構成するコンピュータにより実現される。図２に示す機能部の一以上を専用のハードウェアで構成することも可能である。

光学データ取得部３０１は、カメラ１０１が撮影した画像の画像データと、レーザースキャナ１０２が得たレーザースキャンデータを取得する。また、光学データ取得部３０１は、レーザースキャナ１０２が得たレーザースキャンデータに基づくレーザースキャン点群のデータを取得する。

撮影命令信号出力部３０２は、カメラ１０１に撮影を命令（指示）する信号を出力する。例えば、図１の時刻Ｔに撮影命令信号出力部３０２からカメラ１０１に撮影を命令する撮影命令信号が出力される。

速度ベクトル算出部３０３は、ＧＮＳＳ位置測定装置１０３が測定した車両１００の位置の変化、ＩＭＵ１０６が計測した車両１００の速度の変化および向きの変化、およびホイールエンコーダ１０７が計測した車両１００の車輪の回転数に基づき、車両１００の速度ベクトルを算出する。例えば、特定の時刻や位置における車両１００の速度ベクトルが速度ベクトル算出部３０３により算出される。

レーザースキャン点群作成部３０４は、レーザースキャナ１０２が取得したレーザースキャンデータに基づき、レーザースキャン点群を作成する。レーザースキャナ１０２は、レーザースキャン光の反射点の方向（レーザースキャナから見た方向）と、その点までの距離を計測し、この反射点までの方向と距離のデータをレーザースキャンデータとして出力する。この方向と距離に基づき、反射点（レーザースキャン点）の三次元座標を算出する。この処理がレーザースキャン点群作成部３０４で行われる。この三次元座標が求められた反射点の集合がレーザースキャン点群となる。

レーザースキャナ１０２の車両１００における位置と姿勢は既知であり、車両１００の絶対座標系における位置は、ＧＮＳＳ位置測定装置で測定される。よって、上記のレーザースキャン点群は、絶対座標系上で記述された点群データとなる。

視点設定部３０５は、レーザースキャン点群作成部３０４が作成したレーザースキャン点群を見る視点を設定する。この視点からレーザースキャン点群を見た場合の見た目の点の分布の画像が点群画像となる。

点群画像作成部３０６は、レーザースキャン点群を特定の視点からみた画像である点群画像を作成する。図３には、位置Ｘを視点として作成した点群画像と、位置Ｘ＋Δｘを視点として作成した点群画像が示されている。点群画像は、３次元空間上に分布する点の集合であるレーザースキャン点群を特定の視点から見た場合における見た目の点の集合の状態を示す画像である。当然、視点の位置が違えば、３次元空間に配置された点の集合の見え方は変化する。

対応関係特定部３０７は、撮影画像と点群画像の間の対応関係の特定を行う。対応関係の特定は、テンプレートマッチング等の公知のマッチング手法を用いて行われる。撮影画像と点群画像の間の対応関係の特定の手法としては複数の方法がある。

第１の方法は、撮影画像から特徴点を抽出し、特徴点画像を作成し、この特徴点画像と点群画像の対応関係の特定を行う方法である。第２の方法は、点群画像の基となるレーザースキャン点群に基づく三次元モデルを作成し、この三次元モデルを当該点群画像の視点から見た画像を三次元モデル画像として得、この三次元モデル画像と撮影画像の対応関係の特定を行う方法である。第３の方法は、撮影画像を点で描画した点描画画像に変換し、この点描画画像と点群画像の対応関係の特定を行う手法である。

カメラ位置姿勢算出部３０８は、カメラ位置算出部の一例である。カメラ位置姿勢算出部３０８は、車両１００におけるカメラ１０１の外部標定要素（位置と姿勢）を算出する。この処理の詳細は後述する。

遅延時間（Δｔ）算出部３０９は、カメラ１０１に対して撮影を命令してから実際に撮影が行われるまでの遅延時間Δｔを算出する。この処理の詳細については後述する。

同期処理部３１０は、算出した遅延時間Δｔに基づき、レーザースキャナ１０２が取得したレーザースキャン点群に基づく点群画像と、カメラ１０１が撮影した撮影画像とを同期させる同期処理を行う。

同期処理には、複数の方法がある。第１の方法は、点群画像を時間軸上で移動させ、撮影画像と同期させる方法である。例えば、時刻Ｔにカメラ１０１に撮影を命令した場合にΔｔ遅延して撮影が行われとする。この場合、Ｔ＋Δｔの時刻に対応する位置を視点とした点群画像を作成することで、点群画像と撮影画像の同期をとることができる。

同期処理の第２の方法は、撮影画像の方を時間軸上で移動させる方法である。この場合、Ｔ＋Δｔの時刻に撮影された画像を時刻Ｔの視点の位置から見た画像に変換する。この変換は、例えば射影変換により行う。これにより、時刻Ｔにおける視点でレーザースキャンデータ由来の点群画像と、カメラ１０１が撮影した撮影画像の同期をとることができる。なお、点群画像と撮影画像の両方を時間軸上で移動（視点の空間軸上での移動）を行う形態も可能である。

同期処理の第３の方法は、カメラ１０１の撮影タイミングの遅れを考慮し、予めΔｔ早めたタイミングで撮影の命令を出す方法である。例えば、時刻Ｔに撮影を行いたい場合、時刻Ｔ－Δｔに撮影命令信号をカメラ１０１に向けて出力する。この場合、撮影命令信号を出力してからΔｔ遅延した後の時刻Ｔにカメラ１０１による撮影が行われる。この場合、撮影画像と時刻Ｔの視点から作成した点群画像との同期が確保される。

（処理の一例）
以下、演算装置１０８で行われる処理の一例を説明する。図５は、処理の手順の一例を示すフローチャートである。図５の処理を実行するためのプログラムは、演算装置１０８を構成するＰＣの記憶装置に記憶され、当該ＰＣのＣＰＵにより実行される。当該プログラムを適当な記憶媒体に記憶する形態も可能である。当該プログラムをインターネットに接続されたサーバに記憶し、そこから演算装置１０８を実現するためのＰＣにダウンロードする形態も可能である。

ここでは、初期の段階において、車両１００におけるカメラ１０１の位置と姿勢が大凡判明しているとする。これは、例えば、ユーザがカメラ１０１を用意し、それを車両１００に取り付けた場合を想定している。この場合、カメラを取り付ける位置が予め指定されており、そこにユーザがカメラ１０１をセッティングする。

車両１００におけるレーザースキャナ１０２、ＧＮＳＳ位置測定装置１０３、ＩＭＵ１０６の位置と姿勢の関係は予め求められており、既知であるとする。車両１００の位置は、ＩＭＵ１０６の位置で把握される。

まず、車両１００を図１のＸ軸の方向に走行させた状態で、レーザースキャナ１０２による対象物（例えば建物２００）のレーザースキャンと、同じ対象物に対するカメラ１０１による撮影を行う。この際、ＧＮＳＳ位置測定装置１０３により、車両１００の絶対座標系における位置およびその変化を計測し、車両１００の時刻と紐付された移動経路を把握する。この移動経路の把握では、ＩＭＵ１０６とホイールエンコーダ１０７の計測値も利用する。また、これらの計測値により、移動経路の各点や指定した時刻における車両１００の速度ベクトルを求めることができる。

撮影画像とレーザースキャンデータを取得した後、後処理により、下記の処理を行う。まず、同一の対象物に対するカメラ１０１による撮影画像とレーザースキャナ１０２によるレーザースキャンのデータを光学データ取得部３０１で取得する（ステップＳ１０１）。

次に、ステップＳ１０１で取得したレーザースキャンデータに基づき、レーザースキャン点群作成部３０４でレーザースキャン点群を作成する（ステップＳ１０２）。次に、カメラ１０１の外部標定要素の算出の前準備として、点群画像作成のための視点を仮設定する。（ステップＳ１０３）。この設定は、視点設定部３０４で行われる。

この視点は、対象としている撮影画像のカメラ位置を算出するための初期値となる。この段階において、Δｔは未知であるので、当該視点の位置もこの段階で未知である、よって、ここでは、大凡の値を初期値として設定する。なお、カメラ位置は、利用するカメラの投影原点の位置として把握される。

例えば、カメラ１０１に時刻Ｔに撮影が命令された場合を考える。ここで、撮影の命令（指示）から実際に撮影が行われるまでの遅延時間の最大値が３０ｍｓと推定されるとする。この場合、３０ｍｓの幅の中央の値を仮定し、Ｔ＋１５ｍｓに撮影が行われたと仮定する。つまり、Ｔ＋１５ｍｓを撮影時刻として仮定する。

そして、Ｔ＋１５ｍｓの時刻に、カメラ１０１が位置すると推定される位置を仮の視点位置Ｘ０１として設定する。

ここで、車両１００におけるカメラ１０１の凡その取り付け位置が判っているとする。この場合、ＩＭＵ１０６に対するカメラ１０１の大凡のオフセット位置に基づき、時刻Ｔにおけるカメラ１０１の大凡の位置Ｘ０が判る。ここで、時刻Ｔにおける車両１００の位置および時刻Ｔにおける車両の速度ベクトルＶから、上記時刻Ｔにおけるカメラ１０１の位置Ｘ０を初期値として、時刻Ｔ＋１５ｍｓにおけるカメラ１０１の位置Ｘ０１を計算で求める。具体的には、Ｘ０１＝Ｘ０＋（Ｖ×１５ｍｓ）により、Ｘ０１を求める。

視点の位置Ｘ０１を仮設定したら、その位置からステップＳ１０２で作成したレーザースキャン点群を見た点群画像を作成する（ステップＳ１０４）。点群画像の作成は、点群画像作成部３０６で行われる。

次に、上記の視点Ｘ０１からレーザースキャン点群を見た点群画像と、時刻Ｔにカメラ１０１に撮影を命令した場合に得られた撮影画像との対応関係を求める（ステップＳ１０５）。この処理は、対応関係特定部３０７で行われる。

次に、当該撮影画像の撮影時におけるカメラ１０１の外部標定要素の算出が行われる（ステップＳ１０６）。以下、この処理について説明する。

点群画像と撮影画像の対応関係が判ることで、撮影画像中の多数の点の絶対座標系における位置が判る。ここで、座標が判明した撮影画像中の多数の点を基準点（標定点）として、後方交会法により、カメラ１０１の絶対座標系における位置を算出する。

また、カメラ１０１の光軸方向と投影原点から見た各点の方向の関係を調べることで、絶対座標系におけるカメラ１０１の向きを算出することができる。この手法は、単写真標定の基本的な手法である。この処理の詳細については、例えば特開２０１６－５７１０８公報に記載されている。

以下、上記カメラの位置と姿勢を求める手法の原理を簡単に説明する。図４において、位置Ｘにカメラがあり、ｐ１～ｐ６はカメラ１０１が撮影した撮影画像の画面中の特徴点であり、Ｐ１～Ｐ６はｐ１～ｐ６に対応するレーザースキャン点群の点である。なお、カメラ位置Ｘは未知であり、カメラの内部標定要素は既知であるとする。また、カメラ位置Ｘは、当該カメラの投影原点（光学原点）であるとする。

ここで、Ｐ１とｐ１を通る方向線、Ｐ２とｐ２を通る方向線、Ｐ３とｐ３を通る方向線、・・・を作成する。これら方向線が交わる点がカメラの位置Ｘとなる。この原理を利用して、ここで対象としている撮影画像の撮影時におけるカメラ１０１の位置（撮影の視点）Ｘ１を算出する。また、位置Ｘ１と画面の中心を通る線が当該カメラの光軸となる。この光軸と上記方向線の関係から、カメラ位置Ｘ１におけるカメラの姿勢が求められる。

なお、上記の複数の方向線の交わる点が確定できない場合、あるいは当該複数の方向線が交差する範囲が予め定めた範囲より大きい場合、時刻Ｔにおけるカメラ位置Ｘ０の値を変更し、再計算を行う。カメラ位置Ｘ０の値を変更し再計算を行う方法の代わり、あるいはそれに加えて、撮影画像上の特徴点と点群画像上の特徴点の対応関係を見直して再計算を行う方法もある。上記の複数の方向線の交わる点が確定、あるいは当該複数の方向線が交差する範囲が予め定めた範囲に収まるＸ１を探索することで、より真値に近い時刻Ｔ＋Δｔ（真の撮影時刻）におけるカメラ１０１の位置Ｘ１を求めることができる。

こうして、時刻Ｔにカメラ１０１に対する撮影を命令した場合に、Δｔ遅延して行われた撮影時におけるカメラ１０１の外部標定要素（位置と姿勢）が求まる（ステップＳ１０６）。この処理はカメラ位置姿勢算出部３０８で行われる。

なお、この段階（ステップＳ１０６）で得られるカメラ１０１の外部標定要素は、絶対座標系における値である。

この段階では、車両１００におけるカメラ１０１の外部標定要素は未知である。これは、この段階において、Δｔが未知であり、当該撮影画像の撮影時刻が未知であり、この撮影時刻における車両１００の位置が未知だからである。

次に、Δｔの算出が行われる（ステップＳ１０７）。Δｔは、以下のようにして算出される。

ここで、撮影を命令した時刻Ｔにおけるカメラ１０１の位置をＸ０とすると、カメラ１０１による撮影が行われた時刻がＴ＋Δｔであり、その時刻のカメラ位置がＸ１であるので、Ｘ０からＸ１まで車両１００（カメラ１０１）が移動するのに要する時間がΔｔとなる。

ここで、時刻Ｔにおける車両１００の速度が速度Ｖであるとすると、Ｖ＝（Ｘ１－Ｘ０）／Δｔが成立する。つまり、Δｔ＝（Ｘ１－Ｘ０）／ＶによりΔｔを求めることができる。この計算は、遅延時間（Δｔ）算出部３０９で行われる。

ここで、Ｘ１は、図４の原理により計算したカメラ１０１の撮影位置（カメラ位置）である。Ｘ０は、Ｘ１の計算の初期条件として仮定した時刻Ｔにおけるカメラ１０１の位置である。Ｖは、時刻Ｔにおける車両１００の速度である。

また、時刻Ｔにおける車両１００の速度ベクトルは、ＧＮＳＳ位置測定装置１０３、ＩＭＵ１０６、ホイールエンコーダ１０８から得られる計測値に基づき求めることができるので、上記Ｖはこれら計測値から求めることができる。

Δｔの算出後、ここで着目している撮影画像の撮影時Ｔ１＝Ｔ＋Δｔの車両１００におけるカメラ１０１の外部標定要素（位置と姿勢）を求める（ステップＳ１０８）。

すなわち、Δｔが求まることで、カメラ１０１の実際の撮影時刻Ｔ１＝Ｔ＋Δｔが判明する。この結果、時刻Ｔ１における車両１００の位置、つまりカメラ１０１による撮影時の車両１００の位置が分かる。また、時刻Ｔ１におけるＩＭＵ１０６の計測データから車両１００の姿勢が判る。そして、時刻Ｔ１における車両１００の位置と時刻Ｔ１におけるカメラ１０１の位置Ｘ１の関係から、車両１００におけるカメラ１０１の位置が求まる。

また、時刻Ｔ１におけるカメラ１０１の絶対座標系における姿勢は、ステップＳ１０６で算出されている。よって、時刻Ｔ１における車両１００の絶対座標系における姿勢と、時刻Ｔ１におけるカメラ１０１の絶対座標系における姿勢の関係から、車両１００におけるカメラ１０１の姿勢が求まる。こうして、車両１００におけるカメラ１０１の外部標定要素（位置と姿勢）が求まる。これらの処理はカメラ位置姿勢算出部３０８で行われる。

Δｔを得たら、同期処理を行う（ステッＳ１０９）。同期処理を行うことで、カメラ１０１が撮影した撮影画像とレーザースキャナ１０２が取得したレーザースキャン点群との同期をとることができる。

この同期処理により、レーザースキャナ１０２によるレーザースキャン由来の点群画像と、カメラ１０１が撮影した画像との同期が確保される。

（優位性）
本実施形態では、カメラ１０１からのexposure信号を必要としない。カメラ１０１には、撮影を命令する撮影信号が出されるだけである。そのため、カメラ１０１として多様なものを利用することができる。また、exposure信号を扱うハードウェアを必要とせず、低コスト化が図れる。また、ユーザが用意したカメラを利用する場合の自由度と設定の簡便性が向上する。

（その他）
撮影の間隔は任意に設定することができる。本発明で扱う撮影画像として動画を構成するフレーム画像を利用することもできる。遅延時間（時間オフセット）Δｔの算出を定期的に行ってもよい。この場合、定期的にΔｔが更新される。

移動体は、車両に限定されず、航空機や船舶であってもよい。移動体は、有人であっても無人であってもよい。

２．第２の実施形態
ここでは、車両１００におけるカメラ１０１の位置が既知である場合の例を説明する。なお、車両１００におけるカメラ１０１の姿勢は未知であってもよいし、既知であってもよい。

この場合、車両１００とカメラ１０１の位置の関係に基づき、車両１００の移動軌跡をカメラ１０１の移動軌跡に変換し、カメラ１０１の移動軌跡が得られる。そして、ステップＳ１０６でのカメラ位置が算出された段階で、この算出カメラ位置に最も近い上記カメラの移動軌跡上の時刻を取得する。この時刻が、実際に行なわれたカメラ１０１の撮影時刻Ｔ１＝Ｔ＋Δｔとなる。そして、撮影を命令した時刻Ｔと上記Ｔ１＝Ｔ＋Δｔとの差がΔｔとなる。

３．第３の実施形態
図４に原理を示す後方交会法で求めたカメラ位置と、初期に仮設定した視点の位置に鉛直方向で差がある場合、それはΔｔに起因するより、そもそもの視点の仮設定時に鉛直方向における誤差が存在していた可能性が高い。このような場合、得られた鉛直方向の差を勘案して、再度視点の初期設定を行い、第１の実施形態で説明した後方交会法を用いたカメラ位置の算出を再度行う。そして、再度Δｔの算出を行う。こうすることで、カメラ１０１の外部標定要素の精度とΔｔの精度を高めることができる。

同様なことは、車両の幅方向におけるカメラ位置について、後方交会法で求めたカメラ位置と、初期に仮設定した視点の位置に差がある場合についてもいえる。つまり、車両１００の進行方向に直行する方向について、後方交会法で求めたカメラ位置と、初期に仮設定した視点の位置に差がある場合、その差を是正した初期値を再設定し、再度図４の原理によるカメラ位置の算出を行う。また、この再度算出されたカメラ位置に基づき、Δｔの算出を行う。

４．第４の実施形態
カメラによっては、設定を変更すると、Δｔが変化する場合がある。設定の変更としては、露光時間の変更、連射速度の変更、解像度の変更、光学倍率の変更、消費電力モードの変更等が挙げられる。

このような設定の変更があった場合、それを契機として、Δｔの取得に係る処理を実行する。こうすることで、Δｔの変化に対応することができる。

また、複数のカメラを用いる場合に、使用するカメラを切り替えたことを契機として、Δｔの取得に係る処理を実行する形態も有効である。

５．第５の実施形態
初期に仮設定する視点の位置を複数設定し、後方公交会法（単写真標定）による算出値の収束がより良い視点の位置を選択することも可能である。例えば、仮設定される視点の位置として、Ｔ＋１ｍｓ、Ｔ＋２ｍｓ、Ｔ＋３ｍｓ、・・・Ｔ＋３０ｍｓと１ｍｓ間隔で視点の位置の仮設定を行う。そして、各仮設定位置の視点に関して、第１の実施形態で説明した方法によりカメラ１０１の外部標定要素の算出を行う。

この際、カメラ位置の算出値の収束性の良い仮設定値を、より真値に近い仮設定値として採用する。また、その際に得られた算出値をカメラ１０１の外部標定要素（位置と姿勢）として採用する。

この細かく刻んだ仮設定値の設定は、車両１００の鉛直方向および幅方向において行う形態も可能である。

１００…車両、１０１…カメラ、１０２…レーザースキャナ、１０３…ＧＮＳＳ位置測定装置、１０６…ＩＭＵ、１０７…ホイールエンコーダ、１０８…演算装置。

Claims (6)

1. 移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得部と、
   前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像との対応関係を求める対応関係特定部と、
   前記対応関係に基づき単写真標定により前記撮影画像の撮影時における前記カメラの位置Ｘ１を求めるカメラ位置算出部と、
   時刻Ｔに前記カメラに対して撮影を命令した際にΔｔ遅延して前記カメラによる撮影が行われる場合における前記Δｔを算出する遅延時間算出部と
   を備え、
   前記Δｔは、前記Ｘ１に基づき算出される光学データ処理装置。
2. 前記Δｔは、前記時刻Ｔにおける前記カメラの位置をＸ０、
   前記時刻Ｔにおける前記移動体の速度をＶとして、
   Δｔ＝（Ｘ１－Ｘ０）／Ｖにより算出される請求項１に記載の光学データ処理装置。
3. 前記Ｘ０として、前記単写真標定における初期条件が採用される請求項２に記載の光学データ処理装置。
4. 前記移動体の位置と時刻の関係は取得されており、
   前記移動体における前記カメラの位置は既知であり、
   前記カメラの位置Ｘ１に対応する時刻Ｔ１は、前記Ｘ１、前記移動体の位置と時刻の関係および前記移動体における前記カメラの位置に基づき算出され、
   前記時刻Ｔと前記時刻Ｔ１の差から前記Δｔが算出される請求項１に記載の光学データ処理装置。
5. 移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得ステップと、
   前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像との対応関係を求める対応関係特定ステップと、
   前記対応関係に基づき単写真標定により前記撮影画像の撮影時における前記カメラの位置Ｘ１を求めるカメラ位置算出ステップと、
   時刻Ｔに前記カメラに対して撮影を命令した際にΔｔ遅延して前記カメラによる撮影が行われる場合における前記Δｔを算出する遅延時間算出ステップと
   を備え、
   前記Δｔは、前記Ｘ１に基づき算出される光学データ処理方法。
6. コンピュータに読み取らせて実行させるプログラムであって、
   コンピュータを
   移動している状態にある移動体に搭載されたレーザースキャナにより得たレーザースキャン点群および前記移動している状態にある前記移動体に搭載されたカメラが撮影した撮影画像の画像データを取得する光学データ取得部と、
   前記レーザースキャン点群を特定の視点から見た点群画像と前記撮影画像との対応関係を求める対応関係特定部と、
   前記対応関係に基づき単写真標定により前記撮影画像の撮影時における前記カメラの位置Ｘ１を求めるカメラ位置算出部と、
   時刻Ｔに前記カメラに対して撮影を命令した際にΔｔ遅延して前記カメラによる撮影が行われる場合における前記Δｔを算出する遅延時間算出部と
   して動作させ、
   前記Δｔは、前記Ｘ１に基づき算出される光学データ処理用プログラム。
   
   
   
   

Images