JP2020190427A - 情報端末装置及びプログラム - Google Patents

Abstract

【課題】測位基準設備が発する測位信号から求められることで誤差を含みうる測位情報を、簡素な処理によって補正してその誤差を低減させることのできる情報端末装置を提供する。【解決手段】測位信号を受信して自端末の測位情報を求める測位部1と、他端末が存在しうる空間を撮像して撮像画像を得る撮像部2と、撮像画像を解析して、空間における１つ以上の他端末の相対位置情報を計測する計測部3と、測位信号を受信することで１つ以上の他端末が求めた１つ以上の他端末の測位情報を受け取り、１つ以上の他端末の相対位置情報に対して、受け取った１つ以上の他端末の測位情報のうち、一致すると判定されるものを照合結果として得る照合部4と、求めた自端末の測位情報と、照合結果において得られている１つ以上の他端末の相対位置情報及び測位情報と、を用いて、求めた自端末の測位情報を補正する補正部5と、を備える。【選択図】図２

Description

本発明は、測位基準設備が発する測位信号から求められることで誤差を含みうる測位情報を、簡素な処理によって補正してその誤差を低減させることのできる情報端末装置及びプログラムに関する。

位置を推定する技術としてGPS（全地球測位システム）やWiFi（登録商標）等の電波による測位が広く知られている。しかし、ノイズやフェージング、マルチパス等の影響により精度が十分でないという問題があった。前記の問題に対し、撮像情報を用いて測位情報を補正する方式が提案されている。特許文献１および特許文献２は事前登録されたランドマークを撮像情報から認識し相対位置をもとに測位情報を補正する。非特許文献１は2台のカメラからそれぞれ共通の画像特徴を対応付け、相対位置関係を共有することで位置を特定する。非特許文献２は複数の車がLiDAR（光検出と測距；Light Detection and Ranging）で計測した３次元点群を共有することで位置を特定する。

特開２００９−０２００１４号公報 特開２０１２−１２７８９６号公報

S. Vemprala, et. al., ``Vision Based Collaborative Localization for Multirotor Vehicles,'' IROS, pp. 1653―1658, 2016. Z. XuanYuan, et. al., ``Online Cooperative 3D Mapping for Autonomous Driving,'' IV, pp. 2018.

しかしながら、以上のような従来技術には次の課題があった。

特許文献１および特許文献２は、ランドマークが存在しない場合に適応できないという問題がある。また、ランドマークの形状変化や座標変化が発生した際に、更新作業が膨大になるという問題があるだけでなく、更新漏れがあると正しく認識できないという問題がある。さらに、基準となるランドマークの座標に誤差があることは想定されておらず、当該状況においては誤差が伝播し精度が向上しないという問題がある。非特許文献１は共通の特徴量が得られないと機能しないという問題がある。また、相対的位置関係を求め続けるため誤差が蓄積するという問題がある。非特許文献２はLiDARを必要とするため、小型化・省電力化・低価格化・長寿命化が困難という問題がある。また、計測した３次元点群の膨大なデータを送受信しなければならないという問題がある。

上記従来技術の課題に鑑み、本発明は、測位基準設備が発する測位信号から求められることで誤差を含みうる測位情報を、簡素な処理によって補正してその誤差を低減させることのできる情報端末装置及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は、測位基準設備が発する測位信号を受信して自端末の測位情報を求める測位部と、他端末が存在しうる空間を撮像して撮像画像を得る撮像部と、前記撮像画像を解析して、前記空間における１つ以上の他端末の相対位置情報を計測する計測部と、前記測位信号を受信することで１つ以上の他端末が求めた１つ以上の他端末の測位情報を受け取り、前記１つ以上の他端末の相対位置情報に対して、当該受け取った１つ以上の他端末の測位情報のうち、一致すると判定されるものを照合結果として得る照合部と、前記求めた自端末の測位情報と、前記照合結果において得られている前記１つ以上の他端末の相対位置情報及び測位情報と、を用いて、前記求めた自端末の測位情報を補正する補正部と、を備えることを特徴とする。また、コンピュータを前記情報端末装置として機能させるプログラムであることを特徴とする。

本発明によれば、測位信号に基づいて取得される誤差を含みうる端末の測位情報を、撮像画像から計測される端末間の相対位置情報を用いて簡素に補正することができる。

一実施形態に係る測位システムの構成図である。 一実施形態に係る情報端末装置の機能ブロック図である。 一実施形態に係る情報端末装置の動作のフローチャートである。 照合部による照合処理を模式例によって説明するための図である。 一実施形態に係る測位システム（複数の情報端末装置）での動作のフローを示す図である。 測位部による測位情報の取得の模式例を示す図である。 図６の自端末の推定位置に対して１つの他端末の測位情報の位置をさらに参照することで、この推定位置を補正した補正位置を得ることを示すものである。 図６の自端末の推定位置に対して２つの他端末の測位情報の位置をさらに参照することで、この推定位置を補正した補正位置を得ることを示すものである。 図８の各端末の推定位置が1点としてではなく、これらの位置を確率値のピークとする確率分布で与えられている場合を、確率分布を等高線で示すことによって模式的に示すものである。 一般的なコンピュータ装置におけるハードウェア構成を示す図である。

図１は、一実施形態に係る測位システム100の構成図である。測位システム100は、ユーザUA,UB,UCがそれぞれ保持する情報端末装置10-A,10-B,10-Cを備える。これら情報端末装置10-A,10-B,10-Cは、ユーザUA,UB,UCと共にローカルエリアLA内を移動可能なものである。ローカルエリアLAは例えば街頭における一定範囲などであり、各情報端末装置10-A,10-B,10-Cが互いにカメラによって撮像を行うことが可能である一定範囲である。

また、測位システム100は、各情報端末装置10-A,10-B,10-Cにおいて自身の位置の測位を可能とするための測位信号を発する測位基準設備として、１つ以上のGPS衛星ST及び／又は１つ以上の無線LANのアクセスポイントAPを備える。また、測位システム100は、各情報端末装置10-A,10-B,10-Cが互いに情報を送受信して共有することを可能にするための構成として、各情報端末装置10-A,10-B,10-Cと通信可能に構成されるネットワークNW上のサーバSVを備える。なお、以下の説明では無線LANアクセスポイントAPとして説明するが、これ（１つ以上の無線LANアクセスポイントAPのうちの任意の１つ以上）に加えてあるいは代えて、無線基地局APが測位システム100に備わるものとして、この基地局からの測位信号をアクセスポイントの場合と同様に利用するようにしてもよい。

なお、図１の構成図は測位システム100の模式例を示すものであり、３つの情報端末装置10-A,10-B,10-Cが存在しているが、このような各ユーザによって保持される情報端末装置の総数は３つに限らず、任意の複数であってよい。各情報端末装置は、図１でイラストとして模式的に示されるように、スマートフォンなどで構成されることで各ユーザが携帯するものであってもよいし、これとは異なり、各ユーザが利用する車の車載設備として構成されるものであってもよい。また、ローカルエリアLAは、各情報端末装置ごとに撮像が可能な範囲として定まるものであり、各情報端末装置が移動すれば一般にローカルエリアLAも移動するものである。

図２は、測位システム100における一実施形態に係る情報端末装置10の機能ブロック図である。図２の情報端末装置10は、図１の３つ（あるいは任意の複数）の情報端末装置10-A,10-B,10-Cの任意の１つの機能構成を示すものである。すなわち、情報端末装置10-A,10-B,10-C等はいずれも、図２に示される情報端末装置10の共通の機能構成を有するものである。

情報端末装置10は、測位部1、撮像部2、計測部3、照合部4、補正部5及び通信部6を備える。通信部6は、サーバSVに備わる機能構成である収集部7と通信するように構成されている。図２では、収集部7はサーバSVに備わることで情報端末装置10の外部構成として示されているが、収集部7が情報端末装置10に備わる構成も可能である。

図３は、一実施形態に係る情報端末装置10の動作のフローチャートである。以下、図３の各ステップを説明しながら、情報端末装置10の各機能構成を説明する。

（ステップS1…測位部1）
ステップS1では、測位部1が自端末としての情報端末装置10の位置を測位し、得られた自端末の測位情報を、測位がなされた際の時刻情報（タイムスタンプ）を紐づけたうえで照合部4、補正部5及び通信部6へと出力してから、ステップS2へと進む。

測位部1では、測位基準設備である１つ以上のGPS衛星ST及び／又は無線LANのアクセスポイントAPが発する測位信号を受信することにより、任意の既存手法によるGPS測位及び／又は屋内測位（無線LAN測位）を用いて自身の測位情報を取得することができる。ここで、GPS測位の結果と屋内測位の結果とを組み合わせて測位精度を向上させる任意の既存手法を利用してもよい。測位部1で得る測位情報には、測位結果の信頼性を含めるようにしてもよいし、確率分布の形で測位情報を与えるようにしてもよい。

（ステップS2…撮像部2）
ステップS2では、撮像部2がローカルエリアLA（自端末としての情報端末装置10が存在するエリア）の情景を撮像し、得られた撮像画像に撮像の際の時刻情報（タイムスタンプ）を紐づけたうえで計測部3へと出力してから、ステップS3へと進む。

撮像部2はハードウェアとしてはデジタルカメラ等で実現することができる。情報端末装置10がカメラを備えるスマートフォン等で構成されている場合、自端末を利用するユーザがこのカメラをかざして撮像を行うようにしてよい。情報端末装置10が車載設備で構成されている場合、車両に設置されたカメラで撮像を行うようにしてよい。

（ステップS3…計測部3）
ステップS3では、撮像部2から得られた撮像画像を計測部3が解析することにより、撮像画像内から他端末を検出したうえでこの他端末の自端末を基準とした相対位置情報（例えば方向及び距離で指定可能な相対位置情報）を計測し、得られた相対位置情報を照合部4へと出力してからステップS4へと進む。ここで、相対位置情報には対応する撮像画像の時刻情報をそのまま紐づけたうえで、照合部4へと出力される。

ここで、計測部3による検出及び計測は以下のようにすればよい。

（計測部3による検出）
撮像画像内から検出する他端末に関しては、他端末それ自体あるいは他端末と共に移動するオブジェクト（ユーザ又は車両など）として検出するものとし、少なくともそのオブジェクト種別が予め既知であるものとする。この既知のオブジェクト種別の情報を参照して、SIFT（スケール不変特徴変換）特徴量などの画像特徴量によるオブジェクト認識あるいは深層学習によるオブジェクト認識などの画像処理分野の任意の既存手法を用いることにより、撮像画像内から所定種類のオブジェクトの領域として、計測部3は他端末が存在する画像内位置を検出することができる。ここで、オブジェクトの領域の代表位置（重心など）を画像内位置としてよい。

（計測部3による計測）
計測部3ではさらに、上記検出した画像内位置に対応する、情報端末装置10（より正確には、撮像部2を構成するハードウェアとしてのカメラのカメラレンズ中心）を基準とした３次元カメラ座標系での位置を、他端末の相対位置として計測する。この相対位置の計測には画像処理分野の任意の既存手法を利用してよく、例えば運動視差やステレオ視による３次元復元を利用してよい。運動視差の場合、撮像部2では映像として撮像を行っておき、直近の別時刻（他端末の移動が無視できる程度の別時刻）において別角度で撮像された撮像画像における他端末の検出結果も利用すればよい。ステレオ視差の場合、撮像部2を構成するカメラをステレオカメラとして用意しておけばよい。

計測部3はさらにハードウェアとして、撮像部2を構成するハードウェアとしてのカメラが撮像している方位を取得する方位センサを含めて構成されることで、相対位置を求めるのに用いた撮像画像を撮像した際の方位を取得し、他端末の相対位置を、方位（実世界であるローカルエリアLAでの方位）も特定したうえでの３次元カメラ座標系の位置として計測するようにしてよい。

（ステップS4…通信部6による自端末の測位情報の送信）
ステップS4では、測位部1から得た自端末としての情報端末装置10の測位情報を通信部6がネットワークNW上のサーバSVの収集部7へと送信してから、ステップS5へと進む。

（ステップS5…通信部6による他端末の測位情報の受信）
ステップS5では、通信部6がネットワークNW上のサーバSVの収集部7より１つ以上の他端末の測位情報を受信し、この他端末の測位情報を照合部4及び補正部5へと出力してから、ステップS6へと進む。

ここで、以上のステップS4及びS5に関して補足及び別実施形態を説明する。

ステップS4によってサーバSVの収集部7では、複数の情報端末装置10の各々から送信される測位情報を受信し、保存していることから、ステップS5において各情報端末装置10に向けて、他端末の測位情報を送信することが可能となる。例えば、図１の例のように３つの情報端末装置10-A,10-B,10-Cが存在して、収集部7ではこれらから測位情報を受信している場合、情報端末装置10-Aに対して、他端末である情報端末装置10B,10Cの測位情報を送信することができる。

通信部6ではステップS4で自端末の測位情報を収集部7へと送信する際には、自端末のID（識別子）を紐づけて送信することで、ステップS5において収集部7が情報端末装置10の各々の通信部6に、他端末に該当する測位情報を送信可能とすることができる。あるいは、別実施形態として、測位情報にはIDを紐づけず、収集部7では保存している測位情報の全て（現時刻に近いもの、あるいは未送信のもの）を情報端末装置10の各々に送信し、情報端末装置10の各々において、自端末が送信したのと異なる測位情報が他端末に該当するものであると識別したうえで、照合部4及び補正部5に他端末の測位情報として出力するようにしてもよい。

（ステップS6…照合部4）
ステップS6では照合部4が、測位部1にて得られた自端末の測位情報pos_[自端末]に対して計測部3にて得られた１つ以上の相対位置情報（位置の変位を表す情報）rel_[i]（iは各相対位置情報のインデクスであり、i=1,2,…,N）をそれぞれ加算した位置情報pos_[自端末]+rel_[i]（i=1,2,…,N）のそれぞれに対して、通信部6から得られた１つ以上の他端末の測位情報pos_{[他端末(j)]}(jは他端末の測位情報のインデクスであり、j=1,2,…,M)を照合し、最も近い他端末の測位情報を照合結果として補正部５へと出力してから、ステップS7へと進む。

すなわち、インデクスi=1,2,…,Nでそれぞれが指定される加算された位置情報pos_[自端末]+rel_[i]に対して、インデクスj=1,2,…,Mでそれぞれが指定される他端末(j)の測位情報pos_{[他端末(j)]}のうち、以下の式(1)のように位置の相違（両位置の間の距離）が最も小さいものj=j(i)が、照合結果(i,j(i))として得られる。なお、位置情報の加算や相違（差）に関しては３次元空間内のベクトルとして計算すればよい。位置の相違を評価するための距離（以下の式での絶対値|・|）はユークリッド距離を用いればよい。

なお、上記において他端末(j)としているが、これは測位情報のインデクスであって、他端末がインデクスjをIDとして一意に識別されることを意味するわけではない。（なお、後述するように他端末がIDで一意に識別される実施形態と、この識別がなされない実施形態とのいずれも可能である。）

ここで、次のステップS7（補正部5）の説明のために、加算した位置情報pos_[自端末]+ rel_[i]（i=1,2,…,N）のN個全体のうち、i=1,2,…,nで指定されるn個が照合結果で得られたものとする。n≦N且つn≦Mとなる。

図４は、照合部4による照合処理を模式例によって説明するための図である。なお、図４では、説明のための模式例として各位置や各相対位置を２次元平面上において与えているが、一般にはこれらは３次元空間内において与えられるものである。

図４では、測位部1にて得られた自端末の測位情報PA（測位情報が表す位置PA）と、計測部3にて得られた２つの相対位置情報V1,V2（相対位置情報が表す変位V1,V2、図４では矢印ベクトルとして表記）と、が示されている。さらに、自端末の測位情報PAに１つめの相対位置情報V1を加算したものとして位置情報PA1が示され、自端末の測位情報PAに２つめの相対位置情報V2を加算したものとして位置情報PA2が示されている。

また、図４では通信部6から得られた３つの他端末の測位情報PB,PC,PD（自端末の位置情報PAと同様にその位置PB,PC,PDを表す）が示されている。この例においては、加算で得られる１つめの位置情報PA1に最も近いものは１つめの他端末の測位情報PBであり、加算で得られる２つめの位置情報PA2に最も近いものは２つめの他端末の測位情報PCであるものとして、照合結果が得られる。なお、３つめの他端末の測位情報PDに関しては、照合されなかったという結果となる。

なお、図４の例に前述の式による表記を割り当てると例えば以下の通りである。
pos_[自端末]=PA
相対位置情報のインデクスi=1,2
rel_[1]=V1, rel_[2]=V2
pos_[自端末]+rel_[1]=PA1, pos_[自端末]+rel_[2]=PA2
他端末測位情報のインデクスj=1,2,3
pos_{[他端末(1)]}=PB, pos_{[他端末(2)]}=PC, pos_{[他端末(3)]}=PD
照合結果{(i,j(i))}={(1,1), (2,2)}

照合部4では、照合処理の際の一実施形態として、撮像部2で得た撮像画像が撮影されている方位（前述した計測部3にハードウェアとして含まれる方位センサにおいて取得可能な方位）の情報を利用して、通信部6から得られる複数の他端末の測位情報のうち、この方位に整合するもののみに、すなわち、この方位によって定まる、撮像部2をハードウェアとして構成するカメラが撮像可能な所定の画角範囲内に収まっているもののみに、照合処理を行う対象を限定するようにしてもよい。

この照合処理の対象を限定する例として図４では、カメラが撮像する方位の例として方位OAが示され、自端末の位置情報PAを起点として方位OAを向いた所定の画角範囲RAがグレーの扇型（図４は模式例として２次元平面上で扇型の範囲として示すが、一般に３次元空間では錐体となる）として示されている。図４の例では、通信部6から得られた３つの他端末の測位情報PB,PC,PDのうち、この所定の画角範囲RAの内部にある２つの測位情報PB,PCのみを照合対象として限定し、この画角範囲RAの外部にある１つの測位情報PDは、カメラが撮像している方位とは逆側にあり、そもそも撮像され得ないものとして照合対象から除外することができる。

（ステップS7…補正部5）
ステップS7にて補正部5は、照合部4で得た照合結果と、この照合結果に対応するものとして測位部1で得た自端末の測位情報及び通信部6で得た他端末の測位情報と、を用いて自端末の測位情報を補正し、補正された自端末の測位情報を出力して、図３のフローは終了する。

補正対象としての測位部1で得た自端末の測位情報（及び同様にして他端末で取得され通信部6で受信する他端末の測位情報）は誤差を含みうるものであるのに対し、補正部5で得られる補正された自端末の測位情報は誤差が低減されたものとなる。補正部5では、自端末及び他端末の測位情報（絶対位置の情報）は誤差を含んでいるが、撮像部2で得た撮像画像を計測部3で計測して得た自端末を基準とした他端末の相対位置情報（照合部4にて照合された相対位置情報）は真値であるものとの想定に基づき、自端末の測位情報を補正する。（なお、この補正と同様の補正により、他端末の測位情報も補正することが可能である。）

一実施形態では補正部5は、照合部4にて照合された相対位置情報（自端末を基準とした他端末の相対位置情報）における自端末の位置を並進移動させることでこの相対位置情報の全体を（自端末及び他端末の測位情報の分布として）並進移動させ、測位によって誤差を含んで得られている自端末及び他端末の測位情報に最もマッチするような並進移動を補正量として決定する。すなわち、照合部4にて照合された相対位置情報は真値であるものと想定し、その絶対位置を、自端末及び他端末の測位情報（測位部1の手法による測位情報）に最も整合するようなものとして決定することで、自端末及び他端末の測位情報を補正する。

具体的に、この一実施形態では補正部5は、照合結果における自端末の測位情報pos_[自端末]に補正変位corを加えたものを補正された自端末の測位情報pos_[自端末]+cor=pos_{[自端末補正]}として求め、補正結果として出力する。ここで上記の考察に基づき、補正された自端末の測位情報pos_{[自端末補正]}を、これを未知数X(=pos_{[自端末補正]})とした関数である以下の補正誤差E(X)を最小化するものとして、式(2),(3)に基づいて求めることができる。

ここで、式(2)において照合部4での照合結果が利用され、w_iは前述した加算される位置情報のインデクスi=1,2,…n（前述の通り、N個全体のうちn個が照合結果）で指定されるi番目の照合結果に対する所定の重み（w_i≧0）である。照合結果の重みとしては、対応する測位情報の信頼度に基づく重み（信頼度が高いほど重みの値が大きい）などを用いてもよいし、定数を用いてもよい。ここで、i=0の項は自端末の測位位置が誤差に寄与することに関する項であり、この項に関しては、以下の2つの式(4)が成立するものとして計算すればよい。
pos_{[他端末j(0)]}=pos_[自端末] 且つ rel_[0]=0 …(4)

すなわち、自端末に関するi=0の項を総和Σから分離することで、式(2)は以下の式(2')のように書くこともできる。w₀は自端末の測位情報が誤差Eに寄与する所定の重みである。（なお、式(2)では式(4)の取決めのもとで自端末・他端末の区別を設けない統一的な簡潔な記載が可能となる。）

具体的に式(3)で誤差E(X)を最小化する解としてのX=pos_{[自端末補正]}に関しては、最小二乗法を用いて解析的に求めることができる。すなわち、3次元空間座標での成分表記でpos_{[自端末補正]}=(x,y,z)とすると、以下の式(5),(6)のように解析解としてpos_{[自端末補正]}を求めることができる。すなわち、補正部5では解析解としての式(5),(6)を用いて、補正された測位情報pos_{[自端末補正]}=(x,y,z)を計算することができる。

式(5)において、(p_ix,p_iy,p_iz)は測位情報pos_{[他端末j(i)]}の3次元空間座標での成分表記である。また、(r_ix,r_iy,r_iz)は相対位置情報rel_[i]の3次元空間座標での成分表記である。これらに関して、i=0の場合は式(4)の通りである。

以上、図３の各ステップを説明した。なお、ステップS7（補正部5）に関しては模式例を後述する。

図５は、一実施形態に係る測位システム100（複数の情報端末装置10）の動作のフローを示す図である。図５では、測位システム100が図１で示したように３つの情報端末装置10-A,10-B,10-Cとこれらの間で情報を送受して共有するためのサーバSVとを備えて構成される場合のこれらの動作フローを、これら各動作主体の動作のタイムラインを縦軸方向に、下方に向けて時刻が進むものとして示している。以下、主に図５を参照して、測位システム100での測位情報の共有と、時刻の同期とに関して説明する。

（測位システム100での測位情報の共有）
図５に示されるように３つの情報端末装置10-A,10-B,10-Cのうちの１つの情報端末装置10-Aは、時間軸上で順番にステップS1-A,S2-A,S3-A,S4,-A,S5-A,S6-A,S7-Aを実行するが、これら各ステップは図３で説明したステップS1,S2,S3,S4,S5,S6,S7をそれぞれ情報端末装置10-Aにおいて実行するものである。残りの２つの情報端末装置10-B,10-Cに関しても同様の符号で示されるように（例えば、ステップS1を情報端末装置10-B,10-Cにおいて実行するのがそれぞれステップS1-B,S1-Cである）、図３で説明した各ステップを実行する。

図３のステップS4,S5に関して、図５で例えば情報端末装置10-AはステップS4-AにおいてサーバSV（収集部7）に自端末10-Aの測位情報を送信し、ステップS5-AにてサーバSVより他端末10-B及び10-Cの測位情報を受信する。そして、残りの２つの情報端末装置10-B,10-Cに関しても同様の送受信を行う。一方、サーバSV（収集部7）においては、ステップS4-Vにおいて、３つの情報端末装置10-A,10-B,10-CがステップS4-A,S4-B,S4-Cで送信してきた各端末の測位情報を受信し、これに対する返信として、ステップS5-Vにおいて、３つの情報端末装置10-A,10-B,10-Cのそれぞれに向けてステップS4-Vで受信した各端末の測位情報（自端末に該当するものを除いてよい）を送信する。

すなわち、以上の図５に示されるように、測位システム100が図１で示したように例えば３つの情報端末装置10-A,10-B,10-C（あるいは３つに限らず任意の複数）で構成される場合、それぞれが図３のフローを実行し、ステップS4,S5での送信及び受信による各端末間での情報共有を可能とするために、これに対する応答の処理としてサーバSV（収集部7）が図５のステップS4-V,S5-Vでの受信及び送信を行う。

また、図１及び図５では各情報端末装置10-A,10-B,10-C等が互いの測位情報を共有するために、別途のサーバSVにおいて収集部7を構成するものとしたが、図１においても説明したように、サーバSVを設けず、収集部7は、各情報端末装置10-A,10-B,10-C等において設け、任意の既存のアドホック通信の手法等を用いて、ローカルエリアLAにおいて測位情報を共有するようにしてもよい。

（測位システム100での測位情報等の時刻の同期）
ある時刻（対象時刻とする）の補正された測位情報を求める場合、測位情報における測位時刻と撮像画像における撮像時刻とは可能な限り、この対象時刻に合致させるようにすることが望ましい。このため、測位システム100を構成する各情報端末装置10-A,10-B,10-C等においては時計を同期しておき、図５に示される各端末の測位ステップS1-A,S1-B,S1-C等及び撮像ステップS2-A,S2-B,S2-C等はこの対象時刻においてなされるようにすればよい。図３では測位ステップS1と撮像ステップS2とをこの順番で描いているが、時刻同期のためにこれらステップS1,S2は並行して実施するようにしてもよい。

この対象時刻を時間軸上で一定間隔ごと（例えば１分毎）に設定しておき、各情報端末装置10-A,10-B,10-C等はこの一定間隔ごとに図３のフローを繰り返して実施することで、測位システム100においては継続してリアルタイムで補正された測位情報を求めるようにしてもよい。

以下、図６〜図８をそれぞれ参照して、測位部1による測位情報が誤差を含みうることの模式例と、情報端末装置10においてこの測位情報（自端末及び他端末の測位情報）を補正しその誤差を低減させることの模式例と、を説明する。なお、図６〜図８の例は、図４の場合と同様に、模式例としてローカルエリアLAの３次元空間を２次元平面であるものとして示している。

図６は、測位部1による測位情報の取得の模式例を示す図である。なお、後述する図７，８の例も、この図６の例を前提とする。図６ではローカルエリアLAでの位置を示すxy座標軸の交点である原点が情報端末装置10-Aの真の位置A=(0,0)であるものとし、位置p,q,r,sに測位基準設備としての無線LANのアクセスポイントAPがあるものとする。各位置はp=(3,2),q=(5,-2),r=(-2,3),s=(-1,-3)であり、測位部1においては測位情報を取得するためにこれらの位置の情報が既知（予め既知、あるいは各アクセスポイントAPからその情報を取得することにより既知）である。

測位部1では、各アクセスポイントAPからの電波強度あるいは電波到達時間により、各アクセスポイントAPと自端末である情報端末装置10-Aとの距離を推定し、この推定距離に等しい半径を有し各アクセスポイントAPの位置p,q,r,sを中心とする円周上のいずれかに自端末が存在するとの仮定を得ることができる。全く誤差のない理想的な状況では、各アクセスポイントAPの位置p,q,r,sを中心とする４つの円が全て通る１点が定まり、この点を自端末の位置として測位情報が取得可能となる。しかしながら、ノイズやフェージング、マルチパス等の影響で距離に誤差が生じるため、４つの円が１点で交わるとは限らず、このような理想的な１点を測位情報として取得できるとは限らない。そこで、既存手法により測位部1では次のように自端末の位置を推定することができる。

以下、説明のため、各アクセスポイントAPの位置を以下のような文字定数を用いて表すこととする。
p=(3,2)=(x1,y1), q=(5,-2)=(x2,y2),r=(-2,3)=(x3,y3),s=(-1,-3)=(x4,y4)

位置p,q,r,sの各アクセスポイントAPと自端末との間の推定距離をr1,r2,r3,r4とし、自端末の未知の位置X（図６では真値として原点Aにある）の座標を(x,y)とすると、位置Xが各円周上にあるものとして以下の式(11)〜(14)が得られる。
(x-x1)²+(y-y1)²=r1² …(11),円Cpの式
(x-x2)²+(y-y2)²=r2² …(12),円Cqの式
(x-x3)²+(y-y3)²=r3² …(13),円Crの式
(x-x4)²+(y-y4)²=r4² …(14),円Csの式

ここで、距離が小さいほどノイズ等の影響が少ないと仮定し、以上の式(11)〜(14)においては、式(14)の位置sのアクセスポイントAPからの距離r4が最小であったものとする。そこで、式(14)から式(11)〜(13)を減算することで、以下の通りの２つの円の交点を通る線分の式(15)〜(17)を得ることができる。直線Lpsは２円Cp,Csの、直線Lqsは２円Cq,Csの、直線Lrsは２円Cr,Csの、それぞれ交点を通る直線である。
2(x1-x4)x+2(y1-y4)y+x4²+y4²-r4²-x1²-y1²+r1²=0 …(15),直線Lpsの式
2(x2-x4)x+2(y2-y4)y+x4²+y4²-r4²-x2²-y2²+r2²=0 …(16),直線Lqsの式
2(x3-x4)x+2(y3-y4)y+x4²+y4²-r4²-x3²-y3²+r3²=0 …(17),直線Lrsの式

そして、図６の例では、これら３直線Lps,Lqs,Lrsが囲む３角形をTAとし、この３角形TAの内部の代表位置a（例えば３角形TAの重心）として、位置Aの推定位置aを得て、測位部1ではこれを測位情報として出力することができる。真の位置Aに対して推定位置aは誤差を含んでいることを図６からも見て取ることができる。なお、この図６の測位手法は従来手法の１例であり、その他の手法を用いてもよい。いずれにしても、測位部1の測位情報は誤差の影響を受けうることとなるが、補正部5においてこれを低減したものとして補正された測位情報を得ることができる。

図７は、図６の自端末の推定位置aに対して１つの他端末（情報端末装置10-B）の測位情報の位置bをさらに参照することで、この推定位置aを補正した補正位置a2を得ることを示すものである。この他端末の真の位置B=(2,0)であるが、これも未知である。

他端末である情報端末装置10-Bは、式(11)〜(17)と同様の手法によりその測位部1において位置Bを推定した位置bを三角形TB内の代表位置として取得し、この情報が自端末である情報端末装置10-Aに共有される。自端末である情報端末装置10-Aでは、補正部5において、式(5),(6)を照合結果に現れた１つの他端末10-B（n=1）に関して、重みを全て等しく1として適用することで、図７に示すように、自端末の推定位置aを補正位置a2へと補正することができる。なお、この補正により同様に、他端末の推定位置bも補正位置b2へと補正することができる。図７において補正位置a2,b2はそれぞれ補正前の推定位置a,bよりも真値A,Bに近いものとして得られていることを見て取ることができる。

図８は、図６の自端末の推定位置aに対して２つの他端末（情報端末装置10-B,10-C）の測位情報の位置b,cをさらに参照することで、この推定位置aを補正した補正位置a3を得ることを示すものである。この２つの他端末の真の位置B=(2,0),C=(1,1)であるが、これも未知である。

他端末である情報端末装置10-B,10-Cはそれぞれ、式(11)〜(17)と同様の手法によりその測位部1において位置B,Cを推定した位置b,cを三角形TB,TC内の代表位置として取得し、この情報が自端末である情報端末装置10-Aに共有される。（なお、図８の位置B,三角形TB,推定位置bは、図７におけるものと同様である。）自端末である情報端末装置10-Aでは、補正部5において、式(5),(6)を照合結果に現れた２つの他端末10-B,10-C（n=2）に関して、重みを全て等しく1として適用することで、図８に示すように、自端末の推定位置aを補正位置a3へと補正することができる。なお、この補正により同様に、２つの他端末の推定位置b,cもそれぞれ補正位置b3,c3へと補正することができる。図８において補正位置a3,b3,c3はそれぞれ補正前の推定位置a,b,cよりも真値A,B,Cに近いものとして得られていることを見て取ることができる。

なお、図７及び図８の例に関して、式(2),(3)で一般的に説明した並進移動による補正変位corは具体的に次のように現れている。図７の例では、始点が推定位置aで終点が補正位置a2となるようなベクトルが補正変位corである。図８の例では、始点が推定位置aで終点が補正位置a3となるようなベクトルが補正変位corである。

また、式(2),(3)で一般的に説明した並進移動による補正変位corによって未知数（ベクトル）Xとしての補正された自端末の測位情報X=pos_[自端末]+cor=pos_{[自端末補正]}を探索する処理は、図７及び図８の例では次のように表現され、図形的に解釈することが可能である。（ただし既に説明したように、このような探索処理を画像処理分野におけるテンプレートマッチングの場合のように実際に行うことなく、式(5),(6)の最小二乗法の結果を用いて解析解により探索結果を得ることが可能である。）

図７の例では、照合された相対位置情報が真値としての変位ベクトルAB（Aが始点、Bが終点）に合致するもの（仮定）であり、この変位ベクトルABのxy平面上における絶対位置を探索する処理が、補正誤差E(X)を最小化するものとして未知数Xを探索する処理に該当する。移動させて探索中の任意の１つの変位ベクトルをA'B'（不図示）とする。（点A,Bのそれぞれの真値としての絶対位置が未知の変位ベクトルABに、探索のための絶対位置を定義して与えたものがA'B'である。すなわち、ABとA'B'とは変位ベクトルとしては同じ値であるが、A'B'には点A',B'の絶対位置が紐づいているという点でABと異なる。）この際、誤差は、移動させる変位ベクトルA'B'における点A'と測位情報aとの距離|A'-a|と、点B'と測位情報bとの距離|B'-b|と、の２乗和として評価される。補正誤差E(X)を最小化するものとしての探索結果位置はベクトルa2-b2の位置となる。

図８の例では、照合された相対位置情報が真値としての２つの変位ベクトルAB,AC（Aが始点、B,Cが終点）に合致するもの（仮定）であり、この２つの変位ベクトルAB,AC（Aを共有して並進移動される三角形ABCとして表現可能）のxy平面上における絶対位置を探索する処理が、補正誤差E(X)を最小化するものとして未知数Xを探索する処理に該当する。図７の例と同様に、変位ベクトルAB,ACペアを移動させて探索中の任意の１つの変位ベクトルペアをA'B',A'C'（不図示）とする。この際、誤差は、並進移動させる三角形A'B'C'における点A'と測位情報aとの距離|A'-a|と、点B'と測位情報bとの距離|B'-b|と、点C'と測位情報cとの距離|C'-c|と、の２乗和として評価される。補正誤差E(X)を最小化するものとしての探索結果位置は三角形a3-b3-c3の位置となる。

以上、本発明の一実施形態によれば、誤差を含みうる自端末及び他端末の測位情報を、撮像画像より計測される、真値であると仮定される自端末から見た他端末の相対位置情報を用いて補正し、測位情報の誤差を低減させることができる。以下、補足事項を説明する。

（１）図３の通信部6によるステップS4,S5（及び対応する収集部7での図５のステップS4-V,S5-V）においては、ステップS4で自端末の測位情報を送信した情報端末装置10-Aに対して、サーバSVにおいてはステップS4-Vで受信している他端末としての情報端末装置10-B,10-C等のうち、この自端末10-Aの測位情報に位置が近いと判定されるもののみを選別して、ステップS5-Vにおいてこの自端末に対して送信するようにしてもよい。

（２）上記と同じく、図３の通信部6によるステップS4,S5（及び対応する収集部7での図５のステップS4-V,S5-V）においては、各情報端末装置10のIDを利用して、サーバSVから各情報端末装置10へと送信する測位情報を選別してもよい。

例えば、各情報端末装置10が車両に設置されるものである場合、車両のナンバープレート（ライセンスプレート）に記載されている車両を一意に識別可能な文字列をIDとして、計測部3において検出及び計測された対象に関して追加処理として、任意の画像認識分野の既存手法（光学文字認識など）により認識し、このIDをサーバSV側に送信し、サーバSVではIDが合致する測位情報のみを情報端末装置10に返信するようにしてもよい。（なお、検出及び計測の際に、一意な画像特徴量などを用いてID認識がなされているのであれば、追加処理としてID認識を行う必要はない。）この際、測位システム100内の各情報端末装置10は、自身のIDを予めサーバSVに登録しておけばよい。

この場合、既にIDによって照合されてサーバSVから他端末の測位情報が返信されるので、ステップS4での照合部4による照合処理は省略してもよい。ここで、既にIDによって照合されているが、自端末の測位情報に相対位置情報を加算したものと、ID照合される他端末の測位情報との位置の相違が閾値よりも大きいものに関しては、ID認識が誤認識であった、あるいは測位情報の誤差が大きすぎたものとして、補正による誤差低減に寄与しないものと判断し、照合結果から除外するようにしてもよい。

（３）既に説明したように、図３のステップS6において照合部4は、加算した位置情報pos_[自端末]+rel_[i]（i=1,2,…,N）のそれぞれに対して、１つ以上の他端末の測位情報pos[他端末(j)](j=1,2,…,M)を照合し、照合結果を得る。この際、重複がないように照合すればよい。このため、式(1)に現れている照合するための差|(pos_[自端末]+rel_[i])-pos_{[他端末(j)]}|をコストとして利用して、割り当て問題に対するハンガリー法（kuhn-munkres algorithm）により、複数間照合での最適な照合結果を得るようにしてもよい。すなわち、式(1)では最小差を照合結果として採用するものとしているが、これに代えて、以下の式(1')のように、個別の照合結果としては差が最小となるものであっても、全体での照合結果としてその他の照合結果のコストを大きくしすぎるものは、全体としての照合結果に採用しないようにしてもよい。また、個別の照合結果において上記の差の最小値が閾値を超えるような加算した位置情報pos_[自端末]+rel_[i]に関しては、照合結果なしと判断してもよい。（なお、式(1)と式(1')とで結果的に同じ照合結果となる場合もありうる。）

（４）図３のステップS7において補正部5は、前述した通り式(2)〜(6)等に基づき補正された自端末の測位情報を得る。ここでは、撮像画像から計測される相対位置情報が真値であるものと想定しているが、撮像画像単独において３次元カメラ座標系での位置を、他端末の相対位置として正確に計測できたとしても、これに紐づける方位センサによって取得された方位に誤差が含まれており、方位を紐づけたことで誤差を含むようになっている場合がありうる。この方位の誤差に対処するため、補正部5では次の追加処理を行ってもよい。具体的に、方位を補正するための所定数K個の所定の回転行列R_k(k=1,2,…,K)を予め用意しておき、式(2),(3)に代えて以下の式(2'),(3')の方針により、方位の変化も含めて最小誤差E(X,k)を探索するようにすればよい。ここで、k=1,2,…,KのR_kに加えてさらに、R₀を恒等変換（回転行列の特別な場合）として、回転させない場合(k=0)と、K個の回転させる場合(k=1,2,…,K)とのK+1個の場合を全て評価すればよい。

ここで、各回転行列R_kを適用した際の最小誤差の場合の最小値を与えるXは式(5),(6)と同様にして解析的に求めることができるので、これら各回転行列R_kを適用した最小誤差E(k)を最小にする場合を最終的な補正結果として求めることができる。

なお、各回転行列R_kも考慮して探索する場合は、補正変位corの探索範囲がこの回転行列R_kの分だけ広がることとなる。例えば図７の例であれば、図７に示される方向での変位ベクトルABのみではなく、これを回転させた合計K個の変位ベクトルR_k(AB)がそれぞれ、並進移動による最小誤差の探索対象となる。図８の例であれば、図８に示される方向での三角形ABCのみではなく、これを回転させた合計K個の三角形R_k(ABC)がそれぞれ、並進移動による最小誤差の探索対象となる。すなわち、照合された相対位置情報において回転を考慮することで、最小誤差の探索対象が広がることとなる。

（５）上記のように方位の誤差を考慮するために各回転行列R_kを用いる場合、図３のステップS6での照合部4による照合処理も、この回転行列R_kを適用したうえで照合するようにすればよい。例えば式(1)に代えて以下の式(1'')を用いればよい。

（６）図３のステップS7において補正部5は、前述した通り式(2)〜(6)等に基づき補正された自端末の測位情報を得る。ここでは、例えば図８で推定位置a,b,cとして示したように、自端末及び他端末の測位情報は1点の座標として推定されていることを前提としたが、測位情報は確率分布（確率の値が高いほどその位置にある可能性が高い）として与えられるものとして、各端末での測位部1において取得してよい。測位情報を確率分布として与えるには任意の既存手法を用いてよい。

図９は、図８の各端末の推定位置a,b,cが1点としてではなく、これらの位置を確率値のピークとする確率分布で与えられている場合を、確率分布を等高線で示すことによって模式的に示すものである。位置a,b,c付近にはこの位置をピークとして端末位置を推定した分布DA,DB,DC（2次元正規分布など）がある。なお、図９では理解促進の便宜上、図８の三角形TA,TB,TCも重ねて描いているが、これらは確率分布を構成するものではない。

確率分布を用いる場合、式(2)に代えて以下の式(2'')で評価するようにすればよい。

式(2'')においてPB_{[他端末j(i)]}（Y）は、他端末j(i)の位置Yにおける確率分布の値であり、測位情報として得られているものである。（式(4)の通りj(0)の場合、自端末を表す。）すなわち、式(2'')ではこの位置Y=X+rel_[i]における確率の値の２乗和で誤差E(X)を評価する。この場合、最小２乗法は適用できないので、最小となる位置Xを探索する必要がある。この探索範囲は、確率分布の値が一定値以上となるような局所的な範囲とすればよい。

（７）図１０は、一般的なコンピュータ装置70におけるハードウェア構成を示す図であり、情報端末装置10及びサーバSVはこのような構成を有する１台以上のコンピュータ装置70として実現可能である。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサ72（GPU（グラフィック演算装置）や深層学習専用プロセッサ等）、CPU71や専用プロセッサ72にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、通信インタフェース75、ディスプレイ76、カメラ77、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース78、測位センサ79及び方位センサ80と、これらの間でデータを授受するためのバスBSと、を備える。

情報端末装置10及びサーバSVの各部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又は専用プロセッサ72によって実現することができる。ここで、撮像関連の処理が行われる場合にはさらに、カメラ77が連動して動作し、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。

撮像部2での撮像はカメラ77において実施することができる。測位センサ79はGPS衛星ST及び／又は無線LANのアクセスポイントAPからの測位信号を少なくとも受信する機能を有する。１つ以上の測位信号から測位情報を求める処理までを測位センサ79に組み込まれた専用回路等で実現してもよいし、CPU71及び／又は専用プロセッサ72によってソフトウェアにより実現してもよい。方位センサ80はカメラ77の撮像している方位を取得するものとして、地磁気センサ及び／又はジャイロセンサ等で構成される。

10…情報端末装置、1…測位部、2…撮像部、3…計測部、4…照合部、5…補正部、6…通信部、SV…サーバ、7…収集部

Claims (9)

1. 測位基準設備が発する測位信号を受信して自端末の測位情報を求める測位部と、
   他端末が存在しうる空間を撮像して撮像画像を得る撮像部と、
   前記撮像画像を解析して、前記空間における１つ以上の他端末の相対位置情報を計測する計測部と、
   前記測位信号を受信することで１つ以上の他端末が求めた１つ以上の他端末の測位情報を受け取り、前記１つ以上の他端末の相対位置情報に対して、当該受け取った１つ以上の他端末の測位情報のうち、一致すると判定されるものを照合結果として得る照合部と、
   前記求めた自端末の測位情報と、前記照合結果において得られている前記１つ以上の他端末の相対位置情報及び測位情報と、を用いて、前記求めた自端末の測位情報を補正する補正部と、を備えることを特徴とする情報端末装置。
2. 前記補正部では、前記照合結果において得られている前記１つ以上の他端末の相対位置情報が真値であるものとし、当該真値であるものとされる相対位置情報を、前記求めた自端末の測位情報の位置を基準とした絶対位置として探索移動した際に、前記求めた自端末の測位情報及び前記照合結果において得られている前記１つ以上の他端末の測位情報に対して、当該探索移動によって最もマッチする際の当該探索移動における変位を補正変位（ｃｏｒ）として求め、当該補正変位を適用することで、前記求めた自端末の測位情報を補正することを特徴とする請求項１に記載の情報端末装置。
3. 前記探索移動は前記空間における並進移動を含んで構成されることを特徴とする請求項２に記載の情報端末装置。
4. 前記探索移動におけるマッチの度合いにおける誤差は距離の２乗和を用いて評価されるものであり、当該誤差に関する最小２乗法により予め求まっている解析解を利用することで、前記探索移動による誤差の評価を実際に行うことなく、並進移動において前記最もマッチする補正移動を求めることを特徴とする請求項３に記載の情報端末装置。
5. 前記求めた自端末の測位情報及び前記受け取った１つ以上の他端末の測位情報は確率分布の形で与えられていることを特徴とする請求項１ないし３のいずれかに記載の情報端末装置。
6. 前記探索移動は、当該真値であるものとされる相対位置情報が方位に関する誤差を含みうるものとして、当該相対位置情報を回転させた情報をも対象として構成されることを特徴とする請求項２ないし５のいずれかに記載の情報端末装置。
7. 前記撮像画像が撮像している方位が取得され、
   前記照合部においては、前記１つ以上の他端末の相対位置情報のうち、前記求めた自端末の測位情報を基準とした際に当該方位に整合した位置にあると判定されるもののみを、前記一致すると判定するための対象として限定することを特徴とする請求項１ないし６のいずれかに記載の情報端末装置。
8. 前記照合部では、前記１つ以上の他端末の相対位置情報に対してそれぞれ前記取得した自端末の測位情報を加算して、前記受け取った１つ以上の他端末の測位情報のうち、一致すると判定されるものを照合結果として得ることを特徴とする請求項１ないし７のいずれかに記載の情報端末装置。
9. コンピュータを請求項１ないし８のいずれかに記載の情報端末装置として機能させることを特徴とするプログラム。