JP2022068577A - 歩行者装置、情報収集装置、基地局装置、測位方法、利用者管理方法、情報収集方法、及び施設監視方法 - Google Patents

Abstract

【課題】歩行者の現在位置を高精度に測定することができ、さらに、処理の高速化を図ると共に処理の負荷を軽減できるようにする。【解決手段】歩行者の足元の路面を撮影するカメラと、歩行者の挙動を検出するセンサと、予め登録地点の路面を撮影したカメラ画像に登録地点の位置情報を対応付けた登録情報を記憶するメモリと、プロセッサとを備えた歩行者装置において、プロセッサが、センサの検出結果から求められる歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測し、その予測結果に基づいてメモリより抽出したカメラ画像と、カメラからリアルタイムに出力されるカメラ画像とを照合し、照合が成功した登録地点のカメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する画像照合測位を行う。【選択図】図３

Description

本発明は、歩行者が所持して歩行者の現在位置を測定する測位を行う歩行者装置、歩行者装置での測位に必要な情報を収集する情報収集装置、歩行者装置での測位に必要な情報を歩行者装置に提供する基地局装置、及び歩行者装置で行われる測位方法、並びに歩行者装置を利用した利用者管理方法、情報収集方法、施設監視方法に関するものである。

ＩＴＳ（Intelligent Transport System：高度道路交通システム）を利用した安全運転支援無線システムでは、車両の位置情報を、車載端末２同士で交換することで、車両同士の事故を回避し、また、車両や歩行者の位置情報を、車載端末２と歩行者端末１との間で交換することで、車両と歩行者との事故を回避する。

車載端末２や歩行者端末１では、主に衛星測位により車両や歩行者の位置情報を取得するが、ＰＤＲ（歩行者自律航法：Pedestrian Dead Reckoning）を利用した測位など、様々な測位方法を採用することができる。このとき、交通事故を防止する上で、高精度な位置情報を取得できる測位方法が望まれる。

そこで、車両や歩行者の周辺をカメラで撮影して、そのカメラ画像に基づいて、車両や歩行者の位置を測定することが考えられる。このようなカメラ画像を用いた測位方法に関連するものとして、道路を撮影したカメラ画像に基づいて、道路の路面に描かれた白線を検知して、車両の位置情報として、車両が走行する走行レーンを認識する技術が知られている（特許文献１～３参照）。また、前方を撮影したカメラ画像に写るランドマークとなる物体（道路の周辺の建物など）に着目して、自装置の位置を測定する技術も知られている。

特許第２７５４８７１号公報 特許第３３３３２２３号公報 特開平６－１４９３６０号公報

さて、歩行者の場合、移動速度や進行方向の変化が顕著なため、ＰＤＲ測位などを採用しても、高精度な測位ができないという問題があった。また、歩行者の前方を撮影したカメラ画像では、前を歩く歩行者などが遮蔽物となって、歩行者の現在地を測定する上で重要となるランドマークとなる物体が隠れてしまい、カメラ画像を利用した測位方法でも、高精度な測位ができないという問題があった。また、歩行者端末は歩行者が所持するために小型化が要求され、この歩行者端末で高精度な測位を行うにあたっては、処理の高速化を図ると共に、処理の負荷を軽減することが望まれる。

そこで、本発明は、歩行者の現在位置を高精度に測定することができ、さらに、処理の高速化を図ると共に処理の負荷を軽減することができる歩行者装置、情報収集装置、基地局装置、及び測位方法を提供することを主な目的とする。

本発明の歩行者装置は、歩行者の足元の路面を撮影するカメラと、歩行者の挙動を検出するセンサと、予め登録地点の路面を撮影したカメラ画像に登録地点の位置情報を対応付けた登録情報を記憶するメモリと、前記センサの検出結果から求められる歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測し、その予測結果に基づいて前記メモリより抽出したカメラ画像と、前記カメラからリアルタイムに出力されるカメラ画像とを照合し、照合が成功した登録地点のカメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する画像照合測位を行うプロセッサと、を備える構成とする。

また、本発明の情報収集装置は、第１の発明に係る歩行者装置に記憶される前記登録情報を収集する情報収集装置であって、歩行者の足元の路面を撮影するカメラと、前記カメラから出力されるカメラ画像の視差に基づいて路面上の２点間の距離を測定する画像視差測量により、路面上に登録地点を順次設定して、その登録地点における前記カメラ画像と位置情報とを対応付けた登録情報を収集するプロセッサと、を備える構成とする。

また、本発明の基地局装置は、第１の発明に係る歩行者装置に情報を提供する基地局装置であって、自装置の周辺エリアにおける登録地点の路面を撮影したカメラ画像と登録地点の位置情報とを対応付けた登録情報を記憶するメモリと、歩行者装置との間で通信を行う通信部と、自装置の周辺の歩行者装置に対して前記登録情報を配信するように前記通信部を制御するプロセッサと、を備える構成とする。

また、本発明の測位方法は、歩行者の現在地の位置情報を取得する測位方法であって、歩行者の足元の路面を撮影するカメラと、歩行者の挙動を検出するセンサと、予め登録地点の路面を撮影したカメラ画像に登録地点の位置情報を対応付けた登録情報を記憶するメモリと、プロセッサとを備えた歩行者装置において、前記プロセッサが、前記センサの検出結果から求められる歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測し、その予測結果に基づいて前記メモリより抽出したカメラ画像と、前記カメラからリアルタイムに出力されるカメラ画像とを照合し、照合が成功した登録地点のカメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する画像照合測位を行う構成とする。

本発明によれば、登録地点の間隔に応じて、歩行者の現在位置を高精度に測定することができる。さらに、歩行者の進行状態に基づいて、登録されたカメラ画像の中から、照合対象となるカメラ画像を絞り込む先読み画像照合が行われる。このため、画像照合において照合対象とするカメラ画像が少なくなるため、画像照合の高速化を図ることができる。また、画像照合に係るプロセッサの負荷を軽減することができる。

第１実施形態に係る交通安全支援システムの全体構成図 第１実施形態に係る歩行者端末１のカメラ１１を示す説明図 第１実施形態に係る歩行者端末１で行われる画像照合処理の概要を示す説明図 第１実施形態に係る登録地点の設定状況を示す説明図 第１実施形態に係る画像位置ＤＢの登録内容を示す説明図 第１実施形態に係る歩行者端末１及び路側機３の概略構成を示すブロック図 第１実施形態に係る歩行者端末１の動作手順を示すフロー図 第１実施形態に係る歩行者端末１の動作手順を示すフロー図 第１実施形態に係る車載端末２の動作手順を示すフロー図 第１実施形態に係る路側機３の動作手順を示すフロー図 第１実施形態の第１変形例に係る画像位置ＤＢの登録内容を示す説明図 第１実施形態の第２変形例に係る歩行者端末１及び路側機３の概略構成を示すブロック図 第２実施形態に係るＤＢ情報収集端末５を用いたＤＢ情報収集の状況を示す説明図 第２実施形態に係るＤＢ情報収集端末５の概略構成を示すブロック図 第２実施形態に係るＤＢ情報収集端末５の動作手順を示すフロー図 第２実施形態の変形例に係る路側機３の概略構成を示すブロック図 第３実施形態に係る歩行者端末１の動作手順を示すフロー図 第４実施形態に係る乗客管理システムの全体構成図 第４実施形態に係る画像位置ＤＢ及び乗客管理ＤＢの登録内容を示す説明図 第４実施形態に係る歩行者端末１及び乗務員端末１０１の概略構成を示すブロック図 第４実施形態に係る歩行者端末１の動作手順を示すフロー図 第４実施形態に係る乗務員端末１０１の動作手順を示すフロー図 第５実施形態に係る顧客管理システムの全体構成図 第５実施形態に係る画像位置ＤＢ及び顧客管理ＤＢの登録内容を示す説明図 第５実施形態に係る歩行者端末１及び店舗端末１１１の概略構成を示すブロック図 第５実施形態に係る歩行者端末１の動作手順を示すフロー図 第５実施形態に係る店舗端末１１１の動作手順を示すフロー図 第６実施形態に係る天気情報配信システムの全体構成図 第６実施形態に係る歩行者端末１及び路側機３の概略構成を示すブロック図 第６実施形態に係る歩行者端末１の動作手順を示すフロー図 第７実施形態に係る施設監視システムの全体構成図 第７実施形態に係る画像位置ＤＢの登録内容を示す説明図 第７実施形態に係る歩行者端末１及び構内端末１３１の概略構成を示すブロック図 第７実施形態に係る歩行者端末１の動作手順を示すフロー図

前記課題を解決するためになされた第１の発明は、歩行者の足元の路面を撮影するカメラと、歩行者の挙動を検出するセンサと、予め登録地点の路面を撮影したカメラ画像に登録地点の位置情報を対応付けた登録情報を記憶するメモリと、前記センサの検出結果から求められる歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測し、その予測結果に基づいて前記メモリより抽出したカメラ画像と、前記カメラからリアルタイムに出力されるカメラ画像とを照合し、照合が成功した登録地点のカメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する画像照合測位を行うプロセッサと、を備える構成とする。

これによると、登録地点の間隔に応じて、歩行者の現在位置を高精度に測定することができる。さらに、歩行者の進行状態に基づいて、登録されたカメラ画像の中から、照合対象となるカメラ画像を絞り込む先読み画像照合が行われる。このため、画像照合において照合対象とするカメラ画像が少なくなるため、画像照合の高速化を図ることができる。また、画像照合に係るプロセッサの負荷を軽減することができる。

また、第２の発明は、自装置の周辺エリアに関する前記登録情報を保持する基地局装置との間で通信を行う通信部を備え、前記通信部は、自装置が前記基地局装置に近づいた際に、その基地局装置から前記登録情報を受信し、前記メモリは、前記通信部により受信した前記登録情報を記憶する構成とする。

これによると、歩行者装置が基地局装置に近づいた際に、その基地局装置から周辺エリアに関する登録情報を受け取ってメモリに記憶すればよく、歩行者装置の通信負荷を軽減すると共にメモリ容量を小さく抑えることができる。

また、第３の発明は、前記プロセッサは、前記センサの検出結果に基づいて特定事象が検知されると、前記画像照合測位により、歩行者の現在地の位置情報を取得し、前記特定事象が検知されないと、衛星測位または前記センサの検出結果に基づく歩行者自律航法による測位により、歩行者の現在地の位置情報を取得する構成とする。

これによると、画像照合測位を必要とする特定事象が検知された場合に、画像照合測位が行われることから、画像照合測位の頻度が減少するため、画像照合に係るプロセッサの負荷を軽減することができる。

また、第４の発明は、前記特定事象が、歩行者の急加速および急な向きの変更の少なくともいずれかである構成とする。

これによると、歩行者の移動速度が急に速くなった場合（急加速）や、歩行者の移動方向が急に変化した場合（急な向きの変更）には、歩行者自律航法による測位による位置情報の信頼度が低下するため、このような場合を特定事象として検知して、画像照合測位を行うことで、歩行者の位置情報の精度を確保することができる。

また、第５の発明は、第１の発明に係る歩行者装置に記憶される前記登録情報を収集する情報収集装置であって、歩行者の足元の路面を撮影するカメラと、前記カメラから出力されるカメラ画像の視差に基づいて路面上の２点間の距離を測定する画像視差測量により、路面上に登録地点を順次設定して、その登録地点における前記カメラ画像と位置情報とを対応付けた登録情報を収集するプロセッサと、を備える構成とする。

これによると、歩行者（作業者）が情報収集装置を所持して対象区間を歩行するだけで、その対象区間の登録情報を収集することができる。このため、登録情報を収集する作業を効率よく行うことができる。なお、画像視差測量では、前回の登録地点を基準にした今回の登録地点の相対的な位置情報を取得できるだけであるため、例えば、原点となる基地局装置の設置位置を基準にして、登録地点の絶対的な位置情報（緯度経度）を取得するようにしてもよい。

また、第６の発明は、第１の発明に係る歩行者装置に情報を提供する基地局装置であって、自装置の周辺エリアにおける登録地点の路面を撮影したカメラ画像と登録地点の位置情報とを対応付けた登録情報を記憶するメモリと、歩行者装置との間で通信を行う通信部と、自装置の周辺の歩行者装置に対して前記登録情報を配信するように前記通信部を制御するプロセッサと、を備える構成とする。

これによると、歩行者装置が基地局装置に近づいた際に、その基地局装置から周辺エリアに関する登録情報を歩行者装置が受け取ってメモリに記憶すればよく、歩行者装置の通信負荷を軽減すると共に歩行者装置のメモリ容量を小さく抑えることができる。

また、第７の発明は、歩行者の現在地の位置情報を取得する測位方法であって、歩行者の足元の路面を撮影するカメラと、歩行者の挙動を検出するセンサと、予め登録地点の路面を撮影したカメラ画像に登録地点の位置情報を対応付けた登録情報を記憶するメモリと、プロセッサとを備えた歩行者装置において、前記プロセッサが、前記センサの検出結果から求められる歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測し、その予測結果に基づいて前記メモリより抽出したカメラ画像と、前記カメラからリアルタイムに出力されるカメラ画像とを照合し、照合が成功した登録地点のカメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する画像照合測位を行う構成とする。

これによると、第１の発明と同様に、歩行者の現在位置を高精度に測定することができ、さらに、処理の高速化を図ると共に処理の負荷を軽減することができる。

また、第８の発明は、第１の発明に係る歩行者装置を所持した利用者が滞在する場所を管理する利用者管理方法であって、前記歩行者装置の前記メモリが、前記登録地点のカメラ画像に、前記登録地点の位置情報と共に、当該登録地点が特定場所に含まれるか否かを表す場所情報を対応付けた前記登録情報を記憶し、前記歩行者装置の前記プロセッサが、照合が成功した登録地点のカメラ画像に対応付けられた前記場所情報に基づいて、利用者が前記特定場所にいるか否かを判定する構成とする。

これによると、利用者が特定場所にいるか否かに関する情報を取得することができる。そして、例えば、乗り物の乗客が滞在する客室を特定場所とすると、乗客が乗り物に搭乗しているか否かの搭乗確認を行うことができる。

また、第９の発明は、第１の発明に係る歩行者装置を所持した利用者の施設内での滞在状況を管理する利用者管理方法であって、前記歩行者装置の前記メモリが、前記登録地点のカメラ画像に、前記登録地点の位置情報と共に、当該登録地点が施設内の複数の特定エリアのいずれに位置するかを表す識別情報を対応付けた前記登録情報を記憶し、前記歩行者装置の前記プロセッサが、照合が成功した登録地点のカメラ画像に対応付けられた前記識別情報に基づいて、利用者が滞在する特定エリアを識別する構成とする。

これによると、施設内で利用者がどの特定エリアに滞在しているかに関する情報を取得することができる。そして、例えば、商業施設において、陳列された商品を見る利用者（顧客）が滞在するエリアを特定エリアとすると、商品に対する利用者の関心の度合いに関する情報を収集することができる。また、娯楽施設において、アトラクションを見る利用者が滞在するエリアを特定エリアとすると、アトラクションに対する利用者の関心の度合いに関する情報を収集することができる。

また、第１０の発明は、第１の発明に係る歩行者装置の現在地の天気情報を天気情報収集装置が収集する情報収集方法であって、前記歩行者装置の前記メモリが、前記登録地点のカメラ画像に、前記登録地点の位置情報と共に、撮影時の天気に関する天気情報を対応付けた前記登録情報を記憶し、前記歩行者装置の前記プロセッサが、照合が成功した登録地点のカメラ画像に対応付けられた前記天気情報を、前記歩行者装置の現在地の天気情報として取得して、その天気情報を前記天気情報収集装置に送信するように通信部を制御する構成とする。

これによると、登録地点ごとの天気情報を収集することができる。なお、収集した天気情報を必要に応じて統計処理した上でユーザ装置に配信するようにしてもよく、これにより、細かいエリア単位の天気情報を配信することができる。

また、第１１の発明は、第１の発明に係る歩行者装置を所持した利用者が、施設内の特定エリアに進入したことを検知する施設監視方法であって、前記歩行者装置の前記メモリが、前記登録地点のカメラ画像に、前記登録地点の位置情報と共に、当該登録地点が特定エリアに含まれるか否かを表すエリア情報を対応付けた前記登録情報を記憶し、前記歩行者装置の前記プロセッサが、照合が成功した登録地点のカメラ画像に対応付けられた前記エリア情報に基づいて、歩行者が特定エリアに進入したか否かを判定する構成とする。

これによると、施設内の特定エリアに利用者が進入したことを検知することができる。なお、特定エリアに歩行者が進入した場合に、歩行者に対する注意喚起が行われるものとすると、施設の利用者、特に視覚障害者などの安全を確保することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
図１は、第１実施形態に係る交通安全支援システムの全体構成図である。

この交通安全支援システムは、歩行者及び車両の交通安全を支援するものであり、歩行者端末１（歩行者装置）と、車載端末２（車載装置）と、路側機３（路側装置）と、を備えている。

歩行者端末１、車載端末２、および路側機３の間ではＩＴＳ通信が行われる。このＩＴＳ通信は、ＩＴＳ（Intelligent Transport System：高度道路交通システム）を利用した安全運転支援無線システムで採用されている周波数帯（例えば７００ＭＨｚ帯や５．８ＧＨｚ帯）を利用した無線通信である。なお、本実施形態では、適宜に歩行者端末１と車載端末２との間でのＩＴＳ通信を歩車間通信と呼称し、歩行者端末１と路側機３との間でのＩＴＳ通信を路歩間通信と呼称し、車載端末２と路側機３との間でのＩＴＳ通信を路車間通信と呼称する。また、車載端末２同士の間でもＩＴＳ通信が行われ、このＩＴＳ通信は車車間通信と呼称する。

歩行者端末１は、歩行者が所持する。この歩行者端末１では、ＩＴＳ通信（歩車間通信）により車載端末２との間で、位置情報などを含むメッセージを送受信して、歩行者と車両との衝突の危険性を判定し、衝突の危険性がある場合には、歩行者に対する注意喚起動作を行う。図１に示す例では、歩行者端末１が、歩行者の頭部に装着される眼鏡型のウェアラブルデバイス（スマートグラス）であり、ＡＲ（拡張現実：Augmented Reality）を実現する機能を備えている。

車載端末２は、車両に搭載される。この車載端末２では、ＩＴＳ通信（歩車間通信）により歩行者端末１との間で、位置情報などを含むメッセージを送受信して、歩行者と車両との衝突の危険性を判定し、衝突の危険性がある場合には、運転者に対する注意喚起動作を行う。なお、注意喚起動作は、例えばカーナビゲーション装置などを用いて行われるとよい。

路側機３は、道路の交差点などに設置される。この路側機３では、ＩＴＳ通信（路歩間通信、路車間通信）により、歩行者端末１及び車載端末２に対して、交通情報などの各種の情報を配信する。また、路側機３は、ＩＴＳ通信（路車間通信、路歩間通信）により、自装置の周辺に位置する車両や歩行者の存在を、車載端末２や歩行者端末１に通知する。これにより、見通し外の交差点における衝突を防止することができる。

次に、第１実施形態に係る歩行者端末１のカメラ１１について説明する。図２は、歩行者端末１のカメラ１１を示す説明図である。

図２（Ａ）に示すように、歩行者端末１は、カメラ１１を備えている。このカメラ１１は、歩行者の足元の路面を撮影する。このカメラ１１には、歩行者の頭部の傾きに関係なく、カメラ１１の姿勢（撮影角度）を適切に保持する姿勢保持機構が設けられている。これにより、歩行者が歩行する際などに頭部が揺れても、常に歩行者の足元を撮影したカメラ画像を取得することができる。なお、カメラ１１が真下を撮影すると、カメラ画像に歩行者の身体（例えば脚など）が大きく写り、歩行者の足元の路面が歩行者の身体に隠れた状態となる場合があるため、カメラ１１の撮影角度が前方に少し傾けた状態となるようにしてもよい。

なお、姿勢保持機構としては、例えば、揺動可能に支持されカメラ１１が、重りにより常に下方を向くように設けられた構成とすればよい。また、歩行者の頭部の傾きによるカメラ１１の横向きの揺れや、歩行者の歩行に応じたカメラ１１の縦向きの揺れを抑制するスプリングが設けられた構成としてもよい。また、カメラ１１の姿勢を検出するジャイロセンサの検出結果に基づいて、カメラ１１の揺れを抑制するようにアクチュエータによりカメラ１１の姿勢が制御される構成としてもよい。

また、図２（Ａ）に示す例では、歩行者端末１が、眼鏡型のウェアラブルデバイス（スマートグラス）である。この歩行者端末１のＡＲディスプレイでは、ユーザの現実の視界に入る実空間上に仮想オブジェクトが重畳表示されて、ＡＲが実現される。このＡＲディスプレイには、仮想オブジェクトとして、車両との衝突の危険性を表す画像や、見通し外の交差点において歩行者から直接視認できない車両の画像などが表示される。なお、歩行者端末１は、ユーザの頭部に装着されるヘッドマウント部と、ユーザが携帯する本体部とで構成されるようにしてもよい。

一方、図２（Ｂ）に示す例では、視覚障害者が使用する車輪付きの白杖２１に、歩行者が歩行する路面を撮影するカメラ１１が設けられている。この場合、カメラ１１の姿勢（撮影角度）を適切に保持する姿勢保持機構が設けられるようにしてもよい。これにより、視覚障害者の利便性を高めることができる。また、車輪付きの白杖２１は、一般的な白杖と比べて、上下の動きが少ないため、カメラ１１に上下の揺れが生じにくい利点も得られる。

また、図２（Ｃ）に示す例では、歩行者（児童）が背中に背負うランドセル２２に、カメラ１１が歩行者の後側の足下の路面を撮影するように取り付けられている。この場合、ランドセル２２の下面や後面などにカメラ１１が取り付けられた構成とすればよい。この構成では、歩行者の身体から離してカメラ１１が配置されるため、歩行者の足元の路面が歩行者の身体に大きく隠れた状態となることを避けることができる。

次に、第１実施形態に係る歩行者端末１で行われる画像照合測位の概要について説明する。図３は、歩行者端末１で行われる画像照合処理の概要を示す説明図である。図４は、登録地点の設定状況を示す説明図である。図５は、画像位置ＤＢの登録内容を示す説明図である。

道路の路面は次第に経年劣化する。例えば、道路の路面には、専用塗料（トラフィックペイント）で白線などの路面標示が描かれている。この路面標示にはひび割れなどの劣化が発生する。また、アスファルト舗装材にも欠損などの劣化が発生する。このような路面の劣化状態は、地点ごとの固有の特徴を有している。このため、路面の特徴に基づいて、カメラ画像が撮影された地点を特定することができる。

そこで、本実施形態では、予め登録地点の路面を撮影したカメラ画像が、登録地点の位置情報と対応付けて、路側機３に構築された画像位置ＤＢ（データベース）に登録される（図５参照）。一方、歩行者端末１では、カメラ１１が、歩行者の足元の路面を撮影して、カメラ画像をリアルタイムに出力する。なお、カメラ１１からリアルタイムに出力されるカメラ画像を適宜に「リアルタイムのカメラ画像」と呼称する。そして、歩行者端末１では、図３に示すように、画像位置ＤＢに登録された登録地点のカメラ画像と、カメラ１１から出力されるリアルタイムのカメラ画像とを照合し、照合が成功した登録地点のカメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する。

また、本実施形態では、図４に示すように、路側機３が交差点に設置されている場合、その路側機３が設置された交差点の周辺エリア、具体的には、路側機３が設置された交差点と、その交差点に接続された道路の所定範囲の区間が、画像位置ＤＢの対象範囲となり、この対象範囲内に、所定間隔（例えば２５ｃｍ）をおいて登録地点が設定される。なお、歩行者は、通常、交差点の横断歩道や、交差点に接続された道路の歩道や路側帯を通行するため、この歩行者が通行する部分に登録地点が設定される。

したがって、図３に示すように、歩行者が、交差点の横断歩道や、道路の歩道や路側帯を通行すると、歩行者端末１では、歩行者の足元の路面が撮影されたリアルタイムのカメラ画像が定期的にカメラから出力されて画像照合が行われ、歩行者が登録地点に到達したタイミングで、画像照合が成功することで、歩行者の現在地が特定される。

また、画像照合処理により、歩行者の進行方向が求められる。すなわち、カメラ画像の向き、例えばカメラ画像の上方の方位（東西南北）が、画像位置ＤＢに登録されていれば、画像照合処理により、画像位置ＤＢに登録されたカメラ画像を回転させて、カメラ１１から出力されるリアルタイムのカメラ画像と向きを一致させることで、リアルタイムのカメラ画像の上方の方位、すなわち、歩行者の進行方向が求められる。

また、本実施形態では、先読み画像照合が行われる。この先読み画像照合では、前回の画像照合が行われた登録地点と、加速度センサ１２及びジャイロセンサ１３（図６参照）の検出結果から求められる歩行者の進行状態とに基づいて、次に歩行者が到達する登録地点が予測され、その予測結果に基づいて、画像位置ＤＢに登録されたカメラ画像の中から、照合対象となるカメラ画像が抽出されて、その抽出されたカメラ画像と、カメラ１１から出力されるリアルタイムのカメラ画像とが照合される。

ここで、本実施形態では、歩行者の進行状態として、ジャイロセンサ１３の検出結果に基づいて測定される歩行者の進行方向と、加速度センサ１２の検出結果に基づいて測定される歩行者の移動速度とが求められ、この歩行者の進行方向と移動速度とに基づいて、次に歩行者が到達する登録地点が予測される。なお、歩行者の進行方向のみに基づいて、次に歩行者が到達する登録地点を予測することもできる。この場合、歩行者の進行方向の先に位置する登録地点が、次に歩行者が到達する登録地点として選択される。

なお、先読み画像照合では、歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測する処理が行われるが、このとき、ＰＤＲ（歩行者自律航法：Pedestrian Dead Reckoning）により歩行者の現在地を推定するＰＤＲ測位が行われ、その結果に基づいて、次に歩行者が到達する登録地点が予測されるものとしてもよい。

このように本実施形態では、歩行者の進行状態に基づいて、画像位置ＤＢに登録されたカメラ画像の中から、照合対象となるカメラ画像を絞り込む先読み画像照合が行われる。このため、画像照合において照合対象とするカメラ画像が少なくなるため、画像照合の高速化を図ることができる。また、画像照合に係るプロセッサの負荷を軽減することができる。

次に、第１実施形態に係る歩行者端末１及び路側機３の概略構成について説明する。図６は、歩行者端末１及び路側機３の概略構成を示すブロック図である。

歩行者端末１は、カメラ１１と、加速度センサ１２と、ジャイロセンサ１３と、衛星測位部１４と、ＩＴＳ通信部１５と、無線通信部１６と、メモリ１７と、プロセッサ１８と、を備えている。なお、歩行者端末１が、眼鏡型のウェアラブルデバイス（スマートグラス）である場合、図示しないＡＲディスプレイを備えている。

カメラ１１は、歩行者の足下を撮影する。

加速度センサ１２は、歩行者の身体に発生する加速度を検出する。ジャイロセンサ１３は、歩行者の身体に発生する角速度を検出する。なお、その他のモーションセンサが設けられるものとしてもよい。

衛星測位部１４は、ＧＰＳ（Global Positioning System）、ＱＺＳＳ（Quasi-Zenith Satellite System）などの衛星測位システムにより自装置の位置を測定して、自装置の位置情報（緯度経度）を取得する。

ＩＴＳ通信部１５は、ＩＴＳ通信（歩車間通信、路歩間通信）により、メッセージをブロードキャストで車載端末２や路側機３に送信し、また、車載端末２や路側機３から送信されるメッセージを受信する。

無線通信部１６は、例えばＷｉＦｉ（登録商標）などの無線通信により、メッセージを路側機３に送信し、また、路側機３から送信されるメッセージを受信する。

メモリ１７は、地図情報や、プロセッサ１８で実行されるプログラムなどを記憶する。また、本実施形態では、メモリ１７が、画像位置ＤＢの登録情報、すなわち、登録地点ごとのカメラ画像及び位置情報を記憶する。なお、本実施形態では、歩行者端末１が、交差点に近づいた際に、その交差点に設置された路側機３から、交差点の周辺エリアに関する画像位置ＤＢの登録情報を取得する。

プロセッサ１８は、メモリ１７に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ１８が、メッセージ制御処理と、衝突判定処理と、注意喚起制御処理と、速度測定処理と、方向測定処理と、照合地点予測処理と、カメラ画像抽出処理と、画像照合処理と、位置情報取得処理とを行う。

メッセージ制御処理では、プロセッサ１８が、車載端末２及び路側機３との間でのＩＴＳ通信のメッセージの送受信を制御する。また、プロセッサ１８が、路側機３との間での無線通信のメッセージの送受信を制御する。

衝突判定処理では、プロセッサ１８が、車載端末２から取得した車両情報に含まれる車両の位置情報、及び衛星測位部１４で取得した歩行者の位置情報などに基づいて、歩行者に車両が衝突する危険性があるか否かを判定する。

注意喚起制御処理では、プロセッサ１８が、衝突判定処理で衝突の危険性があると判定された場合に、歩行者に対する所定の注意喚起動作（例えば音声出力や振動など）を行うように制御する。

速度測定処理では、プロセッサ１８が、加速度センサ１２の検出結果に基づいて歩行者の速度を測定する。歩行者が歩行すると、歩行者の身体に加速度が発生し、この加速度の変化状況に基づいて、歩行者の歩行ピッチが求められる。また、歩行ピッチと歩幅から速度が算出される。なお、歩幅は、歩行者端末１に登録された歩行者の属性（大人、子供など）に基づいて設定されるようにしてもよい。

方向測定処理では、プロセッサ１８が、ジャイロセンサ１３の検出結果に基づいて歩行者の進行方向を測定する。

照合地点予測処理では、プロセッサ１８が、歩行者の現在地の位置情報、移動速度及び進行方向に基づいて、次に歩行者が到達する登録地点を予測する。なお、照合地点予測処理は、歩行者が登録地点に到達して、画像照合測位により、歩行者の現在地の位置情報を取得したタイミングで行われるようにすればよい。

カメラ画像抽出処理では、プロセッサ１８が、予測される登録地点に基づいて、自装置の画像位置ＤＢから、照合対象となるカメラ画像を抽出する。このとき、予測される登録地点のカメラ画像のみを抽出すればよいが、予測される登録地点の周辺の所定範囲に含まれる複数のカメラ画像を抽出するようにしてもよい。また、次に歩行者が到達する登録地点が複数予測される場合に、その複数の予測される登録地点のカメラ画像を抽出するようにしてもよい。

画像照合処理では、プロセッサ１８が、カメラ１１から出力されるリアルタイムのカメラ画像と、カメラ画像抽出処理で抽出した登録地点のカメラ画像とを照合する。このとき、プロセッサ１８が、リアルタイムのカメラ画像及び登録地点のカメラ画像からそれぞれ特徴情報（特徴点の情報）を抽出して、各々の特徴情報を比較することで、カメラ画像の照合が行われる。なお、この画像照合処理は、ＡＩ（人工知能）を用いて行われるようにしてもよい。

位置情報取得処理では、プロセッサ１８が、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する。

なお、車載端末２も、プロセッサおよびメモリ（図示せず）を搭載し、メモリに記憶されたプログラムを実行することで、メッセージ制御処理、衝突判定処理、および注意喚起制御処理などを行うことができる。

路側機３は、ＩＴＳ通信部３１と、無線通信部３２と、メモリ３３と、プロセッサ３４と、を備えている。

ＩＴＳ通信部３１は、ＩＴＳ通信（路歩間通信、路車間通信）により、メッセージをブロードキャストで歩行者端末１や車載端末２に送信し、また、歩行者端末１や車載端末２から送信されるメッセージを受信する。

無線通信部３２は、例えばＷｉＦｉ（登録商標）などの無線通信により、メッセージを歩行者端末１に送信し、また、歩行者端末１から送信されるメッセージを受信する。

メモリ３３は、プロセッサ３４で実行されるプログラムなどを記憶する。また、本実施形態では、メモリ３３が、画像位置ＤＢ（図５参照）の登録情報、すなわち、登録地点ごとのカメラ画像及び位置情報を記憶する。

プロセッサ３４は、メモリ３３に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ３４が、メッセージ制御処理と、画像位置ＤＢ管理処理と、を行う。

メッセージ制御処理では、プロセッサ３４が、歩行者端末１及び車載端末２との間でのＩＴＳ通信のメッセージの送受信を制御する。また、プロセッサ３４が、歩行者端末１との間での無線通信のメッセージの送受信を制御する。

画像位置ＤＢ管理処理では、プロセッサ３４が、画像位置ＤＢ（図５参照）を管理する。この画像位置ＤＢには、登録地点ごとのカメラ画像及び位置情報が登録される。本実施形態では、歩行者端末１からの要求に応じて、画像位置ＤＢの登録情報が歩行者端末１に配信される。

なお、画像位置ＤＢの登録情報は、特に限定されないが、第２実施形態に記載されたＤＢ情報収集方法で収集されるようにするとよい。

次に、第１実施形態に係る歩行者端末１、車載端末２、及び路側機３の動作手順について説明する。図７，図８は、歩行者端末１の動作手順を示すフロー図である。図９は、車載端末２の動作手順を示すフロー図である。図１０は、路側機３の動作手順を示すフロー図である。

図７（Ａ）に示すように、歩行者端末１では、まず、衛星測位部１４が、歩行者の位置情報を取得する（ＳＴ１０１）。次に、プロセッサ１８が、歩行者の位置情報に基づいて、歩行者情報を送信する状況か否か、具体的にはユーザが危険エリアに進入したか否かを判定する（ＳＴ１０２）。

ここで、歩行者情報を送信する状況であれば（ＳＴ１０２でＹｅｓ）、プロセッサ１８の送信指示に応じて、ＩＴＳ通信部１５が、歩行者情報（歩行者ＩＤ及び位置情報など）を含むＩＴＳ通信のメッセージを、車載端末２及び路側機３に送信する（ＳＴ１０３）。

図９に示すように、車載端末２では、歩行者端末１からのＩＴＳ通信（歩車間通信）のメッセージを受信すると（ＳＴ２０１でＹｅｓ）、メッセージに含まれる車両の位置情報などに基づいて、自車両が歩行者に衝突する危険性があるか否かの衝突判定を行う（ＳＴ２０２）。

ここで、自車両が歩行者に衝突する危険性がある場合には（ＳＴ２０２でＹｅｓ）、運転者に対する所定の注意喚起動作を行う（ＳＴ２０３）。具体的には、注意喚起動作として、カーナビゲーション装置に注意喚起動作（例えば音声出力や画面表示など）を行わせる。なお、自車両が自動運転車両である場合には、自動運転ＥＣＵ（走行制御装置）に対して、所定の衝突回避動作を行うように指示する。

図１０（Ａ）に示すように、路側機３では、ＩＴＳ通信部３１が、歩行者端末１からのＩＴＳ通信（歩車間通信）のメッセージを受信すると（ＳＴ３０１でＹｅｓ）、プロセッサ３４が、受信したメッセージに含まれる歩行者端末１の端末ＩＤと位置情報とを取得する（ＳＴ３０２）。次に、プロセッサ３４が、歩行者の位置情報に基づいて、歩行者端末１が、画像位置ＤＢの登録情報の対象エリアの周辺（対象エリアの内部または近傍）に位置するか否かを判定する（ＳＴ３０３）。

ここで、歩行者端末１が対象エリアの周辺に位置する場合には（ＳＴ３０３でＹｅｓ）、プロセッサ３４の送信指示に応じて、ＩＴＳ通信部３１が、歩行者端末１が自装置の画像位置ＤＢの登録情報を利用できる旨のＤＢ利用情報を含むＩＴＳ通信のメッセージを歩行者端末１に送信する（ＳＴ３０４）。

図７（Ｂ）に示すように、歩行者端末１では、ＩＴＳ通信部１５が、路側機３から、ＤＢ利用情報を含むＩＴＳ通信のメッセージを受信すると（ＳＴ１１１でＹｅｓ）、プロセッサ１８の送信指示に応じて、無線通信部１６が、ＤＢ登録情報（画像位置ＤＢの登録情報）を要求する無線通信のメッセージを路側機３に送信する（ＳＴ１１２）。

図１０（Ｂ）に示すように、路側機３では、無線通信部３２が、歩行者端末１から、ＤＢ登録情報を要求する無線通信のメッセージを受信すると（ＳＴ３１１でＹｅｓ）、プロセッサ３４の送信指示に応じて、無線通信部３２が、ＤＢ登録情報（画像位置ＤＢの登録情報）を含む無線通信のメッセージを歩行者端末１に送信する（ＳＴ３１２）。

このとき、路側機３の画像位置ＤＢの全ての登録情報が歩行者端末１に送信されるようにしてもよいが、歩行者端末１が利用する可能性が高い一部の登録情報のみが歩行者端末１に送信されるようにしてもよい。具体的には、歩行者端末１の周辺の所定範囲内、特に歩行者の進行方向に位置する所定範囲内の登録情報が歩行者端末１に送信されるようにしてもよい。

図７（Ｃ）に示すように、歩行者端末１では、無線通信部１６が、路側機３から、ＤＢ登録情報を含む無線通信のメッセージを受信すると（ＳＴ１２１でＹｅｓ）、プロセッサ１８が、受信したメッセージに含まれるＤＢ登録情報（画像位置ＤＢの登録情報）を、自装置の画像位置ＤＢに登録する（ＳＴ１２２）。

次に、図８に示すように、歩行者端末１では、プロセッサ１８が、衛星測位部１４による歩行者の位置情報を取得する（ＳＴ１３１）。また、プロセッサ１８が、カメラ１１による歩行者の足元を撮影したリアルタイムのカメラ画像を取得する（ＳＴ１３２）。また、プロセッサ１８が、加速度センサ１２の検出結果に基づいて、歩行者の移動速度を測定する（ＳＴ１３３）。また、プロセッサ１８が、ジャイロセンサ１３の検出結果に基づいて、歩行者の進行方向を測定する（ＳＴ１３４）。

次に、プロセッサ１８が、照合地点予測処理として、歩行者の現在地の位置情報、移動速度及び進行方向に基づいて、次に歩行者が到達する登録地点を予測する（ＳＴ１３５）。

次に、プロセッサ１８が、カメラ画像抽出処理として、予測した登録地点に基づいて、自装置の画像位置ＤＢから、照合対象となるカメラ画像を抽出する（ＳＴ１３６）。

次に、プロセッサ１８が、画像照合処理として、自装置の画像位置ＤＢから抽出したカメラ画像と、カメラ１１から出力されるリアルタイムのカメラ画像とを照合する（ＳＴ１３７）。

この画像照合処理で照合が成功する、すなわち、自装置の画像位置ＤＢから抽出したカメラ画像と、リアルタイムのカメラ画像とが一致する場合には（ＳＴ１３８でＹｅｓ）、プロセッサ１８が、位置情報取得処理として、照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する（ＳＴ１３９）。

なお、本実施形態では、路側機３が、登録地点のカメラ画像を歩行者端末１に提供して、歩行者端末１において画像照合処理が行われるものとしたが、路側機３が、登録地点のカメラ画像から抽出された特徴情報（特徴点の情報）を歩行者端末１に提供するものとしてもよい。この場合、歩行者端末１では、画像照合処理において、路側機３から取得した登録地点の特徴情報と、リアルタイムのカメラ画像から抽出された特徴情報との照合が行われる。また、登録地点のカメラ画像から特徴のある部分の画像を切り出して、その特徴のある部分の画像を用いて画像照合処理が行われるものとしてもよい。このようにすると、路側機３から歩行者端末１に配信する画像位置ＤＢの登録情報の容量を削減して、路側機３と歩行者端末１との間の無線通信の負荷を軽減することができる。

また、路側機３と歩行者端末１の通信手段を全てセルラー通信として、路側機３の機能をクラウド上の配置し、より広い範囲の画像位置ＤＢ管理をするようにしてもよい。

（第１実施形態の第１変形例）
次に、第１実施形態の第１変形例について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１１は、第１実施形態の第１変形例に係る画像位置ＤＢの登録内容を示す説明図である。

歩行者の足下の路面の状態は、環境の変化に応じて異なる。例えば、降雨の場合には、路面は濡れた状態になり、降雪の場合には、路面は積雪した状態になり、晴天や曇天の場合とは大きく異なる。また、夜間の場合には、路面は暗い状態になり、昼間の場合とは大きく異なる。

そこで、本実施形態では、歩行者の足下の路面が撮影されたカメラ画像が天気（例えば晴天、降雨、降雪など）ごとに収集されて、その天気ごとのカメラ画像が画像位置ＤＢに登録される（図１１（Ａ）参照）。歩行者端末１では、画像位置ＤＢに登録された登録地点のカメラ画像とリアルタイムのカメラ画像とが照合される際に、１つの登録地点に関して天気ごとのカメラ画像とリアルタイムのカメラ画像とが照合される。

また、本実施形態では、カメラ画像が時間帯（例えば昼間、夜間）ごとに収集されて、その時間帯ごとのカメラ画像が画像位置ＤＢに登録される（図１１（Ｂ）参照）。歩行者端末１では、画像位置ＤＢに登録された登録地点のカメラ画像とリアルタイムのカメラ画像とが照合される際に、１つの登録地点に関して時間帯ごとのカメラ画像とリアルタイムのカメラ画像とが照合される。

このように本変形例では、異なる環境（天気や時間帯）ごとのカメラ画像とリアルタイムのカメラ画像とが照合されるため、環境の変化に応じた路面の状態の相違が画像照合に与える影響を抑えることができる。

なお、本変形例では、時間帯ごとのカメラ画像が画像位置ＤＢに登録されるものとしたが、時間帯に応じた路面の明るさの相違が画像照合に与える影響を抑えるため、歩行者の足下の路面を照明するライトが歩行者端末１に設けられるようにしてもよい。

（第１実施形態の第２変形例）
次に、第１実施形態の第２変形例について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１２は、第１実施形態の第２変形例に係る歩行者端末１及び路側機３の概略構成を示すブロック図である。

第１実施形態では、歩行者端末１において画像照合測位が行われるものとした。

一方、本変形例では、路側機３において画像照合測位が行われる。

具体的には、歩行者端末１では、衛星測位部１４による歩行者の現在地の位置情報と、カメラ１１によるリアルタイムのカメラ画像と、歩行者の移動速度及び進行方向の情報とが無線通信により路側機３に送信される。

路側機３では、まず、プロセッサ３４が、照合地点予測処理として、歩行者の現在地の位置情報、移動速度及び移動方向に基づいて、次に歩行者が到達する登録地点を予測する。

次に、プロセッサ３４が、カメラ画像抽出処理として、予測した登録地点に基づいて、自装置の画像位置ＤＢから、照合対象となるカメラ画像を抽出する。

次に、プロセッサ３４が、画像照合処理として、歩行者端末１から取得したリアルタイムのカメラ画像と、自装置の画像位置ＤＢから抽出したカメラ画像とを照合する。

この画像照合処理で照合が成功する、すなわち、自装置の画像位置ＤＢから抽出したカメラ画像と、リアルタイムのカメラ画像とが一致すると、プロセッサ３４が、位置情報取得処理として、照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する。

次に、プロセッサ３４の送信指示に応じて、無線通信部３２が、歩行者の現在地の位置情報を歩行者端末１に送信する。

このように本変形例では、路側機３において画像照合測位が行われるため、歩行者端末１のプロセッサ１８の負荷が軽減される。また、歩行者端末１の電力消費が抑制される。

なお、常時、路側機３において画像照合測位が行われるものとしてもよいが、通常の状態では、歩行者端末１において画像照合測位が行われ、特定の状態、例えば、歩行者端末１のバッテリーの残容量が少ない場合にのみ、路側機３において画像照合測位が行われるものとしてもよい。

また、歩行者端末１を所持する歩行者が特定の属性に該当する場合にのみ、路側機３において画像照合測位が行われるものとしてもよい。例えば、高齢者の場合、歩行者端末１の電力消費を抑制して、歩行者端末１の充電にあまり手間がかからない構成とすることが望まれる。そこで、歩行者端末１を所持する歩行者が高齢者である場合に、路側機３において画像照合測位が行われるものとしてもよい。

（第２実施形態）
次に、第２実施形態に係るＤＢ情報収集システムについて説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１３は、ＤＢ情報収集端末５を用いたＤＢ情報収集の状況を示す説明図である。

本実施形態では、ＤＢ情報収集端末５（情報収集装置）を用いて、路側機３に構築される画像位置ＤＢの登録情報、すなわち、登録地点の路面を撮影したカメラ画像と、その登録地点の位置情報とが収集される。

ＤＢ情報収集端末５は、第１実施形態（図２参照）の歩行者端末１と同様に、カメラ５１を備え、このカメラ５１が、歩行者の足下の路面を動画で撮影し、各時刻のカメラ画像（フレーム）を出力する。ＤＢ情報収集端末５では、この各時刻のカメラ画像から、所定の登録地点の路面が撮影されたカメラ画像が、画像位置ＤＢに登録するカメラ画像として抽出される。

具体的には、図１３に示すように、作業者（歩行者）が、ＤＢ情報収集端末５を所持して、路側機３の周辺の対象区間（歩道や横断歩道や路側帯）を歩行し、その間に、ＤＢ情報収集端末５が、画像位置ＤＢの登録情報、すなわち、登録地点の路面を撮影したカメラ画像と、その登録地点の位置情報とを順次収集する。このＤＢ情報収集端末５で収集された登録地点ごとのカメラ画像及び位置情報は、路側機３に構築される画像位置ＤＢに登録される。

また、本実施形態では、画像位置ＤＢにカメラ画像及び位置情報が登録される登録地点が、対象区間の路面上に所定間隔（例えば２５ｃｍ間隔）で設定される（図４参照）。具体的には、前の登録地点を基準にして、その登録地点から所定間隔だけ離れた地点が次の登録地点に設定される。このとき、画像視差測量により、路面上の２点間の距離を測定することで、前の登録地点を基準にした次の登録地点の位置が決定される。

この画像視差測量では、カメラ１１から順次出力される各時刻のカメラ画像（フレーム）に関して、カメラ１１の撮影位置が変化することで発生する視差を検出して、その視差に基づいて、カメラ１１を基準にした足元の路面（平面）の３次元情報が得られ、その３次元情報に基づいて、カメラ１１から足元の路面までの距離が測定されて、３点測量の原理に基づいて、作業者の足元の路面上の２点間の距離が算出される。

また、ＤＢ情報収集端末５では、前の登録地点の位置情報と、登録地点の間隔と、作業者の進行方向とに基づいて、次の登録地点の位置情報が求められる。

ここで、登録地点の間隔は、画像照合測位の測定精度に影響を及ぼし、登録地点の間隔を小さくすることで、画像照合測位の測定精度を高めることができる。例えば、登録地点の間隔を、標準的な歩幅である５０ｃｍの半分の２５ｃｍとすると、画像照合測位の測定精度は２５ｃｍとなる。

また、本実施形態では、画像位置ＤＢにカメラ画像及び位置情報が登録される登録地点が、路側機３の設置地点を基準にして設定される。このため、作業者は、ＤＢ情報収集端末５を所持して、路側機３の近傍から歩行を開始すればよい。この場合、路側機３に近い登録地点から順にカメラ画像及び位置情報が収集される。例えば、路側機３が交差点の角に設置されている場合、作業者は、交差点内の横断歩道や、交差点に接続された道路（歩道、路側帯）を通行するように、路側機３から離れる向きに歩行すればよい。

次に、第２実施形態に係るＤＢ情報収集端末５の概略構成について説明する。図１４は、ＤＢ情報収集端末５の概略構成を示すブロック図である。

ＤＢ情報収集端末５は、カメラ５１と、表示部５２と、入力部５３と、メモリ５４と、プロセッサ５５と、を備えている。

カメラ５１は、作業者の足元の路面を撮影する。

表示部５２は、各種の操作画面を表示する。入力部５３は、作業者による入力操作を検出する。

メモリ５４は、プロセッサ５５で実行されるプログラムなどを記憶する。

プロセッサ５５は、メモリ５４に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ５５が、画像視差測量処理と、ＤＢ情報収集処理とを行う。

画像視差測量処理では、プロセッサ５５が、カメラ５１から順次出力される各時刻のカメラ画像（フレーム）に関して、カメラ５１の撮影位置が変化することで発生する視差を検出して、その視差に基づいて、カメラ５１を基準にした足元の路面（平面）の３次元情報を取得し、その３次元情報に基づいて、カメラ５１から足元の路面までの距離を測定して、３点測量により、作業者の足元の路面上の２点間の距離を算出する。

ＤＢ情報収集処理では、プロセッサ５５が、カメラ５１から順次出力される各時刻のカメラ画像（フレーム）から、登録地点のカメラ画像を抽出し、最初の登録地点のカメラ画像及び位置情報を互いに対応付けてメモリに保存する。このとき、登録地点の位置情報（緯度経度）は、路側機３の設置地点の位置情報（緯度経度）を基準として、画像視差測量で取得した２点間の距離から算出される。

なお、図１３に示した例では、ＤＢ情報収集端末５が、眼鏡型のウェアラブルデバイス（スマートグラス）であるが、このＤＢ情報収集端末５は、スマートフォンでもよい。この場合、ＤＢ情報収集用のアプリケーションがスマートフォンにインストールされる。また、作業者の足下の路面を撮影するカメラ５１が、作業者の身体（例えば頭部）に装着される。カメラ５１は、無線通信または有線通信でスマートフォンと接続され、作業者の足下の路面が撮影されたカメラ画像が、スマートフォンに送信される。

また、本実施形態では、路側機３の設置地点の位置情報（緯度経度）を、作業者が入力部５３を用いて入力するものとしたが、路側機３との間の通信、例えばＩＴＳ通信や無線通信などにより、路側機３の設置地点の位置情報を路側機３から取得するものとしてもよい。

次に、第２実施形態に係るＤＢ情報収集端末５の動作手順について説明する。図１５は、ＤＢ情報収集端末５の動作手順を示すフロー図である。

ＤＢ情報収集端末５では、まず、プロセッサ５５が、入力部５３を用いた作業者の入力操作に応じて、路側機３の設置地点の位置情報（緯度経度）を取得する（ＳＴ５０１）。

次に、プロセッサ５５が、画像視差測量を行い、路側機３の設置地点の位置情報（緯度経度）を基準として、最初の登録地点の位置情報（緯度経度）を取得する（ＳＴ５０２）。次に、プロセッサ５５が、カメラ５１から順次出力される各時刻のカメラ画像（フレーム）から、最初の登録地点のカメラ画像を抽出する（ＳＴ５０３）。そして、プロセッサ５５が、最初の登録地点のカメラ画像及び位置情報を互いに対応付けてメモリ５４に保存する（ＳＴ５０４）。

次に、プロセッサ５５が、ＤＢ情報の収集を継続するか否かを判定する（ＳＴ５０５）。

ここで、ＤＢ情報の収集を継続する場合には（ＳＴ５０５でＹｅｓ）、プロセッサ５５が、画像視差測量を行い、前回の登録地点の位置情報（緯度経度）を基準として、今回の登録地点の位置情報（緯度経度）を取得する（ＳＴ５０６）。

次に、プロセッサ５５が、カメラ５１から順次出力される各時刻のカメラ画像（フレーム）から、今回の登録地点のカメラ画像を抽出する（ＳＴ５０７）。そして、プロセッサ５５が、今回の登録地点のカメラ画像及び位置情報を互いに対応付けてメモリ５４に保存する（ＳＴ５０８）。

次に、ＳＴ５０５に戻り、プロセッサ５５が、ＤＢ情報の収集を継続するか否かを判定する。ここで、ＤＢ情報の収集を継続する場合には（ＳＴ５０５でＹｅｓ）、前記と同様の動作が繰り返される。一方、ＤＢ情報の収集を継続しない場合には（ＳＴ５０５でＮｏ）、処理を終了する。

このように本実施形態では、ＤＢ情報収集端末５が、画像位置ＤＢの登録情報、すなわち、登録地点の路面を撮影したカメラ画像と、その登録地点の位置情報とを、登録地点ごとに収集することができる。収集された登録地点ごとのカメラ画像及び位置情報は、路側機３の画像位置ＤＢに登録される。

（第２実施形態の変形例）
次に、第２実施形態の変形例について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１６は、第２実施形態の変形例に係る路側機３の概略構成を示すブロック図である。

第２実施形態では、ＤＢ情報収集端末５のカメラ５１が、作業者の足下の路面を撮影することで、登録地点ごとのカメラ画像が収集されるものとした。

一方、本変形例では、路側機３が、登録地点ごとのカメラ画像を収集するためのカメラ３５を備えている。このカメラ３５は、歩行者が通行する道路（横断歩道や歩道や路側帯など）の路面を撮影する。

路側機３では、プロセッサ３４が、ＤＢ情報収集処理として、カメラ１１の撮影画像から、登録地点ごとのカメラ画像を抽出する。また、プロセッサ３４が、カメラ１１の撮影画像上での登録地点の位置に基づいて、自装置を基準にした登録地点の相対的な位置情報を取得し、その登録地点の相対的な位置情報と、自装置の設置地点の位置情報とに基づいて、登録地点の絶対的な位置情報（緯度経度）を取得する。相対的な位置情報の取得方法としては、例えば、路側機３に設置されたカメラ１１の視差を利用した３点測量や、路側機３に設置されたレーダ（図示せず）による距離の測定結果に基づいて測位する方法等が考えられる。

（第３実施形態）
次に、第３実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。

第１実施形態では、歩行者端末１において、常時、画像照合測位が行われるものとした。

一方、本実施形態では、画像照合測位を必要とする特定事象が検知された場合にのみ、画像照合測位が行われる。本実施形態では、歩行者の移動速度が急に速くなった場合（急加速）や、歩行者の進行方向が急に変化した場合（急な向きの変更）を、画像照合測位を必要とする特定事象として、画像照合測位が行われる。

ここで、歩行者の急加速は、加速度センサ１２の検出結果から求められる歩行者の移動速度の変化（加速度）が所定のしきい値以上となった場合に検知されるものとすればよい。また、歩行者の急な向きの変更は、ジャイロセンサ１３の検出結果から求められる歩行者の進行方向の変化（角速度）が所定のしきい値以上となった場合に検知されるものとすればよい。

また、本実施形態では、画像照合測位を必要とする特定事象が検知されない場合には、衛星測位とＰＤＲ測位が行われる。すなわち、次に特定事象が検知されて画像照合測位が行われるまでの間は、定期的に行われる衛星測位とＰＤＲ測位により、歩行者の位置情報が取得される。ＰＤＲ測位では、プロセッサ１８が、加速度センサ１２及びジャイロセンサ１３の検出結果に基づいて、前回の測定位置を基準にした移動距離及び移動方向を算出して、現在の歩行者の位置を推定する。

ここで、歩行者の移動速度が急に速くなった場合（急加速）や、歩行者の移動方向が急に変化した場合（急な向きの変更）には、ＰＤＲ測位による位置情報の信頼度が低下する。そこで、本実施形態では、歩行者の移動速度が急に速くなった場合（急加速）や、歩行者の移動方向が急に変化した場合（急な向きの変更）を、画像照合測位を必要とする特定事象として、画像照合測位が行われる。これにより、歩行者の位置情報の精度を確保することができる。

なお、高齢者や児童などのように、比較的交通事故を起こしやすい人物に対してのみ、画像照合測位が行われてもよい。また、交通事故が多い場所に対してのみ、画像照合測位が行われてもよい。さらに、高齢者や児童が普段通る頻度の高い経路以外の場所に存在する場合に、画像照合測位が行われてもよい。高齢者や児童が持つ歩行者端末１は、画像照合測位の結果得られた画像照合測位情報を保護者が待つ歩行者端末１に通知してもよく、または、得られた画像照合測位情報に基づき高齢者や児童に対して警告を行ってもよい。これにより、高齢者や児童の見守りをさらに強化することができる。

さらに、高齢者や児童と保護者との距離が所定以上になったと判定された場合に、画像照合測位が行われてもよい。また、保護者が必要と判断した場合に、保護者の歩行者端末１から、高齢者や児童が持つ歩行者端末１に画像照合測位を行うように指示する情報を通知してもよい。これにより、高齢者の徘徊対策や児童の迷子対策をさらに強化することができる。

別の方法として、高齢者や児童の顔情報をあらかじめ保護者の歩行者端末１に登録しておき、高齢者や児童の顔が保護者の歩行者端末１から認識できなくなった場合に、保護者の歩行者端末１から、高齢者や児童が持つ歩行者端末１に画像照合測位の実行を指示する旨の情報を通知し、高齢者や児童が持つ歩行者端末１は、この指示情報を受信した場合に、画像照合測位を行ってもよい。

また、ＰＤＲ測位の継続区間が長くなると、測位誤差が累積されることで、位置情報の信頼度が低下する。そこで、ＰＤＲ測位の継続区間（ＰＤＲ測位が連続して実施された区間）の距離が所定のしきい値以上となった場合を、画像照合測位を必要とする特定事象として、画像照合測位が行われるものとしてもよい。

このように本実施形態では、画像照合測位を必要とする特定事象が検知された場合に、画像照合測位が行われることから、画像照合測位の頻度が減少するため、画像照合に係るプロセッサ１８の負荷が軽減される。

ところで、本実施形態では、歩行者が交差点の周辺エリアに入ると、歩行者端末１が、路側機３から画像位置ＤＢの登録情報を取得して、画像照合測位を行うものとした。一方、トンネル内のように衛星電波の遮蔽により衛星測位が不能となる場合や、高層ビル街のように電波のマルチパスや反射波の影響により衛星測位の精度が低下する場合がある。この場合、ＰＤＲ測位により歩行者の位置情報を取得することができるが、ＰＤＲ測位の継続区間が長くなると、位置情報の信頼度が低下する。

そこで、通常状態では衛星測位により歩行者の位置情報を取得し、トンネル内や高層ビル街のように衛星測位に支障が生じた場合には、衛星測位からＰＤＲ測位に変更し、さらに、ＰＤＲ測位の継続区間が長くなった場合には、ＰＤＲ測位から画像照合測位に変更するものとしてもよい。また、衛星測位から直接、画像照合測位に変更するものとしてもよい。

次に、第３実施形態に係る歩行者端末１の動作手順について説明する。図１７は、歩行者端末１の動作手順を示すフロー図である。なお、路側機３の動作手順は第１実施形態（図１参照）と同様である。

歩行者端末１では、第１実施形態（図７（Ａ），（Ｂ），（Ｃ）参照）と同様の処理が行われる。

また、図１７に示すように、歩行者端末１では、第１実施形態（図８参照）と同様に、プロセッサ１８が、衛星測位部１４による歩行者の位置情報を取得してから、プロセッサ１８が、ジャイロセンサ１３の検出結果に基づいて、歩行者の移動方向を測定するまでの処理（ＳＴ１３１～ＳＴ１３４）が行われる。

次に、本実施形態では、プロセッサ１８が、画像照合測位を必要とする特定事象が検知されたか否かを判定する（ＳＴ１４１）。なお、特定事象とは、歩行者の移動速度が急に速くなった場合（急加速）や、歩行者の進行方向が急に変化した場合（急な向きの変更）である。この特定事象は、加速度センサ１２の検出結果から求められる歩行者の移動速度や、ジャイロセンサ１３の検出結果から求められる歩行者の進行方向に基づいて検知される。

ここで、画像照合測位を必要とする特定事象が検知されると（ＳＴ１４１でＹｅｓ）、ＳＴ１３５の照合地点予測処理に進む。この照合地点予測処理以降の動作（ＳＴ１３５～ＳＴ１３９）は、第１実施形態（図８参照）と同様である。

一方、画像照合測位を必要とする特定事象が検知されない場合には（ＳＴ１４１でＮｏ）、プロセッサ１８が、ＰＤＲ測位により歩行者の位置情報を取得する（ＳＴ１４２）。

（第４実施形態）
次に、第４実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１８は、第４実施形態に係る乗客管理システムの全体構成図である。図１９は、画像位置ＤＢ及び乗客管理ＤＢの登録内容を示す説明図である。

団体旅行でバスを利用する場合、出発地や途中の休憩地から出発する際に、全ての乗客がバスに搭乗していることを確認する搭乗確認が必要である。このような搭乗確認を、乗客の顔と名前とを覚えている旅行幹事が行う場合にはさほど面倒ではないが、バスの乗務員（運転手やガイド）が搭乗確認を行おうとするとかなり面倒であり、乗務員が搭乗確認を効率よく行えることが望まれる。

そこで、本実施形態では、乗客が滞在する場所が特定されるように、バスの車内の各座席や通路に登録地点が設定され、この車内の登録地点に関して、登録地点の位置情報の他に、登録地点が車内のどこであるかを表す車内場所情報（搭乗場所情報）が、カメラ画像に対応付けて画像位置ＤＢに登録される（図１９（Ａ）参照）。

一方、乗客が所持する歩行者端末１は、画像照合処理において、画像位置ＤＢに登録された登録地点のカメラ画像とリアルタイムのカメラ画像との照合が成功した場合に、照合が成功した登録地点のカメラ画像に対応付けられた位置情報（緯度経度）を、歩行者の現在地の位置情報として取得する。また、歩行者端末１は、照合が成功した登録地点のカメラ画像に対応付けられた車内場所情報に基づいて、乗客が搭乗しているか否かを判定し、さらに、乗客が搭乗している場合に、乗客がどの座席に座っているかを特定する。

なお、本実施形態では、第１実施形態と同様に、歩行者端末１のカメラ１１が、乗客（歩行者）の足下を撮影する。ここで、乗客が座席に座っている場合には、カメラ画像に、乗客が座る座席の座面や肘掛けや、前の座席との間の床面が写る。一方、乗客が車内の通路にいる場合には、カメラ画像に、乗客の足下の床面や座席の一部が写る。このようなカメラ画像に写る物体の位置関係や模様や劣化状態（ひび割れなどの状態）などが、その地点の固有の特徴となることで、画像照合処理により乗客の現在地が特定される。

また、本実施形態では、乗務員が、乗務員端末１０１（基地局装置）を所持する。この乗務員端末１０１では、乗客が搭乗しているか否かを表す搭乗状態情報や、乗客が滞在する場所を表す車内場所情報などを含む通知情報が歩行者端末１から送信される。乗務員端末１０１では、歩行者端末１から受信した通知情報がそのまま、あるいは必要な統計処理が施された上で表示される。

また、図１９（Ｂ）に示すように、乗務員端末１０１では、乗客管理ＤＢを用いて乗客が管理される。この乗客管理ＤＢには、乗客情報（乗客ＩＤ、乗客名）と、搭乗状態情報と、車内場所情報と、位置情報（緯度経度）とが登録されている。

乗客ＩＤは、歩行者端末１から取得した歩行者端末１の端末ＩＤである。搭乗状態情報は、乗客が搭乗しているか否かを表す情報である。車内場所情報は、乗客が滞在する場所を表す情報である。乗客が座席に座っている場合には、車内場所情報は、乗客が座る座席を識別する座席情報（座席番号）となる。また、乗客が通路にいる場合には、車内場所情報は、乗客がいる通路を識別する通路情報となる。位置情報（緯度経度）は、歩行者端末１から取得した歩行者端末１の位置情報である。この位置情報は、歩行者が搭乗している場合には、歩行者端末１から受信した無線通信のメッセージに含まれ、歩行者が搭乗していない場合には、歩行者端末１から受信したＩＴＳ通信のメッセージに含まれる。

このように本実施形態では、歩行者端末１が、自装置を所持した乗客が搭乗しているか否かを認識することができる。そして、乗客が搭乗しているか否かを表す搭乗状態情報などが歩行者端末１から乗務員端末１０１に提供されることで、乗務員端末１０１を所持した乗務員が、全ての乗客が搭乗していることを確認する搭乗確認を簡単に行うことができる。

なお、本実施形態では、バスの乗客を対象にした搭乗確認について説明したが、本実施形態に関する構成は、他の乗り物、例えば列車、航空機、船舶などの乗客を対象にした搭乗確認にも適用することができる。さらに、本実施形態に関する構成は、イベント会場やコンサートホールなどの施設の利用者を対象にした入場確認にも適用することができる。

また、本実施形態においては、バスの乗客が特定時刻に特定場所以外にいると判定された場合にのみ、画像照合測位が行われるようにしてもよい。例えば、特定時刻は、バス発車時刻の所定時間前からバス発車時刻に設定することができ、特定場所は、バスから所定距離以上離れた場所に設定することができる。

次に、第４実施形態に係る歩行者端末１及び乗務員端末１０１の概略構成について説明する。図２０は、歩行者端末１及び乗務員端末１０１の概略構成を示すブロック図である。

歩行者端末１は、第１実施形態（図６参照）と同様に、カメラ１１と、加速度センサ１２と、ジャイロセンサ１３と、衛星測位部１４と、ＩＴＳ通信部１５と、無線通信部１６と、メモリ１７と、プロセッサ１８と、を備えている。

歩行者端末１のプロセッサ１８は、第１実施形態（図６参照）と同様に、メッセージ制御処理と、衝突判定処理と、注意喚起制御処理と、速度測定処理と、方向測定処理と、照合地点予測処理と、カメラ画像抽出処理と、画像照合処理と、位置情報取得処理とを行う。また、本実施形態では、プロセッサ１８が、搭乗判定処理を行う。

搭乗判定処理では、プロセッサ１８が、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた車内場所情報（座席番号や通路情報）に基づいて、乗客が搭乗しているか否かを判定する。具体的には、照合が成功した登録地点のカメラ画像に対応付けられた車内場所情報がある場合には、乗客が搭乗しているものと判定される。一方、照合が成功した登録地点のカメラ画像に対応付けられた車内場所情報がない場合には、乗客が搭乗していないものと判定される。この搭乗判定処理により、乗客が搭乗しているか否かを表す搭乗状態情報が生成される。

乗務員端末１０１（基地局装置）は、第１実施形態（図６参照）の路側機３と同様に、ＩＴＳ通信部３１と、無線通信部３２と、メモリ３３と、プロセッサ３４と、を備えている。また、本実施形態では、乗務員端末１０１が、ディスプレイ３６を備えている。

メモリ３３は、画像位置ＤＢ（図１９（Ａ）参照）の登録情報を記憶する。本実施形態では、登録地点ごとのカメラ画像に対応付けて、登録地点の位置情報と、登録地点に関する車内場所情報とが、画像位置ＤＢに登録される。

また、メモリ３３は、乗客管理ＤＢ（図１９（Ｂ）参照）の登録情報を記憶する。この乗客管理ＤＢには、乗客情報（乗客ＩＤ、乗客名）と、乗客が搭乗しているか否かを表す搭乗状態情報と、車内で乗客が滞在する場所（座席、通路など）に関する車内場所情報と、位置情報（緯度経度）とが登録されている。

ディスプレイ３６は、プロセッサ３４で生成した分析結果情報を表示する。

プロセッサ３４は、第１実施形態（図６参照）の路側機３と同様に、メッセージ制御処理と、画像位置ＤＢ管理処理と、を行う。また、本実施形態では、プロセッサ３４が、乗客管理ＤＢ管理処理と、分析処理と、分析結果表示処理と、を行う。

乗客管理ＤＢ管理処理では、プロセッサ３４が、乗客管理ＤＢ（図１９（Ｂ）参照）を管理する。

分析処理では、プロセッサ３４が、乗客管理ＤＢの登録情報を用いて統計処理などを行う。具体的には、プロセッサ３４が、分析結果情報として、乗客の搭乗状況を一目で確認できる一覧表などを生成する。

分析結果表示処理では、プロセッサ３４が、分析結果情報を表示するようにディスプレイ３６を制御する。これにより、運転手やガイドなどの乗務員が、乗客の搭乗状況を確認することができる。

なお、本実施形態では、乗務員端末１０１が、第１実施形態の路側機３と同様の基地局装置としての機能を有しており、乗客管理ＤＢを管理して、その登録情報を歩行者端末１に配信するものとしたが、バスに搭載された車載端末が、基地局装置としての機能を有するものとしてもよい。

また、本実施形態では、乗務員端末１０１において、乗客管理ＤＢの登録情報を用いた分析処理が行われるものとしたが、乗客管理ＤＢの登録情報が乗務員端末１０１から管理サーバにアップロードされて、管理サーバにおいて分析処理が行われるものとしてもよい。

次に、第４実施形態に係る歩行者端末１及び乗務員端末１０１の動作手順について説明する。図２１は、歩行者端末１の動作手順を示すフロー図である。図２２は、乗務員端末１０１の動作手順を示すフロー図である。

歩行者端末１では、第１実施形態（図７（Ａ），（Ｂ），（Ｃ）参照）と同様の処理が行われる。

一方、乗務員端末１０１では、第１実施形態（図１０（Ａ），（Ｂ）参照）の路側機３と同様の処理が行われる。

また、図２１に示すように、歩行者端末１では、第１実施形態（図８参照）と同様に、プロセッサ１８が、衛星測位部１４による歩行者の位置情報を取得してから、プロセッサ１８が、位置情報取得処理として、照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得するまでの処理（ＳＴ１３１～ＳＴ１３９）が行われる。

次に、本実施形態では、プロセッサ１８が、搭乗判定処理として、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた車内場所情報（座席番号や通路情報）に基づいて、乗客が搭乗しているか否かを判定して、乗客が搭乗しているか否かを表す搭乗状態情報を生成する（ＳＴ１５１）。

次に、プロセッサ１８の送信指示に応じて、無線通信部１６が、通知情報を含む無線通信のメッセージを乗務員端末１０１に送信する（ＳＴ１５２）。この無線通信のメッセージには、通知情報として、乗客情報（乗客ＩＤ、乗客名）と、乗客が搭乗しているか否かを表す搭乗状態情報と、乗客が滞在する場所（座席、通路など）に関する車内場所情報（座席番号や通路情報）と、位置情報（緯度経度）とが含まれる。

一方、図２２に示すように、乗務員端末１０１では、無線通信部３２が、歩行者端末１から、通知情報を含む無線通信のメッセージを受信すると（ＳＴ３２１でＹｅｓ）、プロセッサ３４が、受信したメッセージに含まれる通知情報、具体的には、乗客情報（乗客ＩＤ、乗客名）と、搭乗状態情報と、車内場所情報と、位置情報（緯度経度）とを、乗客管理ＤＢに登録する（ＳＴ３２２）。

次に、プロセッサ３４が、乗客管理ＤＢの登録情報に対して、必要に応じた分析処理（統計処理）を行って、店員などのスタッフに提供する分析結果情報を生成する（ＳＴ３２３）。

次に、プロセッサ３４が、乗客の搭乗状況を表す分析結果情報を表示するようにディスプレイ３６を制御する（ＳＴ３２４）。これにより、運転手やガイドなどの乗務員が、乗客の搭乗状況を確認することができる。

（第５実施形態）
次に、第５実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図２３は、第５実施形態に係る顧客管理システムの全体構成図である。図２４は、画像位置ＤＢ及び顧客管理ＤＢの登録内容を示す説明図である。

ショッピングモールなどの商業施設では、商品を陳列する陳列ケースなどの前に顧客が滞在している時間を測定すると、その滞在時間の長さは、顧客の商品に対する関心の高さを表している。また、陳列ケースなどの前に滞在している顧客の人数を測定すると、その顧客の人数は、商品に対して関心を示す顧客の人数を表している。

このため、このような顧客の滞在状況（滞在時間、滞在人数など）に関する情報は、マーケティングなどの施設運営業務に活用することができる。また、顧客が所持する歩行者端末１から取得した端末ＩＤにより顧客を識別できるため、顧客の滞在状況に関する情報に基づいて、顧客が関心を示す商品に関する個別な案内などを顧客に対して行うことができる。

そこで、本実施形態では、商品を陳列する陳列ケースなどが設置された商品陳列エリアに隣接して、陳列された商品を見る顧客が滞在する商品前エリアが、商品陳列エリアごとに設定され、その商品前エリアに位置する登録地点に関しては、登録地点の位置情報の他に、商品前エリアに対応する商品に関する商品情報（識別情報）が、カメラ画像に対応付けて画像位置ＤＢに登録される（図２４（Ａ）参照）。

一方、顧客が所持する歩行者端末１は、画像照合処理において、画像位置ＤＢに登録された登録地点のカメラ画像とリアルタイムのカメラ画像との照合が成功した場合に、照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する。また、歩行者端末１は、照合が成功した登録地点のカメラ画像に対応付けられた商品情報に基づいて、歩行者が商品前エリアにいるか否か、さらに、歩行者がどの商品前エリアにいるかを判定する。

また、本実施形態では、歩行者端末１が、商品前エリアの顧客の滞在状況に関する情報として、滞在時間、すなわち、顧客が商品前エリアに滞在していた時間を測定する。なお、商品前エリアの顧客の滞在状況に関する情報として、滞在人数を測定するようにしてもよい。

なお、本実施形態では、第１実施形態と同様に、歩行者端末１のカメラ１１が、顧客（歩行者）の足下を撮影する。このカメラ画像には、顧客の足下の床面が写り、床材の模様や劣化状態（ひび割れなどの状態）が、その地点の固有の特徴となることで、画像照合処理により顧客の現在地が特定される。また、カメラ画像には、床面の他に、商品陳列エリアの設置物（陳列棚、陳列ケース、陳列台など）の側面や、建物の壁面が写り、これらの模様や劣化状態も、その地点の固有の特徴となる。

また、本実施形態では、店舗端末１１１（基地局装置）が、店舗に設置される。この店舗端末１１１は、第１実施形態（図６参照）の路側機３と同様の構成を有している。この店舗端末１１１では、画像位置ＤＢが構築され、画像位置ＤＢの登録情報が、店舗内に存在する歩行者端末１に配信される。なお、画像位置ＤＢが、店舗などに設置された管理サーバに構築されて、その画像位置ＤＢの登録情報が、店舗端末１１１を介して歩行者端末１に配信されるようにしてもよい。

また、本実施形態では、図２４（Ｂ）に示すように、店舗端末１１１において、顧客管理ＤＢを用いて顧客が管理される。この顧客管理ＤＢには、顧客ＩＤと、顧客の属性情報（年齢、性別）と、商品情報（商品番号、商品名）と、滞在時間とが登録されている。

顧客ＩＤは、顧客が所持する歩行者端末１の端末ＩＤであり、歩行者端末１から取得する。顧客の属性情報は、顧客（歩行者）の属性に関する情報であり、歩行者端末１から取得する。商品情報は、顧客が滞在した商品前エリアに対応する商品、すなわち、顧客が関心を示した商品を識別する情報である。滞在時間は、顧客が商品前エリアに滞在した時間である。

このように本実施形態では、商品前エリアにおける顧客の滞在状況に関する情報（滞在時間など）を取得することができる。この顧客の滞在状況に関する情報は、店舗のマーケティングなどに活用することができる。

なお、本実施形態では、ショッピングモールなどの商業施設において、商品前エリアごとの顧客の滞在状況（滞在時間、滞在人数など）を測定して、顧客の滞在状況に関する情報を、施設運営業務に活用するものとしたが、テーマパークなどの娯楽施設において、アトラクションエリアやショーエリアなどのエリアごとの入場者の滞在状況（滞在時間、滞在人数など）を測定して、入場者の滞在状況に関する情報を、施設運営業務に活用するものとしてもよい。

また、本実施形態では、顧客管理ＤＢの登録情報を用いた分析処理が行われるが、テーマパークなどの娯楽施設においても、同様の分析、例えば入場者の関心が高いエリア（アトラクションエリアなど）に関する分析が可能である。

また、歩行者端末１が、照合が成功した登録地点のカメラ画像に対応付けられた商品情報を画面表示することで、顧客の商品に関する理解を促進するのに役立てるサービスも考えられる。この場合、歩行者端末１が、商品の詳細情報を店舗端末１１１から取得して、その詳細情報を画面表示してもよい。

また、本実施形態に係る顧客管理システムは、その利用目的を変更して利用者監視システムとして構成することもできる。例えば、ショッピングモールなどの商業施設やテーマパークなどの娯楽施設などにおける迷子対策として活用することができる。具体的には、予め各自の歩行者端末１に家族であることを登録しておき、施設に入場した後、親と子供との距離が所定値より大きくなった場合に、子供の歩行者端末１において画像照合測位が実行されて、子供の現在地を詳細に把握できるようにしてもよい。この場合、親と子供との距離に応じて、画像照合測位の頻度を変更するようにしてもよい。

次に、第５実施形態に係る歩行者端末１及び店舗端末１１１の概略構成について説明する。図２５は、歩行者端末１及び店舗端末１１１の概略構成を示すブロック図である。

歩行者端末１は、第１実施形態（図６参照）と同様に、カメラ１１と、加速度センサ１２と、ジャイロセンサ１３と、衛星測位部１４と、ＩＴＳ通信部１５と、無線通信部１６と、メモリ１７と、プロセッサ１８と、を備えている。

メモリ１７は、プロセッサ１８で実行されるプログラムの他に、自装置の端末ＩＤ、及び自装置を所持する顧客の属性情報（年齢、性別など）などを記憶する。

プロセッサ１８は、第１実施形態（図６参照）と同様に、メッセージ制御処理と、衝突判定処理と、注意喚起制御処理と、速度測定処理と、方向測定処理と、照合地点予測処理と、カメラ画像抽出処理と、画像照合処理と、位置情報取得処理とを行う。また、本実施形態では、プロセッサ１８が、商品情報取得処理と、滞在時間測定処理とを行う。

商品情報取得処理では、プロセッサ１８が、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた商品情報（商品番号や商品名など）に基づいて、顧客が商品前エリアにいるか否かを判定し、顧客が商品前エリアにいる場合には、照合が成功した登録地点のカメラ画像に対応付けられた商品情報を、顧客が滞在した商品前エリアに対応する商品に関する商品情報として取得する。

滞在時間測定処理では、プロセッサ１８が、商品情報が対応付けられたカメラ画像で照合が成功した時刻に基づいて、商品前エリアに顧客が進入したエリア進入時刻と、その商品前エリアから顧客が退出したエリア退出時刻とを取得して、そのエリア進入時刻とエリア退出時刻とに基づいて、滞在時間、すなわち、顧客が商品前エリアに滞在していた時間を測定する。

なお、本実施形態では、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた商品情報に基づいて、顧客がどの商品前エリアにいるかを判定するようにしたが、位置情報取得処理で取得した顧客の現在地の位置情報と、商品前エリアの範囲を表すエリアマップ情報とに基づいて、顧客がどの商品前エリアにいるかを判定するようにしてもよい。

店舗端末１１１（基地局装置）は、第１実施形態（図６参照）の路側機３と同様に、ＩＴＳ通信部３１と、無線通信部３２と、メモリ３３と、プロセッサ３４と、を備えている。

メモリ３３は、画像位置ＤＢ（図２４（Ａ）参照）の登録情報を記憶する。本実施形態では、登録地点ごとのカメラ画像に対応付けて、登録地点の位置情報と、登録地点に関する商品情報とが、画像位置ＤＢに登録される。なお、登録地点が商品前エリアに位置する場合に、その商品前エリアに対応する商品に関する商品情報が、画像位置ＤＢに登録される。

また、メモリ３３は、顧客管理ＤＢ（図２４（Ｂ）参照）の登録情報を記憶する。この顧客管理ＤＢには、顧客ＩＤと、顧客の属性情報（年齢、性別）と、顧客が滞在した商品前エリアに対応する商品に関する商品情報（商品番号、商品名）と、顧客が商品前エリアに滞在していた滞在時間とが登録されている。

プロセッサ３４は、第１実施形態（図６参照）の路側機３と同様に、メッセージ制御処理と、画像位置ＤＢ管理処理と、を行う。また、本実施形態では、プロセッサ３４が、顧客管理ＤＢ管理処理と、分析処理と、分析結果配信処理と、を行う。

顧客管理ＤＢ管理処理では、プロセッサ３４が、顧客管理ＤＢ（図２４（Ｂ）参照）を管理する。

分析処理では、プロセッサ３４が、顧客管理ＤＢの登録情報を用いて統計処理などを行う。

分析結果配信処理では、プロセッサ３４が、分析処理で取得した分析結果情報を、店舗管理者や店員などのスタッフが所持するユーザ端末１１２に配信するように無線通信部３２を制御する。なお、ユーザ端末１１２への情報配信は、無線通信に限定されない。

次に、第５実施形態に係る歩行者端末１及び店舗端末１１１の動作手順について説明する。図２６は、歩行者端末１の動作手順を示すフロー図である。図２７は、店舗端末１１１の動作手順を示すフロー図である。

歩行者端末１では、第１実施形態（図７（Ａ），（Ｂ），（Ｃ）参照）と同様の処理が行われる。

一方、店舗端末１１１では、第１実施形態（図１０（Ａ），（Ｂ）参照）の路側機３と同様の処理が行われる。

また、図２６に示すように、歩行者端末１では、第１実施形態（図８参照）と同様に、プロセッサ１８が、衛星測位部１４による歩行者の位置情報を取得してから、プロセッサ１８が、位置情報取得処理として、照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得するまでの処理（ＳＴ１３１～ＳＴ１３９）が行われる。

次に、本実施形態では、プロセッサ１８が、商品情報取得処理として、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた商品情報（商品番号や商品名など）に基づいて、顧客が商品前エリアにいるか否かを判定し、顧客が商品前エリアにいる場合には、照合が成功した登録地点のカメラ画像に対応付けられた商品情報を、顧客が滞在した商品前エリアに対応する商品に関する商品情報として取得する（ＳＴ１６１）。

また、プロセッサ１８が、滞在時間測定処理として、画像照合処理において、商品情報が対応付けられたカメラ画像で照合が成功した時刻に基づいて、商品前エリアに顧客が進入したエリア進入時刻と、その商品前エリアから顧客が退出したエリア退出時刻とを取得して、そのエリア進入時刻とエリア退出時刻とに基づいて、滞在時間を測定する（ＳＴ１６２）。

次に、プロセッサ１８の送信指示に応じて、無線通信部１６が、通知情報を含む無線通信のメッセージを店舗端末１１１に送信する（ＳＴ１６３）。この無線通信のメッセージには、通知情報として、自装置の端末ＩＤと、自装置を所持する顧客の属性情報と、顧客が滞在した商品前エリアに関する商品情報（商品番号や商品名など）と、滞在時間とを含む。

図２７に示すように、店舗端末１１１では、無線通信部３２が、歩行者端末１から、通知情報を含む無線通信のメッセージを受信すると（ＳＴ３３１でＹｅｓ）、プロセッサ３４が、受信したメッセージに含まれる通知情報、具体的には、歩行者端末１の端末ＩＤと、歩行者端末１を所持する顧客の属性情報と、顧客が滞在した商品前エリアに関する商品情報（商品番号や商品名など）と、滞在時間とを、顧客管理ＤＢ（図２４（Ｂ）参照）に登録する（ＳＴ３３２）。

次に、プロセッサ３４が、顧客管理ＤＢの登録情報に対して、必要に応じた分析処理（統計処理）を実行して、店員などのスタッフに提供する分析結果情報（一覧表など）を生成する（ＳＴ３３３）。

次に、プロセッサ３４の送信指示に応じて、無線通信部３２が、分析結果情報を含む無線通信のメッセージを、スタッフが所持するユーザ端末１１２に送信する（ＳＴ３３４）。これにより、スタッフが所持するユーザ端末１１２に、分析結果情報が表示される。

なお、本実施形態では、歩行者端末１において滞在時間測定処理が行われるものとしたが、店舗端末１１１において滞在時間測定処理が行われるものとしてもよい。この場合、画像照合処理で照合が成功した登録地点のカメラ画像の撮影時刻（照合成功時刻）が歩行者端末１から店舗端末１１１に送信されるものとすればよい。

また、本実施形態では、店舗端末１１１において、顧客管理ＤＢの登録情報を用いた分析処理が行われるものとしたが、顧客管理ＤＢの登録情報が店舗端末１１１から管理サーバにアップロードされて、管理サーバにおいて分析処理が行われるものとしてもよい。

（第６実施形態）
次に、第６実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図２８は、第６実施形態に係る天気情報配信システムの全体構成図である。

歩行者が通行する道路の路面状態は、天気に応じて異なる。例えば、晴天の場合には路面は乾いた状態であるが、降雨の場合には路面は濡れた状態になり、降雪の場合には路面は積雪した状態になり、豪雨の場合には路面は浸水した状態になる。このため、歩行者端末１は、歩行者の足下の路面を撮影したカメラ画像に基づいて、歩行者の現在地の天気を推定することができる。

そこで、本実施形態では、登録地点ごとのカメラ画像が、天気（晴天、降雨、降雪など）別に収集されて、登録地点ごとのカメラ画像に対応付けて、登録地点の位置情報と、カメラ画像の撮影時の天気に関する天気情報とが、路側機３の画像位置ＤＢに登録される。なお、この画像位置ＤＢの登録内容は、第１実施形態の第１変形例（図１１（Ａ）参照）と同様である。

一方、歩行者端末１は、画像照合処理において、画像位置ＤＢに登録された登録地点のカメラ画像とリアルタイムのカメラ画像との照合が成功した場合に、照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得する。また、歩行者端末１は、照合が成功した登録地点のカメラ画像に対応付けられた天気情報を、歩行者の現在地の天気情報として取得する。そして、歩行者端末１は、歩行者の現在地の位置情報及び天気情報を天気情報配信サーバ１２１（天気情報収集装置）にアップロードする。

天気情報配信サーバ１２１は、クラウドコンピュータとして構成される。この天気情報配信サーバ１２１は、セルラー通信網を介して歩行者端末１と通信を行うことができ、歩行者の現在地の位置情報及び天気情報を、歩行者端末１から収集する。また、天気情報配信サーバ１２１は、歩行者端末１から収集した歩行者の現在地の位置情報及び天気情報を統計処理して、ローカル天気情報を生成する。また、天気情報配信サーバ１２１は、インターネットを介してユーザ端末１２２と通信を行うことができ、ローカル天気情報をユーザ端末１２２に配信する。

ここで、ローカル天気情報とは、地域ごとの天気に関する情報である。統計処理では、歩行者の現在地を測定地点として、各歩行者の現在地の位置情報及び天気情報から、測定地点ごとの天気情報を取得する。この測定地点ごとの天気情報が地図上にマッピングされると、ローカル天気情報が生成される。例えば、対象エリアをメッシュ状に分割した各区画に、測定地点ごとの天気情報を振り分けることで、区画ごとの天気情報がローカル天気情報として生成される。

このように本実施形態では、天気情報配信サーバ１２１が、歩行者の現在地の位置情報及び天気情報を、歩行者端末１から収集するため、詳細なローカル天気情報を生成することができる。例えば、画像位置ＤＢの登録地点の間隔を２５ｃｍとした場合、ローカル天気情報の区画の大きさ（縦横寸法）を１ｍ以下に設定することもできる。

なお、全ての登録地点に関して、登録地点ごとのカメラ画像が天気別に収集されて画像位置ＤＢに登録されるようにしてもよいが、天気情報には位置情報のような高い精度は要求されないため、適当に間引きされた一部の登録地点に関してのみ、登録地点ごとのカメラ画像が天気別に収集されて画像位置ＤＢに登録されるようにしてもよい。

次に、第６実施形態に係る歩行者端末１及び路側機３の概略構成について説明する。図２９は、歩行者端末１及び路側機３の概略構成を示すブロック図である。

歩行者端末１は、第１実施形態（図６参照）と同様に、カメラ１１と、加速度センサ１２と、ジャイロセンサ１３と、衛星測位部１４と、ＩＴＳ通信部１５と、無線通信部１６と、メモリ１７と、プロセッサ１８と、を備えている。また、本実施形態では、歩行者端末１が、セルラー通信部１９を備えている。

セルラー通信部１９は、セルラー通信網を介して、天気情報配信サーバ１２１との間で通信を行う。

歩行者端末１のプロセッサ１８は、第１実施形態（図６参照）と同様に、メッセージ制御処理と、衝突判定処理と、注意喚起制御処理と、速度測定処理と、方向測定処理と、照合地点予測処理と、カメラ画像抽出処理と、画像照合処理と、位置情報取得処理とを行う。また、本実施形態では、プロセッサ１８が、天気情報取得処理を行う。

画像照合処理では、プロセッサ１８が、画像位置ＤＢに登録された天気（晴天、降雨、降雪など）ごとのカメラ画像と、カメラ１１から出力されるリアルタイムのカメラ画像とを照合する。

天気情報取得処理では、プロセッサ１８が、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた天気情報を、歩行者の現在地の天気情報として取得する。この天気判定処理で取得した天気情報は、セルラー通信部１９から天気情報配信サーバ１２１に送信される。

路側機３は、第１実施形態（図６参照）と同様に、ＩＴＳ通信部３１と、無線通信部３２と、メモリ３３と、プロセッサ３４と、を備えている。

路側機３のメモリ３３は、画像位置ＤＢの登録情報を記憶する。本実施形態では、登録地点ごとのカメラ画像が、天気（晴天、降雨、降雪など）別に収集されて、登録地点ごとのカメラ画像に対応付けて、登録地点の位置情報と、カメラ画像の撮影時の天気に関する天気情報とが、路側機３の画像位置ＤＢに登録される。

なお、本実施形態においては、路側機３と歩行者端末１の通信手段を全てセルラー通信とし、路側機３の機能をクラウドコンピュータ上に配置することで、広範囲の画像位置ＤＢ管理をする構成としてもよい。これにより、路側機３周辺の天気情報に限定されない、より広い範囲の天気情報の取得が可能となる。

次に、第６実施形態に係る歩行者端末１の動作手順について説明する。図３０は、歩行者端末１の動作手順を示すフロー図である。

歩行者端末１では、第１実施形態（図７（Ａ），（Ｂ），（Ｃ）参照）と同様の処理が行われる。

また、路側機３では、第１実施形態（図１０（Ａ），（Ｂ）参照）と同様の処理が行われる。

また、図３０に示すように、歩行者端末１では、第１実施形態（図８参照）と同様に、プロセッサ１８が、衛星測位部１４による歩行者の位置情報を取得してから、プロセッサ１８が、位置情報取得処理として、照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得するまでの処理（ＳＴ１３１～ＳＴ１３９）が行われる。

次に、本実施形態では、プロセッサ１８が、天気情報取得処理として、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられた天気情報（晴天、降雨、降雪などの情報）を、歩行者の現在地の天気情報として取得する（ＳＴ１７１）。

次に、プロセッサ１８の送信指示に応じて、セルラー通信部１９が、天気情報取得処理で取得した天気情報を天気情報配信サーバ１２１に送信する（ＳＴ１７２）。

（第７実施形態）
次に、第７実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図３１は、第７実施形態に係る施設監視システムの全体構成図である。図３２は、画像位置ＤＢの登録内容を示す説明図である。

鉄道の駅では、ホームを歩行する歩行者（乗客）が、ホームから転落したり、列車と接触したりする事故が発生する。このようなホームでの事故は、歩行者が視覚障害者などである場合に頻発する。このため、ホームに設けられた白線より線路側の危険エリアに歩行者が立ち入った場合に、歩行者に対する注意喚起を行うことが望まれる。

そこで、本実施形態では、ホームに設けられた白線より線路側の危険エリアや、部外者の立ち入りを禁止する進入禁止エリアなどを、注意喚起エリア（特定エリア）として、この注意喚起エリア内に位置する登録地点に関しては、登録地点の位置情報の他に、登録地点が注意喚起エリアに含まれるか否かを表すエリア情報が、カメラ画像に対応付けて画像位置ＤＢに登録される（図３２参照）。

一方、歩行者端末１は、画像照合処理において、画像位置ＤＢに登録された登録地点のカメラ画像とリアルタイムのカメラ画像との照合が成功した場合に、照合が成功した登録地点のカメラ画像に対応付けられた位置情報（緯度経度）を、歩行者の現在地の位置情報として取得する。また、歩行者端末１は、照合が成功した登録地点のカメラ画像に対応付けられたエリア情報に基づいて、歩行者が注意喚起エリア内にいるものと判定すると、歩行者に対する注意喚起を行う。

また、本実施形態では、構内端末１３１（基地局装置）が、ホームの周辺に設置される。この構内端末１３１は、第１実施形態（図６参照）の路側機３と同様の構成を有している。この構内端末１３１では、画像位置ＤＢが構築され、画像位置ＤＢの登録情報が、ホームの周辺に存在する歩行者端末１に配信される。なお、画像位置ＤＢが、駅の構内などに設置された管理サーバに構築されて、その画像位置ＤＢの登録情報が、構内端末１３１を介して歩行者端末１に配信されるようにしてもよい。

このように本実施形態では、ホームに設けられた白線より線路側の危険エリアなどの注意喚起エリアに歩行者が進入すると、歩行者に対する注意喚起が行われるため、施設の利用者、特に視覚障害者などの安全を確保することができる。

次に、第７実施形態に係る歩行者端末１及び構内端末１３１の概略構成について説明する。図３３は、歩行者端末１及び構内端末１３１の概略構成を示すブロック図である。

歩行者端末１は、第１実施形態（図６参照）と同様に、カメラ１１と、加速度センサ１２と、ジャイロセンサ１３と、衛星測位部１４と、ＩＴＳ通信部１５と、無線通信部１６と、メモリ１７と、プロセッサ１８と、を備えている。

歩行者端末１のプロセッサ１８は、第１実施形態（図６参照）と同様に、メッセージ制御処理と、衝突判定処理と、注意喚起制御処理と、速度測定処理と、方向測定処理と、照合地点予測処理と、カメラ画像抽出処理と、画像照合処理と、位置情報取得処理とを行う。また、本実施形態では、プロセッサ１８が、エリア判定処理を行う。

エリア判定処理では、プロセッサ１８が、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられたエリア情報に基づいて、歩行者が注意喚起エリア内にいるか否かを判定する。

このエリア判定処理で、歩行者が注意喚起エリア内にいるものと判定されると、歩行者に対する注意喚起動作が行われる。注意喚起動作としては、例えば、歩行者端末１に設けられたスピーカーから音声を出力したり、歩行者端末１に設けられたバイブレータを振動させたりすればよい。

なお、本実施形態では、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられたエリア情報に基づいて、歩行者が注意喚起エリア内にいるか否かを判定するようにしたが、位置情報取得処理で取得した歩行者の現在地の位置情報と、注意喚起エリアの範囲を表すエリアマップ情報とに基づいて、歩行者が注意喚起エリア内にいるか否かを判定するようにしてもよい。

構内端末１３１（基地局装置）は、第１実施形態（図６参照）の路側機３と同様に、ＩＴＳ通信部３１と、無線通信部３２と、メモリ３３と、プロセッサ３４と、を備えている。

構内端末１３１のメモリ３３は、画像位置ＤＢの登録情報を記憶する。本実施形態では、登録地点ごとのカメラ画像に対応付けて、登録地点の位置情報と、登録地点が注意喚起エリア内であることを表すエリア情報とが、画像位置ＤＢに登録される。

次に、第７実施形態に係る歩行者端末１の動作手順について説明する。図３４は、歩行者端末１の動作手順を示すフロー図である。

歩行者端末１では、第１実施形態（図７（Ａ），（Ｂ），（Ｃ）参照）と同様の処理が行われる。

一方、構内端末１３１では、第１実施形態（図１０（Ａ），（Ｂ）参照）の路側機３と同様の処理が行われる。

また、図３４に示すように、歩行者端末１では、第１実施形態（図８参照）と同様に、プロセッサ１８が、衛星測位部１４による歩行者の位置情報を取得してから、プロセッサ１８が、位置情報取得処理として、照合が成功した登録地点のカメラ画像に対応付けられた位置情報を、歩行者の現在地の位置情報として取得するまでの処理（ＳＴ１３１～ＳＴ１３９）が行われる。

次に、本実施形態では、プロセッサ１８が、エリア判定処理として、画像照合処理で照合が成功した登録地点のカメラ画像に対応付けられたエリア情報に基づいて、歩行者が注意喚起エリア内にいるか否かを判定する（ＳＴ１８１）。

ここで、歩行者が注意喚起エリア内にいる場合には（ＳＴ１８１でＹｅｓ）、プロセッサ１８が、歩行者に対する所定の注意喚起動作を行うようにスピーカーやバイブレータなどを制御する（ＳＴ１８２）。

なお、本実施形態に係る施設監視システムは、歩行者だけでなく、車両（自動二輪、自転車、電動車いす、農機、シニアカーなど）にも同様に適用できる。例えば、車両に搭載したカメラで撮影されたカメラ画像に基づき、車両が蛇行運転、急加減速、スピード違反などを行っていることが検知された場合に、画像照合測位が行われてもよい。また、状況によっては、運転者への警告、自動ブレーキ、警察への通報などが行われてもよい。これにより、煽り運転などの防止を行うことができる。

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

本発明に係る歩行者装置、情報収集装置、基地局装置、及び測位方法は、歩行者の現在位置を高精度に測定することができ、さらに、処理の高速化を図ると共に処理の負荷を軽減することができる効果を有し、歩行者が所持して歩行者の現在位置を測定する測位を行う歩行者装置、歩行者装置での測位に必要な情報を収集する情報収集装置、歩行者装置での測位に必要な情報を歩行者装置に提供する基地局装置、及び歩行者装置で行われる測位方法などとして有用である。

１ 歩行者端末（歩行者装置）
２ 車載端末（車載装置）
３ 路側機（基地局装置）
５ ＤＢ情報収集端末（情報収集装置）
１１ カメラ
１２ 加速度センサ
１３ ジャイロセンサ
１４ 衛星測位部
１５ ＩＴＳ通信部
１６ 無線通信部
１７ メモリ
１８ プロセッサ
１９ セルラー通信部
２１ 白杖
２２ ランドセル
３１ ＩＴＳ通信部
３２ 無線通信部
３３ メモリ
３４ プロセッサ
３５ カメラ
３６ ディスプレイ
５１ カメラ
５２ 表示部
５３ 入力部
５４ メモリ
５５ プロセッサ
１０１ 乗務員端末（基地局装置）
１１１ 店舗端末（基地局装置）
１１２ ユーザ端末
１２１ 天気情報配信サーバ
１２２ ユーザ端末
１３１ 構内端末（基地局装置）

Claims (11)

1. 歩行者の足元の路面を撮影するカメラと、
   歩行者の挙動を検出するセンサと、
   予め登録地点の路面を撮影したカメラ画像に登録地点の位置情報を対応付けた登録情報を記憶するメモリと、
   前記センサの検出結果から求められる歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測し、その予測結果に基づいて前記メモリより抽出したカメラ画像と、前記カメラからリアルタイムに出力されるカメラ画像とを照合し、照合が成功した登録地点のカメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する画像照合測位を行うプロセッサと、
   を備えることを特徴とする歩行者装置。
2. 自装置の周辺エリアに関する前記登録情報を保持する基地局装置との間で通信を行う通信部を備え、
   前記通信部は、自装置が前記基地局装置に近づいた際に、その基地局装置から前記登録情報を受信し、
   前記メモリは、前記通信部により受信した前記登録情報を記憶することを特徴とする請求項１に記載の歩行者装置。
3. 前記プロセッサは、
   前記センサの検出結果に基づいて特定事象が検知されると、前記画像照合測位により、歩行者の現在地の位置情報を取得し、
   前記特定事象が検知されないと、衛星測位または前記センサの検出結果に基づく歩行者自律航法による測位により、歩行者の現在地の位置情報を取得することを特徴とする請求項１に記載の歩行者装置。
4. 前記特定事象が、歩行者の急加速および急な向きの変更の少なくともいずれかであることを特徴とする請求項３に記載の歩行者装置。
5. 請求項１に記載の歩行者装置に記憶される前記登録情報を収集する情報収集装置であって、
   歩行者の足元の路面を撮影するカメラと、
   前記カメラから出力されるカメラ画像の視差に基づいて路面上の２点間の距離を測定する画像視差測量により、路面上に登録地点を順次設定して、その登録地点における前記カメラ画像と位置情報とを対応付けた登録情報を収集するプロセッサと、
   を備えることを特徴とする情報収集装置。
6. 請求項１に記載の歩行者装置に情報を提供する基地局装置であって、
   自装置の周辺エリアにおける登録地点の路面を撮影したカメラ画像と登録地点の位置情報とを対応付けた登録情報を記憶するメモリと、
   歩行者装置との間で通信を行う通信部と、
   自装置の周辺の歩行者装置に対して前記登録情報を配信するように前記通信部を制御するプロセッサと、
   を備えることを特徴とする基地局装置。
7. 歩行者の現在地の位置情報を取得する測位方法であって、
   歩行者の足元の路面を撮影するカメラと、歩行者の挙動を検出するセンサと、予め登録地点の路面を撮影したカメラ画像に登録地点の位置情報を対応付けた登録情報を記憶するメモリと、プロセッサとを備えた歩行者装置において、
   前記プロセッサが、
   前記センサの検出結果から求められる歩行者の進行状態に基づいて、次に歩行者が到達する登録地点を予測し、その予測結果に基づいて前記メモリより抽出したカメラ画像と、前記カメラからリアルタイムに出力されるカメラ画像とを照合し、照合が成功した登録地点のカメラ画像に対応する位置情報を、歩行者の現在地の位置情報として取得する画像照合測位を行うことを特徴とする測位方法。
8. 請求項１に記載の歩行者装置を所持した利用者が滞在する場所を管理する利用者管理方法であって、
   前記歩行者装置の前記メモリが、
   前記登録地点のカメラ画像に、前記登録地点の位置情報と共に、当該登録地点が特定場所に含まれるか否かを表す場所情報を対応付けた前記登録情報を記憶し、
   前記歩行者装置の前記プロセッサが、
   照合が成功した登録地点のカメラ画像に対応付けられた前記場所情報に基づいて、利用者が前記特定場所にいるか否かを判定することを特徴とする利用者管理方法。
9. 請求項１に記載の歩行者装置を所持した利用者の施設内での滞在状況を管理する利用者管理方法であって、
   前記歩行者装置の前記メモリが、
   前記登録地点のカメラ画像に、前記登録地点の位置情報と共に、当該登録地点が施設内の複数の特定エリアのいずれに位置するかを表す識別情報を対応付けた前記登録情報を記憶し、
   前記歩行者装置の前記プロセッサが、
   照合が成功した登録地点のカメラ画像に対応付けられた前記識別情報に基づいて、利用者が滞在する特定エリアを識別することを特徴とする利用者管理方法。
10. 請求項１に記載の歩行者装置の現在地の天気情報を天気情報収集装置が収集する情報収集方法であって、
    前記歩行者装置の前記メモリが、
    前記登録地点のカメラ画像に、前記登録地点の位置情報と共に、撮影時の天気に関する天気情報を対応付けた前記登録情報を記憶し、
    前記歩行者装置の前記プロセッサが、
    照合が成功した登録地点のカメラ画像に対応付けられた前記天気情報を、前記歩行者装置の現在地の天気情報として取得して、その天気情報を前記天気情報収集装置に送信するように通信部を制御することを特徴とする情報収集方法。
11. 請求項１に記載の歩行者装置を所持した利用者が、施設内の特定エリアに進入したことを検知する施設監視方法であって、
    前記歩行者装置の前記メモリが、
    前記登録地点のカメラ画像に、前記登録地点の位置情報と共に、当該登録地点が特定エリアに含まれるか否かを表すエリア情報を対応付けた前記登録情報を記憶し、
    前記歩行者装置の前記プロセッサが、
    照合が成功した登録地点のカメラ画像に対応付けられた前記エリア情報に基づいて、歩行者が特定エリアに進入したか否かを判定することを特徴とする施設監視方法。

Images