JP2022169086A - 乗客乗降データ生成システムおよび乗客乗降データ生成方法 - Google Patents
乗客乗降データ生成システムおよび乗客乗降データ生成方法 Download PDFInfo
- Publication number
- JP2022169086A JP2022169086A JP2021074914A JP2021074914A JP2022169086A JP 2022169086 A JP2022169086 A JP 2022169086A JP 2021074914 A JP2021074914 A JP 2021074914A JP 2021074914 A JP2021074914 A JP 2021074914A JP 2022169086 A JP2022169086 A JP 2022169086A
- Authority
- JP
- Japan
- Prior art keywords
- passenger
- alighting
- boarding
- unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000003384 imaging method Methods 0.000 claims abstract description 72
- 238000012545 processing Methods 0.000 claims description 62
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 230000010354 integration Effects 0.000 description 9
- 238000009825 accumulation Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
Images
Landscapes
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】簡便に乗客乗降データを構築する技術を提供する。【解決手段】乗客乗降データ生成システムは、乗客が所定の経路上の任意の停留所から乗り他の停留所にて降りて利用する移動体の位置情報を取得する位置取得部321と、時刻を取得する時刻取得部322と、移動体の入口から乗る乗客を撮像する乗客撮像部323と、移動体の出口から降りる乗客を撮像する降客撮像部324と、乗客撮像部323および降客撮像部324により撮像された画像に移動体の識別情報と、移動体の位置情報と、時刻と、乗客撮像部323あるいは降客撮像部324のいずれの撮像部で撮像されたかを特定する情報と、を関連付けた移動体毎の乗降情報を生成する乗客情報生成部223と、画像に含まれる乗客の顔の特徴情報が共通する画像に係る乗降情報を仕分け、乗客毎に乗降した停留所を対応付けて乗客乗降データを生成する乗客乗降データ生成部126と、を備える。【選択図】図1
Description
本発明は、乗客乗降データ生成システムおよび乗客乗降データ生成方法の技術に関するものである。
「乗車客用カメラと、降車客用カメラと、乗車客用カメラで撮像された画像を撮像時刻と関連付けて記憶する乗車客画像記憶部と、降車客用カメラで撮像された画像を撮像時刻と関連付けて記憶する降車客画像記憶部と、乗車客画像記憶部及び降車客画像記憶部に記憶された情報に基づいて、乗客数を検出する乗客数検出部と、検出された乗客数を報知する乗客数報知部と、乗車客画像記憶部及び降車客画像記憶部に記憶された情報に基づいて、乗車後に降車した客と降車後に乗車してきた客とを照合する乗降客照合部と、照合結果を報知する照合結果報知部とを装備する」乗客管理装置に係る技術が、特許文献1に記載されている。
上記のような技術では、あくまで乗客の帰還状態及び乗客数を適切に管理することを目的としており、同一地点における乗客の乗降確認しかできない。
本発明の目的は、簡便に乗客乗降データを構築する技術を提供することにある。
本発明は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明に係る乗客乗降データ生成システムは、乗客が所定の経路上の任意の停留所から乗り他の停留所にて降りて利用する移動体の位置情報を取得する位置取得部と、時刻を取得する時刻取得部と、前記移動体の入口から乗る前記乗客を撮像する乗客撮像部と、前記移動体の出口から降りる前記乗客を撮像する降客撮像部と、前記乗客撮像部および前記降客撮像部により撮像された画像に前記移動体の識別情報と、前記移動体の位置情報と、前記時刻と、前記乗客撮像部あるいは前記降客撮像部のいずれの撮像部で撮像されたかを特定する情報と、を関連付けた移動体毎の乗降情報を生成する乗客情報生成部と、前記画像に含まれる前記乗客の顔の特徴情報が共通する前記画像に係る前記乗降情報を仕分け、前記乗客毎に乗降した停留所を対応付けて乗客乗降データを生成する乗客乗降データ生成部と、を備える。
本願発明によれば、簡便に乗客乗降データを構築する技術を提供することが可能となる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
以下に、本発明の実施形態に係る乗客乗降データ生成システムについて、図面を参照して説明する。なお、図1~図11は、乗客乗降データ生成システムの全ての構成を示すものではなく、理解容易のため、適宜、構成の一部を省略して描いている。以下の実施形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。なお、本明細書においては、移動体に乗降する客を総称して乗客と称呼し、乗客のうち特に移動体から降りる者を区別する必要がある場合には降客と称呼するものとする。
また、以下の実施形態において、要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
さらに、以下の実施形態において、その構成要素(要素ステップ等も含む)は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、数値および範囲についても同様である。
なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する場合がある。また、以下の実施の形態において、「Aからなる」、「Aよりなる」、「Aを有する」、「Aを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。
以下の説明では、「通信部」は、一つ以上のインターフェースデバイスでよい。当該一つ以上のインターフェースデバイスは、一つ以上の同種の通信インターフェースデバイス(例えば一つ以上のNIC(Network Interface Card))であってもよいし二つ以上の異種の通信インターフェースデバイス(例えばNICとHBA(Host Bus Adapter))であってもよい。
また、以下の説明では、「メモリ」は、一つ以上の記憶デバイスの一例である一つ以上のメモリデバイスであり、典型的には主記憶デバイスでよい。メモリにおける少なくとも一つのメモリデバイスは、揮発性メモリデバイスであってもよいし不揮発性メモリデバイスであってもよい。
また、以下の説明では、「ストレージ装置」は、一つ以上の記憶デバイスの一例である一つ以上の永続記憶デバイスでよい。永続記憶デバイスは、典型的には、不揮発性の記憶デバイス(例えば補助記憶デバイス)でよく、具体的には、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、NVME(Non-Volatile Memory Express)ドライブ、又は、SCM(Storage Class Memory)でよい。
また、以下の説明では、「記憶部」は、メモリとストレージ装置のうちメモリかまたはメモリとストレージ装置の両方であってもよい。
また、以下の説明では、「処理部」または「プロセッサー」は、一つ以上のプロセッサーデバイスでよい。少なくとも一つのプロセッサーデバイスは、典型的には、CPU(Central Processing Unit)のようなマイクロプロセッサーデバイスでよいが、GPU(Graphics Processing Unit)のような他種のプロセッサーデバイスでもよい。少なくとも一つのプロセッサーデバイスは、シングルコアでもよいしマルチコアでもよい。少なくとも一つのプロセッサーデバイスは、プロセッサーコアでもよい。少なくとも一つのプロセッサーデバイスは、処理の一部又は全部を行うハードウェア記述言語によりゲートアレイの集合体である回路(例えばFPGA(Field-Programmable Gate Array)、CPLD(Complex Programmable Logic Device)又はASIC(Application Specific Integrated Circuit))といった広義のプロセッサーデバイスでもよい。
また、以下の説明では、「yyy部」の表現にて機能を説明することがあるが、機能は、一つ以上のコンピュータプログラムがプロセッサーによって実行されることで実現されてもよいし、一つ以上のハードウェア回路(例えばFPGA又はASIC)によって実現されてもよいし、それらの組合せによって実現されてもよい。プログラムがプロセッサーによって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置及び/又はインターフェース装置等を用いながら行われるため、機能はプロセッサーの少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサーあるいはそのプロセッサーを有する装置が行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機又は計算機が読み取り可能な記録媒体(例えば非一時的な記録媒体)であってもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。
また、以下の説明では、「プログラム」や「処理部」を主語として処理を説明する場合には、プログラムや処理部を主語として説明された処理は、プロセッサーあるいはそのプロセッサーを有する装置が行う処理としてもよい。また、二つ以上のプログラムが一つのプログラムとして実現されてもよいし、一つのプログラムが二つ以上のプログラムとして実現されてもよい。
また、以下の説明では、「xxxテーブル」といった表現にて、入力に対して出力が得られる情報を説明することがあるが、当該情報は、どのような構造のテーブルでもよいし、入力に対する出力を発生するニューラルネットワーク、遺伝的アルゴリズムやランダムフォレストに代表されるような学習モデルでもよい。従って、「xxxテーブル」を「xxx情報」あるいは「xxxデータ」と言うことができる。また、以下の説明において、各テーブルの構成は一例であり、一つのテーブルは、二つ以上のテーブルに分割されてもよいし、二つ以上のテーブルの全部又は一部が一つのテーブルであってもよい。
また、以下の説明では、「乗客乗降データ生成システム」は、一つ以上の物理的な計算機(例えば、カーナビゲーション装置等のナビゲーション装置、車両制御装置、サーバー装置、データセンター)で構成されたシステムでもよいし、物理的な計算リソース群(例えば、クラウド基盤)上に実現されたシステム(例えば、クラウドコンピューティングシステム)でもよい。乗客乗降データ生成システムが表示用情報を「表示する」ことは、乗客乗降データ生成システムが有するいずれかの表示デバイスに表示用情報を表示することであってもよいし、乗客乗降データ生成システムが表示用計算機(スマートフォンやタブレットパソコン等)に表示用情報を送信することであってもよい(後者の場合は表示用計算機によって表示用情報が表示される)。
[実施例1]本実施例では、乗客が所定の経路上の任意の停留所から乗り、他の停留所にて降りて利用する移動体として、公共交通機関のバスを例示する。しかし、バスに限られず、列車、電車、ボート、フェリー等の移動体であれば適用できることはいうまでもない。本実施例では、バスへ乗る乗客を撮像したカメラ画像と、降客を撮像したカメラ画像から共通する乗客を特定し停留所と関連付けてODデータを生成する例である。
図1は、乗客乗降データ生成システムの構成の例を示す図である。乗客乗降データ生成システム1は、クラウドサービス等として提供されている顔認識サービス10と、顔認識サービス10をネットワーク50を介して利用できる乗客乗降データ生成装置100と、乗客乗降データ生成装置100とネットワーク60を介して通信可能に接続される映像記録装置200と、映像記録装置200とネットワーク70を介して通信可能に接続される移動体搭載装置300と、を含む。
顔認識サービス10は、画像情報を送信元から受け付けると、画像に含まれる人物の顔を認識して固有の顔IDを付して送信元へ返信するクラウドサービスである。その際、複数の画像情報を受け付けた場合には、顔認識サービス10では所定のアルゴリズムあるいは学習済みニューラルネットワーク等を用いて顔の特徴点の類似距離に基づいて同一人物と推定される人物の顔の重複は排除して人物ごとに顔IDを付して送信元へ返信する。これにより、一定期間に重複する人物が含まれる複数の画像や映像を顔認識サービス10に受け渡しても、重複を排除した顔IDを得ることができる。
ネットワーク50、60、70は、インターネットあるいはイントラネット等のネットワークである。ネットワーク50、60、70は、これに限られず、さらに、WAN(Wide Area Network)、携帯電話網等、あるいはこれらが複合した通信網であってもよい。また、ネットワーク50、60、70は、携帯電話通信網等の無線通信網上のVPN(Virtual Private Network)等であってもよい。
乗客乗降データ生成装置100は、記憶部110と、処理部120と、通信部130と、を有する。記憶部110には、停留所位置情報111と、乗客乗降データ112と、顔ID一時保管情報113と、が含まれる。処理部120には、乗客情報受付部121と、顔認識情報付与部122と、乗降人員統合部123と、位置クラスタ部124と、時刻クラスタ部125と、乗客乗降データ生成部126と、が含まれる。
図2は、停留所位置情報のデータ構造の例を示す図である。停留所位置情報111では、所定の停留所を特定する停留所ID111aごとに、停留所名111bと、方向111cと、座標範囲111dとが対応付けられる。
方向111cは、停留所が移動体の移動方向に応じて設けられている場合に、いずれの移動方向に向かう停留所であるのかを示す情報、すなわち進行方向を特定する情報である。座標範囲111dは、停留所として用いられる位置には通常所定の誤差範囲があることも多く、その座標範囲を特定する情報である。ここで、座標は、全地球測位システム(GPS:Global Positioning System)等の緯度経度により特定される座標をいう。
図3は、乗客乗降データのデータ構造の例を示す図である。乗客乗降データ112では、乗客の一回の乗降ごとに、乗客ID112aと、日付112bと、乗車停留所112cと、乗車時刻112dと、降車停留所112eと、降車時刻112fと、が対応付けられる。
乗客ID112aは、移動体(バス)の乗客を他の乗客から識別する情報である。日付112bは、乗客ID112aにより識別される乗客が移動体を利用した日付を示す情報である。乗車停留所112cは、乗客ID112aにより識別される乗客が移動体に乗り込んだ停留所を特定する情報である。乗車時刻112dは、乗客ID112aにより識別される乗客が移動体に乗り込んだ時刻を特定する情報である。降車停留所112eは、乗客ID112aにより識別される乗客が移動体から降りた停留所を特定する情報である。降車時刻112fは、乗客ID112aにより識別される乗客が移動体から降りた時刻を特定する情報である。すなわち、乗客乗降データ112は、ODデータ(OriginDestination)に相当する。
顔ID一時保管情報113は、顔認識サービス10が決定する所定の期間においては、顔IDが同じであれば強く同一人物と推定できることから、当該所定の期間は顔IDを人物の一致に用いることが可能となるため、顔IDと後述の乗客情報との対応付けを保管するための情報である。例えば、顔認識サービス10が初回の顔認識から24時間は同じ人物に対して同一の顔IDを付与する場合、朝に通勤でバスに乗車した利用者が夕方に帰宅のために逆方向のバスに乗車することも多く、その場合その利用者は朝と夕方で同じ顔IDを付与されるのが望ましい。ODデータ上も同一人物であると扱うことができると、乗降の関係づけの精度が高くなる。
乗客情報受付部121は、映像記録装置200からネットワーク60を介して乗客情報を受領する。乗客情報とは、車両ID、カメラID、時刻、位置、乗車/降車の情報を関連付けられた乗客の情報である。乗客情報受付部121は、顔認識情報付与部122により顔IDを特定されると、顔IDと乗客情報とを顔ID一時保管情報113として記憶部110に格納する。
顔認識情報付与部122は、顔認識サービス10に画像を送信して、顔IDを重複なく取得し、乗客情報受付部121に受け渡す。
乗降人員統合部123は、複数の顔画像の類似距離を求めて乗客情報をクラスタリングし、乗客IDを付与することで乗客と降客の人員の乗客情報を統合する。例えば、同一人物であれば基本的に顔画像の特徴点は同じとなるが、表情や周囲の明るさ等により若干のずれが生じる。乗降人員統合部123は、所定の類似範囲にあるものは同一人物とみなすための処理を行うものである。
位置クラスタ部124は、停留所において移動体が停車する位置をクラスタリングし、乗客情報に含まれる類似する位置のずれを代表点で代替して同一の停留所に統合する。例えば、同一の路線のバスは停留所内でほぼ同じ位置に停車するが、道路や停留所そのものが混雑している場合には望ましい位置に停車できず車両数台分のずれが生じることもある。位置クラスタ部124は、所定の類似範囲にあるものは同一位置にあるとみなすための処理を行うものである。
時刻クラスタ部125は、停留所において移動体が停車する時刻をクラスタリングし、乗客情報に含まれる類似する時刻のずれを代表時刻で代替して同一の時刻に統合する。例えば、バスは停留所内で停車して出入口を開放することで乗客、降客を移動させるが、乗客、降客が多い場合や料金支払い等の手続きの不備があると出入口の開放開始から閉鎖までに時間経過が著しく起こり、撮像した時刻にずれが生じることもある。時刻クラスタ部125は、所定の類似範囲にあるものは同一時刻にあるとみなすための処理を行うものである。
乗客乗降データ生成部126は、画像に含まれる乗客の顔の特徴情報が共通する画像に係る乗降情報を仕分け、乗客毎に乗降した停留所を対応付けて乗客乗降データ112を生成する。この処理には、乗客乗降データ生成部126は、乗客情報受付部121と、顔認識情報付与部122と、乗降人員統合部123と、位置クラスタ部124と、時刻クラスタ部125と、を用いる。
なお、乗客乗降データ生成部126は、後述する乗客撮像部323が撮像した画像については写っている乗客が当該時刻、位置にて移動体に乗ったと推定し、降客撮像部324が撮像した画像については写っている乗客が当該時刻、位置にて移動体から降りたと推定する。
通信部130は、ネットワーク50を介して顔認識サービス10との通信を実施する。また、通信部130は、ネットワーク60を介して映像記録装置200との通信を実施する。
映像記録装置200は、映像記憶部210と、処理部220と、通信部230と、を備える。映像記憶部210には、移動体搭載装置300から送信された映像データが例えばファイル単位等で格納される。なお、映像記憶部210は、映像データ(画像)と車両ID、カメラID、時刻、位置の情報を例えばEXIF情報等のメタ情報により関連づけて格納する。
処理部220には、映像受付部221と、乗降情報作成部222と、乗客情報生成部223と、が含まれる。映像受付部221は、ネットワーク70を介して、移動体搭載装置300から送信された映像データ(画像)、車両ID、カメラID、時刻、位置の情報を受信し、映像記憶部210に随時格納する。その際、映像受付部221は、画像に含まれる顔領域を認識し、同一人物と認識される顔の画像については重複を排除する。
乗降情報作成部222は、映像受付部221が格納した映像データについて、乗客撮像部323か降客撮像部324のいずれで撮像されたのか、カメラIDを用いて特定する。具体的には、乗降情報作成部222は、乗客撮像部323により撮像された画像は、乗車時の撮像であると特定し、降客撮像部324により撮像された画像は、降車時の撮像であると特定する。
乗客情報生成部223は、顔画像に乗客情報を関連付け、乗客乗降データ生成装置へ送信する。
通信部230は、ネットワーク60を介して乗客乗降データ生成装置100との通信を実施する。また、通信部230は、ネットワーク70を介して移動体搭載装置300との通信を実施する。
移動体搭載装置300は、処理部320と、通信部330と、を備える。処理部320には、位置取得部321と、時刻取得部322と、乗客撮像部323と、降客撮像部324と、が含まれる。
位置取得部321は、GPS、GLONASS(Global Navigation Satellite System)、ガリレオ等の全地球測位システム等から移動体搭載装置300が搭載されている移動体(バス)の位置、すなわち緯度経度の情報を取得する。
時刻取得部322は、時刻情報を取得する。乗客撮像部323は、移動体(バス)の入口から移動体に入ってくる乗客の顔を写せるように、画角と撮像方向を調整されて移動体に取り付けられた後述する乗車人員撮像装置306を制御する。また、乗客撮像部323は、撮像した画像データを映像記録装置200に送信する。
降客撮像部324は、移動体(バス)の出口から移動体を出る降客の顔を写せるように、画角と撮像方向を調整されて移動体に取り付けられた後述する降車人員撮像装置307を制御する。また、降客撮像部324は、撮像した画像データを映像記録装置200に送信する。つまり、乗客撮像部323と、降客撮像部324とは、ネットワーク70を介して、映像記録装置200に、映像データ(画像)、車両ID、カメラID、時刻、位置の情報を随時送信する。
通信部330は、ネットワーク70を介して映像記録装置200との通信を実施する。
図4は、乗客乗降データ生成装置のハードウェア構成例を示す図である。乗客乗降データ生成装置100は、プロセッサー(例えば、CPU:Central Processing Unit、あるいはGPU:Graphics Processing Unit)101と、RAM(Random Access Memory)等のメモリ102と、ハードディスク装置(Hard Disk Drive:HDD)やSSD(Solid State Drive)などのストレージ装置103と、ネットワーク50、60を介した通信の接続を行うインターフェースを担う通信装置104と、これらを互いに接続するバス107と、を備えた一般的な情報処理装置により実現できる。
上記した処理部120の各機能部、すなわち乗客情報受付部121と、顔認識情報付与部122と、乗降人員統合部123と、位置クラスタ部124と、時刻クラスタ部125と、乗客乗降データ生成部126とは、プロセッサー101が所定のプログラムを読み込み実行することにより構築される。そのため、メモリ102またはストレージ装置103には、各機能部の処理を実現するためのプログラムが記憶されている。そして、そのプログラムは、実行時にメモリ102にロードされ、プロセッサー101に処理を行わせる。
記憶部110の各情報、すなわち停留所位置情報111、乗客乗降データ112、顔ID一時保管情報113は、メモリ102またはストレージ装置103により実現される。通信部130は、通信装置104により実現される。
なお、映像記録装置200についても、図4に示すハードウェア構成例と同様の構成を備えるものであるため、説明は割愛する。
図5は、移動体搭載装置のハードウェア構成例を示す図である。移動体搭載装置300は、プロセッサー(例えば、CPU、あるいはGPU)301と、RAM等のメモリ302と、ハードディスク装置やSSDなどのストレージ装置303と、ネットワーク70を介した通信の接続を行うインターフェースを担う通信装置304と、乗車人員撮像装置306および降車人員撮像装置307と通信可能につながる外部IF(Inter Face)305と、GPS等の全地球測位システムから位置情報を取得するGPS受信装置308と、これらを互いに接続するバス309と、を備えた一般的な情報処理装置により実現できる。
上記した処理部320の各機能部、すなわち位置取得部321と、時刻取得部322と、乗客撮像部323と、降客撮像部324とは、プロセッサー301が所定のプログラムを読み込み実行することにより構築される。そのため、メモリ302またはストレージ装置303には、各機能部の処理を実現するためのプログラムが記憶されている。そして、そのプログラムは、実行時にメモリ302にロードされ、プロセッサー301に処理を行わせる。通信部330は、通信装置304により実現される。
図6は、移動体搭載装置のバスへの設置例を示す図である。バス350は、車両の前方に入口専用の扉を備え、車両の前後中央に出口専用の扉を備える。乗車人員撮像装置306は、入口方向に撮像方向(図内点線三角)を向けて天井等に取り付けられる。また、降車人員撮像装置307は、出口付近に車内部を撮影する方向に撮像方向(図内点線三角)を向けて天井等に取り付けられる。
図7は、停車時処理の処理フローの例を示す図である。停車時処理は、移動体搭載装置300が取り付けられたバスが停車して、入口ドアあるいは出口ドアのいずれかまたは両方を開けると開始され、ステップS002~ステップS005の処理を繰り返し行い、入口ドアあるいは出口ドアのいずれかまたは両方が閉じると終了する(ステップS001、ステップS006)。
まず、位置取得部321は、移動体の現在地を取得する(ステップS002)。具体的には、位置取得部321は、GPS受信装置308から移動体の現在地の座標を取得する。
そして、時刻取得部322は、現在時刻を取得する(ステップS003)。具体的には、時刻取得部322は、システムの時刻情報を取得する。
そして、乗客撮像部323と降客撮像部324は、それぞれの撮像視野の乗降客を撮像する(ステップS004)。なお、乗客撮像部323と降客撮像部324は静止画ではなく動画により撮影するものであってもよい。
そして、乗客撮像部323と降客撮像部324は、それぞれが撮像した画像に、移動体の車両IDと、撮像装置のカメラIDと、時刻と、位置とを関連付けて映像記録装置200に送信する(ステップS005)。
以上が、停車時処理の処理フローである。停車時処理によれば、停留所で停車して出入口を開けた際に、乗降客の顔画像を得ることができる。
図8は、サマリー処理の処理フローの例を示す図である。サマリー処理は、映像記録装置200の映像受付部221が移動体搭載装置300から画像および該画像に関連付けられた移動体の車両IDと、撮像装置のカメラIDと、時刻と、位置との情報を受信すると、開始される。
映像受付部221は、画像に含まれる顔領域を認識し、同一人物と認識される顔の画像については重複を排除して映像記憶部210に随時格納する(ステップS101)。
そして、乗降情報作成部222は、映像受付部221が受信した画像を撮像したカメラIDを用いて、乗降客ごとに乗車・降車を特定する(ステップS102)。具体的には、乗降情報作成部222は、画像に関連付けられているカメラIDに応じて、乗車用の入口にて撮像した画像か、降車用の出口にて撮像した画像か、を特定する。
乗客情報生成部223は、顔画像に乗客情報(車両ID、カメラID、時刻、位置、乗車/降車)を関連付けて乗客乗降データ生成装置100に送信する(ステップS103)。具体的には、乗客情報生成部223は、ステップS101において抽出した顔画像について、関連付けられた車両ID、カメラID、時刻、位置の情報に加えて、ステップS102において特定された乗車/降車の別を示す情報を関連付けて乗客乗降データ生成装置100に送信する。
以上が、サマリー処理の処理フローである。サマリー処理によれば、乗客あるいは降客が、乗車/降車の際に複数撮像された結果、複数の画像に写った同一人物の顔画像について重複を排除して乗車情報を関連付けて乗客乗降データ生成装置100に送信することができる。
図9は、蓄積処理の処理フローの例を示す図である。蓄積処理は、乗客乗降データ生成装置100の乗客情報受付部121が映像記録装置200から画像および該画像に関連付けられた乗客情報(移動体の車両IDと、撮像装置のカメラIDと、時刻と、位置と、乗車/降車の別を示す情報)の情報を受信すると、開始される。
顔認識情報付与部122は、乗客情報受付部121が受信した画像(顔画像)ごとに特徴点を認識し、顔IDを付与する(ステップS201)。具体的には、顔認識情報付与部122は、ネットワーク50を介して顔認識サービス10に受信した画像(顔画像)を送信し、顔IDを受け取る。顔認識情報付与部122は、受け取った顔IDをそのまま顔IDとして該顔画像に関連付ける。
そして、乗客情報受付部121は、乗客情報(移動体の車両IDと、撮像装置のカメラIDと、時刻と、位置と、乗車/降車の別を示す情報)に、付与された顔IDを関連付けて顔ID一時保管情報113として記憶部110に格納する(ステップS202)。
以上が、蓄積処理の処理フローである。蓄積処理によれば、乗車あるいは降車ごとに重複なく乗客に顔IDが付与され、乗車情報と関連付けて記憶部110に格納することができる。蓄積した乗車情報等は、所定の期間が経過すると(例えば、バス運行の営業日が終了すると)集計されて分析するODデータ生成処理が開始されるため、この蓄積処理は集計までの間の一時的な蓄積を担う。
図10は、ODデータ生成処理の処理フローの例を示す図である。ODデータ(乗客乗降データ)生成処理は、例えば、バス運行の営業日が終了した深夜の時間起動処理等において自動で、あるいは管理者等により手動で、指示を受け付けて開始される。
まず、乗客乗降データ生成部126は、車両IDごとにステップS302~ステップS310の処理を繰り返し行う(ステップS301、ステップS311)。
乗客乗降データ生成部126は、車両IDに係る乗客情報と顔IDとを特定する(ステップS302)。具体的には、乗客乗降データ生成部126は、記憶部110の顔ID一時保管情報113を読み出し、車両IDが現ループの車両IDと一致する乗客情報と、関連付けられた顔IDとを特定する。
そして、乗降人員統合部123は、顔画像でクラスタリングし乗客IDを付与する(ステップS303)。具体的には、乗降人員統合部123は、ステップS302において特定した乗客情報と顔IDに関して、顔画像の類似距離によりクラスタリングを行い、所定の類似距離以下となる顔画像を有する乗客情報については、同一の乗客IDを付与する。つまり、乗降人員統合部123は、顔が所定以上類似する人物は同一人物とみなして、同一の乗客IDを付与することで、乗客情報を人物により統合するといえる。
そして、位置クラスタ部124は、乗客情報を位置情報でクラスタリングし停留所IDを付与する(ステップS304)。具体的には、位置クラスタ部124は、停留所において移動体が停車する位置をクラスタリングし、乗客情報に含まれる類似する位置のずれを代表点で代替して同一の停留所に統合する。例えば、同一の路線のバスは停留所内でほぼ同じ位置に停車するが、道路や停留所そのものが混雑している場合には望ましい位置に停車できず車両数台分のずれが生じることもある。位置クラスタ部124は、所定の類似範囲にあるものは同一位置により統合するといえる。
そして、時刻クラスタ部125は、乗客情報を時刻でクラスタリングし代表時刻を付与する(ステップS305)。具体的には、時刻クラスタ部125は、停留所において移動体が停車する時刻をクラスタリングし、乗客情報に含まれる類似する時刻のずれを代表時刻で代替して同一の時刻に統合する。例えば、バスは停留所内で停車して出入口を開放することで乗客、降客を移動させるが、乗客、降客が多い場合や料金支払い等の手続きの不備があると出入口の開放開始から閉鎖までに時間経過が著しく起こり、撮像した時刻にずれが生じることもある。時刻クラスタ部125は、所定の類似範囲にあるものは同一時刻により統合するといえる。
次に、乗客乗降データ生成部126は、乗客IDごとにステップS307~ステップS309の処理を繰り返し行う(ステップS306、ステップS310)。
乗客乗降データ生成部126は、当該乗客IDの乗車情報と降車情報を抽出する(ステップS307)。
そして、乗客乗降データ生成部126は、抽出された乗車情報と降車情報を時系列に整列する(ステップS308)。
そして、乗客乗降データ生成部126は、乗車-降車のペアを特定し関連付ける(ステップS309)。具体的には、乗客乗降データ生成部126は、ステップS308において時系列に整列された乗車情報と降車情報とを、時刻の早い順に乗車情報と降車情報とを一対一で組み合わせて一乗車として仕分け、関連付ける。
そして、乗客乗降データ生成部126は、ステップS301~ステップS311の処理において関連付けられた乗員IDごとの乗車情報と降車情報とを、乗客乗降データ112として記憶部110に格納する(ステップS312)。
以上が、ODデータ生成処理の処理フローの例である。ODデータ生成処理によれば、所定期間(例えば、一営業日)の全車両について、乗客を統合して乗車と降車の情報を整理格納することができる。つまり、簡便に乗客乗降データを構築することができるといえる。
図11は、ODデータの生成例を示す図である。図11に示すように、あるバス車両について、「停留所A」にて「AM7:15」に「Mr.X」が乗車し、「停留所B」にて「AM7:20」に「Mr.Y」が乗車し、「停留所E」にて「AM7:50」に「Mr.Y」が降車し、「停留所G」にて「AM8:10」に「Mr.X」が降車した事実があるとする。また、その後、「停留所E」にて「PM8:00」に「Mr.Y」が乗車し、「停留所B」にて「PM8:15」に「Mr.Y」が降車した事実があるとする。
このような場合に、生成されるODデータは、図11の矢印下の表のように、乗客IDが「001(これをMr.Xとする)」なる乗客は乗車停留所「A」に「AM7:15」にて乗車し、降車停留所「G」に「AM8:10」にて降車した、となる。これは、Mr.Xと思しき顔画像の人物の乗車情報と降車情報とが統合されて乗客ID「001」の一回の乗車として統合された結果といえる。また、乗車停留所が「A」、降車停留所が「G」となるのも、位置情報のずれが統合された結果所定の停留所の代表位置とみなされた結果といえる。また、乗車時刻が「AM7:15」、降車時刻が「AM8:10」となるのも、撮像された時刻情報のずれ(開扉から閉扉までの時刻の差)が統合された結果所定の代表時刻とみなされた結果といえる。
同様に、「Mr.Y」については、同日に同じ区間の往復を行っているが、それぞれの乗車には本来関連がない。しかし、撮像された顔画像の類似からいずれも「Mr.Y」の乗車であることが強く推定されるため、乗客IDが「002」として統合されていることがわかる。
以上が、実施例に係る乗客乗降データ生成システムである。実施例に係る乗客乗降データ生成システムによれば、簡便に乗客乗降データを構築することができる。
ただし、本発明は、上記の実施例に制限されない。上記の実施例は、本発明の技術的思想の範囲内で様々な変形が可能である。例えば、上記の実施例では、乗客とその乗降の画像を扱って乗客乗降データを生成していたが、これに限られない。乗客撮像部323および降客撮像部324において動画を映像データとして取得するようにしてもよい。このようにすることで、撮像のインターバルにおいて乗降が俊敏になされたことにより乗客の撮像漏れを回避することができる。
また例えば、上記の実施例では、乗客情報には車両ID、カメラID、時刻、位置、乗車/降車の情報が含まれるものとしているが、これに限られず、車両ID、カメラID、時刻、位置が含まれるものとしてもよい。その場合には、乗降情報作成部222に相当する処理部を乗客乗降データ生成装置100の処理部120に設けて、サマリー処理のステップS102の処理に相当する処理、すなわちカメラIDを用いて乗車側カメラか降車側カメラかを判定し、乗降情報を作成する処理をODデータ生成処理のステップS306とS307の間において実施するようにすればよい。また、これに伴い、乗客乗降データ生成装置100の記憶部110に、カメラIDごとに乗車側カメラか降車側カメラかを特定する情報を対応付けて記憶するテーブルを備えるようにすればよい。
また例えば、顔認識サービス10を利用した顔IDの付与を乗客乗降データ生成装置100において行うのではなく、移動体搭載装置300が直接行うようにしてもよい。このようにすることで、リアルタイムにODデータに反映することが可能となる。
他にも、例えば、乗客乗降データに、外部から取得した乗降時の天気や気温、カレンダー情報あるいは地域のイベント情報等を併せ持つことで、雨天時や大型連休、あるいはイベント開催時の条件に合致する乗客乗降データを抽出することができるようになる。
以上、様々な変形例について説明した。上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の構成に置き換えることが可能であり、また、ある実施例の構成に他の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサーがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
1:乗客乗降データ生成システム、10:顔認識サービス、50,60,70:ネットワーク、100:乗客乗降データ生成装置、110:記憶部、111:停留所位置情報、112:乗客乗降データ、113:顔ID一時保管情報、120:処理部、121:乗客情報受付部、122:顔認識情報付与部、123:乗降人員統合部、124:位置クラスタ部、125:時刻クラスタ部、126:乗客乗降データ生成部、130:通信部、200:映像記録装置、210:映像記憶部、220:処理部、221:映像受付部、222:乗降情報作成部、223:乗客情報生成部、230:通信部、300:移動体搭載装置、320:処理部、321:位置取得部、322:時刻取得部、323:乗客撮像部、324:降客撮像部、330:通信部。
Claims (6)
- 乗客が所定の経路上の任意の停留所から乗り他の停留所にて降りて利用する移動体の位置情報を取得する位置取得部と、
時刻を取得する時刻取得部と、
前記移動体の入口から乗る前記乗客を撮像する乗客撮像部と、
前記移動体の出口から降りる前記乗客を撮像する降客撮像部と、
前記乗客撮像部および前記降客撮像部により撮像された画像に前記移動体の識別情報と、前記移動体の位置情報と、前記時刻と、前記乗客撮像部あるいは前記降客撮像部のいずれの撮像部で撮像されたかを特定する情報と、を関連付けた移動体毎の乗降情報を生成する乗客情報生成部と、
前記画像に含まれる前記乗客の顔の特徴情報が共通する前記画像に係る前記乗降情報を仕分け、前記乗客毎に乗降した停留所を対応付けて乗客乗降データを生成する乗客乗降データ生成部と、
を備える乗客乗降データ生成システム。 - 請求項1に記載の乗客乗降データ生成システムであって、
前記乗客撮像部および前記降客撮像部のいずれかは、前記移動体のそれぞれ前記入口あるいは前記出口のうちいずれかが開いている期間に撮像する、
ことを特徴とする乗客乗降データ生成システム。 - 請求項1または2に記載の乗客乗降データ生成システムであって、
前記乗客乗降データ生成部は、前記乗客撮像部が撮像した画像については写っている前記乗客が前記移動体に乗ったと推定し、前記降客撮像部が撮像した画像については写っている前記乗客が前記移動体から降りたと推定する、
ことを特徴とする乗客乗降データ生成システム。 - 請求項1~3のいずれか一項に記載の乗客乗降データ生成システムであって、
前記乗客乗降データ生成部は、前記乗客撮像部が前記画像を撮像した時刻については写っている前記乗客が前記移動体に乗った時刻と推定し、前記降客撮像部が前記画像を撮像した時刻については写っている前記乗客が前記移動体から降りた時刻と推定する、
ことを特徴とする乗客乗降データ生成システム。 - 請求項1~4のいずれか一項に記載の乗客乗降データ生成システムであって、
前記乗客乗降データ生成部は、前記乗客撮像部が前記画像を撮像した位置については写っている前記乗客が前記移動体に乗った位置と推定し、前記降客撮像部が前記画像を撮像した位置については写っている前記乗客が前記移動体から降りた位置と推定する、
ことを特徴とする乗客乗降データ生成システム。 - 乗客乗降データ生成システムを用いた乗客乗降データ生成方法であって、
前記乗客乗降データ生成システムは、
乗客が所定の経路上の任意の停留所から乗り他の停留所にて降りて利用する移動体の位置情報を取得する位置取得部と、
時刻を取得する時刻取得部と、
前記移動体の入口から乗る前記乗客を撮像する乗客撮像部と、
前記移動体の出口から降りる前記乗客を撮像する降客撮像部と、処理部と、を備え、
前記処理部は、
前記乗客撮像部および前記降客撮像部により撮像された画像に前記移動体の識別情報と、前記移動体の位置情報と、前記時刻と、前記乗客撮像部あるいは前記降客撮像部のいずれの撮像部で撮像されたかを特定する情報と、を関連付けた移動体毎の乗降情報を生成する乗客情報生成ステップと、
前記画像に含まれる前記乗客の顔の特徴情報が共通する前記画像に係る前記乗降情報を仕分け、前記乗客毎に乗降した停留所を対応付けて乗客乗降データを生成する乗客乗降データ生成ステップと、
を実施する乗客乗降データ生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021074914A JP2022169086A (ja) | 2021-04-27 | 2021-04-27 | 乗客乗降データ生成システムおよび乗客乗降データ生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021074914A JP2022169086A (ja) | 2021-04-27 | 2021-04-27 | 乗客乗降データ生成システムおよび乗客乗降データ生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022169086A true JP2022169086A (ja) | 2022-11-09 |
Family
ID=83943977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021074914A Pending JP2022169086A (ja) | 2021-04-27 | 2021-04-27 | 乗客乗降データ生成システムおよび乗客乗降データ生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022169086A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102023128464A1 (de) | 2022-10-21 | 2024-05-02 | Ngk Insulators, Ltd. | Gassensor |
-
2021
- 2021-04-27 JP JP2021074914A patent/JP2022169086A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102023128464A1 (de) | 2022-10-21 | 2024-05-02 | Ngk Insulators, Ltd. | Gassensor |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200005044A1 (en) | Left object detecting system | |
CN109311622B (zh) | 电梯系统以及轿厢呼叫估计方法 | |
CN109429520B (zh) | 用于检查作弊服务订单的方法、系统、设备及可读介质 | |
US9372086B2 (en) | Control system for indicating if people can reach locations that satisfy a predetermined set of conditions and requirements | |
US20220044510A1 (en) | Edge computing to determine augmented reality content associated with a transportation infrastructure | |
KR102274108B1 (ko) | 지정 차량을 모니터링하기 위한 주차장을 운영하는 방법 및 컴퓨터 판독가능 저장 매체 | |
JP2022169086A (ja) | 乗客乗降データ生成システムおよび乗客乗降データ生成方法 | |
KR20210111932A (ko) | 자율주행차량 내 분실물 처리 시스템 및 방법 | |
JP2021105765A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2020077166A (ja) | 車両及び車両の運用方法 | |
JP6326177B2 (ja) | 交通状況推定システム及び交通状況推定方法 | |
JP7142769B2 (ja) | 情報処理装置、移動体、プログラム及び方法 | |
JP7217644B2 (ja) | 運行管理システム、運行管理方法及びプログラム | |
US11797946B2 (en) | Transportation boarding time notification | |
JP7217800B2 (ja) | 情報処理装置、移動体、プログラム及び方法 | |
CN113807855A (zh) | 结算代理装置、结算代理系统、结算代理方法及结算代理程序 | |
CN111915043A (zh) | 服务数据处理方法、装置、服务器及存储介质 | |
JP6889183B2 (ja) | 搭乗予定者誘導装置、搭乗予定者誘導方法、及びコンピュータプログラム | |
WO2021181635A1 (ja) | 状況通知装置、状況通知方法、及びコンピュータ読み取り可能な記録媒体 | |
CN113574578B (zh) | 信息处理装置、移动体、计算机可读存储介质以及方法 | |
WO2023021673A1 (ja) | サーバ装置、システム、odデータ生成方法及び記憶媒体 | |
WO2022013904A1 (ja) | 移動体制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
JP2020077167A (ja) | 車両の制御装置及び車両の運用方法 | |
JP2024012757A (ja) | 乗降情報生成支援装置、乗降情報生成支援方法、プログラム及び記録媒体 | |
JP7444236B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム |