以下、実施形態の改札監視システムを、図面を参照して説明する。
(第1の実施形態)
図1は、第1の実施形態における改札監視システム1の構成の一例を示す図である。本実施形態の改札監視システム1は、例えば、鉄道の駅や空港、乗船場等における入出場を管理するために用いられる。以下、改札監視システム1が鉄道の駅に適用されることを前提として説明する。また、複数の駅を代表して2つの駅に設けられる構成について説明する。改札監視システム1は、例えば、複数の自動改札機100と、駅サーバ装置200−1および200−2と、監視カメラ300とを備える。以下、駅サーバ装置200−1と200−2とを区別しない場合は、単に駅サーバ装置200という。
自動改札機100は、例えば、駅の改札口に複数台設けられる。図示のように、駅に改札口が複数存在する場合、自動改札機100は、改札口ごとに設けられる。自動改札機100は、図示しない券売機等により発行された乗車券TIXから情報を読み取ることによって、利用者の入出場を制限する。本実施形態において、この乗車券TIXを、券の表面あるいは裏面に磁気記録面を有する磁気券として説明する。例えば、この磁気記録面には、乗車券情報が記録される。乗車券情報には、例えば、有効期間、乗車駅(発駅)、乗車可能区間、乗車券のそれぞれを識別する乗車券識別情報(乗車券ID)、乗車時刻、駅構内からの出場、或いは駅構内への入場を示す入出場情報等の情報が含まれる。
駅サーバ装置200は、例えば駅ごとに設けられ、無線や有線によって上述した自動改札機100と通信を行い、自動改札機100から取得した情報を処理し、LAN(Local Area Network)やWAN(Wide Area Network)等を含むネットワークNWを介して、他駅に設けられた駅サーバ装置に送信する。駅サーバ装置200は、情報処理装置の一例である。
監視カメラ300は、例えば、CCD(Charge-Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを有する。監視カメラ300は、例えば駅構内や、自動改札機100周辺の施設内の壁や天井に設置され、利用者を俯瞰撮像する。監視カメラ300は、専用線やLAN等を介して撮像した画像データを駅サーバ装置200に送信する。また、監視カメラ300は、駅のホームや、列車内に取り付けらえてもよい。端末装置400は、例えば駅係員が操作する端末装置である。
以下、上述した自動改札機100、および駅サーバ装置200について説明する。まず自動改札機100について説明を行う。
図2は、第1の実施形態における自動改札機100を上方から見た図である。自動改札機100は、例えば、通路を挟んで対向配置される主機110と従機130とを備える。主機110は、例えば、読取部111と、上面表示部112と、正面表示部113と、扉部114および115と、乗車券投入口116と、乗車券排出口117と、カメラ118と、投入センサ119と、電磁波センサ120と、改札機側制御部150とを備える。また、従機130は、例えば、読取部131と、上面表示部132と、正面表示部133と、扉部134および135と、乗車券投入口136と、乗車券排出口137と、カメラ138と、投入センサ139と、電磁波センサ140とを備える。
主機110の読取部111は、図2に示すa方向に通過しようとする利用者によって乗車券投入口116に投入された乗車券TIXに記録された乗車券情報を読み取り、読み取った乗車券情報を改札機側制御部150に送信する。また、読取部111は、改札機側制御部150により出力された情報に基づいて、乗車券TIXの乗車券情報を書き換え、乗車券排出口117から排出する。上面表示部112は、乗車券投入口116に乗車券TIXが投入された場合に、改札機側制御部150によって処理された結果、または駅サーバ装置200から受信した情報に基づく画像を表示する。正面表示部113は、図2に示すa方向に通過可能であるか否かを示すマークや図形、文字等を表示する。正面表示部113の表示内容または表示の有無は、改札機側制御部150によって決定される。
一方、従機130の読取部131は、図2に示すb方向に通過しようとする利用者によって乗車券投入口136に投入された乗車券TIXに記録された乗車券情報を読み取り、読み取った乗車券情報を改札機側制御部150に送信する。また、読取部131は、改札機側制御部150により出力された情報に基づいて、乗車券TIXの乗車券情報を書き換え、乗車券排出口137から排出する。上面表示部132は、乗車券投入口136に乗車券TIXが投入された場合に、改札機側制御部150によって処理された結果、または駅サーバ装置200から受信した情報に基づく画像を表示する。正面表示部133は、図2に示すb方向に通過可能であるか否かを示すマークや図形、文字等を表示する。正面表示部133の表示内容または表示の有無は、改札機側制御部150によって決定される。
改札機側制御部150は、図2に示すa方向への利用者の通過を制御する動作モードに自動改札機100が設定されている場合、扉部115および135を開放状態に維持すると共に、扉部114および134を開放状態または閉止状態に制御することで、a方向の利用者の通過を許可または禁止する。また、改札機側制御部150は、図2に示すb方向への利用者の通過を制御する動作モードに自動改札機100が設定されている場合、扉部114および134を開放状態に維持すると共に、扉部115および135を開放状態または閉止状態に制御することで、b方向の利用者の通過を許可または禁止する。
また、自動改札機100の動作モードには、図2に示すa方向の通過とb方向の通過との双方を制御する動作モードが含まれていてもよい。この場合、改札機側制御部150は、例えば、利用者が通過中でなければ正面表示部113と正面表示部133の双方に通過を許可することを示すマークや図形、文字等を表示させる制御を行う。また、改札機側制御部150は、例えば、利用者がa方向およびb方向のいずれかの側から進入し、乗車券投入口116と乗車券投入口136とのいずれか一方に乗車券TIXが投入されると、他方の乗車券投入口の開口を閉ざして乗車券TIXの投入を禁止すると共に、利用者が進入してきていない側の表示部(正面表示部113または正面表示部133)に、通過を禁止することを示すマークや図形、文字等を表示させる制御を行う。
なお、図2では、自動改札機100は、乗車券情報が磁気記録面に記録された磁気券の専用機であるものとして説明したが、自動改札機100は、更に、QRコード(登録商標)等の二次元コードが印刷された紙券や、電子マネー等の情報を記憶することができる交通系ICカードを処理可能な装置であってもよい。また、自動改札機100は、利用者が双方向に通過可能なものに限らず、主機と補機により構成される、利用者が一方向にのみ通過可能なものであってもよい。
カメラ118は、例えば、CCDやCMOS等のイメージセンサを有する。図3は、カメラ118が利用者の顔を撮像する様子を示す図である。例えば、カメラ118のアングルは、乗車券投入口116に乗車券TIXを投入する利用者の顔が視野角FOV内に収まるように設定される。カメラ118は、改札機側制御部150の制御によって、乗車券投入口116に乗車券TIXを投入しようとする、あるいは乗車券TIXを投入した利用者を撮像する。カメラ118は、例えば、5から10程度のfps(frame per second)によって、時系列に連続した画像、すなわち動画を撮像する。カメラ118は、撮像した動画データ(画像データ)を改札機側制御部150に出力する。なお、従機130のカメラ138も、カメラ118と同様に、アングルが乗車券投入口136に乗車券TIXを投入する利用者の顔が視野角FOV内に収まるように設定される。これによって、カメラ138は、改札機側制御部150の制御によって、乗車券投入口136に乗車券TIXを投入しようとする、あるいは投入した利用者を撮像する。カメラ138は、撮像した動画データ(画像データ)を改札機側制御部150に出力する。
投入センサ119(139)は、乗車券投入口116(136)に投入された乗車券TIXを検出するためのものである。投入センサ119は、例えば赤外線センサや、発光素子と受光素子を用いたセンサなどにより実現される。投入センサ119は、乗車券投入口116により投入された乗車券TIXを検出した場合、乗車券TIXを検出したことを示す検出信号を改札機側制御部150に出力する。
電磁波センサ120(140)は、例えば複数の受信素子が配置された電磁波センサである。電磁波センサ120は、例えばミリ波帯の熱雑音を受信する。図4は、電磁波センサ120が利用者から発せられる熱雑音を受信する様子を示す図である。電磁波センサ120は、受信素子が受信した受信信号を処理し、受信信号のレベルを示す信号をセンサ制御部156に送信する。受信信号のレベルとは、熱雑音の大きさの程度を示す情報である。なお、電磁波センサ120には、例えば各受信素子により受信された受信信号を増幅する増幅器(不図示)や、各受信信号を検波する検波回路等が内蔵されている。
図5は、第1の実施形態における自動改札機100の機能構成の一例を示す図である。自動改札機100は、図2に示す構成の他、改札機側制御部150の指示に従って、音声を出力するスピーカ142と、種々の情報を格納する改札機側記憶部170とを更に備える。また、改札機側制御部150は、改札機側通信部152と、投入検出部153と、撮像制御部154と、センサ制御部156と、通過可否判定部158と、データ管理部160とを備える。
改札機側制御部150の機能部のうち一部または全部は、CPU(Central Processing Unit)等のプロセッサが図示しない記憶部に記憶されたプログラムを実行することにより実現される。プログラムは、例えば、ネットワークNWを介してアプリケーションサーバからダウンロードされてもよいし、SDカードなどの可搬型記憶媒体に格納されたものが自動改札機100にインストールされてもよい。また、改札機側制御部150の機能部のうち一部または全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等のハードウェアによって実現されてもよい。
改札機側記憶部170は、例えば、ROM(Read Only Memory)、フラッシュメモリ、HDD(Hard Disk Drive)、SDカード等の不揮発性の記憶媒体と、RAM(Random Access Memory)、レジスタ等の揮発性の記憶媒体とによって実現される。改札機側記憶部170は、プロセッサが実行するプログラムや、各駅間の運賃が記憶された運賃テーブルを格納する他、後述する改札機識別情報等を格納する。
改札機側通信部152は、例えば、カメラ118(138)によって撮像された動画と、電磁波センサ120(140)に受信された情報と、改札機側制御部150の処理結果を示す情報とを、互いに対応付けて駅サーバ装置200に送信する。例えば、駅構内に入場する利用者の通過を制御する動作モードに自動改札機100が設定されている場合、この自動改札機100の改札機側通信部152は、処理対象の乗車券TIXの乗車券識別情報と、入場を許可したか否かを示す入場ステータス情報と、処理を行った時刻情報と、自動改札機を識別する改札機識別情報とを含む入場改札処理情報を、改札機側制御部150の処理結果を示す情報として送信する。改札機識別情報は、例えば、予め改札機側記憶部170に格納されている。
また、駅構内から出場する利用者の通過を制御する動作モードに自動改札機100が設定されている場合、この自動改札機100の改札機側通信部152は、処理対象の乗車券TIXの乗車券識別情報と、出場を許可したか否かを示す出場ステータス情報と、処理を行った時刻情報と、自動改札機を識別する改札機識別情報とを含む出場改札処理情報を、改札機側制御部150の処理結果を示す情報として送信する。
投入検出部153は、投入センサ119(139)の検出結果に基づいて、媒体が使用されたタイミングを検出する。投入検出部153は、例えば投入センサ119(139)の検出結果に基づいて、乗車券投入口116に乗車券TIXが投入されたタイミングを検出する。投入検出部153は、媒体が使用されたタイミングを撮像制御部154またはセンサ制御部156に出力する。
撮像制御部154は、媒体が使用されたタイミングで、カメラ118(138)に動画の撮像を開始させる。また、撮像制御部154は、例えば読取部111(131)による乗車券TIXの読み取り処理が開始されてから、通過可否判定部158による判定処理が終了するまでの一連の処理に応じて、カメラ118(138)の動画の撮像を終了させる。
センサ制御部156は、投入センサ119(139)によって、乗車券投入口116(136)に乗車券TIXが投入されたことが検出されたタイミングで、電磁波センサ120を動作させる。センサ制御部156は、例えば読取部111(131)による乗車券TIXの読み取り処理が開始されてから、通過可否判定部158による判定処理が終了するまでの一連の処理が終了するのに応じて、電磁波センサ120によるミリ波帯の熱雑音の受信を終了させる。センサ制御部156は、電磁波センサ120から受信素子毎の受信信号のレベルを示す信号を取得する。センサ制御部156は、取得した受信信号のレベルを示す信号に基づいて、対象物の撮像画像を示す電磁波画像データを生成する。
通過可否判定部158は、読取部111(131)により読み取られた乗車券情報に基づいて、利用者の通過を許可、あるいは禁止する制御を行う。例えば、通過可否判定部158は、乗車券情報に含まれる有効期間、乗車駅(発駅)、乗車可能区間等の情報と運賃テーブルとを照合することにより、自装置である自動改札機100が設置された駅と乗車駅とが一致するか否か、自動改札機100が設置された駅が乗車可能区間内か否か、すなわち利用者の乗車区間が乗車券時の購入金額に見合うか否か、乗車券TIXが乗車券投入口116(136)に投入された時刻が有効期間内か否か等といったことを判定し、全ての判定条件を満たす場合に利用者の通過を許可し、いずれか1つ以上の判定条件を満たさない場合に利用者の通過を禁止する。通過可否判定部158は、通過の許可または禁止の判定に応じて、扉部114、115、134、135、スピーカ142、上面表示部112、132、正面表示部113、133、またはこれらを組み合わせたものを制御する。
データ管理部160は、電磁波センサ120(140)により検出された電磁波に基づく情報、およびカメラ118(138)により検出された画像情報、および読取部111(131)に読み取られた情報のうち、同一の利用者に関する情報を互いに対応付けて、自装置の記憶領域に記憶させる。データ管理部160は、カメラ118(138)により撮像された動画から、利用者が自動改札機100の乗車券投入口116(136)に乗車券TIXを投入した際の姿を収めたフレーム画像をカメラ118(138)により検出された画像情報として選択する。ここで、「乗車券TIXを投入した姿」とは、例えば、人の胸部より上側の身体であり、さらに好ましくは利用者の顔を含む頭部である。
図6は、データ管理部160により対応付けられた同一の利用者に関する情報Dの一例を示す図である。電磁波センサ120(140)により検出された電磁波に基づく情報D1は、電磁波画像データごとに、当該電磁波画像データが撮像された撮像時刻と、改札機識別情報とが対応付けられたデータ列の集合である。カメラ118(138)により検出された画像情報は、フレーム画像ごとに、当該フレーム画像が撮像された撮像時刻と、改札機識別情報とが対応付けられたデータ列の集合である。読取部111(131)に読み取られた情報D3は、例えば、乗車券識別情報(乗車券ID)ごとに、入出場のステータス情報と、各自動改札機の処理時刻と、改札機識別情報(改札機ID)とが対応付けられたデータ列の集合である。
上述した自動改札機100における各機能部の処理の詳細な内容については、後にシーケンス図およびフローチャートを用いて説明する。
以下、駅サーバ装置200の説明を行う。図7は、第1の実施形態における駅サーバ装置200の機能構成の一例を示す図である。駅サーバ装置200は、例えば、駅サーバ側制御部210と、駅サーバ側記憶部230とを備える。
駅サーバ側制御部210は、例えば、駅サーバ側通信部212と、情報管理部214と、形状抽出部216と、照合部218と、特徴抽出部220と、所持者検出部222とを備える。
駅サーバ側記憶部230は、プロセッサが実行するプログラムを格納する他、例えば、監視カメラ300により撮像された動画や、入出場データベースDB、後述する形状リストSL、特定形状物品所持者リストPL等を格納する。入出場データベースDBは、前述した同一の利用者に関する情報Dと同様の情報であるため説明を省略する。
駅サーバ側通信部212は、自動改札機100によって送信された情報を受信する。また、駅サーバ側通信部212は、駅サーバ側制御部210の処理結果、または駅サーバ側記憶部230に記憶された情報を、他の駅サーバ装置200に送信する。なお、駅サーバ側通信部212は、駅サーバ側制御部210の処理結果を、例えば端末装置400に送信してもよい。
情報管理部214は、自動改札機100から送信された情報を駅サーバ側記憶部230に格納し、駅構内に入場した利用者と駅構内から出場した利用者とを特定するための入出場データベースDBを構築する。
形状抽出部216は、自動改札機100から取得した電磁波画像データから対象物に含まれる物体の形状を抽出する処理を実行する。形状抽出部216は、例えば電磁波画像データから熱雑音の低い領域を切り出して、切り出した領域を対象物に含まれる物体の形状として抽出する。
照合部218は、形状抽出部216により抽出された形状と合致する形状の物品が形状リストSLに存在するか否かを判定する。形状抽出部216により抽出された形状と合致する形状の物品が形状リストSLに存在する場合、照合部218は、形状リストSLに存在す物品を利用者は所持していると判定する。図8は、形状リストSLの一例を示す図である。例えば形状リストには、物品IDに対して、物品名および物品の形状を表す特徴点が対応付けられている。形状リストに登録されている物品は、例えば所持する者が限定される物品や、所持を禁止されている物品等である。物品の特徴点は、例えば物品の典型的な形状の中で特徴的な座標点である。照合部218は、形状抽出部216により抽出された形状の特徴点と、形状リストSLに記憶された特徴点とが合致するか否かを判定する。ここで、合致するとは、アフィン変換等を施すことによって一致する、或いは所定割合以上一致することを意味する。照合部218は、特徴点が合致する物品が形状リストSLに存在する場合、利用者が所持する物品と、入出場データベースDBの情報とを対応付けて特定形状物品所持者リストPLに登録する。
特定形状物品所持者リストPLは、形状リストSLに存在する形状の物品と合致する形状の物品(特定形状物品)を所持する利用者の情報である。図9は、特定形状物品所持者リストPLの一例を示す図である。特定形状物品所持者リストPLは、例えば利用者が使用した乗車券IDに対して、利用者が保持する物品、および当該利用者の入出場データベースDBの情報を対応付けた情報の集合である。
特徴抽出部220は、自動改札機100のカメラ118(138)または監視カメラ300により撮像された画像に基づいて、利用者の顔の特徴を抽出する。顔の特徴とは、例えば、耳、鼻、口、目等の特徴点や顔の輪郭(エッジ)等である。
所持者検出部222は、特定形状物品所持者リストPLに登録されたフレーム画像内の人物と監視カメラ300により撮像されたフレーム画像内の人物との間において、特徴点や輪郭等の位置関係を比較することによって、合致(類似)する人物が存在しているか否かを判定する。合致するとは、前述の通りの意味である。
上述した駅サーバ装置200における各機能部の処理の詳細な内容については、後にシーケンス図およびフローチャートを用いて説明する。
図10は、第1の実施形態における改札監視システム1の処理の流れの一例を示すシーケンス図である。以下の説明では、自動改札機100が設けられた入場駅に配置された駅サーバ装置を、第1の駅サーバ装置200−1と称し、自動改札機100が設けられた駅とは異なる駅に配置された駅サーバ装置を、第2の駅サーバ装置200−2と称して説明する。なお、自動改札機100、第1の駅サーバ装置200−1、および第2の駅サーバ装置200−2が実行する処理の詳細についは後述する。
まず、自動改札機100が、同一の利用者に関する情報を取得し、取得した同一の利用者に関する情報を互いに対応付ける(ステップS100)。次に、自動改札機100は、対応付けた同一利用者に関する情報を第1の駅サーバ装置200−1に送信する(ステップS102)。
次に、第1の駅サーバ装置200−1が、自動改札機100から受信した同一の利用者に関する情報に基づいて、特定形状物品所持者リストPLを生成する(ステップS104)。次に、第1の駅サーバ装置200−1は、特定形状物品所持者リストPLを第2の駅サーバ装置200−2に送信する(ステップS106)。
次に、第2の駅サーバ装置200−2が、第1の駅サーバ200−1から受信した特定形状物品所持者リストPLを自装置の駅サーバ側記憶部230に格納する(ステップS108)。次に、監視カメラ300が、撮像した画像を第2の駅サーバ装置200−2に送信する(ステップS110)。次に、第2の駅サーバ装置200−2が、監視カメラ300により撮像された画像を受信する(ステップS112)。次に、第2の駅サーバ装置200−2が、ステップS112で受信した画像と、ステップS108で取得した特定形状物品所持者リストPLおよび自装置が格納していた特定形状物品所持者リストPLに含まれる画像とを比較し、ステップS112で受信した画像の利用者が、特定形状物品所持者リストPLの人物と合致するか否かを判定する(ステップS114)。
例えば合致する人物が存在する場合、第2の駅サーバ装置200−2は、人物を特定した監視カメラ300の位置に基づいて、合致する人物の位置を特定し、特定した位置を示す情報を端末装置400等に出力する。なお、監視カメラ300は、画像データと自装置の識別情報とを対応付けて第2の駅サーバ装置200−2に送信する。第2の駅サーバ装置200−2は、予め記憶された監視カメラの位置と監視カメラ300の識別情報とが対応付けられた対応テーブルに基づいて、監視カメラ300の位置を特定する。
図11は、第1の実施形態における自動改札機100の処理の流れの一例を示すフローチャートである。まず、自動改札機100の投入検出部153が、乗車券投入口116に乗車券TIXが投入されたか否かを判定する(ステップS200)。乗車券投入口116に乗車券TIXが投入されると、撮像制御部154が、カメラ118(138)に乗車券TIXを投入した利用者を撮像させる(ステップS202)。次に、センサ制御部156が、電磁波センサ120(140)に乗車券TIXを投入した利用者に対して検出を開始させる(ステップS204)。次に、読取部111(131)が、利用者に投入された乗車券TIXを読み取る(ステップS206)。
次に、通過可否判定部158が、ステップS206で読み取られた乗車券TIXに記憶された乗車券情報に基づいて、利用者の通過を許可するか、または不許可とするか否かを判定する(ステップS208)。利用者の通過を不許可とする場合、通過可否判定部158が、扉部115および135(114、134)を閉止状態に制御する(ステップS210)。利用者の通過を許可する場合、通過可否判定部158が、読取部111(131)を制御して乗車券TIXの乗車券情報に入場を許可した旨を示す情報を書き込ませる(ステップS212)。次に、通過可否判定部158は、扉部115および135(114、134)を開放状態に制御する(ステップS214)。次に、データ管理部160が、ステップS202で撮像された画像データ、ステップS204で取得された電磁波画像データ、およびステップS212で処理された乗車券情報を互いに対応付ける(ステップS216)。次に、改札機側通信部152が、ステップS216で対応付けられた同一の利用者に関する情報を駅サーバ装置200に送信する(ステップS218)。これにより本フローチャートの1ルーチンの処理は終了する。
図12は、第1の実施形態における第1の駅サーバ装置200−1により実行される特定形状物品所持者リストPLの生成処理の流れの一例を示すフローチャートである。まず、第1の駅サーバ装置200−1の駅サーバ側通信部212が、自動改札機100から同一の利用者に関する情報を取得するまで待機する(ステップS300)。同一の利用者に関する情報を取得すると、情報管理部214が、ステップS300で取得した情報を駅サーバ記憶部230に格納する(ステップS302)。
次に、形状抽出部216が、電磁波画像データを解析し(ステップS304)、物体の形状を抽出する処理を実行する(ステップS306)。次に、照合部218が、形状抽出部216により物体が抽出されたか否かを判定する(ステップS308)。形状抽出部216により物体が抽出されなかった場合、本フローチャートの処理は終了する。
形状抽出部216により物体が抽出された場合、照合部218が、形状抽出部216により抽出された物体の形状と合致する形状の物品が形状リストSLに存在するか否かを判定する(ステップS310)。形状抽出部216により抽出された物体の形状と合致する形状の物品が形状リストSLに存在しない場合、本フローチャートの処理は終了する。
形状抽出部216により抽出された物体の形状と合致する形状の物品が形状リストSLに存在する場合、照合部218は、利用者が所持する物体は形状リストSLに登録された物品であると判定し、利用者が所持する物品と、入出場データベースDBの情報とを対応付けて特定形状物品所持者リストPLに登録する(ステップS312)。次に、駅サーバ側通信部212が、ステップS312で登録された特定形状物品所持者リストPLの情報を他の駅サーバ装置200に送信する(ステップS314)。第1の駅サーバ装置200−1は、特定形状物品所持者リストPLの情報を、他の複数の駅の駅サーバ装置200にブロードキャストしてもよいし、乗車券TIXの乗車券情報から推定される行先の駅に配置された駅サーバ装置200に絞って送信してもよい。これにより本フローチャートの1ルーチンの処理は終了する。
図13は、第1の実施形態における第2の駅サーバ装置200−2により実行される特定形状物品所持者リストPLに存在する利用者と監視カメラ300により撮像された人物との照合処理の流れを示すフローチャートである。
まず、第2の駅サーバ装置200−2の駅サーバ側通信部212が、監視カメラ300に撮像された監視画像データを取得する(ステップS400)。なお、監視画像データには、監視画像データを取得した監視カメラ300の位置情報が対応付けられている。次に、所持者検出部222が、ステップS400で取得した監視画像データの人物の顔画像と合致している顔画像が、特定形状物品所持者リストPLに登録されているか否かを判定する(ステップS402)。ステップS400で取得した監視画像データの人物の顔画像と合致している顔画像が、特定形状物品所持者リストPLに登録されていない場合、本フローチャートの処理は終了する。
ステップS400で取得した監視画像データの人物の顔画像と合致している顔画像が、特定形状物品所持者リストPLに登録されている場合、所持者検出部222は、監視カメラ300の位置情報に基づいて、監視カメラ300の位置を特定することで特定形状物品所持者リストPLに登録されている利用者の存在位置を特定する(ステップS404)。次に、駅サーバ側通信部212が、特定形状物品所持者リストPLに登録されている利用者の存在位置を駅係員が利用する端末装置400に送信する(ステップS406)。端末装置400の表示部には、例えば監視カメラ300に撮像された特定形状物品所持者リストPLに登録された利用者の顔画像と、利用者が所持している物品と、利用者が撮像された監視カメラ300が設置された位置とが表示される。図14は、端末装置400の表示部に表示される画像IMの一例を示す図である。これにより本フローチャートの処理は終了する。
以上説明した第1の実施形態の改札監視システム1によれば、データ管理部160が、電磁波センサ120(140)により検出された電磁波に基づく電磁波情報、カメラ118(138)により撮像された画像情報、および読取部111(131)により読み取られた情報のうち、同一の利用者に関する情報を互いに対応付けて、駅サーバ装置200に送信する。これにより、改札監視システム1は、利用者の所持物を推定可能な情報と容姿とを対応付けて管理することができる。
また、改札監視システム1は、電磁波センサ120(140)により検出された電磁波に基づく電磁波情報に基づいて、利用者が所定の物品を所持しているか否かを判定し、判定結果に基づいて、所定の物品を所持している利用者の情報を管理する。そして、監視カメラ300から取得した監視画像に含まれる人物が、所定の物品を所持している利用者と合致する場合、改札監視システム1は、所定の物品を所持している利用者の存在位置を特定することができる。
なお、自動改札機を通過する利用者を撮像する撮像装置により撮像された画像情報として、自動改札機100が備えるカメラ118(138)により撮像された画像情報を用いるものとして説明したが、カメラ118(138)により撮像された画像情報に代えて、自動改札機を通過する利用者を撮像する監視カメラ300により撮像された画像情報を用いてもよい。この場合、自動改札機100は、監視カメラ300から撮像時刻が対応付けられた画像情報を取得する。そして、自動改札機100は、例えば媒体が使用されたタイミング(時刻)に基づいて、監視カメラ300により撮像された画像から、自動改札機を通過する利用者を撮像した画像を選択する。
また、自動改札機100が備える撮像制御部154と、センサ制御部156と、通過可否判定部158と、データ管理部160とは、複数の装置に分散されていてもよい。また、駅サーバ装置200が備える情報管理部214と、形状抽出部216と、照合部218と、特徴抽出部220と、所持者検出部222とは、複数の装置に分散されていてもよい。これらの機能部が含まれる複数の装置は、例えばネットワークNWを介して通信することで、改札監視システム1と同様の機能を実現してもよい。
(第2の実施形態)
以下、第2の実施形態における改札監視システム1Aについて説明する。第2の実施形態における改札監視システム1Aでは、電磁波画像データから抽出された物体の形状と合致する形状の物品が形状リストSLに存在するか否かを判定する処理が自動改札機100Aで実行される点が、第1の実施形態における改札監視システム1と相違する。従って、係る相違点を中心に説明し、共通する部分についての説明は省略する。
図15は、第2の実施形態の自動改札機100Aの機能構成を示す図である。第2の実施形態の自動改札機100Aの改札機側制御部150Aは、第1の実施形態の自動改札機100の改札機側制御部150の機能構成に加え、更に形状抽出部162および照合部164を備える。また、改札機側記憶部170Aは、形状リストSLを格納する。なお、駅サーバ側装置200の駅サーバ側制御部210において、形状抽出部216または照合部218の機能は省略されてもよい。また、駅サーバ側記憶部230において形状リストSLは省略されてもよい。
形状抽出部162は、自動改札機100Aから取得した電磁波画像データから対象物に含まれる物体の形状を抽出する。照合部164は、形状抽出部162により抽出された物体の形状と合致する形状の物品が形状リストSLに存在するか否かを判定する。照合部164は、形状抽出部162により抽出された物体の形状と合致する形状の物品が形状リストSLに存在する場合、利用者が所持する物体は形状リストSLに登録された物品であると判定する。照合部164は、利用者が所持する物品と、入出場データベースDBの情報とを対応付けて特定形状物品所持者リストPLに登録する。
図16は、第2の実施形態における自動改札機100Aの処理の流れの一例を示すフローチャートである。まず、自動改札機100Aの投入検出部153が、乗車券投入口116に乗車券TIXが投入されたか否かを判定する(ステップS500)。乗車券投入口116に乗車券TIXが投入されると、撮像制御部154が、カメラ118(138)に乗車券TIXを投入した利用者を撮像させる(ステップS502)。次に、センサ制御部156が、電磁波センサ120(140)に乗車券TIXを投入した利用者に対して検出を開始させる(ステップS504)。
次に、形状抽出部162が、電磁波画像データを解析し(ステップS506)、物体の形状を抽出する処理を実行する(ステップS508)。次に、照合部164が、形状抽出部162により物体が抽出されたか否かを判定する(ステップS510)。形状抽出部162により物体が抽出されなかった場合、改札機側制御部150Aは、ステップS516の処理に進む。
形状抽出部162により物体が抽出された場合、照合部164が、形状抽出部162により抽出された物体の形状と合致する形状の物体が形状リストSLに存在するか否かを判定する(ステップS512)。形状抽出部162により抽出された物体の形状と合致する形状の物品が形状リストSLに存在しない場合、改札機側制御部150Aは、ステップS516の処理に進む。形状抽出部162により抽出された物体の形状と合致する形状の物品が形状リストSLに存在する場合、照合部164が、利用者が所持する物体は形状リストSLに登録された物品であると判定し、利用者が所持する物品と、入出場データベースDBの情報とを対応付けて特定形状物品所持者リストPLに登録する(ステップS514)。
次に、読取部111(131)が、利用者に投入された乗車券TIXを読み取る(ステップS516)。次に、通過可否判定部158が、ステップS516で読み取られた乗車券TIXに記憶された乗車券情報に基づいて、利用者の通過の許可または不許可を判定する(ステップS518)。利用者の通過を不許可とする場合、通過可否判定部158が、扉部114(115、134、135)を閉止状態に制御する(ステップS520)。
利用者の通過を許可する場合、通過可否判定部158が、読取部111(131)を制御して乗車券TIXの乗車券情報に入場を許可した旨を示す情報を書き込ませる(ステップS522)。次に、通過可否判定部158は、扉部115および135(114、134)を開放状態に制御する(ステップS524)。
次に、データ管理部160が、ステップS502で撮像された画像データ、ステップS514で登録された物品保持者リストPL、およびステップS518で処理された乗車券情報を互いに対応付ける(ステップS526)。次に、改札機側通信部152が、ステップS526で対応付けられた同一の利用者に関する情報を駅サーバ装置200に送信する(ステップS528)。例えば改札機側通信部152は、形状リストSLに存在する物品を所持する利用者を検出した場合、駅サーバ装置200にステップS526で対応付けた同一の利用者に関する情報を駅サーバ装置200に送信する。これにより本フローチャートの1ルーチンの処理は終了する。
以上説明した第2の実施形態の改札監視システム1Aによれば、自動改札機100Aが、電磁波画像データを参照し、利用者が形状リストSLに存在する物品を所持しているか否かを判定し、利用者が形状リストSLに存在する物品を所持している場合、駅サーバ装置200に利用者に関する情報を送信する。これにより駅サーバ装置200の処理負荷を軽減させることができる。
(第3の実施形態)
以下、第3の実施形態における改札監視システム1Bについて説明する。第3の実施形態における改札監視システム1Bでは、駅サーバ装置200Bが、自動改札機100Bから送信された同一の利用者に関する情報を互いに対応付ける点が、第2の実施形態における改札監視システム1と相違する。従って、係る相違点を中心に説明し、共通する部分についての説明は省略する。
図17は、第3の実施形態の駅サーバ装置200Bの機能構成を示す図である。第3の実施形態の駅サーバ装置200Bの駅サーバ側制御部210Bは、第1の実施形態の駅サーバ装置200の駅サーバ側制御部210の機能構成に加え、更にデータ管理部224を備える。なお、自動改札機100の改札機側制御部150において、データ管理部160の機能は省略されてもよい。
図18は、第3の実施形態における自動改札機100Bおよび駅サーバ装置200Bの処理の流れの一例を示すフローチャートである。まず、自動改札機100Bの投入検出部153が、乗車券投入口116に乗車券TIXが投入されたか否かを判定する(ステップS600)。乗車券投入口116に乗車券TIXが投入されると、撮像制御部154が、カメラ118(138)に乗車券TIXを投入した利用者を撮像させる(ステップS602)。次に、センサ制御部156が、電磁波センサ120(140)に乗車券TIXを投入した利用者に対して検出を開始させる(ステップS604)。次に、読取部111(131)が、利用者に投入された乗車券TIXを読み取る(ステップS606)。
次に、通過可否判定部158が、ステップS606で読み取られた乗車券TIXに記憶された乗車券情報に基づいて、利用者の通過を許可するか、または不許可とするか否かを判定する(ステップS608)。利用者の通過を不許可とする場合、通過可否判定部158が、扉部115および135(114、134)を閉止状態に制御する(ステップS610)。利用者の通過を許可する場合、通過可否判定部158が、読取部111(131)を制御して乗車券TIXの乗車券情報に入場を許可した旨を示す情報を書き込ませる(ステップS612)。次に、通過可否判定部158は、扉部115および135(114、134)を開放状態に制御する(ステップS614)。
次に、改札機側通信部152が、ステップS602で撮像された画像データと、ステップS608で処理された処理結果とを互いに対応付けて駅サーバ装置200Bに送信する(ステップS616)。例えば通過可否判定部158が、ステップS602で撮像された画像データと、ステップS608で処理された処理結果とを、乗車券投入口116に乗車券TIXが投入されたタイミング(投入時刻)に基づいて対応付ける。また、通過可否判定部158が、乗車券投入口116に乗車券TIXが投入されたタイミングで処理IDを発番し、発番した処理IDに対してステップS602で撮像された画像データ、およびステップS608で処理された処理結果を対応付けてもよい。
次に、駅サーバ装置200Bが、ステップS602で撮像された画像データと、ステップS608で処理された処理結果とが互いに対応付けられた情報を取得する(ステップS650)。
次に、自動改札機100Bが、物品保持者リストPLを生成し(ステップS618)、生成した物品保持者リストPLの情報を駅サーバ装置200Bに送信する(ステップS620)。例えば自動改札機100Bは、処理IDに対応付けて物品保持者リストPLの情報を駅サーバ装置200Bに送信する。なお、物品保持者リストPLを生成する処理は、前述したステップS504からS512の処理と同様のため説明を省略する。
次に、駅サーバ装置200Bのデータ管理部224が、物品保持者リストPLの情報を取得し(ステップS652)、取得した情報と、ステップS650で取得した情報とを互いに対応付けて駅サーバ側記憶部230Bに記憶させる(ステップS654)。例えば駅サーバ装置200Bのデータ管理部224は、乗車券投入口116に乗車券TIXが投入されたタイミング(投入時刻)または処理IDに基づいて、ステップS650で取得した情報と、ステップS652で取得した情報とを互いに対応付けて、駅サーバ側記憶部230Bに記憶させる。これにより本フローチャートの処理は終了する。
以上説明した第3の実施形態の改札監視システム1Bによれば、自動改札機100Bにより実行される処理の負荷に応じて、処理結果を分散させて駅サーバ装置200Bに送信することができる。これにより、改札監視システム1Bは、処理結果を迅速に駅サーバ装置200Bに送信することができる。改札監視システム1Bは、システムにおけるトラフィックを抑制させることができる。
なお、第1の実施形態から第3の実施形態では、投入センサ119(139)の検出結果に基づいて、カメラ118(139)による撮像および電磁波センサ120(140)による検出を開始するものとして説明したが、自動改札機100(100A,100B)に接近する利用者を検出する接近検出センサの検出結果に基づいて、カメラ118(139)による撮像および電磁波センサ120(140)による検出を開始するものとしてもよい。
以上説明した少なくともひとつの実施形態によれば、自動改札機を通過する利用者を撮像する撮像装置と、自動改札機を通過する利用者から発せられる電磁波を検出する電磁波検出装置と、電磁波検出装置により検出された電磁波に基づく電磁波情報、および撮像装置により撮像された画像情報のうち、同一の利用者に関する情報を互いに対応付けて記憶部に記憶させるデータ管理部とを持つことにより、利用者の所持物を推定可能な情報と容姿とを対応付けて管理することができる改札監視システムを提供することである。
上記説明した実施形態は、以下のように表現することができる。
前記自動改札機を通過する利用者を撮像する撮像装置と、
複数の受信素子を有し、前記自動改札機を通過する利用者から発せられる電磁波を受信する電磁波検出装置と、
前記電磁波検出装置により受信された受信信号のレベルを示す信号、および前記撮像装置により撮像された画像情報のうち、同一の利用者に関する情報を互いに対応付けて記憶部に記憶させるデータ管理部と、
を備える改札監視システム。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。