JP2020036211A - 照合システム - Google Patents

照合システム Download PDF

Info

Publication number
JP2020036211A
JP2020036211A JP2018161614A JP2018161614A JP2020036211A JP 2020036211 A JP2020036211 A JP 2020036211A JP 2018161614 A JP2018161614 A JP 2018161614A JP 2018161614 A JP2018161614 A JP 2018161614A JP 2020036211 A JP2020036211 A JP 2020036211A
Authority
JP
Japan
Prior art keywords
person
information
user
image
seat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018161614A
Other languages
English (en)
Other versions
JP7114407B2 (ja
Inventor
幸太 中村
Kota Nakamura
幸太 中村
太一 佐口
Taichi Saguchi
太一 佐口
康弘 寺門
Yasuhiro Terakado
康弘 寺門
宮田 淳一
Junichi Miyata
淳一 宮田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2018161614A priority Critical patent/JP7114407B2/ja
Priority to US16/546,853 priority patent/US20200074152A1/en
Priority to EP19193149.2A priority patent/EP3617940A1/en
Priority to CN201910782851.9A priority patent/CN110874908A/zh
Publication of JP2020036211A publication Critical patent/JP2020036211A/ja
Application granted granted Critical
Publication of JP7114407B2 publication Critical patent/JP7114407B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/26Government or public services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/22Status alarms responsive to presence or absence of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Emergency Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Alarm Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】 ユーザの安全および利便性を向上する照合システムを提供する。【解決手段】 実施形態による照合システムは、第1データベースDB1を含み、第1データベースDB1に記録された画像解析情報を用いて、複数ヶ所に設置されたカメラにて撮影された映像の画像解析を行い、識別された人と人の所持する物と座席位置との関連付けを行い、外部から受信したユーザの顔画像および座席に基づいて、座席位置に関連付けられた人が前記ユーザ本人であるか否か判断した照合結果を出力する画像解析装置101と、複数のユーザそれぞれの座席と顔画像とユーザの識別情報とが関連付けられて記録された第2データベースDB2を含み、座席と顔画像との情報を画像解析装置101へ送信し、画像解析装置101での照合結果を受信し、画像解析装置101にて人がユーザ本人ではないと判断されたときに、所定の通知先にアラートを送信する通知装置102と、を備える。【選択図】図1

Description

本発明の実施形態は、照合システムに関する。
例えば、鉄道車両、航空機、船舶、路線バスなどの不特定の多くの人が利用する乗り物や、駅、空港、ライブハウス、映画館、劇場、スタジアム、遊園地、商業施設など不特定の多くの人が集まる施設では、複数ヶ所に設置されたカメラにより撮影された映像を監視員が監視し、不審者や不審物の確認が行われている。
近年、テロ対策強化が様々な施設にて実施され、乗り物やスタジアムなど多くの人が集まる施設に不審者や不審物が侵入することを回避し、より一層、利用者の安全性を担保することが期待されている。
従来、例えば乗客の手荷物に無線タグを取り付けて、入出場ゲートに設置されたICカードリーダ・ライタにより、手荷物の持ち込みと持ち出しとを管理することが提案されている。
特開2012−48412号公報
しかしながら、上記のように手荷物に無線タグを取り付けて管理すると、無線タグを取り付ける作業や、管理のために必要な機器の設置が必要となり、手荷物管理に要するコストを抑えることが困難であった。
また、改札や入場ゲートにて事前に登録された写真により本人確認を行うことはあるが、席に着いた人が本人であるかまで確認が行われていないのが現状である。例えば、改札や入場ゲートを通過した人と、席に着いた人とが一致しているか否かを確認することが可能となれば、偽名での入場者や、入場後に不審者と入れ替わることを回避し、テロ対策を強化することも期待できる。
また、例えば乗り物の利用者が席に着いているか確認することにより、寝過ごして目的地を通り過ぎてしまうことを回避し、利用者の利便性を向上することが可能となる。
本発明の実施形態は上記事情を鑑みて成されたものであって、ユーザの安全および利便性を向上する照合システムを提供することを目的とする。
実施形態による照合システムは、画像に含まれる人と物とを識別するための画像解析情報が少なくとも記録された第1データベースを含み、前記画像解析情報を用いて、複数ヶ所に設置されたカメラにて撮影された映像の画像解析を行い、識別された人と前記人の所持する物と座席位置との関連付けを行い、外部から受信したユーザの顔画像および座席に基づいて、前記座席位置に関連付けられた前記人が前記ユーザ本人であるか否か判断した照合結果を出力する画像解析装置と、複数のユーザそれぞれの前記座席と前記顔画像と前記ユーザの識別情報とが関連付けられて記録された第2データベースを含み、前記ユーザの前記座席と前記顔画像との情報を前記画像解析装置へ送信し、前記画像解析装置での前記照合結果を受信し、前記画像解析装置にて前記人が前記ユーザ本人ではないと判断されたときに、所定の通知先にアラートを送信する通知装置と、を備える。
図1は、一実施形態の照合システムの一構成例を概略的に示す図である。 図2は、一実施形態の照合システムの動作の一例を説明するためのタイミングチャートである。 図3は、一実施形態の照合システムの動作の一例を説明するためのフローチャートである。
以下、一実施形態の照合システムについて、図面を参照して詳細に説明する。
図1は、一実施形態の照合システムの一構成例を概略的に示す図である。
本実施形態の照合システムは、例えば、航空機、船、鉄道車両、バス、タクシーなど、不特定の人が利用する乗り物において、利用者が指定された座席に着いているか否かを画像により確認するシステムであって、画像解析装置101と、通知装置102と、を備えている。
画像解析装置101は、例えば、CPU(central processing unit)やMPU(micro processing unit)などのプロセッサを少なくとも1つと、プロセッサにより実行されるプログラムが記録されたメモリと、を備えた演算装置であって、後述の処理を実現可能となるようにソフトウエア(プログラム)をインストールしたものである。
画像解析装置101は、映像から得られる画像に含まれる人および物を識別するための画像解析情報が少なくとも記録された第1データベースDB1を含み、画像解析情報を用いて、複数ヶ所に設置されたカメラにて撮影された映像の画像解析を行い、識別された人と物と座席位置との関連付けを行い、複数のタイミングにおいて上記カメラにて撮影された映像とユーザ(例えば乗客)情報とを用いて、座席に着いた人がユーザ本人であるか照合を行う。
画像解析装置101は、例えば乗り物、駅、空港、などの交通機関に設置された複数のカメラにより撮影された映像(動画又は静止画)を集約し、得られた画像を解析して人と物と座席位置との関連付けを行い、外部から供給される乗客情報に基づいて、乗客の認証を行うことができる。
なお、画像解析装置101は、鉄道車両、航空機、船舶、バス、タクシーなどの乗り物に搭載されてもよく、駅、空港、港、バスターミナルなどの地上の施設に設置されてもよい。画像解析装置101が乗り物に搭載される場合には、画像解析装置101は搭載された乗り物の複数ヶ所に設置されている複数のカメラから映像を集約する際に、映像の伝送が容易になる。画像解析装置101が駅や空港などの施設に設置されてもよい。いずれの場合にも、画像解析装置101は、管理対象である複数の乗り物や駅、空港、港などの施設について、それぞれの複数ヶ所に設置されている複数のカメラから映像を集約することが可能である。
画像解析装置101は、映像情報集約部1011と、照合部1012と、送信部1013と、関連付け部1014と、結果表示部1015と、通信部1016と、第1データベースDB1と、を備えている。
映像情報集約部1011は、複数ヶ所に設置されたカメラにて撮影された映像を集約することができる。映像情報集約部1011は、例えば、交通機関に設置されたカメラにて撮影された映像を受信して、撮影場所(カメラ位置)や撮影日時などの情報と関連付けて第1データベースDB1に記録することができる。なお、映像情報集約部1011は、少なくとも現在から遡って所定期間分の映像が第1データベースDB1に蓄積されるように管理を行えばよく、所定期間以前の映像は第1データベースDB1から削除してもよい。
また、映像情報集約部1011は、複数のカメラで常時撮影された映像の全てを集約する必要はなく、複数ヶ所に設置されたカメラそれぞれについて、所定の期間に撮影された映像のみを集約することが可能である。更に、映像情報集約部1011は、複数のカメラで撮影された映像に含まれる一部のエリアの画像のみを集約することも可能である。
関連付け部1014は、映像情報集約部1011にて集約された画像を解析して、人と人の所持する物とを識別し、人と物と座席位置とを関連付けて第1データベースDB1に記録することができる。
照合部1012は、通信部1016を介して外部から受信される乗客情報に基づいて、乗客情報に含まれる乗客の顔画像と集約された画像とを比較して、座席に着いている人の本人確認を行う。乗客情報には、乗客の顔画像と、乗客が着席する座席の位置と、移動区間情報(出発地、目的地、出発時刻、到着時刻等)と、の情報が少なくとも含まれている。
照合部1012は、乗り物のそれぞれの座席について、乗客情報に含まれる座席の位置に対応する乗客の画像と、座席に紐づけられた乗客の画像と、を比較し、同じ人物であるか否かを判断する。例えば、乗客情報に乗客の性別や年齢などの情報が含まれる場合には、座席に着いた人の性別や年齢も考慮して、乗客情報に基づく乗客本人であるか否かを判断することができる。
また、照合部1012は、例えば、乗客が目的地に到着した時間を過ぎても、乗客が席に着いているとき、および、その乗客の座席に物があるときに、乗客が乗り過ごしている可能性があると判断することができる。
また、照合部1012は、第1データベースDB1に予め記録された顔画像のリストと乗客情報とを比較して、乗客がリストに含まれる人であるか否かを判断してもよい。第1データベースDB1に記録された顔画像のリストが、例えば行方不明者の顔画像や氏名や年齢や性別などの情報を含む場合には、照合部1012にて乗客が行方不明者であるか否かを判断することができる。
照合部1012での照合結果は、例えば乗客の識別情報と本人確認の結果とを少なくとも含む。照合部1012は、照合結果を第1データベースDB1に記録するとともに結果表示部1015へ供給する。また、照合部1012での照合結果は、送信部1013を介して通知装置102へ送信される。なお、照合部1012は、映像情報集約部1011にて集約された映像から不審者や行方不明者であると判断された人の画像を取得して、照合結果に含めてもよい。
なお、照合部1012は、座席に着いた人が乗客本人でないときのみ照合結果を第1データベースDB1に記録してもよく、全ての照合結果を第1データベースDB1に記録してもよい。
また、照合部1012は、座席に着いた人が乗客本人ではないときに、乗客と関連付けられた物が不審物であると判断してもよい。この場合、照合部1012の照合結果は、不審物があることを含み、映像情報集約部1011にて集約された映像から取得される不審物と判断された物の画像を更に含んでいてもよい。
照合部1012は、例えば航空機や船などに搭乗手続を行った乗客が、搭乗ゲートを締め切った後に座席に着いていない場合、この座席に関連付けられた乗客の荷物の画像を結果表示部1015に表示させてもよい。搭乗していない人が預けた荷物は不審物である可能性もあり、空港や港のスタッフは、表示された画像に基づいて搭乗していない人が既に預けた荷物を航空機や船から迅速に降ろすことが可能となる。
また、乗客の所有物に搭載されたGPS等などから位置情報が乗客情報に含まれている場合、所有物の位置情報を用いて乗客の寝過ごし(乗り過ごし)判断をすることも可能である。例えば、照合部1012は、乗客の目的地に到着する時刻の所定時間後にて所有物の位置情報を受信し、座席に関連付けられた乗客の目的地の到着時刻を過ぎても位置情報が乗り物の中である場合に、乗客が寝過ごしている(乗り過ごしている)可能性があると判断してもよい。
結果表示部1015は、例えば、液晶表示装置や有機EL表示装置などの表示部(図示せず)を含み、送信部1013から受信した照合結果を表示部に表示させることができる。表示部は、例えば運転台にて乗務員が視認可能な位置に設けられていてもよく、駅や空港や港にて監視員が視認可能な位置に設けられていてもよい。
通信部1016は、無線又は有線にて、外部と通信可能な通信回路を備えている。通信部1016は、照合部1012における照合結果を外部へ送信可能であるとともに、外部から画像解析装置101へ送信される乗客の情報を受信可能である。
通知装置102は、例えば、CPU(central processing unit)やMPU(micro processing unit)などのプロセッサを少なくとも1つと、プロセッサにより実行されるプログラムが記録されたメモリと、を備えた演算装置であって、後述の処理を実現可能となるようにソフトウエア(プログラム)をインストールしたものである。
通知装置102は、複数のユーザ(乗客)それぞれの利用情報(出発地、目的地、および、座席位置の情報を少なくとも含む)と、顔画像データと、ユーザの識別情報とが少なくとも関連付けられて記録された第2データベースDB2を含み、画像解析装置101にて座席に着いた人と乗客本人とが異なると判断されたときに、乗り物の乗務員や、駅や空港の監視員などの所定の通知先にアラートを送信する。
通知装置102は、鉄道車両、航空機、船舶、バス、タクシーなどの乗り物に搭載されてもよく、駅、空港、港、バスターミナルなどの地上の施設に設置されてもよい。また、図1に示すように通知装置102と画像解析装置101とは独立していてもよく、一体に形成されていてもよい。
通知装置102は、通信部1021と、乗客情報管理部(ユーザ情報管理部)1022と、通知部1023と、第2データベースDB2とを備えている。
第2データベースDB2には、例えば、複数のユーザ(乗客)のそれぞれに関して、利用情報、姓名、性別、連絡先、交通系ICカード情報、顔画像などと、乗客を識別するための識別情報とが関連付けて記録されている。第2データベースDB2には、複数の乗客のグループについて、グループ単位で利用情報や顔画像などを記録してもよい。
なお、通知装置102の第2データベースDB2に記録された乗客の顔画像は、例えば乗客が切符を購入するときや改札を通過する際に撮影されてもよく、またパスポートや運転免許証などの顔画像を予め取得して記録されたものであってもよい。また、航空機の乗客の照合を行う場合には、通知装置102は、搭乗手続き(チェックイン)カウンターや、搭乗口に設置されたカメラ等から本人の顔画像を取得してもよい。
通信部1021は、無線又は有線にて、外部と通信可能な通信回路を備えている。通信部1021は、第2データベースDB2に記録された乗客の情報を外部へ送信可能であるとともに、外部から通知装置102へ送信された検知結果を受信可能である。
乗客情報管理部1022は、例えば、第2データベースDB2から、便ごとの複数の乗客の利用情報と、顔画像データと、識別情報とを少なくとも読み出し、通信部1021を介してそれぞれの便の画像を解析する画像解析装置101へ読み出した情報を送信する。
また、乗客情報管理部1022は、通信部1021を介して、乗客を照合した結果を受信したときに、第2データベースDB2に乗客の識別情報と関連付けて検知結果を記録することができる。
乗客情報管理部1022は、例えば、乗客が乗り物に乗るタイミングに合わせて画像解析装置101へ乗客情報を送信することができる。対象の便が航空機や船舶であるときには、乗客情報管理部1022は、例えば、乗客の搭乗手続きを締め切るタイミングにて、便を利用する乗客の乗客情報を画像解析装置101へ送信してもよい。対象の便が鉄道車両であるときには、乗客情報管理部1022は、例えば、対象の鉄道車両の始発駅や途中停車駅を出発するタイミング又は出発予定時刻の所定時間前に、便を利用する乗客の乗客情報を画像解析装置101へ送信してもよい。
通知部1023は、画像解析装置101から乗客の照合結果を受信し、乗客が本人ではないと判断された結果であるときには、乗客が利用している乗り物の乗務員や、駅や空港の監視員など所定の通知先にアラートを送信する。
通知部1023は、通信部1021を介して画像解析装置101の乗客の照合結果を受信し、例えば、乗客が寝過ごした(乗り過ごした)と判断された結果であるときには、乗客の識別情報に関連付けられた連絡先を第2データベースDB2から取得して、寝過ごしている(乗り過ごしている)ことを乗客(又は駅、空港、港、バスターミナル、乗り物等の所定の通知先)へ通知する(すなわちアラートを送信する)ことができる。
通知部1023は、例えば乗客の連絡先に指定されているメールアドレスや電話番号へメールやショートメールにて通知を行ってもよく、乗務員に通知を行ってもよい。
また、通知部1023は、本人ではないと判断された乗客が乗換えを行う場合には、次の乗り物の乗務員に通知をして不審者を追跡可能としてもよい。
また、通知部1023は、乗客が乗りかえを行う場合には、目的地に着く前にメール等により乗り換えがあることを乗客に通知して乗客が寝過ごす(乗り過ごす)ことを未然に防いでもよい。
以下、上記照合システムの動作の一例について説明する。
図2は、一実施形態の照合システムの動作の一例を説明するためのタイミングチャートである。
図3は、一実施形態の照合システムの動作の一例を説明するためのフローチャートである。
ここでは、一例として、乗客の利用する座席が予め指定されている鉄道車両の乗客の照合を行う動作について説明する。
(S101)
乗客情報管理部1022は第2データベースDB2に記録されている情報を読み出して、通信部1021を介して画像解析装置101へ、乗客情報(乗客の顔画像と、乗客が着席する座席位置と、移動区間情報(出発地、目的地、出発時刻、到着時刻等)とを含む)を送信する。
なお、鉄道車両を利用する乗客の乗客情報は、切符の販売を開始してから鉄道車両が終点の1つ前の駅を出発するまで随時更新され得る。例えば、乗客情報管理部1022は、各駅から鉄道車両が出発する時刻に、更新された乗客の情報を画像解析装置101へ送信してもよい。
通信部1016は、通知装置102から乗客情報を受信し、照合部1012へ乗客情報を送信する。照合部1012は、通信部1016を介して受信した乗客情報を、第1データベースDB1に記録する。
(S102)
画像解析装置101は、乗客の搭乗を検知すると(ステップS1)、乗客の照合に先立って、映像情報集約部1011にて駅や車両などの複数ヶ所に設置されたカメラにて撮影された映像の集約を開始する。映像情報集約部1011は、例えば、対象の鉄道車両の全車両の映像を集約可能である。
映像情報集約部1011は、例えば、始発駅にて乗客が鉄道車両に乗車を開始してから、終着駅にて鉄道車両から乗客が降車完了するまでの期間の映像を収集するが、この期間において常に映像を収集する必要はなく、少なくとも乗客の乗降がある期間、例えば鉄道車両が駅に到着して出発するまでの期間およびその前後の所定期間の映像を収集すればよい。
(S103)
関連付け部1014は、映像情報集約部1011にて集約された映像を用いて人と物とを認識する画像解析を行う(ステップS2)。
関連付け部1014は、画像解析により認識された人と物との画像を座席位置に関連付けて、第1データベースDB1に記録する。関連付け部1014は、例えば、複数の乗客のグループについては、グループ単位で人と物との画像を、複数の座席位置と関連付けて第1データベースDB1に記録してもよい(ステップS3)。
(S104)
照合部1012は、第1データベースDB1に記録された乗客情報を読み出す(ステップS4)。
照合部1012は、少なくともそれぞれの座席位置に対応する乗客の顔画像データと、関連付け部1014にて座席位置に関連付けられた人の画像とを比較し、座席に着いている人が乗客本人であるか否かを判断することができる(ステップS5)。
なお、照合部1012は、例えば座席位置に関連付けられた人の複数の画像から座席に着いた人の顔、性別、年齢などを判断し、乗客情報と一致するか否かにより乗客の照合を行うことが可能である。顔画像だけでなく、性別や年齢の情報を用いて照合を行うことにより、照合部1012は乗客が本人か否かより精度よく判断をすることができる。
照合部1012は、例えば、第1データベースDB1に予め記録されたリストを参照し、座席に着いた人がリストに含まれる人か否かを判断してもよい(ステップS6)。照合部1012は、座席に着いた人がリストに含まれる人である場合には、その人の行方を把握するために、複数のカメラにより行方不明者を追った映像を取得するように映像情報集約部1011に指令を出力してもよい。
(S105)
照合部1012は、上記ステップS5およびステップS6に照合した結果、不審者(若しくは行方不明者)および不審物であると判断した場合(ステップS7)、結果表示部1015および通信部1016へ照合結果を送信する。照合部1012は、照合結果を第1データベースDB1へ記録してもよい。
(S106)
結果表示部1015は、受信した照合結果を表示部に表示させて乗務員や地上のスタッフにアラートを通知する。結果表示部1015は、本人ではないと判断された乗客がいる場合のみ、表示部に照合結果を表示させてもよい。
(S107)
通信部1016は、受信した照合結果を通知装置102の通信部1021へ送信する。通信部1021は、受信した照合結果を通知部1023へ送信する。
(S108)
通知部1023は、画像解析装置101での照合結果を受信し、鉄道の乗務員、地上システム、管理者へ、不審者(若しくは行方不明者)や不審物があることを通知する(アラートを通知する)(ステップS8)。
上記ステップS5およびステップS6に照合した結果、不審者(若しくは行方不明者)および不審物であると判断した場合(ステップS7)、照合部1012は、さらに乗客が寝過ごした(乗り過ごした)か否かを判断することができる。
照合部1012は、乗客情報に含まれる乗客の目的地の情報に基づいて、目的地の到着時刻を経過したと判断したときに(ステップS9)、乗客と関連付けられた座席位置が撮影された画像を解析し(ステップS10)、乗客が寝過ごしたか否かを判断する(ステップS11)。
照合部1012は、座席位置の画像に基づいて座席に乗客が着いていると判断したときに、乗客が寝過ごした(乗り過ごした)ものとし、結果表示部1015および通信部1016へ照合結果を送信する。
結果表示部1015は、受信した照合結果を表示し、表示させて乗務員や地上のスタッフに寝過ごした(乗り過ごした)乗客がいることを通知する。
通信部1016は、受信した照合結果を通知装置102の通信部1021へ送信する。通信部1021は、照合結果を通知部1023へ送信する。
通知部1023は、画像解析装置101での照合結果を受信し、鉄道の乗務員、地上システム、管理者などへ、寝過ごした(乗り過ごした)乗客がいることを通知することができる。
上記のように乗客が寝過ごした(乗り過ごした)ことを通知することにより、乗客に目的地を過ぎたことを迅速に伝えることが可能となり、乗客が大幅に目的地を過ぎてしまうことを回避することが可能となる。
上記のように、本実施形態の照合システムによれば、例えば鉄道車両に乗車した乗客が、本人ではない場合に、不審者がいる可能性や不審物がある可能性を乗務員等に通知をすることが可能であり、乗り物を利用する多くの乗客の安全を担保することが可能となる。
また、鉄道会社などの事業者にとって、不審者などを監視するための人員を増やすことなく乗客の安全を担保することが可能となり、人件費を削減することができる。
すなわち、本実施形態によれば、ユーザの安全および利便性を向上する照合システムを提供することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
例えば、上記実施形態では、一例として鉄道車両において乗客を照合するシステムについて説明したが、本実施形態の照合システムはこれに限定されるものではない。例えば、鉄道車両以外の乗り物に適用されてもよく、乗り物以外の施設におけるユーザの照合に適用されても構わない。その場合であっても上述の実施形態と同様の効果を得ることができる。
101…画像解析装置、1011…映像情報集約部、1012…照合部、1013…送信部、1014…関連付け部、1015…結果表示部、1016…通信部、102…通知装置、1021…通信部、1022…乗客情報管理部(ユーザ情報管理部)、1023…通知部、DB1…第1データベース、DB2…第2データベース

Claims (5)

  1. 画像に含まれる人と物とを識別するための画像解析情報が少なくとも記録された第1データベースを含み、前記画像解析情報を用いて、複数ヶ所に設置されたカメラにて撮影された映像の画像解析を行い、識別された人と前記人の所持する物と座席位置との関連付けを行い、外部から受信したユーザの顔画像および座席に基づいて、前記座席位置に関連付けられた前記人が前記ユーザ本人であるか否か判断した照合結果を出力する画像解析装置と、
    複数のユーザそれぞれの前記座席と前記顔画像と前記ユーザの識別情報とが関連付けられて記録された第2データベースを含み、前記ユーザの前記座席と前記顔画像との情報を前記画像解析装置へ送信し、前記画像解析装置での前記照合結果を受信し、前記画像解析装置にて前記人が前記ユーザ本人ではないと判断されたときに、所定の通知先にアラートを送信する通知装置と、を備えた照合システム。
  2. 前記画像解析装置は、
    複数の前記カメラにて撮影された映像を集約する映像情報集約部と、
    前記画像解析情報を用いて、前記映像情報集約部にて集約された映像に基づく画像内の前記人と前記物とを識別し、前記人と前記人の所持する物と前記座席位置とを関連付けて前記第1データベースに記録する関連付け部と、
    前記ユーザの前記座席と前記顔画像との情報を受信し、前記第1データベースに記録された関連付けられた前記人と前記人の前記所持する物と前記座席位置との情報と、受信した前記座席と前記顔画像との情報とに基づいて、前記座席位置に関連付けられた前記人が前記ユーザ本人であるか否か判断する照合部と、
    前記座席位置に関連付けられた前記人が前記ユーザ本人ではないと判断されたときに、前記照合結果を前記通知装置へ送信する送信部と、を更に備える、請求項1記載の照合システム。
  3. 前記通知装置は、
    複数の前記ユーザの前記座席と前記顔画像との情報を前記画像解析装置へ送信するユーザ情報管理部と、
    前記照合結果を受信したときに、前記所定の通知先にアラートを送信する通知部と、を更に備える、請求項1又は請求項2記載の照合システム。
  4. 前記第1データベースは、予め記録された少なくとも1つの顔画像のリストを含み、
    前記照合部は、前記座席位置に関連付けられた前記人が前記ユーザ本人でないと判断したときに、前記リストを読み出して、前記ユーザの前記顔画像と前記リストの前記顔画像とを比較して前記人が前記リストの前記顔画像の人物と同じか否か判断する、請求項2記載の照合システム。
  5. 前記第2データベースには前記ユーザそれぞれの目的地情報が前記ユーザの識別情報と関連付けられて記録され、
    前記通知装置は、前記ユーザの前記目的地情報を前記画像解析装置へ送信し、
    前記照合部は、前記座席位置に関連付けられた前記人が前記ユーザ本人であると判断したときに、前記目的地情報に基づいて前記ユーザの目的地到着時刻を過ぎたか否か判断し、前記目的地到着時刻を過ぎても前記座席位置に前記ユーザがいるときに、前記所定の通知先にアラートを通知する請求項2記載の照合システム。
JP2018161614A 2018-08-30 2018-08-30 照合システム Active JP7114407B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018161614A JP7114407B2 (ja) 2018-08-30 2018-08-30 照合システム
US16/546,853 US20200074152A1 (en) 2018-08-30 2019-08-21 Verifying system
EP19193149.2A EP3617940A1 (en) 2018-08-30 2019-08-22 User verifying system
CN201910782851.9A CN110874908A (zh) 2018-08-30 2019-08-23 核对系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018161614A JP7114407B2 (ja) 2018-08-30 2018-08-30 照合システム

Publications (2)

Publication Number Publication Date
JP2020036211A true JP2020036211A (ja) 2020-03-05
JP7114407B2 JP7114407B2 (ja) 2022-08-08

Family

ID=67734580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018161614A Active JP7114407B2 (ja) 2018-08-30 2018-08-30 照合システム

Country Status (4)

Country Link
US (1) US20200074152A1 (ja)
EP (1) EP3617940A1 (ja)
JP (1) JP7114407B2 (ja)
CN (1) CN110874908A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021177273A1 (ja) 2020-03-03 2021-09-10 明郎 萩原 静脈カバー
JP2021146893A (ja) * 2020-03-19 2021-09-27 本田技研工業株式会社 車両制御装置
JP2022047542A (ja) * 2020-09-11 2022-03-24 日本電気株式会社 サーバ装置、システム、サーバ装置の制御方法及びコンピュータプログラム
JP2022541703A (ja) * 2020-06-23 2022-09-27 シャンハイ センスタイム リンガン インテリジェント テクノロジー カンパニー リミテッド 交通機関の制御方法及び装置、電子機器並びに記憶媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6992019B2 (ja) * 2019-03-07 2022-01-13 矢崎総業株式会社 乗客支援システム
US11958608B1 (en) * 2022-11-22 2024-04-16 Panasonic Avionics Corporation Techniques for monitoring passenger loading and unloading in a commercial passenger vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040117638A1 (en) * 2002-11-21 2004-06-17 Monroe David A. Method for incorporating facial recognition technology in a multimedia surveillance system
JP2004280477A (ja) * 2003-03-17 2004-10-07 Casio Comput Co Ltd 施設利用管理システムおよびプログラム
JP2007058763A (ja) * 2005-08-26 2007-03-08 Toshiba Corp 入場管理システムおよび入場管理方法
JP2007072781A (ja) * 2005-09-07 2007-03-22 Toshiba Corp 入場管理・監視システム
JP2008250830A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 出欠確認システムおよび出欠確認方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106703A (zh) * 2013-01-14 2013-05-15 张平 防作弊驾驶员培训记录仪
CN106373212B (zh) * 2016-11-15 2018-07-20 河北工业大学 一种智能教室预约控制装置
JP6145210B1 (ja) * 2016-12-26 2017-06-07 株式会社スバルカーベル 乗客管理装置、及び乗客管理方法
CN106815796B (zh) * 2016-12-28 2021-04-27 北京博研智通科技有限公司 一种快速查找已办理登机牌没及时登机旅客的方法和系统
CN108074287A (zh) * 2018-01-08 2018-05-25 黑河学院 车票信息统计和到站提示装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040117638A1 (en) * 2002-11-21 2004-06-17 Monroe David A. Method for incorporating facial recognition technology in a multimedia surveillance system
JP2004280477A (ja) * 2003-03-17 2004-10-07 Casio Comput Co Ltd 施設利用管理システムおよびプログラム
JP2007058763A (ja) * 2005-08-26 2007-03-08 Toshiba Corp 入場管理システムおよび入場管理方法
JP2007072781A (ja) * 2005-09-07 2007-03-22 Toshiba Corp 入場管理・監視システム
JP2008250830A (ja) * 2007-03-30 2008-10-16 Toshiba Corp 出欠確認システムおよび出欠確認方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021177273A1 (ja) 2020-03-03 2021-09-10 明郎 萩原 静脈カバー
JP2021146893A (ja) * 2020-03-19 2021-09-27 本田技研工業株式会社 車両制御装置
JP7407631B2 (ja) 2020-03-19 2024-01-04 本田技研工業株式会社 車両制御装置
JP2022541703A (ja) * 2020-06-23 2022-09-27 シャンハイ センスタイム リンガン インテリジェント テクノロジー カンパニー リミテッド 交通機関の制御方法及び装置、電子機器並びに記憶媒体
JP2022047542A (ja) * 2020-09-11 2022-03-24 日本電気株式会社 サーバ装置、システム、サーバ装置の制御方法及びコンピュータプログラム
JP7279772B2 (ja) 2020-09-11 2023-05-23 日本電気株式会社 サーバ装置、システム、サーバ装置の制御方法及びコンピュータプログラム

Also Published As

Publication number Publication date
JP7114407B2 (ja) 2022-08-08
CN110874908A (zh) 2020-03-10
EP3617940A1 (en) 2020-03-04
US20200074152A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
JP7114407B2 (ja) 照合システム
JP2020004252A (ja) 残留物検出システム
JP4937743B2 (ja) 人の移動監視方法およびシステム
CN108810804B (zh) 一种基于网约车平台的智能防护方法及其系统
US20190114563A1 (en) Passenger management apparatus and passenger management method
US6335688B1 (en) Method and system for airport security
US6674367B2 (en) Method and system for airport and building security
US7515055B2 (en) Method and system for airport security
US20140125502A1 (en) Systems and methods for tracking vehicle occupants
EP1479033A2 (en) Personalized boarding pass
CN110838044A (zh) 基于移动互联网智能定制大巴的运营平台及其操作方法
WO2020178926A1 (ja) 置去り物検知装置および置去り物検知方法
CN114022961A (zh) 车载系统、车辆及车载系统的控制方法
US20200108734A1 (en) Method and System for Monitoring Occupancy of a Seat Arranged in a Transportation Vehicle
KR20190096082A (ko) 스마트 택시 승강장 시스템 및 관리방법
WO2017048148A1 (en) Monitoring a flow of objects by a sim card detector
US20190019360A1 (en) Control method of an individual or group of individuals to a control point managed by a control authority
JP2017021499A (ja) 管理システム、管理システムのための通信端末の組合せ、管理システムのための計算機
CN112347293A (zh) 一种基于人脸识别技术的自定位查票系统和查票方法
WO2021181635A1 (ja) 状況通知装置、状況通知方法、及びコンピュータ読み取り可能な記録媒体
CN216310865U (zh) 车载系统及具有其的车辆
JP7290503B2 (ja) 業務支援システム
WO2023021673A1 (ja) サーバ装置、システム、odデータ生成方法及び記憶媒体
KR101427413B1 (ko) 여객 도우미 서비스 제공 방법 및 그를 위한 여객 도우미 서버 및 기록매체
RU2724936C1 (ru) Система и способ предпосадочного и послепосадочного контроля пассажиров

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210616

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220620

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220727

R150 Certificate of patent or registration of utility model

Ref document number: 7114407

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150