CN110659555A - 遗留物检测系统 - Google Patents

遗留物检测系统 Download PDF

Info

Publication number
CN110659555A
CN110659555A CN201910566075.9A CN201910566075A CN110659555A CN 110659555 A CN110659555 A CN 110659555A CN 201910566075 A CN201910566075 A CN 201910566075A CN 110659555 A CN110659555 A CN 110659555A
Authority
CN
China
Prior art keywords
carry
over
user
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910566075.9A
Other languages
English (en)
Inventor
中村幸太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Publication of CN110659555A publication Critical patent/CN110659555A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/42Mailbox-related aspects, e.g. synchronisation of mailboxes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/04Telephonic communication systems specially adapted for combination with other electrical systems with alarm systems, e.g. fire, police or burglar alarm systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12Messaging; Mailboxes; Announcements
    • H04W4/14Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Alarm Systems (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

实施方式的遗留物检测系统,具备:图像解析装置,包括至少记录有图像解析信息的第1数据库,该图像解析信息用于识别图像中包含的人和物,使用图像解析信息,进行由在多处设置的摄影机拍摄到的影像的图像解析,进行所识别到的人与人所持的物的关联建立,对在多个时刻由摄影机拍摄到的影像进行比较,判断遗留物的有无;及通知装置,包括第2数据库,该第2数据库建立关联地记录有多个用户各自的利用信息和用户的识别信息,在由图像解析装置判断为有遗留物时,对与遗留物建立关联的用户或规定的通知目的地发送警报。

Description

遗留物检测系统
技术领域
本发明的实施方式涉及遗留物检测系统。
背景技术
在例如铁道车辆、航空器、船舶、线路公共汽车等的不特定多数人利用的交通工具、车站、机场、演出场馆、电影院、剧场、体育场、游乐场、商业设施等不特定多数人聚集的设施中,在回收到用户的遗忘物、遗失物等的遗留物时,用户已然离开该场所的情况较多,难以立即确定物主。
用户在察觉到自己遗忘了东西或遗失了东西时,必然会查找有线索的各个场所或者前往远处的保管场所,到收取遗忘物或遗失物为止大多需要各种手续。
另外,通过避免可疑物被带入到例如交通工具、演出场馆等很多人聚集的设施,可望实现事前防止恐怖事件的发生,来担保乘客的安全性。
以往,提出了如下技术:对例如乘客的手提行李安装无线标签,通过在出入口设置的IC卡读写器对手提行李的带入和带出进行管理。
然而,在如上述那样对手提行李安装无线标签进行管理时,需要安装无线标签的作业、设置管理中所必要的设备,难以抑制手提行李管理所需的成本。
另外,在例如不特定多数的人利用的交通工具、设施中,警卫员、乘务员使用通过在各个位置设置的摄影机所拍摄到的影像进行监视,但主要为了确认可疑人员的有无而进行监视,难以通过视觉辨认来确认用户的手提行李、携带物是否被丢下。
发明内容
实施方式的遗留物检测系统,具备:图像解析装置,包括至少记录有图像解析信息的第1数据库,该图像解析信息用于识别图像中包含的人和物,该图像解析装置使用上述图像解析信息,进行由在多处设置的摄影机拍摄到的影像的图像解析,进行所识别到的人与上述人所持的物之间的关联建立,对在多个时刻由上述摄影机拍摄到的影像进行比较,判断遗留物的有无;及通知装置,包括第2数据库,在该第2数据库中,建立关联地记录有多个用户各自的利用信息和上述用户的识别信息,在由上述图像解析装置判断为有上述遗留物时,对与上述遗留物建立关联的上述用户或规定的通知目的地发送警报。
附图说明
图1是概略地表示一个实施方式的遗留物检测系统的一个构成例的图。
图2是用于说明一个实施方式的遗留物检测系统的动作的一例的时序图。
图3是用于说明一个实施方式的遗留物检测系统的动作的一例的流程图。
具体实施方式
实施方式的遗留物检测系统,具备:图像解析装置,包括至少记录有图像解析信息的第1数据库,该图像解析信息用于识别图像中包含的人和物,该图像解析装置使用上述图像解析信息,进行由在多处设置的摄影机拍摄到的影像的图像解析,进行所识别到的人与上述人所持的物之间的关联建立,对在多个时刻由上述摄影机拍摄到的影像进行比较,判断遗留物的有无;及通知装置,包括第2数据库,在该第2数据库中,建立关联地记录有多个用户各自的利用信息和上述用户的识别信息,在由上述图像解析装置判断为有上述遗留物时,对与上述遗留物建立关联的上述用户或规定的通知目的地发送警报。
以下,参照附图对一个实施方式的遗留物检测系统进行详细地说明。
图1是概略地表示一个实施方式的遗留物检测系统的一个构成例的图。
本实施方式的遗留物检测系统,是对例如航空器、船、铁道车辆、公共汽车、出租车等不特定的人利用的交通工具的遗留物进行检测的系统,具备图像解析装置101及通知装置102。
图像解析装置101例如是具备至少一个CPU(central processing unit)、MPU(micro processing unit)等处理器、及记录有通过处理器执行的程序的存储器的运算装置,而且是安装有软件(程序)以便能够实现后述的处理的装置。
图像解析装置101,包括至少记录有图像解析信息的第1数据库DB1,该图像解析信息用于识别从影像获得的图像中包含的人和物,该图像解析装置101使用图像解析信息,进行由在多处设置的摄影机拍摄到的影像的图像解析,进行所识别到的人与此人所持的物之间的关联建立,对在多个时刻由上述摄影机拍摄到的影像进行比较,判断遗留物的有无。
图像解析装置101能够将由在例如交通工具、车站、机场等的交通机构中设置的多个摄影机拍摄到的影像(动态图像或静态图像)汇集,对所获得的图像进行解析来进行物与人的关联建立,基于物与人之间的距离等,检测遗留物。
另外,图像解析装置101可以被搭载于铁道车辆、航空器、船舶、公共汽车、出租车等交通工具,也可以设置于车站、机场、码头、公共汽车站等的地面的设施。图像解析装置101被搭载于交通工具的情况下,图像解析装置101从在被搭载的交通工具的多处所设置的多个摄影机汇集影像时,影像的传输变得容易。图像解析装置101也可以设置在车站、机场等的设施。在任一情况下,图像解析装置101都能够对于作为管理对象的多个交通工具、车站、机场、码头等的设施,从在各自的多处设置的多个摄影机汇集影像。
图像解析装置101具备影像信息汇集部1011、遗留物检测部1012、检测结果发送部1013、关联建立部1014、学习部1015、检测结果显示部1016、通信部1018及数据库(第1数据库)DB1。
影像信息汇集部1011能够汇集由在多处设置的摄影机拍摄到的影像。影像信息汇集部1011例如能够接收在交通机构拍摄到的影像,并将其与拍摄场所、拍摄日期时间等的信息建立关联地记录于数据库DB1。另外,影像信息汇集部1011只要以在数据库DB1中至少保存有从现在起向前追溯的规定期间量的影像的方式进行管理即可,规定期间以前的影像可以从数据库DB1中删除。
另外,影像信息汇集部1011不需要汇集由多个摄影机始终拍摄到的影像的全部,也能够对于在多处设置的摄影机的每台摄影机,仅汇集在规定的期间拍摄到的影像。进而,影像信息汇集部1011也能够仅仅汇集由多个摄影机拍摄到的影像中包含的一部分的区域的图像。
学习部1015使用在数据库DB1中保存的图像解析信息,进入用于识别如下图像内的人与物的图像处理,该图像是基于由影像信息汇集部1011汇集到的影像的图像。另外,学习部1015例如能够基于针对过去的检测结果的反馈,进行学习,以将在过去进行图像解析并保存在数据库DB1中的物的形状、人的行动模式的信息进行更新,而更高精度地检测物与人。学习部1015能够将图像解析结果向关联建立部1014供给,并且将影像与图像解析结果建立关联地记录于数据库DB1。
另外,在数据库DB1中,至少记录有用于识别影像中包含的物和人的|、包含物的形状、人的行动模式等在内的图像解析信息、及成功次数(或者成功概率),该成功次数(或者成功概率)基于针对进行了图像解析后的结果的反馈。在数据库DB1中可以还记录有失败次数,该失败次数基于针对进行了图像解析后的结果的反馈。数据库DB1能够将使用图像解析信息使学习部1015进行了规定期间的学习后的结果设为初始状态。
关联建立部1014基于由学习部1015识别到的人和物,将人与人所持的物建立关联地记录于数据库DB1。关联建立部1014将由学习部1015辨识到的人的图像与此人的手提行李、携带物等的物的图像建立关联地记录于数据库DB1。
遗留物检测部1012从通知装置102接收用户的利用信息及识别信息,基于数据库DB1中记录的被建立关联的人与人所持的物的信息及用户的利用信息,将用户与用户所持的物一体地辨识,对由影像汇集部1011汇集到的多个图像进行比较,来判断是否将用户所持的物检测为遗留物。
遗留物检测部1012例如能够从后述的通知装置102的乘客信息管理部(用户信息管理部)1022中、预先至少取得利用交通工具的乘客(用户)的利用信息(利用的车次、指定席信息、乘车车站信息、下车车站信息、换乘的有无、搭乘机场、乘船地、目的地等)及识别信息,使用利用信息及在数据库DB中保存的信息,将用户与用户所持的物一体地辨识,通过由影像汇集部1011汇集到的多个图像的图像解析,进行各个乘客的遗留物的检测。
遗留物检测部1012例如能够将人与此人的手提行李、衣服等设为是一体的,对乘客乘坐交通工具时与从交通工具下来时之间的差分进行判断,而判断遗留物的有无。
另外,遗留物检测部1012例如能够在即使超过了乘客到达目的地的时间但在该乘客的座席上还有物时,判断为有遗留物。
遗留物检测部1012中的检测结果,至少包括例如乘客的识别信息及有遗留物这一情况,将检测结果记录于数据库DB1,并且经由检测结果发送部1013向检测结果显示部1016供给。另外,遗留物检测部1012可以仅在有遗留物时将检测结果记录于数据库DB1,也可以在无遗留物时也将检测结果记录于数据库DB1。
检测结果显示部1016例如能够包括液晶显示装置、有机EL显示装置等的显示部(未图示),使从检测结果发送部1013接收到的检测结果显示于显示部。显示部例如可以设置在驾驶台中乘务员能够视觉辨认的位置,也可以设置在车站、机场、码头中监视员能够视觉辨认的位置。
另外,显示部例如可以是在座席的靠背部分上的后部座席的乘客能够视觉辨认的位置设置的画面,如果是在视觉上使乘客知晓检测结果的部件,则也可以是设置于座席的正上方的天花板、座席的扶手、靠背,并通过点亮来使乘客知晓有遗留物的灯等。
通信部1018具备能够通过无线或有线与外部通信的通信线路。通信部1018能够将遗留物检测部1012中的检测结果向外部发送,并且能够接收从外部向图像解析装置101发送的乘客信息、反馈信息。
通知装置102例如是具备至少一个CPU(central processing unit)、MPU(microprocessing unit)等处理器、及记录有通过处理器执行的程序的存储器的运算装置,而且是安装有软件(程序)以便能够实现后述的处理的装置。
通知装置102包括第2数据库DB2,该第2数据库DB2至少建立关联地记录有多个用户各自的利用信息和用户的识别信息,在通过图像解析装置101判断为有遗留物时,对与遗留物建立关联的人(用户)或规定的通知目的地发送警报。
通知装置102可以被搭载于铁道车辆、航空器、船舶、公共汽车、出租车等交通工具,也可以被设置于车站、机场、码头、公共汽车站等的地面的设施。另外,如图1所示那样,通知装置102与图像解析装置101,可以独立,也可以形成为一体。
通知装置102具备通信部1021、乘客信息管理部(用户信息管理部)1022、遗留物通知部1023及数据库(第2数据库)DB2。
在数据库DB2中,例如关于多个乘客(用户)的每个乘客(用户),将利用信息、姓名、性别、联络目的地、交通类IC卡信息等与用于识别乘客的识别信息建立关联地记录。在数据库DB2中,关于多个乘客的群组,也可以以群组单位来记录多个乘客。
通信部1021具备能够通过无线或有线与外部通信的通信线路。通信部1021能够将数据库DB2中记录的乘客信息向外部发送,并且能够接收从外部向通知装置102发送的检测结果。
乘客信息管理部1022将数据库DB2中记录的多个用户的利用信息和识别信息(乘客信息)向图像解析装置101发送。乘客信息管理部1022例如从数据库DB2中,读出每个车次的多个乘客的利用信息及识别信息,并经由通信部1021,向对各个车次的解析图像的图像解析装置101发送读出的信息。
另外,乘客信息管理部1022能够在经由通信部1021接收到检测结果时,在数据库DB2中与乘客的识别信息建立关联地记录检测结果。
另外,乘客信息管理部1022在经由通信部1021接收到来自乘客的反馈时,在数据库DB2中与乘客的识别信息建立关联地记录反馈的内容,并且将乘客的识别信息及反馈的内容经由通信部1021向图像解析装置101发送。
乘客信息管理部1022例如能够相应于乘客乘坐交通工具的时刻来向图像解析装置101发送信息。对象的班次是航空器、船舶时,例如,乘客信息管理部1022可以在乘客的搭乘手续截至的时刻,将利用班次的乘客的利用信息向图像解析装置101发送。在对象的班次是铁道车辆时,例如,乘客信息管理部1022可以在从对象的铁道车辆的始发车站、途中停车车站出发的时刻,将利用班次的乘客的利用信息向图像解析装置101发送。
遗留物通知部1023从图像解析装置101接收遗留物的检测结果,并对与遗留物建立关联的用户或规定的通知目的地发送警报。
遗留物通知部1023能够经由通信部1021接收图像解析装置101的检测结果,例如从数据库DB2中取得与检测结果中包含的乘客的识别信息建立关联的联络目的地,并将有遗留物这一情况向乘客(或车站、机场、码头、公共汽车站、交通工具等的规定的通知目的地)通知(发送警报)。
遗留物通知部1023可以向被指定为例如乘客的联络目的地的邮件地址、电话号码通过邮件、短信来进行通知,也可以对乘务员进行通知,并在例如乘客在检票机放交通类IC卡时与检票机联系,以促使关闭检票机的门并向车站人员联络,还可以对地面系统通知并在例如车站、机场、码头播放广播。
另外,遗留物通知部1023,在与遗留物建立关联的乘客进行换乘的情况下,可以对下一个交通工具的乘务员进行通知,还可以在下一个乘坐的交通工具出发前通过邮件等发送警报。
以下,对上述遗留物检测系统的动作的一例进行说明。
图2是用于说明一个实施方式的遗留物检测系统的动作的一例的时序图。
图3是用于说明一个实施方式的遗留物检测系统的动作的一例的流程图。
这里,作为一例,对检测乘客利用的座席被预先指定的铁道车辆的遗留物的动作进行说明。
(S102)
图像解析装置101在检测到乘客的搭乘后(步骤S201),在遗留物的检测之前,使影像信息汇集部1011开始进行由在车站、车辆等的多处设置的摄影机拍摄到的影像的汇集。影像信息汇集部1011例如能够汇集对象的铁道车辆的全部车辆的影像。
影像信息汇集部1011例如收集从乘客在始发车站开始乘坐铁道车辆之后、到在终到车站乘客从铁道车辆下车完了为止的期间的影像,但不需要在该期间始终收集影像,只要至少收集在乘客有乘降的期间、例如铁道车辆到达车站后出发的前后的规定期间的影像即可。
(S103)
学习部1015使用由影像信息汇集部1011汇集到的影像,进行辨识人和物的图像解析(步骤S202)。学习部1015的解析结果被记录于数据库DB1。
(S104)
关联建立部1014访问数据库DB1(步骤S203),将由学习部1015辨识到的人和物的数据建立关联地记录于数据库DB1(步骤S204)。关联建立部1014例如也可以关于多个乘客的群组,以群组单位将人与物建立关联地记录于数据库DB1。
通知装置102的乘客信息管理部1022,从数据库DB2中读出利用对象的车次的乘客的利用信息及识别信息,经由通信部1021向图像解析装置101发送。
另外,利用铁道车辆的乘客的利用信息,在车票的贩卖开始之后一直到铁道车辆在终点的前一车站出发为止,可随时更新。例如,乘客信息管理部1022可以在铁道车辆从各车站出发的时刻,将已更新的乘客信息向图像解析装置101发送。
图像解析装置101的遗留物检测部1012经由通信部1018接收乘客的利用信息及识别信息,并记录于数据库DB1(步骤S205)。
(S105)
遗留物检测部1012,使用数据库DB1中记录的乘客的利用信息及被建立关联的人和物的图像信息,进行遗留物的检测。
遗留物检测部1012,例如将被建立关联的人(或者多个人的群组)与物设为一体,从数据库DB1所记录的信息中取得乘客要下车的车站的信息,判断到达乘客要下车的车站(目的地)的时刻是否已经过(步骤S206)。
遗留物检测部1012,在判断为到达乘客要下车的车站的时刻已经过时,进行当前通过摄影机正在拍摄的图像的图像解析,辨识人和物(步骤S207)。
遗留物检测部1012,能够访问数据库DB1,使用人的物的形状、行动模式、检测成功次数、成功概率等的保存信息(步骤S208),对例如乘客乘坐到铁道车辆时的图像与现在正在拍摄的图像进行比较,而判断遗留物的有无(步骤S209)。
遗留物检测部1012,例如能够在被建立关联的乘客与行李的距离远离并经过了规定时间时、乘客下车时与被建立关联的行李相隔规定以上的距离时|,检测为有遗留物。
另外,遗留物检测部1012,能够对乘客乘坐到车辆时的影像与从车辆下车时的影像进行比较,在与乘客建立关联的物有变化时,检测为有遗留物(或者有行李的拿错)。
另外,遗留物检测部1012,例如能够使用从通知装置102供给的乘客信息及由影像信息汇集部1011汇集到的影像,检测乘客从车辆下车这一情况,在判断为在该乘客的座席等的车辆内有与乘客建立关联的物时,检测为有遗留物。
另外,遗留物检测部1012可以使用将铁道车辆到达各车站的时刻包含在内的时刻表信息,判断在到达乘客的目的地的车站的时刻、乘客从车辆下车。即,遗留物检测部1012,能够在即使从到达乘客的目的地的车站的时刻经过了规定的期间但判断为在乘客的座席等车辆内有与乘客建立关联的物时,检测为有遗留物。
另外,遗留物检测部1012能够从乘客的手提行李中包括的智能手机等取得位置信息,并在即使从乘客到达目的地的车站的时刻经过了规定时间但手提行李的位置信息在车辆内时(或者未移动时),检测为有遗留物。
另外,遗留物检测部1012能够使用在数据库DB1中记录的可疑人员的行动模式及由影像信息汇集部1011汇集到的影像,将与正在进行可疑的行动的乘客建立关联的东西检测为是可疑物。
(S106)
遗留物检测部1012将检测结果记录于数据库DB1,并且向检测结果显示部1016及通信部1018发送。另外,遗留物检测部1012的检测结果中,至少包含遗留物的有无、遗留物所在的位置(车辆、座席号码等)即可,也可以包括遗留物的图像、与遗留物建立关联的乘客信息等。
(S107)
检测结果显示部1016能够显示从遗留物检测部1012接收到的检测结果,并使例如铁道车辆的乘务员知晓遗留物的有无、遗留物所在的位置等。
通信部1018将从遗留物检测部1012接收到的检测结果向通知装置102的通信部1021发送。通信部1021将接收到的检测结果向遗留物通知部1023发送。
(S108)
遗留物通知部1023能够在通过所接收到的检测结果示出有遗留物时,使用与数据库DB2中记录的乘客的识别信息建立关联的通知目的地的信息,将有遗留物这一情况向乘客通知(通知警报)(步骤S210)。
例如,在乘客的座席已被指定的情况下,遗留物通知部102能够将如下的乘客信息与座席的位置建立对应,该乘客信息是在乘车券的购买时登记的乘客信息、预先与交通类IC卡建立关联的乘客信息,也能够在乘客到达目的地并欲从交通工具下来的时刻,对智能手机等通知而促使手提行李的确认。
另外,遗留物通知部1023,例如可以向被指定为乘客的联络目的地的邮件地址、电话号码通过邮件、短信进行通知,也可以在例如乘客向检票机放交通类IC卡时与检票机联系以督促关闭检票机的门并向车站人员联络,还可以通过例如地面系统在车站的站台播放广播。
(S109)
乘客信息管理部1022,在通知了有遗留物这一情况后的规定期间,成为来自乘客(或者来自拾得遗留物的人)的反馈的待机状态(步骤S211)。乘客信息管理部1022在接收到反馈时,与乘客的识别信息建立关联地将反馈的内容向数据库DB2记录。
另外,在通知有遗留物这一情况之后待机了规定期间后、没有接收到来自乘客的反馈时,乘客信息管理部1022可以将无反馈这一情况与乘客的识别信息建立关联地记录于数据库DB2。
另外,由于收到表示无遗留物的检测结果,因此不向乘客进行通知,但例如在从地面系统、铁道车辆经由通信部1021通知(反馈)了有乘客的遗留物这一情况的情况下,乘客信息管理部1022也能够将反馈的内容与乘客的识别信息建立关联地记录于数据库DB2。
乘客信息管理部1022在接收到来自乘客的反馈时,经由通信部1021,向图像解析装置101发送将反馈的内容与反馈源的乘客的识别信息合并后的反馈信息。
图像解析装置101的通信部1018在从通知装置102接收到反馈信息时,将反馈信息向学习部1015发送。
(S110)
学习部1015经由通信部1018接收反馈信息,在图像解析结果是正解时,对数据库DB1中记录的成功次数加上1(或者将成功概率更新)并更新信息(步骤S212)。
学习部1015能够基于反馈的内容来校正记录于数据库DB1的信息(步骤S213)。学习部1015能够在数据库DB1中保存反馈信息及成功次数,并对使用反馈信息、成功次数来辨识物时、人的行动模式进行判断,由此使遗留物检测的精度提高。
如上述那样,根据本实施方式的遗留物检测系统,即使在例如乘坐了铁道车辆的乘客在交通工具内遗忘东西的情况下,也能够立即通知物主、乘务员等,不需要物主到处找行李或者特意前往遗忘物寄存中心。
另外,对于铁道公司等的经营者而言,能够减少对物主不明的物进行管理,能够削减管理遗忘物的麻烦及人件费。
另外,通过检测可疑的人物、可疑物,从而能够担保利用交通工具的众多的乘客的安全。
即,根据本实施方式,能够提供提高用户的安全及便利性的遗留物检测系统。
另外,在上述的实施方式中,学习部1015、关联建立部1014及遗留物检测部1012,不需要对全部的影像进行图像解析。例如,关联建立部1014在判断为有不带行李的人的情况下,不进行将人与物建立关联。在该情况下,遗留物检测部1012也可以省略对于与物未建立关联的人的图像判断是否有遗留物。
另外,遗留物检测部1012也可以基于乘客信息,对于超过了目的地到达时刻的(或者目的地到达时刻前后的)乘客,解析图像并判断遗留物的有无。
另外,遗留物检测部1012能够基于数据库DB1中记录的被建立关联的人与物,将用户与用户所持的物一体地辨识,使用将用户与用户所持的物包含在内的规定的范围的图像的部分,进行遗留物的检测。
另外,也可以根据交通工具的拥挤度而不进行遗留物的检测。例如,在多个车辆中存在没有乘客的车辆的情况下,影像信息汇集部1011也可以将汇集该车辆内的影像的处理省略。另外,在通过解析多个车辆中的挤在一起的乘客的图像无法判断遗留物的有无时,也可以省略遗留物的检测。
如上述那样,通过将遗留物的检测省略,由此例如只要仅将检测遗留物的对象即影像从交通机构向图像解析装置传输即可,能够抑制用于影像传输的消耗电力。另外,通过削减图像解析的处理,能够减轻处理器的负荷。
另外,在通过图像解析技术难以将人与物检测为一体型的情况下,遗留物检测部1012可以根据检测遗留物的精度,任意地调节通知遗留物的对象范围(乘客的指定座席的前后几排为止,等)。
另外,也可以不仅利用影像信息,还使用通过麦克风等的声音传感器所取得的声音信息等、通过多种传感器获得的信息,使遗留物检测的精度提高。例如,通过检测乘客将物掉在地板上的声响等,能够更高精度地检测遗留物。
另外,学习部1015也可以根据天气来调节要辨识的物的形状的加权。例如,在正在下雨时、当天的降水概率为规定值以上时,在辨识物的形状的时候,可以增大与伞形状相对的类似度的加权。
另外,在上述实施方式中,图像解析装置101与通知装置102分别设置不是必要的,也可以形成为一体。即使在此情况下,也能够获得与上述的实施方式同样的效果。
对本发明的几个实施方式进行了说明,但这些实施方式是作为例子提示的,没有限定发明的范围的意图。这些实施方式能够以其他各种各样的方式实施,在不脱离发明的主旨的范围内,能够进行各种省略、置换、变更。这些实施方式及其变形,包含在发明的范围、主旨中,同样地包含在权利要求书记载的发明及其等同的范围中。
例如,在上述实施方式中,作为一例对检测铁道车辆等交通工具中的遗留物的系统进行了说明,但本实施方式的遗留物检测系统并不限定于此。例如,也可以应用于铁道车辆以外的交通工具,还可以应用于交通工具以外的设施中的用户的遗留物的检测。即使在该情况下,也能够获得与上述的实施方式同样的效果。

Claims (13)

1.一种遗留物检测系统,具备:
图像解析装置,包括至少记录有图像解析信息的第1数据库,该图像解析信息用于识别图像中包含的人和物,该图像解析装置使用上述图像解析信息,进行由在多处设置的摄影机拍摄到的影像的图像解析,进行所识别到的人与上述人所持的物之间的关联建立,对在多个时刻由上述摄影机拍摄到的影像进行比较,判断遗留物的有无;以及
通知装置,包括第2数据库,在该第2数据库中,建立关联地记录有多个用户各自的利用信息和上述用户的识别信息,在由上述图像解析装置判断为有上述遗留物时,对与上述遗留物建立关联的上述用户或规定的通知目的地发送警报。
2.如权利要求1所述的遗留物检测系统,
上述图像解析装置还具备:
影像信息汇集部,将由多个上述摄影机拍摄到的影像汇集;
学习部,使用上述图像解析信息,进行用于识别如下图像内的上述人和上述物的图像处理,该图像是基于由上述影像信息汇集部汇集到的影像的图像,
关联建立部,基于由上述学习部识别到的上述人和上述物,将上述人与上述人所持的物建立关联并记录于上述第1数据库;
遗留物检测部,接收上述利用信息和上述识别信息,基于上述第1数据库中记录的被建立了关联的上述人与上述人所持的物的信息及上述利用信息,将上述用户与上述用户所持的物一体地辨识,对多个图像进行比较来判断是否将上述用户所持的物检测为上述遗留物;及
检测结果发送部,在检测到上述遗留物时,将检测结果向上述通知装置发送。
3.如权利要求1或2所述的遗留物检测系统,
上述通知装置还具备:
用户信息管理部,将多个上述用户的上述利用信息及上述识别信息向上述图像解析装置发送;及
遗留物通知部,接收上述遗留物的检测结果,对与上述遗留物建立关联的上述用户或规定的通知目的地发送警报。
4.如权利要求3所述的遗留物检测系统,
上述遗留物通知部,通过与上述遗留物建立关联的上述用户的非接触IC卡、邮件、短信中的至少一个,向上述用户发送警报。
5.如权利要求3所述的遗留物检测系统,
多个上述摄影机被设置于交通机构的多处,
上述规定的通知目的地包括上述交通机构的地面系统。
6.如权利要求2所述的遗留物检测系统,
多个上述摄影机被设置于交通机构的多处,
上述遗留物检测部,从上述通知装置接收上述利用信息,基于上述第1数据库中记录的被建立关联的上述人和上述物,将上述用户与上述用户所持的物一体地辨识,基于上述利用信息对上述用户从交通工具下来之前的图像和下来之后的图像进行比较,由此检测上述交通工具内的上述遗留物的有无。
7.如权利要求6所述的遗留物检测系统,
上述遗留物检测部对上述用户从上述交通工具下来之前的图像和下来之后的图像进行比较,在上述用户所持的物的特性变化了时,判断为有上述遗留物。
8.如权利要求6所述的遗留物检测系统,
上述遗留物检测部在检测到仅仅上述用户出到交通工具之外时,判断为有上述遗留物。
9.如权利要求2所述的遗留物检测系统,
上述遗留物检测部在上述用户与上述用户所持的物之间的距离相隔规定以上时,判断为有上述遗留物。
10.如权利要求2所述的遗留物检测系统,
上述遗留物检测部,对于未与上述物建立关联的上述人,不进行上述遗留物的检测。
11.如权利要求2所述的遗留物检测系统,
上述遗留物检测部,基于上述第1数据库中记录的被建立关联的上述人和上述物,将上述用户与上述用户所持的物一体地辨识,使用将上述用户与上述用户所持的物包含在内的规定的范围的图像的部分,进行上述遗留物的检测。
12.如权利要求2所述的遗留物检测系统,
上述影像信息汇集部,能够基于从上述通知装置接收到的上述利用信息,来将由多个上述摄影机拍摄到的影像的一部分汇集。
13.如权利要求3所述的遗留物检测系统,
上述用户信息管理部,在接收到针对上述警报的反馈时,对上述图像解析装置通知上述反馈的内容,
上述第1数据库记录有基于上述反馈的内容更新的上述检测结果的成功次数。
CN201910566075.9A 2018-06-29 2019-06-27 遗留物检测系统 Pending CN110659555A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-125159 2018-06-29
JP2018125159A JP2020004252A (ja) 2018-06-29 2018-06-29 残留物検出システム

Publications (1)

Publication Number Publication Date
CN110659555A true CN110659555A (zh) 2020-01-07

Family

ID=66826914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910566075.9A Pending CN110659555A (zh) 2018-06-29 2019-06-27 遗留物检测系统

Country Status (4)

Country Link
US (1) US20200005044A1 (zh)
EP (1) EP3588460A1 (zh)
JP (1) JP2020004252A (zh)
CN (1) CN110659555A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686183A (zh) * 2021-01-04 2021-04-20 大陆投资(中国)有限公司 遗留物检测装置、系统、方法和电子设备

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190095714A1 (en) * 2017-09-28 2019-03-28 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Vehicle interior lidar detection systems
JP6662935B2 (ja) * 2018-03-09 2020-03-11 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US10311704B1 (en) * 2018-03-29 2019-06-04 Futurewei Technologies, Inc. Passenger-related item loss mitigation
US20200024103A1 (en) * 2018-07-18 2020-01-23 Otis Elevator Company Notification of objects in elevator system
WO2020178926A1 (ja) * 2019-03-01 2020-09-10 株式会社日立製作所 置去り物検知装置および置去り物検知方法
US10573163B1 (en) * 2019-04-25 2020-02-25 Capital One Services, Llc Real-time ATM alert if user forgets card
US10887724B2 (en) 2019-05-01 2021-01-05 International Business Machines Corporation Locating a mobile device and notifying a user of the mobile device location
WO2020235584A1 (ja) * 2019-05-21 2020-11-26 日本電気株式会社 エリア管理装置、エリア管理方法及びプログラム
JP7466318B2 (ja) * 2020-01-27 2024-04-12 キヤノンメディカルシステムズ株式会社 画像情報処理装置及び画像情報処理システム
US10834538B1 (en) * 2020-02-12 2020-11-10 International Business Machines Corporation Locating a mobile device and notifying a user of the mobile device location
JP7235325B2 (ja) * 2020-03-26 2023-03-08 株式会社エイビット 不審物検知システム
WO2021204344A1 (en) * 2020-04-06 2021-10-14 HELLA GmbH & Co. KGaA Method and system for detecting a vehicle having at least one wheel
JP7314961B2 (ja) * 2021-02-24 2023-07-26 トヨタ自動車株式会社 忘れ物検知システム、忘れ物検知装置および忘れ物検知プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128304A1 (en) * 2002-02-06 2005-06-16 Manasseh Frederick M. System and method for traveler interactions management
JP2012235300A (ja) * 2011-04-28 2012-11-29 Saxa Inc 置き去り又は持ち去り検知システム及び置き去り又は持ち去り検知記録の生成方法
JP2015023459A (ja) * 2013-07-19 2015-02-02 株式会社ニコン 投影システム
CN106060455A (zh) * 2015-04-09 2016-10-26 株式会社日立大厦系统 电梯的轿厢内影像记录系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285842A (ja) * 2000-03-29 2001-10-12 Minolta Co Ltd 監視システム
JP4375142B2 (ja) * 2004-07-05 2009-12-02 株式会社デンソー 車両における備品の積み込み支援装置および備品の積み降ろし支援装置
JP4858381B2 (ja) * 2007-09-19 2012-01-18 株式会社デンソー 車内忘れ物防止装置
US9616773B2 (en) * 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
JP6563283B2 (ja) * 2015-09-10 2019-08-21 株式会社東芝 監視システム
JP6661457B2 (ja) * 2016-04-26 2020-03-11 マクセル株式会社 携行品管理装置及び携行品管理システム
JP6532043B2 (ja) * 2017-10-26 2019-06-19 パナソニックIpマネジメント株式会社 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128304A1 (en) * 2002-02-06 2005-06-16 Manasseh Frederick M. System and method for traveler interactions management
JP2012235300A (ja) * 2011-04-28 2012-11-29 Saxa Inc 置き去り又は持ち去り検知システム及び置き去り又は持ち去り検知記録の生成方法
JP2015023459A (ja) * 2013-07-19 2015-02-02 株式会社ニコン 投影システム
CN106060455A (zh) * 2015-04-09 2016-10-26 株式会社日立大厦系统 电梯的轿厢内影像记录系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686183A (zh) * 2021-01-04 2021-04-20 大陆投资(中国)有限公司 遗留物检测装置、系统、方法和电子设备

Also Published As

Publication number Publication date
EP3588460A1 (en) 2020-01-01
JP2020004252A (ja) 2020-01-09
US20200005044A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
CN110659555A (zh) 遗留物检测系统
CN108810804B (zh) 一种基于网约车平台的智能防护方法及其系统
US10824863B2 (en) Systems for searching for persons using autonomous vehicles
CN107599971B (zh) 针对性下车提醒方法及装置
JP7482381B2 (ja) 情報処理装置、情報処理方法及び記録媒体
US7515055B2 (en) Method and system for airport security
WO2019153193A1 (zh) 一种出租车运营监测方法、设备、存储介质和系统
EP2397995B1 (en) Anti fare evasion system
JP7114407B2 (ja) 照合システム
US20150262006A1 (en) Monitoring system and monitoring method
US20200089943A1 (en) Living body search system
CN108345868A (zh) 基于人脸识别技术的公共交通工具追逃系统及其控制方法
CN106092197A (zh) 基于无人机的环境探测方法和系统
JP2018106315A (ja) 乗客管理装置、及び乗客管理方法
JP2003187352A (ja) 特定人物検出システム
KR20070000868A (ko) 범죄차량적발시스템 및 방법
WO2020138348A1 (ja) 情報処理装置、情報処理方法及び記録媒体
CN111274260A (zh) 自动驾驶车辆的乘客选择和检查
KR100910313B1 (ko) 영상 정보를 이용한 어린이 운송차량용 어린이 보호 시스템
JP7310511B2 (ja) 施設利用者管理システム
CN207909166U (zh) 基于人脸识别技术的公共交通工具追逃系统
JP7235325B2 (ja) 不審物検知システム
JP2001333419A (ja) 捜索システム及び方法
WO2021111654A1 (ja) 処理装置、処理方法及びプログラム
CN114999222A (zh) 异常举动通知装置、通知系统、通知方法以及记录介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200107

WD01 Invention patent application deemed withdrawn after publication