CN111415347A - 遗留对象检测方法和装置及交通工具 - Google Patents

遗留对象检测方法和装置及交通工具 Download PDF

Info

Publication number
CN111415347A
CN111415347A CN202010217625.9A CN202010217625A CN111415347A CN 111415347 A CN111415347 A CN 111415347A CN 202010217625 A CN202010217625 A CN 202010217625A CN 111415347 A CN111415347 A CN 111415347A
Authority
CN
China
Prior art keywords
image
vehicle
cabin
legacy
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010217625.9A
Other languages
English (en)
Other versions
CN111415347B (zh
Inventor
何任东
刘卫龙
吴阳平
伍俊
范亦卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority to CN202010217625.9A priority Critical patent/CN111415347B/zh
Priority to PCT/CN2020/093003 priority patent/WO2021189641A1/zh
Priority to JP2021540530A priority patent/JP7403546B2/ja
Priority to KR1020217022181A priority patent/KR20210121015A/ko
Publication of CN111415347A publication Critical patent/CN111415347A/zh
Application granted granted Critical
Publication of CN111415347B publication Critical patent/CN111415347B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本说明书实施例提供一种遗留对象检测方法和装置及交通工具，获取交通工具的舱内无遗留对象的情况下所述舱内的参考图像，采集人员离开交通工具的情况下所述舱内的第一图像，并根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象。

Description

遗留对象检测方法和装置及交通工具
技术领域
本公开涉及计算机视觉技术领域，尤其涉及遗留对象检测方法和装置及交通工具。
背景技术
人员在乘坐交通工具时，常常容易在车上遗留物品(例如，钱包、钥匙等)，甚至是活体(例如，宠物、儿童等)，造成财物损失，甚至会导致遗留在车上的活体发生生命危险。因此，有必要对交通工具内的遗留对象进行检测，以根据检测结果采取应对措施来降低损失和风险。
发明内容
本公开提供一种遗留对象检测方法和装置及交通工具。
根据本公开实施例的第一方面，提供一种遗留对象检测方法，所述方法包括：获取交通工具的舱内无遗留对象的情况下所述舱内的参考图像；采集人员离开所述交通工具的情况下所述舱内的第一图像；根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象。
在一些实施例中，所述获取交通工具的舱内无遗留对象的情况下所述舱内的参考图像，包括：在所述人员进入所述交通工具之前的情况下采集所述舱内的目标图像，所述目标图像为所述参考图像；所述根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象，包括：根据所述第一图像和参考图像之间的差异，检测所述人员离开所述交通工具时所述舱内的遗留对象。
在一些实施例中，根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象之前，还包括：采集所述人员进入所述交通工具的情况下所述舱内的第二图像；根据所述第二图像和所述参考图像之间的差异，确定待检测的遗留对象。
在一些实施例中，所述根据所述第二图像和所述参考图像之间的差异，确定待检测的遗留对象，包括：分别获取所述第二图像和参考图像的目标对象信息；将所述第二图像包括但所述参考图像未包括的至少一目标对象，确定为待检测的所述遗留对象。
在一些实施例中，所述根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象，包括：采集所述人员进入所述交通工具的情况下所述舱内的第二图像；基于所述参考图像和所述第二图像，确定待检测的遗留对象在所述第一图像中的位置；基于所述待检测的遗留对象在所述第一图像中的位置，从所述第一图像中的待检测的遗留对象中检测所述遗留对象。
在一些实施例中，所述基于所述参考图像和所述第二图像，确定待检测的遗留对象在所述第一图像中的位置，包括：基于所述参考图像和多帧所述第二图像，对待检测的遗留对象进行目标跟踪；根据目标跟踪的结果确定待检测的遗留对象在所述第一图像中的位置。
在一些实施例中，所述方法还包括：在根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象之前，接收遗留对象确认指令；根据所述遗留对象确认指令从所述第一图像中过滤掉非遗留对象。
在一些实施例中，所述方法还包括：在检测到所述遗留对象的情况下，确定所述遗留对象在所述舱内的位置和/或所述遗留对象的类别。
在一些实施例中，所述方法还包括：在检测到所述遗留对象的情况下，向所述交通工具和/或预先设置的通信终端发送第一通知消息。
在一些实施例中，所述方法还包括：在检测到所述遗留对象的情况下，基于所述遗留对象的类别，向所述交通工具发送用于调节所述舱内的环境参数的第一控制信息。
在一些实施例中，所述基于所述遗留对象的类别，向所述交通工具发送用于调节所述舱内的环境参数的第一控制信息，包括：在所述遗留对象的类别为活体类别的情况下，向所述交通工具发送用于调节所述舱内的环境参数的第一控制信息。
在一些实施例中，所述向所述交通工具发送用于调节所述舱内的环境参数的第一控制信息，包括：向所述交通工具发送窗户开启控制信息和/或空调运行控制信息。
在一些实施例中，所述方法还包括：在检测到所述遗留对象的情况下，确定所述遗留对象是否从所述舱内被取出；在确定所述遗留对象从所述舱内被取出的情况下，执行以下至少任一操作：记录所述遗留对象从所述舱内被取出的时间和/或取出所述遗留对象的人员的身份信息；向所述交通工具发送用于调节所述舱内的环境参数的第二控制信息；向预先设置的通信终端发送第二通知消息。
在一些实施例中，所述确定所述遗留对象是否从所述舱内被取出，包括：获取所述乘客离开所述交通工具之后的预设时间段内所述舱内的第三图像；根据所述第三图像与所述参考图像确定所述遗留对象是否从所述舱内被取出。
在一些实施例中，所述方法还包括：在所述交通工具启动时，启用所述交通工具上的图像采集装置。
在一些实施例中，所述方法还包括：在确定所述遗留对象从所述舱内被取出的情况下，关闭所述图像采集装置。
根据本公开实施例的第二方面，提供一种遗留对象检测装置，所述装置包括：第一获取模块，用于获取交通工具的舱内无遗留对象的情况下所述舱内的参考图像；第一采集模块，用于采集人员离开所述交通工具的情况下所述舱内的第一图像；检测模块，用于根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象。
在一些实施例中，所述第一获取模块用于：在所述人员进入所述交通工具之前的情况下采集所述舱内的目标图像，所述目标图像为所述参考图像；所述检测模块用于：根据所述第一图像和参考图像之间的差异，检测所述人员离开所述交通工具时所述舱内的遗留对象。
在一些实施例中，所述装置还包括：第二采集模块，用于采集所述人员进入所述交通工具的情况下所述舱内的第二图像；第一确定模块，用于根据所述第二图像和所述参考图像之间的差异，确定待检测的遗留对象。
在一些实施例中，所述第一确定模块包括：第一获取单元，用于分别获取所述第二图像和参考图像的目标对象信息；第一确定单元，用于将所述第二图像包括但所述参考图像未包括的至少一目标对象，确定为待检测的所述遗留对象。
在一些实施例中，所述检测模块包括：第一采集单元，用于采集所述人员进入所述交通工具的情况下所述舱内的第二图像；第二确定单元，用于基于所述参考图像和所述第二图像，确定待检测的遗留对象在所述第一图像中的位置；检测单元，用于基于所述待检测的遗留对象在所述第一图像中的位置，从所述第一图像中的待检测的遗留对象中检测所述遗留对象。
在一些实施例中，所述第二确定单元包括：跟踪子单元，用于基于所述参考图像和多帧所述第二图像，对待检测的遗留对象进行目标跟踪；确定子单元，用于根据目标跟踪的结果确定待检测的遗留对象在所述第一图像中的位置。
在一些实施例中，所述装置还包括：接收模块，用于在根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象之前，接收遗留对象确认指令；过滤模块，用于根据所述遗留对象确认指令从所述第一图像中过滤掉非遗留对象。
在一些实施例中，所述装置还包括：第二确定模块，用于在检测到所述遗留对象的情况下，确定所述遗留对象在所述舱内的位置和/或所述遗留对象的类别。
在一些实施例中，所述装置还包括：第一发送模块，用于在检测到所述遗留对象的情况下，向所述交通工具和/或预先设置的通信终端发送第一通知消息。
在一些实施例中，所述装置还包括：第二发送模块，用于在检测到所述遗留对象的情况下，基于所述遗留对象的类别，向所述交通工具发送用于调节所述舱内的环境参数的第一控制信息。
在一些实施例中，所述第二发送模块用于：在所述遗留对象的类别为活体类别的情况下，向所述交通工具发送用于调节所述舱内的环境参数的第一控制信息。
在一些实施例中，所述第二发送模块用于：向所述交通工具发送窗户开启控制信息和/或空调运行控制信息。
在一些实施例中，所述装置还包括：第三确定模块，用于在检测到所述遗留对象的情况下，确定所述遗留对象是否从所述舱内被取出；执行模块，用于在确定所述遗留对象从所述舱内被取出的情况下，执行以下至少任一操作：记录所述遗留对象从所述舱内被取出的时间和/或取出所述遗留对象的人员的身份信息；向所述交通工具发送用于调节所述舱内的环境参数的第二控制信息；向预先设置的通信终端发送第二通知消息。
在一些实施例中，所述第三确定模块包括：第二获取单元，用于获取所述乘客离开所述交通工具之后的预设时间段内所述舱内的第三图像；第三确定单元，用于根据所述第三图像与所述参考图像确定所述遗留对象是否从所述舱内被取出。
在一些实施例中，所述装置还包括：启用模块，用于在所述交通工具启动时，启用所述交通工具上的图像采集装置。
在一些实施例中，所述装置还包括：关闭模块，用于在确定所述遗留对象从所述舱内被取出的情况下，关闭所述图像采集装置。
根据本公开实施例的第三方面，提供一种交通工具，所述交通工具的舱内设置有图像采集装置，以及与所述图像采集装置通信连接的如本公开任一实施例所述的遗留对象检测装置或如本公开任一实施例所述的计算机设备。
根据本公开实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。
本公开实施例获取交通工具的舱内无遗留对象的情况下所述舱内的参考图像，采集人员离开交通工具的情况下所述舱内的第一图像，并根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象。上述方式不仅能够检测有生命的活体，还能检测无生命的物品，方法简单，适用范围广泛，且检测准确率高。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1是本公开实施例的遗留对象检测方法流程图。
图2(a)是本公开实施例的第一图像的示意图。
图2(b)是本公开实施例的参考图像的示意图。
图3是本公开实施例的机器学习模型与图像采集装置的关系示意图。
图4是本公开实施例的通信终端的消息通知界面的示意图。
图5是本公开实施例的遗留对象检测装置的框图。
图6是本公开实施例的计算机设备的示意图。
图7是本公开实施例的交通工具的示意图。
图8(a)和图8(b)是本公开实施例的图像采集装置的分布的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
本公开实施例提供一种交通工具内遗留对象检测方法，如图1所示，所述方法可包括：
步骤101：获取交通工具的舱内无遗留对象的情况下所述舱内的参考图像；
步骤102：采集人员离开所述交通工具的情况下所述舱内的第一图像；
步骤103：根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象。
在本公开实施例中，所述交通工具可以是车辆(例如，私家车、公交车、校车、货车、火车等)，也可以是船舶或者飞机等用于载人或者载货的工具。相应地，所述交通工具的舱可以是车舱、船舱或者机舱等。下面以所述交通工具是车辆，所述舱是车舱为例，对本公开实施例的方案进行说明。其他类型交通工具的遗留对象检测技术实现方式类似，不再赘述。
在步骤101中，可以获取车舱内无遗留对象的情况下所述车舱内的参考图像。其中，所述车舱内的参考图像中可以仅包括所述车舱内的固有对象(例如，座椅、方向盘、车辆内饰等)，而不包括遗留对象。所述参考图像可以在车舱内无遗留对象的情况下进行采集并存储，可以一次使用或多次使用，如在多次需要进行遗留对象检测的情况下反复使用。例如，可以在车辆出厂前采集由车辆上的图像采集装置采集并存储在车辆的存储单元中，或者也可以在用户确认车舱内无遗留对象的情况下由用户通过车辆上的图像采集装置采集或者用户终端(例如，手机，平板电脑、照相机等)采集并存储在车辆的存储单元中。进一步地，还可以对采集到所述舱内的原始图像进行图像压缩处理，再将压缩后的图像作为背景图像进行存储，从而减少存储空间，提高图像处理效率。
可以采集一次参考图像，并将采集的参考图像作为每次进行遗留对象检测的参考图像。或者，也可以按照特定方式对所述参考图像进行更新。所述按照特定方式对所述参考图像进行更新，可以是每隔一段时间(例如，一天或者一个星期等)对所述参考图像进行更新，也可以是在特定事件的触发下对所述参考图像进行更新，所述特定事件可以是检测到遗留对象，接收到参考图像更新指令，检测到车舱内的背景发生变化或者检测到人员即将进入交通工具的舱内(例如，车辆解锁)等。
所述背景图像可以是整个车舱的背景图像，也可以是车舱内的某个或某些区域(例如，驾驶区域、副驾驶区域、后排座椅、儿童座椅、爱心座位区、后备箱区域、行李区域等至少之一)内的背景图像。在采集到整个车舱的图像之后，可以直接将采集到的图像作为背景图像，也可以根据需要对所述图像进行裁剪，并将裁剪后的图像作为背景图像。背景图像的数量可以是一张或者多张。例如，在车舱内包括一个图像采集装置的情况下，所述背景图像可以是由所述图像采集装置采集的一张图像。在车舱内包括多个图像采集装置的情况下，所述背景图像的数量可以大于1，每张背景图像由其中一个图像采集装置采集。
在实际应用中，在人员下车之后，如果车舱内无遗留对象，可以拍摄车舱内的图像并进行存储，从而作为下一次人员离开交通工具的情况下进行遗留对象检测的参考图像。或者，也可以在人员进入交通工具之前的情况下采集所述舱内的目标图像作为所述人员离开所述交通工具的情况下进行遗留对象检测的参考图像。遗留对象可以包括物品，如钱包、钥匙、手机、雨伞、公文包、行李箱等，还可以包括活体，如人、宠物等，人可以为儿童、老人、睡着的人、行动不便的人等各种可能被遗留在车上的人。
在步骤102中，所述人员可以包括交通工具上的任何人员，例如可以包括司机，可以包括乘务人员，也可以包括乘客等。可以基于交通工具的舱门的开启状况、交通工具的运行状况、人员的移动轨迹和特定指令中的至少一者来确定人员是否离开所述交通工具。例如，在检测到舱门开启或者人员的安全带被解开的情况下，确定人员下车。又例如，在检测到车辆熄火，且舱门开启的情况下，确定人员下车。又例如，检测到人员的移动轨迹是从舱内向舱外的情况下，确定人员下车。再例如，在检测到行程结束的确认指令的情况下，确定人员下车。除此之外，还可以基于其他方式确定人员是否离开所述交通工具，此处不再赘述。
所述舱内的第一图像可以包括一张图像，也可以包括多张图像。每张第一图像可以由车舱内的一个图像采集装置采集，如可以通过所述图像采集装置采集到的视频流获取一种图像或多种图像作为所述第一图像。
在步骤103中，可以根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象。其中，遗留对象可以包括由所述人员携带至所述舱内，且在所述人员离开所述交通工具时被遗忘在所述舱内的活体和/或物品。在第一图像和参考图像的数量均大于1的情况下，可以分别根据每张第一图像与对应的一张参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象。例如，假设第i张第一图像和第i张参考图像均为舱内的第i子区域对应的图像，则可以根据第i张第一图像和第i张参考图像来检测所述人员离开所述交通工具时所述舱内的第i子区域的遗留对象。其中，每次检测遗留对象时可以对所有子区域都进行遗留对象检测，也可以仅对其中部分子区域进行遗留对象检测。
检测遗留对象的操作可以始终执行，也可以在特定情况下经触发而执行，例如，由交通工具触发。又例如，由预先与交通工具建立通信连接的用户终端被动触发。用户终端可以发送检测触发指令，在接收到所述检测触发指令之后，可以开始执行遗留对象检测的操作。所述检测触发指令中还可以包括目标检测类别，以便确定所述待处理图像中是否包括特定类别的遗留对象。例如，用户可能在下车以后发现钥匙不见了，这时，可以通过手机发送包括“钥匙”类别的检测触发指令，从而触发在检测“钥匙”类别的遗留对象。
在一些实施例中，可以根据所述第一图像和参考图像之间的差异，检测所述人员离开所述交通工具时所述舱内的遗留对象。例如，可以将所述第一图像包括但所述参考图像未包括的至少一目标对象，确定为所述遗留对象。如图2(a)所示，所述第一图像中包括手机、儿童、座椅和抱枕，如图2(b)所示，所述参考图像中包括座椅和抱枕，则将手机确定为所述人员离开所述交通工具时所述舱内的遗留对象。通过这种方式，能够比较直观地检测出遗留对象，实现简单，实现成本低。
其中，参考图像中的目标对象可以通过对所述参考图像标注的方式获取到，也可以通过对所述参考图像进行检测的方式获取到。可以在每次确定所述第一图像和参考图像之间的差异时都从参考图像中检测一次目标对象，也可以直接采用历史检测到的目标对象作为目标对象。
进一步地，可以采集所述人员进入所述交通工具的情况下所述舱内的第二图像；根据所述第二图像和所述参考图像之间的差异，确定待检测的遗留对象。所述人员进入所述交通工具的情况下，可以包括人员进入所述交通工具时的情况，也可以包括人员进入所述交通工具以后，离开所述交通工具以前的情况。例如，可以在所述交通工具即将到达目的地的情况下采集所述第二图像。在实际应用中，可以根据所述交通工具上的智能终端上运行的应用程序(例如，地图类应用程序或者网约车应用程序等)来确定所述交通工具是否即将到达目的地。通过这种方式，能够确定与特定人员有关的待检测的遗留对象，从而实现仅对与特定人员相关的待检测的遗留对象进行遗留对象检测，提高了检测准确度，减少了检测资源消耗。
在一些实施例中，可以将所述第二图像包括但所述参考图像未包括的至少一目标对象，确定为待检测的所述遗留对象。通过这种方式，可以建立遗留对象与人员之间的关联，仅检测与特定人员有关联的遗留对象。可以为进入交通工具的人员分配身份信息，将所述人员进入所述交通工具的情况下确定的待检测的遗留对象与所述人员的身份信息进行绑定，从而建立所述关联关系。基于此，在所述人员离开所述交通工具的情况下，仅从与所述人员相关的待检测的遗留对象中确定遗留对象，降低了将其他人员遗留在交通工具内的遗留对象确定为所述人员的遗留对象的概率。
例如，在人员A上车时拍摄到的第二图像中包括手机，在人员A上车之前车内有一串钥匙，则仅将手机作为人员A对应的待检测的遗留对象。在人员A下车时，如果拍摄到的第一图像中包括手机，则确定人员A下车时在车内有遗留对象。如果人员A下车时拍摄到的第一图像中不包括手机，则确定人员A下车时在车内没有遗留对象。
在进入舱内的人员有多个的情况下，可以分别采集每个人员进入所述交通工具的情况下所述舱内的第二图像，并根据每个人员对应的第二图像和所述参考图像之间的差异，确定所述每个人员的待检测的遗留对象。
在另一些实施例中，可以采集所述人员进入所述交通工具的情况下所述舱内的第二图像；基于所述参考图像和所述第二图像，确定待检测的遗留对象在所述第一图像中的位置；基于所述待检测的遗留对象在所述第一图像中的位置，从所述第一图像中的待检测的遗留对象中检测所述遗留对象。这样，能够先大致确定待检测的遗留对象的位置，然后基于所述位置进行遗留对象检测，从而提高检测效率。
其中，可以将第二图像与参考图像输入预先训练的第一机器学习模型，并根据所述第一机器学习模型的结果确定待检测的遗留对象(称为疑似遗留对象)以及所述疑似遗留对象在所述第二图像中的位置，然后根据所述疑似遗留对象在所述第二图像中的位置确定所述意思遗留对象在所述第一图像中的位置。所述机器学习模型可以是神经网络，或者所述机器学习模型采用神经网络与传统视觉算法(例如，光流法，图像锐化法，图像差分算法或者卡尔特跟踪算法)相结合的模型。本公开实施例中的神经网络可以包括输入层、至少一个中间层和输出层，所述输入层、至少一个中间层和输出层均包括一个或多个神经元。其中，所述中间层通常是指位于输入层和输出层之间的层，如隐藏层等。在一个可选例子中，所述神经网络的中间层可以包括但不限于卷积层、ReLU(Rectified Linear Units，修正线性单元)层等中的至少一者，所述神经网络所包含的中间层的层数越多，则网络越深。所述神经网络可以具体为深度神经网络或卷积神经网络。
具体来说，可以基于所述参考图像和多帧所述第二图像，对待检测的遗留对象进行目标跟踪；根据目标跟踪的结果确定待检测的遗留对象在所述第一图像中的位置。通过这种方式，能够先确定可能会被遗忘在舱内的对象(即疑似遗留对象)，并较为准确地确定疑似遗留对象的位置，再根据疑似遗留对象的位置检测出遗留对象，从而提高检测效率和精确度。
如图3所示，在第二图像通过舱内的图像采集装置进行采集，且图像采集装置的数量为多个的情况下，每个图像采集装置可以对应一个机器学习模型，每个机器学习模型用于对一个图像采集装置采集的第二图像进行检测。例如，在舱内包括N个图像采集装置的情况下，可以将图像采集装置1采集到的第二图像与背景图像输入机器学习模型1，以在图像采集装置1采集的第二图像中检测疑似遗留对象；将图像采集装置2采集到的第二图像与背景图像输入机器学习模型2，以在图像采集装置2采集的第二图像中疑似潜在遗留对象；……；以此类推。
在一些实施例中，在根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象之前，还可以先从所述第一图像中过滤掉非遗留对象。所述非遗留对象可以包括由人员携带至所述舱内，并期望留在所述舱内的物品，例如，抱枕或者车饰等。例如，可以接收遗留对象确认指令；根据所述遗留对象确认指令从所述第一图像中过滤掉非遗留对象。作为一种实现方式，可以在人员离开所述交通工具之前拍摄所述交通工具的舱内的第三图像，将所述第三图像发送到显示设备(例如，车辆的中控屏或者用户终端的显示界面)进行显示，人员可以通过用户终端或者车辆的中控发送遗留对象确认指令。又例如，还可以获取遗留对象的历史处理结果。如果某个对象在历史检测过程中被确定为遗留对象，但长时间或者多次未被处理(例如，从所述舱内取出)，则将所述对象确定为非遗留对象。通过这种方式，可以将将上述由人员携带至所述舱内，并期望留在所述舱内的物品等非遗留对象误判为遗留对象的概率，减少误检测情况。
在检测到所述遗留对象的情况下，可以确定所述遗留对象在所述舱内的位置和/或所述遗留对象的类别。所述位置可以是副驾驶座位、后排座位这样的粗略的位置，也可以是更为精确的位置信息，例如，是遗留对象在所述舱内的坐标。所述遗留对象的类别可以简单地分为活体类别和物品类别，每种类别也可以进一步划分为更细致的子类，例如，活体类别可以划分为宠物类别和儿童类别，物品类别可以划分为钥匙类别、钱包类别和手机类别等。通过确定遗留对象的位置和/或类别，便于根据所述遗留对象的位置和/或类别执行后续操作，例如，发送通知消息、控制舱内环境参数降低遗留对象发生安全问题的概率等。
可以将所述第一图像输入预先训练的第二机器学习模型，并根据所述第二机器学习模型的输出结果得到所述遗留对象的位置和/或类别。所述第二机器学习模型与前述第一机器学习模型可以是相同的模型，也可以是不同的模型。进一步地，所述第二机器学习模型可以包括第一子模型和第二子模型，其中，所述第一子模型用于检测活体对象，第二子模型用于检测物品对象。其中，所述第一子模型可以通过活体对象的样本图像预先训练，所述第二子模型可以通过物品对象的样本图像预先训练。样本图像中可以包括在不同光照强度、不同场景下拍摄到的图像，以提高训练出的对象识别模型的准确性。
在一些实施例中，在检测到所述遗留对象的情况下，可以向所述交通工具和/或预先设置的通信终端发送第一通知消息。通过发送第一通知消息，有助于人员发现遗留对象，从而及时取出遗留对象。所述第一通知消息中可以包括用于表征存在遗留对象的提示信息。进一步地，所述第一通知消息中还包括遗落所述遗留对象的时间、所述遗留对象的类别和/或位置。在向所述交通工具发送第一通知消息之后，所述交通工具可以输出提示信息，包括通过车载音响或者喇叭输出的声音提示信息和/或通过车灯输出的灯光提示信息。进一步地，通过输出不同的声音提示信号，或者通过不同位置的发光设备输出灯光提示信息，从而能够指示遗留对象的不同位置。
所述通信终端可以通过移动数据连接、蓝牙连接、WiFi连接等任一连接方式与交通工具建立通信连接，所述通信终端可以是手机、平板电脑、智能手表、笔记本电脑等智能终端。在向所述通信终端发送第一通知消息之后，所述通信终端可以输出提示信息，如图4所示，提示信息包括文本提示信息和图像提示信息中的至少一者。文本提示信息可以是诸如以下形式的文字内容：“汽车后座上有遗留物品”或者“车内有儿童”。还可以包括检测到遗留对象的时间，例如“时间：2020年2月13日18:35；位置：汽车后座；遗留对象类别：钱包”。图像提示信息中可以包括第一图像，也可以仅包括从第一图像中截取的遗留对象的图像。通过发送截取的遗留对象的图像，能够减少数据传输量。
在检测到所述遗留对象的情况下，还可以基于所述遗留对象的类别，向所述交通工具发送用于调节所述舱内的环境参数的第一控制信息，从而为遗留对象提供较为舒适的舱内环境。例如，可以在所述遗留对象的类别为活体类别的情况下，向所述交通工具发送用于调节所述舱内的环境参数的第一控制信息，以降低舱内环境较差(例如，温度过高或者含氧量较低)导致活体类别的遗留对象发生危险的概率。例如，向所述交通工具发送窗户开启控制信息和/或空调运行控制信息。具体来说，在所述遗留对象的类别为活体类别的情况下，可以向所述交通工具发送窗户开启控制信息，以打开所述交通工具的窗户。
所述窗户开启控制信息包括但不限于待开启的窗户的数量信息、位置信息和/或开启程度信息等。可选地，可以基于遗留对象所在位置、所述舱内的环境参数和舱外环境参数中的至少一者生成所述窗户开启控制信息。例如，在遗留对象位于车辆后座的情况下，可以控制车辆后排的一扇窗户开启。又例如，在舱内含氧量低于一定阈值的情况下，可以控制车辆后排的两扇窗户开启。所述开启程度可以预先设置，例如，可以固定设置为5cm，这样，既能将舱内含氧量维持在所需范围内，又能防止舱外人员对遗留对象造成危害或者遗留对象翻窗而出，从而保证遗留对象的安全。所述开启程度也可以根据舱外的环境参数动态设置，例如，在舱外环境温度在预设范围之外的情况下，所述开启程度可以设置得较小(例如，5cm)，反之，所述开启程度可以设置得较大(例如，8cm)。这样，降低舱外环境对遗留对象的影响。
在所述遗留对象的类别为活体类别的情况下，还可以向所述交通工具发送空调运行控制信息，以打开所述交通工具的空调，进一步还可以控制所述空调的温度和/或运行模式(例如，制冷或者制热)。通过对窗户和/或空调进行控制，可以降低发生舱内温度过高或者含氧量不足等情况的概率，导致活体类别的遗留对象发生危险。
可以在检测到遗留对象的情况下直接发送所述第一控制信息，例如，可以向所述交通工具发送空调运行控制信息，使空调运行在活体适宜的温度/湿度控制模式，也可以向所述交通工具发送窗户开启控制信息，以控制车窗打开程度，如控制车窗打开一条缝隙而并非全部打开，以改善交通工具内的空气环境，同时以免车舱内活体离开车舱或者受到来自车舱外的威胁。或者，也可以先检测所述舱内的环境参数，在所述环境参数超过预设范围的情况下才发送所述第一控制信息。例如，在检测到舱内的温度过高或者过低的情况下，可以向所述交通工具发送空调运行控制信息。当舱内温度适宜之后，还可以控制空调重新关闭。又例如，在检测到舱内的含氧量过低时，可以向所述交通工具发送窗户开启控制信息，以控制车窗打开一条缝隙。
在一些实施例中，在检测到所述遗留对象的情况下，可以确定所述遗留对象是否从所述舱内被取出。在确定所述遗留对象从所述舱内被取出的情况下，可以执行以下至少任一操作：记录所述遗留对象从所述舱内被取出的时间和/或取出所述遗留对象的人员的身份信息；向所述交通工具发送用于调节所述舱内的环境参数的第二控制信息；向预先设置的通信终端发送第二通知消息。例如，可以记录“2020年3月22日19:00:35，ID为XXX的用户取出了宠物”。如果在此之前向交通工具发送了用于调节所述舱内的环境参数的第一控制信息，则此时可以向所述交通工具发送用于调节所述舱内的环境参数的第二控制信息，例如，可以向所述交通工具发送窗户关闭控制信息和/或空调关闭控制信息，以关闭交通工具的窗户和/或空调。这样能够减少交通工具的能耗，且减少了人员手动操作，降低了操作复杂度。还可以根据记录的信息生成第二通知消息发送给通信终端，第二通知消息可以包括被取出的遗留对象的名称、类别、取出时间、取出人员的身份信息等中的至少之一。这样能在遗留对象被取出时及时发送通知，降低误取概率。
可选地，可以获取所述乘客离开所述交通工具之后的预设时间段内所述舱内的第三图像；根据所述第三图像与所述参考图像确定所述遗留对象是否从所述舱内被取出。具体来说，可以根据第三图像与参考图像之间的差异，确定所述遗留对象是否从所述舱内被取出。如果存在第三图像包括但所述参考图像未包括的至少一目标对象，确定存在遗留对象未被取出。否则，确定遗留对象均已被取出。通过获取图像来检测遗留对象是否被取出，实现简单，检测成本低。
可选地，可以获取所述乘客离开所述交通工具之后的预设时间段内所述舱内的第三图像；根据所述第三图像与所述第一图像确定所述遗留对象是否从所述舱内被取出。具体来说，可以根据第三图像与第一图像之间的差异，确定所述遗留对象是否从所述舱内被取出。如果存在第三图像包括但所述第一图像包括的至少一目标对象，确定存在遗留对象被取出。否则，确定遗留对象未被取出。
在一些实施例中，在检测到遗留对象的情况下，可以将遗留对象的信息存储到数据库中。所述遗留对象的信息可包括遗留对象的图像、位置、类别、遗留时间、遗留对象所属的人员、取出遗留对象的人员等信息中的至少一者。通过建立数据库，便于查看遗留对象的信息。
在上述实施例中，可以在需要进行图像采集的情况下启动交通工具上的图像采集装置(例如，摄像头)来采集图像，还可以在不需要进行图像采集的情况下关闭所述图像采集装置。这样，使图像采集装置无需始终处于工作状态，减少了能耗。例如，在所述交通工具启动时，启用所述交通工具上的图像采集装置。或者在确定人员进入所述交通工具的情况下，启用所述交通工具上的图像采集装置。或者在确定人员即将离开所述交通工具的情况下，启用所述交通工具上的图像采集装置。又例如，如果需要检测所述遗留对象是否从所述舱内被取出，在确定所述遗留对象从所述舱内被取出的情况下，关闭所述图像采集装置。如果仅需要检测遗留对象，则在人员离开所述交通工具的情况下，关闭所述图像采集装置。
本公开实施例的遗留对象检测方式，不仅能够检测活体，还能检测静态物体，且检测准确率高。本公开实施例可用于私家车、网约车或者校车等不同的应用场景下，适用范围广。其中，人员上下车可以根据实际场景按照不同的方式确定。例如，在私家车场景下，可以根据司机的通信终端与车辆之间的通信连接的信号强度确定司机是否上车或者下车。在网约车场景下，可以根据司机在网约车应用程序中的操作(例如，确认接到乘客的操作或者确认到达目的地的操作)确定乘客是否上车或者下车。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
如图5所示，本公开还提供一种遗留对象检测装置，所述装置包括：
第一获取模块501，用于获取交通工具的舱内无遗留对象的情况下所述舱内的参考图像；
第一采集模块502，用于采集人员离开所述交通工具的情况下所述舱内的第一图像；
检测模块503，用于根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述任一实施例所述的方法。
在一些实施例中，所述第一获取模块用于：在所述人员进入所述交通工具之前的情况下采集所述舱内的目标图像，所述目标图像为所述参考图像；所述检测模块用于：根据所述第一图像和参考图像之间的差异，检测所述人员离开所述交通工具时所述舱内的遗留对象。
在一些实施例中，所述装置还包括：第二采集模块，用于采集所述人员进入所述交通工具的情况下所述舱内的第二图像；第一确定模块，用于根据所述第二图像和所述参考图像之间的差异，确定待检测的遗留对象。
在一些实施例中，所述第一确定模块包括：第一获取单元，用于分别获取所述第二图像和参考图像的目标对象信息；第一确定单元，用于将所述第二图像包括但所述参考图像未包括的至少一目标对象，确定为待检测的所述遗留对象。
在一些实施例中，所述检测模块包括：第一采集单元，用于采集所述人员进入所述交通工具的情况下所述舱内的第二图像；第二确定单元，用于基于所述参考图像和所述第二图像，确定待检测的遗留对象在所述第一图像中的位置；检测单元，用于基于所述待检测的遗留对象在所述第一图像中的位置，从所述第一图像中的待检测的遗留对象中检测所述遗留对象。
在一些实施例中，所述第二确定单元包括：跟踪子单元，用于基于所述参考图像和多帧所述第二图像，对待检测的遗留对象进行目标跟踪；确定子单元，用于根据目标跟踪的结果确定待检测的遗留对象在所述第一图像中的位置。
在一些实施例中，所述装置还包括：接收模块，用于在根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象之前，接收遗留对象确认指令；过滤模块，用于根据所述遗留对象确认指令从所述第一图像中过滤掉非遗留对象。
在一些实施例中，所述装置还包括：第二确定模块，用于在检测到所述遗留对象的情况下，确定所述遗留对象在所述舱内的位置和/或所述遗留对象的类别。
在一些实施例中，所述装置还包括：第一发送模块，用于在检测到所述遗留对象的情况下，向所述交通工具和/或预先设置的通信终端发送第一通知消息。
在一些实施例中，所述装置还包括：第二发送模块，用于在检测到所述遗留对象的情况下，基于所述遗留对象的类别，向所述交通工具发送用于调节所述舱内的环境参数的第一控制信息。
在一些实施例中，所述第二发送模块用于：在所述遗留对象的类别为活体类别的情况下，向所述交通工具发送用于调节所述舱内的环境参数的第一控制信息。
在一些实施例中，所述第二发送模块用于：向所述交通工具发送窗户开启控制信息和/或空调运行控制信息。
在一些实施例中，所述装置还包括：第三确定模块，用于在检测到所述遗留对象的情况下，确定所述遗留对象是否从所述舱内被取出；执行模块，用于在确定所述遗留对象从所述舱内被取出的情况下，执行以下至少任一操作：记录所述遗留对象从所述舱内被取出的时间和/或取出所述遗留对象的人员的身份信息；向所述交通工具发送用于调节所述舱内的环境参数的第二控制信息；向预先设置的通信终端发送第二通知消息。
在一些实施例中，所述第三确定模块包括：第二获取单元，用于获取所述乘客离开所述交通工具之后的预设时间段内所述舱内的第三图像；第三确定单元，用于根据所述第三图像与所述参考图像确定所述遗留对象是否从所述舱内被取出。
在一些实施例中，所述装置还包括：启用模块，用于在所述交通工具启动时，启用所述交通工具上的图像采集装置。
在一些实施例中，所述装置还包括：关闭模块，用于在确定所述遗留对象从所述舱内被取出的情况下，关闭所述图像采集装置。
本公开实施例还包括一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。
图6示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器601、存储器602、输入/输出接口603、通信接口604和总线605。其中处理器601、存储器602、输入/输出接口603和通信接口604通过总线605实现彼此之间在设备内部的通信连接。
处理器601可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器602可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器602可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器602中，并由处理器601来调用执行。
输入/输出接口603用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口604用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线605包括一通路，在设备的各个组件(例如处理器601、存储器602、输入/输出接口603和通信接口604)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器601、存储器602、输入/输出接口603、通信接口604以及总线605，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
如图7所示，本公开实施例还提供一种交通工具，所述交通工具的舱内设置有图像采集装置，以及与所述图像采集装置通信连接的如本公开任一实施例所述的遗留对象检测装置或如本公开任一实施例所述的计算机设备。
所述图像采集装置用于获取所述第一图像。所述图像采集装置可以从人员进入舱内开始拍摄所述舱内的待处理图像，直到所述人员离开所述舱内，也可以在人员进入舱内一段时间后，再开始拍摄所述舱内的待处理图像。
在一些实施例中，所述图像采集装置可以设置在所述舱内的顶部。舱内的图像采集装置的数量可以是一个，也可以是多个。当图像采集装置的数量为1时，通过该图像采集装置采集整个舱内的待处理图像。当图像采集装置的数量大于1时，通过各个图像采集装置分别采集舱内的一个子区域的待处理图像。图像采集装置的数量、位置以及在舱内的分布，可以根据舱内的形状和尺寸，以及图像采集装置的视野范围确定。例如，对于车厢这种窄而长的区域，可以在车顶(指内侧的顶部)中心设置一个图像采集装置，如图8(a)所示；也可以在每排座椅上方设置一个图像采集装置，如图8(b)所示。通过设置多个图像采集装置，使拍摄到的区域更加全面。
在一些实施例中，对图像采集装置采集的第一图像可以进行逐帧检测；在另一些实施例中，由于图像采集装置采集图像的帧率常常是比较大的，例如，每秒采集几十帧图像，因此，也可以对第一图像进行跳帧检测，例如，仅检测拍摄到的第1、3、5帧第一图像。跳帧步距(即，进行检测的相邻图像帧之间的帧数间隔)可根据实际场景确定，例如，在光线较差、检测对象较多、拍摄到的第一图像清晰度较低等情况下，跳帧步距可设置得较小，在光线较好、检测对象较少、拍摄到的第一图像清晰度较高等情况下，跳帧步距可设置得较大。
图像采集装置的视野可能较大，既包括比较容易出现遗留对象的区域，又包括一般不会出现遗留对象的区域。因此，在所述第一图像中检测所述舱内的潜在遗留对象时，还可以先确定所述第一图像中的感兴趣区域，然后，在感兴趣区域内检测遗留对象。例如，车舱的座椅上比较容易出现遗留对象，而中控台上一般不会出现遗留对象，因此，座椅为感兴趣区域。
本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (18)

1.一种遗留对象检测方法，其特征在于，所述方法包括：
获取交通工具的舱内无遗留对象的情况下所述舱内的参考图像；
采集人员离开所述交通工具的情况下所述舱内的第一图像；
根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象。
2.根据权利要求1所述的方法，其特征在于，
所述获取交通工具的舱内无遗留对象的情况下所述舱内的参考图像，包括：在所述人员进入所述交通工具之前的情况下采集所述舱内的目标图像，所述目标图像为所述参考图像；
所述根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象，包括：根据所述第一图像和参考图像之间的差异，检测所述人员离开所述交通工具时所述舱内的遗留对象。
3.根据权利要求1或2所述的方法，其特征在于，根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象之前，还包括：
采集所述人员进入所述交通工具的情况下所述舱内的第二图像；
根据所述第二图像和所述参考图像之间的差异，确定待检测的遗留对象。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第二图像和所述参考图像之间的差异，确定待检测的遗留对象，包括：分别获取所述第二图像和参考图像的目标对象信息；
将所述第二图像包括但所述参考图像未包括的至少一目标对象，确定为待检测的所述遗留对象。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象，包括：
采集所述人员进入所述交通工具的情况下所述舱内的第二图像；
基于所述参考图像和所述第二图像，确定待检测的遗留对象在所述第一图像中的位置；
基于所述待检测的遗留对象在所述第一图像中的位置，从所述第一图像中的待检测的遗留对象中检测所述遗留对象。
6.根据权利要求5所述的方法，其特征在于，所述基于所述参考图像和所述第二图像，确定待检测的遗留对象在所述第一图像中的位置，包括：
基于所述参考图像和多帧所述第二图像，对待检测的遗留对象进行目标跟踪；
根据目标跟踪的结果确定待检测的遗留对象在所述第一图像中的位置。
7.根据权利要求1至6任意一项所述的方法，其特征在于，所述方法还包括：
在根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象之前，接收遗留对象确认指令；
根据所述遗留对象确认指令从所述第一图像中过滤掉非遗留对象。
8.根据权利要求1至7任意一项所述的方法，其特征在于，所述方法还包括：
在检测到所述遗留对象的情况下，确定所述遗留对象在所述舱内的位置和/或所述遗留对象的类别。
9.根据权利要求1至8任意一项所述的方法，其特征在于，所述方法还包括：
在检测到所述遗留对象的情况下，向所述交通工具和/或预先设置的通信终端发送第一通知消息。
10.根据权利要求1至9任意一项所述的方法，其特征在于，所述方法还包括：
在检测到所述遗留对象的情况下，基于所述遗留对象的类别，向所述交通工具发送用于调节所述舱内的环境参数的第一控制信息。
11.根据权利要求10所述的方法，其特征在于，所述基于所述遗留对象的类别，向所述交通工具发送用于调节所述舱内的环境参数的第一控制信息，包括：
在所述遗留对象的类别为活体类别的情况下，向所述交通工具发送用于调节所述舱内的环境参数的第一控制信息。
12.根据权利要求10或11所述的方法，其特征在于，所述向所述交通工具发送用于调节所述舱内的环境参数的第一控制信息，包括：
向所述交通工具发送窗户开启控制信息和/或空调运行控制信息。
13.根据权利要求1至12任意一项所述的方法，其特征在于，所述方法还包括：
在检测到所述遗留对象的情况下，确定所述遗留对象是否从所述舱内被取出；
在确定所述遗留对象从所述舱内被取出的情况下，执行以下至少任一操作：
记录所述遗留对象从所述舱内被取出的时间和/或取出所述遗留对象的人员的身份信息；
向所述交通工具发送用于调节所述舱内的环境参数的第二控制信息；
向预先设置的通信终端发送第二通知消息。
14.根据权利要求13所述的方法，其特征在于，
所述确定所述遗留对象是否从所述舱内被取出，包括：获取所述乘客离开所述交通工具之后的预设时间段内所述舱内的第三图像；根据所述第三图像与所述参考图像确定所述遗留对象是否从所述舱内被取出；和/或，
所述方法还包括：在所述交通工具启动时，启用所述交通工具上的图像采集装置；和/或，
所述方法还包括：在确定所述遗留对象从所述舱内被取出的情况下，关闭所述图像采集装置。
15.一种遗留对象检测装置，其特征在于，所述装置包括：
第一获取模块，用于获取交通工具的舱内无遗留对象的情况下所述舱内的参考图像；
第一采集模块，用于采集人员离开所述交通工具的情况下所述舱内的第一图像；
检测模块，用于根据所述第一图像和参考图像检测所述人员离开所述交通工具时所述舱内的遗留对象。
16.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至14任意一项所述的方法。
17.一种交通工具，其特征在于，所述交通工具的舱内设置有图像采集装置，以及与所述图像采集装置通信连接的如权利要求15所述的遗留对象检测装置或如权利要求16所述的计算机设备。
18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至14任意一项所述的方法。
CN202010217625.9A 2020-03-25 2020-03-25 遗留对象检测方法和装置及交通工具 Active CN111415347B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010217625.9A CN111415347B (zh) 2020-03-25 2020-03-25 遗留对象检测方法和装置及交通工具
PCT/CN2020/093003 WO2021189641A1 (zh) 2020-03-25 2020-05-28 遗留对象检测
JP2021540530A JP7403546B2 (ja) 2020-03-25 2020-05-28 遺留対象検出
KR1020217022181A KR20210121015A (ko) 2020-03-25 2020-05-28 남겨진 객체의 검출

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010217625.9A CN111415347B (zh) 2020-03-25 2020-03-25 遗留对象检测方法和装置及交通工具

Publications (2)

Publication Number Publication Date
CN111415347A true CN111415347A (zh) 2020-07-14
CN111415347B CN111415347B (zh) 2024-04-16

Family

ID=71493201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010217625.9A Active CN111415347B (zh) 2020-03-25 2020-03-25 遗留对象检测方法和装置及交通工具

Country Status (4)

Country Link
JP (1) JP7403546B2 (zh)
KR (1) KR20210121015A (zh)
CN (1) CN111415347B (zh)
WO (1) WO2021189641A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931734A (zh) * 2020-09-25 2020-11-13 深圳佑驾创新科技有限公司 识别遗落物体的方法、装置、车载终端和存储介质
CN113763683A (zh) * 2021-09-09 2021-12-07 南京奥拓电子科技有限公司 一种物品遗留提醒的方法、装置和存储介质
WO2023024791A1 (zh) * 2021-08-27 2023-03-02 上海商汤智能科技有限公司 帧率调整方法、装置、电子设备、存储介质及程序
WO2023039781A1 (zh) * 2021-09-16 2023-03-23 华北电力大学扬中智能电气研究中心 一种遗留物检测方法、装置、电子设备及存储介质
WO2023125431A1 (zh) * 2021-12-30 2023-07-06 华为技术有限公司 一种检测的方法及装置
WO2024083215A1 (zh) * 2022-10-21 2024-04-25 法雷奥汽车内部控制（深圳）有限公司 舱内检测方法、舱内检测装置、计算机程序产品以及机动车辆

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115848306B (zh) * 2022-12-23 2024-05-17 阿维塔科技(重庆)有限公司 一种车辆遗留人员的检测方法、检测装置与车辆
CN117036482A (zh) * 2023-08-22 2023-11-10 北京智芯微电子科技有限公司 目标对象定位方法、装置、拍摄设备、芯片、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777183A (zh) * 2009-01-13 2010-07-14 北京中星微电子有限公司 检测静止物体的方法、装置及检测遗留物体的方法、装置
CN103605983A (zh) * 2013-10-30 2014-02-26 天津大学 一种遗留物检测和跟踪方法
CN103714325A (zh) * 2013-12-30 2014-04-09 中国科学院自动化研究所 基于嵌入式系统的遗留物和遗失物实时检测方法
CN106560836A (zh) * 2015-10-02 2017-04-12 Lg电子株式会社 在车辆中提供防物品遗失服务的设备、方法和移动终端
CN106921846A (zh) * 2015-12-24 2017-07-04 北京计算机技术及应用研究所 视频移动终端遗留物检测装置
WO2018214078A1 (zh) * 2017-05-24 2018-11-29 深圳市大疆创新科技有限公司 拍摄控制方法及装置
US20190156138A1 (en) * 2017-11-20 2019-05-23 Wistron Corporation Method, system, and computer-readable recording medium for image-based object tracking
CN110857073A (zh) * 2018-08-24 2020-03-03 通用汽车有限责任公司 提供遗忘通知的系统和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001285842A (ja) 2000-03-29 2001-10-12 Minolta Co Ltd 監視システム
JP2002063668A (ja) 2000-06-07 2002-02-28 Toshiba Corp 車内の人検出通報装置及び危険状態回避装置
JP4419672B2 (ja) 2003-09-16 2010-02-24 株式会社デンソー 車両内忘れ物防止装置
JP4441887B2 (ja) 2006-03-31 2010-03-31 株式会社デンソー 自動車用ユーザーもてなしシステム
JP6343769B2 (ja) 2013-08-23 2018-06-20 中嶋　公栄 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム
CN105427529B (zh) * 2015-12-04 2018-06-29 北京奇虎科技有限公司 一种车内环境监控的方法及终端
JP6909960B2 (ja) 2017-03-31 2021-07-28 パナソニックＩｐマネジメント株式会社 検知装置、検知方法及び検知プログラム
JP2019168815A (ja) 2018-03-22 2019-10-03 東芝メモリ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
CN108973853B (zh) * 2018-06-15 2021-01-15 威马智慧出行科技（上海）有限公司 一种车辆警示装置及车辆警示方法
CN109733315B (zh) * 2019-01-15 2020-12-01 吉利汽车研究院（宁波）有限公司 一种共享汽车的管理方法及系统
CN110758320B (zh) * 2019-10-23 2021-02-23 上海能塔智能科技有限公司 自助试驾的防遗留处理方法、装置、电子设备与存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777183A (zh) * 2009-01-13 2010-07-14 北京中星微电子有限公司 检测静止物体的方法、装置及检测遗留物体的方法、装置
CN103605983A (zh) * 2013-10-30 2014-02-26 天津大学 一种遗留物检测和跟踪方法
CN103714325A (zh) * 2013-12-30 2014-04-09 中国科学院自动化研究所 基于嵌入式系统的遗留物和遗失物实时检测方法
CN106560836A (zh) * 2015-10-02 2017-04-12 Lg电子株式会社 在车辆中提供防物品遗失服务的设备、方法和移动终端
CN106921846A (zh) * 2015-12-24 2017-07-04 北京计算机技术及应用研究所 视频移动终端遗留物检测装置
WO2018214078A1 (zh) * 2017-05-24 2018-11-29 深圳市大疆创新科技有限公司 拍摄控制方法及装置
US20190156138A1 (en) * 2017-11-20 2019-05-23 Wistron Corporation Method, system, and computer-readable recording medium for image-based object tracking
CN110857073A (zh) * 2018-08-24 2020-03-03 通用汽车有限责任公司 提供遗忘通知的系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YINGLI TIAN等: "Robust Detection of Abandoned and Removed Objects in Complex Surveillance Videos", 《IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS, PART C (APPLICATIONS AND REVIEWS)》 41, vol. 41, no. 5, 30 September 2011 (2011-09-30), pages 565 - 576, XP011380994, DOI: 10.1109/TSMCC.2010.2065803 *
南云霞: "视频监控中遗留物检测关键技术的研究", 《信息科技辑》, no. 04, 15 April 2015 (2015-04-15), pages 136 - 1038 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931734A (zh) * 2020-09-25 2020-11-13 深圳佑驾创新科技有限公司 识别遗落物体的方法、装置、车载终端和存储介质
WO2023024791A1 (zh) * 2021-08-27 2023-03-02 上海商汤智能科技有限公司 帧率调整方法、装置、电子设备、存储介质及程序
CN113763683A (zh) * 2021-09-09 2021-12-07 南京奥拓电子科技有限公司 一种物品遗留提醒的方法、装置和存储介质
WO2023039781A1 (zh) * 2021-09-16 2023-03-23 华北电力大学扬中智能电气研究中心 一种遗留物检测方法、装置、电子设备及存储介质
WO2023125431A1 (zh) * 2021-12-30 2023-07-06 华为技术有限公司 一种检测的方法及装置
WO2024083215A1 (zh) * 2022-10-21 2024-04-25 法雷奥汽车内部控制（深圳）有限公司 舱内检测方法、舱内检测装置、计算机程序产品以及机动车辆

Also Published As

Publication number Publication date
JP7403546B2 (ja) 2023-12-22
CN111415347B (zh) 2024-04-16
WO2021189641A1 (zh) 2021-09-30
KR20210121015A (ko) 2021-10-07
JP2022530299A (ja) 2022-06-29

Similar Documents

Publication Publication Date Title
CN111415347B (zh) 遗留对象检测方法和装置及交通工具
US20220377129A1 (en) Recording video of an operator and a surrounding visual field
US10089871B2 (en) Methods and systems for providing alerts to a driver of a vehicle via condition detection and wireless communications
CN111937050B (zh) 乘客相关物品丢失减少
CN108725357B (zh) 基于人脸识别的参数控制方法、系统与云端服务器
US8538402B2 (en) Phone that prevents texting while driving
US9714037B2 (en) Detection of driver behaviors using in-vehicle systems and methods
US9501693B2 (en) Real-time multiclass driver action recognition using random forests
US8914014B2 (en) Phone that prevents concurrent texting and driving
US11651594B2 (en) Systems and methods of legibly capturing vehicle markings
US10446011B2 (en) System and method for providing rear seat monitoring within a vehicle
CN107818694A (zh) 报警处理方法、装置及终端
US11210540B2 (en) System and method for providing rear seat monitoring within a vehicle
CN111695401A (zh) 针对遗留在自主车辆中的物品的光度立体对象检测
CN111652114A (zh) 一种对象检测方法、装置、电子设备及存储介质
CN109584871B (zh) 一种车辆中语音指令的用户身份识别方法、装置
US20210089798A1 (en) Systems and methods of preventing removal of items from vehicles by improper parties
CN114332941A (zh) 基于乘车对象检测的报警提示方法、装置及电子设备
WO2020194584A1 (ja) 物体追跡装置、制御方法、及びプログラム
US20220369066A1 (en) Providing security via vehicle-based surveillance of neighboring vehicles
US20040140885A1 (en) Vehicle security system
US11518345B2 (en) Vehicle and method of controlling the same
US11783636B2 (en) System and method for detecting abnormal passenger behavior in autonomous vehicles
CN112084817A (zh) 一种儿童单独滞留车内的检测方法、装置及红外摄像头
US20230107819A1 (en) Seat Occupancy Classification System for a Vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant