CN111652114B - 一种对象检测方法、装置、电子设备及存储介质 - Google Patents

一种对象检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111652114B
CN111652114B CN202010477936.9A CN202010477936A CN111652114B CN 111652114 B CN111652114 B CN 111652114B CN 202010477936 A CN202010477936 A CN 202010477936A CN 111652114 B CN111652114 B CN 111652114B
Authority
CN
China
Prior art keywords
detected
image
vehicle cabin
feature
tracked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010477936.9A
Other languages
English (en)
Other versions
CN111652114A (zh
Inventor
张澳
杜天元
王飞
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202010477936.9A priority Critical patent/CN111652114B/zh
Publication of CN111652114A publication Critical patent/CN111652114A/zh
Priority to PCT/CN2020/137919 priority patent/WO2021238185A1/zh
Priority to KR1020217034510A priority patent/KR20210149088A/ko
Priority to JP2021558015A priority patent/JP7224489B2/ja
Application granted granted Critical
Publication of CN111652114B publication Critical patent/CN111652114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了一种对象检测方法、装置、电子设备及存储介质，其中，该对象检测方法包括：获取待检测的车舱内图像；在车舱内人员减少时，对所述待检测的车舱内图像进行目标检测，确定所述待检测的车舱内图像中是否存在待检测对象；响应于所述待检测的车舱内图像中存在待检测对象的状态的持续时长超过预设时长，发出提示信息。

Description

一种对象检测方法、装置、电子设备及存储介质
技术领域
本公开涉及追踪技术领域，具体而言，涉及一种对象检测方法、装置、电子设备及存储介质。
背景技术
随着车辆网的发展，公共交通工具为越来越多的人提供出行方便，在乘车环境中，乘客或者驾驶员通常会携带私人物品，因此在乘车环境中，经常存在乘客丢失个人物品的事件，如何能够有效防止乘车环境中的物品遗失，提高乘车环境下的物品安全，为本公开实施例要解决的问题。
发明内容
本公开实施例至少提供一种对象检测方案。
第一方面，本公开实施例提供了一种对象检测方法，包括：
获取待检测的车舱内图像；在车舱内人员减少时，对所述待检测的车舱内图像进行目标检测，确定所述待检测的车舱内图像中是否存在待检测对象；响应于所述待检测的车舱内图像中存在待检测对象的状态的持续时长超过预设时长，发出提示信息。
本公开实施例中，提供了一种针对车舱场景下的遗留物品检测的方式，通过获取待检测的车舱内图像，这样在车舱内人员减少时，可以对获取的待检测车舱内图像进行目标检测，从而可以确定待检测的车舱内图像中是否存在待检测对象，示例性地，该待检测对象可以为车舱内人员遗失的物品，这样在检测到存在车舱内人员遗失的物品时，可以进行相应提示，从而降低乘车环境中的物品丢失概率，提高乘车环境中的物品安全性。
在一种可能的实施方式中，所述响应于所述待检测的车舱内图像中存在待检测对象的状态的持续时长超过预设时长，发出提示信息，包括：
在减少的车舱内人员为乘客的情况下，响应于所述待检测的车舱内图像中存在待检测对象的状态的持续时长超过第一预设时长，发出第一提示信息，所述第一提示信息用于提示乘客物品遗留；在减少的车舱内人员为驾驶员的情况下，响应于所述待检测的车舱内图像中存在待检测对象的状态的持续时长超过第二预设时长，发出第二提示信息，所述第二提示信息用于提示驾驶员物品遗留。
本公开实施例中，针对不同类型的车舱内人员，在检测到车舱内存在遗留物品时，分别进行提示，从而提高乘车安全。
在一种可能的实施方式中，减少的车舱内人员为驾驶员和乘客，在确定所述待检测的车舱内图像中存在待检测对象后，在发出提示信息之前，所述对象检测方法还包括：
根据所述待检测对象在所述车舱中位置，确定所述待检测对象的归属人员；其中，所述待检测对象的归属人员为驾驶员和/或乘客。
本公开实施例中，可以基于待检测对象在车舱中位置，确定出待检测对象的归属人员，从而便于后续进行分类提示。
在一种可能的实施方式中，对所述待检测的车舱内图像进行目标检测，包括：
对所述待检测的车舱内图像进行特征提取，得到与多个通道中每个通道对应的第一特征图；其中每个通道对应的第一特征图，为将待检测对象在该通道对应的图像特征类别下的特征进行增强处理后的特征图；针对每个所述通道，将该通道对应的第一特征图与其它通道分别对应的第一特征图进行特征信息融合，得到融合后的第二特征图；基于所述融合后的第二特征图，检测所述待检测的车舱内图像中的所述待检测对象。
本公开实施例中，通过特征提取得到的每张第一特征图中包含的待检测对象的特征信息较非待检测对象的特征信息的进行了增强处理，这样能够通过特征信息明显区分待检测对象和待检测的车舱内图像中的背景区域；然后针对每个通道，将该通道对应的第一特征图与其它通道分别对应的第一特征图进行特征信息融合，从而得到特征信息更加全面的待检测对象，然后基于这样的第二特征图完成针对待检测的车舱内图像中待检测对象的检测，即能够准确地检测待检测的车舱内图像中的待检测对象。
在一种可能的实施方式中，所述针对每个所述通道，将该通道对应的第一特征图与其它通道分别对应的第一特征图进行特征信息融合，得到融合后的第二特征图，包括：
针对进行特征信息融合的多个第一特征图，确定所述多个第一特征图所对应的权重矩阵；基于所述权重矩阵，对所述多个第一特征图的特征信息进行加权求和，得到包含各个融合特征信息的第二特征图。
本公开实施例中，通过丰富待检测对象包含的特征信息，以及增加车舱内图像中待检测对象和背景区域的区分度，从而便于后期基于更加丰富且与背景区域区分度较大的特征信息，准确地确定该待检测的车舱内图像中，是否存在待检测对象，以及待检测对象的位置信息。
在一种可能的实施方式中，所述基于所述融合后的第二特征图，检测所述待检测的车舱内图像中的所述待检测对象，包括：
基于所述融合后的第二特征图，确定设定个数的候选区域，每个候选区域包含设定个数的特征点；基于每个候选区域包含的特征点的特征数据，确定该候选区域对应的置信度；每个候选区域对应的置信度用于表征该候选区域中包含所述待检测对象的可信程度；基于每个候选区域对应的置信度以及不同候选区域之间的重叠区域，从所述设定个数的候选区域中筛选出待检测对象对应的检测区域；所述检测区域用于标识所述待检测对象在所述待检测的车舱内图像中的位置。
本公开实施例中，通过的融合后的第二特征图来确定候选区域，因为融合后的第二特征图包含的待检测对象的特征信息与背景区域的特征信息的区分度较大，且包含的待检测对象的特征信息更加丰富，从而基于该融合后的第二特征图，能够准确得到表示待检测区域中待检测对象位置的候选区域以及每个候选区域的置信度，另外这里提出通过考虑候选区域的重叠区域对待检测对象存在的可能位置信息进一步筛选，即能够准确得到该待检测的车舱内图像中是否存在待检测对象以及待检测对象的位置信息。
在一种可能的实施方式中，根据以下步骤获取所述待检测的车舱内图像：
获取待检测的车舱内视频流；从所述待检测的车舱内视频流包含的连续多帧车舱内图像中，间隔提取待检测的车舱内图像。
本公开实施例中，按照间隔提取待检测的车舱内图像的方式，从待检测视频流中得到需要进行检测的待检测的车舱内图像，可以提高检测效率。
在一种可能的实施方式中，对所述待检测的车舱内图像进行目标检测，还包括：
将所述待检测的车舱内视频流中的每个车舱内图像作为待追踪图像，针对每个非首帧待追踪图像，基于该非首帧待追踪图像的前一帧待追踪图像中的所述待检测对象的位置信息以及该非首帧待追踪图像，确定所述待检测对象在该非首帧待追踪图像中的预测位置信息；确定该非首帧待追踪图像是否为检测出待检测对象的待检测的车舱内图像；在确定该非首帧待追踪图像是检测出待检测对象的待检测的车舱内图像时，将检测出的位置信息作为待检测对象在该非首帧待追踪图像中的位置信息；在确定该非首帧待追踪图像不是检测出待检测对象的待检测的车舱内图像时，将确定的预测位置信息作为待检测对象在该非首帧待追踪图像中的位置信息。
本公开实施例中，可以基于非首帧待追踪图像的前一帧待追踪图像中待检测对象的位置信息对该非首帧待追踪图像进行追踪，确定出待检测对象在该非首帧待追踪图像中的预测位置信息，并且在追踪过程中，还可以基于检测出的位置信息调整预测的位置信息，这样，能够提高对待检测对象追踪的效率和准确度。
在一种可能的实施方式中，所述待检测的车舱内图像进行目标检测由神经网络执行；
所述神经网络利用包含了待检测样本对象的车舱内样本图像和未包含待检测样本对象的车舱内样本图像训练得到。
第二方面，本公开实施例提供了一种对象检测装置，包括：
图像获取模块，用于获取待检测的车舱内图像；图像检测模块，用于在车舱内人员减少时，对所述待检测的车舱内图像进行目标检测，确定所述待检测的车舱内图像中是否存在待检测对象；提示模块，用于响应于所述待检测的车舱内图像中存在待检测对象的状态的持续时长超过预设时长，发出提示信息。
在一种可能的实施方式中，所述提示模块在用于响应于所述待检测的车舱内图像中存在待检测对象的状态的持续时长超过预设时长，发出提示信息时，包括：
在减少的车舱内人员为乘客的情况下，响应于所述待检测的车舱内图像中存在待检测对象的状态的持续时长超过第一预设时长，发出第一提示信息，所述第一提示信息用于提示乘客物品遗留；在减少的车舱内人员为驾驶员的情况下，响应于所述待检测的车舱内图像中存在待检测对象的状态的持续时长超过第二预设时长，发出第二提示信息，所述第二提示信息用于提示驾驶员物品遗留。
在一种可能的实施方式中，减少的车舱内人员为驾驶员和乘客，在图像检测模块确定所述待检测的车舱内图像中存在待检测对象后，在提示模块发出提示信息之前，所述图像检测模块还用于：
根据所述待检测对象在所述车舱中位置，确定所述待检测对象的归属人员；其中，所述待检测对象的归属人员为驾驶员和/或乘客。
在一种可能的实施方式中，所述图像检测模块在用于对所述待检测的车舱内图像进行目标检测时，包括：
对所述待检测的车舱内图像进行特征提取，得到与多个通道中每个通道对应的第一特征图；其中每个通道对应的第一特征图，为将待检测对象在该通道对应的图像特征类别下的特征进行增强处理后的特征图；针对每个所述通道，将该通道对应的第一特征图与其它通道分别对应的第一特征图进行特征信息融合，得到融合后的第二特征图；基于所述融合后的第二特征图，检测所述待检测的车舱内图像中的所述待检测对象。
在一种可能的实施方式中，所述图像检测模块在用于针对每个所述通道，将该通道对应的第一特征图与其它通道分别对应的第一特征图进行特征信息融合，得到融合后的第二特征图时，包括：
针对进行特征信息融合的多个第一特征图，确定所述多个第一特征图所对应的权重矩阵；基于所述权重矩阵，对所述多个第一特征图的特征信息进行加权求和，得到包含各个融合特征信息的第二特征图。
在一种可能的实施方式中，所述图像检测模块在用于基于所述融合后的第二特征图，检测所述待检测的车舱内图像中的所述待检测对象时，包括：
基于所述融合后的第二特征图，确定设定个数的候选区域，每个候选区域包含设定个数的特征点；基于每个候选区域包含的特征点的特征数据，确定该候选区域对应的置信度；每个候选区域对应的置信度用于表征该候选区域中包含所述待检测对象的可信程度；基于每个候选区域对应的置信度以及不同候选区域之间的重叠区域，从所述设定个数的候选区域中筛选出待检测对象对应的检测区域；所述检测区域用于标识所述待检测对象在所述待检测的车舱内图像中的位置。
在一种可能的实施方式中，所述图像获取模块用于根据以下步骤获取所述待检测的车舱内图像：
获取待检测的车舱内视频流；从所述待检测的车舱内视频流包含的连续多帧车舱内图像中，间隔提取得到所述待检测的车舱内图像。
在一种可能的实施方式中，所述图像检测模块在用于对所述待检测的车舱内图像进行目标检测时，还包括：
将所述待检测的车舱内视频流中的每个车舱内图像作为待追踪图像，针对每个非首帧待追踪图像，基于该非首帧待追踪图像的前一帧待追踪图像中的所述待检测对象的位置信息以及该非首帧待追踪图像，确定所述待检测对象在该非首帧待追踪图像中的预测位置信息；确定该非首帧待追踪图像是否为检测出待检测对象的待检测的车舱内图像；在确定该非首帧待追踪图像是检测出待检测对象的待检测的车舱内图像时，将检测出的位置信息作为待检测对象在该非首帧待追踪图像中的位置信息；在确定该非首帧待追踪图像不是检测出待检测对象的待检测的车舱内图像时，将确定的预测位置信息作为待检测对象在该非首帧待追踪图像中的位置信息。
在一种可能的实施方式中，所述对象检测装置还包括神经网络训练模块，所述神经网络训练模块用于：
训练对所述待检测的车舱内图像进行目标检测的神经网络，所述神经网络利用包含了待检测样本对象的车舱内样本图像和未包含待检测样本对象的车舱内样本图像训练得到。
第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的对象检测方法的步骤。
第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的对象检测方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种对象检测方法的流程示意图；
图2示出了本公开实施例所提供的一种对待检测对象进行检测的方法流程图；
图3示出了本公开实施例所提供的一种确定待检测的车舱内图像中待检测对象的检测区域的方法流程图；
图4示出了本公开实施例所提供的一种对待检测对象进行追踪的方法流程图；
图5示出了本公开实施例所提供的一种神经网络中的目标检测网络的训练方法流程图；
图6示出了本公开实施例所提供的一种神经网络中的目标追踪网络的训练方法流程图；
图7示出了本公开实施例所提供的一种对象检测装置的结构示意图图；
图8示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
针对一些公共场景中，经常发生遗失物品的现象，比如在乘车环境中，经常存在乘客丢失个人物品的事件，一般当乘客丢失物品后，在想起后才会返回寻找丢失的物品，该过程时间较久，且比较繁琐，如何能够有效防止乘车环境中的物品遗失，提高乘车环境下的物品安全，为本公开实施例要解决的问题。
基于上述研究，本公开提供了一种针对车舱场景下的遗留物品检测的方式，通过获取待检测的车舱内图像，这样在车舱内人员减少时，可以对获取的待检测车舱内图像进行目标检测，从而可以确定待检测的车舱内图像中是否存在待检测对象，示例性地，该待检测对象可以为车舱内人员遗失的物品，这样在检测到存在车舱内人员遗失的物品时，可以进行相应提示，从而降低乘车环境中的物品丢失概率，提高乘车环境中的物品安全性。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种对象检测方法进行详细介绍，本公开实施例所提供的对象检测方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端等。在一些可能的实现方式中，该对象检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提高的对象检测方法的流程图，包括以下S101～S103：
S101，获取待检测的车舱内图像。
其中，该车舱可以为出租车车舱、火车车舱或者飞机车舱等公共交通工具的车舱；待检测的车舱内图像可以根据设置于车舱内固定位置的图像采集设备拍摄得到的待检测的车舱内图像。
S102，在车舱内人员减少时，对待检测的车舱内图像进行目标检测，确定待检测的车舱内图像中是否存在待检测对象。
示例性地，可以根据获取到的待检测的车舱内图像来监测车舱内是否存在人员增加以及是否存在人员减少，当检测到车舱内存在人员减少时，可以对获取到的待检测的车舱内图像进行目标检测，比如检测车舱内是否还存在有减少人员的遗留物品。
示例性地，对待检测的车舱内图像进行目标检测，可以为用于检测预先设置好的容易被乘客或者驾驶员遗失的物品，比如手机、钱包、手包、行李箱等物品。
S103，响应于待检测的车舱内图像中存在待检测对象的状态的持续时长超过预设时长，发出提示信息。
示例性地，当车舱内存在人员减少时，即检测到人员出车舱时，若检测出车舱内仍然存在出车舱人员的遗留物品时，可以进行提示，以对出车舱人员进行提示。
本公开提供了一种针对车舱场景下的遗留物品检测的方式，通过获取待检测的车舱内图像，这样在车舱内人员减少时，可以对获取的待检测车舱内图像进行目标检测，从而可以确定待检测的车舱内图像中是否存在待检测对象，示例性地，该待检测对象可以为车舱内人员遗失的物品，这样在检测到存在车舱内人员遗失的物品时，可以进行相应提示，从而降低乘车环境中的物品丢失概率，提高乘车环境中的物品安全性。
针对上述S103，在响应于待检测的车舱内图像中存在待检测对象的状态的持续时长超过预设时长，发出提示信息时，可以包括：
在减少的车舱内人员为乘客的情况下，响应于待检测的车舱内图像中存在待检测对象的状态的持续时长超过第一预设时长，发出第一提示信息，第一提示信息用于提示乘客物品遗留；
在减少的车舱内人员为驾驶员的情况下，响应于待检测的车舱内图像中存在待检测对象的状态的持续时长超过第二预设时长，发出第二提示信息，第二提示信息用于提示驾驶员物品遗留。
示例性地，这里的第一预设时长和第二预设时长可以相同，也可以不相同，考虑到驾驶员可能仅仅是短暂出车舱，这里的第二预设时长可以大于第一预设时长。
示例性地，第一提示信息与第二提示信息均可以为语言播报，其中第一提示信息用于提示乘客或者驾驶员，第二提示信息用于提示驾驶员。
在一种可能的实施方式中，减少的车舱内人员为驾驶员和乘客，在确定待检测的车舱内图像中存在待检测对象后，在发出提示信息之前，对象检测方法还包括：
根据待检测对象在车舱中位置，确定待检测对象的归属人员；其中，待检测对象的归属人员为驾驶员和/或乘客。
根据获取到的待检测的车舱内图像，可以确定出每个车舱内人员在车舱内的位置，以及该车舱内人员对应的待检测物品，这样可以建立待检测对象与位置的关联关系，以及位置与车舱内人员之间的关联关系，然后进一步可以根据待检测对象在车舱中位置，确定该待检测对象的归属人员。在确定出待检测对象的归属人员之后根据归属人员发出相应的提示信息。
在一种实施方式中，针对上述S102，在对待检测的车舱内图像进行目标检测时，参见图2所示，包括以下步骤S201～S203，其中：
S201，对待检测的车舱内图像进行特征提取，得到与多个通道中每个通道对应的第一特征图；其中每个通道对应的第一特征图，为将待检测对象在该通道对应的图像特征类别下的特征进行增强处理后的特征图。
对待检测的车舱内图像进行特征提取，可以是通过提前训练好的特征提取网络进行特征提取，得到多个预设通道对应的第一特征图，这里每个通道可以理解为对应待检测的车舱内图像的一种图像特征类别，比如对待检测的车舱内图像进行特征提取后，可以得到三个通道分别对应的第一特征图，其中第一个通道可以对应待检测的车舱内图像的纹理特征、第二个通道可以对应待检测的车舱内图像的颜色特征、第三个通道可以对应待检测的车舱内图像的尺寸特征，这样即可以得到待检测的车舱内图像在各个图像特征类别下的特性图。
为了明显地区分待检测对象和车舱内背景，在对待检测的车舱内图像进行特征提取，得到第一特征图的过程中，会对每个通道对应的第一特征图中代表待检测对象的特征信息和代表车舱内背景的特征信息进行区分处理，比如可以对代表待检测对象的特征信息进行增强处理，对代表车舱内背景的特征信息进行弱化处理，或者，可以仅对代表待检测对象的特征信息进行增强处理，或者，可以仅对代表车舱内背景的特征信息进行弱化处理，从而使得得到的每个第一特征图中表示待检测对象的特征信息的强度大于表示车舱内背景的特征信息的强度。
S202，针对每个通道，将该通道对应的第一特征图与其它通道分别对应的第一特征图进行特征信息融合，得到融合后的第二特征图。
因为每个通道趋向表示待检测的车舱内图像在该通道对应的图像特征类别下的特征信息，为了得到特征信息更加完善的特征图，这里针对每个通道，将该通道对应的第一特征图与其它通道分别对应的第一特征图进行特征信息融合，即可以得到包含多种图像特征类别的第二特征图。
这里每个通道对应的第一特征图中的特征信息可以通过该通道对应的第一特征图中的特征数据进行表示，特征信息融合是指通过融合每个第一特征图中的特征数据，得到融合后的第二特征图。
具体如何基于第一特征图进行特征信息融合，得到第二特征图的详细过程将在后文以具体实施例的形式进行详细阐述。
S203，基于融合后的第二特征图，检测待检测的车舱内图像中的待检测对象。
这里基于融合后的第二特征图，检测待检测的车舱内图像中的待检测对象的过程，可以是基于预先训练的神经网络中的目标检测网络，对待检测的车舱内图像中的待检测对象进行检测，即将融合后的第二特征图输入该预先训练的神经网络中的目标检测网络，即可以完成对待检测的车舱内图像中的待检测对象进行检测。
这里检测待检测的车舱内图像中的待检测对象可以是指检测待检测的车舱内图像中是否存在待检测对象，且在确定待检测的车舱内图像中存在待检测对象的情况下，确定待检测对象在该待检测的车舱内图像中的位置信息。
本公开实施例中，通过特征提取得到的第一特征图为针对待检测对象在该通道对应的图像特征类别下的特征进行增强处理后的特征图，即每张第一特征图中包含的待检测对象的特征信息较非待检测对象的特征信息进行了增强处理，这样能够通过特征信息明显区分待检测对象和待检测的车舱内图像中的背景区域；然后针对每个通道，将该通道对应的第一特征图与其它通道分别对应的第一特征图进行特征信息融合，从而得到特征信息更加全面的待检测对象，然后基于这样的第二特征图完成针对待检测的车舱内图像中待检测对象的检测，即能够准确地检测待检测的车舱内图像中的待检测对象。
针对上述S202，在针对每个通道，将该通道对应的第一特征图与其它通道分别对应的第一特征图进行特征信息融合，得到融合后的第二特征图时，可以包括：
(1)针对进行特征信息融合的多个第一特征图，确定多个第一特征图所对应的权重矩阵；
(2)基于权重矩阵，对多个第一特征图的特征信息进行加权求和，得到包含各个融合特征信息的第二特征图。
具体地，对待检测的车舱内图像进行特征提取后，得到大小为h*w*c的第一特征图，其中c表示第一特征图的个数，即待检测的车舱内图像进行特征提取后得到的通道个数，每个通道对应一个第一特征图，h*w表示每个第一特征图的尺寸，且每个第一特征图包含h*w个特征点对应的特征数据。
这里通过对多个第一特征图进行特征信息融合，得到的融合后的第二特征图的大小同样为h*w*c，即同样每个通道对应一个第二特征图，每个第二特征图的尺寸为h*w，第二特征图中任一特征点对应的特征数据是通过每个通道对应的第一特征图中与第二特征图中该任一特征点相同位置的特征点对应的特征数据融合得到的，具体融合方式如下：
这里的权重矩阵包含c个通道分别对应的权重向量，每个通道对应的权重向量中的权重值表示每个第一特征图中的特征数据在确定该通道对应的第二特征图时的权重值。
比如，c等于3，即表示对待检测的车舱内图像进行特征提取后，得到3个通道对应的第一特征图，即得3个第一特征图，每个第一特征图中包含h*w个特征点对应的特征数据，这h*w个特征数据即可以构成h*w维度的特征向量，特征向量中的各个特征数据，即对应第一特征图中各个特征点的特征数据。
这样，在确定每个通道对应的第一特征图的特征向量以及该第一特征图在构成该通道的第二特征图时对应的权重值后，即可以根据该通道对应的权重矩阵，对各个通道对应的第一特征图中的特征数据进行加权求和，得到该通道对应的第二特征图中的特征数据。
下面以一个具体的实施例进行解释，如何通过对每个通道对应的第一特征图进行融合得到融合后的第二特征图：
对待检测的车舱内图像进行特征提取，得到3个通道对应的第一特征图，每个第一特征图的尺寸为h*w，即每个第一特征图包含h*w个特征数据，假设每个第一特征图对应的特征向量构成的特征矩阵为：
其中，(a1 a2 ... ah*w)T可以用于表示第1个通道对应的第一特征图的特征向量；a1表示第1个通道对应的第一特征图中第1个特征点的特征数据，a2表示第1个通道对应的第一特征图中第2个特征点的特征数据；ah*w表示第1个通道对应的第一特征图中第h*w个特征点的特征数据；
(b1 b2 ... bh*w)T可以用于表示第2个通道对应的第一特征图的特征向量；b1表示第2个通道对应的第一特征图中第1个特征点的特征数据；b2表示第2个通道对应的第一特征图中第2个特征点的特征数据；bh*w表示第2个通道对应的第一特征图中第h*w个特征点的特征数据；
(d1 d2 ... dh*w)T可以用于表示第3个通道对应的第一特征图的特征向量；d1表示第3个通道对应的第一特征图中第1个特征点的特征数据，d2表示第3个通道对应的第一特征图中第2个特征点的特征数据，dh*w表示第3个通道对应的第一特征图中第h*w个特征点的特征数据。
假设3个第一特征图所对应的权重矩阵为：
其中，(m1 m2 m3)T表示确定第1个通道对应的第二特征图时，不同第一特征图各自对应的权重向量，m1表示第1个通道对应的第一特征图中各个特征数据在确定第1个通道对应的第二特征图时的权重值；m2表示第2个通道对应的第一特征图中各个特征数据在确定第1个通道对应的第二特征图时的权重值；m3表示第3个通道对应的第一特征图中各个特征数据在确定第1个通道对应的第二特征图时的权重值。
其中，(k1 k2 k3)T表示确定第2个通道对应的第二特征图时，不同第一特征图各自对应的权重向量，k1表示第1个通道对应的第一特征图中各个特征数据在确定第2个通道对应的第二特征图时的权重值；k2表示第2个通道对应的第一特征图中各个特征数据在确定第2个通道对应的第二特征图时的权重值；k3表示第3个通道对应的第一特征图中各个特征数据在确定第2个通道对应的第二特征图时的权重值。
其中，(l1 l2 l3)T表示确定第3个通道对应的第二特征图时，不同第一特征图各自对应的权重向量，l1表示第1个通道对应的第一特征图中各个特征数据在确定第3个通道对应的第二特征图时的权重值；l2表示第2个通道对应的第一特征图中各个特征数据在确定第3个通道对应的第二特征图时的权重值；l3表示第3个通道对应的第一特征图中各个特征数据在确定第3个通道对应的第二特征图时的权重值。
具体地，在基于权重矩阵，对多个第一特征图的特征信息进行加权求和时，确定第1个通道对应的第二特征图时，可以按照以下公式(1)确定：
T1＝(a1 a2 ... ah*w)T*m1+(b1 b2 ... bh*w)T*m2+(d1 d2 ... dh*w)T*m3 (1)
其中，第1个通道对应的第二特征图中第1个特征点的特征数据即为a1m1+b1m2+d1m3；第1个通道对应的第二特征图中第2个特征点的特征数据即为a2m1+b2m2+d3m3；第1个通道对应的第二特征图中第h*w个特征点的特征数据即为ah*wm1+bh*wm2+dh*wm3。
同理，可以按照相同的方式确定第2个通道对应的第二特征图以及第3个通道对应的第二特征图。
上述确定融合后的第二特征图的方式，通过确定第一特征图所对应的权重矩阵，得到包含各个通道对应的第二特征图，这样每个第二特征图均是通过多个通道对应的图像特征类别下的特征进行融合得到的，若待检测的车舱内图像中包含待检测对象，则融合后的第二特征图中能够包含待检测对象更加丰富的特征信息，又因为第一特征图中针对检测对象的特征进行了增强处理，则基于第一特征图得到的融合后的第二特征图中待检测对象的特征信息和背景区域的特征信息之间的区分度也较大，从而便于后期基于更加丰富且与背景区域区分度较大的特征信息，准确地确定该待检测的车舱内图像中，是否存在待检测对象，以及待检测对象的位置信息。
在得到融合后的第二特征图后，就可以根据融合后的第二特征图来检测待检测的车舱内图像中的待检测对象，具体地，在基于融合后的第二特征图，检测待检测的车舱内图像中的待检测对象时，如图3所示，可以包括以下步骤S301～S303：
S301，基于融合后的第二特征图，确定设定个数的候选区域，每个候选区域包含设定个数的特征点。
这里候选区域是指可能包含待检测对象的区域，这里候选区域的个数和每个候选区域中包含的特征点的设定个数可以为预先训练的神经网络中的候选区域提取网络来确定的。
具体地，候选区域的设定个数基于目标检测网络的测试精度考虑，比如在网络训练过程中，针对大量待检测样本图像分别对应的融合后的第二样本特征图，不断调整候选区域的个数，然后在测试过程中，对训练的目标检测网络进行测试，通过不同候选区域对应的测试精度，确定候选区域的设定个数。
这里每个候选区域包含的设定个数，可以基于目标检测网络的测试速度和测试精度综合考虑来提前确定，比如在网络训练过程中，首先保持候选区域的个数不变，不断调整每个候选区域包含的特征点的个数，然后在测试过程中，对目标检测网络进行测试，综合考虑测试速度以及测试精度，确定每个候选区域包含的特征点的设定个数。
S302，基于每个候选区域包含的特征点的特征数据，确定该候选区域对应的置信度；每个候选区域对应的置信度用于表征该候选区域中包含待检测对象的可信程度。
每个候选区域中包含的特征点均对应有特征数据，根据这些特征数据，可以确定该候选区域包含待检测对象的可信程度，具体地，针对每个候选区域对应的置信度，可以通过预先训练的神经网络中的目标检测网络来确定，即将该候选区域中的特征数据输入预先训练的神经网络中的目标检测网络，即可以得到该候选区域对应的置信度。
S303，基于每个候选区域对应的置信度以及不同候选区域之间的重叠区域，从设定个数的候选区域中筛选出待检测对象对应的检测区域；检测区域用于标识待检测对象在待检测的车舱内图像中的位置。
具体地，在基于每个候选区域对应的置信度以及不同候选区域之间的重叠区域，从设定个数的候选区域中筛选出待检测对象对应的检测区域时，这里可以先从设定个数的候选区域中筛选出置信度排序前设定个数的目标候选区域，然后可以基于预先设置置信度阈值以及不同候选区域之间的重叠区域，再确定待检测对象对应的检测区域。
比如，认为对应置信度高于该置信度阈值的目标候选区域为待检测对象对应的检测区域的概率较大，且综合考虑候选区域之间存在重叠的候选区域的情况下，若发生重叠的候选区域的重叠面积大于设定面积阈值，可以说明发生重叠的候选区域包含的待检测对象可能为同一个待检测对象，基于该考虑，进一步在目标候选区域中选择出待检测对象对应的检测区域，比如，可以在目标候选区域中保留置信度高于置信度阈值的目标候选区域，且在发生重叠区域的目标候选区域中保留置信度最高的目标候选区域，即得到待检测对象对应的检测区域。
以上在执行从设定个数的候选区域中筛选出置信度排序前设定个数的目标候选区域的过程中，可以根据目标检测网络来确定的，具体可以基于进行目标检测网络的测试速度和测试精度综合考虑来提前确定，比如在网络训练过程中，不断调整目标候选区域的个数，然后在测试过程中，对目标检测网络进行测试，综合考虑测试速度以及测试精度，确定这里目标候选区域的设定个数。
当然，若这里的每个候选区域对应的置信度均小于设定阈值，则可以说明该待检测的车舱内图像中不存在待检测对象，该情况本公开不做详细阐述。
按照上述S301～S303可以获取到待检测的车舱内图像中包含待检测对象的检测区域，即得到待检测对象在待检测的车舱内图像中的位置，这里通过的融合后的第二特征图来确定候选区域，因为融合后的第二特征图包含的待检测对象的特征信息与背景区域的特征信息的区分度较大，且包含的待检测对象的特征信息更加丰富，从而基于该融合后的第二特征图，能够准确得到表示待检测区域中待检测对象位置的候选区域以及每个候选区域的置信度，另外这里提出通过考虑候选区域的重叠区域对待检测对象存在的可能位置信息进一步筛选，即能够准确得到该待检测的车舱内图像中是否存在待检测对象以及待检测对象的位置信息。
因为本公开实施例提出的对象检测方法在很多应用场景下，需要不断获取待检测的车舱内图像，并对待检测的车舱内图像进行检测，比如针对交通运输场景下的遗留物品进行检测的情况，则可以通过在车内设置图像采集部件，比如在车内安装摄像机，且令该摄像机朝向设定位置进行拍摄，此时，可以根据以下步骤获取待检测的车舱内图像：
(1)获取待检测的车舱内视频流；
(2)从待检测的车舱内视频流包含的连续多帧车舱内图像中，间隔提取得到待检测的车舱内图像。
示例性地，在针对交通运输场景下的遗留物品进行检测时，这里的待检测的车舱内视频流可以为图像采集部件针对车内设定位置拍摄的视频流，每秒采集的视频流可以包含连续多帧车舱内图像，考虑到相邻两帧图像之间的间隔时间较短，因此相邻两帧车舱内图像的相似度较高，为了提高检测效率，这里提出可以在连续多帧车舱内图像中进行间隔提取，得到上述提到的待检测的车舱内图像，比如，若在某个时间段内得到的待检测的车舱内视频流中包含1000帧图像，则按照每间隔一帧提取一次，可以得到500帧待检测的车舱内图像，这里针对这500帧待检测的车舱内图像进行检测，即可以完成车舱内的遗留物品进行检测的目的。
这里按照间隔方式提取待检测的车舱内图像，从待检测的车舱内视频流中得到需要进行检测的待检测的车舱内图像，可以提高检测效率。
在另一种实施方式中，针对上述S102，在对所述待检测的车舱内图像进行目标检测时，还可以对待检测对象在每帧车舱内图像中的位置信息进行追踪，如图4所示，还包括以下S401～S404：
S401，将待检测的车舱内视频流中的每个车舱内图像作为待追踪图像，针对每个非首帧待追踪图像，基于该非首帧待追踪图像的前一帧待追踪图像中的待检测对象的位置信息以及该非首帧待追踪图像，确定待检测对象在该非首帧待追踪图像中的预测位置信息。
在对待检测对象进行追踪时，可以从待检测的车舱内视频流中的第二帧车舱内图像开始，依次对待检测对象进行追踪，第一帧车舱内图像中待检测对象的位置信息可以通过上述目标检测方式进行确定，比如按照上述方式，对间隔提取车舱内图像进行了对象检测，分别确定出了待检测对象在间隔提取的车舱内图像中的位置信息，示例性地，比如对第1帧车舱内图像、第3帧车舱内图像、第5帧车舱内图像等单数帧车舱内图像进行了目标检测，在追踪待检测对象在第2帧车舱内图像中的位置信息时，可以基于第1帧车舱内图像中的待检测对象的位置信息以及该第2帧车舱内图像，确定待检测对象在第2帧车舱内图像中的预测位置信息。
具体在对待检测对象进行追踪时，可以基于预先训练的神经网络中的目标追踪网络来进行追踪，比如针对第1帧待追踪图像和第2帧待追踪图像，根据待检测对象在该第1帧待追踪图像中的检测区域，以及该检测区域中包含的特征点的特征数据，这里的检测区域具有对应的坐标信息，然后将该检测区域、该检测区域中包含的特征点的特征数据以及第2帧待追踪图像输入目标追踪网络中，即可以基于待检测对象在第1帧待追踪图像中的检测区域对应的坐标信息，在第2帧待追踪图像中与该坐标信息对应的局部区域内寻找是否存在与该检测区域中包含的特征点的特征数据相似度超过阈值的检测区域，若有，即可以确定第2帧待追踪图像包含第1帧待追踪图像中的待检测对象，且得到第1帧待追踪图像中的待检测对象在第2帧待追踪图像中的位置信息，即完成了对待检测对象的追踪。
当然，若第2帧待追踪图像中与该坐标信息对应的局部区域内不存在与该检测区域中包含的特征点的特征数据相似度超过阈值的检测区域，则可以说明第2帧待追踪图像中不包含第1帧待追踪图像中的待检测对象，可以确定该待检测对象发生了位置移动。
S402，确定该非首帧待追踪图像是否为检测出待检测对象的待检测的车舱内图像。
在得到该非首帧待追踪图像中包含的待检测对象的预测位置信息后，可以基于待检测对象在该非首帧待追踪图像中的位置信息，预测该待检测对象在下一帧待追踪图像中的位置信息。
在此之前，可以先确定出该非首帧待追踪图像是否为检测出待检测对象的待检测的车舱内图像，以便考虑是否基于检测出的待检测对象在该非首帧待追踪图像中的位置信息对该待检测对象在该非首帧待追踪图像中的预测位置信息进行修正，从而基于修正后的位置信息，追踪待检测对象在下一帧待追踪图像中的位置。
S403，在确定该非首帧待追踪图像是检测出待检测对象的待检测的车舱内图像时，将检测出的位置信息作为待检测对象在该非首帧待追踪图像中的位置信息。
将检测出的位置信息作为待检测对象在该非首帧待追踪图像中的位置信息，即完成了对该待检测对象在该非首帧待追踪图像中的预测位置信息的修正，后续在基于该待检测对象在该非首帧待追踪图像中的位置信息，对该待检测对象进行追踪时，能够更加准确。
S404，在确定该非首帧待追踪图像不是检测出待检测对象的待检测的车舱内图像时，将确定的预测位置信息作为待检测对象在该非首帧待追踪图像中的位置信息。
若该非首帧待追踪图像不是检测出待检测对象的待检测的车舱内图像，此时可以基于将待检测对象在该非首帧待追踪图像中的预测位置信息，对该待检测对象在下一帧待追踪图像中的位置进行继续追踪，该方式可以估算出每个时刻待检测对象在车舱内的位置，从而提高追踪效率。
本公开实施例中，可以基于非首帧待追踪图像的前一帧待追踪图像中待检测对象的位置信息对该非首帧待追踪图像进行追踪，确定出待检测对象在该非首帧待追踪图像中的预测位置信息，并且在追踪过程中，还可以基于检测出的位置信息调整预测的位置信息，这样，能够提高对待检测对象追踪的效率和准确度。
在一种实施方式中，本公开实施例提出的对待检测的车舱内图像进行目标检测由神经网络执行，这里的神经网络利用包含了待检测样本对象的车舱内图像和未包含待检测样本对象的车舱内样本图像训练得到。
示例性地，神经网络中进行目标检测的网络可以按照以下方式训练得到，如图5所示，具体包括S501～S505：
S501，获取待检测的车舱内样本图像。
这里的待检测的车舱内样本图像即包括包含待检测样本对象的车舱内样本图像，可以记为正样本图像，以及包括未包含待检测样本对象的车舱内样本图像，可以记录为负样本图像。
考虑到针对车内场景下的物品检测时，遗留物品在车舱内样本图像中的形貌可能为各种色块，比如手机、行李箱等可以通过矩形色块表示，水杯可以通过圆柱形色块进行表示，为了使得进行神经网络能够更好地识别出哪些是待检测对象，哪些是车内背景，比如车座、窗户等背景，这里可以在车舱内样本图像中加入一些非待检测物品的随机色块，用以表示非待检测对象，通过训练神经网络不断对真实的待检测对象以及对非真实的随机色块以及车内背景进行区分，从而得到准确度较高的神经网络。
S502，对待检测的车舱内样本图像进行特征提取，得到与多个通道中每个通道对应的第一样本特征图；其中每个通道对应的第一样本特征图，为将待检测样本对象在该通道对应的图像特征类别下的特征进行增强处理后的样本特征图。
这里对待检测样本图像进行特征提取，得到与多个通道中每个通道对应的第一样本特征图的过程，与上文提到的对待检测的车舱内图像进行特征提取，得到与多个通道中每个通道对应的第一特征图的过程相似，在此不再赘述。
S503，针对每个通道，将该通道对应的第一样本特征图与其它通道分别对应的第一样本特征图进行特征信息融合，得到融合后的第二样本特征图。
这里基于第一样本特征图，得到融合后的第二样本特征图的过程，与上文提到的基于第一特征图，得到融合后的第二特征图的过程相似，在此不再赘述。
S504，基于融合后的第二样本特征图，预测待检测的车舱内样本图像中的待检测样本对象。
这里基于融合后的第二样本特征图，预存车舱内样本图像中的待检测样本对象，与上文提到的基于融合后的第二特征图，检测待检测的车舱内图像中的待检测对象的过程相似，在此不再赘述。
S505，基于预测出的待检测的车舱内样本图像中的待检测样本对象、包含待检测样本的待检测的车舱内样本图像中和不包含待检测样本的待检测的车舱内样本图像，对神经网络中的网络参数值进行调整。
这里通过预测出的待检测的车舱内样本图像中的待检测样本对象的位置信息、包含待检测样本的待检测的车舱内样本图像和不包含待检测样本的待检测的车舱内样本图像，来确定预测出的待检测的车舱内样本图像中的待检测样本对象的位置信息的损失值，通过损失值来对神经网络中的网络参数值进行调整，经过多次训练后，比如使得损失值小于设定阈值时，即可以停止训练，从而得到训练完成的神经网络。
另外，针对上文提到的对待检测图像进行追踪的过程，本公开实施例还包括对神经网络中的目标追踪网络进行训练的过程，这里可以通过待检测样本对象、包含待检测样本对象的待追踪样本图像和未包含待检测样本对象的待追踪样本图像训练得到。
这里的待检测样本对象即可以指需要进行追踪的样本对象，比如针对车内场景下的物品检测时，这里的待检测样本对象即可以为各种车内场景下的乘客物品。
示例性地，神经网络中的目标追踪网络可以按照以下方式训练得到，如图6所示，具体包括S601～S603：
S601，获取待追踪样本图像以及待检测样本对象对应的待检测样本对象信息。
这里的待追踪样本图像即可以指需要对待检测样本对象进行追踪的样本图像，这里的待追踪样本图像可以包括包含待检测样本对象的正样本图像和不包含待检测样本对象的负样本图像。
在对神经网络中的目标追踪网络进行训练时，可以将待检测样本对象的检测区域图像以及待追踪样本图像同时输入进行神经网络，该待检测样本对象的检测区域图像包含待检测样本对象对应的待检测样本对象信息，即可以包括待检测对象的检测区域，以及该检测区域中包含的特征点的特征数据。
当然，同样针对车舱内场景下的物品检测时，为了使得进行神经网络能够更好地识别出哪些是待检测对象，哪些是车内背景，比如车座、窗户等背景，这里可以在待追踪样本图像中加入一些非待检测对象的随机色块，用以表示非待检测对象，通过训练神经网络不断对真实的待检测对象以及对非真实的随机色块以及车内背景进行区分，从而得到准确的进行目标追踪的神经网络。
S602，基于待检测样本对象信息和待追踪样本图像，对待检测样本对象在样本图像中的位置进行追踪，预测待检测样本对象在样本图像中的位置信息。
具体地，若针对同一区域连续获取的样本图像中的待检测样本对象进行追踪时，可以先基于待检测样本对象信息中待检测样本对象对应的检测区域，确定该待检测样本对象在待追踪样本图像中的局部区域，这里的局部区域与待检测样本对象对应的检测区域接近，从而可以在局部区域中基于特征数据查出待检测样本对象，从而预测出待检测样本对象在待追踪样本图像中的位置信息。
S603，基于预测的待检测样本对象在待追踪样本图像中的位置信息、包含待检测样本对象的待追踪样本图像和未包含待检测样本对象的待追踪样本图像，对进行神经网络中的网络参数值进行调整。
这里可以通过预测出的待检测样本对象在待追踪样本图像中的位置信息，包含待检测样本对象的待追踪样本图像和未包含待检测样本对象的待追踪样本图像，来确定待追踪样本图像中的待检测样本对象的位置信息的损失值，经过多次训练后，通过损失值来对神经网络中的网络参数值进行调整，比如使得损失值小于设定阈值时，即可以停止训练，从而得到神经网络的目标追踪网络。
本公开实施例提供的神经网络的目标追踪网络的训练过程，通过获取待追踪样本图像以及待检测样本对象对应的待检测样本对象信息，对待检测样本对象在待追踪样本图像中的位置进行追踪，从而快速确定待检测样本对象在待追踪样本图像中的位置，然后通过预测的待检测样本对象在待追踪样本图像中的位置信息、包含待检测样本对象的待追踪样本图像和未包含待检测样本对象的待追踪样本图像，对神经网络的网络参数值进行调整，从而得到准确度较高的神经网络，基于该准确度较高的神经网络即可以对待检测对象进行准确追踪。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思，本公开实施例中还提供了与对象检测方法对应的对象检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述对象检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图7所示，为本公开实施例,提供的一种对象检测装置700的示意图，该对象检测装置700包括：图像获取模块701、图像检测模块702、提示模块703。
图像获取模块701，用于获取待检测的车舱内图像；
图像检测模块702，用于在车舱内人员减少时，对待检测的车舱内图像进行目标检测，确定待检测的车舱内图像中是否存在待检测对象；
提示模块703，用于响应于待检测的车舱内图像中存在待检测对象的状态的持续时长超过预设时长，发出提示信息。
在一种可能的实施方式中，提示模块703在用于响应于待检测的车舱内图像中存在待检测对象的状态的持续时长超过预设时长，发出提示信息时，包括：
在减少的车舱内人员为乘客的情况下，响应于待检测的车舱内图像中存在待检测对象的状态的持续时长超过第一预设时长，发出第一提示信息，第一提示信息用于提示乘客物品遗留；
在减少的车舱内人员为驾驶员的情况下，响应于待检测的车舱内图像中存在待检测对象的状态的持续时长超过第二预设时长，发出第二提示信息，第二提示信息用于提示驾驶员物品遗留。
在一种可能的实施方式中，减少的车舱内人员为驾驶员和乘客，在图像检测模块702确定待检测的车舱内图像中存在待检测对象后，在提示模块703发出提示信息之前，图像检测模块702还用于：
根据待检测对象在车舱中位置，确定待检测对象的归属人员；其中，待检测对象的归属人员为驾驶员和/或乘客。
在一种可能的实施方式中，图像检测模块702在用于对待检测的车舱内图像进行目标检测时，包括：
对待检测的车舱内图像进行特征提取，得到与多个通道中每个通道对应的第一特征图；其中每个通道对应的第一特征图，为将待检测对象在该通道对应的图像特征类别下的特征进行增强处理后的特征图；
针对每个通道，将该通道对应的第一特征图与其它通道分别对应的第一特征图进行特征信息融合，得到融合后的第二特征图；
基于融合后的第二特征图，检测待检测的车舱内图像中的待检测对象。
在一种可能的实施方式中，图像检测模块702在用于针对每个通道，将该通道对应的第一特征图与其它通道分别对应的第一特征图进行特征信息融合，得到融合后的第二特征图时，包括：
针对进行特征信息融合的多个第一特征图，确定多个第一特征图所对应的权重矩阵；
基于权重矩阵，对多个第一特征图的特征信息进行加权求和，得到包含各个融合特征信息的第二特征图。
在一种可能的实施方式中，图像检测模块702在用于基于融合后的第二特征图，检测待检测的车舱内图像中的待检测对象时，包括：
基于融合后的第二特征图，确定设定个数的候选区域，每个候选区域包含设定个数的特征点；
基于每个候选区域包含的特征点的特征数据，确定该候选区域对应的置信度；每个候选区域对应的置信度用于表征该候选区域中包含待检测对象的可信程度；
基于每个候选区域对应的置信度以及不同候选区域之间的重叠区域，从设定个数的候选区域中筛选出待检测对象对应的检测区域；检测区域用于标识待检测对象在待检测的车舱内图像中的位置。
在一种可能的实施方式中，图像获取模块701用于根据以下步骤获取待检测的车舱内图像：
获取待检测的车舱内视频流；
从待检测的车舱内视频流包含的连续多帧车舱内图像中，间隔提取得到待检测的车舱内图像。
在一种可能的实施方式中，图像检测模块在用于对待检测的车舱内图像进行目标检测时，还包括：
将待检测的车舱内视频流中的每个车舱内图像作为待追踪图像，针对每个非首帧待追踪图像，基于该非首帧待追踪图像的前一帧待追踪图像中的待检测对象的位置信息以及该非首帧待追踪图像，确定待检测对象在该非首帧待追踪图像中的预测位置信息；
确定该非首帧待追踪图像是否为检测出待检测对象的待检测的车舱内图像；
在确定该非首帧待追踪图像是检测出待检测对象的待检测的车舱内图像时，将检测出的位置信息作为待检测对象在该非首帧待追踪图像中的位置信息；
在确定该非首帧待追踪图像不是检测出待检测对象的待检测的车舱内图像时，将确定的预测位置信息作为待检测对象在该非首帧待追踪图像中的位置信息。
在一种可能的实施方式中，对象检测装置还包括神经网络训练模块704，神经网络训练模块704用于：
训练对待检测的车舱内图像进行目标检测的神经网络，神经网络利用包含了待检测样本对象的车舱内样本图像和未包含待检测样本对象的车舱内样本图像训练得到。
对应于图1中的对象检测方法，本公开实施例还提供了一种电子设备800，如图8所示，为本公开实施例提供的电子设备800结构示意图，包括：
处理器81、存储器82、和总线83；存储器82用于存储执行指令，包括内存821和外部存储器822；这里的内存821也称内存储器，用于暂时存放处理器81中的运算数据，以及与硬盘等外部存储器822交换的数据，处理器81通过内存821与外部存储器822进行数据交换，当电子设备800运行时，处理器81与存储器82之间通过总线83通信，使得处理器81执行以下指令：获取待检测的车舱内图像；在车舱内人员减少时，对待检测的车舱内图像进行目标检测，确定待检测的车舱内图像中是否存在待检测对象；响应于待检测的车舱内图像中存在待检测对象的状态的持续时长超过预设时长，发出提示信息。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的对象检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的对象检测方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行上述方法实施例中的对象检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种对象检测方法，其特征在于，包括：
获取待检测的车舱内视频流中的待检测的车舱内图像；
在车舱内人员减少时，对所述待检测的车舱内图像进行目标检测，确定所述待检测的车舱内图像中是否存在待检测对象；
响应于所述待检测的车舱内图像中存在待检测对象的状态的持续时长超过预设时长，发出提示信息；
其中，对所述待检测的车舱内图像进行目标检测，还包括：
将待检测的车舱内视频流中的每个车舱内图像作为待追踪图像，针对每个非首帧待追踪图像，基于该非首帧待追踪图像的前一帧待追踪图像中的所述待检测对象的位置信息以及该非首帧待追踪图像，确定所述待检测对象在该非首帧待追踪图像中的预测位置信息；
确定该非首帧待追踪图像是否为检测出待检测对象的待检测的车舱内图像；
在确定该非首帧待追踪图像是检测出待检测对象的待检测的车舱内图像时，将检测出的位置信息作为待检测对象在该非首帧待追踪图像中的位置信息；
在确定该非首帧待追踪图像不是检测出待检测对象的待检测的车舱内图像时，将确定的预测位置信息作为待检测对象在该非首帧待追踪图像中的位置信息。
2.根据权利要求1所述的对象检测方法，其特征在于，所述响应于所述待检测的车舱内图像中存在待检测对象的状态的持续时长超过预设时长，发出提示信息，包括：
在减少的车舱内人员为乘客的情况下，响应于所述待检测的车舱内图像中存在待检测对象的状态的持续时长超过第一预设时长，发出第一提示信息，所述第一提示信息用于提示乘客物品遗留；
在减少的车舱内人员为驾驶员的情况下，响应于所述待检测的车舱内图像中存在待检测对象的状态的持续时长超过第二预设时长，发出第二提示信息，所述第二提示信息用于提示驾驶员物品遗留。
3.根据权利要求1所述的对象检测方法，其特征在于，减少的车舱内人员为驾驶员和乘客，在确定所述待检测的车舱内图像中存在待检测对象后，在发出提示信息之前，所述对象检测方法还包括：
根据所述待检测对象在所述车舱中位置，确定所述待检测对象的归属人员；其中，所述待检测对象的归属人员为驾驶员和/或乘客。
4.根据权利要求1所述的对象检测方法，其特征在于，对所述待检测的车舱内图像进行目标检测，包括：
对所述待检测的车舱内图像进行特征提取，得到与多个通道中每个通道对应的第一特征图；其中每个通道对应的第一特征图，为将待检测对象在该通道对应的图像特征类别下的特征进行增强处理后的特征图；
针对每个所述通道，将该通道对应的第一特征图与其它通道分别对应的第一特征图进行特征信息融合，得到融合后的第二特征图；
基于所述融合后的第二特征图，检测所述待检测的车舱内图像中的所述待检测对象。
5.根据权利要求4所述的对象检测方法，其特征在于，所述针对每个所述通道，将该通道对应的第一特征图与其它通道分别对应的第一特征图进行特征信息融合，得到融合后的第二特征图，包括：
针对进行特征信息融合的多个第一特征图，确定所述多个第一特征图所对应的权重矩阵；
基于所述权重矩阵，对所述多个第一特征图的特征信息进行加权求和，得到包含各个融合特征信息的第二特征图。
6.根据权利要求4所述的对象检测方法，其特征在于，所述基于所述融合后的第二特征图，检测所述待检测的车舱内图像中的所述待检测对象，包括：
基于所述融合后的第二特征图，确定设定个数的候选区域，每个候选区域包含设定个数的特征点；
基于每个候选区域包含的特征点的特征数据，确定该候选区域对应的置信度；每个候选区域对应的置信度用于表征该候选区域中包含所述待检测对象的可信程度；
基于每个候选区域对应的置信度以及不同候选区域之间的重叠区域，从所述设定个数的候选区域中筛选出待检测对象对应的检测区域；所述检测区域用于标识所述待检测对象在所述待检测的车舱内图像中的位置。
7.根据权利要求1所述的对象检测方法，其特征在于，根据以下步骤获取所述待检测的车舱内图像：
获取待检测的车舱内视频流；
从所述待检测的车舱内视频流包含的连续多帧车舱内图像中，间隔提取得到所述待检测的车舱内图像。
8.根据权利要求1-7任一所述的对象检测方法，其特征在于，对所述待检测的车舱内图像进行目标检测由神经网络执行；
所述神经网络利用包含了待检测样本对象的车舱内样本图像和未包含待检测样本对象的车舱内样本图像训练得到。
9.一种对象检测装置，其特征在于，包括：
图像获取模块，用于获取待检测的车舱内视频流中的待检测的车舱内图像；
图像检测模块，用于在车舱内人员减少时，对所述待检测的车舱内图像进行目标检测，确定所述待检测的车舱内图像中是否存在待检测对象；
提示模块，用于响应于所述待检测的车舱内图像中存在待检测对象的状态的持续时长超过预设时长，发出提示信息；
其中，所述图像检测模块在用于对待检测的车舱内图像进行目标检测时，还包括：
将待检测的车舱内视频流中的每个车舱内图像作为待追踪图像，针对每个非首帧待追踪图像，基于该非首帧待追踪图像的前一帧待追踪图像中的所述待检测对象的位置信息以及该非首帧待追踪图像，确定所述待检测对象在该非首帧待追踪图像中的预测位置信息；
确定该非首帧待追踪图像是否为检测出待检测对象的待检测的车舱内图像；
在确定该非首帧待追踪图像是检测出待检测对象的待检测的车舱内图像时，将检测出的位置信息作为待检测对象在该非首帧待追踪图像中的位置信息；
在确定该非首帧待追踪图像不是检测出待检测对象的待检测的车舱内图像时，将确定的预测位置信息作为待检测对象在该非首帧待追踪图像中的位置信息。
10.根据权利要求9所述的对象检测装置，其特征在于，所述提示模块在用于响应于所述待检测的车舱内图像中存在待检测对象的状态的持续时长超过预设时长，发出提示信息时，包括：
在减少的车舱内人员为乘客的情况下，响应于所述待检测的车舱内图像中存在待检测对象的状态的持续时长超过第一预设时长，发出第一提示信息，所述第一提示信息用于提示乘客物品遗留；
在减少的车舱内人员为驾驶员的情况下，响应于所述待检测的车舱内图像中存在待检测对象的状态的持续时长超过第二预设时长，发出第二提示信息，所述第二提示信息用于提示驾驶员物品遗留。
11.根据权利要求9或10所述的对象检测装置，其特征在于，减少的车舱内人员为驾驶员和乘客，在图像检测模块确定所述待检测的车舱内图像中存在待检测对象后，在提示模块发出提示信息之前，所述图像检测模块还用于：
根据所述待检测对象在所述车舱中位置，确定所述待检测对象的归属人员；其中，所述待检测对象的归属人员为驾驶员和/或乘客。
12.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的对象检测方法的步骤。
13.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任一所述的对象检测方法的步骤。
CN202010477936.9A 2020-05-29 2020-05-29 一种对象检测方法、装置、电子设备及存储介质 Active CN111652114B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010477936.9A CN111652114B (zh) 2020-05-29 2020-05-29 一种对象检测方法、装置、电子设备及存储介质
PCT/CN2020/137919 WO2021238185A1 (zh) 2020-05-29 2020-12-21 对象检测方法、装置、电子设备、存储介质和程序
KR1020217034510A KR20210149088A (ko) 2020-05-29 2020-12-21 대상 검출 방법, 장치, 전자 기기, 저장 매체 및 프로그램
JP2021558015A JP7224489B2 (ja) 2020-05-29 2020-12-21 対象の検出方法、装置、電子機器、記憶媒体およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010477936.9A CN111652114B (zh) 2020-05-29 2020-05-29 一种对象检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111652114A CN111652114A (zh) 2020-09-11
CN111652114B true CN111652114B (zh) 2023-08-25

Family

ID=72352686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010477936.9A Active CN111652114B (zh) 2020-05-29 2020-05-29 一种对象检测方法、装置、电子设备及存储介质

Country Status (4)

Country Link
JP (1) JP7224489B2 (zh)
KR (1) KR20210149088A (zh)
CN (1) CN111652114B (zh)
WO (1) WO2021238185A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626222A (zh) * 2020-05-28 2020-09-04 深圳市商汤科技有限公司 宠物检测方法、装置、设备及存储介质
CN111652114B (zh) * 2020-05-29 2023-08-25 深圳市商汤科技有限公司 一种对象检测方法、装置、电子设备及存储介质
CN112818743B (zh) * 2020-12-29 2022-09-23 腾讯科技（深圳）有限公司 图像识别的方法、装置、电子设备及计算机存储介质
CN113313090A (zh) * 2021-07-28 2021-08-27 四川九通智路科技有限公司 一种被遗弃可疑行李的遗弃人检测追踪方法
WO2023039781A1 (zh) * 2021-09-16 2023-03-23 华北电力大学扬中智能电气研究中心 一种遗留物检测方法、装置、电子设备及存储介质
CN117152890B (zh) * 2023-03-22 2024-03-08 宁德祺朗科技有限公司 指定区域监控方法、系统和终端
CN117036482B (zh) * 2023-08-22 2024-06-14 北京智芯微电子科技有限公司 目标对象定位方法、装置、拍摄设备、芯片、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106560836A (zh) * 2015-10-02 2017-04-12 Lg电子株式会社 在车辆中提供防物品遗失服务的设备、方法和移动终端
CN107585096A (zh) * 2016-07-08 2018-01-16 奥迪股份公司 防遗忘提醒系统、方法及车辆
US10303961B1 (en) * 2017-04-13 2019-05-28 Zoox, Inc. Object detection and passenger notification
CN110070566A (zh) * 2019-04-29 2019-07-30 武汉睿智视讯科技有限公司 信息检测方法、装置、计算机设备及可读存储介质
CN110659600A (zh) * 2019-09-19 2020-01-07 北京百度网讯科技有限公司 物体检测方法、装置及设备
CN110807385A (zh) * 2019-10-24 2020-02-18 腾讯科技（深圳）有限公司 目标检测方法、装置、电子设备及存储介质
JP2020061066A (ja) * 2018-10-12 2020-04-16 富士通株式会社 学習プログラム、検出プログラム、学習装置、検出装置、学習方法および検出方法
CN111144404A (zh) * 2019-12-06 2020-05-12 恒大新能源汽车科技(广东)有限公司 遗留物体检测方法、装置、系统、计算机设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894700A (zh) * 2015-11-02 2016-08-24 乐卡汽车智能科技（北京）有限公司 基于图像的车内活动物体远程观测、报警装置及方法
US9881234B2 (en) * 2015-11-25 2018-01-30 Baidu Usa Llc. Systems and methods for end-to-end object detection
CN108734056A (zh) * 2017-04-18 2018-11-02 深圳富泰宏精密工业有限公司 车辆环境检测装置及检测方法
US11106927B2 (en) * 2017-12-27 2021-08-31 Direct Current Capital LLC Method for monitoring an interior state of an autonomous vehicle
US10628667B2 (en) * 2018-01-11 2020-04-21 Futurewei Technologies, Inc. Activity recognition method using videotubes
CN109345510A (zh) * 2018-09-07 2019-02-15 百度在线网络技术（北京）有限公司 物体检测方法、装置、设备、存储介质及车辆
CN110610123A (zh) * 2019-07-09 2019-12-24 北京邮电大学 一种多目标车辆检测方法、装置、电子设备及存储介质
CN111652114B (zh) * 2020-05-29 2023-08-25 深圳市商汤科技有限公司 一种对象检测方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106560836A (zh) * 2015-10-02 2017-04-12 Lg电子株式会社 在车辆中提供防物品遗失服务的设备、方法和移动终端
CN107585096A (zh) * 2016-07-08 2018-01-16 奥迪股份公司 防遗忘提醒系统、方法及车辆
US10303961B1 (en) * 2017-04-13 2019-05-28 Zoox, Inc. Object detection and passenger notification
JP2020061066A (ja) * 2018-10-12 2020-04-16 富士通株式会社 学習プログラム、検出プログラム、学習装置、検出装置、学習方法および検出方法
CN110070566A (zh) * 2019-04-29 2019-07-30 武汉睿智视讯科技有限公司 信息检测方法、装置、计算机设备及可读存储介质
CN110659600A (zh) * 2019-09-19 2020-01-07 北京百度网讯科技有限公司 物体检测方法、装置及设备
CN110807385A (zh) * 2019-10-24 2020-02-18 腾讯科技（深圳）有限公司 目标检测方法、装置、电子设备及存储介质
CN111144404A (zh) * 2019-12-06 2020-05-12 恒大新能源汽车科技(广东)有限公司 遗留物体检测方法、装置、系统、计算机设备和存储介质

Also Published As

Publication number Publication date
JP7224489B2 (ja) 2023-02-17
JP2022538201A (ja) 2022-09-01
WO2021238185A1 (zh) 2021-12-02
KR20210149088A (ko) 2021-12-08
CN111652114A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111652114B (zh) 一种对象检测方法、装置、电子设备及存储介质
CN108596277B (zh) 一种车辆身份识别方法、装置和存储介质
CN111242088B (zh) 一种目标检测方法、装置、电子设备及存储介质
CN111295689B (zh) 深度感知对象计数
JP7366921B2 (ja) 乗客関連物品の紛失軽減
WO2016145547A1 (en) Apparatus and system for vehicle classification and verification
US20190087937A1 (en) Monitoring system
CN111325141B (zh) 交互关系识别方法、装置、设备及存储介质
CN112668522B (zh) 一种人体关键点与人体掩码联合检测网络及方法
CN113128481A (zh) 一种人脸活体检测方法、装置、设备及存储介质
CN110427810B (zh) 视频定损方法、装置、拍摄端及机器可读存储介质
CN113673533A (zh) 一种模型训练方法及相关设备
KR20220019105A (ko) 안전벨트 착용 검출 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN115408710A (zh) 一种图像脱敏方法和相关装置
CN112634558A (zh) 防止由不当方从车辆取走物品的系统和方法
CN115937596A (zh) 目标检测方法及其模型的训练方法、设备以及存储介质
CN115690046A (zh) 一种基于单目深度估计的物品遗留检测与溯源方法及系统
CN116258881A (zh) 一种图像聚类方法、装置、终端及计算机可读存储介质
CN111275008B (zh) 目标车辆异常的检测方法及装置、存储介质、电子装置
CN113486907A (zh) 一种无人驾驶设备避障方法、装置及无人驾驶设备
CN113743212A (zh) 扶梯出入口拥堵或有遗留物的检测方法、装置及存储介质
CN111723601A (zh) 一种图像处理的方法及装置
CN113496563B (zh) 一种智慧闸口的管理方法、装置及设备
CN116152790B (zh) 一种安全带检测方法及装置
JP7154071B2 (ja) 運転状態監視支援システム、運転状態監視支援方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant