CN114821551A - 遗留物检测以及模型训练方法、装置和存储介质 - Google Patents

Abstract

本申请涉及一种遗留物检测方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取待检测图像，提取待检测图像中的目标物体区域图像，得到待检测区域图像；基于待检测区域图像进行目标物体区域处理，得到待检测目标图像；将待检测目标图像输入遗留物检测模型中进行目标物体区域中遗留物的检测，得到待检测图像对应的遗留物检测结果；当遗留物检测结果为存在遗留物时，将待检测目标图像输入到遗留物识别模型中进行遗留物种类识别，得到待检测图像对应的遗留物种类信息。采用本方法能够提供遗留物检测准确度。

Description

遗留物检测以及模型训练方法、装置和存储介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种遗留物检测以及模型训练方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着人工智能的发展，通过人工检测人们在各个场合是否有遗留物的方式已逐渐被人工智能取代，通过人工智能能实现自动检测是否存在遗留物。比如，在自动驾驶的场合中，当乘客下车后能自动检测乘客是否有遗留物，比如手机、衣物、水杯等。现有的遗留物检测方式是对采集的乘客上车前和上车后的图像进行相减，去除相同区域，通过将剩下区域进行对比来判断是否存在遗留物。然而，现有的遗留物检测方式中去除相同区域后剩下的区域可能会出现干扰物，易将干扰物识别为遗留物，从而导致误判的情况，造成遗留物检测准确度低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能提高遗留物检测准确度的遗留物检测以及模型训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种遗留物检测方法。所述方法包括：

获取待检测图像，提取待检测图像中的目标物体区域图像，得到待检测区域图像；

基于待检测区域图像进行目标物体区域处理，得到待检测目标图像；

将待检测目标图像输入遗留物检测模型中进行目标物体区域中遗留物的检测，得到待检测图像对应的遗留物检测结果；

当遗留物检测结果为存在遗留物时，将待检测目标图像输入到遗留物识别模型中进行遗留物种类识别，得到待检测图像对应的遗留物种类信息。

第二方面，本申请提供了一种遗留物检测模型训练方法。所述方法包括：

获取无遗留物图像集和有遗留物图像集；

基于无遗留物图像集和有遗留物图像集进行图像划分，得到训练图像集和测试图像集；

将训练图像集输入到初始遗留物检测模型进行分类训练，得到训练结果，基于训练结果进行损失计算，得到训练损失信息；

基于训练损失信息更新初始遗留物检测模型，得到更新遗留物检测模型；

将更新遗留物检测模型作为初始遗留物检测模型，并返回将训练图像集输入到初始遗留物检测模型进行分类训练，得到训练结果，的步骤执行，直到达到训练完成条件时，得到待测试遗留物检测模型；

基于测试图像集对待测试遗留物检测模型进行测试，得到测试结果，当测试结果满足预设测试条件时，得到遗留物检测模型。

第三方面，本申请还提供了一种遗留物检测装置。所述装置包括：

提取模块，用于获取待检测图像，提取待检测图像中的目标物体区域图像，得到待检测区域图像；

处理模块，用于基于待检测区域图像进行目标物体区域处理，得到待检测目标图像；

检测模块，用于将待检测目标图像输入遗留物检测模型中进行目标物体区域中遗留物的检测，得到待检测图像对应的遗留物检测结果；

识别模块，用于当遗留物检测结果为存在遗留物时，将待检测目标图像输入到遗留物识别模型中进行遗留物种类识别，得到待检测图像对应的遗留物种类信息。

第四方面，本申请还提供了一种遗留物检测模型训练装置。所述装置包括：

获取模块，用于获取无遗留物图像集和有遗留物图像集；

划分模块，用于基于无遗留物图像集和有遗留物图像集进行图像划分，得到训练图像集和测试图像集；

训练损失模块，用于将训练图像集输入到初始遗留物检测模型进行分类训练，得到训练结果，基于训练结果进行损失计算，得到训练损失信息；

更新模块，用于基于训练损失信息更新初始遗留物检测模型，得到更新遗留物检测模型；

训练模块，用于将更新遗留物检测模型作为初始遗留物检测模型，并返回将训练图像集输入到初始遗留物检测模型进行分类训练，得到训练结果，的步骤执行，直到达到训练完成条件时，得到待测试遗留物检测模型；

测试模块，用于基于测试图像集对待测试遗留物检测模型进行测试，得到测试结果，当测试结果满足预设测试条件时，得到遗留物检测模型。

第五方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待检测图像，提取待检测图像中的目标物体区域图像，得到待检测区域图像；

基于待检测区域图像进行目标物体区域处理，得到待检测目标图像；

将待检测目标图像输入遗留物检测模型中进行目标物体区域中遗留物的检测，得到待检测图像对应的遗留物检测结果；

当遗留物检测结果为存在遗留物时，将待检测目标图像输入到遗留物识别模型中进行遗留物种类识别，得到待检测图像对应的遗留物种类信息。

第六方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取无遗留物图像集和有遗留物图像集；

基于无遗留物图像集和有遗留物图像集进行图像划分，得到训练图像集和测试图像集；

将训练图像集输入到初始遗留物检测模型进行分类训练，得到训练结果，基于训练结果进行损失计算，得到训练损失信息；

基于训练损失信息更新初始遗留物检测模型，得到更新遗留物检测模型；

将更新遗留物检测模型作为初始遗留物检测模型，并返回将训练图像集输入到初始遗留物检测模型进行分类训练，得到训练结果，的步骤执行，直到达到训练完成条件时，得到待测试遗留物检测模型；

基于测试图像集对待测试遗留物检测模型进行测试，得到测试结果，当测试结果满足预设测试条件时，得到遗留物检测模型。

第七方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待检测图像，提取待检测图像中的目标物体区域图像，得到待检测区域图像；

基于待检测区域图像进行目标物体区域处理，得到待检测目标图像；

将待检测目标图像输入遗留物检测模型中进行目标物体区域中遗留物的检测，得到待检测图像对应的遗留物检测结果；

当遗留物检测结果为存在遗留物时，将待检测目标图像输入到遗留物识别模型中进行遗留物种类识别，得到待检测图像对应的遗留物种类信息。

第八方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取无遗留物图像集和有遗留物图像集；

基于无遗留物图像集和有遗留物图像集进行图像划分，得到训练图像集和测试图像集；

将训练图像集输入到初始遗留物检测模型进行分类训练，得到训练结果，基于训练结果进行损失计算，得到训练损失信息；

基于训练损失信息更新初始遗留物检测模型，得到更新遗留物检测模型；

将更新遗留物检测模型作为初始遗留物检测模型，并返回将训练图像集输入到初始遗留物检测模型进行分类训练，得到训练结果，的步骤执行，直到达到训练完成条件时，得到待测试遗留物检测模型；

基于测试图像集对待测试遗留物检测模型进行测试，得到测试结果，当测试结果满足预设测试条件时，得到遗留物检测模型。

第九方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取待检测图像，提取待检测图像中的目标物体区域图像，得到待检测区域图像；

基于待检测区域图像进行目标物体区域处理，得到待检测目标图像；

将待检测目标图像输入遗留物检测模型中进行目标物体区域中遗留物的检测，得到待检测图像对应的遗留物检测结果；

当遗留物检测结果为存在遗留物时，将待检测目标图像输入到遗留物识别模型中进行遗留物种类识别，得到待检测图像对应的遗留物种类信息。

第十方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取无遗留物图像集和有遗留物图像集；

基于无遗留物图像集和有遗留物图像集进行图像划分，得到训练图像集和测试图像集；

将训练图像集输入到初始遗留物检测模型进行分类训练，得到训练结果，基于训练结果进行损失计算，得到训练损失信息；

基于训练损失信息更新初始遗留物检测模型，得到更新遗留物检测模型；

将更新遗留物检测模型作为初始遗留物检测模型，并返回将训练图像集输入到初始遗留物检测模型进行分类训练，得到训练结果，的步骤执行，直到达到训练完成条件时，得到待测试遗留物检测模型；

基于测试图像集对待测试遗留物检测模型进行测试，得到测试结果，当测试结果满足预设测试条件时，得到遗留物检测模型。

上述遗留物检测方法、装置、计算机设备、存储介质和计算机程序产品，通过提取待检测图像中的目标物体区域图像，得到待检测区域图像，然后将待检测区域图像进行目标物体区域处理，得到待检测目标图像，使待检测目标图像中目标物体区域更清晰。并且将待检测目标图像输入遗留物检测模型中进行目标物体区域中遗留物的检测，得到的待检测图像对应的遗留物检测结果更准确，进一步地，通过将待检测目标图像输入到遗留物识别模型中进行遗留物种类识别，得到的待检测图像对应的遗留物种类信息也更准确，从而提高了遗留物检测的准确度。

附图说明

图1为一个实施例中遗留物检测以及模型训练方法的应用环境图；

图2为一个实施例中遗留物检测方法的流程示意图；

图3为一个实施例中遗留物检测模型运算的流程示意图；

图4为一个实施例中遗留物检测模型训练方法的流程示意图；

图5为一个实施例中图像划分的流程示意图；

图6为一个实施例中训练遗留物检测模型的流程示意图；

图7为一个实施例中遗留物检测模型进行分类的流程示意图；

图8为一个实施例中遗留物检测装置的结构框图；

图9为一个实施例中遗留物检测装置的结构框图；

图10为一个实施例中计算机设备的内部结构图；

图11为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的遗留物检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102获取待检测图像，提取待检测图像中的目标物体区域图像，得到待检测区域图像；终端102基于待检测区域图像进行目标物体区域处理，得到待检测目标图像；终端102可以通过服务器104获取遗留物检测模型，然后将待检测目标图像输入遗留物检测模型中进行目标物体区域中遗留物的检测，得到待检测图像对应的遗留物检测结果；当遗留物检测结果为存在遗留物时，终端102将待检测目标图像输入到遗留物识别模型中进行遗留物种类识别，得到待检测图像对应的遗留物种类信息。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种遗留物检测方法，以该方法应用于图1中的终端为例进行说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，包括以下步骤：

步骤202，获取待检测图像，提取待检测图像中的目标物体区域图像，得到待检测区域图像。

其中，待检测图像是指用于检测是否存在遗留物的图像。目标物体区域是指待检测图像中的目标物体所在的区域，后续统一表述为目标物体区域。待检测区域图像是指目标物体区域的图像，该目标物体是预先设置好的物体，该目标物体可能会与遗留物接触。具体地，终端可以在检测到乘客离开目标物体所在的区域后，对该区域进行图像采集，得到待检测图像。终端也可以从服务器获取到待检测图像，终端也可以从本地存储空间中获取到待检测图像。此时，终端对待检测图像中的目标物体区域进行提取，得到待检测区域图像。

步骤204，基于待检测区域图像进行目标物体区域处理，得到待检测目标图像。

其中，目标物体区域处理是指对待检测图像中目标物体区域的位置和清晰度进行调整的过程。

具体地，终端检测到待检测图像中目标物体区域的位置和清晰度不满足预先设置好的遗留物检测条件时，对待检测图像进行目标物体区域处理，得到待检测目标图像。

步骤206，将待检测目标图像输入遗留物检测模型中进行目标物体区域中遗留物的检测，得到待检测图像对应的遗留物检测结果。

其中，遗留物检测模型是指用于检测目标物体区域中是否存在遗留物的人工智能模型，可以是通过训练图像集使用神经网络训练得到的人工智能模型。

具体地，终端在得到待检测目标图像后，可以从模型存储空间中加载遗留物检测模型。该模型存储空间中可以预先部署有训练好的遗留物检测模型。终端也可以从服务器中的模型存储空间中获取遗留物检测模型。然后终端将待检测目标图像输入到训练好的遗留物检测模型中进行目标物体区域中遗留物的检测，得到待检测图像对应的遗留物检测结果，遗留物检测结果包括目标物体区域中存在遗留物和目标物体区域中未存在遗留物。然后终端可以将遗留物检测结果输出至控制终端进行遗留物提醒。

步骤208，当遗留物检测结果为存在遗留物时，将待检测目标图像输入到遗留物识别模型中进行遗留物种类识别，得到待检测图像对应的遗留物种类信息。

其中，遗留物识别模型是指已经训练好的用于识别遗留物种类的模型。遗留物种类信息是指遗留物所属的种类的信息。

具体地，终端在检测到遗留物检测结果为存在遗留物时，从模型存储空间中加载遗留物识别模型，并将待检测目标图像输入到遗留物识别模型中，通过遗留物识别模型对目标物体区域中的遗留物进行遗留物种类识别，得到待检测图像对应的遗留物种类信息。然后终端可以将遗留物种类信息输出至控制终端进行后续处理。

上述遗留物检测方法中，通过提取待检测图像中的目标物体区域图像，得到待检测区域图像，然后将待检测区域图像进行目标物体区域处理，得到待检测目标图像，使待检测目标图像中目标物体区域更清晰。并且将待检测目标图像输入遗留物检测模型中进行目标物体区域中遗留物的检测，得到的待检测图像对应的遗留物检测结果更准确，进一步地，通过将待检测目标图像输入到遗留物识别模型中进行遗留物种类识别，得到的待检测图像对应的遗留物种类信息也更准确，从而提高了遗留物检测的准确度。

在一个实施例中，步骤202，提取待检测图像中的目标物体区域图像，得到待检测区域图像，包括：

基于预设标定坐标在待检测图像中确定目标物体区域，基于目标物体区域提取目标物体区域图像，得到待检测区域图像。

其中，预设标定坐标是指预先设置好的用于确定待检测图像中目标物体区域的坐标。

具体地，终端获取预设标定坐标，根据预设标定坐标确定待检测图像中的目标物体区域，并对待检测图像中的目标物体区域进行裁剪，得到裁剪后的仅保留目标物体区域的待检测区域图像。在一个具体实施例中，根据采集区域的变化情况，预先对待检测图像进行感兴趣区域划分，感兴趣区域包括目标物体区域，非感兴趣区域包括干扰物体区域。比如，对车辆座舱所在的区域进行图像采集，图像中车辆座舱所在的区域包括车窗区域，由于车窗区域的内容会根据车辆的位置发送变化，因此，可以摒弃车窗区域，将座舱区域中座椅所在的区域划分为感兴趣区域，将座椅区域作为目标物体区域，车窗区域作为干扰物体区域。并对采集的图像中的座椅区域的坐标进行标记，得到预设标定坐标，并将预设标定坐标进行保存。以使终端在后续的目标物体区域提取过程中根据预设标定坐标对待检测图像中的目标物体区域进行裁剪。

本实施例中，通过预设标定坐标能在待检测图像中快速确定目标物体区域，并提取目标物体区域图像，能够去除待检测图像中的干扰物体，从而提高了待检测图像中目标物体区域的准确度，进一步的，提高了目标物体区域中遗留物检测的准确度。

在一个实施例中，步骤204，基于待检测区域图像进行目标物体区域处理，得到待检测目标图像，包括：

将待检测区域图像进行增亮，得到待检测增亮图像；

将待检测增亮图进行目标物体视角对齐，得到待检测目标图像。

其中，增亮是指增强待检测区域图像的对比度的过程。关键点是指目标物体对应的关键特征点。目标物体视角对齐是指调整待检测区域图像中目标物体倾斜程度的过程，使调整后的目标物体在待检测区域图像中的位置是在预先设置好的对齐位置。待检测目标图像是指将目标物体在图像中的位置进行矫正后得到的图像。视角对齐是指使目标物体处于待检测图像中预先设置好的对齐位置。

具体地，终端可以使用直方图均衡化的方式对待检测区域图像的对比度进行调整，通过将检测区域图像的直方图分布转换成近似均匀分布，得到近似均匀分布的待检测增亮图像。待检测增亮图像相比于待检测区域图像的亮度增加，清晰度也增加。然后终端可以通过摄像设备直接对目标物体的图像采集视角的倾斜程度进行检测，当检测到对目标物体的图像采集视角的倾斜程度大于预先设置好的倾斜程度阈值时，终端根据目标物体的图像采集视角的倾斜程度调整待检测区域图像中目标物体的倾斜程度，即根据目标物体在待检测区域图像中的位置进行目标物体视角对齐，得到待检测目标图像。

在一个实施例中，将待检测增亮图像进行目标物体视角对齐，得到待检测目标图像，包括：

对待检测增亮图像中目标物体对应的关键点进行提取，基于关键点进行目标物体视角对齐，得到待检测目标图像。

其中，目标物体视角对齐是指对待检测增亮图像中目标物体的倾斜程度进行矫正的过程。

具体地，然后终端可以在待检测增亮图像的目标物体区域中提取出关键点，该关键点可以是预先设定的目标物体对应的表征目标物体特征的关键点。然后终端获取目标物体对应的关键点在待检测增亮图像的坐标位置，然后可以通过仿射变换的方式将目标物体对应的关键点映射到待检测增亮图像中的目标坐标位置，目标坐标位置是指目标物体对应的关键点从倾斜位置应该移动到的矫正位置，得到矫正后的以目标物体为主体区域的待检测目标图像。

本实施例中，通过对待检测区域图像进行增量和目标物体视角对齐处理，使得到的待检测目标图像中的目标物体区域更准确，并且目标物体区域中的目标物体更清楚，使用待检测目标图像进行遗留物检测，从而提高了目标物体区域中遗留物检测的准确度。

在一个实施例中，如图3所示，提供一种遗留物检测模型运算的流程示意图；步骤206，遗留物检测模型包括卷积层、激活层、池化层和全连接层；卷积层包括深度卷积和逐点卷积；将待检测目标图像输入遗留物检测模型中进行目标物体区域中遗留物的检测，得到待检测图像对应的遗留物检测结果，包括：

步骤302，将待检测目标图像输入卷积层进行深度卷积运算，得到深度卷积结果，将深度卷积结果进行逐点卷积运算，得到卷积结果。

步骤304，将卷积结果输入激活层进行激活运算，得到激活结果。

步骤306，将激活结果输入池化层进行池化运算，得到池化结果。

步骤308，将池化结果输入全连接层进行全连接运算，得到检测结果。

其中，卷积层、激活层、池化层和全连接层是指遗留物检测模型对应的网络结构中先后连接的层级结构，具有运算功能。

具体地，遗留物检测模型对应的网络结构可以是轻量级的深层神经网络，深度卷积和逐点卷积是轻量级的深层神经网络中深度级可分离卷积的基本单元。终端将待检测目标图像输入遗留物检测模型中的卷积层先进行深度卷积运算，得到深度卷积结果，然后将深度卷积结果进行逐点卷积运算，遗留物检测模型通过卷积层的运算提取待检测目标图像中的不同特征，得到卷积结果。遗留物检测模型将卷积结果输入到激活层进行激活运算，得到激活结果。遗留物检测模型通过激活运算增加遗留物检测模型的非线性，提高遗留物检测模型的分类能力。激活层包括激活函数，激活函数可以是relu激活函数(修正线性单元)。遗留物检测模型将激活结果输入到池化层进行池化运算，通过池化运算将分辨率较高的图片转化为分辨率较低的图片，从而提高计算速度，得到池化结果。然后遗留物检测模型将池化结构输入到全连接层进行全连接运算，通过全连接运算提取池化结果中信息含量更高的特征来进行分类任务，输出待检测目标图像中目标物体区域属于不同类别的概率分布情况，包括待检测目标图像中目标物体区域属于有遗留物的种类的概率和属于无遗留物的种类的概率。终端根据输出的概率分布情况中概率最高的种类确定待检测目标图像对应的检测结果。

本实施例中，通过使用训练好的遗留物检测模型能对待检测目标图像有无遗留物进行准确的分类，终端根据分类结果判断待检测目标图像中的目标物体区域是否有遗留物，从而提高了遗留物检测的准确度。

在一个实施例中，步骤208，在得到待检测图像对应的遗留物种类信息之后，还包括：

基于遗留物检测结果和遗留物种类信息生成对应的警告信息，并将警告信息发送至管理终端，使管理终端根据警告信息进行相应的处理。

其中，警告信息是指用于表示待检测图像对应的图像采集区域存在遗留物的提示信息。

具体地，终端检测到遗留物检测结果为存在遗留物时，获取到该遗留物对应的遗留物种类信息，并根据遗留物种类信息和遗留物检测结果生成对应的警告信息。终端可以根据遗留物的重要性对遗留物种类信息进行重要性等级标记，然后终端根据遗留物种类信息对应的重要性等级生成相同等级的警告信息，并将警告信息发送至控制终端，使控制终端根据警告信息进行相应的处理。比如，终端检测到遗留物检测结果为存在遗留物时，终端判断车辆座舱的座椅区域存在乘客未带走的遗留物，终端生成警告信息并发送至控制终端进行相应的处理，相应的处理可以包括：控制终端接收到警告信息时自动报警、控制终端接收到警告信息时将待检测图像上传服务器进行人工复检、控制终端接收到警告信息时将待检测图像发送至乘客的移动终端进行确认等。

本实施例中，终端通过根据遗留物检测结果和遗留物种类信息生成对应的警告信息，并将警告信息发送至管理终端，使管理终端能够及时根据警告信息进行相应的处理，比如提醒乘客有物品遗留，从而提高了用户体验。

在一个实施例中，如图4所示，提供了一种遗留物检测模型训练方法的流程示意图，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，包括以下步骤：

步骤402，获取无遗留物图像集和有遗留物图像集。

其中，无遗留物图像集是指对无遗留物存在的区域采集的各个图像的集合。无遗留物图像集包括在不同光照条件下对同一个无遗留物存在的区域采集的各个图像。有遗留物图像集是指对有遗留物存在的图像采集的各个图像的集合。有遗留物图像集包括在不同光照条件下对同一个有遗留物存在的区域采集的各个图像。

具体地，服务器可以从图像存储系统中获取无遗留物图像集和有遗留物图像集。无遗留物图像集和有遗留物图像集可以是预先采集好后存储到图像存储系统中的图像集。

在一个具体实施例中，终端通过安装在车辆上的摄像装置对未存在遗留物的车辆座舱区域进行图像采集，并且是在不同光照条件下采集不同角度的图像，得到无遗留物图像集。终端通过安装在车辆上的摄像装置对存在遗留物的车辆座舱区域进行图像采集，并且是在不同光照条件下采集不同角度的图像，得到有遗留物图像集。遗留物可以是不同种类的遗留物，比如书包、手机、水杯、电脑、衣物等，并且遗留物随机摆放在车辆座舱区域的不同位置。终端可以将得到的无遗留物图像集和有遗留物图像集发送并存储到服务器的图像存储系统中，以便服务器在后续需要使用时可以直接从图像存储系统中获取。

步骤404，基于无遗留物图像集和有遗留物图像集进行图像划分，得到训练图像集和测试图像集。

具体地，服务器对无遗留物图像集和有遗留物图像集中的各个图像分别进行类别标记，得到各个图像对应的图像类别标签。然后服务器将类别标记后的无遗留物图像集和有遗留物图像集进行划分，得到训练图像集和测试图像集。

步骤406，将训练图像集输入到初始遗留物检测模型进行分类训练，得到训练结果，基于训练结果进行损失计算，得到训练损失信息。

其中，初始遗留物检测模型是指模型参数初始化的遗留物检测模型。训练损失信息用于表征模型的训练结果与对应的图像类别标签之间的误差，误差越小，说明模型预测的准确性越高。

具体地，服务器将训练图像集输入到初始遗留物检测模型中进行分类训练，包括卷积层、激活层、池化层和全连接层对应的参数训练，初始遗留物检测模型基于卷积层、激活层、池化层和全连接层对应的参数训练结果对训练图像集中的各个训练图像进行分类，得到训练图像集对应的训练结果，包括训练图像集中各个训练图像对应的类别；然后初始遗留物检测模型根据训练结果中的各个训练图像对应的类别和图像类别标签进行损失计算，得到训练损失信息。可以采用使用loss function(损失函数)计算初始遗留物检测模型的损失，

步骤408，基于训练损失信息更新初始遗留物检测模型，得到更新遗留物检测模型。

其中，更新遗留物检测模型是指对初始遗留物检测模型中的初始化参数进行更新后的遗留物检测模型。

具体地，服务器在得到训练损失信息后，基于训练损失信息使用优化器对初始遗留物检测模型中的初始化参数进行更新，得到参数更新后的更新遗留物检测模型。

步骤410，将更新遗留物检测模型作为初始遗留物检测模型，并返回将训练图像集输入到初始遗留物检测模型进行分类训练，得到训练结果，的步骤执行，直到达到训练完成条件时，得到待测试遗留物检测模型。

其中，待测试遗留物检测模型是指使用训练图像集训练好的模型。待测试遗留物检测模型还需要使用测试图像集进行测试。

具体地，服务器将训练图像集输入到更新遗留物检测模型再次进行分类训练和损失计算，根据得到的训练结果、训练损失信息和图像类别标签使用优化器再次进行参数更新，然后服务器使用训练图像集对更新遗留物检测模型进行多次迭代，直至得到的训练损失信息达到预设阈值时，参数更新结束，得到待测试遗留物检测模型。

步骤412，基于测试图像集对待测试遗留物检测模型进行测试，得到测试结果，当测试结果满足预设测试条件时，得到遗留物检测模型。

具体地，服务器将测试图像集输入待测试遗留物检测模型进行测试，测试完成后待测试遗留物检测模型输出测试图像集对应的测试结果，包括测试图像集中各个测试图像对应的类别。服务器将各个测试图像对应的类别与已知类别进行比较。在比较结果中，测试结果中的各个测试图像对应的类别与各个测试图像对应的已知类别相同的比例达到预设阈值时，表示测试结果满足预设测试条件，得到可使用的遗留物检测模型。

在一个具体实施例中，服务器可以通过终端采集座舱区域对应的有遗留物图像集和无遗留物图像集进行遗留物模型的训练，服务器也可以通过终端采集车门、车窗和座舱地面等区域对应的有遗留物图像集和无遗留物图像集进行遗留物模型的训练。

本实施例中，通过不同光照条件和不同角度下采集无遗留物图像集和有各种遗留物的图像集，并使用无遗留物图像集和有遗留物图像集对初始遗留物检测模型进行训练，使得训练好的遗留物检测模型受环境光线、遗留物种类和相机震动的影响较小，从而提高了遗留物检测的准确度。

在一个实施例中，如图5所示，提供一种图像划分的流程示意图；步骤404，基于无遗留物图像集和所述有遗留物图像集进行图像划分，得到训练图像集和测试图像集，包括：

步骤502，将无遗留物图像集和有遗留物图像集中各个图像分别进行增亮和目标物体视角对齐，得到无遗留物图像集对应的无遗留物目标图像集和有遗留物图像集对应的有遗留物目标图像集。

步骤504，基于无遗留物目标图像集和有遗留物目标图像集分别生成对应的类别标签，得到有遗留物标签集和无遗留物标签集。

步骤506，基于有遗留物标签集、无遗留物标签集、无遗留物目标图像集和有遗留物目标图像集进行划分，得到训练图像集和测试图像集。

其中，无遗留物目标图集和有遗留物目标图像集是指无遗留物图像集和有遗留物图像集分别进行增亮处理和目标物体视角对齐处理后的图像集。类别标签是指标识图像对应的类别的标签。有遗留物标签集和无遗留物标签集是指无遗留物目标图集和有遗留物目标图像集中各个图像对应的类别标签。

具体地，服务器将无遗留物图像集和有遗留物图像集中各个图像分别进行对比度增强，得到亮度增加后的无遗留物图像集和有遗留物图像集，然后将亮度增加后的无遗留物图像集和有遗留物图像集中的各个图像进行目标物体视角对齐，得到视角对齐的无遗留物目标图像集和有遗留物目标图像集。服务器根据无遗留物目标图像集和有遗留物目标图像集中各个图像的类别生成对应的类别标签，根据各个图像对应的类别标签得到有遗留物标签集和无遗留物标签集。然后服务器将有遗留物标签集与有遗留物目标图像集、无遗留物标签集与无遗留物目标图像集分别进行关联，即将各个图像对应的类别标签与各个图像进行关联。然后服务器将有遗留物目标图像集中的各个图像与无遗留物目标图像集中的各个图像进行混合，得到混合后的图像集。服务器将混合后的图像集按照预设的划分比例进行划分，将划分后的图像集分别作为训练图像集和测试图像集。

本实施例中对无遗留物图像集和有遗留物图像集中各个图像分别进行增亮和目标物体视角对齐，得到的无遗留物目标图像集和有遗留物目标图像集中各个图像的内容更清楚准确，根据无遗留物图像集和有遗留物图像集划分后的训练图像集和测试图像集中各个图像的内容也更准确，使得使用训练图像集和测试图像集训练后得到的遗留物检测模型的检测结果更准确。

在一个具体实施例中，如图6所示，提供一种训练遗留物检测模型的流程示意图；在座舱内安装红外相机或深度相机，终端通过红外相机或深度相机在不同光照条件下对无遗留物的座舱区域进行不同角度的图像采集，得到无遗留物图像集。然后在不同光照条件下对随机摆放不同遗留物的座舱区域进行不同角度的图像采集，得到有遗留物图像集。然后终端将无遗留物图像集和有遗留物图像集发送至服务器进行处理，服务器对无遗留物图像集和有遗留物图像集中的各个图像进行预处理，包括感兴趣区域划分、直方图均衡化、目标物体视角对齐，得到预处理后的无遗留物目标图像集和有遗留物目标图像集。然后服务器对无遗留物目标图像集和有遗留物目标图像集进行类别标记，得到有遗留物标签集和无遗留物标签集。服务器将有遗留物标签集、无遗留物标签集、无遗留物目标图像集和有遗留物目标图像集进行划分，得到训练图像集和测试图像集。服务器将训练图像集和测试图像集输入到初始遗留物检测模型中进行分类训练，得到训练好的遗留物检测模型。训练好的遗留物检测模型能对图像进行有遗留物品类别和无遗留物品类别的分类。然后服务器可以使用存在遗留物品类别的图像作为识别模型的训练样本，对初始遗留物识别模型进行训练，当训练完成时，得到遗留物识别模型。终端可以使用训练好的遗留物识别模型进行遗留物种类识别。

在一个具体实施例中，如图7所示，提供一种遗留物检测模型进行分类的流程示意图；车载终端检测到乘客下车后，通过红外相机或深度相机采集座舱的待检测图像，然后对待检测图像进行感兴趣区域划分、直方图均衡化和目标物体视角对齐等预处理，得到待检测目标图像。然后车载终端加载遗留物检测模型，将待检测目标图像输入到遗留物检测模型中进行分类，判断待检测目标图像属于有遗留物品类别还是无遗留物品类别。车载终端通过遗留物检测模型得到待检测目标图像对应的分类结果。车载终端根据分类结果检测到待检测目标图像属于有遗留物品类别时，使用遗留物识别模型对待检测目标图像中的遗留物进行遗留物种类识别，得到待检测图像对应的遗留物种类信息，同时生成对应的警告信息并将警告信息发送至管理终端进行相应的处理。车载终端检测到待检测目标图像属于无遗留物品类别时，不做后续处理，车载终端也可以将待检测目标图像进行保存，以便后续可以通过待检测目标图像进行回溯处理。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的遗留物检测以及模型训练方法的遗留物检测以及模型训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个遗留物检测以及模型训练装置实施例中的具体限定可以参见上文中对于遗留物检测以及模型训练方法的限定，在此不再赘述。

在一个实施例中，如图8所示，提供了一种遗留物检测装置800，包括：提取模块802、处理模块804、检测模块806和识别模块808，其中：

提取模块802，用于获取待检测图像，提取待检测图像中的目标物体区域图形，得到待检测区域图像；

处理模块804，用于基于待检测区域图像进行目标物体区域处理，得到待检测目标图像；

检测模块806，用于将待检测目标图像输入遗留物检测模型中进行目标物体区域中遗留物的检测，得到待检测图像对应的遗留物检测结果；

识别模块808，用于当遗留物检测结果为存在遗留物时，将待检测目标图像输入到遗留物识别模型中进行遗留物种类识别，得到待检测图像对应的遗留物种类信息。

在一个实施例中，提取模块802，包括：

检测区域单元，用于基于预设标定坐标在待检测图像中确定目标物体区域，基于目标物体区域提取目标物体区域图像，得到待检测区域图像。

在一个实施例中，处理模块804，包括：

对齐单元，用于将待检测区域图像进行增亮，得到待检测增亮图像；

对待检测增亮图像中目标物体对应的关键点进行提取，基于关键点进行目标物体视角对齐，得到待检测目标图像。

在一个实施例中，检测模块806，包括：

运算单元，用于将待检测目标图像输入卷积层进行深度卷积运算，得到深度卷积结果，将深度卷积结果进行逐点卷积运算，得到卷积结果；将卷积结果输入激活层进行激活运算，得到激活结果；将激活结果输入池化层进行池化运算，得到池化结果；将池化结果输入全连接层进行全连接运算，得到检测结果。

在一个实施例中，遗留物检测装置800，还包括：

发送单元，用于基于遗留物检测结果和遗留物种类信息生成对应的警告信息，并将警告信息发送至管理终端，使管理终端根据警告信息进行相应的处理。

在一个实施例中，如图9所示，提供了一种遗留物检测模型训练装置900，包括：获取模块902、划分模块904、训练损失模块906、更新模块908、训练模块910和测试模块912，其中：

获取模块902，用于获取无遗留物图像集和有遗留物图像集；

划分模块904，用于基于无遗留物图像集和有遗留物图像集进行图像划分，得到训练图像集和测试图像集；

训练损失模块906，用于将训练图像集输入到初始遗留物检测模型进行分类训练，得到训练结果，基于训练结果进行损失计算，得到训练损失信息；

更新模块908，用于基于训练损失信息更新初始遗留物检测模型，得到更新遗留物检测模型；

训练模块910，用于将更新遗留物检测模型作为初始遗留物检测模型，并返回将训练图像集输入到初始遗留物检测模型进行分类训练，得到训练结果，的步骤执行，直到达到训练完成条件时，得到待测试遗留物检测模型；

测试模块912，用于基于测试图像集对待测试遗留物检测模型进行测试，得到测试结果，当测试结果满足预设测试条件时，得到遗留物检测模型。

在一个实施例中，划分模块902，包括：

类别标记单元，用于将无遗留物图像集和有遗留物图像集中各个图像分别进行增亮和目标物体视角对齐，得到无遗留物图像集对应的无遗留物目标图像集和有遗留物图像集对应的有遗留物目标图像集；

基于无遗留物目标图像集和有遗留物目标图像集分别生成对应的类别标签，得到有遗留物标签集和无遗留物标签集；

基于有遗留物标签集、无遗留物标签集、无遗留物目标图像集和有遗留物目标图像集进行划分，得到训练图像集和测试图像集。

上述遗留物检测装置和遗留物检测模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储有遗留物图像集和无遗留物图像集。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种遗留物检测以及模型训练方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种遗留物检测以及模型训练方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图10-11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (11)

1.一种遗留物检测方法，其特征在于，所述方法包括：

获取待检测图像，提取所述待检测图像中的目标物体区域图像，得到待检测区域图像；

基于所述待检测区域图像进行目标物体区域处理，得到待检测目标图像；

将所述待检测目标图像输入所述遗留物检测模型中进行遗留物的检测，得到所述待检测图像对应的遗留物检测结果；

当所述遗留物检测结果为存在遗留物时，将所述待检测目标图像输入到遗留物识别模型中进行遗留物种类识别，得到所述待检测图像对应的遗留物种类信息。

2.根据权利要求1所述的方法，其特征在于，所述提取所述待检测图像中的目标物体区域图像，得到待检测区域图像，包括：

基于预设标定坐标在所述待检测图像中确定目标物体区域，基于所述目标物体区域提取所述目标物体区域图像，得到所述待检测区域图像。

3.根据权利要求1所述的方法，其特征在于，所述基于所述待检测区域图像进行目标物体区域处理，得到待检测目标图像，包括：

将所述待检测区域图像进行增亮，得到待检测增亮图像；

将所述待检测增亮图进行目标物体视角对齐，得到待检测目标图像。

4.根据权利要求3所述的方法，其特征在于，所述将所述待检测增亮图像进行目标物体视角对齐，得到待检测目标图像，包括：

对所述待检测增亮图像中目标物体对应的关键点进行提取，基于所述关键点进行目标物体视角对齐，得到所述待检测目标图像。

5.根据权利要求1所述的方法，其特征在于，所述遗留物检测模型包括卷积层、激活层、池化层和全连接层；所述卷积层包括深度卷积和逐点卷积；所述将所述待检测目标图像输入所述遗留物检测模型中进行目标物体区域中遗留物的检测，得到所述待检测图像对应的遗留物检测结果，包括：

将所述待检测目标图像输入所述卷积层进行深度卷积运算，得到深度卷积结果，将所述深度卷积结果进行逐点卷积运算，得到卷积结果；

将所述卷积结果输入所述激活层进行激活运算，得到激活结果；

将所述激活结果输入池化层进行池化运算，得到池化结果；

将所述池化结果输入全连接层进行全连接运算，得到所述检测结果。

6.根据权利要求1所述的方法，其特征在于，在所述得到所述待检测图像对应的遗留物种类信息之后，还包括：

基于所述遗留物检测结果和所述遗留物种类信息生成对应的警告信息，并将所述警告信息发送至管理终端，使所述管理终端根据所述警告信息进行相应的处理。

7.一种遗留物检测模型训练方法，其特征在于，所述方法包括以下步骤：

获取无遗留物图像集和有遗留物图像集；

基于所述无遗留物图像集和所述有遗留物图像集进行图像划分，得到训练图像集和测试图像集；

将所述训练图像集输入到初始遗留物检测模型进行分类训练，得到训练结果，基于所述训练结果进行损失计算，得到训练损失信息；

基于所述训练损失信息更新所述初始遗留物检测模型，得到更新遗留物检测模型；

将所述更新遗留物检测模型作为所述初始遗留物检测模型，并返回将所述训练图像集输入到初始遗留物检测模型进行分类训练，得到训练结果，的步骤执行，直到达到训练完成条件时，得到待测试遗留物检测模型；

基于所述测试图像集对所述待测试遗留物检测模型进行测试，得到测试结果，当所述测试结果满足预设测试条件时，得到所述遗留物检测模型。

8.根据权利要求7所述的方法，其特征在于，所述基于所述无遗留物图像集和所述有遗留物图像集进行图像划分，得到训练图像集和测试图像集，包括：

将所述无遗留物图像集和所述有遗留物图像集中各个图像分别进行增亮和目标物体视角对齐，得到所述无遗留物图像集对应的无遗留物目标图像集和所述有遗留物图像集对应的有遗留物目标图像集；

基于所述无遗留物目标图像集和所述有遗留物目标图像集分别生成对应的类别标签，得到有遗留物标签集和无遗留物标签集；

基于所述有遗留物标签集、所述无遗留物标签集、所述无遗留物目标图像集和所述有遗留物目标图像集进行划分，得到训练图像集和测试图像集。

9.一种遗留物检测装置，其特征在于，所述装置包括：

提取模块，用于获取待检测图像，对所述待检测图像进行目标物体区域提取，得到待检测区域图像；

处理模块，用于基于所述待检测区域图像进行目标物体区域处理，得到待检测目标图像；

检测模块，用于将所述待检测目标图像输入所述遗留物检测模型中进行目标物体区域中遗留物的检测，得到所述待检测图像对应的遗留物检测结果；

识别模块，用于当所述遗留物检测结果为存在遗留物时，将所述待检测目标图像输入到遗留物识别模型中进行遗留物种类识别，得到所述待检测图像对应的遗留物种类信息。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images