CN117496387A - 车辆进出港检测方法、装置、设备和存储介质 - Google Patents

车辆进出港检测方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN117496387A
CN117496387A CN202210872162.9A CN202210872162A CN117496387A CN 117496387 A CN117496387 A CN 117496387A CN 202210872162 A CN202210872162 A CN 202210872162A CN 117496387 A CN117496387 A CN 117496387A
Authority
CN
China
Prior art keywords
vehicle
image
target
depth
target vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210872162.9A
Other languages
English (en)
Inventor
张恒瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN202210872162.9A priority Critical patent/CN117496387A/zh
Priority to PCT/CN2023/120391 priority patent/WO2024017413A2/zh
Publication of CN117496387A publication Critical patent/CN117496387A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种车辆进出港检测方法、装置、设备和存储介质；其中方法包括：根据目标场地关联的位置深度关系数据以及在各运输图像中的位置信息，确定得到目标车辆在各运输图像中的深度信息；根据目标车辆在各运输图像中的深度信息，确定得到目标车辆的深度信息变化趋势，得到目标车辆的进出港检测结果；通过目标场地关联的位置深度关系数据，基于图像中的位置信息，确定目标车辆的深度信息，根据深度值确定目标车辆的到进出港检测结果，降低检测过程中的运算量，提高检测效率；并且根据深度变化趋势确定目标车辆的进出港检测结果，将到进出港检测由定性分析修改为定量计算，提高进出港检测的准确性。

Description

车辆进出港检测方法、装置、设备和存储介质
技术领域
本发明涉及物流技术领域，具体涉及一种车辆进出港检测方法、装置、设备和存储介质。
背景技术
在物流中转场中，有很多用于货车装货或者卸货的卡位，为了提升中转场的运行效率，需要管理人员进行车辆到离港检测。
通常情况下在装卸货卡位都会安装监控摄像头，因此可以基于计算机视觉技术来进行车辆到离港检测。现有的基于计算机视觉技术的车辆到离港检测方案，通过目标识别技术检测监控视频图像中是否存在车厢，通过定性分析来对车辆到离港进行检测，但是由于车辆行驶过程中容易被遮挡，使得采集到的视频图像中检测不到车厢，造成检测结果的不准确。
发明内容
本发明实施例提供一种车辆进出港检测方法、装置、设备和存储介质，以提高现有基于计算机视觉技术的车辆到离港检测方案的准确性。
一方面，本申请实施例提供一种车辆进出港检测方法，所述方法包括：
获取目标场地中目标车辆的多张连续的运输图像以及在各所述运输图像中的位置信息；
根据所述目标场地关联的位置深度关系数据以及在各所述运输图像中的位置信息，确定得到所述目标车辆在各所述运输图像中的深度信息；所述位置深度关系数据包括所述目标场地中每个位置信息以及该位置信息对应的深度信息；
根据所述目标车辆在各所述运输图像中的深度信息，确定得到所述目标车辆的深度信息变化趋势；
根据所述深度信息变化趋势，得到所述目标车辆的进出港检测结果。
在本申请一些实施例中，所述根据所述目标场地关联的位置深度关系数据以及在各所述运输图像中的位置信息，确定得到所述目标车辆在各所述运输图像中的深度信息步骤之前，所述方法包括：
采集所述目标场地对应的目标图像；所述目标图像为所述目标场地中未存在车辆；
通过已训练的深度估计网络对所述目标图像进行深度估计，得到所述目标图像中各像素点对应的深度信息；
获取各所述像素点在所述目标图像中的位置信息，将各所述像素点的位置信息与各所述像素点对应的深度信息关联，得到位置深度关系数据，将所述位置深度关系数据与所述目标场地的场地标识关联。
在本申请一些实施例中，所述通过已训练的深度估计网络对所述目标图像进行深度估计，得到所述目标图像中各像素点对应的深度信息步骤之前，所述方法包括：
在所述目标场地中设置多个测试点，获取各所述测试点到相机之间的真实距离；
采集设置多个测试点之后的目标场地对应的样本图像，将所述样本图像输入预训练的深度估计网络，得到所述样本图像中各所述测试点对应的测试深度值；
若各所述测试点对应的测试深度值与所述真实距离之间的误差小于或等于预设误差阈值，则将所述预训练的深度估计网络设置为已训练的深度估计网络；
若各所述测试点对应的测试深度值与所述真实距离之间的误差大于预设误差阈值，则根据所述测试深度值与所述真实距离的训练损失值调整所述预训练的深度估计网络的参数，直至各所述测试点对应的测试深度值与所述真实距离之间的误差小于或等于所述预设误差阈值，得到已训练的深度估计网络。
在本申请一些实施例中，所述根据所述目标车辆在各所述运输图像中的深度信息，确定得到所述目标车辆的深度信息变化趋势
根据各所述运输图像的时间顺序，对各所述运输图像进行排序，得到排序后的运输图像以及所述目标车辆在排序后的运输图像中的深度信息；
将所述目标车辆在排序后的运输图像中的深度信息与预设距离阈值进行比较，得到所述目标车辆的深度信息变化趋势。
在本申请一些实施例中，所述将所述目标车辆在排序后的运输图像中的深度信息与预设距离阈值进行比较，得到所述目标车辆的深度信息变化趋势包括：
将所述目标车辆在排序后的运输图像中的深度信息与预设距离阈值进行作差，得到差值序列；
根据所述差值序列得到所述目标车辆的深度信息变化趋势。
在本申请一些实施例中，所述根据所述差值序列得到所述目标车辆的深度信息变化趋势之后，所述方法包括：
若所述深度信息变化趋势为递减，且所述差值序列中小于或等于预设差值阈值的时间段大于预设时间，则所述目标车辆的进出港检测结果为进港；
若所述深度信息变化趋势为递增，且所述目标车辆在各所述运输图像中的深度信息中存在大于预设值的目标深度信息，则所述目标车辆的进出港检测结果为出港。
在本申请一些实施例中，所述获取在目标场地中针对目标车辆的多张连续的运输图像以及在各所述运输图像中的位置信息包括：
获取目标场地的视频图像，对所述视频图像中每一帧图像进行车辆检测，提取所述视频图像中包含目标车辆的连续帧图像，将所述视频图像中包含目标车辆的连续帧图像设置为所述目标车辆在所述目标场地中的多张连续的运输图像；
对各所述运输图像进行目标检测，得到各所述运输图像中所述目标车辆的边界框坐标；
根据所述目标车辆的边界框坐标计算所述目标车辆的边界框的中点坐标，将所述目标车辆的边界框的中点坐标设置为所述目标车辆在所述目标场地中的所述多张连续的运输图像的位置信息。
在本申请一些实施例中，所述获取目标场地的视频图像，对所述视频图像中每一帧图像进行车辆检测，提取所述视频图像中包含目标车辆的连续帧图像包括：
获取目标场地的视频图像，对所述视频图像中每一帧图像进行车辆检测得到每一帧图像中目标车辆的检测结果；
以存在所述目标车辆的帧图像为起始帧，提取所述视频图像中包含所述目标车辆的连续帧图像。
另一方面，本申请实施例提供一种车辆进出港检测装置，所述装置包括：
车辆检测模块，用于获取目标场地中目标车辆的多张连续的运输图像以及在各所述运输图像中的位置信息；
深度确定模块，用于据所述目标场地关联的位置深度关系数据以及在各所述运输图像中的位置信息，确定得到所述目标车辆在各所述运输图像中的深度信息；所述位置深度关系数据包括所述目标场地中每个位置信息以及该位置信息对应的深度信息；
深度趋势确定模块，用于根据所述目标车辆在各所述运输图像中的深度信息，确定得到所述目标车辆的深度信息变化趋势；
检测模块，用于根据所述深度信息变化趋势，得到所述目标车辆的进出港检测结果。
另一方面，本申请实施例提供一种车辆进出港检测设备，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行所述的车辆进出港检测方法中的操作。
另一方面，本申请实施例提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行所述的车辆进出港检测方法中的步骤。
本发明实施例获取在目标场地中针对目标车辆的多张连续的运输图像以及在各所述运输图像中的位置信息；根据所述目标场地关联的位置深度关系数据以及在各所述运输图像中的位置信息，确定得到所述目标车辆在各所述运输图像中的深度信息；根据所述目标车辆在各所述运输图像中的深度信息，确定得到所述目标车辆的深度信息变化趋势；根据所述深度信息变化趋势，得到所述目标车辆的进出港检测结果；如此，通过目标车辆在目标场地的深度信息变化趋势确定目标车辆的进出港检测结果，将到进出港检测由通过车厢检测的定性分析修改为通过深度变化趋势的定量计算，提高进出港检测的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的车辆进出港检测方法的一个实施例流程示意图；
图2是本申请实施例提供的车厢检测模型的一个实施例结构示意图；
图3是本申请实施例提供的深度估计网络的一个实施例结构示意图；
图4是本申请实施例提供的深度估计层的一个实施例结构示意图；
图5是本申请实施例提供的车辆进出港检测装置的一个实施例结构示意图供；
图6是本申请实施例提供的车辆进出港检测设备的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如背景技术所述，现有技术基于计算机视觉技术中的目标检测技术，对采集到的监控视频图像进行车厢检测，根据车厢检测结果确定车辆的到离港检测结果，造成检测结果的不准确。
现有技术为了解决仅通过车厢检测确定车辆的到离港检测结果造成的准确性低的问题，从硬件和算法两个方面做了改进；其中在硬件改进上，部署多个摄像头收集大量车辆停靠过程的图片，虽然多个摄像头可以降低由于车辆行驶过程中被遮挡造成的检测结果的误差，但是部署多个摄像头将造成部署成本增加；而算法改进方面，现有基于计算机视觉技术的车辆到离港检测方案收集场景中大量车辆停靠过程的图片，涵盖完全到位，停靠到一半，以及无车的场景，以提高车辆到离港检测的准确性，这使得现有检测方案应用到新的场景时，需要补充大量数据，增加数据收集成本。
基于上述研究，为了提高车辆进出港检测的准确率，同时降低车辆进出港检测应用中的硬件成本，本申请实施例提供一种车辆进出港检测方法，根据目标车辆在各运输图像中的深度信息，确定得到目标车辆的深度信息变化趋势；根据深度信息变化趋势，得到目标车辆的进出港检测结果；如此，通过目标车辆在目标场地的深度信息变化趋势确定目标车辆的进出港检测结果，将到进出港检测由定性分析修改为定量计算，通过数据提高进出港检测的准确性；同时不需要额外部署相机，仅使用目标场地的监控摄像头，降低车辆进出港检测应用中的硬件成本；并通过查询目标场地关联的位置深度关系数据得到目标车辆在各运输图像中的深度信息，减少车辆进出港检测应用中的计算成本，提高检测效率。
如图1所示，图1是本申请实施例提供的车辆进出港检测方法的一个实施例流程示意图，所示的车辆进出港检测方法包括步骤101～104：
101，获取目标场地中目标车辆的多张连续的运输图像以及在各运输图像中的位置信息。
目标场地指的是车辆运输过程中的中转场地、车站，例如物流中转场、客运车中转场、汽车站、火车站等。多张连续的运输图像可以是目标场地的监控视频，多张连续的运输图像也可以是从目标场地的监控视频提取的连续帧图像，多张连续的运输图像还可以是在预设时间段内对目标场地进行连续拍摄得到的。运输图像指的是目标车辆在目标场地中停靠、行驶的图像。目标车辆包括但不限于货运车、搬运车、客运车、动车、货车、公交车。
位置信息指的是获取的运输图像中，目标车辆在整幅运输图像中的空间坐标，在本申请一些实施中，为了便于提取各运输图像中的位置信息，可以对各运输图像中进行目标检测，确定各运输图像中目标车辆所在的图像区域，通过包络框标记出目标车辆所在的图像区域，根据包络框中角点的坐标确定目标车辆在各运输图像中的位置信息。其中，可以根据包络框中各角点的坐标确定包络框的中心点坐标，将中心点坐标设置为目标车辆在各运输图像中的位置信息；还可以根据包络框中处于同一垂直纵坐标的两个水平方向的角点的坐标确定包络框中上边界或下边界的中点坐标，将包络框中上边界或下边界的中点坐标设置为目标车辆在各运输图像中的位置信息。
102，根据目标场地关联的位置深度关系数据以及在各运输图像中的位置信息，确定得到目标车辆在各运输图像中的深度信息。
位置深度关系数据包括目标场地中每个位置信息以及该位置信息对应的深度信息。
深度信息指的是运输图像中的位置信息对应的点映射到真实的目标场地中时，该点距离拍摄该运输图像的相机摄像头之间的距离。在车辆进出港检测中，考虑到用于监控目标场地的摄像头通常部署在目标场地的装卸卡位，其中装卸卡位可以是装卸货卡位、上下客卡位，因此可以通过查询目标场地关联的位置深度关系数据，确定与各运输图像中的位置信息匹配的深度信息，将该深度信息作为量化目标车辆进出港判断的指标。
103，根据目标车辆在各运输图像中的深度信息，确定得到目标车辆的深度信息变化趋势。
深度信息变化趋势用于表征目标车辆与相机摄像头之间的距离的变化情况。目标车辆的深度信息变化趋势包括多张连续的运输图像对应的时间段内目标车辆的深度信息对应数值递减、目标车辆的深度信息对应数值递增和目标车辆的深度信息对应数值不变。在本申请一些实施例中，当深度信息变化趋势递减时，即目标车辆与相机摄像头之间的距离逐渐减少时，说明目标车辆在靠近相机摄像头，则确定目标车辆的进港。
在本申请一些实施例中，可以将目标车辆在多张连续的运输图像中的深度信息分别与预设距离阈值进行比较，确定得到目标车辆的深度信息变化趋势，其中预设距离阈值可以是目标场景中装卸卡位月台边缘到摄像头的距离。例如，在多张连续的运输图像对应的时间段内，目标车辆的深度信息的数值与预设距离阈值逐渐降低时，目标车辆的深度信息变化趋势为递减。
在本申请一些实施例中，还可以根据目标车辆在各运输图像中的深度信息之间的差值确定得到目标车辆的深度信息变化趋势，例如，在多张连续的运输图像对应的时间段内，将目标车辆在时间段内各时刻对应的运输图像中深度信息与下一时刻对应的深度信息进行比较，如果下一时刻对应的深度信息的数值较大，说明目标车辆在远离相机摄像头，则目标车辆的深度信息变化趋势为递增；如果下一时刻对应的深度信息的数值较小，说明目标车辆在靠近相机摄像头，则目标车辆的深度信息变化趋势为递减。
104，根据深度信息变化趋势，得到目标车辆的进出港检测结果。
在本申请一些实施例中，步骤104包括：若深度信息变化趋势为递减，则确定目标车辆进港；若深度信息变化趋势为递增，则确定目标车辆出港。
在本申请一些实施例中，若深度信息变化趋势为递减，则确定目标车辆进港，并根据多张连续的运输图像对应的时间信息确定目标车辆的进港时间，并获取后续多张连续的运输图像，根据目标车辆在各后续运输图像中的深度信息确定目标车辆是否离港；若目标车辆离港，则根据后续多张连续的运输图像对应的时间信息确定目标车辆的离港时间；根据离港时间和进港时间之间的时间差得到目标车辆在目标场地的滞留时间。
在本申请一些实施例中，当目标车辆在行驶或运输过程中涉及多个目标场地时，可以根据该目标车辆在已停靠的多个目标场地中的滞留时间，以及获取目标车辆的行驶速度，预测目标车辆达到下一目标场地的时间以及从下一目标场地驶出的时间。在本申请一些实施例中，滞留时间与目标车辆的车况、目标车辆在目标场地的货物装卸量、货物装卸时间以及目标场地的客流量、车流量存在关联，因此还可以根据目标车辆在多个目标场地的滞留时间，确定目标车辆在各个目标场地的运输货物或客流量较大的目标场地；根据各滞留时间中最大值，并获取该最大值出现次数以及出现时间，根据出现次数和出现时间以及对应的目标场地调整目标车辆的运输路线以及运输量；例如，以目标车辆时物流运输车为例进行说明，当目标车量在某一个目标场地的滞留时间较大，并且出现次数较多时，则获取该目标场地中其余车辆的滞留时间，如果其余车辆的滞留时间小于该目标车辆的滞留时间，则说明该目标车辆的运输货物较多，需要较长的装卸时间，则增加运输该目标车辆对应的货物的车辆数量，降低该目标车辆的滞留时间，从而提高该运输车辆的运输效率。
本申请实施例，通过目标场地关联的位置深度关系数据，基于在目标场地中的多张连续的运输图像的位置信息，确定目标车辆的深度信息，根据深度值确定目标车辆的到进出港检测结果，降低检测过程中的运算量，提高检测效率；并且通过目标车辆在目标场地的连续多张运输图像中深度信息，得到目标车辆的深度信息变化趋势，根据深度变化趋势确定目标车辆的进出港检测结果，将到进出港检测由定性分析修改为定量计算，通过数据提高进出港检测的准确性。
在本申请一些实施例中，在步骤101中，可以从目标场地的监控视频中提取出目标车辆的多张连续的运输图像，确定目标车辆在各运输图像中的图像区域，根据图像区域的中点坐标得到目标车辆在各运输图像中的位置信息。具体地包括步骤a1～a3：
步骤a1，获取目标场地的视频图像，对视频图像中每一帧图像进行车辆检测，提取视频图像中包含目标车辆的连续帧图像，将视频图像中包含目标车辆的连续帧图像设置为目标车辆在目标场地中的多张连续的运输图像。
在本申请一些实施例中，为了减少车辆进出港检测方法在实际应用中的硬件成本，通过目标场地已安装的摄像头对目标场地进行监控，获取该摄像头采集的目标场地的视频图像。其中，该视频图像可以是实时的监控图像，也可以是过去一段时间内的监控图像。其中，过去一段时间内可以是过去1小时、过去2小时、过去3小时等。
在本申请一些实施例中，为了提高车辆进出港检测的精准度，在获取目标场地的视频图像后，对视频图像中每一帧图像进行车辆检测，确定该视频图像中是否存在车辆；若该视频图像中不存在车辆，说明该视频图像对应时间段内目标场地中没有车辆驶入或离开，则获取下一时间的视频图像；若该视频图像中存在车辆，则对视频图像中车辆进行车辆标识识别，确定该视频图像中包含的车辆数量以及每辆车辆对应的车辆标识；根据车辆标识获取视频图像中各车辆标识对应的目标车辆在目标场地中的多张连续的运输图像。
在本申请一些实施例中，可以通过对视频图像中每一帧图像进行图像差分，对视频图像中每一帧图像进行车辆检测。具体地，采集目标场地中不存在车辆时的图像设置为基准图像，逐帧将视频图像中每一帧图像与基准图像进行做差，得到差分图像；获取该差分图像中像素值大于预设像素值的区域，若该区域的像素值均值大于预设均值，说明该帧图像与基准图像不相同，则确定该帧图像中后续帧图像的差分图像中像素值大于预设像素值的区域的像素值均值是否大于预设均值；若后续帧图像的差分图像中像素值大于预设像素值的区域的像素值均值大于预设均值，则确定该视频图像存在车辆；若该区域的像素值均值小于或等于预设均值，或该差分图像中像素值不存在大于预设像素值的区域，说明该帧图像与基准图像相同，则确定该视频图像中后续帧图像的差分图像中是否存在大于预设像素值的区域；若该视频图像中后续帧图像的差分图像中都不存在大于预设像素值的区域，则确定该视频图像不存在车辆。
在本申请一些实施例中，还可以通过确定视频图像中每一帧图像中是否存在车厢对视频图像中每一帧图像进行车辆检测，例如通过已训练的车厢检测模型对视频图像中每一帧图像进行车辆检测。其中车厢检测模型可以是机器学习模型，例如字典学习、逻辑回归模型，车厢检测模型还可以是基于神经网络的检测模型。例如基于YOLO的检测模型、基于SSD的检测模型、基于RCNN的检测模型。
步骤a2，对各运输图像进行目标检测，得到各运输图像中目标车辆的边界框坐标。
在本申请一些实施例中，每一张运输图像中目标车辆的边界框坐标可以是每一张运输图像中目标车辆的车厢边框的边界框坐标，例如车厢边界框的角点坐标、车厢边界框的中心点坐标、车厢边界的上边界的中点坐标或车厢边界框的下边界的中点坐标。
步骤a3，根据目标车辆的边界框坐标计算目标车辆的边界框的中点坐标，将目标车辆的边界框的中点坐标设置为目标车辆在目标场地中的多张连续的运输图像的位置信息。
在本申请一些实施例中，考虑到车辆在进出港检测中，如果以车辆的车身或车头的坐标进行检测，由于车辆车头的形状的不规则，增加目标车辆的边界框坐标计算的难度，可能造成车厢进出港检测中计算量的增加，因此将车厢边界框的下边界的中点坐标设置为目标车辆在目标场地中的多张连续的运输图像的位置信息。
在本申请一些实施例中，可以通过目标检测算法对每一张运输图像进行车厢目标检测，获取每一张运输图像中目标车辆的车厢的边界框。其中，目标检测算法包括但不限于RCNN、SSD、YOLO等。
在本申请一些实施例中，可以在获取每一张运输图像中目标车辆的车厢的边界之后，确定该运输图像的中心，将该运输图像的中心作为坐标原点，根据车厢边界的角点与该运输图像的中心之间的水平像素长度和垂直像素长度确定车厢边界的角点的坐标，根据车厢边界点的各角点的坐标确定车厢边界的中心点坐标、车厢边界的上边界的中点坐标或车厢边界的下边界的中点坐标。需要说明的是，上述获取坐标的方式仅为示例性说明，在实际应用场景中可以调整坐标的确定方式，例如预先制作网格图像，其中该网格图像的图像尺寸与视频图像中每一帧图像的图像尺寸相同，在网络图像中每一个小格都设置坐标，在获取每一张运输图像中目标车辆的车厢的边界之后，将该网格图像与每一张运输图像进行对齐，根据对齐后的运输图像中车厢的边界的各角点所在的小格，确定各角点的坐标。
在本申请一些实施例中，可以通过已训练的车厢检测模型对视频图像中每一帧图像进行车辆检测，得到每一张运输图像中目标车辆的边界坐标，根据边界坐标确定目标车辆在目标场地中的多张连续的运输图像的位置信息。如图2所示，图2是本申请实施例提供的车厢检测模型的一个实施例结构示意图，所示的车厢检测模型包括依次连接的输入层201、车厢检测层202和图像输出层203。
输入层201获取目标场地的视频图像，并将目标场地的视频图像输入车辆检测层；车辆检测层对视频图像中每一帧图像进行车辆检测，得到目标车辆在目标场地中的多张连续的运输图像，对每一张运输图像进行目标检测，获取每一张运输图像中目标车辆的边界框坐标，并将目标车辆的边界框坐标输出至图像输出层203；图像输出层203输出目标车辆的边界框坐标。
如图2所示，车厢检测层202包括依次连接的车厢检测单元20201和边界标记单元20202。其中车厢检测单元20201视频图像中每一帧图像进行车辆检测，得到目标车辆在目标场地中的多张连续的运输图像，并将目标车辆在目标场地中的多张连续的运输图像输入至边界标记单元20202，边界标记单元20202对每一张运输图像进行目标检测，获取每一张运输图像中目标车辆的边界框坐标，并将目标车辆的边界坐标输出至图像输出层203。
在本申请一些实施例中，车厢检测单元20201还包括依次连接的车厢检测子单元和车标识别子单元，车厢检测子单元对视频图像中每一帧图像进行车辆检测，若该视频图像中存在车辆，则将该视频输入至车标识别子单元；车标识别子单元对视频图像中车辆进行车辆标识识别，确定该视频图像中包含的车辆数量以及每辆车辆对应的车辆标识，根据车辆标识获取视频图像中各车辆标识对应的目标车辆在目标场地中的多张连续的运输图像。
在本申请一些实施例中，图像输出层203还可以根据目标车辆的车厢边界框坐标计算车厢边界的下边界的中间坐标，将该车厢边界的下边界的中间坐标设置为目标车辆在目标场地中的多张连续的运输图像的位置信息并输出。
在本申请一些实施例中，可以通过目标场地中部署的监控摄像头采集的历史监控视频对车厢检测模型进行训练，得到用已训练的车厢检测模型，具体地车厢检测模型训练过程包括：从目标场地的监控摄像头采集的历史监控视频中，选取车辆离港过程的样本视频图像，并标注车辆的车厢尾部边界框，将标注车辆的真实车厢尾部边界框的样本视频图像作为真实样本视频图像；将样本视频图像中每一帧样本图像输入车厢检测模型，得到每一帧样本图像对应的预测图像，其中预测图像上标记有预测的车厢尾部边界框；根据预设的损失函数计算预测图像与真实样本视频图像中每一帧样本图像对应的真实样本图像之间的误差，将误差作为训练损失；根据训练损失调整车厢检测模型的参数，直到车厢检测模型达到预设收敛条件，得到已训练的车厢检测模型。其中预设的损失函数可以是均方误差函数或平均绝对误差损失函数，理解为：根据损失函数分析每一帧样本图像的预测的车厢尾部边界框与每一帧样本图像对应的真实车厢尾部边界框之间的均方误差，将均方误差作为车厢检测模型的训练损失；根据损失函数分析每一帧样本图像的预测的车厢尾部边界框与每一帧样本图像对应的真实车厢尾部边界框之间的平均绝对误差，将平均绝对误差作为车厢检测模型的训练损失。预设收敛条件可以是训练损失小于或等于预设损失阈值，或者训练次数达到预设次数，例如当训练损失小于或等于0.0001，或训练次数达到1000次时，判定车厢检测模型达到预设收敛条件，得到已训练的车厢检测模型。历史监控视频可以时过去一段时间内监控摄像头采集的监控视频。在本申请一些实施例中，为了提高车厢检测模型的检测准确度，可以选取车辆离港过程以及进港过程的样本视频图像、以及获取多个目标场地的部署的监控摄像头采集的历史监控视频。在本申请一些实施例中，为了提高车厢检测模型在雨天、雾天、雪天、阴天等能见度较差的环境的检测准确度，可以对获取的多个目标场地的部署的监控摄像头采集的历史监控视频添加噪声，模拟雨天、雾天、雪天和阴天环境下采集的历史监控视频，将处理后的历史监控视频中选取车辆离港过程以及进港过程的样本视频图像对车厢检测模型进行训练，以提高车厢检测模型的泛化能力。
在本申请实施例中，通过目标场地已部署的监控摄像头采集目标场地的视频图像，不需要额外部署相机，降低车辆进出港检测的硬件成本；并且通过检测目标车辆的车厢边界框坐标，确定目标车辆在目标场地中的多张连续的运输图像的位置信息，利用车厢形状规则以及便于识别的优势，提高车辆进出港检测的便捷。在本申请一些实施例中，在获取目标场地的视频图像之后，可以通过判断视频图像中是否存在不能检测到目标车辆的车厢的帧图像，以及该帧图像在视频图像中的位置，确定目标车辆是否出港，具体地，包括步骤b1～b2：
步骤b1，获取目标场地的视频图像，对视频图像中每一帧图像进行车辆检测，得到每一帧图像中目标车辆的检测结果。
步骤b2，以存在目标车辆的帧图像为起始帧，提取视频图像中包含目标车辆的连续帧图像。
在本申请一些实施例中，可以通过步骤a1中对视频图像中每一帧图像进行车辆检测的方式对视频图像中每一帧图像进行车辆检测，确定视频图像中是否存在车辆，在视频图像存在车辆时，获取该车辆的标识，获取视频图像中第一次检测到该标识对应的车辆所在的帧图像，并对该帧图像后续的连续帧图像执行步骤b2。
在本申请一些实施例中，当视频图像存在车辆时，获取该车辆的标识，查询已记录的车辆进出港数据，获取该标识对应的目标车辆的进出港时间，根据进出港时间获取最新时刻对应的进出港记录，若最新时刻对应的进出港记录为出港，该视频图像中该标识对应的目标车辆可能是驶入目标场地，则从车辆进出港数据中获取该目标标识对应的上一次出港时间与下一次进港时间之间的时间差，如果每次出港和下一次进港之间的时间差相等，则确定该时间差与最新时刻之间的时间和与视频图像对应的时间是否相等，如果时间相等，说明该视频图像中该标识对应的目标车辆又一次驶入目标场地，则输出目标车辆进港，并获取目标车辆的进港时间，将该目标车辆的进港时间写入已记录的车辆进出港数据中该目标车辆的标识对应的进出港记录，更新车辆进出港数据。
在本申请一些实施例中，考虑到仅根据每次出港和下一次进港之间的时间差判断目标车辆是否进港，可能造成判断不准确，因此在若最新时刻对应的进出港记录为出港，则根据步骤101～103在检测该视频图像中的后续帧图像中该标识对应的目标车辆的车厢的位置信息的变化趋势是否递减；若该标识对应的目标车辆的车厢的位置信息的变化趋势是递减，则输出目标车辆的进出港检测结果为车辆进港；若该标识对应的目标车辆的车厢的位置信息的变换趋势是递增或不变，说明目标车辆还未完全驶出目标场地或目标车辆停靠目标场地，则获取视频图像中其余标识对应的车辆的连续帧图像。
在本申请一些实施例中，若最新时刻对应的进出港记录为进港，则获取视频图像中第一次检测到该标识对应的车辆所在的帧图像，并对该帧图像后续的连续帧图像执行步骤b2。
在本申请一些实施例中，针对每一帧图像，若该帧图像未存在目标车辆的车厢，则检测该帧图像之后的图像是否存在目标车辆的车厢。
在本申请一些实施例中，对视频图像中的连续帧图像的每一帧图像进行车厢检测，确定后续帧图像中是否存在目标车辆的车厢的帧图像；若该帧图像未存在目标车辆的车厢，则检测该帧图像之后的图像是否存在目标车辆的车厢。
在本申请一些实施例中，当步骤b1中检测到目标车辆最新时刻对应的进出港记录为进港，则获取视频图像中第一次检测到该标识对应的车辆所在的帧图像，并对该帧图像后续的连续帧图像的每一帧图像进行车厢检测，确定后续帧图像中是否存在目标车辆的车厢的帧图像；若该帧图像未存在目标车辆的车厢，则输出目标车辆的进出港检测结果为车辆出港。
在本申请一些实施例中，若该帧图像之后的图像不存在目标车辆的车厢，则确定目标车辆的进出港检测结果为车辆出港；若该帧图像之后的图像存在目标车辆的车厢，则以存在目标车辆的车厢的帧图像为起始帧，提取视频图像中包含目标车辆的连续帧图像。
本申请实施例在获取到目标场地的视频图像后，对视频图像中每一帧图像进行车辆检测，通过判断不存在该目标车辆的车厢的帧图像的后续帧图像中是否存在目标车辆的车厢，确定视频图像中目标车辆的出港检测结果；并且通过车标的标识从已记录的车辆进出港数据中提取该目标车辆进港和出港的时间信息，根据时间信息判断视频图像中目标车辆的出港检测结果，提供多种视频图像中目标车辆的出港检测方法。
在本申请一些实施例中，在获取在目标场地中针对目标车辆的多张连续的运输图像以及在各运输图像中的位置信息之后，根据目标场地的场地标识获取该目标场地关联的位置深度关系数据，获取位置深度关系数据中与各运输图像中的位置信息匹配的目标位置信息，根据各目标位置信息得到目标车辆在各运输图像中的深度信息对应的深度信息。
在本申请一些实施例中，为了降低车辆进出港检测方法的计算复杂度，可以在目标场地不存在车辆和货物时，采集目标场地对应的目标图像；其中，目标图像表征目标场地中不存在车辆和货物；通过已训练的深度估计网络对目标图像进行深度估计，得到目标图像中各像素点对应的深度信息；获取各像素点在目标图像中的位置信息，将各像素点的位置信息与各像素点对应的深度信息关联，得到位置深度关系数据，将位置深度关系数据与目标场地的场地标识关联。
如图3所示，图3是本申请实施例提供的深度估计网络的一个实施例结构示意图，所示的深度估计网络包括依次连接的编码层301和深度估计层302。
其中，编码层301是基于预先训练的EfficientNet B5编码器和标准特征上采样解码器构建的，目标图像输入至深度估计网络中的编码层301进行特征提取，得到解码特征；其中目标图像的尺寸为(H*W*3)，编码层301输出的解码特征为(H*W*Cd)的张量。
编码层301将解码特征输入至深度估计层302，深度估计层302根据输入的解码特征进行深度信息估计，输出尺寸为(H*W*1)的深度图像。如图4所示，图4给出了深度估计层的一个结构示意图，所示的深度估计层包括转换单元401、卷积单元402、深度单元403和输出单元404，其中转换单元401的输出两个分支，其中一个分支输出范围注意力图，并将范围注意力图输入卷积单元402，卷积单元402的输出的范围注意力图中每个像素的Softmax分数输入至输出单元404；另一个分支输出的单元宽度向量输入深度单元403，深度单元403计算深度单元中心，将深度单元中心输入输出单元404。输出单元404根据Softmax分数和该像素的深度单元中心预测该像素的深度值，组合各像素的深度值得到目标图像对应的深度图像。
在本申请一些实施例中，为了降低车辆进出港检测方法的成本，可以通过迁移学习对深度估计网络进行训练，考虑到因为中转场有很多车辆，和自动驾驶数据集KITTI的场景具有相似性，因此选择KITTI上训练的AdaBins网络作为预训练的深度估计网络，通过目标场地的监控摄像头采集目标场地的样本图像，根据样本图像对预训练的深度估计网络进行适配性测试；若预训练的深度估计网络的适配性测试通过，则将预训练的深度估计网络设置为已训练的深度估计网络；若预训练的深度估计网络的适配性测试不通过，则根据样本图像调整预训练的深度估计网络的参数，得到已训练的深度估计网络。具体地，对预训练的深度估计网络进行适配性测试方法包括步骤c1～c4：
步骤c1，在目标场地中设置多个测试点，获取各测试点到相机之间的真实距离。
在本申请一些实施例中，可以通过雷达、激光、声纳或红外测距获取各测试点到相机之间的真实距离，具体地，在相机摄像头相同位置部署雷达、激光、声纳或红外设备，根据雷达、激光、声纳或红外设备采集各测试点到相机之间的真实距离。
步骤c2，采集设置多个测试点之后的目标场地对应的样本图像，将样本图像输入预训练的深度估计网络，得到样本图像中各测试点对应的测试深度值。
在本申请一些实施例中，步骤c2包括：采集设置多个测试点之后的目标场地对应的样本图像，将样本图像输入预训练的深度估计网络，得到该样本图像对应的预测深度图像；根据各测试点在样本图像中的位置坐标，获取预测深度图像中相同位置坐标对应的像素的深度值，将各深度值设置为样本图像中各测试点对应的测试深度值。
步骤c3，若各测试点对应的测试深度值与真实距离之间的误差小于或等于预设误差阈值，则将预训练的深度估计网络设置为已训练的深度估计网络。
在本申请一些实施例中，若各测试点对应的测试深度值与真实距离之间的误差小于或等于预设误差阈值，说明预训练的深度估计网络的适配性测试通过，则将预训练的深度估计网络设置为已训练的深度估计网络。
步骤c4，若各测试点对应的测试深度值与真实距离之间的误差大于预设误差阈值，则根据测试深度值与真实距离的训练损失值调整预训练的深度估计网络的参数，直至各测试点对应的测试深度值与真实距离之间的误差小于或等于所述预设误差阈值，得到已训练的深度估计网络。
在本申请一些实施例中，步骤c4包括：若各测试点对应的测试深度值与真实距离之间的误差大于预设误差阈值，说明预训练的深度估计网络适配性测试不通过，则采集目标场景的多张样本图像得到样本数据集；将样本图像输入预训练的深度估计网络得到预测深度图像，以及预测深度图像中各测试点的测试深度值；根据预设损失函数计算测试深度值与真实距离的训练损失值，根据训练损失调整预训练的深度估计网络的参数，当预训练的深度估计网络达到预测收敛条件时，得到已训练的深度估计网络。其中，预设的损失函数可以是均方误差函数或平均绝对误差损失函数，理解为：根据损失函数分析样本图像中各测试点的测试深度值与各测试点对应的真实距离之间的均方误差，将均方误差作为深度估计网络的训练损失；根据损失函数分析样本图像中各测试点的测试深度值与各测试点对应的真实距离之间的平均绝对误差，将平均绝对误差作为深度估计网络的训练损失。预测收敛条件可以是训练损失值小于或等于阈值，或者训练迭代次数达到预测次数。
在本申请一些实施例中，步骤c4还包括：若各测试点对应的测试深度值与真实距离之间的误差大于预设误差阈值，说明预训练的深度估计网络适配性测试不通过，则部署深度相机，通过深度相机采集多个目标场景的样本图像以及样本图像对应的真实深度图像组成训练样本数据集；将各样本图像输入预训练的深度估计网络得到预测深度图像；通过预设的损失函数、各样本图像对应的预测深度图像和各样本图像对应的真实样本图像确定预训练的深度估计网络的训练损失，根据训练损失迭代调整预训练的深度估计网络的参数，当预训练的深度估计网络得达到预设收敛条件时，停止训练，得到已训练的深度估计网络。其中，预设的损失函数可以是均方误差函数或平均绝对误差损失函数，理解为：根据损失函数分析样本图像对应的预测深度图像与样本图像对应的真实深度图像之间的均方误差，将均方误差作为深度估计网络的训练损失；根据损失函数分析样本图像对应的预测深度图像与样本图像对应的真实深度图像之间的平均绝对误差，将平均绝对误差作为深度估计网络的训练损失；预测收敛条件可以是训练损失值小于或等于阈值，或者训练迭代次数达到预测次数。其中，深度相机的可拆卸，并且该深度相机的架设高度和角度分别与各目标场景中相机的高度和角度相似。
本申请实施例在目标场景中没有任何车辆或者货物的时候，采集目标图像，运行已训练的深度估计网络获取该目标场景的位置深度关系数据，后续获取深度信息时只需要查询该位置深度关系数据，减少了算法运算量；并且在深度估计网络训练时，通过迁移学习对深度估计网络进行训练得到预训练的深度估计网络，当需要将预训练的深度估计网络部署到不同的目标场地时，仅需要进行适配性测试，也不需要再进行训练，就能复制到其他中转场，解决了以往基于分类的视觉方案需要不断增补数据的问题。
在本申请一些实施例中，在确定目标车辆在各运输图像中的深度信息之后，根据各运输图像的时间顺序，对各运输图像进行排序，得到排序后的运输图像，根据排序后的运输图像得到目标车辆在排序后的运输图像中的深度信息，将目标车辆在排序后的运输图像中的深度信息与预设距离阈值进行比较，得到目标车辆的深度信息变化趋势。
在本申请一些实施例中，可以将目标车辆在排序后的运输图像中的深度信息与预设距离阈值进行作差，得到差值序列，根据差值序列得到目标车辆的深度信息变化趋势。在本申请一些实施例中，可以将差值序列中各差值进行前向差分，根据差分结果确定得到目标车辆的深度信息变化趋势。例如，当差分结果小于0时，说明下一时刻对应的差值小于上一时刻对应的差值，则得到目标车辆的深度信息变化趋势为递减；当差分结果大于0时，说明下一时刻对应的差值大于上一时刻对应的差值，则得到目标车辆的深度信息变化趋势为递增。示例性的，以预设距离阈值为1米为例进行说明，当目标车辆在排序后的运输图像中的深度信息为{9，6，5，3，2}时，将目标车辆在排序后的运输图像中的深度信息与预设距离阈值进行作差，得到差值序列{8，5，2，1}，由于差值序列{8，5，2，1}差分结果{-3，-3，-1}均小于0，则目标车辆的深度信息变化趋势为递减。
为了提高车辆的进出港检测结果的准确性，在根据深度信息确定目标车辆变化趋势之后，可以根据差分序列确定目标车辆的进出港检测结果，具体地包括：若深度信息变化趋势为递减，且差值序列中小于或等于预设差值阈值的时间段大于预设时间，则目标车辆的进出港检测结果为进港；若深度信息变化趋势为递增，且目标车辆在各运输图像中的深度信息中存在大于预设值的目标深度信息，则目标车辆的进出港检测结果为出港。
在本申请一些实施例中，还可以在确定目标车辆在各运输图像中的深度信息之后，根据各运输图像的时间顺序，对目标车辆在各运输图像中的深度信息进行排序，按照差值序列的差分方式将目标车辆在排序后的运输图像中的深度信息进行差分，得到深度差分结果，根据深度差分结果确定得到目标车辆的深度信息变化趋势；若深度信息变化趋势为递减，且排序后的运输图像中的深度信息中存在至少一个小于或等于预设深度信息的目标深度信息，则目标车辆的进出港检测结果为进港，根据排序后的运输图像中时间信息记录目标车辆的进港时间；若深度信息变化趋势为递增，且排序后的运输图像中的深度信息中存在大于预设值的目标深度信息，则目标车辆的进出港检测结果为出港，根据排序后的运输图像中时间信息记录目标车辆的出港时间。
本申请实施例通过深度信息进行车辆进出港检测，将到车辆进出港检测由定性分析修改为定量计算，提高车辆进出港检测的准确性。
为了更好实施本申请实施例提供的车辆进出港检测方法，在车辆进出港检测方法基础上，本申请实施例提供一种车辆进出港检测装置，如图5所示，图5是本申请实施例提供的车辆进出港检测装置的一个实施例结构示意图，所示的车辆进出港检测装置包括：
车辆检测模块501，用于获取目标场地中目标车辆的多张连续的运输图像以及在各运输图像中的位置信息；
深度确定模块502，用于据目标场地关联的位置深度关系数据以及在各运输图像中的位置信息，确定得到目标车辆在各运输图像中的深度信息；位置深度关系数据包括目标场地中每个位置信息以及该位置信息对应的深度信息；
深度趋势确定模块503，用于根据目标车辆在各运输图像中的深度信息，确定得到目标车辆的深度信息变化趋势；
检测模块504，用于根据深度信息变化趋势，得到目标车辆的进出港检测结果。
在本申请一些实施例中，车辆进出港检测装置包括：
深度估计模块505，用于采集目标场地对应的目标图像；目标图像为目标场地中未存在车辆的图像；通过已训练的深度估计网络对目标图像进行深度估计，得到目标图像中各像素点对应的深度信息；获取各像素点在目标图像中的位置信息，将各像素点的位置信息与各像素点对应的深度信息关联，得到位置深度关系数据，将位置深度关系数据与目标场地的场地标识关联。
在本申请一些实施例中，深度估计模块505还包括：
在目标场地中设置多个测试点，获取各测试点到相机之间的真实距离；
采集设置多个测试点之后的目标场地对应的样本图像，将样本图像输入预训练的深度估计网络，得到样本图像中各测试点对应的测试深度值；
若各测试点对应的测试深度值与真实距离之间的误差小于或等于预设误差阈值，则将预训练的深度估计网络设置为已训练的深度估计网络；
若各测试点对应的测试深度值与真实距离之间的误差大于预设误差阈值，则根据测试深度值与真实距离的训练损失值调整预训练的深度估计网络的参数，直至各测试点对应的测试深度值与真实距离之间的误差小于或等于预设误差阈值，得到已训练的深度估计网络。
在本申请一些实施例中，深度趋势确定模块503包括：
根据各运输图像的时间顺序，对各运输图像进行排序，得到排序后的运输图像以及目标车辆在排序后的运输图像中的深度信息；
将目标车辆在排序后的运输图像中的深度信息与预设距离阈值进行比较，得到目标车辆的深度信息变化趋势。
在本申请一些实施例中，深度趋势确定模块503还包括：
将目标车辆在排序后的运输图像中的深度信息与预设距离阈值进行作差，得到差值序列；
根据差值序列得到目标车辆的深度信息变化趋势。
在本申请一些实施例中，检测模块504包括：
若深度信息变化趋势为递减，且差值序列中小于或等于预设差值阈值的时间段大于预设时间，则目标车辆的进出港检测结果为进港；
若深度信息变化趋势为递增，且目标车辆在各运输图像中的深度信息中存在大于预设值的目标深度信息，则目标车辆的进出港检测结果为出港。
在本申请一些实施例中，车辆检测模块501包括：
获取目标场地的视频图像，对视频图像中每一帧图像进行车辆检测，提取视频图像中包含目标车辆的连续帧图像，将视频图像中包含目标车辆的连续帧图像设置为目标车辆在目标场地中的多张连续的运输图像；
对各运输图像进行目标检测，得到各运输图像中目标车辆的边界框坐标；
根据目标车辆的边界框坐标计算目标车辆的边界框的中点坐标，将目标车辆的边界框的中点坐标设置为目标车辆在目标场地中的多张连续的运输图像的位置信息。
在本申请一些实施例中，车辆检测模块501还包括：
获取目标场地的视频图像，对视频图像中每一帧图像进行车辆检测，得到每一帧图像中目标车辆的检测结果；
以存在目标车辆的帧图像为起始帧，提取视频图像中包含目标车辆的连续帧图像。
本申请实施例通过目标场地关联的位置深度关系数据，基于在目标场地中的多张连续的运输图像的位置信息，确定目标车辆的深度信息，根据深度值确定目标车辆的到进出港检测结果，降低检测过程中的运算量，提高检测效率；并且通过目标车辆在目标场地的连续多张运输图像中深度信息，得到目标车辆的深度信息变化趋势，根据深度变化趋势确定目标车辆的进出港检测结果，将到进出港检测由定性分析修改为定量计算，通过数据提高进出港检测的准确性。
本发明实施例还提供一种车辆进出港检测设备，如图6所示，其示出了本发明实施例所涉及的车辆进出港检测设备的结构示意图，具体来讲：
该车辆进出港检测设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图4中示出的车辆进出港检测设备结构并不构成对车辆进出港检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器601是该车辆进出港检测设备的控制中心，利用各种接口和线路连接整个车辆进出港检测设备的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行车辆进出港检测设备的各种功能和处理数据，从而对车辆进出港检测设备进行整体监控。可选的，处理器601可包括一个或多个处理核心；优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。
存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据车辆进出港检测设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。
车辆进出港检测设备还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该车辆进出港检测设备还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，车辆进出港检测设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，车辆进出港检测设备中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：
获取目标场地中目标车辆的多张连续的运输图像以及在各运输图像中的位置信息；
根据目标场地关联的位置深度关系数据以及在各运输图像中的位置信息，确定得到目标车辆在各运输图像中的深度信息；位置深度关系数据包括目标场地中每个位置信息以及该位置信息对应的深度信息；
根据目标车辆在各运输图像中的深度信息，确定得到目标车辆的深度信息变化趋势；
根据深度信息变化趋势，得到目标车辆的进出港检测结果。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种车辆进出港检测方法中的步骤。例如，该指令可以执行如下步骤：
获取目标场地中目标车辆的多张连续的运输图像以及在各运输图像中的位置信息；
根据目标场地关联的位置深度关系数据以及在各运输图像中的位置信息，确定得到目标车辆在各运输图像中的深度信息；位置深度关系数据包括目标场地中每个位置信息以及该位置信息对应的深度信息；
根据目标车辆在各运输图像中的深度信息，确定得到目标车辆的深度信息变化趋势；
根据深度信息变化趋势，得到目标车辆的进出港检测结果。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种车辆进出港检测方法中的步骤，因此，可以实现本发明实施例所提供的任一种车辆进出港检测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种车辆进出港检测方法、装置、设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种车辆进出港检测方法，其特征在于，所述方法包括：
获取目标场地中目标车辆的多张连续的运输图像以及在各所述运输图像中的位置信息；
根据所述目标场地关联的位置深度关系数据以及在各所述运输图像中的位置信息，确定得到所述目标车辆在各所述运输图像中的深度信息；所述位置深度关系数据包括所述目标场地中每个位置信息以及该位置信息对应的深度信息；
根据所述目标车辆在各所述运输图像中的深度信息，确定得到所述目标车辆的深度信息变化趋势；
根据所述深度信息变化趋势，得到所述目标车辆的进出港检测结果。
2.如权利要求1所述的车辆进出港检测方法，其特征在于，所述根据所述目标场地关联的位置深度关系数据以及在各所述运输图像中的位置信息，确定得到所述目标车辆在各所述运输图像中的深度信息步骤之前，所述方法包括：
采集所述目标场地对应的目标图像；所述目标图像为所述目标场地中未存在车辆的图像；
通过已训练的深度估计网络对所述目标图像进行深度估计，得到所述目标图像中各像素点对应的深度信息；
获取各所述像素点在所述目标图像中的位置信息，将各所述像素点的位置信息与各所述像素点对应的深度信息关联，得到位置深度关系数据，将所述位置深度关系数据与所述目标场地的场地标识关联。
3.如权利要求2所述的车辆进出港检测方法，其特征在于，所述通过已训练的深度估计网络对所述目标图像进行深度估计，得到所述目标图像中各像素点对应的深度信息步骤之前，所述方法包括：
在所述目标场地中设置多个测试点，获取各所述测试点到相机之间的真实距离；
采集设置多个测试点之后的目标场地对应的样本图像，将所述样本图像输入预训练的深度估计网络，得到所述样本图像中各所述测试点对应的测试深度值；
若各所述测试点对应的测试深度值与所述真实距离之间的误差小于或等于预设误差阈值，则将所述预训练的深度估计网络设置为已训练的深度估计网络；
若各所述测试点对应的测试深度值与所述真实距离之间的误差大于所述预设误差阈值，则根据所述测试深度值与所述真实距离的训练损失值调整所述预训练的深度估计网络的参数，直至各所述测试点对应的测试深度值与所述真实距离之间的误差小于或等于所述预设误差阈值，得到已训练的深度估计网络。
4.如权利要求1所述的车辆进出港检测方法，其特征在于，所述根据所述目标车辆在各所述运输图像中的深度信息，确定得到所述目标车辆的深度信息变化趋势
根据各所述运输图像的时间顺序，对各所述运输图像进行排序，得到排序后的运输图像以及所述目标车辆在排序后的运输图像中的深度信息；
将所述目标车辆在排序后的运输图像中的深度信息与预设距离阈值进行比较，得到所述目标车辆的深度信息变化趋势。
5.如权利要求4所述的车辆进出港检测方法，其特征在于，所述将所述目标车辆在排序后的运输图像中的深度信息与预设距离阈值进行比较，得到所述目标车辆的深度信息变化趋势包括：
将所述目标车辆在排序后的运输图像中的深度信息与预设距离阈值进行作差，得到差值序列；
根据所述差值序列得到所述目标车辆的深度信息变化趋势。
6.如权利要求5所述的车辆进出港检测方法，其特征在于，所述根据所述差值序列得到所述目标车辆的深度信息变化趋势之后，所述方法包括：
若所述深度信息变化趋势为递减，且所述差值序列中小于或等于预设差值阈值的时间段大于预设时间，则所述目标车辆的进出港检测结果为进港；
若所述深度信息变化趋势为递增，且所述目标车辆在各所述运输图像中的深度信息中存在大于预设值的目标深度信息，则所述目标车辆的进出港检测结果为出港。
7.如权利要求1至6任一项所述的车辆进出港检测方法，其特征在于，所述获取在目标场地中针对目标车辆的多张连续的运输图像以及在各所述运输图像中的位置信息包括：
获取目标场地的视频图像，对所述视频图像中每一帧图像进行车辆检测，提取所述视频图像中包含目标车辆的连续帧图像，将所述视频图像中包含目标车辆的连续帧图像设置为所述目标车辆在所述目标场地中的多张连续的运输图像；
对各所述运输图像进行目标检测，得到各所述运输图像中所述目标车辆的边界框坐标；
根据所述目标车辆的边界框坐标计算所述目标车辆的边界框的中点坐标，将所述目标车辆的边界框的中点坐标设置为所述目标车辆在所述目标场地中的所述多张连续的运输图像的位置信息。
8.如权利要求7所述的车辆进出港检测方法，其特征在于，所述获取目标场地的视频图像，对所述视频图像中每一帧图像进行车辆检测，提取所述视频图像中包含目标车辆的连续帧图像包括：
获取目标场地的视频图像，对所述视频图像中每一帧图像进行车辆检测，得到每一帧图像中目标车辆的检测结果；所述检测结果表征所述帧图像中是否存在所述目标车辆；
以存在所述目标车辆的帧图像为起始帧，提取所述视频图像中包含所述目标车辆的连续帧图像。
9.一种车辆进出港检测装置，其特征在于，所述装置包括：
车辆检测模块，用于获取在目标场地中针对目标车辆的多张连续的运输图像以及在各所述运输图像中的位置信息；
深度确定模块，用于据所述目标场地关联的位置深度关系数据以及在各所述运输图像中的位置信息，确定得到所述目标车辆在各所述运输图像中的深度信息；所述位置深度关系数据包括所述目标场地中每个位置信息以及该位置信息对应的深度信息；
深度趋势确定模块，用于根据所述目标车辆在各所述运输图像中的深度信息，确定得到所述目标车辆的深度信息变化趋势；
检测模块，用于根据所述深度信息变化趋势，得到所述目标车辆的进出港检测结果。
10.一种车辆进出港检测设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至8任一项所述的车辆进出港检测方法中的操作。
11.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8任一项所述的车辆进出港检测方法中的步骤。
CN202210872162.9A 2022-07-22 2022-07-22 车辆进出港检测方法、装置、设备和存储介质 Pending CN117496387A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210872162.9A CN117496387A (zh) 2022-07-22 2022-07-22 车辆进出港检测方法、装置、设备和存储介质
PCT/CN2023/120391 WO2024017413A2 (zh) 2022-07-22 2023-09-21 车辆进出港检测方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210872162.9A CN117496387A (zh) 2022-07-22 2022-07-22 车辆进出港检测方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN117496387A true CN117496387A (zh) 2024-02-02

Family

ID=89617172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210872162.9A Pending CN117496387A (zh) 2022-07-22 2022-07-22 车辆进出港检测方法、装置、设备和存储介质

Country Status (2)

Country Link
CN (1) CN117496387A (zh)
WO (1) WO2024017413A2 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4546956B2 (ja) * 2003-06-12 2010-09-22 本田技研工業株式会社 奥行き検出を用いた対象の向きの推定
JP6139088B2 (ja) * 2012-10-02 2017-05-31 株式会社東芝 車両検知装置
KR101403039B1 (ko) * 2012-10-08 2014-06-11 한국과학기술원 전파방해 신호를 전송하는 장치 및 방법
CN106952477B (zh) * 2017-04-26 2020-01-14 智慧互通科技有限公司 基于多相机图像联合处理的路侧停车管理方法
CN109033964B (zh) * 2018-06-22 2022-03-15 顺丰科技有限公司 一种判断车辆到离港事件的方法、系统及设备

Also Published As

Publication number Publication date
WO2024017413A2 (zh) 2024-01-25
WO2024017413A3 (zh) 2024-03-14

Similar Documents

Publication Publication Date Title
CN110688992B (zh) 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆
CN109816024B (zh) 一种基于多尺度特征融合与dcnn的实时车标检测方法
CN111667512B (zh) 基于改进卡尔曼滤波的多目标车辆轨迹预测方法
US11527078B2 (en) Using captured video data to identify pose of a vehicle
CN112712057B (zh) 交通信号识别方法、装置、电子设备及存储介质
CN113033604A (zh) 一种基于SF-YOLOv4网络模型的车辆检测方法、系统及存储介质
CN111899515B (zh) 一种基于智慧道路边缘计算网关的车辆检测系统
CN112298194B (zh) 一种车辆的换道控制方法及装置
CN113505671B (zh) 基于机器视觉的车厢拥挤度确定方法、系统、装置及介质
US11250279B2 (en) Generative adversarial network models for small roadway object detection
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN114067295A (zh) 一种车辆装载率的确定方法、装置及车辆管理系统
CN114418298A (zh) 基于非侵入式检测的充电负荷概率预测系统及方法
CN111723854A (zh) 一种高速公路交通拥堵检测方法、设备及可读存储介质
CN112613509A (zh) 一种铁路货车车厢号识别抓拍方法及系统
CN114926422B (zh) 一种上下车客流量检测方法及系统
CN113448333A (zh) 基于传感器组合的底部巡检定位方法、装置及电子设备
CN113433560B (zh) 一种机器人侧边巡检的定位方法、装置、电子设备及介质
US20210237737A1 (en) Method for Determining a Lane Change Indication of a Vehicle
CN112396043B (zh) 车辆环境信息感知方法、装置、电子设备及存储介质
CN110264470A (zh) 货运列车篷布监测方法、装置、终端及存储介质
CN117496387A (zh) 车辆进出港检测方法、装置、设备和存储介质
CN115482391A (zh) 点云特征提取网络模型训练、点云特征提取方法、装置和无人车
CN115550611A (zh) 一种航班保障节点的智能监测方法、装置及系统
CN115393379A (zh) 一种数据标注方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination