CN115331181A - 车辆图像融合方法、装置、计算机设备和存储介质 - Google Patents

车辆图像融合方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115331181A
CN115331181A CN202210961734.0A CN202210961734A CN115331181A CN 115331181 A CN115331181 A CN 115331181A CN 202210961734 A CN202210961734 A CN 202210961734A CN 115331181 A CN115331181 A CN 115331181A
Authority
CN
China
Prior art keywords
vehicle
image
images
detection
detection positions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210961734.0A
Other languages
English (en)
Inventor
胡中华
刘园
刘鸣
陈琰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Signalway Technologies Co ltd
Original Assignee
Beijing Signalway Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Signalway Technologies Co ltd filed Critical Beijing Signalway Technologies Co ltd
Priority to CN202210961734.0A priority Critical patent/CN115331181A/zh
Publication of CN115331181A publication Critical patent/CN115331181A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种车辆图像融合方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取至少两个检测位置的多个车辆图像；所述多个车辆图像是所述至少两个检测位置的摄像头，分别对行驶的车辆拍摄所得；分别按照不同所述检测位置的所述多个车辆图像之间的时间差异值，对不同所述检测位置的多个车辆图像进行匹配，得到所述车辆在各所述检测位置相关联的车辆图像；融合所述车辆在各所述检测位置相关联的车辆图像。采用本方法能够以时间差异值来对不同位置的多个车辆信息进行匹配，确定出不同角度下的车辆图像的匹配结果，进而准确地融合所述车辆在各所述检测位置相关联的车辆图像。

Description

车辆图像融合方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种车辆图像融合方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
现有的车型识别技术中，基于激光或红外光栅的车型识别方法存在着缺乏有效直观的检测证据、施工复杂、造价较高、容易受雨雪、大雾等复杂天气的影响等缺点；基于视频的图像拼接识别的方式虽然克服了激光、红外光栅的缺点，成为了当前主流方法。但同样存在问题：对环境有较高要求，很容易因外部(光线、非机动车)干扰等因素，导致了识别效果差；基于多传感器融合的车型识别方法则存在着，如何协同处理不同类型、不同工作方式的传感器，达到整体系统的最优状态的问题，不能够有效的把车辆的不同时刻、不同场景的图片、结构化信息融合起来。
发明内容
基于此，有必要按照上述技术问题，提供一种能够提高效率的车辆图像融合方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种车辆图像融合方法，所述方法包括：
获取至少两个检测位置的多个车辆图像；所述多个车辆图像是所述至少两个检测位置的摄像头，分别对行驶的车辆拍摄所得；
分别按照不同所述检测位置的所述多个车辆图像之间的时间差异值，对不同所述检测位置的多个车辆图像进行匹配，得到所述车辆在各所述检测位置相关联的车辆图像；
融合所述车辆在各所述检测位置相关联的车辆图像。
在其中一个实施例中，所述分别按照不同所述检测位置的所述多个车辆图像之间的时间差异值，对不同所述检测位置的多个车辆图像进行匹配，得到所述车辆在各所述检测位置相关联的车辆图像，包括：
分别按照不同所述检测位置的所述多个车辆图像，获取各所述车辆图像的图像检测时间并识别出车辆速度；
根据相邻的检测位置的间距与所述车辆速度，计算所述车辆在所述相邻的检测位置间行驶的预估行驶时间；
依据所述预估行驶时间，以及所述相邻的检测位置的各所述车辆图像的检测时间，生成所述相邻的检测位置的多个车辆图像之间的时间差异值；
根据所述时间差异值，在所述相邻的检测位置的多个车辆图像中，确定所述车辆在各所述检测位置相关联的车辆图像；所述车辆在各所述检测位置车辆图像与所述相邻的检测位置是一一对应的。
在其中一个实施例中，所述根据所述时间差异值，在所述相邻的检测位置的多个车辆图像中，确定所述车辆在各所述检测位置相关联的车辆图像，包括：
根据所述时间差异值，选择目标时间差异值；
当判断所述目标时间差异值小于间隔异常阈值时，将所述目标时间差异值相对应的车辆图像分别确定为所述车辆在各所述检测位置的车辆图像；
当判断所述目标时间差异值大于所述间隔异常阈值时，计算所述目标时间差异值相对应的车辆图像之间的匹配度，按照所述匹配度确定所述目标时间差异值相对应的车辆图像是否为所述车辆在各所述检测位置的车辆图像。
在其中一个实施例中，在第一待融合车辆图像与第二待融合车辆图像中的一个待融合车辆图像不存在车牌信息，所述匹配度包括色彩匹配度；在第一待融合车辆图像与第二待融合车辆图像均存在车牌信息时，所述匹配度包括所述色彩匹配度和车牌匹配度，且所述车牌匹配度的优先级高于所述色彩匹配度的优先级。
在其中一个实施例中，所述融合所述车辆在各所述检测位置相关联的车辆图像之前，所述方法还包括：
当所述车辆速度小于车速阈值时，按照各所述检测位置的顺序获取对应的预计拍摄时间顺序，判断所述预计拍摄时间顺序与不同所述检测位置的车辆图像的拍摄时间是否匹配，得到拍摄时间匹配结果；基于所述拍摄时间匹配结果，判断是否融合所述车辆在各所述检测位置相关联的车辆图像；
当所述车辆速度大于所述车速阈值时，按照各所述检测位置的顺序对应的拍摄时间间隔与间隔阈值参数是否相对应，判断是否融合所述车辆在各所述检测位置相关联的车辆图像。
在其中一个实施例中，所述融合所述车辆在各所述检测位置相关联的多个车辆图像之前，所述方法还包括：
获取按照不同所述检测位置对所述车辆进行拍摄时的位置标识顺序；
依据所述位置标识顺序，对不同所述检测位置的所述车辆图像携带的标识进行匹配，得到标识匹配结果；
基于所述标识匹配结果，判断是否融合所述车辆在各所述检测位置相关联的车辆图像。
在其中一个实施例中，所述至少两个检测位置的摄像头，分别对行驶的车辆拍摄，包括：
当第一检测位置的摄像头检测到行驶的车辆时，计算车辆速度；
所述第一检测位置的摄像头按照所述车辆速度，预估所述行驶的车辆到达第二检测位置的预估拍摄时间；
所述第一检测位置的摄像头发送所述预估拍摄时间到所述第二检测位置的摄像头，以使所述第二检测位置的摄像头进行拍摄。
第二方面，本申请还提供了一种车辆图像融合装置。所述装置包括：
图像获取模块，用于获取至少两个检测位置的多个车辆图像；所述多个车辆图像是所述至少两个检测位置的摄像头，分别对行驶的车辆拍摄所得；
图像匹配模块，用于分别按照不同所述检测位置的所述多个车辆图像之间的时间差异值，对不同所述检测位置的多个车辆图像进行匹配，得到所述车辆在各所述检测位置相关联的车辆图像；
图像融合模块，用于融合所述车辆在各所述检测位置相关联的车辆图像。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意实施例中车辆图像融合的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意实施例中车辆图像融合的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任意实施例中车辆图像融合的步骤。
上述车辆图像融合方法、装置、计算机设备、存储介质和计算机程序产品，获取至少两个检测位置的多个车辆图像，得到了不同角度拍摄的车辆图像；分别按照不同所述检测位置的所述多个车辆图像之间的时间差异值，对不同所述检测位置的多个车辆图像进行匹配，以时间差异值来对不同位置的多个车辆信息进行匹配，确定出不同角度下的车辆图像的匹配结果，不直接计算图片相似度，也可以直接得到该车辆在各所述检测位置相关联的车辆图像；进而融合所述车辆在各所述检测位置相关联的车辆图像，对同一辆车的车头、车侧、车尾图片以及车牌号和车型的精准融合，为现有的物流园出入口的收费系统增加车侧图、车型等信息，为按照车型分类收费提供了依据和保证。
附图说明
图1为一个实施例中车辆图像融合方法的应用环境图；
图2为一个实施例中车辆图像融合方法的流程示意图；
图3为另一个实施例中车辆图像融合方法的流程示意图；
图4为一个实施例中车辆图像融合方法的流程示意图；
图5为一个实施例中车辆图像融合装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的车辆图像融合方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种车辆图像融合方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
步骤202，获取至少两个检测位置的多个车辆图像；多个车辆图像是至少两个检测位置的摄像头，分别对行驶的车辆拍摄所得。
检测位置是摄像头所在的位置，多个检测位置用于确定拍摄车辆的角度，这些角度分别拍摄车辆的不同区域，分别得到车头图像、车侧图像及车尾图像。对某个检测位置进行示例性地阐述。摄像机安装于出入口道路侧边，安装高度1.2m～1.8m，车侧识别单元视野中心线垂直于出入口道路车辆行进方向，向下俯视角度为0～15度，距离道路边缘0.5～1.2m。摄像头选用1.4～2mm鱼眼镜头。调整水平视角，让路面行车方向在图像中水平，保证车辆在图像中水平运动。
检测位置的多个车辆图像，是基于某个角度对车辆行驶的过程进行拍摄的，而得到该检测位置的多个车辆图像。车辆行驶的过程是指道路上不同时刻的车辆位置变化，而随着车辆位置的变化所拍摄的图像构成了多个车辆图像。其中，一个车辆图像可以进行识别，识别结果是从车辆图像中提取出的相应角度下拍摄的车辆的信息，而一个车辆图像中提取的信息可以是一个或多个车辆的信息，一个或多个车辆的信息均可以通过本申请的方案确定出其相关联的车辆图像。由此，通过检测位置确定出相关联的车辆图像，以进行图像拼接。
当多个车辆图像是视频中的各个图像时，检测位置可以确定出其相关联的车辆图像，并进行识别，得到高可信度的识别结果。
而在应对视频的异常情况下，终端通过缓存大图单帧的方式来实现识别的功能，在车侧识别单元进行实时检测车辆的时间，通知车头、车尾识别单元使用缓存大图来进行单帧识别。
在一个实施例中，至少两个检测位置的摄像头，分别对行驶的车辆拍摄，包括：当第一检测位置的摄像头检测到行驶的车辆时，计算车辆速度；第一检测位置的摄像头按照车辆速度，预估行驶的车辆到达第二检测位置的预估拍摄时间；第一检测位置的摄像头发送预估拍摄时间到第二检测位置的摄像头，以使第二检测位置的摄像头进行拍摄。
第一检测位置与第二检测位置是相对应的检测位置。第一检测位置的摄像头所拍摄的车辆图像中所提取出的信息，不但用于确定出其相关联的车辆图像，还用于确定第二检测位置的摄像头的拍摄时机，以控制第二检测位置的摄像头按照预估拍摄时间拍摄车辆。
示例性地，第一检测位置是车侧识别单元的位置，第二检测位置是车头识别单元与车尾识别单元中的至少一个识别单元的位置。当车侧识别单元拍摄到车头时，计算车辆速度，按照车辆速度预估行驶的车辆到达车头识别单元对应位置的预估拍摄时间，再将预估拍摄时间发送给车头识别单元，以使车头识别单元在预估拍摄时间拍摄车辆；接下来，当车侧识别单元拍摄到车尾时，计算车辆速度，按照车辆速度预估行驶的车辆到达车尾识别单元对应位置的预估拍摄时间，再将车辆到达车尾识别单元对应位置的预估拍摄时间发送给车尾识别单元，以使车尾识别单元在预估拍摄时间拍摄车辆。其中，车头识别单元是拍摄车头的摄像头及相应设备，车尾识别单元是拍摄车尾的摄像头及相应设备。
控制第二检测位置的摄像头按照预估拍摄时间拍摄车辆，包括：车头识别单元在对应的预估拍摄时间，首次对车辆的车头拍摄；在拍摄的过程中，每当车侧识别单元检测车辆行驶了预设距离(如6米)，则触发车头识别单元进行一次拍摄。相类似的，车尾识别单元在对应的预估拍摄时间，拍摄车辆的车尾。而不论是否为首次拍摄，均可以得到定时缓存图片，定时缓存图片用于输出单帧识别结果，而单帧识别结果是车辆图像中提取的信息。定时缓存图片是在这一异常情况下的备选结果。车侧识别单元通过实时的检测车辆通过车侧识别单元的时间，来通知车头、车尾识别单元使用缓存大图来进行单帧识别。
缓存大图单帧识别结果，这一类型是在应对异常情况下的备选结果。车侧识别单元通过实时的检测车辆通过车侧识别单元的时间，来通知车头、车尾识别单元使用缓存大图来进行单帧识别。
具体的，各个检测位置的多个车辆图像分别构成缓存队列，视频拍摄机制及缓存机制如下：
车侧识别单元检测到车辆经过时，通过计算车辆速度，预估出到达车头识别单元的首次预估拍摄时间，发送触发信号时并附带上车头的预估拍摄时间、ID，给车头识别单元。而在车头的预估拍摄时间后，车侧识别单元每当检测到车辆移动6米，则再次发出缓存指令，触发车头识别单元进行拍摄。当检测到车辆完全通过车侧识别单元后，通过计算车辆速度，预估出到达车尾识别单元的预估拍摄时间，发送信号并附带上预估拍摄时间、ID给车尾识别单元。
对应的，若车头识别单元或车尾识别单元能够输出视频流的识别结果，则遵循视频拍摄机制，优先采用视频流的识别结果提取相应的车辆信息，以进行图像融合；若车头识别单元与车尾识别单元中的一个识别单元无法输出视频流的识别结果，则无法输出视频流的识别结果的识别单元启用缓存机制，按照缓存机制每隔500ms缓存一张大图放到缓存队列；当收到缓存指令所触发的信号时，通过附带的预估拍摄时间，在缓存队列里查找时间最接近的缓存大图，进行单帧识别，并输出结果。并在识别结果中附带触发ID字段，视频流结果ID为0，单帧识别结果ID为车侧触发时携带ID，以此来区分这两种结果。
其中，当车侧识别结果能够通过融合算法计算至少一个维度的差异值，则以相应维度的差异值寻找车头识别结果或者车尾识别结果中的一种识别结果；若找到某识别结果，则不会使用单帧识别结果；否则，使用单帧识别结果供融合方法来选出合适的待融合的车辆图像。
步骤204，分别按照不同检测位置的多个车辆图像之间的时间差异值，对不同检测位置的多个车辆图像进行匹配，得到车辆在各检测位置相关联的车辆图像。
时间差异值是时间轴的维度下，不同检测位置的多个车辆图像之间的差异值。当某个检测位置的多个车辆图像形成缓存队列或栈等图像集合时，该图像集合与另一检测位置的图像集合分别选择各个图像进行时间差异值的计算，进而得到这两个图像集合在各检测位置相关联的车辆图像。检测位置相关联的车辆图像，是同一个车辆的待融合的车辆图像，是基于时间进行差异值计算的待融合的车辆图像。
例如：第一检测位置的摄像头依次拍摄了A1图像与A2图像，第二检测位置的摄像头依次拍摄了B图像，则计算A1图像与B图像的之间的时间差异值，再计算A2图像与B图像的之间的时间差异值；对这两个时间差异值进行比较，得到B图像的时间差异值匹配结果；B图像的时间差异值匹配结果，用于从A1图像与A2图像择一选择出与第二检测位置的B图像相关联的车辆图像。
在一个实施例中，通过NTP作为多相机的时间同步工具，保证各个检测位置的摄像头的时间位于同一个时间轴上，从理论上保证了多个车辆顺序由检测位置的摄像头进行拍摄时，各车辆的识别结果也是顺序输出。其次，当环境、人为因素的干扰，造成了出现不连续或不符合预计拍摄时间顺序时，有助于根据融合算法与结果中的结构化信息进行计算，来对异常干扰进行纠正和错误结果的过滤，来保证融合结果的正确性。
在一个实施例中，分别按照不同检测位置的多个车辆图像之间的时间差异值，对不同检测位置的多个车辆图像进行匹配，得到车辆在各检测位置相关联的车辆图像，包括：
分别按照不同检测位置的多个车辆图像，获取各车辆图像的图像检测时间并识别出车辆速度；根据相邻的检测位置的间距与车辆速度，计算车辆在相邻的检测位置间行驶的预估行驶时间；依据预估行驶时间，以及相邻的检测位置的各车辆图像的检测时间，生成相邻的检测位置的多个车辆图像之间的时间差异值；根据时间差异值，在相邻的检测位置的多个车辆图像中，确定车辆在各检测位置相关联的车辆图像；车辆在各检测位置车辆图像与相邻的检测位置是一一对应的。
图像检测时间是某检测位置的摄像头拍摄某个车辆图像的时间，每个车辆图像均存在一个图像检测时间。对于一个检测位置的多个图像检测时间，各图像检测时间应当是顺序排列的。
不同于直接获取到的图像检测时间，车辆速度是基于一个检测位置的至少两个车辆图像识别所得到的。识别出的车辆速度是车辆在相邻的检测位置之间行驶的速度。相邻的检测位置的摄像头所拍摄的图像，若是不同检测位置，则会按照车辆图像进行匹配。
计算车辆在相邻的检测位置间行驶的预估行驶时间，其是计算出车辆在相邻的检测位置间行驶的时间，具体的计算过程可以是按照比值进行计算的过程。计算出的预估行驶时间可以是预估拍摄时间，也可以用于确定首次拍摄的预估拍摄时间。
在一个实施例中，根据时间差异值，在相邻的检测位置的多个车辆图像中，确定车辆在各检测位置相关联的车辆图像，包括：当时间差异值是时间的差值时；根据时间差异值的最小值，在相邻的检测位置的多个车辆图像中进行查找；将时间差异值的最小值对应的各检测位置的车辆图像，确定为该车辆在各检测位置相关联的车辆图像。其中，最小值对应的各检测位置的车辆图像，与各检测位置的数量是一一对应的。由此，在各检测单元的摄像头均是拍摄的正常情况下，实现了目标时间差异值的选取。需要了解的是，时间差异值不一定是时间的差值或基于差值计算出的差异值，还可以是比值、方差等方式计算出的差异值。
进一步地，不论是拍摄的正常情况，还是异常情况，均可确定检测位置相关联的车辆图像。间隔异常阈值是指，相邻检测位置之间的时间间隔阈值参数的倍数，其可以是两倍。考虑类似的异常情况可以是：一辆车A经过设备之后，由于各种异常原因(比如跟车太近识别不到车牌)，在车头识别单元的车头结果队列里没有车辆A的识别结果，且车头结果队列里有前一车辆B的车头结果(前一车辆B是车辆A在一个小时之前进行识别的)，此时，车头结果是车辆B的，车身结果是车辆A的，他们的时间差就会大的离谱。
为了解决这一问题，根据时间差异值，在相邻的检测位置的多个车辆图像中，确定车辆在各检测位置相关联的车辆图像，包括：
根据时间差异值，选择目标时间差异值。
当判断目标时间差异值小于间隔异常阈值时，将目标时间差异值相对应的车辆图像分别确定为车辆在各检测位置的车辆图像。其中，目标时间差异值小于间隔异常阈值时，相邻的检测位置能够正常拍摄车辆，而目标时间差异值是选出的时间差异值，选出的时间差异值可以是不同检测位置的车辆图像之间的最小值，也可以是其他方式选择出的。
当判断目标时间差异值大于间隔异常阈值时，计算目标时间差异值相对应的车辆图像之间的匹配度，按照匹配度确定目标时间差异值相对应的车辆图像是否为车辆在各检测位置的车辆图像。由此，在目标时间差异值小于间隔异常阈值时，无需进行针对图像提取信息，较为便捷地计算出相匹配的图像；而在目标时间差异值超过间隔异常阈值时，也可以计算车辆图像之间的匹配度，来判断目标时间差异值相对应的车辆图像是否为车辆在各检测位置的车辆图像。
其中，在第一待融合车辆图像与第二待融合车辆图像中的一个待融合车辆图像不存在车牌信息，匹配度包括色彩匹配度；在第一待融合车辆图像与第二待融合车辆图像均存在车牌信息时，匹配度包括色彩匹配度和车牌匹配度，且车牌匹配度的优先级高于色彩匹配度的优先级。
具体的，色彩匹配度为计算至少两个颜色的相似度；其可以是通过计算两个颜色的欧式距离所得到的，其也可以是通过计算颜色与预计组合的相似度来表示两个颜色所得到的。当车头区域和车侧区域的车辆图像进行融合，且这一融合过程可以是首次融合，可以只计算色彩匹配度。
车牌匹配度是基于车辆图像中提取出的车牌信息计算出的匹配度；其可以是通过图像识别的任意方法识别出的，用于确定不同车辆图像的车牌信息是否匹配。当第一待融合车辆图像是车头区域和车侧区域的车辆图像融合所得到的，则第一待融合车辆图像中存在车牌信息，因而可以与第二待融合车辆图像——车尾区域的车辆图像进行融合。
在一个实施例中，主要论述车牌匹配度与色彩匹配度的优先级，该优先级用于确定匹配度的计算顺序。当车牌匹配度表征第一待融合车辆图像与第二待融合车辆图像之间的车牌信息是相一致的，则确定第一待融合车辆图像与第二待融合车辆图像进行融合的；当车牌匹配度表征第一待融合车辆图像与第二待融合车辆图像之间的车牌信息是不一致的，且第一待融合车辆图像与第二待融合车辆图像均与其他车辆图像的车辆信息不一致，则通过计算出的色彩匹配度确定第一待融合车辆图像与第二待融合车辆图像是否融合。
在一个实施例中，融合车辆在各检测位置相关联的车辆图像之前，该方法还包括：
当车辆速度小于车速阈值时，按照各检测位置的顺序获取对应的预计拍摄时间顺序，判断预计拍摄时间顺序与不同检测位置的车辆图像的拍摄时间是否匹配，得到拍摄时间匹配结果；基于拍摄时间匹配结果，判断是否融合车辆在各检测位置相关联的车辆图像。
当车辆速度大于车速阈值时，按照各检测位置的顺序对应的拍摄时间间隔与时间间隔阈值参数是否相对应，判断是否融合车辆在各检测位置相关联的车辆图像。
车速阈值是识别出的车辆速度最大值。当通车头识别单元计算出的车辆速度大于融合算法预设的车速阈值，则认为当前车辆通过车侧识别单元或相应终端时是非正常的情况，可能是如下情况中的一种：a.车辆速度并非实际运动的车速；b.当前车辆速度过快，需要给设备一个处理时间；c.其它异常情况下。因此，按照各检测位置的顺序对应的拍摄时间间隔与时间间隔阈值参数是否相对应，通过这一个相对宽松的判断标准，提高融合算法的鲁棒性。
当车辆速度小于车速阈值时，按照各检测位置的顺序获取对应的预计拍摄时间顺序，依次判断是否相关联的车辆图像是否存在异常。例如：当各检测位置的排列顺序依次为，车头识别单元的位置、车侧识别单元的位置，则预计拍摄时间顺序应当是车头识别单元的拍摄时间、车侧识别单元的拍摄时间，而当拍摄时间顺序与不同检测位置的车辆图像的拍摄时间是匹配的，则融合车辆在各检测位置相关联的车辆图像；否则，不融合车辆在各检测位置相关联的车辆图像。
在一个实施例中，在融合车辆在各检测位置相关联的多个车辆图像之前，该方法还包括：获取按照不同检测位置对车辆进行拍摄时的位置标识顺序；依据位置标识顺序，对不同检测位置的车辆图像携带的标识进行匹配，得到标识匹配结果；基于标识匹配结果，判断是否融合车辆在各检测位置相关联的车辆图像。
位置标识顺序是各检测位置依次在拍摄过程中生成标识的顺序，用于确定不同检测位置所拍摄的图像是否匹配。
例如：位置标识顺序是指，车头检测单元所拍摄的车辆图像的位置标识顺序依次为标识1、标识2，对应的，车侧识别单元所拍摄的车辆图像的位置标识顺序是依次为标识A、标识B；
则当车头识别单元的检测位置的车辆图像携带的标识应当依次为标识1、标识2，且车侧识别单元的检测位置的车辆图像携带的标识应当依次为标识A、标识B；
由此，确定携带标识1的车辆图像，以及携带标识A的车辆图像是某一车辆在各检测位置相关联的车辆图像；而确定携带标识2的车辆图像，以及携带标识B的车辆图像是另一车辆在各检测位置相关联的车辆图像。
步骤206，融合车辆在各检测位置相关联的多个车辆图像。
在一个实施例中，融合车辆在各检测位置相关联的多个车辆图像是指，对同一车辆在各检测位置相关联的车辆图像进行融合，以得到该车辆的融合后图像。例如：对经过的车辆准确的抓拍车辆图像，车辆图像包括车头图、车侧图、车侧图。再分别车头图、车侧图、车侧图识别出结构化的车型信息，并准确的融合在一起，以得到相应的车辆图像。
上述车辆图像融合方法中，获取至少两个检测位置的多个车辆图像，得到了不同角度拍摄的车辆图像；分别按照不同检测位置的多个车辆图像之间的时间差异值，对不同检测位置的多个车辆图像进行匹配，以时间差异值来对不同位置的多个车辆信息进行匹配，确定出不同角度下的车辆图像的匹配结果，不直接计算图片相似度，也可以直接得到该车辆在各检测位置相关联的车辆图像；进而融合车辆在各检测位置相关联的车辆图像，对同一辆车的车头、车侧、车尾图片以及车牌号和车型的精准融合，为现有的物流园出入口的收费系统增加车侧图、车型等信息，为按照车型分类收费提供了依据和保证。
在一个实施例中，终端以时间轴作为主要依据，配合车头识别单元输出的结构化信息(车牌号、抓拍图、车头颜色、检测时间、触发ID等)、车侧识侧别单元输出的结构化信息(车侧拼接大图、车头检测时间、车尾检测时间、车速、车轮开始检测时间、车轮结束检测时间、触发ID等)、车尾识别单元输出的结构化信息(车牌号、抓拍图、车侧颜色、检测时间、触发ID等)，通过融合算法来完成一辆车的多角度抓拍图的信息融合。
在一个实施例中，第一检测位置是车侧识别单元的位置，第二检测位置是车头识别单元的位置。
设车头检测单元所识别结果Hn，n表示车头识别的第几个识别结果；车头检测单元的拍摄时间为Hn.T0，车头车牌号Hn.P，车头颜色Hn.C，车头速度Hn.V，触发位置标识ID为Hn.ID，S为车头识别单元的识别位置到车侧检测单元的位置的距离。
设车侧结果Bn，n表示车侧识别的第几个识别结果；车头检测时间为Bn.T0，车轮开始检测时间Bn.T1，车轮结束检测时间Bn.T2，车尾检测时间为Bn.T3，车辆通过车侧的时间为Bn.T4，车侧颜色Bn.C，车长Bn.L，车俩通过速度为Bn.V，触发位置标识ID为Bn.ID。
Figure BDA0003793553660000131
Figure BDA0003793553660000132
Figure BDA0003793553660000133
其中，n1与n2是无关的参数。由此，可以在正常情况下，进行车头和车侧识别单元车头识别单元进行结合。其中，公式(1)用于选择目标时间差异值；公式(2)按照各所述检测位置的顺序获取对应的预计拍摄时间顺序，确定所述预计拍摄时间顺序与不同所述检测位置的车辆图像的拍摄时间是匹配的；公式(3)用于依据所述位置标识顺序，确定不同所述检测位置的所述车辆图像携带的标识是匹配的。
进一步地，当所述车辆速度大于所述车速阈值时，按照各所述检测位置的顺序对应的拍摄时间间隔与时间间隔阈值参数是否相对应，判断是否融合所述车辆在各所述检测位置相关联的车辆图像，即Hn.V>P2，则替换公式(2)为如下：
Figure BDA0003793553660000141
其目的为，当通车头识别单元计算出的Hn.V大于融合算法预设的阈值P2时，则融合算法认为当前车辆通过设备时是非正常的情况，可能有如下情况：a.车速Hn.V并非实际运动的车速；b.当前车速过快需要给设备一个处理时间；c.其它异常情况下。则需要一个相对宽松的判断阈值公式(4)替换公式(2)来进行融合算法，提高融合算法的鲁棒性。
进一步地，如果间隔异常阈值是时间间隔阈值参数的两倍，且目标时间差异值超过间隔异常阈值时，满足公式(5)，如下：
Figure BDA0003793553660000142
则在计算所述目标时间差异值相对应的车辆图像之间的匹配度时，采用公式(6)，如下：
Figure BDA0003793553660000143
其中，similar1为计算两个颜色的相似度，通过计算两个颜色的欧式距离来表示两个颜色的相似度。如果待融合车辆图像的两个识别结果满足公式(5)，则认为系统处于特殊的状态，如跟车、无牌车等情况，则需要增加公式(6)来保证融合算法的正确性，如果不符合公式(6)，则继续等待新的识别结果来进行融合算法。
在一个实施例中，第一检测位置是车侧识别单元的位置，第二检测位置是车尾识别单元的位置。
设车尾结果En，n表示尾识别的第几个识别结果；车尾检测时间为En.T0，车尾车牌En.P，车尾颜色En.C，车尾速度En.V，触发位置标识ID为En.ID，S为车尾识别单元的识别位置到车侧检测单元这一设备的距离。设车尾与车侧结果时间间隔阈值参数P3，车尾车速阈值P4。
当En.P＝＝Hn.P时，直接使用此车牌匹配度完成匹配融合。否则，使用与于公式(1)-公式(6)一一对应的公式(7)-公式(12)，以及公式(13)来完成图像融合。
Figure BDA0003793553660000151
Figure BDA0003793553660000152
Figure BDA0003793553660000153
特殊的，如果
Figure BDA0003793553660000154
则替换公式(8)为如下：
Figure BDA0003793553660000155
特殊的，如果，
Figure BDA0003793553660000156
则还需满足：
Figure BDA0003793553660000157
Figure BDA0003793553660000158
其中，similar1如之前所述，为颜色相似度计算；similar2为计算两个车牌的相似度，通过比较两个车牌字符串，获取相同的位数来表示两个车牌的相似度，当前融合算法默认5位字符相同认为两个车牌相似。当融合算法最终查找出的结果也同时满足公式(11)时，意味着选出的结果可能并不是最合适的结果，因此需要增加判断条件公式(12)、公式(13)，收紧判断条件，提高算法正确率。若不满足公式(12)、公式(13)，则继续等待新的识别结果来进行融合。
由此，本专利方法能对同一辆车的车头、车侧、车尾图片以及车牌号和车型的精准融合，构成车辆多维数据，为现有的物流园出入口的收费系统增加车侧图、车型等信息，为按照车型分类收费提供了依据和保证。在实际测试中，无论是否拥堵，且在有非机动车辆、行人在背景环境中运动干扰的情况下，融合率可达99.5％以上。
在一个实施例中，如图3所示，从车头识别单元、车侧识别单元及车尾识别单元三个角度的拍摄，确定相应的检测流程。
对于视频流识别的过程，车头识别单元、车尾识别单元分别定时输出相应的视频流结果，基于视频流结果生成车头结果队列、车尾结果队列，再对车头结果队列、车尾结果队列分别进行过滤，按照过滤后的结果进行图像融合。
在车侧识别单元检测到车头后，触发车头识别单元定时缓存图片，且每当车侧识别单元检测到车辆移动6米触发一次定时缓存图片拍摄，以得到车头的单帧识别结果，相对应的，可采用相似的方式获取车尾的单帧识别结果。单帧识别结果，这一类型是在应对异常情况下的备选结果。车侧识别单元通过实时的检测车辆通过车侧识别单元的时间，来通知车头、车尾识别单元使用缓存大图来进行单帧识别。
在得到车头、车侧、车尾的结果队列，且分别进行过滤够，按照本实施例的方案进行融合，先融合车头、车侧的图像，得到第一待融合车辆图像，再将第一待融合车辆图像与第二待融合车辆图像(车尾的图像)进行融合，以输出该车辆完整的融合信息。
在一个较为完整的实施例中，如图4所示。本专利提供了一种多相机多角度图片融合技术，可以将经过的车辆，准确的抓拍下车头图、车尾图、车侧图，识别出结构化的车型信息，并准确的融合各角度的车辆图像。相对现有技术，本方法是通过使用多个同类型不同角度下的传感器，并在复杂的环境下，过滤其中的干扰因素，提取出有效的车型信息，完成识别融合处理。具体步骤为：
S401、摄像机安装于出入口道路侧边。
具体的安装参数涉及，安装高度1.2m～1.8m，车侧识别单元视野中心线垂直于出入口道路车辆行进方向，向下俯视角度为0～15度，距离道路边缘0.5～1.2m。选用1.4～2mm鱼眼镜头。调整水平视角，让路面行车方向在图像中水平，保证车辆在图像中水平运动。
S402、车辆通过车头识别单元时：通过AI算法，识别输出车辆的结构化信息，包括车牌、拍摄时间、车头颜色等信息，以及车头的全景大图。
S403、车辆经过车侧识别单元时：通过车辆侧面拼接技术检测并识别出车速、车型、轴型、轴数等结构化信息、车侧拼接全景图等信息。
S404、车辆经过车尾识别单元时：通过AI算法，识别输出车辆的结构化信息，包括车牌、拍摄时间、车尾颜色等信息，以及车尾的全景大图。
S405、车头识别单元、和车尾识别单元分别将识别出的车辆信息通过网络协议传给车侧识别单元。
S406、融合时机：通过车侧结果查找车头和车尾结果，有车侧结果以后就分别去找满足条件的车头和车尾结果。
S407、车头识别单元、车尾识别单元出结果机制为两种结果：视频流识别结果，以及缓存大图单帧识别结果。
在步骤S407，是为应对人为、环境或无车牌等异常因素导致的车头或车尾结果丢失情况下，保证每一辆车有完整的车头、车侧、车尾数据。
a.视频流识别结果，这一类型结果可信度最高，优先使用。
b.缓存大图单帧识别结果，这一类型是在应对异常情况下的备选结果。车侧识别单元通过实时的检测车辆通过车侧识别单元的时间，来通知车头、车尾识别单元使用缓存大图来进行单帧识别。
在S407、车头识别单元、车尾识别单元出结果机制中，具体缓存机制如下：
车侧识别单元：a.检测到开始有车辆经过时，通过计算车辆速度，预估出到达车头识别单元的时间，发送触发信号时并附带上预估的时间、ID，给车头识别单元。b.之后车侧每检测到车辆移动6米，则再次触发车头识别单元。c.检测到车辆完全通过车侧识别单元之后，通过计算车辆速度，预估出到达车尾识别单元的时间，发送信号并附带上预估时间、ID给车尾识别单元。
车头、车尾识别单元：a.输出视频流的识别结果。b.每隔500ms缓存一张大图放到缓存队列。当收到触发信号时，通过附带的预估时间，在缓存队列里查找时间最接近的缓存大图，进行单帧识别，并输出结果。并在识别结果中附带触发ID字段，视频流结果ID为0，单帧识别结果ID为车侧触发时携带ID，以此来区分这两种结果。
当车侧结果能够通过融合算法找到相应的车头、车尾结果时，则不会使用单帧识别结果。当通过融合算法找不到达到条件的车头车尾结果时，则会使用单帧识别结果，供融合方法来选出最适合的作为最终结果。
S408、融合方法：车侧识别单元根据融合算法在队列内部融合车头、车侧和车尾的结果并输出。
车侧与车头结果的融合算法：条件1：车头拍摄时间小于车侧的开始拍摄时间，目的是为了过滤掉上一辆车的车头结果，公式如下：
Figure BDA0003793553660000181
条件2：车轮拍摄时间减去车头拍摄时间、再减去车辆行驶到车侧识别单元的拍摄时间，得到时间差异值，再计算时间差异值的最小值，其目的是为了保证当前车头结果与车侧结果的匹配，过滤掉由于拥堵导致出现多个车头结果时，过滤掉前一辆或者后一辆的车头结果，公式如下：
Figure BDA0003793553660000182
条件3：车头的识别时间大于上一辆车的车侧开始拍摄时间。
条件4：车头ID为0，或车头ID等于车侧ID。
条件5：车速达到阈值P2时，适当放宽匹配的条件1，满足如下条件即可：
Figure BDA0003793553660000183
以此解决车速较快设备还在处理识别等异常情况下，没有输出结果的情况。
条件6：如果条件2中的最小值大于2*P1的阈值，则还需要满足额外如下的颜色相似条件，才能完成匹配融合：
Figure BDA0003793553660000184
综合以上条件满足选车头结果，如果都不满足则继续等待新的识别结果。等待超时或者下一辆车的车侧结果收到时，则直接使用单帧识别的结果作为替补结果进行融合，以确保每个车侧结果都能够找车头结果。
车侧与车尾结果的融合算法：
条件1：用车尾车牌去找已经融合的车头车侧结果的车牌，车牌号融合一致则车头车侧车尾为同一辆车，直接融合。
条件2：车尾识别时间大于车侧拼接结束时间，目的是为了过滤掉上一辆车的车尾结果。
条件3：车尾拍摄时间减去车侧车尾拍摄时间-车辆从车侧识别单元行驶到车尾识别单元所用的时间，寻找其中的最小值，过滤掉车尾的结果误检或者漏检结果。公式如下：
Figure BDA0003793553660000191
条件4：车尾ID为0，或车尾ID小于等于车侧ID。
如果通过以上条件选取满足的车尾结果，如果等待超时或者接收到下一辆车的车侧结果时，则使用单帧标识别结果来作为替补结果进行融合，以确保每个车侧结果都能够找到车尾结果。
S409、三个相机识别单元使用同一NTP服务器做为NTP时间源来做时间同步，每5分钟同步一次时间，防止3个相机的时间出现不同步的情况。
S410、通过以上步骤，可获取到同一辆车的车头、车侧、车尾图片的融合结果，从而完成融合工作，物流园出入口的车型收费提供清晰可靠的依据。
在一个实施例中，本申请是应用于物流园出入口多相机多角度抓拍相同车辆图片融合方法，其包括：
安装步骤：摄像机安装于出入口道路侧边，安装高度1.2m～1.8m，视野中心线垂直于出入口道路车辆行进方向，向下俯视角度为0～15度，距离道路边缘0.5～1.2m。选用2mm鱼眼镜头。调整水平视角，让路面行车方向在图像中水平，保证车辆在图像中水平运动。具体的，摄像机安装于出入口道路侧边，安装高度1.2m～1.8m，视野中心线垂直于出入口道路车辆行进方向，向下俯视角度为0～15度，距离道路边缘0.5～1.2m。选用1.4～2mm的鱼眼镜头。调整水平视角，让路面行车方向在图像中水平，保证车辆在图像中水平运动。
车头、车尾识别单元的识别步骤：车头识别单元输出的结构化信息(车牌号、抓拍图、颜色、检测时间等)、车尾识别单元输出的结构化信息(车牌号、抓拍图、颜色、检测时间等)。
车侧识别单元识别步骤：车侧识别单元输出的结构化信息(车侧拼接大图、车头检测时间、车尾检测时间、车速、车轮检测时间等)；计算车速，预测车辆通过车头、车尾识别单元时间，触发车头、车尾识别单元单帧识别。其中，通过车侧计算车速、预估时间，预测车辆通过车头识别单元的时间，触发车头输出单帧识别牌结果，为融合算法提供可靠的备选车头识别结果提供保障。
车头、车侧图像融合步骤：通过检测时间、车牌号、颜色、车头开始检测时间等来进行车头、车侧图像融合。其中，针对误检识别结果过滤或者其他异常情况判断条件判断车头、车侧图像融合完成。
车侧、车尾图像融合：通过检测时间、车牌号、颜色、车尾结束检测时间来进行车侧、车尾图像融合。其中，针对误检识别结果过滤或者其他异常情况判断条件判断车尾、车侧图像融合完成。
由此，作为物流体系中重要的一个节点，车型识别设备是物流园区的信息化、无人化建设是重要的组成部分。通过基于视频的车型识别设备所输出的车辆的多角度图片、过车视频、结构化的车辆识别信息，能够清晰、有效、直观的展示给用户，为物流园区收费提供依据，为物流园区出入通行效率提供保障。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的车辆图像融合方法的车辆图像融合装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个车辆图像融合装置实施例中的具体限定可以参见上文中对于车辆图像融合方法的限定，在此不再赘述。
在一个实施例中，如图5所示，提供了一种车辆图像融合装置。所述装置包括：
图像获取模块502，用于获取至少两个检测位置的多个车辆图像；所述多个车辆图像是所述至少两个检测位置的摄像头，分别对行驶的车辆拍摄所得；
图像匹配模块504，用于分别按照不同所述检测位置的所述多个车辆图像之间的时间差异值，对不同所述检测位置的多个车辆图像进行匹配，得到所述车辆在各所述检测位置相关联的车辆图像；
图像融合模块506，用于融合所述车辆在各所述检测位置相关联的车辆图像。
在其中一个实施例中，所述图像匹配模块504，用于：
分别按照不同所述检测位置的所述多个车辆图像，获取各所述车辆图像的图像检测时间并识别出车辆速度；
根据相邻的检测位置的间距与所述车辆速度，计算所述车辆在所述相邻的检测位置间行驶的预估行驶时间；
依据所述预估行驶时间，以及所述相邻的检测位置的各所述车辆图像的检测时间，生成所述相邻的检测位置的多个车辆图像之间的时间差异值；
根据所述时间差异值，在所述相邻的检测位置的多个车辆图像中，确定所述车辆在各所述检测位置相关联的车辆图像；所述车辆在各所述检测位置车辆图像与所述相邻的检测位置是一一对应的。
在其中一个实施例中，所述图像匹配模块504具体用于：
根据所述时间差异值，选择目标时间差异值；
当判断所述目标时间差异值小于间隔异常阈值时，将所述目标时间差异值相对应的车辆图像分别确定为所述车辆在各所述检测位置的车辆图像；
当判断所述目标时间差异值大于所述间隔异常阈值时，计算所述目标时间差异值相对应的车辆图像之间的匹配度，按照所述匹配度确定所述目标时间差异值相对应的车辆图像是否为所述车辆在各所述检测位置的车辆图像。
在其中一个实施例中，在第一待融合车辆图像与第二待融合车辆图像中的一个待融合车辆图像不存在车牌信息，所述匹配度包括色彩匹配度；在第一待融合车辆图像与第二待融合车辆图像均存在车牌信息时，所述匹配度包括所述色彩匹配度和车牌匹配度，且所述车牌匹配度的优先级高于所述色彩匹配度的优先级。
在其中一个实施例中，所述图像匹配模块504还用于：
当所述车辆速度小于车速阈值时，按照各所述检测位置的顺序获取对应的预计拍摄时间顺序，判断所述预计拍摄时间顺序与不同所述检测位置的车辆图像的拍摄时间是否匹配，得到拍摄时间匹配结果；基于所述拍摄时间匹配结果，判断是否融合所述车辆在各所述检测位置相关联的车辆图像；
当所述车辆速度大于所述车速阈值时，按照各所述检测位置的顺序对应的拍摄时间间隔与间隔阈值参数是否相对应，判断是否融合所述车辆在各所述检测位置相关联的车辆图像。
在其中一个实施例中，所述图像匹配模块504还用于：
获取按照不同所述检测位置对所述车辆进行拍摄时的位置标识顺序；
依据所述位置标识顺序，对不同所述检测位置的所述车辆图像携带的标识进行匹配，得到标识匹配结果；
基于所述标识匹配结果，判断是否融合所述车辆在各所述检测位置相关联的车辆图像。
在其中一个实施例中，所述图像获取模块502用于：
当第一检测位置的摄像头检测到行驶的车辆时，计算车辆速度；
所述第一检测位置的摄像头按照所述车辆速度，预估所述行驶的车辆到达第二检测位置的预估拍摄时间；
所述第一检测位置的摄像头发送所述预估拍摄时间到所述第二检测位置的摄像头，以使所述第二检测位置的摄像头进行拍摄。
上述车辆图像融合装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种车辆图像融合方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种车辆图像融合方法，其特征在于，所述方法包括：
获取至少两个检测位置的多个车辆图像；所述多个车辆图像是所述至少两个检测位置的摄像头，分别对行驶的车辆拍摄所得；
分别按照不同所述检测位置的所述多个车辆图像之间的时间差异值，对不同所述检测位置的多个车辆图像进行匹配，得到所述车辆在各所述检测位置相关联的车辆图像；
融合所述车辆在各所述检测位置相关联的车辆图像。
2.根据权利要求1所述的方法，其特征在于，所述分别按照不同所述检测位置的所述多个车辆图像之间的时间差异值，对不同所述检测位置的多个车辆图像进行匹配，得到所述车辆在各所述检测位置相关联的车辆图像，包括：
分别按照不同所述检测位置的所述多个车辆图像，获取各所述车辆图像的图像检测时间并识别出车辆速度；
根据相邻的检测位置的间距与所述车辆速度，计算所述车辆在所述相邻的检测位置间行驶的预估行驶时间；
依据所述预估行驶时间，以及所述相邻的检测位置的各所述车辆图像的检测时间，生成所述相邻的检测位置的多个车辆图像之间的时间差异值；
根据所述时间差异值，在所述相邻的检测位置的多个车辆图像中，确定所述车辆在各所述检测位置相关联的车辆图像；所述车辆在各所述检测位置车辆图像与所述相邻的检测位置是一一对应的。
3.根据权利要求2所述的方法，其特征在于，所述根据所述时间差异值，在所述相邻的检测位置的多个车辆图像中，确定所述车辆在各所述检测位置相关联的车辆图像，包括：
根据所述时间差异值，选择目标时间差异值；
当判断所述目标时间差异值小于间隔异常阈值时，将所述目标时间差异值相对应的车辆图像分别确定为所述车辆在各所述检测位置的车辆图像；
当判断所述目标时间差异值大于所述间隔异常阈值时，计算所述目标时间差异值相对应的车辆图像之间的匹配度，按照所述匹配度确定所述目标时间差异值相对应的车辆图像是否为所述车辆在各所述检测位置的车辆图像。
4.根据权利要求3所述的方法，其特征在于，在第一待融合车辆图像与第二待融合车辆图像中的一个待融合车辆图像不存在车牌信息，所述匹配度包括色彩匹配度；在第一待融合车辆图像与第二待融合车辆图像均存在车牌信息时，所述匹配度包括所述色彩匹配度和车牌匹配度，且所述车牌匹配度的优先级高于所述色彩匹配度的优先级。
5.根据权利要求1所述的方法，其特征在于，所述融合所述车辆在各所述检测位置相关联的车辆图像之前，所述方法还包括：
当所述车辆速度小于车速阈值时，按照各所述检测位置的顺序获取对应的预计拍摄时间顺序，判断所述预计拍摄时间顺序与不同所述检测位置的车辆图像的拍摄时间是否匹配，得到拍摄时间匹配结果；基于所述拍摄时间匹配结果，判断是否融合所述车辆在各所述检测位置相关联的车辆图像；
当所述车辆速度大于所述车速阈值时，按照各所述检测位置的顺序对应的拍摄时间间隔与间隔阈值参数是否相对应，判断是否融合所述车辆在各所述检测位置相关联的车辆图像。
6.根据权利要求1所述的方法，其特征在于，所述融合所述车辆在各所述检测位置相关联的多个车辆图像之前，所述方法还包括：
获取按照不同所述检测位置对所述车辆进行拍摄时的位置标识顺序；
依据所述位置标识顺序，对不同所述检测位置的所述车辆图像携带的标识进行匹配，得到标识匹配结果；
基于所述标识匹配结果，判断是否融合所述车辆在各所述检测位置相关联的车辆图像。
7.根据权利要求1至6任意一项所述的方法，其特征在于，所述至少两个检测位置的摄像头，分别对行驶的车辆拍摄，包括：
当第一检测位置的摄像头检测到行驶的车辆时，计算车辆速度；
所述第一检测位置的摄像头按照所述车辆速度，预估所述行驶的车辆到达第二检测位置的预估拍摄时间；
所述第一检测位置的摄像头发送所述预估拍摄时间到所述第二检测位置的摄像头，以使所述第二检测位置的摄像头进行拍摄。
8.一种车辆图像融合装置，其特征在于，所述装置包括：
图像获取模块，用于获取至少两个检测位置的多个车辆图像；所述多个车辆图像是所述至少两个检测位置的摄像头，分别对行驶的车辆拍摄所得；
图像匹配模块，用于分别按照不同所述检测位置的所述多个车辆图像之间的时间差异值，对不同所述检测位置的多个车辆图像进行匹配，得到所述车辆在各所述检测位置相关联的车辆图像；
图像融合模块，用于融合所述车辆在各所述检测位置相关联的车辆图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210961734.0A 2022-08-11 2022-08-11 车辆图像融合方法、装置、计算机设备和存储介质 Pending CN115331181A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210961734.0A CN115331181A (zh) 2022-08-11 2022-08-11 车辆图像融合方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210961734.0A CN115331181A (zh) 2022-08-11 2022-08-11 车辆图像融合方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115331181A true CN115331181A (zh) 2022-11-11

Family

ID=83921220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210961734.0A Pending CN115331181A (zh) 2022-08-11 2022-08-11 车辆图像融合方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115331181A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455792A (zh) * 2023-12-25 2024-01-26 武汉车凌智联科技有限公司 一种车辆内置360度全景影像合成处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455792A (zh) * 2023-12-25 2024-01-26 武汉车凌智联科技有限公司 一种车辆内置360度全景影像合成处理方法
CN117455792B (zh) * 2023-12-25 2024-03-22 武汉车凌智联科技有限公司 一种车辆内置360度全景影像合成处理方法

Similar Documents

Publication Publication Date Title
JP6844043B2 (ja) 視覚測位方法、装置、電子機器およびシステム
US9779311B2 (en) Integrated control system and method using surveillance camera for vehicle
US11250054B1 (en) Dynamic partitioning of input frame buffer to optimize resources of an object detection and recognition system
US10984275B1 (en) Determining location coordinates of a vehicle based on license plate metadata and video analytics
TWI770420B (zh) 車輛事故的鑑定方法及裝置、電子設備
CN111372037B (zh) 目标抓拍系统和方法
JP2020519989A (ja) ターゲット識別方法、装置、記憶媒体および電子機器
JP4957807B2 (ja) 移動物検知装置及び移動物検知プログラム
JP7456536B2 (ja) 移動体追跡システム、移動体追跡方法及びプログラム
CN106295598A (zh) 一种跨摄像头目标跟踪方法及装置
WO2014061342A1 (ja) 情報処理システム、情報処理方法及びプログラム
US20140277833A1 (en) Event triggered trip data recorder
CN106503622A (zh) 一种车辆反跟踪方法及装置
JP2014191664A (ja) 車両追跡プログラム、画像送信プログラム、サーバ装置、情報処理装置および車両追跡方法
CN107862072B (zh) 基于大数据技术分析车辆入城套牌作案的方法
CN112037245A (zh) 一种确定追踪目标相似度的方法和系统
CN111860352A (zh) 一种多镜头车辆轨迹全跟踪系统及方法
CN112241649A (zh) 一种目标识别方法及装置
WO2021053689A1 (en) Methods and systems for managing storage of videos in a storage device
CN115331181A (zh) 车辆图像融合方法、装置、计算机设备和存储介质
JP2012137320A (ja) 誘導案内装置、誘導案内方法、誘導案内プログラムおよび記録媒体
CN111183464B (zh) 基于车辆轨迹数据估计信号交叉路口的饱和流量的系统和方法
Matsuda et al. A system for real-time on-street parking detection and visualization on an edge device
JP6089698B2 (ja) 情報処理装置及び方法
CN111651547A (zh) 高精度地图数据的获取方法、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination