CN113436279A - 一种图像处理方法、装置及设备 - Google Patents

一种图像处理方法、装置及设备 Download PDF

Info

Publication number
CN113436279A
CN113436279A CN202110838166.0A CN202110838166A CN113436279A CN 113436279 A CN113436279 A CN 113436279A CN 202110838166 A CN202110838166 A CN 202110838166A CN 113436279 A CN113436279 A CN 113436279A
Authority
CN
China
Prior art keywords
image
camera
coordinate
area
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110838166.0A
Other languages
English (en)
Other versions
CN113436279B (zh
Inventor
赵武
徐忠杰
俞健男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202110838166.0A priority Critical patent/CN113436279B/zh
Publication of CN113436279A publication Critical patent/CN113436279A/zh
Application granted granted Critical
Publication of CN113436279B publication Critical patent/CN113436279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种图像处理方法、装置及设备，该方法包括：获取第一摄像机采集的第一图像，从第一图像中确定出目标对象所在的第一区域，确定第一区域对应的第一像素坐标；从第二摄像机采集的多个图像中选取与第一图像关联的第二图像；基于第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，将第一像素坐标转换为第二图像中的第二像素坐标，基于第二像素坐标从第二图像中确定出目标对象所在的第二区域；对第一图像中的第一区域进行标定，对第二图像中的第二区域进行标定，并关联已标定的第一图像和已标定的第二图像。通过本申请的技术方案，能够在不同摄像机采集的图像中确定同一目标对象，对目标对象进行自动标定，不需要人工标定。

Description

一种图像处理方法、装置及设备
技术领域
本申请涉及智能交通技术领域，尤其涉及一种图像处理方法、装置及设备。
背景技术
目标场景(如道路的路口等)通常会部署摄像机(如模拟摄像机、网络摄像机等)，通过摄像机采集目标场景的大量图像，基于这些图像能够及时发现违章车辆，并对违章车辆进行处罚，从而提示驾驶员不要危险驾驶，驾驶过程中需要注意路口状况，能够减少违章情况的发生，减少交通事故的发生。
为了发现违章车辆的违章行为，通常需要采集违章车辆的多张图像，这多张图像组成违章车辆的证据链图像，基于证据链图像能够发现违章车辆的违章行为。比如说，针对“车辆右转未礼让直行”这一违章行为，需要采集三张图像，如车辆驶过停止线位置的图像、车辆驶过未礼让触发线位置的图像、车辆驶过右转分界线位置的图像。基于上述三张图像，能够准确的获知车辆的行驶轨迹，从而发现违章车辆存在“车辆右转未礼让直行”这一违章行为。
但是，若上述三张图像均是位于车辆后侧的摄像机采集的图像，即图像显示的是车尾方向，则可能会发生违章行为被树木/广告牌遮挡等情况，导致无法基于上述三张图像确定违章行为，即可能无法准确确定出违章行为。
发明内容
本申请提供一种图像处理方法，所述方法包括：
获取第一摄像机采集的第一图像，从所述第一图像中确定出目标对象所在的第一区域，并确定所述第一区域对应的第一像素坐标；
从第二摄像机采集的多个图像中选取与所述第一图像关联的第二图像，所述第二图像的采集时刻与所述第一图像的采集时刻相同；其中，所述第二摄像机的可视区域与所述第一摄像机的可视区域存在重叠区域；
基于第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，将所述第一像素坐标转换为所述第二图像中的第二像素坐标，并基于所述第二像素坐标从所述第二图像中确定出所述目标对象所在的第二区域；
对所述第一图像中的第一区域进行标定，对所述第二图像中的第二区域进行标定，并关联已标定的第一图像和已标定的第二图像。
在一种可能的实施方式中，所述第一区域为第一矩形区域，所述第一像素坐标包括所述第一矩形区域的4个顶点的第一坐标值，所述第二像素坐标包括4个第一坐标值对应的4个第二坐标值；所述基于所述第二像素坐标从所述第二图像中确定出所述目标对象所在的第二区域，包括：
从所述第二图像中确定出所述4个第二坐标值组成的第二矩形区域；
将所述第二矩形区域确定为所述第二区域；或者，对所述第二矩形区域进行放大处理，将放大处理后的矩形区域确定为所述第二区域。
在一种可能的实施方式中，所述基于所述第二像素坐标从所述第二图像中确定出所述目标对象所在的第二区域之后，所述方法还包括：
将所述第二区域的子图像输入给已训练的目标深度学习模型，由所述目标深度学习模型对所述子图像进行处理，得到所述目标对象对应的属性信息；
其中，所述目标对象对应的属性信息包括以下至少一种：所述目标对象对应的车牌标识、车身特性、人脸特征、用户行为特征；
所述目标深度学习模型为用于检测属性信息的深度学习模型。
在一种可能的实施方式中，所述关联已标定的第一图像和已标定的第二图像之后，所述方法还包括：将所述已标定的第一图像和所述已标定的第二图像合成为证据链图像；关联所述目标对象对应的属性信息与所述证据链图像。
在一种可能的实施方式中，所述方法还包括：采用如下方式确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系：
通过第一摄像机采集目标场景的第一样本图像，通过第二摄像机采集所述目标场景的第二样本图像，所述目标场景包括多个标记点，所述第一样本图像包括所述多个标记点，所述第二样本图像包括所述多个标记点；
确定每个标记点对应的坐标点对，该标记点对应的坐标点对包括该标记点在第一样本图像中的坐标值、该标记点在第二样本图像中的坐标值；
基于所述多个标记点对应的多个坐标点对，确定所述第一摄像机的图像坐标系与所述第二摄像机的图像坐标系之间的转换关系。
在一种可能的实施方式中，所述方法还包括：采用如下方式确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系：
通过第一摄像机采集目标场景的第一样本图像，通过第二摄像机采集目标场景的第二样本图像，通过雷达采集目标场景的第三样本图像；其中，第一样本图像、第二样本图像和第三样本图像均包括所述目标场景的多个标记点；
确定每个标记点对应的第一坐标点对和第二坐标点对；其中，该标记点对应的第一坐标点对包括该标记点在第一样本图像中的坐标值、该标记点在第三样本图像中的坐标值；该标记点对应的第二坐标点对包括该标记点在第二样本图像中的坐标值、该标记点在第三样本图像中的坐标值；
基于所述多个标记点对应的多个第一坐标点对，确定第一摄像机的图像坐标系与所述雷达的雷达坐标系之间的第一转换关系；基于所述多个标记点对应的多个第二坐标点对，确定第二摄像机的图像坐标系与所述雷达的雷达坐标系之间的第二转换关系；基于所述第一转换关系和所述第二转换关系确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系。
示例性的，所述目标对象为目标车辆，所述第一摄像机是用于采集车尾方向的图像的摄像机，所述第二摄像机是用于采集车头方向的图像的摄像机。
本申请提供一种图像处理装置，所述装置包括：
确定模块，用于获取第一摄像机采集的第一图像，从所述第一图像中确定出目标对象所在的第一区域，并确定所述第一区域对应的第一像素坐标；
选取模块，用于从第二摄像机采集的多个图像中选取与所述第一图像关联的第二图像，所述第二图像的采集时刻与所述第一图像的采集时刻相同；其中，所述第二摄像机的可视区域与所述第一摄像机的可视区域存在重叠区域；
处理模块，用于基于第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，将所述第一像素坐标转换为所述第二图像中的第二像素坐标，基于所述第二像素坐标从所述第二图像中确定出所述目标对象所在的第二区域；
关联模块，用于对所述第一图像中的第一区域进行标定，对所述第二图像中的第二区域进行标定，关联已标定的第一图像和已标定的第二图像。
示例性的，第一区域为第一矩形区域，第一像素坐标包括所述第一矩形区域的4个顶点的第一坐标值，第二像素坐标包括4个第一坐标值对应的4个第二坐标值；所述处理模块基于所述第二像素坐标从所述第二图像中确定出所述目标对象所在的第二区域时具体用于：从第二图像中确定出所述4个第二坐标值组成的第二矩形区域；将所述第二矩形区域确定为所述第二区域；或，对所述第二矩形区域进行放大处理，将放大处理后的矩形区域确定为所述第二区域。
示例性的，所述处理模块还用于：将所述第二区域的子图像输入给已训练的目标深度学习模型，由所述目标深度学习模型对所述子图像进行处理，得到所述目标对象对应的属性信息；其中，所述目标对象对应的属性信息包括以下至少一种：所述目标对象对应的车牌标识、车身特性、人脸特征、用户行为特征；所述目标深度学习模型为用于检测属性信息的深度学习模型。
示例性的，所述处理模块还用于：采用如下方式确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系：通过第一摄像机采集目标场景的第一样本图像，通过第二摄像机采集目标场景的第二样本图像，通过雷达采集目标场景的第三样本图像；其中，第一样本图像、第二样本图像和第三样本图像均包括所述目标场景的多个标记点；确定每个标记点对应的第一坐标点对和第二坐标点对；其中，该标记点对应的第一坐标点对包括该标记点在第一样本图像中的坐标值、该标记点在第三样本图像中的坐标值；该标记点对应的第二坐标点对包括该标记点在第二样本图像中的坐标值、该标记点在第三样本图像中的坐标值；基于所述多个标记点对应的多个第一坐标点对，确定第一摄像机的图像坐标系与所述雷达的雷达坐标系之间的第一转换关系；基于所述多个标记点对应的多个第二坐标点对，确定第二摄像机的图像坐标系与所述雷达的雷达坐标系之间的第二转换关系；基于所述第一转换关系和所述第二转换关系确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系。
本申请提供一种图像处理设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；
所述处理器用于执行机器可执行指令，以实现如下步骤：
获取第一摄像机采集的第一图像，从所述第一图像中确定出目标对象所在的第一区域，并确定所述第一区域对应的第一像素坐标；
从第二摄像机采集的多个图像中选取与所述第一图像关联的第二图像，所述第二图像的采集时刻与所述第一图像的采集时刻相同；其中，所述第二摄像机的可视区域与所述第一摄像机的可视区域存在重叠区域；
基于第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，将所述第一像素坐标转换为所述第二图像中的第二像素坐标，并基于所述第二像素坐标从所述第二图像中确定出所述目标对象所在的第二区域；
对所述第一图像中的第一区域进行标定，对所述第二图像中的第二区域进行标定，并关联已标定的第一图像和已标定的第二图像。
由以上技术方案可见，本申请实施例中，可以对第一摄像机采集的第一图像和第二摄像机采集的第二图像进行联动，并对第一图像中的第一区域进行标定，对第二图像中的第二区域进行标定，且第一区域和第二区域对应同一目标对象，从而获知同一目标对象在不同摄像机采集的图像中的情况，在不同摄像机采集的图像中确定同一目标对象，对同一目标对象进行自动标定，不需要人工标定同一目标对象，减轻人工标定负担，在多个角度(即不同摄像机的角度)下精准锁定同一目标对象。当目标对象是违章车辆时，基于已标定的第一图像(即第一图像中已经对违章车辆进行标定)和已标定的第二图像(即第二图像中已经对违章车辆进行标定)，可以获知违章车辆在不同摄像机采集的图像中的情况，能够准确确定出违章车辆的违章行为。已知第一区域对应的第一像素坐标，可以基于第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，确定第二区域的第二像素坐标，从而准确的从第二图像中确定出目标对象所在的第二区域，精确的找到同一目标对象在不同图像中的区域。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的图像处理方法的流程示意图；
图2是本申请一种实施方式中的证据链图像的示意图；
图3是本申请一种实施方式中的确定转换关系的流程图；
图4是本申请一种实施方式中的确定转换关系的流程图；
图5是本申请一种实施方式中的图像处理方法的流程示意图；
图6是本申请一种实施方式中的图像处理装置的结构示意图；
图7是本申请一种实施方式中的图像处理设备的硬件结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
目标场景(如道路的路口等)通常会部署多个摄像机(如模拟摄像机、网络摄像机等)，通过这些摄像机采集目标场景的图像。为了区分方便，可以将多个摄像机中的任一摄像机记为第一摄像机，基于第一摄像机采集目标场景的大量图像，基于这些图像能够及时发现目标对象(如违章车辆)，并对违章车辆进行处罚。为了发现违章车辆的违章行为，第一摄像机需要采集违章车辆的多张图像，这多张图像组成违章车辆的证据链图像。比如说，针对“车辆右转未礼让直行”这一违章行为，第一摄像机需要采集三张图像，如车辆驶过停止线位置的图像(记为图像a1)、车辆驶过未礼让触发线位置的图像(记为图像a2)、车辆驶过右转分界线位置的图像(记为图像a3)。基于上述三张图像，就能够发现违章车辆存在“车辆右转未礼让直行”这一违章行为。
示例性的，可以将多个摄像机中除第一摄像机之外的每个摄像机记为第二摄像机，第二摄像机的数量可以为至少一个。针对每个第二摄像机，该第二摄像机也可以采集目标场景的大量图像。需要注意的是，第二摄像机的可视区域与第一摄像机的可视区域可以存在重叠区域。第二摄像机的可视区域与第一摄像机的可视区域存在重叠区域是指，第二摄像机的可视区域与第一摄像机的可视区域完全相同，或者，第二摄像机的可视区域与第一摄像机的可视区域部分相同。由于第二摄像机的可视区域与第一摄像机的可视区域存在重叠区域，因此，第二摄像机和第一摄像机能够采集同一区域(即目标场景)的图像，即目标对象(如违章车辆)位于第一摄像机采集的图像时，该目标对象(如违章车辆)也会位于第二摄像机采集的图像中。
基于每个第二摄像机采集的图像，可以从第二摄像机采集的所有图像中找到与图像a1关联的图像(记为图像b1，即车辆驶过停止线位置的图像)，从第二摄像机采集的所有图像中找到与图像a2关联的图像(记为图像b2，即车辆驶过未礼让触发线位置的图像)，从第二摄像机采集的所有图像中找到与图像a3关联的图像(记为图像b3，即车辆驶过右转分界线位置的图像)。
在此基础上，可以将图像a1与图像b1关联起来，将图像a2与图像b2关联起来，将图像a3与图像b3关联起来，且证据链图像包括图像a1与图像b1、图像a2与图像b2、图像a3与图像b3，从而示出违章车辆在不同摄像机视角下的图像。即使图像a1、图像a2和图像a3中的违章行为被树木/广告牌遮挡，也可以基于图像b1、图像b2和图像b3确定违章行为，即示出违章车辆的违章行为。
但是，目标场景(如道路的路口等)的情况比较复杂，会出现行人、机动车、非机动车等多种类型的对象，且各种类型的对象数量均很多，也就是说，图像a1、图像a2、图像a3、图像b1、图像b2和图像b3中均会包括多个对象。在此基础上，在从图像a1中确定出目标对象(如违章车辆)后，无法从图像b1中确定出该目标对象所在的区域，也无法对该目标对象进行标定。在从图像a2中确定出目标对象后，无法从图像b2中确定出该目标对象所在的区域，也无法对该目标对象进行标定。在从图像a3中确定出目标对象后，无法从图像b3中确定出该目标对象所在的区域，也无法对该目标对象进行标定。
针对上述问题，在一种可能的实施方式中，可以由用户进行人工标定，即用户在图像b1中人工标定该目标对象所在的区域，在图像b2中人工标定该目标对象所在的区域，在图像b3中人工标定该目标对象所在的区域。但是，上述方式需要用户进行人工标定，费时费力，极大的降低了处理效率。
与上述方式不同的是，本申请实施例中，已知目标对象(如违章车辆)在图像a1中的像素坐标，可以基于第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，确定该目标对象在图像b1中的像素坐标，从而准确的从图像b1中确定出该目标对象所在的区域，继而对该目标对象所在的区域进行自动标定，从而在不同摄像机采集的图像中自动标定同一目标对象，不需要人工标定，减轻人工标定负担。同理，可以准确的从图像b2中确定出该目标对象所在的区域，继而对该目标对象所在的区域进行自动标定，准确的从图像b3中确定出该目标对象所在的区域，继而对该目标对象所在的区域进行自动标定。
以下结合具体实施例，对本申请实施例的技术方案进行说明。
本申请实施例中提出一种图像处理方法，可以应用于图像处理设备，该图像处理设备可以是任意类型的设备，例如，个人计算机、终端设备、笔记本电脑、服务器、管理设备等等，对此不做限制。第一摄像机可以采集目标场景的图像，并将目标场景的图像发送给图像处理设备，第二摄像机(第二摄像机的数量可以为至少一个)可以采集目标场景的图像，并将目标场景的图像发送给图像处理设备，图像处理设备基于各摄像机采集的图像进行图像处理。
示例性的，当存在至少两个第二摄像机时，基于每个第二摄像机采集的图像，均可以进行图像处理(图像处理方式参见后续实施例)。比如说，基于第一摄像机采集的图像和第二摄像机1采集的图像进行图像处理，基于第一摄像机采集的图像和第二摄像机2采集的图像进行图像处理，…，以此类推。
由于每个第二摄像机采集的图像的处理方式相同，因此，为了方便描述，在后续实施例中，以一个第二摄像机采集的图像为例进行说明。
示例性的，第一摄像机是用于采集车尾方向的图像的摄像机(即位于车辆行驶方向后侧的摄像机)，第二摄像机是用于采集车头方向的图像的摄像机(即位于车辆行驶方向前侧的摄像机)。或者，第一摄像机是用于采集车头方向的图像的摄像机，第二摄像机是用于采集车尾方向的图像的摄像机。当然，上述只是两个示例，对第一摄像机和第二摄像机的安装位置不做限制，后续以第一摄像机用于采集车尾方向的图像，第二摄像机用于采集车头方向的图像为例。
本申请实施例中，可以使用实时联动技术和图像动态标定技术实现目标联动检测、多维目标合成、动态标定转换。目标联动检测是指，在识别到某个目标对象(即违章车辆)存在违章行为时，触发联动检测，对该目标对象进行多维度多空间的检测与识别，即在多个摄像机采集的多个图像中识别出该目标对象，即从第一摄像机采集的图像中识别出该目标对象，并从第二摄像机采集的图像中识别出该目标对象。多维目标合成是指，对不同摄像机在不同空间、不同时间、不同采集角度采集的图像进行合成，比如说，对上述图像a1、图像a2、图像a3、图像b1、图像b2和图像b3进行合成。动态标定转换是指，从一个图像坐标系到另一个图像坐标系的实时动态转换，根据目标对象对应的像素坐标进行实时自动标定，依据目标场景实时检测的目标对象进行自动标定。
参见图1所示，为图像处理方法的流程示意图，该方法可以包括：
步骤101、获取第一摄像机采集的第一图像，从该第一图像中确定出目标对象(如目标车辆)所在的第一区域，并确定该第一区域对应的第一像素坐标。
比如说，针对第一摄像机采集的每张图像，确定该图像中是否存在目标对象(如违章车辆)，如果不存在，则该图像不作为第一图像，结束该图像的处理流程，如果存在，则该图像作为第一图像。例如，上述实施例的图像a1(车辆驶过停止线位置的图像)、图像a2(车辆驶过未礼让触发线位置的图像)和图像a3(车辆驶过右转分界线位置的图像)是第一摄像机采集的第一图像。
针对图像a1，可以从图像a1中识别出存在违章行为的目标对象(如违章车辆)，并从图像a1中确定出该目标对象所在的第一区域，该第一区域可以为第一矩形区域(即矩形框)，如该目标对象在图像a1中的最小外接矩形。
在得到目标对象所在的第一区域后，就可以确定该第一区域对应的第一像素坐标，该第一像素坐标可以包括第一矩形区域的4个顶点(如左上角顶点、右上角顶点、右下角顶点、左下角顶点)的第一坐标值(即顶点在图像坐标系下的像素坐标值)，如左上角顶点的第一坐标值a11、右上角顶点的第一坐标值a12、右下角顶点的第一坐标值a13、左下角顶点的第一坐标值a14。
比如说，以图像a1的左上角为坐标原点，以水平向右为横轴，以垂直向下为纵轴建立图像坐标系，当然，也可以采用其它方式建立图像坐标系，如以图像a1的左下角为坐标原点，以水平向右为横轴，以垂直向上为纵轴建立图像坐标系，对此图像坐标系的建立方式不做限制。第一坐标值a11表示第一矩形区域的左上角顶点在该图像坐标系下的像素坐标值，第一坐标值a12表示第一矩形区域的右上角顶点在该图像坐标系下的像素坐标值，第一坐标值a13表示第一矩形区域的右下角顶点在该图像坐标系下的像素坐标值，第一坐标值a14表示第一矩形区域的左下角顶点在该图像坐标系下的像素坐标值。
针对图像a2，可以从图像a2中识别出该目标对象，并从图像a2中确定出该目标对象所在的第一区域，该第一区域为第一矩形区域，如该目标对象在图像a2中的最小外接矩形。然后，确定第一区域对应的第一像素坐标，如第一矩形区域的4个顶点的第一坐标值，如左上角顶点的第一坐标值a21、右上角顶点的第一坐标值a22、右下角顶点的第一坐标值a23、左下角顶点的第一坐标值a24。
针对图像a3，可以从图像a3中识别出该目标对象，并从图像a3中确定出该目标对象所在的第一区域，该第一区域为第一矩形区域，如该目标对象在图像a3中的最小外接矩形。然后，确定第一区域对应的第一像素坐标，如第一矩形区域的4个顶点的第一坐标值，如左上角顶点的第一坐标值a31、右上角顶点的第一坐标值a32、右下角顶点的第一坐标值a33、左下角顶点的第一坐标值a34。
步骤102、从第二摄像机采集的多个图像中选取与该第一图像关联的第二图像，该第二图像的采集时刻与该第一图像的采集时刻相同。
比如说，针对第二摄像机采集的每张图像，确定该图像的采集时刻(表示第二摄像机在该采集时刻采集该图像)，若该图像的采集时刻与第一图像的采集时刻(表示第一摄像机在该采集时刻采集该第一图像)相同，则该图像作为与该第一图像关联的第二图像，若该图像的采集时刻与第一图像的采集时刻不同，则该图像不作为与该第一图像关联的第二图像。
综上所述，基于第二摄像机采集的每张图像的采集时刻和第一图像的采集时刻，就可以得到与该第一图像关联的第二图像。例如，上述实施例的图像b1是与图像a1关联的第二图像，图像b2是与图像a2关联的第二图像，图像b3是与图像a3关联的第二图像，至此，得到与第一图像关联的第二图像。
步骤103、基于第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，将第一像素坐标转换为第二图像中的第二像素坐标，并基于该第二像素坐标从第二图像中确定出该目标对象所在的第二区域。
示例性的，第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，可以参见公式(1)所示，当然，公式(1)只是一个示例，对此转换关系不做限制，为了方便描述，在后续实施例中，以公式(1)为例进行说明。
Figure BDA0003177921220000111
在公式(1)中，[xb，yb，zb]表示第二摄像机的图像坐标系下的坐标值，[xa，ya，za]表示第一摄像机的图像坐标系下的坐标值，R表示第一摄像机的图像坐标系到第二摄像机的图像坐标系的旋转矩阵，t表示第一摄像机的图像坐标系到第二摄像机的图像坐标系的平移矩阵，
Figure BDA0003177921220000121
表示第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的坐标转换矩阵，即第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，显然，可以通过旋转矩阵R和平移矩阵t确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系。
示例性的，第一像素坐标表示第一摄像机的图像坐标系下的坐标值[xa，ya，za]，第二像素坐标表示第二摄像机的图像坐标系下的坐标值[xb，yb，zb]，由于转换关系
Figure BDA0003177921220000122
为已知，因此，将第一像素坐标[xa，ya，za]代入公式(1)，得到第二像素坐标[xb，yb，zb]，从而将第一像素坐标转换为第二像素坐标。
比如说，针对图像a1来说，第一像素坐标包括第一坐标值a11(xa11，ya11，za11)、第一坐标值a12、第一坐标值a13和第一坐标值a14。将第一坐标值a11代入公式(1)，得到图像b1中的第二坐标值b11(xb11，yb11，zb11)，将第一坐标值a12代入公式(1)，得到图像b1中的第二坐标值b12，将第一坐标值a13代入公式(1)，得到图像b1中的第二坐标值b13，将第一坐标值a14代入公式(1)，得到图像b1中的第二坐标值b14。然后，将第二坐标值b11、第二坐标值b12、第二坐标值b13和第二坐标值b14作为图像b1中的第二像素坐标。
同理，针对图像a2来说，第一像素坐标包括第一坐标值a21、第一坐标值a22、第一坐标值a23和第一坐标值a24，将上述第一坐标值代入公式(1)，就可以得到图像b2中的第二坐标值b21、第二坐标值b22、第二坐标值b23和第二坐标值b24，这些第二坐标值可以作为图像b2中的第二像素坐标。
同理，针对图像a3来说，第一像素坐标包括第一坐标值a31、第一坐标值a32、第一坐标值a33和第一坐标值a34，将上述第一坐标值代入公式(1)，就可以得到图像b3中的第二坐标值b31、第二坐标值b32、第二坐标值b33和第二坐标值b34，这些第二坐标值可以作为图像b3中的第二像素坐标。
综上所述，基于第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系(参见上述公式(1)所示)，就可以将第一图像中的第一像素坐标转换为第二图像中的第二像素坐标，对此转换过程不再赘述。
在得到第二图像中的第二像素坐标之后，就可以基于该第二像素坐标从第二图像中确定出目标对象所在的第二区域。比如说，第二像素坐标可以包括4个第一坐标值对应的4个第二坐标值，可以从第二图像中确定出4个第二坐标值组成的第二矩形区域。然后，将该第二矩形区域确定为第二区域，或者，对该第二矩形区域进行放大处理，将放大处理后的矩形区域确定为第二区域。
比如说，针对图像b1来说，第二像素坐标包括第二坐标值b11、第二坐标值b12、第二坐标值b13和第二坐标值b14，将这4个第二坐标值组成第二矩形区域。第二坐标值b11是第二矩形区域的左上角顶点的坐标值，第二坐标值b12是第二矩形区域的右上角顶点的坐标值，第二坐标值b13是第二矩形区域的右下角顶点的坐标值，第二坐标值b14是第二矩形区域的左下角顶点的坐标值。
在一种可能的实施方式中，在得到第二矩形区域后，可以将该第二矩形区域确定为第二区域(即矩形框)，且该第二区域会包括上述目标对象。
在另一种可能的实施方式中，在得到第二矩形区域后，还可以对该第二矩形区域进行放大处理，并将放大处理后的矩形区域确定为第二区域(即矩形框)，且该第二区域会包括上述目标对象。示例性的，对该第二矩形区域进行放大处理，可以包括但不限于：在保持第二矩形区域的中心像素点不变的基础上，按照一定比例(大于1的数值)对第二矩形区域进行外扩，比如说，可以在第二矩形区域的左右各外扩M个像素，在第二矩形区域的上下各外扩N个像素。
综上所述，基于第二坐标值b11、第二坐标值b12、第二坐标值b13和第二坐标值b14，就可以从图像b1中确定出目标对象所在的第二区域。
以图像b1的左上角为坐标原点，以水平向右为横轴，以垂直向下为纵轴建立图像坐标系，当然，也可以采用其它方式建立图像坐标系，对此不做限制。第二坐标值b11表示第二区域的左上角顶点在该图像坐标系下的像素坐标值，第二坐标值b12表示第二区域的右上角顶点在该图像坐标系下的像素坐标值，第二坐标值b13表示第二区域的右下角顶点在该图像坐标系下的像素坐标值，第二坐标值b14表示第二区域的左下角顶点在该图像坐标系下的像素坐标值。
同理，针对图像b2来说，第二像素坐标包括第二坐标值b21、第二坐标值b22、第二坐标值b23和第二坐标值b24，基于这些第二坐标值，就可以从图像b2中确定出目标对象所在的第二区域。针对图像b3来说，第二像素坐标包括第二坐标值b31、第二坐标值b32、第二坐标值b33和第二坐标值b34，基于这些第二坐标值，就可以从图像b3中确定出目标对象所在的第二区域。
步骤104、对第一图像中的第一区域进行标定，并对第二图像中的第二区域进行标定，并关联已标定的第一图像和已标定的第二图像。
比如说，针对第一图像中目标对象所在的第一区域，可以在第一区域绘制矩形框，即通过矩形框对目标对象进行标定，得到已标定的第一图像。矩形框的位置就是第一区域的位置，如矩形框的左上角顶点是第一区域的左上角顶点，矩形框的右上角顶点是第一区域的右上角顶点，矩形框的右下角顶点是第一区域的右下角顶点，矩形框的左下角顶点是第一区域的左下角顶点。
同理，针对第二图像中目标对象所在的第二区域，可以在第二区域绘制矩形框，即通过矩形框对目标对象进行标定，得到已标定的第二图像。
在得到已标定的第一图像和已标定的第二图像后，可以关联已标定的第一图像和已标定的第二图像，即二者具有关联关系。在此基础上，基于已标定的第一图像，可以查询到已标定的第二图像，基于已标定的第二图像，可以查询到已标定的第一图像。此外，还可以将已标定的第一图像和已标定的第二图像合成为证据链图像，即证据链图像包括已标定的第一图像和已标定的第二图像。
比如说，可以对图像a1中的第一区域进行标定，对图像b1中的第二区域进行标定，对图像a2中的第一区域进行标定，对图像b2中的第二区域进行标定，对图像a3中的第一区域进行标定，对图像b3中的第二区域进行标定，并关联已标定的图像a1、已标定的图像b1、已标定的图像a2、已标定的图像b2、已标定的图像a3、已标定的图像b3，并将上述已标定的图像合成为证据链图像。
参见图2所示，为证据链图像的一个示例，在该证据链图像中，上侧左边的图像为已标定的图像a1，上侧中间的图像为已标定的图像b1，上侧右边的图像为已标定的图像a2，下侧左边的图像为已标定的图像b2，下侧中间的图像为已标定的图像a3，下侧右边的图像为已标定的图像b3。
在一种可能的实施方式中，在基于第二像素坐标从第二图像中确定出目标对象所在的第二区域(参见步骤103)之后，还可以将第二区域的子图像(即第二图像中第二区域所在的子图像，可以采用抠图方式从第二图像中得到第二区域的子图像)输入给已训练的目标深度学习模型，由该目标深度学习模型对该子图像进行处理，对此处理方式不做限制，得到该目标对象对应的属性信息。
示例性的，目标对象对应的属性信息可以包括但不限于以下至少一种：目标对象对应的车牌标识(如违章车辆的车牌标识)、目标对象对应的车身特性(如违章车辆的车身颜色、车辆品牌、车身尺寸、车身外观等)、目标对象对应的人脸特征(即违章车辆的驾驶员的人脸特征，通过该人脸特征能够唯一找到一个驾驶员，如眼睛特征、五官特征等)、目标对象对应的用户行为特征(即违章车辆的驾驶员的行为特征，如是否打电话、是否疲劳驾驶等)。当然，上述只是目标对象对应的属性信息的几个示例，对此属性信息不做限制。
示例性的，目标深度学习模型为用于检测属性信息的深度学习模型，也就是说，将第二区域的子图像输入给目标深度学习模型后，目标深度学习模型可以输出与该子图像对应的属性信息，即目标对象对应的属性信息。
示例性的，可以采用大量训练数据训练得到目标深度学习模型(即基于深度学习算法的网络模型)，关于目标深度学习模型的结构、目标深度学习模型的训练方式，本申请实施例中均不做限制，只要能够得到已训练的目标深度学习模型即可，且目标深度学习模型为用于检测属性信息的深度学习模型。
在一种可能的实施方式中，可以将已标定的第一图像和已标定的第二图像合成为证据链图像，并关联目标对象对应的属性信息与证据链图像，即二者具有关联关系。在此基础上，基于该证据链图像，可以查询到目标对象对应的属性信息，即属性信息作为该证据链图像的证据数据，便于查看目标对象的信息。
比如说，可以基于图像b1中第二区域的子图像得到目标对象对应的属性信息1、基于图像b2中第二区域的子图像得到目标对象对应的属性信息2、基于图像b3中第二区域的子图像得到目标对象对应的属性信息3，在此基础上，可以将证据链图像(如图2)与属性信息1、属性信息2和属性信息3进行关联。
示例性的，目标对象对应的属性信息可以包括车牌标识，可以将该车辆标识作为证据链图像、属性信息1、属性信息2和属性信息3的索引信息，即通过该车辆标识能够查询到证据链图像、属性信息1、属性信息2和属性信息3。
在一种可能的实施方式中，从第一图像中确定出目标对象所在的第一区域(参见步骤101)之后，还可以将第一区域的子图像(即第一图像中第一区域所在的子图像)输入给已训练的目标深度学习模型，由该目标深度学习模型对该子图像进行处理，得到该目标对象对应的属性信息，在此不再赘述。
在一种可能的实施方式中，步骤103之前，需要确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，比如说，可以采用如下方式确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，当然，如下方式只是几个示例，对此转换关系的确定方式不做限制。
方式1：可以在目标场景部署多个标记点(如至少4个标记点)，不同标记点的样式可以不同，即能够区分出不同的标记点。比如说，在目标场景部署4个物体(如靶标)，4个物体的中心点是4个标记点。又例如，在目标场景部署1个物体，该物体的5个位置点(如左上角点、右上角点、右下角点、左下角点、中心点等)是5个标记点。参见图3所示，为确定该转换关系的流程图。
步骤301、通过第一摄像机采集目标场景的第一样本图像，通过第二摄像机采集目标场景的第二样本图像，该第一样本图像包括这些标记点，且该第二样本图像包括这些标记点。比如说，目标场景部署标记点P1、标记点P2、标记点P3和标记点P4，则第一样本图像包括标记点P1、标记点P2、标记点P3和标记点P4，第二样本图像包括标记点P1、标记点P2、标记点P3和标记点P4。
步骤302、确定每个标记点对应的坐标点对，该标记点对应的坐标点对包括该标记点在第一样本图像中的坐标值、该标记点在第二样本图像中的坐标值。
例如，确定标记点P1对应的坐标点对K1、标记点P2对应的坐标点对K2、标记点P3对应的坐标点对K3、标记点P4对应的坐标点对K4。坐标点对K1包括标记点P1在第一样本图像中的坐标值P11和标记点P1在第二样本图像中的坐标值P12，坐标点对K2包括标记点P2在第一样本图像中的坐标值P21和在第二样本图像中的坐标值P22，坐标点对K3包括标记点P3在第一样本图像中的坐标值P31和在第二样本图像中的坐标值P32，坐标点对K4包括标记点P4在第一样本图像中的坐标值P41和在第二样本图像中的坐标值P42。
步骤303、基于多个标记点对应的多个坐标点对，确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，参见公式(1)所示。
比如说，需要确定的转换关系(即坐标转换矩阵)是
Figure BDA0003177921220000171
确定转换关系的过程，就是需要确定出旋转矩阵R和平移矩阵t，因此，将坐标点对K1中的坐标值P11和坐标值P12代入公式1，得到一组方程，将坐标点对K2中的坐标值P21和坐标值P22代入公式1，得到一组方程，将坐标点对K3中的坐标值P31和坐标值P32代入公式1，得到一组方程，将坐标点对K4中的坐标值P41和坐标值P42代入公式1，得到一组方程，即能够得到四组方程。基于四组方程就可以求解出旋转矩阵R和平移矩阵t，继而得到转换关系
Figure BDA0003177921220000172
在此不再赘述。
综上所述，可以基于多个标记点对应的多个坐标点对，确定出第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系。
方式2：可以在目标场景部署多个标记99点(如至少4个标记点)，不同标记点的样式可以不同，即能够区分出不同的标记点。以及，可以在目标场景部署雷达，雷达的可视区域与第一摄像机的可视区域存在重叠区域(如雷达的可视区域与第一摄像机的可视区域完全相同或者部分相同)，即雷达也采集相同场景的图像。在该应用场景下，参见图4所示，为确定该转换关系的流程图。
步骤401、通过第一摄像机采集目标场景的第一样本图像，通过第二摄像机采集目标场景的第二样本图像，通过雷达采集目标场景的第三样本图像。示例性的，第一样本图像、第二样本图像和第三样本图像均包括目标场景的多个标记点，如均包括标记点P1、标记点P2、标记点P3和标记点P4。
步骤402、确定每个标记点对应的第一坐标点对和第二坐标点对。该标记点对应的第一坐标点对可以包括该标记点在第一样本图像中的坐标值、该标记点在第三样本图像中的坐标值。该标记点对应的第二坐标点对可以包括该标记点在第二样本图像中的坐标值、该标记点在第三样本图像中的坐标值。
例如，确定标记点P1对应的第一坐标点对S11和第二坐标点对S12，标记点P2对应的第一坐标点对S21和第二坐标点对S22，标记点P3对应的第一坐标点对S31和第二坐标点对S32，标记点P4对应的第一坐标点对S41和第二坐标点对S42。第一坐标点对S11包括标记点P1在第一样本图像中的坐标值P11和标记点P1在第三样本图像中的坐标值P13，第二坐标点对S12包括标记点P1在第二样本图像中的坐标值P12和标记点P1在第三样本图像中的坐标值P13。关于其它标记点对应的第一坐标点对和第二坐标点对，在此不再重复赘述。
步骤403、基于多个标记点对应的多个第一坐标点对，确定第一摄像机的图像坐标系与雷达的雷达坐标系之间的转换关系(后续记为第一转换关系)。
比如说，第一转换关系的计算公式与公式(1)类似，可以将每个第一坐标点对中的坐标值代入第一转换关系的计算公式，得到该第一坐标点对对应的一组方程，即得到多个第一坐标点对对应的多组方程，基于多组方程就可以求解出第一转换关系的计算公式中的参数，继而得到第一转换关系，在此不再赘述。
步骤404、基于多个标记点对应的多个第二坐标点对，确定第二摄像机的图像坐标系与雷达的雷达坐标系之间的转换关系(后续记为第二转换关系)。
比如说，第二转换关系的计算公式与公式(1)类似，可以将每个第二坐标点对中的坐标值代入第二转换关系的计算公式，得到该第二坐标点对对应的一组方程，即得到多个第二坐标点对对应的多组方程，基于多组方程就可以求解出第二转换关系的计算公式中的参数，继而得到第二转换关系，在此不再赘述。
步骤405、基于第一转换关系和第二转换关系确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系(后续记为第三转换关系)。
比如说，由于第一转换关系是第一摄像机的图像坐标系与雷达的雷达坐标系之间的转换关系，第二转换关系是第二摄像机的图像坐标系与雷达的雷达坐标系之间的转换关系，因此，可以基于第一转换关系和第二转换关系确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的第三转换关系。
第一转换关系可以参见公式(2)所示，w1表示第一转换关系，为已知值，第二转换关系可以参见公式(3)所示，w2表示第二转换关系，为已知值，[xc，yc，zc]表示雷达的雷达坐标系下的坐标值，[xb，yb，zb]表示第二摄像机的图像坐标系下的坐标值，[xa，ya，za]表示第一摄像机的图像坐标系下的坐标值。
Figure BDA0003177921220000191
Figure BDA0003177921220000192
基于公式(2)和公式(3)，可以得到公式(4)，继而得到公式(5)，公式(5)就是第三转换关系，显然，第三转换关系与公式(1)类似，而w1/w2，就表示第三转换关系，与上述实施例的旋转矩阵R和平移矩阵t类似。
Figure BDA0003177921220000193
Figure BDA0003177921220000194
综上所述，可以得到第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的第三转换关系。显然，在上述方式中，可以基于标记点在雷达坐标系下的坐标值确定第三转换关系，由于雷达是根据物体反射原理给出坐标值，精度能够达到误差1m，即坐标值是可靠的，因此，虽然第一摄像机/第二摄像机给出的坐标值可能存在较大偏差，但引入可靠的雷达坐标值作为标定转换基准，可以提高第三转换关系的准确性，使得第三转换关系的精度很高。
由以上技术方案可见，本申请实施例中，可以对第一摄像机采集的第一图像和第二摄像机采集的第二图像进行联动，并对第一图像中的第一区域进行标定，对第二图像中的第二区域进行标定，且第一区域和第二区域对应同一目标对象，从而获知同一目标对象在不同摄像机采集的图像中的情况，在不同摄像机采集的图像中确定同一目标对象，对同一目标对象进行自动标定，不需要人工标定同一目标对象，减轻人工标定负担，在多个角度(即不同摄像机的角度)下精准锁定同一目标对象。当目标对象是违章车辆时，基于已标定的第一图像(即第一图像中已经对违章车辆进行标定)和已标定的第二图像(即第二图像中已经对违章车辆进行标定)，可以获知违章车辆在不同摄像机采集的图像中的情况，能够准确确定出违章车辆的违章行为。已知第一区域对应的第一像素坐标，可以基于第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，确定第二区域的第二像素坐标，从而准确的从第二图像中确定出目标对象所在的第二区域，精确的找到同一目标对象在不同图像中的区域。
以下结合具体实施例，对本申请实施例的图像处理方法进行说明。参见图5所示，为本申请实施例中的图像处理方法的流程示意图，该方法可以包括：
步骤501、在目标场景部署第一摄像机和第二摄像机。
步骤502、标定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，具体方式参见图3或图4。在标定过程中，还可以测量第一摄像机的宽高像素(即分辨率)和第二摄像机的宽高像素(即分辨率)，基于第一摄像机的宽高像素和第二摄像机的宽高像素标定该转换关系，本实施例以第一摄像机的宽高像素和第二摄像机的宽高像素相同为例，具体确定方式不再赘述。
步骤503、确定该转换关系的标定是否成功。
如果否，则执行步骤504，如果是，则执行步骤505。
比如说，若标记点位于第一摄像机的可视区域(即第一摄像机采集的图像包括该标记点)，但是该标记点不位于第二摄像机的可视区域(即第二摄像机采集的图像不包括该标记点)，则可能无法成功标定该转换关系。
步骤504、调整第一摄像机的可视区域(即采集图像的视角)和/或第二摄像机的可视区域，以使第一摄像机的可视区域与第二摄像机的可视区域匹配，如第一摄像机的可视区域与第二摄像机的可视区域存在重叠区域，然后返回步骤502，重新标定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系。
步骤505、获取第一摄像机采集的第一图像，从该第一图像中确定出目标对象所在的第一区域，并确定该第一区域对应的第一像素坐标。
步骤506、从第二摄像机采集的多个图像中选取与该第一图像关联的第二图像，该第二图像的采集时刻与该第一图像的采集时刻相同。
步骤507、基于第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，将第一像素坐标转换为第二图像中的第二像素坐标，并基于该第二像素坐标从第二图像中确定出该目标对象所在的第二区域。
步骤508、将第二区域的子图像输入给已训练的目标深度学习模型，由该目标深度学习模型对该子图像进行处理，得到该目标对象对应的属性信息。
步骤509、对第一图像中的第一区域进行标定，对第二图像中的第二区域进行标定，将已标定的第一图像和已标定的第二图像合成为证据链图像，并关联目标对象对应的属性信息与证据链图像，即二者具有关联关系。
基于与上述方法同样的申请构思，本申请实施例中提出一种图像处理装置，参见图6所示，为所述图像处理装置的结构示意图，所述装置可以包括：
确定模块61，用于获取第一摄像机采集的第一图像，从所述第一图像中确定出目标对象所在的第一区域，并确定所述第一区域对应的第一像素坐标；
选取模块62，用于从第二摄像机采集的多个图像中选取与所述第一图像关联的第二图像，所述第二图像的采集时刻与所述第一图像的采集时刻相同；其中，所述第二摄像机的可视区域与所述第一摄像机的可视区域存在重叠区域；
处理模块63，用于基于第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，将第一像素坐标转换为所述第二图像中的第二像素坐标，基于所述第二像素坐标从所述第二图像中确定出所述目标对象所在的第二区域；
关联模块64，用于对所述第一图像中的第一区域进行标定，对所述第二图像中的第二区域进行标定，关联已标定的第一图像和已标定的第二图像。
在一种可能的实施方式中，所述第一区域为第一矩形区域，所述第一像素坐标可以包括所述第一矩形区域的4个顶点的第一坐标值，所述第二像素坐标可以包括所述4个第一坐标值对应的4个第二坐标值；基于此，所述处理模块63基于所述第二像素坐标从所述第二图像中确定出所述目标对象所在的第二区域时具体用于：从所述第二图像中确定出所述4个第二坐标值组成的第二矩形区域；将所述第二矩形区域确定为所述第二区域；或者，对所述第二矩形区域进行放大处理，将放大处理后的矩形区域确定为所述第二区域。
示例性的，所述处理模块63还用于：将所述第二区域的子图像输入给已训练的目标深度学习模型，由所述目标深度学习模型对所述子图像进行处理，得到所述目标对象对应的属性信息；其中，所述目标对象对应的属性信息包括以下至少一种：所述目标对象对应的车牌标识、车身特性、人脸特征、用户行为特征；所述目标深度学习模型为用于检测属性信息的深度学习模型。
示例性的，所述处理模块63还用于：采用如下方式确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系：通过第一摄像机采集目标场景的第一样本图像，通过第二摄像机采集目标场景的第二样本图像，通过雷达采集目标场景的第三样本图像；其中，第一样本图像、第二样本图像和第三样本图像均包括所述目标场景的多个标记点；确定每个标记点对应的第一坐标点对和第二坐标点对；其中，该标记点对应的第一坐标点对包括该标记点在第一样本图像中的坐标值、该标记点在第三样本图像中的坐标值；该标记点对应的第二坐标点对包括该标记点在第二样本图像中的坐标值、该标记点在第三样本图像中的坐标值；基于所述多个标记点对应的多个第一坐标点对，确定第一摄像机的图像坐标系与所述雷达的雷达坐标系之间的第一转换关系；基于所述多个标记点对应的多个第二坐标点对，确定第二摄像机的图像坐标系与所述雷达的雷达坐标系之间的第二转换关系；基于所述第一转换关系和所述第二转换关系确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系。
基于与上述方法同样的申请构思，本申请实施例中提出一种图像处理设备，参见图7所示，所述图像处理设备可以包括：处理器71和机器可读存储介质72，所述机器可读存储介质72存储有能够被所述处理器71执行的机器可执行指令；所述处理器71用于执行机器可执行指令，以实现如下步骤：
获取第一摄像机采集的第一图像，从所述第一图像中确定出目标对象所在的第一区域，并确定所述第一区域对应的第一像素坐标；
从第二摄像机采集的多个图像中选取与所述第一图像关联的第二图像，所述第二图像的采集时刻与所述第一图像的采集时刻相同；其中，所述第二摄像机的可视区域与所述第一摄像机的可视区域存在重叠区域；
基于第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，将所述第一像素坐标转换为所述第二图像中的第二像素坐标，并基于所述第二像素坐标从所述第二图像中确定出所述目标对象所在的第二区域；
对所述第一图像中的第一区域进行标定，对所述第二图像中的第二区域进行标定，并关联已标定的第一图像和已标定的第二图像。
基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的图像处理方法。
其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取第一摄像机采集的第一图像，从所述第一图像中确定出目标对象所在的第一区域，并确定所述第一区域对应的第一像素坐标；
从第二摄像机采集的多个图像中选取与所述第一图像关联的第二图像，所述第二图像的采集时刻与所述第一图像的采集时刻相同；其中，所述第二摄像机的可视区域与所述第一摄像机的可视区域存在重叠区域；
基于第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，将所述第一像素坐标转换为所述第二图像中的第二像素坐标，并基于所述第二像素坐标从所述第二图像中确定出所述目标对象所在的第二区域；
对所述第一图像中的第一区域进行标定，对所述第二图像中的第二区域进行标定，并关联已标定的第一图像和已标定的第二图像。
2.根据权利要求1所述的方法，其特征在于，所述第一区域为第一矩形区域，所述第一像素坐标包括所述第一矩形区域的4个顶点的第一坐标值，所述第二像素坐标包括4个第一坐标值对应的4个第二坐标值；所述基于所述第二像素坐标从所述第二图像中确定出所述目标对象所在的第二区域，包括：
从所述第二图像中确定出所述4个第二坐标值组成的第二矩形区域；
将所述第二矩形区域确定为所述第二区域；或者，对所述第二矩形区域进行放大处理，将放大处理后的矩形区域确定为所述第二区域。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第二像素坐标从所述第二图像中确定出所述目标对象所在的第二区域之后，还包括：
将所述第二区域的子图像输入给已训练的目标深度学习模型，由所述目标深度学习模型对所述子图像进行处理，得到所述目标对象对应的属性信息；
其中，所述目标对象对应的属性信息包括以下至少一种：所述目标对象对应的车牌标识、车身特性、人脸特征、用户行为特征；
所述目标深度学习模型为用于检测属性信息的深度学习模型。
4.根据权利要求3所述的方法，其特征在于，
所述关联已标定的第一图像和已标定的第二图像之后，所述方法还包括：
将所述已标定的第一图像和所述已标定的第二图像合成为证据链图像；
关联所述目标对象对应的属性信息与所述证据链图像。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：采用如下方式确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系：
通过第一摄像机采集目标场景的第一样本图像，通过第二摄像机采集所述目标场景的第二样本图像，所述目标场景包括多个标记点，所述第一样本图像包括所述多个标记点，所述第二样本图像包括所述多个标记点；
确定每个标记点对应的坐标点对，该标记点对应的坐标点对包括该标记点在第一样本图像中的坐标值、该标记点在第二样本图像中的坐标值；
基于所述多个标记点对应的多个坐标点对，确定所述第一摄像机的图像坐标系与所述第二摄像机的图像坐标系之间的转换关系。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：采用如下方式确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系：
通过第一摄像机采集目标场景的第一样本图像，通过第二摄像机采集目标场景的第二样本图像，通过雷达采集目标场景的第三样本图像；其中，第一样本图像、第二样本图像和第三样本图像均包括所述目标场景的多个标记点；
确定每个标记点对应的第一坐标点对和第二坐标点对；其中，该标记点对应的第一坐标点对包括该标记点在第一样本图像中的坐标值、该标记点在第三样本图像中的坐标值；该标记点对应的第二坐标点对包括该标记点在第二样本图像中的坐标值、该标记点在第三样本图像中的坐标值；
基于所述多个标记点对应的多个第一坐标点对，确定第一摄像机的图像坐标系与所述雷达的雷达坐标系之间的第一转换关系；基于所述多个标记点对应的多个第二坐标点对，确定第二摄像机的图像坐标系与所述雷达的雷达坐标系之间的第二转换关系；基于所述第一转换关系和所述第二转换关系确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系。
7.根据权利要求1-6任一项所述的方法，其特征在于，
所述目标对象为目标车辆，所述第一摄像机是用于采集车尾方向的图像的摄像机，所述第二摄像机是用于采集车头方向的图像的摄像机。
8.一种图像处理装置，其特征在于，所述装置包括：
确定模块，用于获取第一摄像机采集的第一图像，从所述第一图像中确定出目标对象所在的第一区域，并确定所述第一区域对应的第一像素坐标；
选取模块，用于从第二摄像机采集的多个图像中选取与所述第一图像关联的第二图像，所述第二图像的采集时刻与所述第一图像的采集时刻相同；其中，所述第二摄像机的可视区域与所述第一摄像机的可视区域存在重叠区域；
处理模块，用于基于第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，将所述第一像素坐标转换为所述第二图像中的第二像素坐标，基于所述第二像素坐标从所述第二图像中确定出所述目标对象所在的第二区域；
关联模块，用于对所述第一图像中的第一区域进行标定，对所述第二图像中的第二区域进行标定，关联已标定的第一图像和已标定的第二图像。
9.根据权利要求8所述的装置，其特征在于，所述第一区域为第一矩形区域，所述第一像素坐标包括所述第一矩形区域的4个顶点的第一坐标值，所述第二像素坐标包括4个第一坐标值对应的4个第二坐标值；所述处理模块基于所述第二像素坐标从所述第二图像中确定出所述目标对象所在的第二区域时具体用于：从所述第二图像中确定出所述4个第二坐标值组成的第二矩形区域；将所述第二矩形区域确定为所述第二区域；或，对所述第二矩形区域进行放大处理，将放大处理后的矩形区域确定为所述第二区域；
所述处理模块还用于：将所述第二区域的子图像输入给已训练的目标深度学习模型，由所述目标深度学习模型对所述子图像进行处理，得到所述目标对象对应的属性信息；其中，所述目标对象对应的属性信息包括以下至少一种：所述目标对象对应的车牌标识、车身特性、人脸特征、用户行为特征；所述目标深度学习模型为用于检测属性信息的深度学习模型；
所述处理模块还用于：采用如下方式确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系：通过第一摄像机采集目标场景的第一样本图像，通过第二摄像机采集目标场景的第二样本图像，通过雷达采集目标场景的第三样本图像；其中，第一样本图像、第二样本图像和第三样本图像均包括所述目标场景的多个标记点；确定每个标记点对应的第一坐标点对和第二坐标点对；其中，该标记点对应的第一坐标点对包括该标记点在第一样本图像中的坐标值、该标记点在第三样本图像中的坐标值；该标记点对应的第二坐标点对包括该标记点在第二样本图像中的坐标值、该标记点在第三样本图像中的坐标值；基于所述多个标记点对应的多个第一坐标点对，确定第一摄像机的图像坐标系与所述雷达的雷达坐标系之间的第一转换关系；基于所述多个标记点对应的多个第二坐标点对，确定第二摄像机的图像坐标系与所述雷达的雷达坐标系之间的第二转换关系；基于所述第一转换关系和所述第二转换关系确定第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系。
10.一种图像处理设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；
所述处理器用于执行机器可执行指令，以实现如下步骤：
获取第一摄像机采集的第一图像，从所述第一图像中确定出目标对象所在的第一区域，并确定所述第一区域对应的第一像素坐标；
从第二摄像机采集的多个图像中选取与所述第一图像关联的第二图像，所述第二图像的采集时刻与所述第一图像的采集时刻相同；其中，所述第二摄像机的可视区域与所述第一摄像机的可视区域存在重叠区域；
基于第一摄像机的图像坐标系与第二摄像机的图像坐标系之间的转换关系，将所述第一像素坐标转换为所述第二图像中的第二像素坐标，并基于所述第二像素坐标从所述第二图像中确定出所述目标对象所在的第二区域；
对所述第一图像中的第一区域进行标定，对所述第二图像中的第二区域进行标定，并关联已标定的第一图像和已标定的第二图像。
CN202110838166.0A 2021-07-23 2021-07-23 一种图像处理方法、装置及设备 Active CN113436279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110838166.0A CN113436279B (zh) 2021-07-23 2021-07-23 一种图像处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110838166.0A CN113436279B (zh) 2021-07-23 2021-07-23 一种图像处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113436279A true CN113436279A (zh) 2021-09-24
CN113436279B CN113436279B (zh) 2023-02-28

Family

ID=77761652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110838166.0A Active CN113436279B (zh) 2021-07-23 2021-07-23 一种图像处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113436279B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550464A (zh) * 2022-04-25 2022-05-27 北京信路威科技股份有限公司 车辆信息确定方法、装置、计算机设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107580199A (zh) * 2017-09-08 2018-01-12 深圳市伊码泰珂电子有限公司 重叠视域多摄像机协同的目标定位与跟踪系统
CN109472829A (zh) * 2018-09-04 2019-03-15 顺丰科技有限公司 一种物体定位方法、装置、设备和存储介质
CN110174093A (zh) * 2019-05-05 2019-08-27 腾讯科技（深圳）有限公司 定位方法、装置、设备和计算机可读存储介质
CN110178167A (zh) * 2018-06-27 2019-08-27 潍坊学院 基于摄像机协同接力的路口违章视频识别方法
CN110658518A (zh) * 2018-06-29 2020-01-07 杭州海康威视数字技术股份有限公司 一种目标入侵检测方法及装置
CN112230241A (zh) * 2020-10-23 2021-01-15 湖北亿咖通科技有限公司 基于随机扫描型雷达的标定方法
CN112485785A (zh) * 2020-11-04 2021-03-12 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置及设备
WO2021130545A1 (en) * 2019-12-23 2021-07-01 Sensetime International Pte. Ltd. Image association method, system and apparatus

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107580199A (zh) * 2017-09-08 2018-01-12 深圳市伊码泰珂电子有限公司 重叠视域多摄像机协同的目标定位与跟踪系统
CN110178167A (zh) * 2018-06-27 2019-08-27 潍坊学院 基于摄像机协同接力的路口违章视频识别方法
CN110658518A (zh) * 2018-06-29 2020-01-07 杭州海康威视数字技术股份有限公司 一种目标入侵检测方法及装置
CN109472829A (zh) * 2018-09-04 2019-03-15 顺丰科技有限公司 一种物体定位方法、装置、设备和存储介质
CN110174093A (zh) * 2019-05-05 2019-08-27 腾讯科技（深圳）有限公司 定位方法、装置、设备和计算机可读存储介质
WO2021130545A1 (en) * 2019-12-23 2021-07-01 Sensetime International Pte. Ltd. Image association method, system and apparatus
CN112230241A (zh) * 2020-10-23 2021-01-15 湖北亿咖通科技有限公司 基于随机扫描型雷达的标定方法
CN112485785A (zh) * 2020-11-04 2021-03-12 杭州海康威视数字技术股份有限公司 一种目标检测方法、装置及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114550464A (zh) * 2022-04-25 2022-05-27 北京信路威科技股份有限公司 车辆信息确定方法、装置、计算机设备和存储介质
CN114550464B (zh) * 2022-04-25 2022-07-26 北京信路威科技股份有限公司 车辆信息确定方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113436279B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
US11854272B2 (en) Hazard detection from a camera in a scene with moving shadows
CN104282020B (zh) 一种基于目标运动轨迹的车辆速度检测方法
JP5057183B2 (ja) 風景マッチング用参照データ生成システム及び位置測位システム
US9776564B2 (en) Vehicle periphery monitoring device
CN111626277B (zh) 一种基于治超站交调指标分析的车辆跟踪方法及装置
CN110738150B (zh) 相机联动抓拍方法、装置以及计算机存储介质
JP4946878B2 (ja) 画像識別装置及びプログラム
CN110619674B (zh) 用于事故和警情场景还原的三维增强现实设备及方法
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN113421289A (zh) 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法
CN104933398A (zh) 车辆辨识系统与方法
CN111507327A (zh) 一种目标检测方法及装置
CN107316332A (zh) 一种应用智能驾驶的相机和场景关联标定方法及系统
CN111316324A (zh) 一种自动驾驶模拟系统、方法、设备及存储介质
CN113436279B (zh) 一种图像处理方法、装置及设备
CN110969135B (zh) 自然场景中的车标识别方法
US20200265588A1 (en) Road surface area detection device
CN112818816B (zh) 一种温度检测方法、装置及设备
CN116958195A (zh) 物件追踪整合方法及整合装置
US20240071034A1 (en) Image processing device, image processing method, and program
JP2020035334A (ja) 画像処理装置
CN105787498B (zh) 行人侦测系统
CN116309412A (zh) 一种人眼视线检测方法、装置及电子设备
CN116704041A (zh) 定位方法、装置、电子设备及存储介质
CN116912473A (zh) 一种目标检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant