CN113011445A - 标定方法、识别方法、装置及设备 - Google Patents

标定方法、识别方法、装置及设备 Download PDF

Info

Publication number
CN113011445A
CN113011445A CN201911319039.9A CN201911319039A CN113011445A CN 113011445 A CN113011445 A CN 113011445A CN 201911319039 A CN201911319039 A CN 201911319039A CN 113011445 A CN113011445 A CN 113011445A
Authority
CN
China
Prior art keywords
camera
image
determining
coordinate
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911319039.9A
Other languages
English (en)
Inventor
黄啸
钱成
邢冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Banma Zhixing Network Hongkong Co Ltd
Original Assignee
Banma Zhixing Network Hongkong Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Banma Zhixing Network Hongkong Co Ltd filed Critical Banma Zhixing Network Hongkong Co Ltd
Priority to CN201911319039.9A priority Critical patent/CN113011445A/zh
Publication of CN113011445A publication Critical patent/CN113011445A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种标定方法、一种识别方法、装置及设备。本申请技术方案中通过确定第一摄像头及第二摄像头的视野重叠区域并选取视野重叠区域的至少部分区域作为关联区域。基于关联区域分别对应第一摄像头下的第一图像坐标及第二摄像头下的第二图像坐标,确定第一摄像头与第二摄像头对应的坐标转换关系;其中,坐标转换关系用于将关联区域内第一摄像头采集的第一对象及第二摄像头采集的第二对象转换到同一图像坐标系下,以确定第一对象与第二对象是否为同一对象。本申请实施例,可以大大降低对象识别成本。

Description

标定方法、识别方法、装置及设备
技术领域
本申请实施例涉及互联网技术领域,尤其涉及一种标定方法、一种识别方法、装置及设备。
背景技术
跨镜追踪技术是计算机视觉领域中的重要技术,可以广泛应用于对视频监控、智能寻人、智能安防、智能交通、智能机器人等场景下的车辆、行人、机器人等对象进行跨多摄像头地连续追踪。
目前,跨镜追踪主要基于多传感器融合(例如使用摄像头、雷达、GPS等各类传感器的信息融合)或无线通信的方式定位对象的实际物理位置,基于对象的物理位置并结合对象的视觉特征,确定该多个摄像头采集的图像中是否存在同一个对象,即可实现对同一对象的连续追踪。
但由于基于多传感器融合的定位方式或无线通信定位的方式,需要额外使用多种传感器或无线通信设备,导致成本高昂。
发明内容
本申请实施例提供一种标定方法及一种识别方法、装置及一种计算机设备,可以大大降低对象识别成本。
第一方面,本申请实施例中提供了一种车辆识别方法,包括:
监测通过第一摄像头追踪的第一车辆进入关联区域时,获取所述第一摄像头采集的第一图像与第二摄像头采集的第二图像;其中,所述关联区域为所述第一摄像头与所述第二摄像头的视野重叠区域中的至少部分区域;
基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于所述关联区域内的第一车辆与所述第二图像中位于所述关联区域内的第二车辆的位置相似度;其中,所述坐标转换关系基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标计算获得;
基于所述位置相似度确定所述第一车辆与所述第二车辆是否为同一车辆。
第二方面,本申请实施例中提供了一种标定方法,包括:
确定第一摄像头及第二摄像头的视野重叠区域;
选取所述视野重叠区域的至少部分区域作为关联区域;
基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标,确定所述第一摄像头与所述第二摄像头对应的坐标转换关系;其中,所述坐标转换关系用于将所述关联区域内所述第一摄像头采集的第一对象及所述第二摄像头采集的第二对象转换到同一图像坐标系下,以确定所述第一对象与所述第二对象是否为同一对象。
第三方面,本申请实施例中提供了一种识别方法,包括:
获取第一摄像头采集的第一图像与第二摄像头采集的第二图像;
基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一对象与所述第二图像中位于所述关联区域内的第二对象的位置相似度;其中,所述关联区域为所述第一摄像头与所述第二摄像头的视野重叠区域中的至少部分区域,所述坐标转换关系基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标计算获得;
基于所述位置相似度确定所述第一对象与所述第二对象是否为同一对象。
第四方面,本申请实施例中提供了一种标定装置,包括:
第一确定模块,用于确定第一摄像头及第二摄像头的视野重叠区域;
关联区域选取模块,用于选取所述视野重叠区域的至少部分区域作为关联区域;
第二确定模块,用于基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标,确定所述第一摄像头与所述第二摄像头对应的坐标转换关系;其中,所述坐标转换关系用于将所述关联区域内所述第一摄像头采集的第一对象及所述第二摄像头采集的第二对象转换到同一图像坐标系下,以确定所述第一对象与所述第二对象是否为同一对象。
第五方面,本申请实施例中提供了一种识别装置,包括:
第一获取模块,用于获取第一摄像头采集的第一图像与第二摄像头采集的第二图像;
第三确定模块,用于基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一对象与所述第二图像中位于所述关联区域内的第二对象的位置相似度;其中,所述关联区域为所述第一摄像头与所述第二摄像头的视野重叠区域中的至少部分区域,所述坐标转换关系基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标计算获得;
第四确定模块,用于基于所述位置相似度确定所述第一对象与所述第二对象是否为同一对象。
第六方面,本申请实施例中提供了一种计算机设备,包括存储组件以及处理组件;
其中,所述存储组件存储一个或多个计算机指令;当所述一个或多个计算机指令被所述处理组件调用执行时,使所述处理组件执行前述任一项所述的标定方法。
第七方面,本申请实施例中提供了一种计算机设备,包括存储组件以及处理组件;
其中,所述存储组件存储一个或多个计算机指令;当所述一个或多个计算机指令被所述处理组件调用执行时,使所述处理组件执行前述任一项所述的识别方法。
与现有技术相比,本申请可以获得包括以下技术效果:
本申请实施例提供了一种标定方法及一种对象识别方法,本申请实施例中,由于具有视野重叠区域的第一摄像头与第二摄像头架设位置不同,因此相对视野重叠区域内的关联区域具有不同的拍摄角度。基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标,可以确定所述第一摄像头与所述第二摄像头对应的坐标转换关系。从而实现基于坐标转换关系,确定所述第一摄像头及第二摄像头分别采集关联区域内的第一对象与第二对象是否为同一对象。这一过程不需要任何额外传感设备或无线通信设备,从而可以大大降低对象识别的成本。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本申请提供的一种标定方法一个实施例的流程示意图;
图2(a)-图2(c)示出了根据本申请提供的一种标定示意意图;
图3示出了根据本申请提供的一种识别方法又一个实施例的流程示意图;
图4示出了根据本申请提供的一种识别方法一个实施例的流程示意图;
图5(a)-图5(b)示出了根据本申请提供的一种第一摄像头与第二摄像头对目标车辆进行跨镜追踪的示意图;
图6示出了根据本申请提供的一种标定装置一个实施例的结构示意图;
图7示出了根据本申请提供的一种识别装置又一个实施例的结构示意图;
图8示出了根据本申请提供的一种识别装置一个实施例的结构示意图;
图9示出了根据本申请提供的一种计算机设备一个实施例的结构示意图;
图10示出了根据本申请提供的一种计算机设备一个实施例的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
由于单摄像头的视野有限,当目标对象离开该摄像头视野范围就会发生目标丢失。因此,为了对移动的目标对象实现全方位的连续追踪,通过多摄像头协同完成对目标对象跨摄像头、跨场景下进行连续追踪的跨镜追踪技术应运而生。
目前,跨镜追踪技术可以分为两种,一种是基于多传感器融合的方式,使用摄像头、雷达、GPS(Global Positioning System,全球定位系统)等各类传感器进行信息融合,基于各类传感器信息对追踪对象的实际物理位置进行定位,从而使其能够基于实际物理位置确定是否为同一对象实现连续跨镜追踪。另一种是通过追踪对象主动发送信息位置方式,例如在车辆协同场景下,车辆(可以包括机动车辆、非机动车辆或电动车辆等)可以通过V2X(Vehicle to Everything,车联网)通信设备上传自己的身份信息及位置信息至路侧设备,使得路侧设备可以基于该身份信息及位置信息通过多个摄像头实现连续跨镜追踪。但上述两种方式,均需要额外使用多种传感器或无线通信设备,导致对象识别成本高昂。
因此,为了降低对象识别成本,发明人经过一系列研究提出了本申请技术方案,在本申请实施例中,通过确定第一摄像头及第二摄像头的视野重叠区域并选取所述视野重叠区域的至少部分区域作为第一摄像头与第二摄像头的关联区域。由于第一摄像头与第二摄像头架设于固定位置,且相对关联区域具有不同的拍摄角度,因此,基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标,可以确定所述第一摄像头与所述第二摄像头对应的坐标转换关系。从而实现基于坐标转换关系,确定所述第一摄像头及第二摄像头分别采集关联区域内的第一对象与第二对象是否为同一对象。这一过程不需要任何额外传感设备或无线通信设备,从而可以大大降低对对象识别的成本。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例提供的一种标定方法一个实施例的流程示意图。该方法可以包括以下几个步骤:
101:确定第一摄像头及第二摄像头的视野重叠区域。
由于单摄像头的视野有限,为了对追踪对象实现全方位的连续追踪,可以是通过在监控区域内,例如在停车场、交通道路、商场、车站等区域内,架设多个摄像头以实现该多个摄像头的视野覆盖整个监控区域。可以理解的是,为了保证覆盖监控区域的视野不存在盲点,通常会将至少两个摄像头设置视野重叠,以保证实现对监控区域的全方位视野覆盖。
实际应用中,具有视野重叠区域的第一摄像头及第二摄像头可以是同一种类的摄像头,也可以是不同种类的摄像头,例如可以是普通摄像头、短焦摄像头、长焦摄像头、鱼眼摄像头、双摄像头等在此不做具体限定。
其中,第一摄像头及第二摄像头可以是根据监控需求设定的任一排列方式,且第一摄像头与第二摄像头排列架设的相对位置及相对角度是固定的,当其相对位置或相对角度发生变化时,需要进行重新标定。
102:选取所述视野重叠区域的至少部分区域作为关联区域。
实际应用中,为了提高标定精度,可以根据待追踪对象的所占实际面积选取所述视野重叠区域的至少部分区域作为关联区域。例如在车站、商场场景下待追踪对象为行人,交通道路、停车场等场景下的待追踪对象可以是不同类型的车辆及行人。因此,关联区域的面积可以根据待追踪对象中所占最大的面积待追踪对象进行设定,以保证关联区域的面积不小于待追踪对象所占面积。
可选地,在某些实施例中,所述选取所述视野重叠区域的至少部分区域作为关联区域可以包括:
选取所述视野重叠区域中区域面积大于所述待追踪对象所占面积的至少部分区域作为所述关联区域。
可以理解的是,当视野重叠区域的实际面积较小时,即可将该视野重叠区域作为关联区域,同时关联区域的形状还可以根据标定需求进行设定,例如标定对象的形状可以为圆形、矩形、多边形等,为了保证标定精度关联区域的形状需要根据标定对象进行适应性设置,在此不做具体限定。
103:基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标,确定所述第一摄像头与所述第二摄像头对应的坐标转换关系。
其中,所述坐标转换关系用于将所述关联区域内所述第一摄像头采集的第一对象及所述第二摄像头采集的第二对象转换到同一图像坐标系下,以确定所述第一对象与所述第二对象是否为同一对象。
当第一摄像头与第二摄像头架设的相对位置和相对角度不变时,可以基于该相对位置及相对角度在标定环境中设定的关联区域确定第一摄像头与所述第二摄像头对应的坐标转换关系。
可以理解的是,如果预先已知第一摄像头与第二摄像头架设的相对位置和相对角度,该标定过程可以是在测试环境或实验环境中完成,也可以是在实际监测环境下完成,在此不做具体限定。但在无法预知第一摄像头与第二摄像头架设的相对位置和相对角度的情况下,则需要在监测环境下架设好该两个摄像头后,根据选取的关联区域进行标定。
实际应用中,当第一摄像头与第二摄像头架设的相对位置和相对角度不变时,关联区域对应第一摄像头下的第一图像坐标及对应第二摄像头下的第二图像坐标均保持不变,且标定环境下确定的关联区域对应实际物理位置亦保持不变。因此,基于关联区域对应的第一图像坐标、第二图像坐标分别与关联区域实际物理位置的对应关系,可以确定在预设监测条件下的第一摄像头与第二摄像头对应的图像坐标的坐标转换关系。
作为一种可选地实施方式,所述标定对象为与所述关联区域等面积的标定棋盘格;所述至少一个标定点为所述标定棋盘格中至少一个格的顶点。
可选地,可以通过突出显示关联区域的方式或者在关联区域内设置标定对象的方式,进一步提高对关联区域标定的准确性。突出显示的方式,例如通过人工标记关联区域的边界,从而在采集得到的第一图像及第二图像后通过识别关联区域的边界确定关联区域对应的第一图像坐标及第二图像坐标。还可以通过标定对象标定关联区域的预设标定位置,该预设标定位置可以是根据标定需求设置的多个标定点位(例如边界点位及中心点位)或者标定区域等,例如标定区域为整个关联区域时该标定对象可以是与关联区域的形状大小相同的标定棋盘格,还可以是位于关联区域内预设标定点位的标定图形,该标定图形可以根据圆形、菱形、三角形等规则图形,在此不做具体限定。
作为一种可选地实施方式,所述基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标,确定所述第一摄像头与所述第二摄像头对应的坐标转换关系可以包括:
获取所述第一摄像头与所述第二摄像头分别采集所述关联区域中的标定对象获得的第一标定图像和第二标定图像;
确定所述标定对象分别在所述第一标定图像中的第一图像坐标及所述第二标定图像中的第二图像坐标;
基于所述第一图像坐标及所述第二图像坐标,确定所述第一摄像头与所述第二摄像头对应的坐标转换关系。
作为一种可实现的实施方式,所述确定所述标定对象分别在所述第一标定图像中的第一图像坐标及所述第二标定图像中的第二图像坐标可以包括:
确定所述标定对象中的至少一个标定点分别对应的第一标定图像下的第一位置坐标及分别对应第二标定图像下的第二位置坐标;
将所述至少一个标定点分别对应的第一位置坐标构成的第一位置坐标矩阵作为所述第一图像坐标;
将所述至少一个标定点分别对应的第二位置坐标构成的第二位置坐标矩阵作为所述第二图像坐标。
在一个实际应用中,本申请实施例中所述的对象可以是指车辆,在智能交通场景下,通过标定可以实现对车辆进行跨镜追踪,以实现相应处理或者为车辆提供相应服务等。
为了便于理解,图2(a)-图2(c)为具有视野重叠区域的任两摄像头标定示意图。如图2(a)中所示,为分别接入路侧单元(Road Side Unit,简称RSU)或云端的第一摄像头A1和第二摄像头A2,A1和A2分别架设在道路监测环境的预设位置处,且架设的相对位置和相对角度固定以保证A1和A2具有固定的视野重叠区域。可以理解的是,A1和A2可以架设于道路的同侧或对侧,在此不做具体限定,图2(a)中A1与A2架设于道路同一侧,且车辆行驶方向为由A1至A2的方向。其中,区域B为确定A1和A2视野重叠区域内的关联区域,并在关联区域内设置标定棋盘,以棋盘格的交点作为标定点P。
图2(b)为A1采集标定棋盘对应的第一标定图像,图2(c)为采集关标定棋盘对应的第二标定图像。RSU获取该第一标定图像及第二标定图像,通过识别标定棋盘中标定点P对应的第一标定图像中的第一图像坐标(x1i,y1j)及第二标定图像中的第二图像坐标(x2i,y2j)计算处第一标定图像与第二标定图像对应的坐标转换矩阵,其中(0<i≤n,<j≤m),n为所述标定棋盘中的标定点的行数,m为所述标定棋盘中的标定点的列数。由于第一摄像头与第二摄像头架设位置及架设角度不变,则该坐标转换矩阵可以作为第一摄像头与第二摄像头对应的坐标转换矩阵。
实际应用中,如果在监测环境下标定过程可以是由分别连接第一摄像头与第二摄像头的路侧单元执行,还可以是路侧单元获取第一标定图像和第二标定图像后发送至云端服务器,由于云端服务器执行;如果是在实验环境或测试环境下,标定过程可以由连接第一摄像头及第二摄像头的计算机设备执行,在此不做具体限定。
可选地,由于标定棋盘中标定点P对应的第一图像坐标(x1i,y1j)及第二图像坐标(x2i,y2j),对应同一空间坐标中的实际物理位置,因此基于这一对应关系,可以求得转换矩阵为T。
实际第一图像坐标(x1i,y1j)及第二图像坐标(x2i,y2j)对应关系可以表示为(x1i,y1j)T1=(x2i,y2j)T2;其中,T1为第一图像坐标与所述标定点的实际物理位置的第一对应关系,T2为第二图像坐标与所述标定点的实际物理位置的第二对应关系,因此转换矩阵
Figure BDA0002326645150000111
Figure BDA0002326645150000112
因此,作为一种可实现的实施方式,所述基于所述第一图像坐标及所述第二图像坐标,确定所述第一摄像头与所述第二摄像头对应的坐标转换关系可以包括:
确定所述第一图像坐标与所述标定对象的实际物理位置的第一对应关系;
确定所述第二图像坐标与所述标定对象的实际物理位置的第二对应关系;
基于所述第一对应关系及所述第二对应关系,确定所述第一摄像头与所述第二摄像头对应的坐标转换关系。
但由于在图像坐标与实际物理位置对应关系时,需要利用摄像头标定的相机内参和相机外参信息将图像坐标转换为实际的物理坐标。当第一摄像头和第二摄像头标定误差不同或属于不同种类的摄像头时,就会产生较大的误差,因此为了减少由于坐标系转换产生的误差,可以直接基于第一图像坐标及第二图像坐标计算转换矩阵,
Figure BDA0002326645150000113
Figure BDA0002326645150000114
可理解的是,当标定对象中设定的标定点的数量越多,在关联区域的分布越广泛,其得到的第一摄像头与第二摄像头的转换矩阵的准确度就越高,但同时计算量也会增大,因此可以根据对匹配需求选取合适的标定对象及标定点,以在满足标定精度的同时提高标定效率,在此不做具体限定。
本申请实施例中,通过标定第一摄像头与第二摄像头的关联区域,获得其对象的坐标转换关系,为基于图像位置识别对象奠定了基础。且由于该标定方法,可以根据识别精度调整标定精度,进而获得足够精确地坐标转换关系,从而为识别准确度提供了保障。
图3为本申请实施例提供的一种识别方法一个实施例的流程示意图。该方法可以包括以下几个步骤:
301:获取第一摄像头采集的第一图像与第二摄像头采集的第二图像。
可选地,在本申请实施例中,所述第一摄像头与第二摄像头可以是架设于监控区域内具有视野重叠区域的任两个摄像头。其中,该视野重叠区域内标标定第一摄像头与第二摄像头对应的关联区域。该监控区域可以是用于视频监控等场景下的公共场所例如车站、商场、公园、楼宇内等区域,还可以用于智能交通场景下的道路、停车场、车辆检测等区域,以及低空飞行物监控等场景下无人机、智能飞行设备等飞行区域,或专门针对智能机器人监控场景下的货物自动分拣仓、工厂自动化产线等智能机器人服务区域,在此不做具体限定。实际应用中,监控区域内可以按照预设高度和预设角度架设多个摄像头,该多个摄像头可以根据监控需求分别为不同种类的摄像头,在此不做具体限定。
302:基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一对象与所述第二图像中位于所述关联区域内的第二对象的位置相似度。
其中,所述关联区域为所述第一摄像头与所述第二摄像头的视野重叠区域中的至少部分区域,所述坐标转换关系基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标计算获得。
实际上通过标定第一摄像头及第二摄像头的关联区域,是为了保证采集的第一图像与第二图像可以对应在物理空间上具有一致性,为了保证匹配准确性,同时还需要保证在时间上的一致性,因此第一图像与第二图像需要第一摄像头与第二摄像头同一时间采集获得。
作为一种可选地实施方式,所述基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一对象与所述第二图像中位于所述关联区域内的第二对象的位置相似度之前,还可以包括:
判断所述第一图像与所述第二图像的采集时间是否相同;
如果相同,执行基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一对象与所述第二图像中位于所述关联区域内的第二对象的位置相似度的步骤。
可选地,在某些实施例中,所述获取第一摄像头采集的第一图像与第二摄像头采集的第二图像可以包括:
确定通过所述第一摄像头追踪的第一对象;
监测所述第一对象进入所述关联区域时,获取所述第一摄像头与第二摄像头同一时间分别采集的第一图像和第二图像。
实际应用中,可以是对进入第一摄像头的视频监控视野的每一个对象进行追踪,即进入第一摄像头监控视野对象均为第一对象,当监测到至少一个第一对象进入关联区域后即可触服务端获取该第一图像和第二图像;此外,还可以通过监控视频终端的用户操作或者服务端基于预设追踪条件确定通过第一摄像头追踪的第一对象,当监测到通过第一摄像头追踪的第一对象进入与第二摄像头对应的关联区域后,即可触服务端获取第一图像和第二图像,具体可根据监控需求进行设置,在此不做具体限定。
所述基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一对象与所述第二图像中位于所述关联区域内的第二对象的位置相似度可以包括:
识别所述第一图像中位于所述关联区域内的至少一个第一待匹配对象并确定任一第一待匹配对象为所述第一对象;
识别所述第二图像中位于所述关联区域内的至少一个第二待匹配对象并确定任一第二待匹配对象为所述第二对象;
分别确定所述第一对象在所述第一图像中的第一对象位置及所述第二对象在所述第二图像中的第二对象位置;
基于所述坐标转换关系、所述第一对象位置及所述第二对象位置,确定所述第一对象与所述第二对象的位置相似度。
当关联区域面积较大时,同一时间关联区域内的待追踪的对象可以有多个,因此可以将第一图像中采集的关联区域内的多个待追踪对象作为第一待匹配对象,将第二图像中采集的关联区域内的多个待追踪对象作为第二待匹配对象。
可选地,在某些实施例中,所述基于所述坐标转换关系、所述第一对象位置及所述第二对象位置,确定所述第一对象与所述第二对象的位置相似度可以包括:
基于所述坐标转换关系将所述第二对象位置转换为对应第一图像下的第二对象转换位置;
基于所述第一对象位置及所述第二对象转换位置,计算所述位置相似度。
优选地,分别确定第一待匹配对象对应的第一待匹配对象位置及第二待匹配对象对应的第二待匹配对象位置,利用坐标转换关系,将第一待匹配对象位置及第二待匹配对象位置转换至同一图像坐标系下。可以采用随机选取方式或者按照预设选取规则,例如从左至右或从中心到边缘的顺序,从第一待匹配对象中选取第一对象,同样地,从第二待匹配对象中选取第二对象并分别确定第一对象的第一对象位置及第二对象的第二对象位置,确定第一对象与第二对象的位置相似度,之后依次从第二待匹配对象中重新选取第二对象,直至确定第一对象分别与每个第二待匹配对象的位置相似度后,按照前述步骤,依次从第一待匹配对象中重新选取第一对象,直至确定任一第一待匹配对象分别与任一第二待匹配对象的位置相似度。可选地,为了提高位置相似度的计算效率,进一步还可以利用匹配算法(例如匈牙利算法、KM算法,英文名:Kuhn–Munkres Algorithm、最小距离算法等,在此不再赘述),将第一待匹配对象与第二待匹配对象进行初始匹配(例如,基于最小距离算法将与任一待匹配对象距离差最小的第二待匹配对象建立匹配关系),并将建立匹配关系的第一待匹配对象与第二待匹配对象为第一对象及第二对象,从而基于确定的匹配关系计算第一对象与第二对象的位置相似度。
作为一种可实现的实施方式,所述分别确定所述第一对象在所述第一图像中的第一对象位置及所述第二对象在所述第二图像中的第二对象位置可以包括:
确定所述第一对象的边缘在所述第一图像中的第一边缘位置并将所述第一边缘位置作为所述第一对象位置;
确定所述第二对象的边缘在所述第二图像中的第二边缘位置并将所述第二边缘位置作为所述第二对象位置。
作为一种可选地实施方式,所述分别确定所述第一对象在所述第一图像中的第一对象位置及所述第二对象在所述第二图像中的第二对象位置可以包括:
确定所述第一对象的中心在所述第一图像中的第一中心位置并将所述第一中心位置作为所述第一对象位置;
确定所述第二对象的中心在所述第二图像中的第二中心位置并将所述第二中心位置作为所述第二对象位置。
实际应用中,对于边缘轮廓清晰、规则的对象,可以通过图像识别技术分别识别第一对象及第二对象的边缘轮廓,确定第一对象的边缘轮廓在第一图像中的第一边缘位置,同样地,确定第二对象的边缘轮廓在第二图像中的第二边缘位置。通过对比第一边缘位置与第二边缘位置的相似度确定第一对象与第二对象的位置相似度。
当第一摄像头与第二摄像头对应的关联区域的标定精度较高时,可以仅通过图像识别技术确定第一对象的对象中心对应的第一中心位置及第二对象的对象中心所述对应的第二中心位置,通过对比第一中心位置与第二中心位置的相似度确定第一对象与第二对象的位置相似度。
本申请实施例第一对象与第二对象位置相似度的确定方式包括但不限于上述的实施方式,可根据实际追踪对象及追踪方式进行合理设置,在此不做具体限定。
303:基于所述位置相似度确定所述第一对象与所述第二对象是否为同一对象。
实际应用中,可以通过判断第一对象与第二对象的位置相似度是否满足相似度阈值,确定第一对象与第二对象是否为同一对象。例如相似度阈值可以设置为95%,当第一对象与第二对象的位置相似度达到95%及以上即可确定第一对象与第二对象为同一对象。可以理解的是,相似度阈值越高,识别误差就越低,但实际相似度阈值还需要根据第一摄像头与第二摄像头的标定精度进行设定,当标定精度较高时,可以适当降低相似度阈值,当标定精度较低时,则需要提高相似度阈值,以保证对象识别准确度。
可选地,在某些实施例中,所述基于所述位置相似度确定所述第一对象与所述第二对象是否为同一对象可以包括:
从所述第一图像中提取所述第一对象的第一视觉特征;
从所述第二图像中提取所述第二对象的第二视觉特征;
基于所述位置相似度、所述第一视觉特征及所述第二视觉特征,确定所述第一对象与所述第二对象的匹配程度;
基于所述匹配程度确定所述第一对象与所述第二对象是否为同一对象。
实际应用中,当追踪对象为行人或其它任一类追踪对象之间可能出现间隔距离较小的情况(例如并肩行走的两个行人或者抱着小孩行走的行人等),可以通过提取视觉特征或图像特征以辅助对象识别,进一步提高对象识别的精确度,降低识别误差。其中,该视觉特征可以包括颜色特征、形态特征、人脸特征、运动特征等。因此,只有在位置相似度达到相似度阈值且同时满足视觉特征匹配时,确定第一对象与第二对象为同一对象。
本申请实施例中,在对第一摄像头及第二摄像头的关联区域标定的基础上,通过标定获得的坐标转换关系,将第一图像中第一对象的第一对象位置及第二图像中第二对象的第二对象位置转换至同一图像坐标系下,以基于对象位置的相似度确定第一对象与第二对象是否为同一对象。由于该标定过程及对象识别过程不需要任何额外的通信设备及传感器设备,因此不仅可以大大降低了对象识别成本,还可以对普通车辆、行人、机器人等对象进行识别,更具有普适性。
同时,由于前述标定方法可以得到足够精确地坐标转换关系,且无需使用相机的内参及外参进行坐标转换,因此可以大大降低识别误差,提高对象识别的精度。
可选地,当目标对象未进入第一摄像头或第二摄像头的关联区域内时,第一摄像头与第二摄像头分别进行单路的目标追踪。当目标对象进入关联区域时,即可通过对象识别建立第一对象与第二对象的关联关系实现第一摄像头与第二摄像头相结合的多路跨镜追踪,如下所述。
图4为本申请实施例提供的一种识别方法一个实施例的流程示意图。该方法可以包括以下几个步骤:
401:确定通过所述第一摄像头追踪的第一对象。
实际应用中,可以通过第一摄像头采集的视频图像提取第一对象的图像特征或者第一对象的对象标识确定第一对象是否满追踪条件。例如,对象为车辆时,提取图像特征或对象标识可以是车牌号码;对象为机器人或其它智能设备时,其图像特征例如可以是机器人的边缘轮廓或结构特征,对象标识可以是位于机器人或智能设备外壳上的二维码或条形码等标识,在此不做具体限定。
可选地,在智能寻人或视频监控等场景下,对象为失踪人口,可以通过图像处理提取出失踪人口照片的人脸特征、形态特征等作为追踪条件,当第一摄像头监测到符合追踪条件的行人时,标记该行人为第一对象。
实际应用中,还可有视频监控端的用户通过观看第一摄像头采集的视频图像从中找出待追踪的目标行人,并通过触发追踪操作,确定视频监控图像中目标行人为第一对象。
当确定满足追踪条件的第一对象后,即可通过第一摄像头对该第一对象进行单路追踪。
402:监测所述第一对象进入关联区域时,获取所述第一摄像头与第二摄像头同一时间分别采集的第一图像和采集的第二图像。
其中,所述关联区域为所述第一摄像头与所述第二摄像头的视野重叠区域中的至少部分区域。
403:基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一对象与所述第二图像中位于所述关联区域内的第二对象的位置相似度。
其中,所述坐标转换关系基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标计算获得。
404:从所述第一图像中提取所述第一对象的第一视觉特征。
405:从所述第二图像中提取所述第二对象的第二视觉特征。
406:基于所述位置相似度、所述第一视觉特征及所述第二视觉特征,确定所述第一对象与所述第二对象的匹配程度。
407:基于所述匹配程度确定所述第一对象与所述第二对象是否为同一对象。
可选地,在某些实施例中,所述基于所述匹配程度确定所述第一对象与所述第二对象是否为同一对象可以包括:
判断所述匹配程度是否满足匹配阈值;
如果满足所述匹配阈值,确定所述第一对象与所述第二对象为同一对象。
实际应用中,为了尽可能地减小识别误差,视觉特征可以获取多个视觉特征,例如同时提取第一对象与第二对象的颜色特征、形态特征、运动特征等,并根据影响识别结果的重要程度,设置每种视觉特征及位置相似度的权重系数,基于位置相似度、每种视觉特征分别对应的特征相似度及各自对应的权重系数,计算第一对象与第二对象的匹配程度,其中,匹配阈值可根据实际识别精度需求进行设定。
408:如果确定所述第一对象与所述第二对象为同一对象,建立所述第一对象与所述第二对象的关联关系,以通过所述第一摄像头及所述第二摄像头协同追踪所述同一对象。
实际应用中,当确定第一对象与第二对象为同一对象时,即可建立第一对象与第二对象的关联关系,路侧单元或云端服务器级即可基于该关联关系,确定第二对象为满足追踪条件的追踪对象,并利用追踪标识标记第二对象。
可选地,在实际视频监控、智能寻人、智能安防、智能交通、智能机器人等场景下,不仅包括设置在监控区域的多个摄像头及路侧单元,与路侧单元连接的云端服务器,还可以包括设置在监控室内监控平台端,该监控平台端包括显示该多个摄像头采集的视频画面的显示设备,还可以包括控制设备,监控平台端的用户可以通过控制设备执行切换显示、下载、截取视频画面等用户操作。
可选地,在智能交通场景下,对象为车辆。作为一种可实现的车辆识别方法,可以包括:
监测通过第一摄像头追踪的第一车辆进入关联区域时,获取所述第一摄像头采集的第一图像与第二摄像头采集的第二图像;其中,所述关联区域为所述第一摄像头与所述第二摄像头的视野重叠区域中的至少部分区域;
基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于所述关联区域内的第一车辆与所述第二图像中位于所述关联区域内的第二车辆的位置相似度;其中,所述坐标转换关系基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标计算获得;
基于所述位置相似度确定所述第一车辆与所述第二车辆是否为同一车辆。
作为一种可选地实施方式,所述基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一车辆与所述第二图像中位于所述关联区域内的第二车辆的位置相似度之前,还可以包括:
判断所述第一图像与所述第二图像的采集时间是否相同;
如果相同,执行基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一车辆与所述第二图像中位于所述关联区域内的第二车辆的位置相似度的步骤。
作为一种可选地实施方式,所述基于所述位置相似度确定所述第一车辆与所述第二车辆是否为同一车辆之后,还可以包括:
如果确定所述第一车辆与所述第二车辆为同一车辆,建立所述第一车辆与所述第二车辆的关联关系,以通过所述第一摄像头及所述第二摄像头协同追踪所述同一车辆。
作为一种可实现的实施方式,所述获取第一摄像头采集的第一图像与第二摄像头采集的第二图像可以包括:
确定通过所述第一摄像头追踪的第一车辆;
监测所述第一车辆进入所述关联区域时,获取所述第一摄像头与第二摄像头同一时间分别采集的第一图像和第二图像。
车辆识别方法的具体实施方式与前述相同,在此不再赘述。
如图5(a)-图5(b)所示为,监控平台端显示对应于图2(a)监控域内的第一摄像头与第二摄像头对目标车辆进行跨镜追踪的示意图。其中,图5(a)中,a1为第一摄像头对目标车辆进行单路追踪时采集的视频画面,其中,目标车辆用黑色虚线框进行追踪标记,a2为同一时间第二摄像头采集的视频画面。图5(b)中为目标车辆进入关联区域后,通过上述实施例所述的识别方法,识别第一摄像头采集的视频画面b1中的第一车辆与第二摄像头采集的视频画面b2中的第二车辆为同一目标车辆,对b2中的第二车辆进行追踪标记,从而实现了对目标车辆进行协同跨镜追踪。为了便于理解,在监测路段仍示意了第一摄像头与第二摄像头的关联区域,实际应用中对第一摄像头及第二摄像头的关联区域标定完成后,仅需确定关联区域对应的第一图像坐标及第二图像坐标即可确定,不需要再监测路段标记关联区域。
本申请实施例中,基于识别第一对象与第二对象为同一对象时,实现第一摄像头与第二摄像头的多路协同跨镜追踪。从而采用单路追踪结合多路追踪相结合的方式,实现灵活、连续、多方位的目标追踪,更具有通用性,可以适用于不同地应用场景下。
图6为本申请实施例提供的一种标定装置一个实施例的结构示意图。该装置可以包括:
第一确定模块601,用于确定第一摄像头及第二摄像头的视野重叠区域;
关联区域选取模块602,用于选取所述视野重叠区域的至少部分区域作为关联区域;
第二确定模块603,用于基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标,确定所述第一摄像头与所述第二摄像头对应的坐标转换关系。
其中,所述坐标转换关系用于将所述关联区域内所述第一摄像头采集的第一对象及所述第二摄像头采集的第二对象转换到同一图像坐标系下,以确定所述第一对象与所述第二对象是否为同一对象。
可选地,在某些实施例中,所述关联区域选取模块602具体可以用于:
选取所述视野重叠区域中区域面积大于所述待追踪对象所占面积的至少部分区域作为所述关联区域。
作为一种可选地实施方式,所述标定对象为与所述关联区域等面积的标定棋盘格;所述至少一个标定点为所述标定棋盘格中至少一个格的顶点。
作为一种可选地实施方式,所述第二确定模块603具体可以包括:
标定图像获取单元,用于获取所述第一摄像头与所述第二摄像头分别采集所述关联区域中的标定对象获得的第一标定图像和第二标定图像;
图像坐标确定单元,用于确定所述标定对象分别在所述第一标定图像中的第一图像坐标及所述第二标定图像中的第二图像坐标;
坐标转换关系确定单元,用于基于所述第一图像坐标及所述第二图像坐标,确定所述第一摄像头与所述第二摄像头对应的坐标转换关系。
作为一种可实现的实施方式,所述图像坐标确定单元具体可以用于:
确定所述标定对象中的至少一个标定点分别对应的第一标定图像下的第一位置坐标及分别对应第二标定图像下的第二位置坐标;
将所述至少一个标定点分别对应的第一位置坐标构成的第一位置坐标矩阵作为所述第一图像坐标;
将所述至少一个标定点分别对应的第二位置坐标构成的第二位置坐标矩阵作为所述第二图像坐标。
作为一种可实现的实施方式,所述坐标转换关系确定单元具体可以用于:
确定所述第一图像坐标与所述标定对象的实际物理位置的第一对应关系;
确定所述第二图像坐标与所述标定对象的实际物理位置的第二对应关系;
基于所述第一对应关系及所述第二对应关系,确定所述第一摄像头与所述第二摄像头对应的坐标转换关系。
图6所述的标定装置可以执行图1所示实施例所述的标定方法,其实现原理和技术效果不再赘述。对于上述实施例中的标定装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图7为本申请实施例提供的一种识别装置一个实施例的结构示意图。该装置可以包括:
第一获取模块701,用于获取第一摄像头采集的第一图像与第二摄像头采集的第二图像。
第三确定模块702,用于基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一对象与所述第二图像中位于所述关联区域内的第二对象的位置相似度。
其中,所述关联区域为所述第一摄像头与所述第二摄像头的视野重叠区域中的至少部分区域,所述坐标转换关系基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标计算获得;
第四确定模块703,用于基于所述位置相似度确定所述第一对象与所述第二对象是否为同一对象。
作为一种可选地实施方式,所述第三确定模块702之前,还可以包括:
判断模块,用于判断所述第一图像与所述第二图像的采集时间是否相同;如果相同,触发第三确定模块702。
可选地,在某些实施例中,所述第一获取模块701具体可以用于:
确定通过所述第一摄像头追踪的第一对象;
监测所述第一对象进入所述关联区域时,获取所述第一摄像头与第二摄像头同一时间分别采集的第一图像和第二图像。
所述第三确定模块702可以包括:
第一对象确定单元,用于识别所述第一图像中位于所述关联区域内的至少一个第一待匹配对象并确定任一第一待匹配对象为所述第一对象;
第二对象确定单元,用于识别所述第二图像中位于所述关联区域内的至少一个第二待匹配对象并确定任一第二待匹配对象为所述第二对象;
对象位置确定单元,用于分别确定所述第一对象在所述第一图像中的第一对象位置及所述第二对象在所述第二图像中的第二对象位置;
位置相似度确定单元,用于基于所述坐标转换关系、所述第一对象位置及所述第二对象位置,确定所述第一对象与所述第二对象的位置相似度。
可选地,在某些实施例中,所述位置相似度确定单元具体可以用于:
基于所述坐标转换关系将所述第二对象位置转换为对应第一图像下的第二对象转换位置;
基于所述第一对象位置及所述第二对象转换位置,计算所述位置相似度。
作为一种可实现的实施方式,所述对象位置确定单元具体可以用于:
确定所述第一对象的边缘在所述第一图像中的第一边缘位置并将所述第一边缘位置作为所述第一对象位置;
确定所述第二对象的边缘在所述第二图像中的第二边缘位置并将所述第二边缘位置作为所述第二对象位置。
作为一种可选地实施方式,所述对象位置确定单元具体可以用于:
确定所述第一对象的中心在所述第一图像中的第一中心位置并将所述第一中心位置作为所述第一对象位置;
确定所述第二对象的中心在所述第二图像中的第二中心位置并将所述第二中心位置作为所述第二对象位置。
可选地,在某些实施例中,所述第四确定模块703可以包括:
第一提取单元,用于从所述第一图像中提取所述第一对象的第一视觉特征;
第二提取单元,用于从所述第二图像中提取所述第二对象的第二视觉特征;
匹配程度确定单元,用于基于所述位置相似度、所述第一视觉特征及所述第二视觉特征,确定所述第一对象与所述第二对象的匹配程度;
对象识别单元,用于基于所述匹配程度确定所述第一对象与所述第二对象是否为同一对象。
图7所述的识别装置可以执行图3所示实施例所述的识别方法,其实现原理和技术效果不再赘述。对于上述实施例中的识别装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图8为本申请实施例提供的一种识别装置一个实施例的结构示意图。该装置可以包括:
第一获取模块801,用于获取第一摄像头采集的第一图像与第二摄像头采集的第二图像。
其中,所述第一获取模块801可以包括:
第一对象确定单元811,用于确定通过所述第一摄像头追踪的第一对象。
图像获取单元812,用于监测所述第一对象进入关联区域时,获取所述第一摄像头与第二摄像头同一时间分别采集的第一图像和采集的第二图像。
第三确定模块802,用于基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一对象与所述第二图像中位于所述关联区域内的第二对象的位置相似度。
其中,所述关联区域为所述第一摄像头与所述第二摄像头的视野重叠区域中的至少部分区域,所述坐标转换关系基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标计算获得;
第四确定模块803,用于基于所述位置相似度确定所述第一对象与所述第二对象是否为同一对象。
所述第四确定模块803可以包括:
第一提取单元813,用于从所述第一图像中提取所述第一对象的第一视觉特征;
第二提取单元814,用于从所述第二图像中提取所述第二对象的第二视觉特征;
匹配程度确定单元815,用于基于所述位置相似度、所述第一视觉特征及所述第二视觉特征,确定所述第一对象与所述第二对象的匹配程度;
对象识别单元816,用于基于所述匹配程度确定所述第一对象与所述第二对象是否为同一对象。
关联模块804,用于确定所述第一对象与所述第二对象为同一对象时,建立所述第一对象与所述第二对象的关联关系,以通过所述第一摄像头及所述第二摄像头协同追踪所述同一对象。
图8所述的识别装置可以执行图4所示实施例所述的识别方法,其实现原理和技术效果不再赘述。对于上述实施例中的识别装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图9为本申请实施例提供的一种计算机设备一个实施例的结构示意图,该计算机设备可以包括处理组件901以及存储组件902。
所述存储组件902用于存储一个或多个计算机指令;所述一个或多个计算机指令用以被所述处理组件901调用执行。
所述处理组件901可以用于:
确定第一摄像头及第二摄像头的视野重叠区域;
选取所述视野重叠区域的至少部分区域作为关联区域;
基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标,确定所述第一摄像头与所述第二摄像头对应的坐标转换关系;其中,所述坐标转换关系用于将所述关联区域内所述第一摄像头采集的第一对象及所述第二摄像头采集的第二对象转换到同一图像坐标系下,以确定所述第一对象与所述第二对象是否为同一对象。
其中,处理组件901可以包括一个或多个处理器来执行计算机指令,以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
存储组件902被配置为存储各种类型的数据以支持在服务器中的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
当然,该计算机设备必然还可以包括其他部件,例如输入/输出接口、通信组件等。
输入/输出接口为处理组件和外围接口模块之间提供接口,上述外围接口模块可以是输出设备、输入设备等。
通信组件被配置为便于服务器和其他设备之间有线或无线方式的通信,例如与终端之间的通信。
本申请实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被计算机执行时可以实现上述图1所示实施例的标定方法。
图10为本申请实施例提供的一种计算机设备一个实施例的结构示意图,该计算机设备可以包括处理组件1001以及存储组件1002。
所述存储组件1002用于存储一个或多个计算机指令;所述一个或多个计算机指令用以被所述处理组件1001调用执行。
所述处理组件1001可以用于:
获取第一摄像头采集的第一图像与第二摄像头采集的第二图像;
基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一对象与所述第二图像中位于所述关联区域内的第二对象的位置相似度;其中,所述关联区域为所述第一摄像头与所述第二摄像头的视野重叠区域中的至少部分区域,所述坐标转换关系基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标计算获得;
基于所述位置相似度确定所述第一对象与所述第二对象是否为同一对象。
其中,处理组件1001可以包括一个或多个处理器来执行计算机指令,以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
存储组件1002被配置为存储各种类型的数据以支持在服务器中的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
当然,该计算机设备必然还可以包括其他部件,例如输入/输出接口、通信组件等。
输入/输出接口为处理组件和外围接口模块之间提供接口,上述外围接口模块可以是输出设备、输入设备等。
通信组件被配置为便于服务器和其他设备之间有线或无线方式的通信,例如与终端之间的通信。
本申请实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被计算机执行时可以实现上述图3及图4所示实施例的识别方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (24)

1.一种车辆识别方法,其特征在于,包括:
监测通过第一摄像头追踪的第一车辆进入关联区域时,获取所述第一摄像头采集的第一图像与第二摄像头采集的第二图像;其中,所述关联区域为所述第一摄像头与所述第二摄像头的视野重叠区域中的至少部分区域;
基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于所述关联区域内的第一车辆与所述第二图像中位于所述关联区域内的第二车辆的位置相似度;其中,所述坐标转换关系基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标计算获得;
基于所述位置相似度确定所述第一车辆与所述第二车辆是否为同一车辆。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一车辆与所述第二图像中位于所述关联区域内的第二车辆的位置相似度之前,还包括:
判断所述第一图像与所述第二图像的采集时间是否相同;
如果相同,执行基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一车辆与所述第二图像中位于所述关联区域内的第二车辆的位置相似度的步骤。
3.根据权利要求1所述的方法,其特征在于,所述基于所述位置相似度确定所述第一车辆与所述第二车辆是否为同一车辆之后,还包括:
如果确定所述第一车辆与所述第二车辆为同一车辆,建立所述第一车辆与所述第二车辆的关联关系,以通过所述第一摄像头及所述第二摄像头协同追踪所述同一车辆。
4.根据权利要求1所述的方法,其特征在于,所述获取第一摄像头采集的第一图像与第二摄像头采集的第二图像包括:
确定通过所述第一摄像头追踪的第一车辆;
监测所述第一车辆进入所述关联区域时,获取所述第一摄像头与第二摄像头同一时间分别采集的第一图像和第二图像。
5.一种标定方法,其特征在于,包括:
确定第一摄像头及第二摄像头的视野重叠区域;
选取所述视野重叠区域的至少部分区域作为关联区域;
基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标,确定所述第一摄像头与所述第二摄像头对应的坐标转换关系;其中,所述坐标转换关系用于将所述关联区域内所述第一摄像头采集的第一对象及所述第二摄像头采集的第二对象转换到同一图像坐标系下,以确定所述第一对象与所述第二对象是否为同一对象。
6.根据权利要求5所述的方法,其特征在于,所述选取所述视野重叠区域的至少部分区域作为关联区域包括:
选取所述视野重叠区域中区域面积大于所述待追踪对象所占面积的至少部分区域作为所述关联区域。
7.根据权利要求5所述的方法,其特征在于,所述基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标,确定所述第一摄像头与所述第二摄像头对应的坐标转换关系包括:
获取所述第一摄像头与所述第二摄像头分别采集所述关联区域中的标定对象获得的第一标定图像和第二标定图像;
确定所述标定对象分别在所述第一标定图像中的第一图像坐标及所述第二标定图像中的第二图像坐标;
基于所述第一图像坐标及所述第二图像坐标,确定所述第一摄像头与所述第二摄像头对应的坐标转换关系。
8.根据权利要求7所述的方法,其特征在于,所述基于所述第一图像坐标及所述第二图像坐标,确定所述第一摄像头与所述第二摄像头对应的坐标转换关系包括:
确定所述第一图像坐标与所述标定对象的实际物理位置的第一对应关系;
确定所述第二图像坐标与所述标定对象的实际物理位置的第二对应关系;
基于所述第一对应关系及所述第二对应关系,确定所述第一摄像头与所述第二摄像头对应的坐标转换关系。
9.根据权利要求7所述的方法,其特征在于,所述确定所述标定对象分别在所述第一标定图像中的第一图像坐标及所述第二标定图像中的第二图像坐标包括:
确定所述标定对象中的至少一个标定点分别对应的第一标定图像下的第一位置坐标及分别对应第二标定图像下的第二位置坐标;
将所述至少一个标定点分别对应的第一位置坐标构成的第一位置坐标矩阵作为所述第一图像坐标;
将所述至少一个标定点分别对应的第二位置坐标构成的第二位置坐标矩阵作为所述第二图像坐标。
10.根据权利要求9所述的方法,其特征在于,所述标定对象为与所述关联区域等面积的标定棋盘格;所述至少一个标定点为所述标定棋盘格中至少一个格的顶点。
11.一种识别方法,其特征在于,包括:
获取第一摄像头采集的第一图像与第二摄像头采集的第二图像;
基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一对象与所述第二图像中位于所述关联区域内的第二对象的位置相似度;其中,所述关联区域为所述第一摄像头与所述第二摄像头的视野重叠区域中的至少部分区域,所述坐标转换关系基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标计算获得;
基于所述位置相似度确定所述第一对象与所述第二对象是否为同一对象。
12.根据权利要求11所述的方法,其特征在于,所述基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一对象与所述第二图像中位于所述关联区域内的第二对象的位置相似度包括:
识别所述第一图像中位于所述关联区域内的至少一个第一待匹配对象并确定任一第一待匹配对象为所述第一对象;
识别所述第二图像中位于所述关联区域内的至少一个第二待匹配对象并确定任一第二待匹配对象为所述第二对象;
分别确定所述第一对象在所述第一图像中的第一对象位置及所述第二对象在所述第二图像中的第二对象位置;
基于所述坐标转换关系、所述第一对象位置及所述第二对象位置,确定所述第一对象与所述第二对象的位置相似度。
13.根据权利要求12所述的方法,其特征在于,所述基于所述坐标转换关系、所述第一对象位置及所述第二对象位置,确定所述第一对象与所述第二对象的位置相似度包括:
基于所述坐标转换关系将所述第二对象位置转换为对应第一图像下的第二对象转换位置;
基于所述第一对象位置及所述第二对象转换位置,计算所述位置相似度。
14.根据权利要求12所述的方法,其特征在于,所述分别确定所述第一对象在所述第一图像中的第一对象位置及所述第二对象在所述第二图像中的第二对象位置包括:
确定所述第一对象的边缘在所述第一图像中的第一边缘位置并将所述第一边缘位置作为所述第一对象位置;
确定所述第二对象的边缘在所述第二图像中的第二边缘位置并将所述第二边缘位置作为所述第二对象位置。
15.根据权利要求12所述的方法,其特征在于,所述分别确定所述第一对象在所述第一图像中的第一对象位置及所述第二对象在所述第二图像中的第二对象位置包括:
确定所述第一对象的中心在所述第一图像中的第一中心位置并将所述第一中心位置作为所述第一对象位置;
确定所述第二对象的中心在所述第二图像中的第二中心位置并将所述第二中心位置作为所述第二对象位置。
16.根据权利要求11所述的方法,其特征在于,所述基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一对象与所述第二图像中位于所述关联区域内的第二对象的位置相似度之前,还包括:
判断所述第一图像与所述第二图像的采集时间是否相同;
如果相同,执行基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一对象与所述第二图像中位于所述关联区域内的第二对象的位置相似度的步骤。
17.根据权利要求11所述的方法,其特征在于,所述基于所述位置相似度确定所述第一对象与所述第二对象是否为同一对象包括:
从所述第一图像中提取所述第一对象的第一视觉特征;
从所述第二图像中提取所述第二对象的第二视觉特征;
基于所述位置相似度、所述第一视觉特征及所述第二视觉特征,确定所述第一对象与所述第二对象的匹配程度;
基于所述匹配程度确定所述第一对象与所述第二对象是否为同一对象。
18.根据权利要求17所述的方法,其特征在于,所述基于所述匹配程度确定所述第一对象与所述第二对象是否为同一对象包括:
判断所述匹配程度是否满足匹配阈值;
如果满足所述匹配阈值,确定所述第一对象与所述第二对象为同一对象。
19.根据权利要求11所述的方法,其特征在于,所述基于所述位置相似度确定所述第一对象与所述第二对象是否为同一对象之后,还包括:
如果确定所述第一对象与所述第二对象为同一对象,建立所述第一对象与所述第二对象的关联关系,以通过所述第一摄像头及所述第二摄像头协同追踪所述同一对象。
20.根据权利要求11所述的方法,其特征在于,所述获取第一摄像头采集的第一图像与第二摄像头采集的第二图像包括:
确定通过所述第一摄像头追踪的第一对象;
监测所述第一对象进入所述关联区域时,获取所述第一摄像头与第二摄像头同一时间分别采集的第一图像和第二图像。
21.一种标定装置,其特征在于,包括:
第一确定模块,用于确定第一摄像头及第二摄像头的视野重叠区域;
关联区域选取模块,用于选取所述视野重叠区域的至少部分区域作为关联区域;
第二确定模块,用于基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标,确定所述第一摄像头与所述第二摄像头对应的坐标转换关系;其中,所述坐标转换关系用于将所述关联区域内所述第一摄像头采集的第一对象及所述第二摄像头采集的第二对象转换到同一图像坐标系下,以确定所述第一对象与所述第二对象是否为同一对象。
22.一种识别装置,其特征在于,包括:
第一获取模块,用于获取第一摄像头采集的第一图像与第二摄像头采集的第二图像;
第三确定模块,用于基于所述第一摄像头与所述第二摄像头对应的坐标转换关系,确定所述第一图像中位于关联区域内的第一对象与所述第二图像中位于所述关联区域内的第二对象的位置相似度;其中,所述关联区域为所述第一摄像头与所述第二摄像头的视野重叠区域中的至少部分区域,所述坐标转换关系基于所述关联区域分别对应所述第一摄像头下的第一图像坐标及所述第二摄像头下的第二图像坐标计算获得;
第四确定模块,用于基于所述位置相似度确定所述第一对象与所述第二对象是否为同一对象。
23.一种计算机设备,其特征在于,包括存储组件以及处理组件;
其中,所述存储组件存储一个或多个计算机指令;当所述一个或多个计算机指令被所述处理组件调用执行时,使所述处理组件执行如权利要求5至10任一项所述的标定方法。
24.一种计算机设备,其特征在于,包括存储组件以及处理组件;
其中,所述存储组件存储一个或多个计算机指令;当所述一个或多个计算机指令被所述处理组件调用执行时,使所述处理组件执行如权利要求11至20任一项所述的识别方法。
CN201911319039.9A 2019-12-19 2019-12-19 标定方法、识别方法、装置及设备 Pending CN113011445A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911319039.9A CN113011445A (zh) 2019-12-19 2019-12-19 标定方法、识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911319039.9A CN113011445A (zh) 2019-12-19 2019-12-19 标定方法、识别方法、装置及设备

Publications (1)

Publication Number Publication Date
CN113011445A true CN113011445A (zh) 2021-06-22

Family

ID=76382231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911319039.9A Pending CN113011445A (zh) 2019-12-19 2019-12-19 标定方法、识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113011445A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113702833A (zh) * 2021-06-30 2021-11-26 中国电信集团工会上海市委员会 一种楼道电瓶车监测系统及方法
CN114663475A (zh) * 2022-03-25 2022-06-24 重庆中科云从科技有限公司 一种目标跟踪方法、装置、介质及设备
CN116958931A (zh) * 2023-07-20 2023-10-27 山东产研鲲云人工智能研究院有限公司 用于仓储中车辆碰撞预警的方法及计算设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090169052A1 (en) * 2004-08-11 2009-07-02 Tokyo Institute Of Technology Object Detector
CN104778690A (zh) * 2015-04-02 2015-07-15 中国电子科技集团公司第二十八研究所 一种基于摄像机网络的多目标定位方法
CN107666590A (zh) * 2016-07-29 2018-02-06 华为终端(东莞)有限公司 一种目标监控方法、摄像头、控制器和目标监控系统
CN108921881A (zh) * 2018-06-28 2018-11-30 重庆邮电大学 一种基于单应性约束的跨摄像头目标跟踪方法
CN109163707A (zh) * 2018-09-06 2019-01-08 百度在线网络技术(北京)有限公司 障碍物感知方法、系统、计算机设备、计算机存储介质
CN109579868A (zh) * 2018-12-11 2019-04-05 上海元城汽车技术有限公司 车外目标定位方法、装置及汽车
CN110418114A (zh) * 2019-08-20 2019-11-05 京东方科技集团股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质
CN110458895A (zh) * 2019-07-31 2019-11-15 腾讯科技(深圳)有限公司 图像坐标系的转换方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090169052A1 (en) * 2004-08-11 2009-07-02 Tokyo Institute Of Technology Object Detector
CN104778690A (zh) * 2015-04-02 2015-07-15 中国电子科技集团公司第二十八研究所 一种基于摄像机网络的多目标定位方法
CN107666590A (zh) * 2016-07-29 2018-02-06 华为终端(东莞)有限公司 一种目标监控方法、摄像头、控制器和目标监控系统
CN108921881A (zh) * 2018-06-28 2018-11-30 重庆邮电大学 一种基于单应性约束的跨摄像头目标跟踪方法
CN109163707A (zh) * 2018-09-06 2019-01-08 百度在线网络技术(北京)有限公司 障碍物感知方法、系统、计算机设备、计算机存储介质
CN109579868A (zh) * 2018-12-11 2019-04-05 上海元城汽车技术有限公司 车外目标定位方法、装置及汽车
CN110458895A (zh) * 2019-07-31 2019-11-15 腾讯科技(深圳)有限公司 图像坐标系的转换方法、装置、设备及存储介质
CN110418114A (zh) * 2019-08-20 2019-11-05 京东方科技集团股份有限公司 一种对象跟踪方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冯莹莹等: "《智能监控视频中运动目标跟踪方法研究》", 30 June 2018, 长春:吉林大学出版社, pages: 154 - 155 *
宋岳秦;卢军;孙姝丽;: "基于HALCON的机器人视觉系统标定方法研究", 南方农机, no. 20, pages 52 - 54 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113702833A (zh) * 2021-06-30 2021-11-26 中国电信集团工会上海市委员会 一种楼道电瓶车监测系统及方法
CN113702833B (zh) * 2021-06-30 2024-04-19 中国电信集团工会上海市委员会 一种楼道电瓶车监测系统及方法
CN114663475A (zh) * 2022-03-25 2022-06-24 重庆中科云从科技有限公司 一种目标跟踪方法、装置、介质及设备
CN116958931A (zh) * 2023-07-20 2023-10-27 山东产研鲲云人工智能研究院有限公司 用于仓储中车辆碰撞预警的方法及计算设备
CN116958931B (zh) * 2023-07-20 2024-07-30 山东产研鲲云人工智能研究院有限公司 用于仓储中车辆碰撞预警的方法及计算设备

Similar Documents

Publication Publication Date Title
CN109272530B (zh) 面向空基监视场景的目标跟踪方法与装置
US9710924B2 (en) Field of view determiner
CN107067794B (zh) 一种基于视频图像处理的室内车辆定位导航系统及方法
Palaniappan et al. Wide-area persistent airborne video: Architecture and challenges
JP2004531842A (ja) サーベイランスシステムおよび監視システムに関する方法
JP2004537790A (ja) 移動対象物評価システムおよび方法
CN113011445A (zh) 标定方法、识别方法、装置及设备
JP2004534315A (ja) 移動対象物を監視する方法およびシステム
KR20180046798A (ko) 실시간 교통 정보 제공 방법 및 장치
CN113012215B (zh) 一种空间定位的方法、系统及设备
CN111814593B (zh) 交通场景解析方法和设备、存储介质
EP3940666A1 (en) Digital reconstruction method, apparatus, and system for traffic road
CN113196331A (zh) 利用卫星影像的应用服务提供装置及方法
US20220044558A1 (en) Method and device for generating a digital representation of traffic on a road
CN110645999A (zh) 导航方法、装置、服务器、终端及存储介质
CN113505643B (zh) 违章目标物检测方法及相关装置
CN104661300A (zh) 定位方法、装置、系统及移动终端
WO2024055966A1 (zh) 一种多相机目标检测方法、装置
CN113297946A (zh) 一种监控盲区识别方法和识别系统
CN112689234A (zh) 室内车辆定位方法、装置、计算机设备和存储介质
WO2023284358A1 (zh) 相机标定方法、装置、电子设备及存储介质
CN109712249B (zh) 地理要素增强现实方法及装置
CN115205382A (zh) 目标物定位方法以及装置
CN110636248B (zh) 目标跟踪方法与装置
CN116912517B (zh) 相机视野边界的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination