CN111372051B

CN111372051B - 多相机联动盲区检测方法、装置和电子设备

Info

Publication number: CN111372051B
Application number: CN202010188940.3A
Authority: CN
Inventors: 张志勇; 沈飞
Original assignee: Sany Heavy Industry Co Ltd
Current assignee: Shengjing Intelligent Technology Jiaxing Co ltd
Priority date: 2020-03-17
Filing date: 2020-03-17
Publication date: 2021-06-01
Anticipated expiration: 2040-03-17
Also published as: CN111372051A

Abstract

本发明提供了一种多相机联动盲区检测方法、装置和电子设备，涉及的技术领域，包括获取多个相机拍摄的目标车辆进入目标盲区的多个监控图像，从多个监控图像中确定目标车辆相对应的多个矩形框；其中，多个相机包括监控相机和检测相机；检测相机为以目标盲区为盲区的相机；监控相机为位于检测相机对面、能够检测到目标盲区的相机；根据当前监控相机所拍摄的第一监控图像中的矩形框与第一监控图像中的盲区标线确定目标车辆所对应的当前检测相机；向当前检测相机发送转动相机信息；接收转动后的当前检测相机发送的第二监控图像，根据第二监控图像中的矩形框与第二监控图像中的盲区标线确定目标车辆的三维空间位置。本发明能够实现盲区车辆的准确定位。

Description

多相机联动盲区检测方法、装置和电子设备

技术领域

本发明涉及车辆的盲区检测技术领域，尤其是涉及一种多相机联动盲区检测方法、装置和电子设备。

背景技术

目前停车场的无人化，智能化监控和管理具有广泛的应用场景和巨大的社会效益。智能化的管理离不开对停车场内车辆活动轨迹的监控，而停车场监控摄像头安装的过程中，受限于成本以及安装位置等条件限制，导致会产生监控盲区，无法准确定位车辆的位置。而从相机的监控图像中得到的车辆位置、二维图像空间中的位置与真实的三维空间中的位置存在多对一的关系，单纯通过车辆在图像中的矩形框位置无法反应车辆的真实位置。

发明内容

本发明的目的在于提供一种多相机联动盲区检测方法、装置和电子设备，能够实现盲区车辆的准确定位。

第一方面，本发明提供的一种多相机联动盲区检测方法，包括：

获取多个相机拍摄的目标车辆进入目标盲区的多个监控图像，从多个监控图像中确定目标车辆相对应的多个矩形框；其中，所述多个相机包括目标盲区相对应的至少一个监控相机和至少一个检测相机；所述检测相机为以目标盲区为盲区的相机；所述监控相机为位于检测相机对面的、能够检测到目标盲区的相机；

根据当前监控相机所拍摄的第一监控图像中的矩形框与第一监控图像中的盲区标线确定目标车辆所对应的当前检测相机；

向当前检测相机发送转动相机信息；

接收转动后的当前检测相机发送的第二监控图像，根据第二监控图像中的矩形框与第二监控图像中的盲区标线确定目标车辆的三维空间位置。

在可选的实施方式中，所述盲区标线包括监控区标线，根据当前监控相机所拍摄的第一监控图像中的矩形框与第一监控图像中的盲区标线确定目标车辆所对应的当前检测相机包括：

根据当前监控相机所拍摄的第一监控图像中的矩形框与第一监控图像中的监控区标线计算纵向交叉比；

根据所述纵向交叉比确定目标盲区的具体位置；

根据目标盲区的具体位置确定与目标盲区的具体位置相对应的当前检测相机。

在可选的实施方式中，所述盲区标线包括检测区标线，接收转动后的当前检测相机发送的第二监控图像，根据第二监控图像中的矩形框与第二监控图像中的盲区标线确定目标车辆的位置包括：

根据当前监控相机所拍摄的第一监控图像中的矩形框与第一监控图像中的监控区标线计算第一横向交叉比；

确定第二监控图像中的所有车辆相对应的矩形框；

根据第二监控图像中的每个车辆相对应的矩形框与第二监控图像中的检测区标线计算每个车辆相对应的横向交叉比；

将每个车辆相对应的横向交叉比中与第一横向交叉比数值大小最接近的横向交叉比所对应的车辆检定为目标车辆；

确定目标车辆的三维空间位置。

在可选的实施方式中，所述方法还包括：

识别目标车辆的车牌，检测目标车辆的行车轨迹。

第二方面，实施例提供的一种多相机联动盲区检测装置，包括：

获取模块，用于获取多个相机拍摄的目标车辆进入目标盲区的多个监控图像，从多个监控图像中确定目标车辆相对应的多个矩形框；其中，所述多个相机包括目标盲区相对应的至少一个监控相机和至少一个检测相机；所述检测相机为以目标盲区为盲区的相机；所述监控相机为位于检测相机对面的、能够检测到目标盲区的相机；

检测相机确定模块，用于根据当前监控相机所拍摄的第一监控图像中的矩形框与第一监控图像中的盲区标线确定目标车辆所对应的当前检测相机；

转动模块，用于向当前检测相机发送转动相机信息；

位置确定模块，用于接收转动后的当前检测相机发送的第二监控图像，根据第二监控图像中的矩形框与第二监控图像中的盲区标线确定目标车辆的三维空间位置。

在可选的实施方式中，所述盲区标线包括监控区标线，检测相机确定模块包括：

纵向交叉比模块，用于根据当前监控相机所拍摄的第一监控图像中的矩形框与第一监控图像中的监控区标线计算纵向交叉比；

目标盲区位置计算模块，用于根据所述纵向交叉比确定目标盲区的具体位置；

检测相机确定模块，用于根据目标盲区的具体位置确定与目标盲区的具体位置相对应的当前检测相机。

在可选的实施方式中，所述盲区标线包括检测区标线，接收转动后的当前检测相机发送的第二监控图像，位置确定模块包括：

第一横向交叉比模块，用于根据当前监控相机所拍摄的第一监控图像中的矩形框与第一监控图像中的监控区标线计算第一横向交叉比；

标定模块，用于确定第二监控图像中的所有车辆相对应的矩形框；

横向交叉比计算模块，用于根据第二监控图像中的每个车辆相对应的矩形框与第二监控图像中的检测区标线计算每个车辆相对应的横向交叉比；

比较模块，用于将每个车辆相对应的横向交叉比中与第一横向交叉比数值大小最接近的横向交叉比所对应的车辆检定为目标车辆；

确定模块，用于确定目标车辆的三维空间位置。

在可选的实施方式中，还包括车牌识别模块，用于识别目标车辆的车牌，检测目标车辆的行车轨迹。

第三方面，实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述前述实施方式任意一项所述的方法的步骤。

第四方面，实施例提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行所述前述实施方式任意一项所述方法。

本发明提供的多相机联动盲区检测方法、装置和电子设备，由于将多个相机拍摄划分为监控相机和检测相机两种类型，从而根据监控相机拍摄的第一监控图像中的矩形框与第一监控图像中的盲区标线确定目标车辆所对应的当前检测相机；从而转动当前检测相机以使其监控目标盲区；然后，根据当前检测相机的第二监控图像中的矩形框与第二监控图像中的盲区标线确定目标车辆的三维空间位置；本发明能够实现盲区车辆的三维空间的准确定位，方法简单，易于实现，检测结果准确。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的多相机联动盲区检测方法的流程图；

图2为本发明实施例提供多相机联动盲区检测方法的纵向交叉比和横向交叉比的计算原理图；

图3为本发明实施例提供的多相机联动盲区检测方法的多个相机的布局示意图；

图4为本发明实施例提供的多相机联动盲区检测装置的系统原理图；

图5为本发明实施例提供的电子设备的系统原理图。

图标：51-获取模块；52-检测相机确定模块；53-转动模块；54-位置确定模块；400-电子设备；401-通信接口；402-处理器；403-存储器；404-总线。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

目前，停车场的无人化，智能化监控和管理具有广泛的应用前景和巨大的社会效益。智能化的管理离不开对停车场内车辆活动轨迹的监控。而停车场监控摄像头安装的过程中，受限于成本以及安装位置等条件限制，导致会产生监控盲区。目前，通过检测图像矩形框的方法进行车辆定位，通过相机相对位置关系标定的方法解决盲区覆盖的问题。但是，首先相机内外参数的标定对停车场地面靶点的精度要求高，操作流程复杂，耗时、耗力。而且实际应用场景中停车场地面往往凹凸不平，很难对地面靶点做精确的标定，从而使得盲区检测的结果并不准确。其次，受限于摄像头安装视角，单纯通过车辆在二维监控图像中的矩形框位置无法做到车位级别的定位精度，从而无法准确定位车辆的真实位置，从而无法准确反映车辆的真实活动轨迹。

本发明在不改变既有相机的安装配置的情况下，利用一种弱标定的方法提供了一种多相机联动盲区检测方法、装置和电子设备，能够实现盲区车辆的准确定位，简便、易于操作，下面通过实施例对本发明进行详细介绍。

参照图1，本实施例提出的一种多相机联动盲区检测方法，包括：

S101，获取多个相机拍摄的目标车辆进入目标盲区的多个监控图像，从多个监控图像中确定目标车辆相对应的多个矩形框；其中，多个相机包括目标盲区相对应的至少一个监控相机和至少一个检测相机；检测相机为以目标盲区为盲区的相机；监控相机为位于检测相机对面的、能够检测到目标盲区的相机。

具体的，本实施例是基于多相机的盲区检测方法，即在停车场区域布置有多个相机，多个相机的监控图像通常发送至同一服务器。通常情况下，受安装位置等条件的限制，一个或多个相机会存在监控盲区(每个相机因为视角和距离的关系都会有若干盲区)，这样当目标车辆进入停车场的某一相机的监控盲区时，由于当前相机获取车辆位置，因此，需要其他相机联动实现盲区内车辆位置的检测。

本实施例通过深度学习的方法对多个相机拍摄的目标车辆进行检测，得到图像中每辆车的二维矩形框及三维矩形框，其中三维矩形框用于车辆定位后的三维空间位置的确定。

本实施例将多个相机进行分类，并分类为监控相机和检测相机。以图3为例，图3中每个相机所示的射线所构成的夹角区域为该相机的监控区域，对于停车区域A的部分区域，相机02和相机01均有监控盲区，而相机05的监控区域能够覆盖区域A的全部区域，因此，区域A为相机02或相机01为的盲区，相机02或相机01称为检测相机，而相机05为相机02或01对应的监控相机。同理，停车区域B为相机02的盲区，相机02为检测相机，相机05为监控相机。

本实施例的盲区监控的原理是，当有车辆进入盲区监控相机监测的A/B盲区时，检测相机02转动到盲区A/B盲区以对车辆进行检测。

S102，根据当前监控相机所拍摄的第一监控图像中的矩形框与第一监控图像中的盲区标线确定目标车辆所对应的当前检测相机；

具体地，负责盲区监控的相机(即盲区所对应的检测相机和监控相机)的监控图像中人工标注出的一条线段，与对向摄像头的盲区的车辆对应的矩形框相交，称这条线段为盲区标线。

参照图2，目标车辆停在盲区A中，图2中的矩形框为目标车辆标识的矩形框，链接矩形框上下两条线段的中点得到线段AB,线段AB与监控区标线CD相交，得到交点O，线端AO即为盲区标线，其中CD的两端以盲区A的边界为终点，监控区标线包括：位于第一监控图像内，且与所述第一监控图像内的矩形框相交的人工标注的线段。

这里，需要计算盲区标线的纵向交叉比和横向交叉比，并根据纵向交叉比确定车辆所属的盲区，从而通知负责监控该盲区的检测相机转动到该盲区。

参照图2，线端AO/AB(表示AO与AB的比值，下同)为纵向交叉比，同理，CO/CD为横向交叉比。

S103，向当前检测相机发送转动相机信息。

S104，接收转动后的当前检测相机发送的第二监控图像，根据第二监控图像中的矩形框与第二监控图像中的盲区标线确定目标车辆的三维空间位置。

具体地，由于仿射变换不改变平行线段的比例关系，例如，不同角度的相机所拍摄的监控图像的矩形框，根据仿射变换的原理，其横向交叉比原则上是不变的。基于这一原理，对转动后的当前检测相机的监控图像中的图像中车辆的矩形框，与监控相机的监控图像中的车辆的矩形框进行比对，如果两个矩形框的横向交叉比相同或相近，那么可以确定为同一车辆。根据这一原理，就能确定转动后的当前检测相机的监控图像中哪一辆车为目标车辆，从而实现盲区目标车辆的定位。

本实施例通过利用停车场内相机网络中个相机之间的互补关系，不改变原有硬件配置的条件下解决监控盲区的问题，实现了车辆的盲区检测，创造性的解决了某些位置因无法安装相机而无法进行监控，有效地降低了安装相机的数目，方法简单，易于实现，检测结果准确。

可选地，盲区标线包括监控区标线，监控区标线包括：位于第一监控图像内，且与所述第一监控图像内的矩形框相交的人工标注的线段，上述实施例中的步骤S102包括如下步骤：

根据纵向交叉比确定目标盲区的具体位置；

其中，纵向交叉比表示第一监控图像中矩形框对应的车辆进入目标盲区的比例，所以，可以根据纵向交叉比确定车辆进入目标盲区的实际长度。

具体的，车辆进入目标盲区是循序渐进的，例如，车辆长度的三分之一进入目标盲区，之后是车辆长度的二分之一进入目标盲区，最后是车辆全部进入目标盲区。因此，通过纵向交叉比作为柔性指标，判断车辆是否进入盲区，即当AO/AB为1时，车辆完全进入盲区，从而确定车辆进入目标盲区的位置。

由于可能有多个检测相机的盲区对应同一目标盲区，例如图3中，盲区A同时为相机01和相机02的盲区，这里可以预先规定盲区A中哪一部分作为相机01的盲区，哪一部分作为相机02的盲区。这样，就能根据车辆进入目标盲区的位置确定对应的检测相机，从而根据检测相机的监控图像的横向交叉比确定车辆的准确位置。

可选地，盲区标线包括检测区标线，检测区标线包括：位于第二监控图像内，且与所述第二监控图像内的矩形框相交的人工标注的线段，并且，检测区标线与监控区标线是同一根线，只是检测区标线位于检测相机拍摄的第二监控图像上，监控区标线位于监控相机拍摄的第一监控图像上；上述实施例中的步骤S104包括如下步骤：

确定第二监控图像中的所有车辆相对应的矩形框；

确定目标车辆的三维空间位置。

其中，横向交叉比表示第二监控图像中矩形框对应的车辆在目标盲区的实际位置，所以，可以基于第一监控图像中的第一横向交叉比(相当于预设阈值范围)，在第二监控图像中的多个矩形框对应的多个横向交叉比中，确定出与第一横向交叉比相等或近似的一个横向交叉比，进而确定出与第一监控图像矩形框所在位置对应的第二监控图像中的目标车辆。

具体地，根据仿射变换不改变平行线段的比例关系的性质，在横向交叉比所对应的区域进行车辆检测。即当检测相机转到目标盲区，对目标盲区所有车辆进行检测，计算每辆车的横向交叉比，对比后，最接近的横向交叉比所对应的车辆为目标车辆。例如，第一横向交叉比为0.3，对检测相机的监控图像中的所有车辆的矩形框计算横向交叉比，横向交叉比为0.3或接近0.3(接近0.3表示满足一定的预设阈值范围)对应的车辆即为目标车辆。

可选地，上述实施例还包括如下步骤：

识别目标车辆的车牌，检测目标车辆的行车轨迹。

具体的，目标车辆的位置确定后，对目标车辆进行车牌抓取，识别目标车辆的身份信息，识别出目标车辆轨迹。

本实施例在不改变既有相机的安装配置的情况下，利用一种弱标定的方法提供了一套简便，易于操作的盲区检测方案。为下一步的在盲区定位的利用基于深度学习的三维监测方案，对盲区车辆实现精准的3D空间定位提供了保障，有效的解决了既有二维检测方法在三维空间中定位的歧义性，实现了对停车场内车辆行为的监控。

本实施例通过弱标定的方法，建立了一套便捷、易用、可操作的盲区标定方法。利用车辆的刚体特性，通过深度学习的方法实现了空间立体车辆的检测，解决了图像空间中检测车辆位置的歧义性问题。

本实施例为基于弱标定和三维检测的方法，解决了盲区内车辆定位和行为监控的问题，降低了相机的安装成本，提供了一套便捷易于操作的方法进行相机之间相对位置关系的标定，可扩展性强、维护成本也很低。三维车辆检测相比现有的二维矩形框检测方法，提升了车辆的定位精度，解决了二维图像定位的歧义性。

参照图4，本实施例提供的一种多相机联动盲区检测装置，包括：

获取模块51，用于获取多个相机拍摄的目标车辆进入目标盲区的多个监控图像，从多个监控图像中确定目标车辆相对应的多个矩形框；其中，多个相机包括目标盲区相对应的至少一个监控相机和至少一个检测相机；检测相机为以目标盲区为盲区的相机；监控相机为位于检测相机对面的、能够检测到目标盲区的相机；

检测相机确定模块52，用于根据当前监控相机所拍摄的第一监控图像中的矩形框与第一监控图像中的盲区标线确定目标车辆所对应的当前检测相机；

转动模块53，用于向当前检测相机发送转动相机信息；

位置确定模块54，用于接收转动后的当前检测相机发送的第二监控图像，根据第二监控图像中的矩形框与第二监控图像中的盲区标线确定目标车辆的三维空间位置。

可选地，盲区标线包括监控区标线，上述实施例中的检测相机确定模块52包括如下模块：

目标盲区位置计算模块，用于根据纵向交叉比确定目标盲区的具体位置；

可选地，盲区标线包括检测区标线，上述实施例中的位置确定模块54包括如下模块：

确定模块，用于确定目标车辆的三维空间位置。

可选地，上述实施例还包括车牌识别模块，用于识别目标车辆的车牌，检测目标车辆的行车轨迹。

参见图5，本发明实施例还提供了一种电子设备400，包括通信接口401、处理器402、存储器403以及总线404，处理器402、通信接口401和存储器403通过总线404连接；上述存储器403用于存储支持处理器402执行上述多相机联动盲区检测方法的计算机程序，上述处理器402被配置为用于执行该存储器403中存储的程序。

可选地，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行如上述实施例中的多相机联动盲区检测方法。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种多相机联动盲区检测方法，其特征在于，包括：

根据当前监控相机所拍摄的第一监控图像中的矩形框与第一监控图像中的监控区标线计算纵向交叉比，根据所述纵向交叉比确定目标盲区的具体位置，根据目标盲区的具体位置确定与目标盲区的具体位置相对应的当前检测相机；

向当前检测相机发送转动相机信息；

根据当前监控相机所拍摄的第一监控图像中的矩形框与第一监控图像中的监控区标线计算第一横向交叉比，确定当前检测相机所拍摄的第二监控图像中的所有车辆相对应的矩形框，根据第二监控图像中的每个车辆相对应的矩形框与第二监控图像中的检测区标线计算每个车辆相对应的横向交叉比，将每个车辆相对应的横向交叉比中与第一横向交叉比数值大小最接近的横向交叉比所对应的车辆检定为目标车辆，确定目标车辆的三维空间位置。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

识别目标车辆的车牌，检测目标车辆的行车轨迹。

3.一种多相机联动盲区检测装置，其特征在于，包括：

检测相机确定模块，用于根据当前监控相机所拍摄的第一监控图像中的矩形框与第一监控图像中的监控区标线计算纵向交叉比，根据所述纵向交叉比确定目标盲区的具体位置，根据目标盲区的具体位置确定与目标盲区的具体位置相对应的当前检测相机；

转动模块，用于向当前检测相机发送转动相机信息；

位置确定模块，用于根据当前监控相机所拍摄的第一监控图像中的矩形框与第一监控图像中的监控区标线计算第一横向交叉比，确定当前检测相机所拍摄的第二监控图像中的所有车辆相对应的矩形框，根据第二监控图像中的每个车辆相对应的矩形框与第二监控图像中的检测区标线计算每个车辆相对应的横向交叉比，将每个车辆相对应的横向交叉比中与第一横向交叉比数值大小最接近的横向交叉比所对应的车辆检定为目标车辆，确定目标车辆的三维空间位置。

4.根据权利要求3所述的装置，其特征在于，还包括车牌识别模块，用于识别目标车辆的车牌，检测目标车辆的行车轨迹。

5.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至2任一项所述的方法的步骤。

6.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1至2任一项所述方法。