CN110084230B - 基于图像的车身方向检测方法和装置 - Google Patents
基于图像的车身方向检测方法和装置 Download PDFInfo
- Publication number
- CN110084230B CN110084230B CN201910289242.XA CN201910289242A CN110084230B CN 110084230 B CN110084230 B CN 110084230B CN 201910289242 A CN201910289242 A CN 201910289242A CN 110084230 B CN110084230 B CN 110084230B
- Authority
- CN
- China
- Prior art keywords
- wheel
- area
- image
- determining
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请提出一种基于图像的车身方向检测方法和装置，其中，方法包括：采用语义分割模型对图像进行识别，以从图像中确定呈现目标车灯的车灯区域，以及呈现车轮的至少两个车轮区域；确定车灯区域与各车轮区域之间的距离；根据距离的大小关系，从至少两个车轮区域中，确定呈现前车轮的前车轮区域和呈现后车轮的后车轮区域；根据后车轮区域和前车轮区域的相对位置，确定车身方向。该方法通过语义分割模型对车辆的车灯和车轮进行分割，对分割结果进行处理和计算，可以得到精确的车身方向，从而细化车身方向的确定结果，由此，可以有利于对图像中的车辆进行美化编辑等操作。此外，还可以降低人工参与程度，节省成本。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种基于图像的车身方向检测方法和装置。
背景技术
目前，具有下述两种方式判断车身方向：第一种，通过人工肉眼观察，判断车身方向；第二种，通过车辆属性分类模型，判断给定图像中车身方向。
然而，第一种方式下，人工肉眼观察需要投入大量人工成本，并且存在主观因素，可能引入主观偏差；第二种方式下，依赖车辆属性只能给出有限的分类结果，例如“正前、正后、正左、正右、左前、左后、右前、右后”八个方向，而无法实现车身方向角度信息的判断，分类结果较为粗糙。
发明内容
本申请提出一种基于图像的车身方向检测方法和装置，以实现通过语义分割模型对车辆的车灯和车轮进行分割，对分割结果进行处理和计算，可以得到精确的车身方向，从而细化车身方向的确定结果，由此，可以有利于对图像中的车辆进行美化编辑等操作。此外，还可以降低人工参与程度，节省成本。
本申请第一方面实施例提出了一种基于图像的车身方向检测方法，包括：
采用语义分割模型对图像进行识别，以从所述图像中确定呈现目标车灯的车灯区域，以及呈现车轮的至少两个车轮区域；
确定所述车灯区域与各车轮区域之间的距离；
根据所述距离的大小关系，从所述至少两个车轮区域中，确定呈现前车轮的前车轮区域和呈现后车轮的后车轮区域；
根据所述后车轮区域和所述前车轮区域的相对位置，确定车身方向。
本申请实施例的基于图像的车身方向检测方法，通过采用语义分割模型对图像进行识别，以从图像中确定呈现目标车灯的车灯区域，以及呈现车轮的至少两个车轮区域，而后，确定车灯区域与各车轮区域之间的距离，接着，根据距离的大小关系，从至少两个车轮区域中，确定呈现前车轮的前车轮区域和呈现后车轮的后车轮区域，最后，根据后车轮区域和前车轮区域的相对位置，确定车身方向。本申请中，通过语义分割模型对车辆的车灯和车轮进行分割，对分割结果进行处理和计算，可以得到精确的车身方向，从而细化车身方向的确定结果，由此，可以有利于对图像中的车辆进行美化编辑等操作。此外，还可以降低人工参与程度，节省成本。
本申请第二方面实施例提出了一种基于图像的车身方向检测装置，包括：
识别模块，用于采用语义分割模型对图像进行识别，以从所述图像中确定呈现目标车灯的车灯区域，以及呈现车轮的至少两个车轮区域；
距离确定模块，用于确定所述车灯区域与各车轮区域之间的距离；
车轮确定模块，用于根据所述距离的大小关系，从所述至少两个车轮区域中，确定呈现前车轮的前车轮区域和呈现后车轮的后车轮区域；
方向检测模块，用于根据所述后车轮区域和所述前车轮区域的相对位置，确定车身方向。
本申请实施例的基于图像的车身方向检测装置，通过采用语义分割模型对图像进行识别，以从图像中确定呈现目标车灯的车灯区域，以及呈现车轮的至少两个车轮区域，而后，确定车灯区域与各车轮区域之间的距离，接着，根据距离的大小关系，从至少两个车轮区域中，确定呈现前车轮的前车轮区域和呈现后车轮的后车轮区域，最后，根据后车轮区域和前车轮区域的相对位置，确定车身方向。本申请中，通过语义分割模型对车辆的车灯和车轮进行分割，对分割结果进行处理和计算，可以得到精确的车身方向，从而细化车身方向的确定结果，由此，可以有利于对图像中的车辆进行美化编辑等操作。此外，还可以降低人工参与程度，节省成本。
本申请第三方面实施例提出了一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本申请第一方面实施例提出的基于图像的车身方向检测方法。
本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面实施例提出的基于图像的车身方向检测方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的基于图像的车身方向检测方法的流程示意图；
图2为本申请实施例中待检测的图像示意图一；
图3为本申请实施例二所提供的基于图像的车身方向检测方法的流程示意图；
图4为本申请实施例中的训练图像示意图；
图5为本申请实施例中的待检测的图像示意图二；
图6为本申请实施例中的待检测的图像示意图三；
图7为本申请实施例三所提供的基于图像的车身方向检测方法的流程示意图；
图8为本申请实施例中的待检测的图像示意图四；
图9为本申请实施例中的待检测的图像示意图五；
图10为本申请实施例四所提供的基于图像的车身方向检测装置的结构示意图；
图11为本申请实施例五所提供的基于图像的车身方向检测装置的结构示意图；
图12示出了适于用来实现本申请实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于图像的车身方向检测方法和装置。
图1为本申请实施例一所提供的基于图像的车身方向检测方法的流程示意图。
本申请实施例以基于图像的车身方向检测方法被配置于基于图像的车身方向检测装置中来举例说明，该基于图像的车身方向检测装置可以应用于任一计算机设备中，以使该计算机设备可以执行车身方向检测功能。
其中，计算机设备可以为个人电脑(Personal Computer，简称PC)、云端设备、移动设备、服务器等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
如图1所示，该基于图像的车身方向检测方法包括以下步骤：
步骤101，采用语义分割模型对图像进行识别，以从图像中确定呈现目标车灯的车灯区域，以及呈现车轮的至少两个车轮区域。
本申请实施例中，目标车灯为前车灯和后车灯中的其中一个，例如，目标车灯可以为前车灯，或者，目标车灯可以为后车灯，对此不作限制。可以理解的是，由于前车灯和后车灯的排列规则不同，比如，前车灯的排列规则可以为横向，后车灯的排列规则可以为纵向，并且，前车灯和后车灯的形状或者大小也可以不同，因此，基于前车灯和后车灯的上述特性，可以从图像中识别出前车灯和后车灯。
本申请实施例中，语义分割模型为预先训练好的，该语义分割模型可以为相关技术中较为成熟的语义分割模型，例如为deeplab、psp等模型，对此不作限制。图像可以为采集的图像，或者，图像也可以为下载的图像，或者，图像也可以为计算机设备中存储的图像，等等，对此不作限制。
作为一种可能的实现方式，可以预先采集训练图像，或者从互联网上下载训练图像，而后可以对训练图像中的目标车灯的车灯区域和车轮区域进行标注，之后，可以利用标注后的训练对象，对语义分割模型进行训练，训练后的语义分割模型可以学习得到图像与目标车灯的车灯区域和车轮区域之间的对应关系。
因此，本申请中，在获取到图像后，可以利用训练后的语义分割模型，对上述图像进行识别，确定图像中呈现目标车灯的车灯区域以及呈现车轮的至少两个车轮区域。由此，利用训练后的语义分割模型来识别图像中的车灯区域和车轮区域，可以提升识别结果的准确性。
步骤102，确定车灯区域与各车轮区域之间的距离。
本申请实施例中，可以确定车灯区域的中心像素点以及各车轮区域的中心像素点，而后，将车灯区域的中心像素点与各车轮区域的中心像素点之间的距离，作为车灯区域与各车轮区域之间的距离。
举例而言，假设图像中有两个车轮区域，分别为车轮区域1和车轮区域2，车灯区域的中心像素点的坐标为(x0，y0)，车轮区域1的中心像素点的坐标为(x1，y1)，车轮区域2的中心像素点的坐标为(x2，y2)，则车灯区域与车轮区域1之间的距离为
车灯区域与车轮区域2之间的距离为
步骤103，根据距离的大小关系，从至少两个车轮区域中，确定呈现前车轮的前车轮区域和呈现后车轮的后车轮区域。
本申请实施例中，可以根据与目标车灯匹配的预设规则以及距离的大小关系，从至少两个车轮区域中，确定呈现前车轮的前车轮区域和呈现后车轮的后车轮区域。其中，当目标车灯不同时，预设规则不同，例如，目标车灯为前车灯对应的预设规则，不同于目标车灯为后车灯对应的预设规则，后续将对此详细介绍，此处不做赘述。
步骤104，根据后车轮区域和前车轮区域的相对位置，确定车身方向。
本申请实施例中，在确定后车轮区域和前车轮区域后，可以根据后车轮区域和前车轮区域的相对位置，确定车身方向。
作为一种可能的实现方式，在确定后车轮区域和前车轮区域后，可以确定后车轮区域的中心像素点和前车轮区域的中心像素点，例如，标记后车轮区域的中心像素点的坐标为(x11，y11)，前车轮区域的中心像素点的坐标为(x12，y12)，可以计算向量(x11–x12，y11–y12)与参考向量之间的夹角(即上述车身方位角度)，本申请中记为车身方向角度，从而根据上述夹角或者车身方向角度，可以确定车身方向。其中，参考向量为预先设置的，例如，该参考向量可以为平行为图像竖边的任一向量，或者，也可以为平行为图像横边的任一向量，或者还可以为其他，对此不作限制。
作为一种示例，参见图2，以参考向量为平行为图像竖边的向量进行示例，即该参考向量可以为平行于正北方向的向量，标记为
计算得到(x11–x12，y11–y12)与参考向量
之间的夹角为104.76542311度，根据该夹角可以确定车身方向。
作为一种应用场景，在对图像中的车辆进行美化编辑时，例如，对车辆进行旋转时，此时，可以确定(x11-x12，y11–y12)与参考向量之间的夹角，从而可以根据上述夹角，对车辆进行旋转预设角度。由此，可以实现对车辆进行自动编辑，无需人工操作。
需要说明的是，本申请的车身方向检测方法，还可以应用于估计车辆的行驶方向、路线监控等等应用场景，对此不作限制。
本申请实施例的基于图像的车身方向检测方法，通过采用语义分割模型对图像进行识别，以从图像中确定呈现目标车灯的车灯区域，以及呈现车轮的至少两个车轮区域，而后，确定车灯区域与各车轮区域之间的距离，接着，根据距离的大小关系，从至少两个车轮区域中，确定呈现前车轮的前车轮区域和呈现后车轮的后车轮区域，最后，根据后车轮区域和前车轮区域的相对位置，确定车身方向。本申请中，通过语义分割模型对车辆的车灯和车轮进行分割，对分割结果进行处理和计算，可以得到精确的车身方向，从而细化车身方向的确定结果，由此，可以有利于对图像中的车辆进行美化编辑等操作。此外，还可以降低人工参与程度，节省成本。
作为一种可能的实现方式，当目标车灯为前车灯时，参见图3，该基于图像的车身方向检测方法具体可以包括以下步骤：
步骤201，采用训练图像，对语义分割模型进行训练。
其中，训练图像中标注有前车灯区域和车轮区域。
本申请实施例中，可以获取大量的训练图像，例如为千张量级，而后，对训练图像中的前车灯的车灯区域和各车轮区域进行标注，利用标注后的训练图像对语义分割模型进行训练，训练后的语义分割模型可以学习得到图像与前车灯的车灯区域和车轮区域之间的对应关系。
作为一种示例，参见图4，在获取训练图像(左图)后，可以根据训练图像中前车灯的车灯区域和各车轮区域中的像素点，对车灯区域和各车轮区域进行标注，得到标注后的训练图像(右图)。利用标注后的训练图像，对语义分割模型进行训练。
步骤202，采用语义分割模型对图像进行识别，以从图像中确定呈现目标车灯的车灯区域，以及呈现车轮的至少两个车轮区域。
本申请实施例中，车灯区域呈现有前车灯，即目标车灯具体可以指前车灯。如果识别出图像中呈现有两个前车灯区域时，此时，可以将区域面积最大的前车灯，作为目标车灯，比如，参见图5，目标车灯可以为前车灯00。
步骤203，确定车灯区域与各车轮区域之间的距离。
步骤202至203的执行过程可以参见上述实施例中步骤101至102的执行过程，在此不做赘述。
步骤204，根据各车轮区域面积，对至少两个车轮区域进行排序。
本申请实施例中，在确定每个车轮区域后，针对每个车轮区域，可以根据该车轮区域包含的像素点，确定该车轮区域的面积。在确定每个车轮区域的面积后，可以根据各车轮区域面积的大小，对至少两个车轮区域按序进行排序，即排序在前的车轮区域面积大于排序在后的车轮区域面积。
本申请实施例中，当图像中至少显示两个车轮区域，例如，参见图5，图像中包括侧面拍摄的车辆时，或者，图像中包括的车辆为斜侧拍摄时，此时，图像中包括至少两个车轮区域。根据成像原理，离摄像装置越近的车轮，对应的车轮区域越大，一般情况下，参见图5，拍摄的图像中，面积较大的车轮区域为离拍摄者较近，且位于车辆同一侧的车轮。因此，本申请中，可以选取排序在前的两个车轮区域进行分析，即选取面积最大的两个车轮区域进行分析，以确定排序在前的两个车轮区域为车辆同一侧的前车轮区域还是后车轮区域。
步骤205，判断排序在前的车轮区域与车灯区域之间的距离，是否小于排序在后的车轮区域车灯区域之间的距离，若小于，则执行步骤206，若大于，则执行步骤207。
步骤206，确定排序在前的车轮区域为前车轮区域，以及确定排序在后的车轮区域为后车轮区域。
本申请实施例中，当排序在前的车轮区域与前车灯的车灯区域之间的距离，小于排序在后的车轮区域车灯区域之间的距离时，可以确定排序在前的车轮区域为前车轮区域，以及确定排序在后的车轮区域为后车轮区域。
例如，参见图5，车轮1对应的车轮区域大于车轮2对应的车轮区域，因此，车轮1对应的车轮区域排序在前，车轮2对应的车轮区域排序在后。并且，前车灯00与车轮1之间的距离，小于前车灯1与车轮2之间的距离，因此，可以确定车轮1为前车轮，车轮2为后车轮。
步骤207，确定排序在后的车轮区域为前车轮区域，以及确定排序在前的车轮区域为后车轮区域。
本申请实施例中，当排序在后的车轮区域与车灯区域之间的距离，小于排序在前的车轮区域与车灯之间的距离时，可以排序在后的车轮区域为前车轮区域，以及确定排序在前的车轮区域为后车轮区域。
例如，参见图6，车轮3对应的车轮区域小于车轮4对应的车轮区域，因此，车轮3对应的车轮区域排序在后，车轮4对应的车轮区域排序在前。并且，前车灯01与车轮3之间的距离，小于前车灯2与车轮4之间的距离，因此，可以确定车轮3为前车轮，车轮4为后车轮。
步骤208，在图像中，确定从后车轮区域的中心指向前车轮区域的中心的方向向量。
本申请实施例中，在确定后车轮区域和前车轮区域后，可以确定后车轮区域的中心像素点和前车轮区域的中心像素点，例如，标记后车轮区域的中心像素点的坐标为(x11，y11)，前车轮区域的中心像素点的坐标为(x12，y12)，则从后车轮区域的中心指向前车轮区域的中心的方向向量为：(x11–x12，y11–y12)。
步骤209，计算方向向量与参考向量之间的夹角。
本申请实施例中，参考向量为预先设置的，例如，该参考向量可以为平行为图像竖边的任一向量，或者，也可以为平行为图像横边的任一向量，或者还可以为其他，对此不作限制。
作为一种示例，参见图2，以参考向量为平行为图像竖边的向量进行示例，即该参考向量可以为平行于正北方向的向量，计算得到(x11-x12，y11–y12)与参考向量之间的夹角为104.76542311度。
步骤210，根据夹角，确定车身方向。
本申请实施例中，在确定方向向量与参考向量之间的夹角后，可以将上述夹角作为车身方向角度，从而根据该车身方向角度，可以确定车身方向。
作为一种示例，参见图2，以参考向量为平行为图像竖边的向量进行示例，即该参考向量可以为平行于正北方向的向量，计算得到(x11-x12，y11–y12)与参考向量之间的夹角为104.76542311度，即车身方向角度为104.76542311度。
作为一种可能的实现方式，当目标车灯为后车灯时，参见图7，该基于图像的车身方向检测方法具体可以包括以下步骤：
步骤301，采用训练图像，对语义分割模型进行训练。
其中，训练图像中标注有后车灯区域和车轮区域。
本申请实施例中，可以获取大量的训练图像，例如为千张量级，而后，对训练图像中的后车灯的车灯区域和各车轮区域进行标注，利用标注后的训练图像对语义分割模型进行训练，训练后的语义分割模型可以学习得到图像与后车灯的车灯区域和车轮区域之间的对应关系。
步骤302，采用语义分割模型对图像进行识别，以从图像中确定呈现目标车灯的车灯区域，以及呈现车轮的至少两个车轮区域。
本申请实施例中，车灯区域呈现有后车灯，即目标车灯具体可以指后车灯。如果识别出图像中呈现有两个后车灯区域时，此时，可以将区域面积最大的后车灯，作为目标车灯，比如，参见图8，目标车灯可以为后车灯1。
步骤303，确定车灯区域与各车轮区域之间的距离。
步骤302至303的执行过程可以参见上述实施例中步骤101至102的执行过程，在此不做赘述。
步骤304，根据各车轮区域面积，对至少两个车轮区域进行排序。
步骤304的执行过程可以参见上述实施例中步骤204的执行过程，在此不做赘述。
步骤305，判断排序在前的车轮区域与车灯区域之间的距离，是否小于排序在后的车轮区域车灯区域之间的距离，若小于，则执行步骤306，若大于，则执行步骤307。
步骤306，确定排序在前的车轮区域为后车轮区域，以及确定排序在后的车轮区域为前车轮区域。
本申请实施例中，当排序在前的车轮区域与前车灯的车灯区域之间的距离，小于排序在后的车轮区域车灯区域之间的距离时，可以确定排序在前的车轮区域为后车轮区域，以及确定排序在后的车轮区域为前车轮区域。
例如，参见图8，车轮1对应的车轮区域大于车轮2对应的车轮区域，因此，车轮1对应的车轮区域排序在前，车轮2对应的车轮区域排序在后。并且，后车灯02与车轮1之间的距离，小于后车灯02与车轮2之间的距离，因此，可以确定车轮1为后车轮，车轮2为前车轮。
步骤307，确定排序在后的车轮区域为后车轮区域，以及确定排序在前的车轮区域为前车轮区域。
本申请实施例中，当排序在后的车轮区域与车灯区域之间的距离，小于排序在前的车轮区域与车灯之间的距离时，可以排序在后的车轮区域为后车轮区域，以及确定排序在前的车轮区域为前车轮区域。
例如，参见图9，车轮3对应的车轮区域小于车轮4对应的车轮区域，因此，车轮3对应的车轮区域排序在后，车轮4对应的车轮区域排序在前。并且，后车灯2与车轮3之间的距离，小于后车灯2与车轮4之间的距离，因此，可以确定车轮3为后车轮，车轮4为前车轮。
步骤308，在图像中，确定从后车轮区域的中心指向前车轮区域的中心的方向向量。
步骤309，计算方向向量与参考向量之间的夹角。
步骤310，根据夹角，确定车身方向。
步骤308至310的执行过程可以参见上述实施例中步骤208至210的执行过程，在此不做赘述。
本申请实施例的基于图像的车身方向检测方法，相比于其他方式，车身方向的检测结果以角度信息方式给出，检测结果更加精确，可以降低因模型拟合不够而导致识别错误的情况。并且，只需使用图像中的少量部件(车灯和车轮)来标注数据，无需投入大量人力成本。
为了实现上述实施例，本申请还提出一种基于图像的车身方向检测装置。
图10为本申请实施例四所提供的基于图像的车身方向检测装置的结构示意图。
如图10所示，该基于图像的车身方向检测装置可以包括：识别模块110、距离确定模块120、车轮确定模块130以及方向检测模块140。
其中，识别模块110，用于采用语义分割模型对图像进行识别，以从图像中确定呈现目标车灯的车灯区域，以及呈现车轮的至少两个车轮区域。
距离确定模块120，用于确定车灯区域与各车轮区域之间的距离。
车轮确定模块130，用于根据距离的大小关系，从至少两个车轮区域中，确定呈现前车轮的前车轮区域和呈现后车轮的后车轮区域。
方向检测模块140，用于根据后车轮区域和前车轮区域的相对位置，确定车身方向。
作为一种可能的实现方式，方向检测模块140，具体用于：在图像中，确定从后车轮区域的中心指向前车轮区域的中心的方向向量；计算方向向量与参考向量之间的夹角；根据夹角，确定车身方向。
作为一种可能的实现方式，车灯区域呈现有前车灯，车轮确定模块130，具体用于：根据各车轮区域面积，对至少两个车轮区域进行排序；若排序在前的车轮区域与车灯区域之间的距离小于排序在后的车轮区域车灯区域之间的距离，确定排序在前的车轮区域为前车轮区域，以及确定排序在后的车轮区域为后车轮区域。
作为另一种可能的实现方式，车轮确定模块130，还用于：若排序在后的车轮区域与车灯区域之间的距离小于排序在前的车轮区域与车灯之间的距离，确定排序在后的车轮区域为前车轮区域，以及确定排序在前的车轮区域为后车轮区域。
进一步地，在本申请实施例的一种可能的实现方式中，参见图11，在图10所示实施例的基础上，该基于图像的车身方向检测装置还可以包括：模型训练模块150。
模型训练模块150，用于在采用语义分割模型对图像进行识别之前，采用训练图像，对语义分割模型进行训练；其中，训练图像中标注有目标车灯区域和车轮区域。
需要说明的是，前述对基于图像的车身方向检测方法实施例的解释说明也适用于该实施例的基于图像的车身方向检测装置，此处不再赘述。
本申请实施例的基于图像的车身方向检测装置，通过采用语义分割模型对图像进行识别，以从图像中确定呈现目标车灯的车灯区域，以及呈现车轮的至少两个车轮区域，而后，确定车灯区域与各车轮区域之间的距离，接着，根据距离的大小关系，从至少两个车轮区域中，确定呈现前车轮的前车轮区域和呈现后车轮的后车轮区域，最后，根据后车轮区域和前车轮区域的相对位置，确定车身方向。本申请中，通过语义分割模型对车辆的车灯和车轮进行分割，对分割结果进行处理和计算，可以得到精确的车身方向，从而细化车身方向的确定结果，由此，可以有利于对图像中的车辆进行美化编辑等操作。此外，还可以降低人工参与程度，节省成本。
为了实现上述实施例，本申请还提出一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本申请前述实施例提出的基于图像的车身方向检测方法。
为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请前述实施例提出的基于图像的车身方向检测方法。
图12示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图12显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图12所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图12未显示，通常称为“硬盘驱动器”)。尽管图12中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的基于图像的车身方向检测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种基于图像的车身方向检测方法，其特征在于，所述方法包括以下步骤：
采用语义分割模型对图像进行识别，以从所述图像中确定呈现目标车灯的车灯区域，以及呈现车轮的至少两个车轮区域；
确定所述车灯区域与各车轮区域之间的距离；
根据与所述目标车灯匹配的预设规则和所述距离的大小关系，从所述至少两个车轮区域中，确定呈现前车轮的前车轮区域和呈现后车轮的后车轮区域；
根据所述后车轮区域和所述前车轮区域的相对位置，确定车身方向。
2.根据权利要求1所述的车身方向检测方法，其特征在于，所述根据所述后车轮区域和所述前车轮区域的相对位置，确定车身方向，包括：
在所述图像中，确定从所述后车轮区域的中心指向所述前车轮区域的中心的方向向量；
计算所述方向向量与参考向量之间的夹角；
根据所述夹角，确定所述车身方向。
3.根据权利要求1所述的车身方向检测方法，其特征在于，所述车灯区域呈现有前车灯，所述根据与所述目标车灯匹配的预设规则和所述距离的大小关系，从所述至少两个车轮区域中，确定呈现前车轮的前车轮区域和呈现后车轮的后车轮区域，包括：
根据各车轮区域面积，对所述至少两个车轮区域进行排序；
若排序在前的车轮区域与所述车灯区域之间的距离小于排序在后的车轮区域所述车灯区域之间的距离，确定所述排序在前的车轮区域为所述前车轮区域，以及确定所述排序在后的车轮区域为所述后车轮区域。
4.根据权利要求3所述的车身方向检测方法，其特征在于，所述根据各车辆区域面积，对所述至少两个车轮区域进行排序之后，所述方法还包括：
若排序在后的车轮区域与所述车灯区域之间的距离小于排序在前的车轮区域与所述车灯之间的距离，确定所述排序在后的车轮区域为所述前车轮区域，以及确定所述排序在前的车轮区域为所述后车轮区域。
5.根据权利要求1-4任一项所述的车身方向检测方法，其特征在于，所述采用语义分割模型对图像进行识别之前，还包括：
采用训练图像，对所述语义分割模型进行训练；
其中，所述训练图像中标注有目标车灯区域和车轮区域。
6.一种基于图像的车身方向检测装置，其特征在于，所述装置包括：
识别模块，用于采用语义分割模型对图像进行识别，以从所述图像中确定呈现目标车灯的车灯区域，以及呈现车轮的至少两个车轮区域；
距离确定模块，用于确定所述车灯区域与各车轮区域之间的距离；
车轮确定模块，用于根据与所述目标车灯匹配的预设规则和所述距离的大小关系，从所述至少两个车轮区域中，确定呈现前车轮的前车轮区域和呈现后车轮的后车轮区域；
方向检测模块，用于根据所述后车轮区域和所述前车轮区域的相对位置，确定车身方向。
7.根据权利要求6所述的车身方向检测装置，其特征在于，所述方向检测模块，具体用于：
在所述图像中，确定从所述后车轮区域的中心指向所述前车轮区域的中心的方向向量；
计算所述方向向量与参考向量之间的夹角；
根据所述夹角，确定所述车身方向。
8.根据权利要求6所述的车身方向检测装置，其特征在于，所述车灯区域呈现有前车灯，所述车轮确定模块，具体用于：
根据各车轮区域面积，对所述至少两个车轮区域进行排序；
若排序在前的车轮区域与所述车灯区域之间的距离小于排序在后的车轮区域所述车灯区域之间的距离，确定所述排序在前的车轮区域为所述前车轮区域，以及确定所述排序在后的车轮区域为所述后车轮区域。
9.根据权利要求8所述的车身方向检测装置，其特征在于，所述车轮确定模块，还用于：
若排序在后的车轮区域与所述车灯区域之间的距离小于排序在前的车轮区域与所述车灯之间的距离，确定所述排序在后的车轮区域为所述前车轮区域，以及确定所述排序在前的车轮区域为所述后车轮区域。
10.根据权利要求6-9任一项所述的车身方向检测装置，其特征在于，所述装置还包括：
模型训练模块，用于在所述采用语义分割模型对图像进行识别之前，采用训练图像，对所述语义分割模型进行训练；
其中，所述训练图像中标注有目标车灯区域和车轮区域。
11.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-5中任一所述的基于图像的车身方向检测方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的基于图像的车身方向检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910289242.XA CN110084230B (zh) | 2019-04-11 | 2019-04-11 | 基于图像的车身方向检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910289242.XA CN110084230B (zh) | 2019-04-11 | 2019-04-11 | 基于图像的车身方向检测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110084230A CN110084230A (zh) | 2019-08-02 |
| CN110084230B true CN110084230B (zh) | 2021-05-28 |
Family
ID=67414837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910289242.XA Active CN110084230B (zh) | 2019-04-11 | 2019-04-11 | 基于图像的车身方向检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110084230B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738181B (zh) * | 2019-10-21 | 2022-08-05 | 东软睿驰汽车技术（沈阳）有限公司 | 一种确定车辆朝向信息的方法及装置 |
| CN112036389B (zh) * | 2020-11-09 | 2021-02-02 | 天津天瞳威势电子科技有限公司 | 车辆三维信息检测方法、装置、设备及可读存储介质 |
| CN112990217A (zh) * | 2021-03-24 | 2021-06-18 | 北京百度网讯科技有限公司 | 针对车辆的图像识别方法、装置、电子设备和介质 |
| CN114604175B (zh) * | 2021-11-26 | 2023-10-13 | 中科云谷科技有限公司 | 用于确定工程车辆的方法、处理器、装置及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108681707A (zh) * | 2018-05-15 | 2018-10-19 | 桂林电子科技大学 | 基于全局和局部特征融合的大角度车型识别方法和系统 |
| CN109145928A (zh) * | 2017-06-16 | 2019-01-04 | 杭州海康威视数字技术股份有限公司 | 一种基于图像的车头朝向识别方法及装置 |
| CN109389064A (zh) * | 2018-09-27 | 2019-02-26 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车辆特征获取方法及装置 |
| CN109416257A (zh) * | 2016-06-27 | 2019-03-01 | 御眼视觉技术有限公司 | 基于检测到的停放车辆特性控制主车辆 |
| CN109584300A (zh) * | 2018-11-20 | 2019-04-05 | 浙江大华技术股份有限公司 | 一种确定车头朝向角度的方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10444758B2 (en) * | 2015-12-01 | 2019-10-15 | Ricoh Company, Ltd. | Autonomous traveling device |
| KR101859045B1 (ko) * | 2016-11-02 | 2018-05-17 | 엘지전자 주식회사 | 차량용 운전 보조 장치 및 차량 |
| CN109147368A (zh) * | 2018-08-22 | 2019-01-04 | 北京市商汤科技开发有限公司 | 基于车道线的智能驾驶控制方法装置与电子设备 |
-
2019
- 2019-04-11 CN CN201910289242.XA patent/CN110084230B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109416257A (zh) * | 2016-06-27 | 2019-03-01 | 御眼视觉技术有限公司 | 基于检测到的停放车辆特性控制主车辆 |
| CN109145928A (zh) * | 2017-06-16 | 2019-01-04 | 杭州海康威视数字技术股份有限公司 | 一种基于图像的车头朝向识别方法及装置 |
| CN108681707A (zh) * | 2018-05-15 | 2018-10-19 | 桂林电子科技大学 | 基于全局和局部特征融合的大角度车型识别方法和系统 |
| CN109389064A (zh) * | 2018-09-27 | 2019-02-26 | 东软睿驰汽车技术（沈阳）有限公司 | 一种车辆特征获取方法及装置 |
| CN109584300A (zh) * | 2018-11-20 | 2019-04-05 | 浙江大华技术股份有限公司 | 一种确定车头朝向角度的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110084230A (zh) | 2019-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110084230B (zh) | 基于图像的车身方向检测方法和装置 | |
| CN109740469B (zh) | 车道线检测方法、装置、计算机设备和存储介质 | |
| CN110276287B (zh) | 车位检测方法、装置、计算机设备以及存储介质 | |
| CN109948684B (zh) | 激光雷达点云数据标注质量的质检方法、装置及设备 | |
| CN109242903A (zh) | 三维数据的生成方法、装置、设备及存储介质 | |
| US9092697B2 (en) | Image recognition system and method for identifying similarities in different images | |
| CN108428248B (zh) | 车窗定位方法、系统、设备及存储介质 | |
| CN111104867A (zh) | 基于部件分割的识别模型训练、车辆重识别方法及装置 | |
| CN108460098B (zh) | 信息推荐方法、装置和计算机设备 | |
| CN109711285B (zh) | 识别模型的训练、测试方法和装置 | |
| CN110647886A (zh) | 兴趣点标注方法、装置、计算机设备和存储介质 | |
| US20200089976A1 (en) | Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium | |
| CN109703465B (zh) | 车载图像传感器的控制方法和装置 | |
| KR20160128930A (ko) | 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치 및 방법 | |
| CN111091038A (zh) | 训练方法、计算机可读介质和检测消失点的方法及装置 | |
| CN114820679B (zh) | 图像标注方法、装置、电子设备和存储介质 | |
| JP2021033510A (ja) | 運転支援装置 | |
| CN110458029B (zh) | 一种雾天环境中的车辆检测方法及装置 | |
| CN114543819B (zh) | 车辆定位方法、装置、电子设备及存储介质 | |
| CN111191482B (zh) | 一种刹车灯识别方法、装置及电子设备 | |
| CN112767412B (zh) | 车辆部件级分割方法、装置以及电子设备 | |
| CN109740632B (zh) | 基于多传感器多被测对象的相似度模型训练方法和装置 | |
| CN114120259A (zh) | 一种空车位识别方法及其系统、计算机设备、存储介质 | |
| WO2021189420A1 (zh) | 一种数据处理方法及装置 | |
| CN117372415A (zh) | 喉镜图像识别方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |