CN114120260A - 可行驶区域识别方法及其系统、计算机设备、存储介质 - Google Patents
可行驶区域识别方法及其系统、计算机设备、存储介质 Download PDFInfo
- Publication number
- CN114120260A CN114120260A CN202010901014.6A CN202010901014A CN114120260A CN 114120260 A CN114120260 A CN 114120260A CN 202010901014 A CN202010901014 A CN 202010901014A CN 114120260 A CN114120260 A CN 114120260A
- Authority
- CN
- China
- Prior art keywords
- area
- travelable
- initial
- unit
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims abstract description 97
- 230000009467 reduction Effects 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 21
- 238000000926 separation method Methods 0.000 claims description 18
- 238000005070 sampling Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 claims description 10
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 claims description 10
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 claims description 10
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 abstract description 6
- 239000002699 waste material Substances 0.000 abstract description 4
- 239000000969 carrier Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及可行驶区域识别方法及其系统、计算机设备、存储介质，所述方法包括：获取当前的时间信息和车辆位置信息，并根据所述当前的时间信息和车辆位置信息判定是否进行图像语义分割；当进行图像语义分割时，获取当前车辆周围环境的环视全景图像，利用预先训练好的语义分割模型对所述环视全景图像进行语义分割识别得到初始可行驶区域，将所述初始可行驶区域与历史可行驶区域进行融合得到当前的可行驶区域。其中，所述系统、计算机设备、存储介质为与实现所述方法对应的载体。实施本发明，至少能够减少计算资源的浪费，提高计算效率，并获取更加广阔的可行驶区域视野。
Description
技术领域
本发明涉及自动泊车技术领域，具体涉及可行驶区域识别方法及其系统、计算机设备、存储介质。
背景技术
自动泊车系统的可行驶区域识别功能主要是为自动泊车提供路径规划辅助，可以实现整个的路面检测。目前可行驶区域识别主要基于路面颜色、基于纹理特征、基于深度学习的语义分割等方式来获取路面的基本结构特征。其中，所述基于路面颜色的可行驶区域识别方法当在路面区域内车辆较少，前景与背景之间分割效果较好，其局限性在于当前景的物体太多且颜色分布范围太广时，前景和背景分割成两个部分难度较大，且基于颜色的方法容易受到光照、阴影等环境变化影响。所述基于纹理特征的方法可提取出路面边缘的方向，同时具有尺度不变性，但在非结构化道路上，很难提取规则化的道路边缘特征，且夜间的识别效果较差。所述基于深度学习的语义分割方法不易受道路是否结构化影响，且不易受光照、阴影等环境因素影响，具有较好的实时性与准确性；但目前基于深度学习的语义分割方法所识别的可行驶区域视野较小，边界不平滑，并且，使用基于深度学习的语义分割方法时，若相邻识别车辆环境图像中图像信息较为相似，相邻帧的识别结果中会出现较多重复信息，会造成计算资源的浪费，影响整体系统的计算效率。
发明内容
本发明的目的在于提出一种应用于自动泊车的可行驶区域识别方法及其系统、计算机设备、计算机可读存储介质，以至少能够减少计算资源的浪费，提高计算效率，并获取更加广阔的可行驶区域视野。
为实现上述目的，根据第一方面，本发明的实施例提出一种可行驶区域识别方法，包括：
步骤S1、获取当前的时间信息和车辆位置信息，并根据所述当前的时间信息和车辆位置信息判定是否进行图像语义分割；其中，若当前时间与上一次图像语义分割时的时间之间的时间间隔大于预设时间阈值，或者，若当前车辆位置与上一次进行图像语义分割时的车辆位置之间的距离大于预设距离阈值，则判定进行图像语义分割；
步骤S2、当进行图像语义分割时，获取当前车辆周围环境的环视全景图像；利用预先训练好的语义分割模型对所述环视全景图像进行语义分割识别得到初始可行驶区域；以及，将所述初始可行驶区域与历史可行驶区域进行融合，输出当前的可行驶区域；其中所述历史可行驶区域为上一次输出的可行驶区域。
优选地，所述步骤S2，包括：
获取当前车辆周围环境的环视全景图像；
利用预先训练好的语义分割模型对所述环视全景图像进行语义分割识别得到初始可行驶区域；
提取所述初始可行驶区域的边界信息；
获取可行驶区域地图，并根据所述边界信息确定所述初始可行驶区域在所述可行驶区域地图中的区域；
在所述可行驶区域地图中，确定历史可行驶区域，并将所述初始可行驶区域与所述历史可行驶区域进行融合，得到当前的可行驶区域。
优选地，所述语义分割模型的结构包括编码模块和解码模块；
所述编码模块包括深度可分离卷积单元、ASSP单元、第一连接层单元、第二连接层单元、第一降维卷积单元、第二降维卷积单元、上采样单元；所述ASSP单元包括3个Bneck单元，所述3个Bneck单元分别具有不同空洞尺度；所述深度可分离卷积单元用于对输入语义分割模型的环视全景图像进行深度分离卷积，所述3个Bneck 单元分别用于提取所述深度可分离卷积单元输出的深度分离卷积结果的3种不同感受野下的图像特征；所述第一连接层单元用于对所述3种不同感受野下的图像特征进行连接；所述第一降维卷积单元用于对所述第一连接层单元的输出结果进行降维处理；所述第一上采样单元用于对所述第一降维卷积单元输出结果进行上采样；所述第一降维卷积单元用于对所述深度可分离卷积单元输出的深度分离卷积结果进行降维处理；所述第二连接层单元用于对所述第一降维卷积单元的降维处理结果以及所述第一上采样单元的上采样结果进行连接，并将连接结果输出至所述解码模块；
所述解码模块包括第二上采样单元和第三连接层单元；所述第二上采样单元用于对所述第二连接层单元的输出结果进行上采样；所述第三连接层单元用于将所述深度可分离卷积单元输出的深度分离卷积结果以及所述第二上采样单元输出的结果进行连接，并将连接结果输出作为语义分割结果图像，所述语义分割结果图像中包括所述初始可行驶区域。
优选地，所述提取所述初始可行驶区域的边界信息，包括：
提取所述初始可行驶区域的边界构成闭合曲线；
将所述闭合曲线向曲线内扩充1个像素点构成边界搜索区域；
选取所述边界搜索区域上的任意1个相邻像素点作为边界搜索的初始搜索点；
根据所述初始搜索点在所述边界搜索区域中进行边界搜索；搜索过程中，根据预设的代价函数计算搜索与当前搜索点相邻的其它像素点的代价距离，并选取代价距离最小的像素点作为下一搜索点继续搜索，直至搜索到所述初始搜索点；
对边界搜索到的多个搜索点进行规则化处理得到所述初始可行驶区域的边界信息。
优选地，所述根据预设的代价函数计算搜索与当前搜索点相邻的其它像素点的代价距离，包括：
d＝d1*ɑ+d2*(1-ɑ)
d1＝dismin
d2＝abs(thetai-2,i-1-thetai-1,i)
其中，d为代价距离；d1为像素点与不可行驶区域的最近距离；d2为前序搜索路径的方向与当前搜索路径方向的夹角；thetai-1,i表示向量(xi-xi-1，yi-yi-1)与车辆坐标系中x轴方向的夹角的弧度值；ɑ为预设的比例因子，用于d1与d2在代价计算中的占比。
优选地，所述对边界搜索到的多个搜索点进行规则化处理得到所述初始可行驶区域的边界信息，包括：
将相邻的三个及以上的搜索点之间进行直线拟合；若拟合误差小于等于预设的误差阈值，则用拟合的直线的两端端点作为边界点；若拟合误差大于预设的误差阈值，则将相邻的三个及以上的搜索点作为边界点；最终得到规则化后的可行驶区域的多个边界点，所述边界信息包括所述多个边界点。
优选地，所述将所述初始可行驶区域与所述历史可行驶区域进行融合，输出当前的可行驶区域，包括：
在可行驶区域地图中，根据所述初始可行驶区域与所述历史可行驶区域进行叠加得到当前的可行驶区域；
若当前的可行驶区域的某一像素点在所述初始可行驶区域与所述历史可行驶区域中均存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝历史可行驶区域的像素点像素值×k1+初始可行驶区域的像素点像素值×k2；其中k1和k2为预先设置的比例参数；
若当前的可行驶区域的某一像素点仅在所述初始可行驶区域中存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝初始可行驶区域的像素点像素值；
若当前的可行驶区域的某一像素点仅在所述历史可行驶区域中存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝历史可行驶区域的像素点像素值。
根据第二方面，本发明的实施例提出一种可行驶区域识别系统，包括：
触发单元，用于获取当前的时间信息和车辆位置信息，并根据所述当前的时间信息和车辆位置信息判定是否进行图像语义分割；其中，若当前时间与上一次图像语义分割时的时间之间的时间间隔大于预设时间阈值，或者，若当前车辆位置与上一次进行图像语义分割时的车辆位置之间的距离大于预设距离阈值，则判定进行图像语义分割；以及
识别单元，用于当进行图像语义分割时，获取当前车辆周围环境的环视全景图像；利用预先训练好的语义分割模型对所述环视全景图像进行语义分割识别得到初始可行驶区域；以及，将所述初始可行驶区域与历史可行驶区域进行融合，输出当前的可行驶区域；其中所述历史可行驶区域为上一次输出的可行驶区域。
优选地，所述识别单元，包括：
图像获取单元，用于获取当前车辆周围环境的环视全景图像；
语义分割单元，用于利用预先训练好的语义分割模型对所述环视全景图像进行语义分割识别得到初始可行驶区域；
边界提取单元，用于提取所述初始可行驶区域的边界信息；
初始区域识别单元，用于获取可行驶区域地图，并根据所述边界信息确定所述初始可行驶区域在所述可行驶区域地图中的区域；以及
区域融合单元，用于在所述可行驶区域地图中，确定历史可行驶区域，并将所述初始可行驶区域与所述历史可行驶区域进行融合，得到当前的可行驶区域。
优选地，所述边界提取单元，包括：
闭合曲线提取单元，用于提取所述初始可行驶区域的边界构成闭合曲线；
搜索区域确定单元，用于将所述闭合曲线向曲线内扩充1个像素点构成边界搜索区域；
初始搜索点确定单元，用于选取所述边界搜索区域上的任意1个相邻像素点作为边界搜索的初始搜索点；
边界点搜索单元，用于根据所述初始搜索点在所述边界搜索区域中进行边界搜索；搜索过程中，根据预设的代价函数计算搜索与当前搜索点相邻的其它像素点的代价距离，并选取代价距离最小的像素点作为下一搜索点继续搜索，直至搜索到所述初始搜索点；以及
规则化处理单元，用于对边界搜索到的多个搜索点进行规则化处理得到所述初始可行驶区域的边界信息。
优选地，所述区域融合单元，具体用于：在可行驶区域地图中，根据所述初始可行驶区域与所述历史可行驶区域进行叠加得到当前的可行驶区域；
其中，若当前的可行驶区域的某一像素点在所述初始可行驶区域与所述历史可行驶区域中均存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝历史可行驶区域的像素点像素值×k1+初始可行驶区域的像素点像素值×k2；其中k1和k2为预先设置的比例参数；
其中，若当前的可行驶区域的某一像素点仅在所述初始可行驶区域中存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝初始可行驶区域的像素点像素值；
其中，若当前的可行驶区域的某一像素点仅在所述历史可行驶区域中存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝历史可行驶区域的像素点像素值。
根据第三方面，本发明的实施例提出一种计算机设备，包括：根据第一方面所述的可行驶区域识别系统；或者，存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行根据第二方面所述可行驶区域识别方法的步骤。
根据第四方面，本发明的实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据第一方面所述可行驶区域识别方法。
本发明的实施例提出了应用于自动泊车的可行驶区域识别方法及其系统、计算机设备、计算机可读存储介质，通过设置语义分割的触发条件，获取当前的时间信息和车辆位置信息来判断是否触发图像语义分割，减少计算资源的浪费，提高计算效率，另外，通过将所述初始可行驶区域与历史可行驶区域进行叠加融合，输出当前的可行驶区域，使得输出的可行驶区域相对于单纯利用语义分割方法识别得到的可行驶区域的视野更加广阔，能够为自动泊车提供更好地支持。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而得以体现。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例中一种可行驶区域识别的方法的流程图。
图2为本发明一实施例中步骤S2的具体流程图。
图3为本发明一实施例中语义分割模型的框架示意图。
图4为本发明一实施例中语义分割模型的Bneck单元的框架示意图。
图5为本发明一实施例中初始可行驶区域示意图。
图6为本发明一实施例中闭合曲线示意图。
图7为本发明一实施例中边界搜索区域示意图。
图8为本发明一实施例中边界搜索结果示意图。
图9为本发明另一实施例中一种可行驶区域识别系统示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。另外，为了更好的说明本发明，在下文的具体实施例中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的手段未作详细描述，以便于凸显本发明的主旨。
参阅图1，本发明的一实施例提出一种可行驶区域识别方法，包括如下步骤 S1～S2：
步骤S1、获取当前的时间信息和车辆位置信息，并根据所述当前的时间信息和车辆位置信息判定是否进行图像语义分割；其中，若当前时间与上一次图像语义分割时的时间之间的时间间隔大于预设时间阈值，或者，若当前车辆位置与上一次进行图像语义分割时的车辆位置之间的距离大于预设距离阈值，则判定进行图像语义分割；
具体而言，本实施例方法应用于自动泊车系统，以实现可行驶区域的识别，当启动自动泊车时，自动泊车系统初始化结束，会进行一次图像语义分割得到初始可行驶区域，作为当前的可行驶区域。自动泊车过程中，本实施例方法始终会对车辆的位置信息进行实时更新，只有触发进行语义分割条件时才会利用语义分割模型进行当前视野范围内的可行驶区域识别。本实施例设置语义分割触发条件的目的在于保证可行驶区域识别的高效性以及有效性。因为当输入相同的图像数据，鲁棒性较强的基于深度学习的语义分割模型会反馈相同或者近似的识别输出，若在相同的位置车辆周围环境特征变化不大的情况下重复进行可行驶区域的识别会大量占用非必要的计算资源，影响算法整体的计算效率，然而冗余的进行可行驶区域的识别并不会带来性能上显著的提升，因此本实施例在进行第一次图像语义分割输出可行驶区域之后，实时根据所述当前的时间信息和车辆位置信息判定是否进行图像语义分割，以节省计算资源和提高计算效率。
其中，本实施例采用时间和空间的双重触发条件，当与上一次触发语义分割识别时间间隔超过预设时间阈值tthresh时，或者，当车辆在车辆坐标系中x方向上或者y方向上的距离超过预设距离阈值dthresh时，触发语义分割模型，判定进行图像语义分割。所述车辆坐标系的原点位置为车辆当前后轴中心。本实施例中的计算是基于车辆坐标系进行的。
其中，参数tthresh和dthresh的设定应该综合车辆控制性能、摄像头成像效果、摄像头分辨率等多种因素综合考量，本实施例中dthresh优选取值为1m(米)、tthresh优选取值为1s(秒)。
步骤S2、当进行图像语义分割时，获取当前车辆周围环境的环视全景图像；利用预先训练好的语义分割模型对所述环视全景图像进行语义分割识别得到初始可行驶区域；以及，将所述初始可行驶区域与历史可行驶区域进行融合，输出当前的可行驶区域；其中所述历史可行驶区域为上一次输出的可行驶区域。
具体而言，本实施例通过将所述初始可行驶区域与历史可行驶区域进行叠加融合，输出当前的可行驶区域，由于受到车辆摄像头视野的局限，车辆在不同位置探测到的可行驶区域可能是不同的，这种情况下两个区域是部分重叠，在叠加融合之后，使得输出的可行驶区域相对于单纯利用语义分割方法识别得到的可行驶区域的视野更加广阔，能够为自动泊车提供更好地支持。
优选地，参阅图2，本实施例中所述步骤S2，包括以下步骤S21～S25：
步骤S21、获取当前车辆周围环境的环视全景图像；
示例性地，环视全景图像可以通过以下方式获得：首先采集四路鱼眼图像，对四路鱼眼视频进行畸变矫正；然后，自动选取棋盘格四个最靠外的四个内角点作为透视变换源点，并选择目标图像四个相对应的目标点，由此得到四对对应的点，再通过计算得到的透视变换矩阵对四路鱼眼图像分别进行透视变换，得到四路鸟瞰图；最后，进行四路鱼眼鸟瞰图像拼接。优选地，所述环视全景图像为涵盖以车辆后轴中心为中点、长18.6米、宽15.4米的矩形区域的俯视图像。
需说明的是，上述方式仅为举例说明，本实施例方法并不局限于某一种环视全景图像的获得手段。
其中，相邻两图像区域拼接处有明显的拼接缝，部分位置不准确，考虑是摄像头安装问题；四路视频在亮度上有较大的差异，存在亮暗不均一等情况。为了处理接缝问题，优选地，可以在两幅相拼接图像的重叠区域加入渐变的权重值，对重叠区域进行加权融合，达到过渡平滑的效果。
本实施例中泊车系统初始化部分涉及到世界坐标系的确定和车辆初始姿态的初始化。世界坐标系一旦确定，则在整个自动泊车过程中直至泊车终止，所有的坐标转化统一转化至世界坐标系下进行计算，世界坐标系的确定有助于简化后续可行驶区域地图更新阶段算法的复杂度，车辆姿态的初始化信息和世界坐标系的确定是同步进行的，世界坐标系中x轴、y轴的方向有系统初始化的当前时刻车辆的姿态所确定，车辆姿态的表达方式也许同步转换至世界坐标系下，并在自动泊车系统运行的整个阶段对车辆后轴中心的坐标、车辆的姿态进行实时的更新。
步骤S22、利用预先训练好的语义分割模型对所述环视全景图像进行语义分割识别得到初始可行驶区域。
具体而言，语义分割是计算机视觉中十分重要的领域，是指像素级地识别图像，即标注出图像中每个像素所属的对象类别，为图像中不同对象类别赋予不同的像素值，具体本实施例中将可行驶区域与非可行驶区域进行分割。通过语义分割，可以得到一个当前车辆摄像头视野下的初始可行驶区域。
步骤S23、提取所述初始可行驶区域的边界信息。
步骤S24、获取可行驶区域地图，并根据所述边界信息确定所述初始可行驶区域在所述可行驶区域地图中的区域；
具体而言，所述边界信息包括边界上的像素点的坐标信息，根据该坐标信息，即可以确定所述可行驶区域地图中由所述边界信息所封闭构成的区域，即初始可行驶区域。
步骤S25、在所述可行驶区域地图中，确定历史可行驶区域，并将所述初始可行驶区域与所述历史可行驶区域进行融合，得到当前的可行驶区域。
具体而言，所述历史可行驶区域为上一次进行可行驶区域识别输出的可行驶区域，本实施例中在所述可行驶区域地图中将所述初始可行驶区域与所述历史可行驶区域进行融合，得到当前的可行驶区域，更新可行驶区域地图。突破了环视摄像头视野范围限制、扩大当前可行驶区域覆盖范围，并能够通过多帧融合的方式优化单帧语义分割结果中边界区域的毛刺、虚影。
优选地，参阅图3～4，本实施例中所述语义分割模型的结构包括编码模块10和解码模块20；
其中，所述编码模块包括深度可分离卷积单元101、ASSP单元102、第一连接层单元103、第二连接层单元104、第一降维卷积单元105、第二降维卷积单元106、上采样单元107；所述ASSP单元包括3个Bneck单元，所述3个Bneck单元分别具有不同空洞尺度；所述深度可分离卷积单元用于对输入语义分割模型的环视全景图像进行深度分离卷积，所述3个Bneck单元分别用于提取所述深度可分离卷积单元输出的深度分离卷积结果的3种不同感受野下的图像特征；所述第一连接层单元用于对所述 3种不同感受野下的图像特征进行连接；所述第一降维卷积单元用于对所述第一连接层单元的输出结果进行降维处理；所述第一上采样单元用于对所述第一降维卷积单元输出结果进行上采样；所述第一降维卷积单元用于对所述深度可分离卷积单元输出的深度分离卷积结果进行降维处理；所述第二连接层单元用于对所述第一降维卷积单元的降维处理结果以及所述第一上采样单元的上采样结果进行连接，并将连接结果输出至所述解码模块；
具体而言，与基本的DeepLab-v3+中“编码-解码”模型结构类似，本实施例所述语义分割模型由编码模块Encoder和解码模块Decoder构成。在原始DeepLab-v3+模型中，编码模块Encoder为Basebone模型结构(采用Xception结构)和ASSP模型结构的组合，但本实施例中语义分割任务仅需对图像中的可行驶区域(前景)和非可行驶区域(背景)进行分割，待分割的类别较常用公开数据集存在较大差异，直接采用原始DeepLab-v3+模型中提供的相关基础网络存在性能上的冗余，难以达到系统对算法实时性的要求。考虑到车载硬件平台计算能力的局限性，以及自动泊车系统对算法运行实时性的要求，一方面，本实施例中将轻量级网络结构MobileNet系列模型中的深度可分离卷积结构应用于基础网络模型之中，并结合Encoder-Decoder类型结构的特点构建3个具有不同空洞尺度的分支用于提取不同感受野下的图像特征信息，输出的三种不同感受野下的分支连接后通过普通根据卷积层进行降维处理后输出，在图3中的Bneck1、Bneck2、Bneck3分别对应空洞尺度对应为3、5、11；另一方面，原始 ASSP模块中由5路相对独立的ASPP单元并联来在不同感受野下进行特征的提取，本实施例中对该部分进行裁剪，保留其中3个尺度的ASSP单元，并将原始单路 ASSP单元中的深度裁剪为原来的50％。
其中，所述解码模块20包括第二上采样单元201和第三连接层单元202；所述第二上采样单元201用于对所述第二连接层单元的输出结果进行双线性4倍上采样；所述第三连接层单元202用于将所述深度可分离卷积单元输出的深度分离卷积结果以及所述第二上采样单元输出的结果进行连接，并将连接结果输出作为语义分割结果图像，所述语义分割结果图像中包括所述初始可行驶区域。
具体而言，在解码模块中，解码模块的输入来自于编码模块的浅层输出浅层特征和最终输出深层特征；首先对解码模块输出的深层特征进行双线性4倍上采样，然后将采样结果与来自基础网络模块的具有相同空间分辨率的浅层特征连接在一起；经过先裁剪后扩充的新模型结构不仅兼具原始结构的特点，压缩模型的宽度和深度，而且扩大了模型的感受野，以保证模型能够在实时性、准确性之间达到平衡。
优选地，本实施例中所述步骤S23，包括如下步骤S231～236：
步骤S231、提取所述初始可行驶区域的边界构成闭合曲线；
示例性地，所述初始可行驶区域如图5所示，闭合曲线如图6所示。
步骤S232、将所述闭合曲线向曲线内扩充1个像素点构成边界搜索区域；
示例性地，基于图6的闭合曲线，对应的边界搜索区域如图7所示。
步骤S234、选取所述边界搜索区域上的任意1个相邻像素点作为边界搜索的初始搜索点；
步骤S235、根据所述初始搜索点在所述边界搜索区域中进行边界搜索；搜索过程中，根据预设的代价函数计算搜索与当前搜索点相邻的其它像素点的代价距离，并选取代价距离最小的像素点作为下一搜索点继续搜索，直至搜索到所述初始搜索点；
示例性地，基于图7的边界搜索区域，对应的边界搜索结果如图8所示，图8中边界搜索结果包括多个搜索点。
步骤S236、对边界搜索到的多个搜索点进行规则化处理得到所述初始可行驶区域的边界信息。
优选地，本实施例中所述步骤S235中的代价函数，具体如下：
d＝d1*ɑ+d2*(1-ɑ)
d1＝dismin
d2＝abs(thetai-2,i-1-thetai-1,i)
其中，d为代价距离；d1为像素点与不可行驶区域的最近距离；d2为前序搜索路径的方向与当前搜索路径方向的夹角，例如，前面依次搜索得到的2个搜索点为D1、 D2，D3为当前搜索点D2相邻的其它像素点，则所述前序搜索路径方向为D1→D2，当前搜索路径方向为D2→D3；thetai-1,i表示向量(xi-xi-1，yi-yi-1)与车辆坐标系中x轴方向的夹角的弧度值；ɑ为预设的比例因子，用于d1与d2在代价计算中的占比，本实施例中优选但不限于为0.3。
优选地，本实施例中所述步骤S236中规则化处理，包括：
将相邻的三个及以上的搜索点之间进行直线拟合；若拟合误差小于等于预设的误差阈值，则用拟合的直线的两端端点作为边界点；若拟合误差大于预设的误差阈值，则将相邻的三个及以上的搜索点作为边界点；最终得到规则化后的可行驶区域的多个边界点，所述边界信息包括所述多个边界点。
具体而言，所述拟合误差指的是拟合的直线与原来搜索点所连接形成的线段的差异，这个差异可以通过例如计算两个线段的相似性来确定，可以理解的是，相似性计算的方式有很多，本实施例并不局限于某一种计算方式。具体地，又例如是两个线段的坐标位置信息的差异。
需说明的是，基于本实施例方法，根据大量样本测试，在边界点规则化之前可行驶区域边界平均由200～300个像素点构成，当进行边界规则化提取后可行驶区域边界可由20～50个像素点进行表示，且规则化后的误差控制在精度允许的误差范围之内。可行驶区域边界点规则化的意义在于简化自动泊车系统中后续算法的复杂度，提高系统整体运行效率。
优选地，本实施例中所述步骤S25，包括：
在可行驶区域地图中，根据所述初始可行驶区域与所述历史可行驶区域进行叠加得到当前的可行驶区域；
若当前的可行驶区域的某一像素点在所述初始可行驶区域与所述历史可行驶区域中均存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝历史可行驶区域的像素点像素值×k1+初始可行驶区域的像素点像素值×k2；其中k1和k2为预先设置的比例参数；
若当前的可行驶区域的某一像素点仅在所述初始可行驶区域中存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝初始可行驶区域的像素点像素值；
若当前的可行驶区域的某一像素点仅在所述历史可行驶区域中存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝历史可行驶区域的像素点像素值。
参阅图9，本发明的另一实施例提出一种可行驶区域识别系统，包括：
触发单元1，用于获取当前的时间信息和车辆位置信息，并根据所述当前的时间信息和车辆位置信息判定是否进行图像语义分割；其中，若当前时间与上一次图像语义分割时的时间之间的时间间隔大于预设时间阈值，或者，若当前车辆位置与上一次进行图像语义分割时的车辆位置之间的距离大于预设距离阈值，则判定进行图像语义分割；以及
识别单元2，用于当进行图像语义分割时，获取当前车辆周围环境的环视全景图像；利用预先训练好的语义分割模型对所述环视全景图像进行语义分割识别得到初始可行驶区域；以及，将所述初始可行驶区域与历史可行驶区域进行融合，输出当前的可行驶区域；其中所述历史可行驶区域为上一次输出的可行驶区域。
优选地，本实施例中所述识别单元2，包括：
图像获取单元21，用于获取当前车辆周围环境的环视全景图像；
语义分割单元22，用于利用预先训练好的语义分割模型对所述环视全景图像进行语义分割识别得到初始可行驶区域；
边界提取单元23，用于提取所述初始可行驶区域的边界信息；
初始区域识别单元24，用于获取可行驶区域地图，并根据所述边界信息确定所述初始可行驶区域在所述可行驶区域地图中的区域；以及
区域融合单元25，用于在所述可行驶区域地图中，确定历史可行驶区域，并将所述初始可行驶区域与所述历史可行驶区域进行融合，得到当前的可行驶区域。
优选地，本实施例中所述边界提取单元23，包括：
闭合曲线提取单元，用于提取所述初始可行驶区域的边界构成闭合曲线；
搜索区域确定单元，用于将所述闭合曲线向曲线内扩充1个像素点构成边界搜索区域；
初始搜索点确定单元，用于选取所述边界搜索区域上的任意1个相邻像素点作为边界搜索的初始搜索点；
边界点搜索单元，用于根据所述初始搜索点在所述边界搜索区域中进行边界搜索；搜索过程中，根据预设的代价函数计算搜索与当前搜索点相邻的其它像素点的代价距离，并选取代价距离最小的像素点作为下一搜索点继续搜索，直至搜索到所述初始搜索点；以及
规则化处理单元，用于对边界搜索到的多个搜索点进行规则化处理得到所述初始可行驶区域的边界信息。
优选地，本实施例中所述区域融合单元25，具体用于：在可行驶区域地图中，根据所述初始可行驶区域与所述历史可行驶区域进行叠加得到当前的可行驶区域；
其中，若当前的可行驶区域的某一像素点在所述初始可行驶区域与所述历史可行驶区域中均存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝历史可行驶区域的像素点像素值×k1+初始可行驶区域的像素点像素值×k2；其中k1和k2为预先设置的比例参数；
其中，若当前的可行驶区域的某一像素点仅在所述初始可行驶区域中存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝初始可行驶区域的像素点像素值；
其中，若当前的可行驶区域的某一像素点仅在所述历史可行驶区域中存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝历史可行驶区域的像素点像素值。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
需说明的是，上述实施例所述系统与上述实施例所述方法对应，因此，上述实施例所述系统未详述部分可以参阅上述实施例所述方法的内容得到，此处不再赘述。
并且，上述实施例所述可行驶区域识别系统如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
示例性地，所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
此外，本发明的另一实施例还提出另一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行根据上述实施例所述的可行驶区域识别的方法的步骤。
当然，所述计算机设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备还可以包括其他用于实现设备功能的部件，在此不做赘述。
示例性的，所述计算机程序可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述计算机设备中的执行过程。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机设备的控制中心，利用各种接口和线路连接整个所述计算机设备的各个部分。
所述存储器可用于存储所述计算机程序和/或单元，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或单元，以及调用存储在存储器内的数据，实现所述计算机设备的各种功能。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card, SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明的另一实施例还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例所述可行驶区域识别方法的步骤。
具体而言，所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (13)
1.一种可行驶区域识别方法，其特征在于，包括：
步骤S1、获取当前的时间信息和车辆位置信息，并根据所述当前的时间信息和车辆位置信息判定是否进行图像语义分割；其中，若当前时间与上一次图像语义分割时的时间之间的时间间隔大于预设时间阈值，或者，若当前车辆位置与上一次进行图像语义分割时的车辆位置之间的距离大于预设距离阈值，则判定进行图像语义分割；
步骤S2、当进行图像语义分割时，获取当前车辆周围环境的环视全景图像；利用预先训练好的语义分割模型对所述环视全景图像进行语义分割识别得到初始可行驶区域；以及，将所述初始可行驶区域与历史可行驶区域进行融合，输出当前的可行驶区域；其中所述历史可行驶区域为上一次输出的可行驶区域。
2.根据权利要求1所述的可行驶区域识别方法，其特征在于，所述步骤S2，包括：
获取当前车辆周围环境的环视全景图像；
利用预先训练好的语义分割模型对所述环视全景图像进行语义分割识别得到初始可行驶区域；
提取所述初始可行驶区域的边界信息；
获取可行驶区域地图，并根据所述边界信息确定所述初始可行驶区域在所述可行驶区域地图中的区域；
在所述可行驶区域地图中，确定历史可行驶区域，并将所述初始可行驶区域与所述历史可行驶区域进行融合，得到当前的可行驶区域。
3.根据权利要求2所述的可行驶区域识别方法，其特征在于，所述语义分割模型的结构包括编码模块和解码模块；
所述编码模块包括深度可分离卷积单元、ASSP单元、第一连接层单元、第二连接层单元、第一降维卷积单元、第二降维卷积单元、上采样单元；所述ASSP单元包括3个Bneck单元，所述3个Bneck单元分别具有不同空洞尺度；所述深度可分离卷积单元用于对输入语义分割模型的环视全景图像进行深度分离卷积，所述3个Bneck单元分别用于提取所述深度可分离卷积单元输出的深度分离卷积结果的3种不同感受野下的图像特征；所述第一连接层单元用于对所述3种不同感受野下的图像特征进行连接；所述第一降维卷积单元用于对所述第一连接层单元的输出结果进行降维处理；所述第一上采样单元用于对所述第一降维卷积单元输出结果进行上采样；所述第一降维卷积单元用于对所述深度可分离卷积单元输出的深度分离卷积结果进行降维处理；所述第二连接层单元用于对所述第一降维卷积单元的降维处理结果以及所述第一上采样单元的上采样结果进行连接，并将连接结果输出至所述解码模块；
所述解码模块包括第二上采样单元和第三连接层单元；所述第二上采样单元用于对所述第二连接层单元的输出结果进行上采样；所述第三连接层单元用于将所述深度可分离卷积单元输出的深度分离卷积结果以及所述第二上采样单元输出的结果进行连接，并将连接结果输出作为语义分割结果图像，所述语义分割结果图像中包括所述初始可行驶区域。
4.根据权利要求2所述的可行驶区域识别方法，其特征在于，所述提取所述初始可行驶区域的边界信息，包括：
提取所述初始可行驶区域的边界构成闭合曲线；
将所述闭合曲线向曲线内扩充1个像素点构成边界搜索区域；
选取所述边界搜索区域上的任意1个相邻像素点作为边界搜索的初始搜索点；
根据所述初始搜索点在所述边界搜索区域中进行边界搜索；搜索过程中，根据预设的代价函数计算搜索与当前搜索点相邻的其它像素点的代价距离，并选取代价距离最小的像素点作为下一搜索点继续搜索，直至搜索到所述初始搜索点；
对边界搜索到的多个搜索点进行规则化处理得到所述初始可行驶区域的边界信息。
5.根据权利要求4所述的可行驶区域识别方法，其特征在于，所述根据预设的代价函数计算搜索与当前搜索点相邻的其它像素点的代价距离，包括：
d＝d1*ɑ+d2*(1-ɑ)
d1＝dismin
d2＝abs(thetai-2,i-1-thetai-1,i)
其中，d为代价距离；d1为像素点与不可行驶区域的最近距离；d2为前序搜索路径的方向与当前搜索路径方向的夹角；thetai-1,i表示向量(xi-xi-1，yi-yi-1)与车辆坐标系中x轴方向的夹角的弧度值；ɑ为预设的比例因子，用于d1与d2在代价计算中的占比。
6.根据权利要求4所述的可行驶区域识别方法，其特征在于，所述对边界搜索到的多个搜索点进行规则化处理得到所述初始可行驶区域的边界信息，包括：
将相邻的三个及以上的搜索点之间进行直线拟合；若拟合误差小于等于预设的误差阈值，则用拟合的直线的两端端点作为边界点；若拟合误差大于预设的误差阈值，则将相邻的三个及以上的搜索点作为边界点；最终得到规则化后的可行驶区域的多个边界点，所述边界信息包括所述多个边界点。
7.根据权利要求2所述的可行驶区域识别方法，其特征在于，所述将所述初始可行驶区域与所述历史可行驶区域进行融合，输出当前的可行驶区域，包括：
在可行驶区域地图中，根据所述初始可行驶区域与所述历史可行驶区域进行叠加得到当前的可行驶区域；
若当前的可行驶区域的某一像素点在所述初始可行驶区域与所述历史可行驶区域中均存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝历史可行驶区域的像素点像素值×k1+初始可行驶区域的像素点像素值×k2；其中k1和k2为预先设置的比例参数；
若当前的可行驶区域的某一像素点仅在所述初始可行驶区域中存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝初始可行驶区域的像素点像素值；
若当前的可行驶区域的某一像素点仅在所述历史可行驶区域中存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝历史可行驶区域的像素点像素值。
8.一种可行驶区域识别系统，其特征在于，包括：
触发单元，用于获取当前的时间信息和车辆位置信息，并根据所述当前的时间信息和车辆位置信息判定是否进行图像语义分割；其中，若当前时间与上一次图像语义分割时的时间之间的时间间隔大于预设时间阈值，或者，若当前车辆位置与上一次进行图像语义分割时的车辆位置之间的距离大于预设距离阈值，则判定进行图像语义分割；以及
识别单元，用于当进行图像语义分割时，获取当前车辆周围环境的环视全景图像；利用预先训练好的语义分割模型对所述环视全景图像进行语义分割识别得到初始可行驶区域；以及，将所述初始可行驶区域与历史可行驶区域进行融合，输出当前的可行驶区域；其中所述历史可行驶区域为上一次输出的可行驶区域。
9.根据权利要求8所述的可行驶区域识别系统，其特征在于，所述识别单元，包括：
图像获取单元，用于获取当前车辆周围环境的环视全景图像；
语义分割单元，用于利用预先训练好的语义分割模型对所述环视全景图像进行语义分割识别得到初始可行驶区域；
边界提取单元，用于提取所述初始可行驶区域的边界信息；
初始区域识别单元，用于获取可行驶区域地图，并根据所述边界信息确定所述初始可行驶区域在所述可行驶区域地图中的区域；以及
区域融合单元，用于在所述可行驶区域地图中，确定历史可行驶区域，并将所述初始可行驶区域与所述历史可行驶区域进行融合，得到当前的可行驶区域。
10.根据权利要求9所述的可行驶区域识别系统，其特征在于，所述边界提取单元，包括：
闭合曲线提取单元，用于提取所述初始可行驶区域的边界构成闭合曲线；
搜索区域确定单元，用于将所述闭合曲线向曲线内扩充1个像素点构成边界搜索区域；
初始搜索点确定单元，用于选取所述边界搜索区域上的任意1个相邻像素点作为边界搜索的初始搜索点；
边界点搜索单元，用于根据所述初始搜索点在所述边界搜索区域中进行边界搜索；搜索过程中，根据预设的代价函数计算搜索与当前搜索点相邻的其它像素点的代价距离，并选取代价距离最小的像素点作为下一搜索点继续搜索，直至搜索到所述初始搜索点；以及
规则化处理单元，用于对边界搜索到的多个搜索点进行规则化处理得到所述初始可行驶区域的边界信息。
11.根据权利要求8所述的可行驶区域识别系统，其特征在于，所述区域融合单元，具体用于：在可行驶区域地图中，根据所述初始可行驶区域与所述历史可行驶区域进行叠加得到当前的可行驶区域；
其中，若当前的可行驶区域的某一像素点在所述初始可行驶区域与所述历史可行驶区域中均存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝历史可行驶区域的像素点像素值×k1+初始可行驶区域的像素点像素值×k2；其中k1和k2为预先设置的比例参数；
其中，若当前的可行驶区域的某一像素点仅在所述初始可行驶区域中存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝初始可行驶区域的像素点像素值；
其中，若当前的可行驶区域的某一像素点仅在所述历史可行驶区域中存在，则该像素点的当前像素值P根据以下计算方式计算得到：
P＝历史可行驶区域的像素点像素值。
12.一种计算机设备，包括：根据权利要求8-11任一项所述的可行驶区域识别系统；或者，存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行根据权利要求1-5中任一项所述可行驶区域识别方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-7中任一项所述可行驶区域识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010901014.6A CN114120260B (zh) | 2020-09-01 | 2020-09-01 | 可行驶区域识别方法及其系统、计算机设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010901014.6A CN114120260B (zh) | 2020-09-01 | 2020-09-01 | 可行驶区域识别方法及其系统、计算机设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114120260A true CN114120260A (zh) | 2022-03-01 |
| CN114120260B CN114120260B (zh) | 2024-08-20 |
Family
ID=80360438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010901014.6A Active CN114120260B (zh) | 2020-09-01 | 2020-09-01 | 可行驶区域识别方法及其系统、计算机设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114120260B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663397A (zh) * | 2022-03-22 | 2022-06-24 | 小米汽车科技有限公司 | 可行驶区域的检测方法、装置、设备及存储介质 |
| CN117437608A (zh) * | 2023-11-16 | 2024-01-23 | 元橡科技（北京）有限公司 | 一种全地形路面类型识别方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103748431A (zh) * | 2011-08-31 | 2014-04-23 | 日产自动车株式会社 | 可行驶区域显示装置 |
| CN107622684A (zh) * | 2017-09-14 | 2018-01-23 | 华为技术有限公司 | 信息传输方法、交通控制单元和车载单元 |
| WO2018063245A1 (en) * | 2016-09-29 | 2018-04-05 | The Charles Stark Draper Laboratory, Inc. | Autonomous vehicle localization |
| CN108985194A (zh) * | 2018-06-29 | 2018-12-11 | 华南理工大学 | 一种基于图像语义分割的智能车辆可行驶区域的识别方法 |
| EP3428032A1 (de) * | 2017-07-13 | 2019-01-16 | Valeo Schalter und Sensoren GmbH | Autonomes parken eines fahrzeugs basierend auf einem befahrbaren bereich |
| CN110633718A (zh) * | 2018-06-21 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 用于确定环境图像中的行驶区域的方法和装置 |
| US20200074222A1 (en) * | 2018-08-31 | 2020-03-05 | Alibaba Group Holding Limited | System and method for performing image processing based on a damage assessment image judgement model |
| CN111028534A (zh) * | 2018-10-09 | 2020-04-17 | 杭州海康威视数字技术股份有限公司 | 一种泊车位检测方法及装置 |
| CN111046789A (zh) * | 2019-12-10 | 2020-04-21 | 哈尔滨工程大学 | 一种行人重识别方法 |
| CN111508030A (zh) * | 2020-04-10 | 2020-08-07 | 湖北工业大学 | 一种计算机视觉的立体匹配方法 |
-
2020
- 2020-09-01 CN CN202010901014.6A patent/CN114120260B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103748431A (zh) * | 2011-08-31 | 2014-04-23 | 日产自动车株式会社 | 可行驶区域显示装置 |
| WO2018063245A1 (en) * | 2016-09-29 | 2018-04-05 | The Charles Stark Draper Laboratory, Inc. | Autonomous vehicle localization |
| EP3428032A1 (de) * | 2017-07-13 | 2019-01-16 | Valeo Schalter und Sensoren GmbH | Autonomes parken eines fahrzeugs basierend auf einem befahrbaren bereich |
| CN107622684A (zh) * | 2017-09-14 | 2018-01-23 | 华为技术有限公司 | 信息传输方法、交通控制单元和车载单元 |
| CN110633718A (zh) * | 2018-06-21 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 用于确定环境图像中的行驶区域的方法和装置 |
| CN108985194A (zh) * | 2018-06-29 | 2018-12-11 | 华南理工大学 | 一种基于图像语义分割的智能车辆可行驶区域的识别方法 |
| US20200074222A1 (en) * | 2018-08-31 | 2020-03-05 | Alibaba Group Holding Limited | System and method for performing image processing based on a damage assessment image judgement model |
| CN111028534A (zh) * | 2018-10-09 | 2020-04-17 | 杭州海康威视数字技术股份有限公司 | 一种泊车位检测方法及装置 |
| CN111046789A (zh) * | 2019-12-10 | 2020-04-21 | 哈尔滨工程大学 | 一种行人重识别方法 |
| CN111508030A (zh) * | 2020-04-10 | 2020-08-07 | 湖北工业大学 | 一种计算机视觉的立体匹配方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663397A (zh) * | 2022-03-22 | 2022-06-24 | 小米汽车科技有限公司 | 可行驶区域的检测方法、装置、设备及存储介质 |
| CN114663397B (zh) * | 2022-03-22 | 2023-05-23 | 小米汽车科技有限公司 | 可行驶区域的检测方法、装置、设备及存储介质 |
| CN117437608A (zh) * | 2023-11-16 | 2024-01-23 | 元橡科技（北京）有限公司 | 一种全地形路面类型识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114120260B (zh) | 2024-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115082674B (zh) | 基于注意力机制的多模态数据融合三维目标检测方法 | |
| US11966234B2 (en) | System and method for monocular depth estimation from semantic information | |
| CN114091521B (zh) | 车辆航向角的检测方法、装置、设备及存储介质 | |
| CN111256693B (zh) | 一种计算位姿变化方法及车载终端 | |
| CN114120260B (zh) | 可行驶区域识别方法及其系统、计算机设备、存储介质 | |
| CN117036895B (zh) | 基于相机与激光雷达点云融合的多任务环境感知方法 | |
| CN115327524B (zh) | 基于毫米波雷达与视觉融合的路侧端目标检测方法及装置 | |
| CN115965531A (zh) | 模型训练方法及图像生成方法、装置、设备和存储介质 | |
| CN114240816A (zh) | 道路环境感知方法、装置、存储介质、电子设备及车辆 | |
| CN113850881A (zh) | 图像生成方法、装置、设备及可读存储介质 | |
| CN114120254A (zh) | 道路信息识别方法、装置及存储介质 | |
| CN110136049A (zh) | 一种基于环视图像与轮速计融合的定位方法及车载终端 | |
| CN117671644A (zh) | 标识牌检测方法、装置以及车辆 | |
| CN116309943B (zh) | 一种停车场语义地图路网构建方法、装置及电子设备 | |
| CN115565155A (zh) | 神经网络模型的训练方法、车辆视图的生成方法和车辆 | |
| CN115131762B (zh) | 一种车辆泊车方法、系统及计算机可读存储介质 | |
| CN113780189A (zh) | 一种基于U-Net改进的车道线检测方法 | |
| CN114120259B (zh) | 一种空车位识别方法及其系统、计算机设备、存储介质 | |
| CN115661577B (zh) | 用于对象检测的方法、设备和计算机可读存储介质 | |
| Liao et al. | Object segmentation and augmented visualization based on panoramic image segmentation | |
| CN115359460B (zh) | 用于车辆的图像识别方法、装置、车辆和存储介质 | |
| Wu et al. | Semantic Segmentation of Parking Lot Scene Based on Surround View System | |
| CN114120259A (zh) | 一种空车位识别方法及其系统、计算机设备、存储介质 | |
| CN116434164A (zh) | 融合多光照信息的车道线检测方法、系统、介质及计算机 | |
| CN118196582A (zh) | 适用于多视角目标检测的高精地图对齐融合方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |