CN113837155A - 图像处理、地图数据更新方法、装置和存储介质 - Google Patents

图像处理、地图数据更新方法、装置和存储介质 Download PDF

Info

Publication number
CN113837155A
CN113837155A CN202111411346.7A CN202111411346A CN113837155A CN 113837155 A CN113837155 A CN 113837155A CN 202111411346 A CN202111411346 A CN 202111411346A CN 113837155 A CN113837155 A CN 113837155A
Authority
CN
China
Prior art keywords
image
road isolation
isolation zone
road
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111411346.7A
Other languages
English (en)
Other versions
CN113837155B (zh
Inventor
陆嘉欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111411346.7A priority Critical patent/CN113837155B/zh
Publication of CN113837155A publication Critical patent/CN113837155A/zh
Application granted granted Critical
Publication of CN113837155B publication Critical patent/CN113837155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像处理、地图数据更新方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括:对道路图像序列进行道路隔离带分割分类识别,得到道路隔离带分割结果和道路隔离带属性识别结果;基于道路隔离带分割结果确定包含道路隔离带区域的待确定图像序列;基于各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,并基于各个道路隔离带位置特征筛选道路隔离带位置匹配的待确定图像,得到候选图像序列;从道路隔离带属性识别结果中确定各个候选图像对应的道路隔离带属性信息;基于道路隔离带属性信息筛选道路隔离带属性匹配的候选图像,得到目标图像序列。采用本方法能够提高图像处理的准确性,可应用于地图领域中。

Description

图像处理、地图数据更新方法、装置和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像处理、地图数据更新方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着人工智能技术的发展,出现了智慧交通技术,比如,通过自动驾驶技术来实现车辆的自动驾驶。目前,自动驾驶需要使用道路数据,为了保证自动驾驶的安全性,通常需要及时更新道路数据,而道路中的道路隔离带是一种重要的地面交通设施,它起到分隔车流的作用,对道路数据的路形更新起到重要作用。目前,对道路中的道路隔离带的识别通常是根据行车轨迹来识别的,然而,由于受限于用户出行行为,从而导致行为轨迹正确性无法保证,从而导致对道路中的道路隔离无法准确识别,进而使道路数据的准确性下降。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高道路隔离带识别准确性和道路数据准确性的图像处理、地图数据更新方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种图像处理方法。所述方法包括:
获取道路图像序列;
对道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果;
基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的待确定图像序列;
基于待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于各个道路隔离带位置特征从各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列;
从待处理图像对应的道路隔离带属性识别结果中确定候选图像序列中各个候选图像对应的道路隔离带属性信息;
基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列,目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带。
第二方面,本申请还提供了一种图像处理装置。所述装置包括:
获取模块,用于获取道路图像序列;
分割分类模块,用于对道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果;
序列确定模块,用于基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的待确定图像序列;
位置匹配模块,用于基于待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于各个道路隔离带位置特征从各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列;
信息确定模块,用于从待处理图像对应的道路隔离带属性识别结果中确定候选图像序列中各个候选图像对应的道路隔离带属性信息;
属性匹配模块,用于基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列,目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取道路图像序列;
对道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果;
基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的待确定图像序列;
基于待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于各个道路隔离带位置特征从各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列;
从待处理图像对应的道路隔离带属性识别结果中确定候选图像序列中各个候选图像对应的道路隔离带属性信息;
基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列,目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取道路图像序列;
对道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果;
基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的待确定图像序列;
基于待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于各个道路隔离带位置特征从各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列;
从待处理图像对应的道路隔离带属性识别结果中确定候选图像序列中各个候选图像对应的道路隔离带属性信息;
基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列,目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取道路图像序列;
对道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果;
基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的待确定图像序列;
基于待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于各个道路隔离带位置特征从各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列;
从待处理图像对应的道路隔离带属性识别结果中确定候选图像序列中各个候选图像对应的道路隔离带属性信息;
基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列,目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带。
上述图像处理方法、装置、计算机设备、存储介质和计算机程序产品,通过对待处理图像进行分割分类识别,得到道路隔离带分割结果和道路隔离带属性识别结果,然后根据道路隔离带分割结果进行道路隔离带位置匹配,再根据道路隔离带属性识别结果进行道路隔离带属性信息匹配,从而得到目标图像序列,提高了得到目标图像序列的准确性,该目标图像序列中包括位置和属性信息匹配的道路隔离带,进而提高了道路隔离带识别的准确性。
第一方面,本申请提供了一种地图数据更新方法。所述方法包括:
获取历史地图数据,并获取目标图像序列,目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带;
其中,通过获取道路图像序列,对道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果,基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的待确定图像序列,基于待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于各个道路隔离带位置特征从各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列,从待处理图像对应的道路隔离带属性识别结果中确定候选图像序列中各个候选图像对应的道路隔离带属性信息,基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列;
基于目标图像序列对历史地图数据中对应的道路隔离带图像数据进行更新,得到更新地图数据。
第二方面,本申请还提供了一种地图数据更新装置。所述装置包括:
数据获取模块,用于获取历史地图数据,并获取目标图像序列,目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带;
其中,通过获取道路图像序列,对道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果,基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的待确定图像序列,基于待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于各个道路隔离带位置特征从各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列,从待处理图像对应的道路隔离带属性识别结果中确定候选图像序列中各个候选图像对应的道路隔离带属性信息,基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列;
更新模块,用于基于目标图像序列对历史地图数据中对应的道路隔离带图像数据进行更新,得到更新地图数据。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取历史地图数据,并获取目标图像序列,目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带;
其中,通过获取道路图像序列,对道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果,基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的待确定图像序列,基于待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于各个道路隔离带位置特征从各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列,从待处理图像对应的道路隔离带属性识别结果中确定候选图像序列中各个候选图像对应的道路隔离带属性信息,基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列;
基于目标图像序列对历史地图数据中对应的道路隔离带图像数据进行更新,得到更新地图数据。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取历史地图数据,并获取目标图像序列,目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带;
其中,通过获取道路图像序列,对道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果,基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的待确定图像序列,基于待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于各个道路隔离带位置特征从各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列,从待处理图像对应的道路隔离带属性识别结果中确定候选图像序列中各个候选图像对应的道路隔离带属性信息,基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列;
基于目标图像序列对历史地图数据中对应的道路隔离带图像数据进行更新,得到更新地图数据。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取历史地图数据,并获取目标图像序列,目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带;
其中,通过获取道路图像序列,对道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果,基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的待确定图像序列,基于待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于各个道路隔离带位置特征从各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列,从待处理图像对应的道路隔离带属性识别结果中确定候选图像序列中各个候选图像对应的道路隔离带属性信息,基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列;
基于目标图像序列对历史地图数据中对应的道路隔离带图像数据进行更新,得到更新地图数据。
上述地图数据更新方法、装置、计算机设备、存储介质和计算机程序产品,通过获取历史地图数据和目标图像序列,由于目标图像序列是通过对待处理图像进行分割分类识别,得到道路隔离带分割结果和道路隔离带属性识别结果,然后根据道路隔离带分割结果进行道路隔离带位置匹配,再根据道路隔离带属性识别结果进行道路隔离带属性信息匹配得到的,从而提高了得到目标图像序列的准确性,该目标图像序列中包括位置和属性信息匹配的道路隔离带,进而提高了道路隔离带识别的准确性。然后使用目标图像序列对历史地图数据中对应的道路隔离带图像数据进行更新,得到更新地图数据,从而提高了更新地图数据的准确性。
附图说明
图1为一个实施例中图像处理方法的应用环境图;
图2为一个实施例中图像处理方法的流程示意图;
图3为一个实施例中得到待确定图像序列的流程示意图;
图4为一个实施例中得到分割分类识别结果的流程示意图;
图5为另一个实施例中得到分割分类识别结果的流程示意图;
图6为一个具体实施例中道路隔离带分割分类模型的整体网络架构示意图;
图7为图6具体实施例中编码网络的网络架构示意图;
图8为图6具体实施例中解码网络的网络架构示意图;
图9为一个具体实施例中道路隔离带的可视化示意图;
图10为一个实施例中得到候选图像序列的流程示意图;
图11为一个实施例中得到目标图像序列的流程示意图;
图12为一个具体实施例中进行图像处理的流程示意图;
图13为一个具体实施例中道路隔离带的起始图像和终止图像的示意图;
图14为一个实施例中地图数据更新方法的流程示意图;
图15为一个具体实施例中图像处理方法的流程示意图;
图16为一个具体实施例中得到道路隔离带数据的流程示意图;
图17为一个具体实施例中目标图像序列中道路隔离带的可视化示意图;
图18为一个实施例中图像处理装置的结构框图;
图19为一个实施例中地图数据更新装置的结构框图;
图20为一个实施例中计算机设备的内部结构图;
图21为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能的图像处理、智慧交通等技术,具体通过如下实施例进行说明:
本申请实施例中提供的图像处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。服务器104接收到终端102发送的图像处理指令,根据该图像处理指令从数据存储系统中获取道路图像序列;服务器104对道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果;服务器104基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的待确定图像序列;服务器104基于待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于各个道路隔离带位置特征从各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列;服务器104从待处理图像对应的道路隔离带属性识别结果中确定候选图像序列中各个候选图像对应的道路隔离带属性信息;服务器104基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列,目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能电视、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种图像处理方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,包括以下步骤:
步骤202,获取道路图像序列。
其中,道路图像序列包括各个待处理图像,该各个待处理图像是按照道路方向排序的图像,该待处理图像中包括有道路。该待处理图像是需要对道路中的道路隔离带进行识别的图像。
具体地,服务器可以从数据库中获取到道路图像序列。服务器也可以获取到终端上传的道路图像序列。服务器还可以从业务服务器中获取到道路图像序列,业务服务器可以是提供地图相关的业务。服务器也可以是从互联网中获取到道路图像序列。在一个具体的实施例中,采集车辆可以沿着道路方向前进同时采集道路图像,将采集得到的道路图像按照先后顺序发送到服务器,服务器接收到所有采集的道路图像,按照先后顺序得到道路图像序列。
步骤204,对道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果。
其中,道路隔离带分割分类识别是指对待处理图像中存在的道路隔离带进行分割同时进行属性信息分类识别。道路隔离带分割结果是指对待处理图像中存在的道路隔离带进行分割的结果,包括存在道路隔离带区域的待处理图像和未存在道路隔离带区域的待处理图像。道路隔离带属性识别结果是指对待处理图像存在的道路隔离带进行属性识别的结果,用于表征道路隔离带的属性信息。
具体地,服务器对道路图像序列中每个待处理图像进行道路隔离带分割分类识别,得到每个待处理图像对应的道路隔离带分割结果和每个待处理图像对应的道路隔离带属性识别结果。其中,可以通过预先训练好的神经网络模型来进行道路隔离带分割分类识别,得到输出的待处理图像对应的道路隔离带分割结果和道路隔离带属性识别结果。在一个实施例中,可以先对待处理图像进行道路隔离带分割,得到存在道路隔离带区域的待处理图像,然后使用存在道路隔离带区域的待处理图像对道路隔离带进行属性信息分类识别,得到道路隔离带属性识别结果。
步骤206,基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的待确定图像序列。
其中,待确定图像序列中包括各个待确定图像,待确定图像中包含道路隔离带区域。在一个实施例中,待确定图像中也可以包括至少两个不同的道路隔离带区域。
具体地,服务器按照道路隔离带分割结果从各个待处理图像中筛选出包含道路隔离带区域的待处理图像,得到各个待确定图像,并按照道路图像序列对各个待确定图像进行排序,得到待确定图像序列。
步骤208,基于待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于各个道路隔离带位置特征从各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列。
其中,道路隔离带位置特征用于表征道路隔离带区域在待确定图像中的位置。候选图像序列中包括各个候选图像,各个候选图像是道路隔离带位置匹配的待确定图像,即各个候选图像具有位置匹配的道路隔离带。
具体地,服务器对待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个待确定图像中道路隔离带区域对应的道路隔离带位置特征。然后使用各个待确定图像中道路隔离带区域对应的道路隔离带位置特征进行两两匹配,根据所有道路隔离带位置特征的匹配结果从待确定图像中筛选道路隔离带位置匹配的所有待确定图像,得到各个候选图像,然后按照道路图像序列的顺序得到候选图像序列。
步骤210,从待处理图像对应的道路隔离带属性识别结果中确定候选图像序列中各个候选图像对应的道路隔离带属性信息。
其中,道路隔离带属性信息用于表征道路隔离带的属性,道路隔离带可以有不同类型的属性,比如道路隔离带的属性至少包括道路隔离带方向属性、道路隔离带材质属性等等。道路隔离带方向属性用于表征道路隔离带相对于道路所在的位置,可以包括左、右、横向、非当前道路等等,道路隔离带材质属性用于表征道路隔离带的材质,包括护栏、绿化带、隔离桩、台阶路等等。
具体地,服务器根据待处理图像对应的道路隔离带属性识别结果来获取到候选图像序列中各个候选图像对应的道路隔离带属性信息。
步骤212,基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列,目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带。
其中,目标图像序列中的各个目标图像中包括位置和属性信息匹配的道路隔离带。不同目标图像中位置和属性信息匹配的道路隔离带是同一个道路隔离带。
具体地,服务器使用各个候选图像对应的道路隔离带属性信息进行道路隔离带属性匹配,并从各个候选图像中选取道路隔离带属性匹配的所有候选图像,得到目标图像序列。即服务器从道路图像序列中筛选出具有同一个道路隔离带的图像。
上述图像处理方法,通过对待处理图像进行分割分类识别,得到道路隔离带分割结果和道路隔离带属性识别结果,然后根据道路隔离带分割结果进行道路隔离带位置匹配,再根据道路隔离带属性识别结果进行道路隔离带属性信息匹配,从而得到目标图像序列,提高了得到目标图像序列的准确性,该目标图像序列中包括位置和属性信息匹配的道路隔离带,进而提高了道路隔离带识别的准确性。
在一个实施例中,步骤206,基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的待确定图像序列,包括步骤:
基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的初始图像序列;获取初始图像序列各个初始图像对应的经纬度信息,基于各个初始图像对应的经纬度信息从各个初始图像中筛选经纬度信息匹配的初始图像,得到待确定图像序列。
其中,初始图像序列包括各个初始图像,每个初始图像中都存在道路隔离带区域。经纬度信息是指初始图像在拍摄时的GPS(Global Positioning System,全球定位系统)坐标,包括经度坐标和纬度坐标。不同的图像在拍摄时具有不同的地理位置。
具体地,服务器可以先使用经纬度信息对包含道路隔离带区域的初始图像序列进行筛选,筛选出经纬度信息匹配的所有初始图像,得到待确定图像序列。即服务器可以从每个初始图像的属性信息中获取到每个初始图像对应的经纬度信息,初始图像的属性信息中记载了该初始图像在拍摄时的经纬度信息。然后使用每个初始图像对应的经纬度信息进行两两匹配,从匹配结果中选取经纬度信息匹配的所有初始图像,并按照道路图像序列中的顺序进行排列,得到待确定图像序列。
在上述实施例中,通过先使用经纬度信息对各个初始图像进行筛选,得到筛选后的图像,即待确定图像序列,然后使用待确定图像序列进行后续的处理,避免所有的待处理图像都进行后续的处理,减少了后续处理的计算量,提高了效率。
在一个实施例中,如图3所示,基于各个初始图像对应的经纬度信息从各个初始图像中筛选经纬度信息匹配的初始图像,得到待确定图像序列,包括:
步骤302,从各个初始图像中确定当前初始图像和当前初始图像对应的相邻初始图像。
步骤304,基于当前初始图像对应的经纬度信息和相邻初始图像对应的经纬度信息进行图像实际距离计算,得到当前图像实际距离。
其中,当前初始图像是指当前需要经纬度信息匹配的初始图像。相邻初始图像是指与当前初始图像相邻的初始图像。比如,当前初始图像是初始图像序列中的第一个,则相邻初始图像可以是初始图像序列中的第二个。当前图像实际距离是指当前初始图像与相邻初始图像在拍摄时的实际地理位置距离。
具体地,服务器从各个初始图像中确定当前初始图像和当前初始图像对应的相邻初始图像。计算当前初始图像对应的经纬度信息与相邻初始图像对应的经纬度信息之间的距离,得到当前图像实际距离。
在一个具体的实施例中,可以使用如下所示的公式来计算当前图像实际距离。
Figure 479795DEST_PATH_IMAGE002
也可以使用如下所示的公式来计算当前图像实际距离。
Figure 654424DEST_PATH_IMAGE004
其中,Lon表示经度,Lat表示纬度。
步骤306,当当前图像实际距离小于预设实际距离阈值时,得到当前初始图像对应的经纬度信息与相邻初始图像对应的经纬度信息匹配。
其中,预设实际距离阈值是指预先设置好的经纬度信息匹配的实际距离阈值,用于约束道路隔离带的地理连续性。
具体地,服务器将当前图像实际距离与预设实际距离阈值进行比较,当当前图像实际距离小于预设实际距离阈值时,得到当前初始图像对应的经纬度信息与相邻初始图像对应的经纬度信息匹配。当当前图像实际距离未小于预设实际距离阈值时,得到当前初始图像对应的经纬度信息与相邻初始图像对应的经纬度信息未匹配。
步骤308,遍历各个初始图像,得到各个初始图像对应的经纬度信息匹配结果。
其中,经纬度信息匹配结果包括经纬度信息匹配和经纬度信息未匹配。经纬度信息匹配是指初始图像与相邻的初始图像之间的经纬度信息匹配,用于表征初始图像与相邻的初始图像在匹配的经纬度中,即在同一个道路中。
具体地,服务器依次计算各个初始图像中相邻的两个初始图像的实际距离,然后与预设时间距离阈值进行比较,得到所有初始图像对应的经纬度信息匹配结果。
步骤310,基于各个初始图像对应的经纬度信息匹配结果选取经纬度信息匹配的初始图像,得到待确定图像序列。
具体地,服务器根据各个初始图像对应的经纬度信息匹配结果中选取经纬度信息匹配的初始图像,得到待确定图像序列,其中,待确定图像训练中所有的待确定图像对应的经纬度信息匹配。
在上述实施例中,通过获取到初始图像对应的经纬度信息,然后使用经纬度信息来筛选得到经纬度信息匹配的初始图像,得到待确定图像序列,然后使用待确定图像序列进行后续从处理,可以简化计算,提高后续处理的效率。
在一个实施例中,在步骤212之后,在基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列之后,还包括步骤:
从目标图像序列中各个目标图像对应的经纬度信息中确定起始经纬度信息和终止经纬度信息;基于起始经纬度信息和终止经纬度信息确定目标图像序列对应的道路隔离带的起终点信息。
其中,起始经纬度信息是指目标图像序列中排序第一的目标图像对应的经纬度信息。终止经纬度信息是指目标图像序列中排序最后的目标图像对应的经纬度信息。起终点信息用于表征道路隔离带的起点和终点,包括起点对应的起始经纬度信息和终点对应的终止经纬度信息。该起终点信息可以是该完整道路隔离带的起终点信息,也可以是部分道路隔离带的起终点信息。
具体地,服务器获取到目标图像训练中排序第一的目标图像对应的经纬度信息和排序最后的目标图像对应的经纬度信息,得到起始经纬度信息和终止经纬度信息,然后将起始经纬度信息作为目标图像序列对应的道路隔离带的起点,并将终止经纬度信息作为目标图像序列对应的道路隔离带的终点,得到标图像序列对应的道路隔离带的起终点信息。
在一个实施例中,如图4所示,步骤204,对道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果,包括步骤:
步骤402,从道路图像序列中选取当前待处理图像。
步骤404,将当前待处理图像输入到道路隔离带分割分类模型中进行道路隔离带像素级分割分类识别,得到当前待处理图像中各个像素点对应的道路隔离带分割结果和各个像素点对应的道路隔离带属性识别结果。
其中,当前待处理图像是指当前需要进行分割分类识别的待处理图像,道路隔离带分割分类模型是指预先使用训练图像数据进行像素级分割分类训练得到的神经网络模型。像素级分割分类识别是指识别图像中每个像素点对应的道路隔离带分割结果和道路隔离带属性识别结果。道路隔离带分割结果包括像素点为非道路隔离带类别和像素点为道路隔离带类别。道路隔离带属性识别结是指像素点为道路隔离带类别时对应的属性类别,该属性类别包括方向属性类别和材质属性类别。该方向属性类别可以是左类别、右类别、横向类别、非当前道路类别等等。该材质属性类别可以是护栏类别、绿化带类别、隔离桩类别、台阶路类别等等。
具体地,服务器将当前待处理图像作为道路隔离带分割分类模型的输入,道路隔离带分割分类模型对输入的当前待处理图像进行道路隔离带像素级分割分类识别,输出三个不同的结果,即当前待处理图像每个像素点对应的道路隔离带分割结果、方向属性类型识别结果和材质属性识别结果。
步骤406,基于各个像素点对应的道路隔离带分割结果和各个像素点对应的道路隔离带属性识别结果得到当前待处理图像对应的道路隔离带分割结果和当前待处理图像对应的道路隔离带属性识别结果。
具体地,服务器根据当前待处理图像每个像素点对应的道路隔离带分割结果来确定待处理图像对应的道路隔离带分割结果,根据待处理图像每个像素点对应的方向属性类型识别结果和材质属性识别结果来确定当前待处理图像对应的道路隔离带属性识别结果。
步骤408,遍历道路图像序列中各个待处理图像,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果。
具体地,服务器依次将道路图像序列中的每个待处理图像都作为当前待处理图像,输入到道路隔离带分割分类模型中进行道路隔离带像素级分割分类识别,进而得到每个待处理图像对应的道路隔离带分割结果和每个待处理图像对应的道路隔离带属性识别结果。
在一个实施例中,道路隔离带分割分类模型包括编码网络和解码网络;
如图5所示,步骤404,将当前待处理图像输入到道路隔离带分割分类模型中进行道路隔离带像素级分割分类识别,得到当前待处理图像中各个像素点对应的道路隔离带分割结果和各个像素点对应的道路隔离带属性识别结果,包括:
步骤502,将当前待处理图像输入到编码网络中进行多尺度特征提取,得到各个不同尺度的图像特征。
其中,编码网络是用于进行不同尺度的图像特征提取的神经网络。
具体地,服务器将当前待处理图像输入到道路隔离带分割分类模型中,道路隔离带分割分类模型将当前带出图像输入到编码网络中进行多尺度特征提取,得到各个不同尺度的图像特征。
步骤504,将各个不同尺度的图像特征输入到解码网络中进行道路隔离带像素级分割分类识别,得到当前待处理图像中各个像素点对应的道路隔离带分割结果和各个像素点对应的道路隔离带属性识别结果。
其中,解码网络是用于进行道路隔离带像素级分割分类识别的神经网络。
具体地,服务器将编码网络输出的各个不同尺度的图像特征输入到解码网络中进行道路隔离带像素级分割分类识别,解码网络输出当前待处理图像中各个像素点对应的道路隔离带分割结果和各个像素点对应的道路隔离带属性识别结果。
在一个具体的实施例中,如图6所示,为道路隔离带分割分类模型的整体网络架构示意图,包括解码网络和编码网络,其中,服务器待处理图像作为输入,编码网络对输入的待处理图像进行特征提取,然后将提取得到的图像特征输入到解码网络中,解码网络进行道路隔离带像素级分割分类识别,输出道路隔离带像素级分割分类识别的结果。其中,编码网络可以是使用HRNet(High-Resolution Net,高分辨率网络)网络,如图7所示,为编码网络的网络架构示意图,通过该编码网络输出不同尺度的图像特征。解码网络可以是使用deeplab v3+(语义分割网络)网络的分割头,如图8所示,为解码网络的网络架构示意图,通过该编码网络输出像素级级别的分类结果,其中,输入图像大小可选为768x384尺寸,输出维度为m+p,m-1为材质属性的类别数,p-1为方向属性的类别数,多出的一维为背景类别。在训练该道路隔离带分割分类模型时,设置初始学习率为2e^(-3),学习率变化方式为multistep(学习率衰减策略),动量设为0.9,并以有动量的随机梯度下降方法进行模型的迭代训练。
在上述实施例中,通过使用道路隔离带分割分类模型进行道路隔离带像素级分割分类识别,提高了得到各个待处理图像对应的道路隔离带分割结果道路隔离带属性识别结果的准确性和效果。
在一个实施例中,图像处理方法还包括步骤:
基于各个像素点对应的道路隔离带分割结果和各个像素点对应的道路隔离带属性识别结果进行道路隔离带聚类识别,得到当前待处理图像对应的至少两个道路隔离带区域。
具体地,服务器可以确定道路隔离带的实例化结果。即将每个像素点对应的道路隔离带分割结果和道路隔离带属性识别结果作为各个像素点对应的聚类特征,基于该聚类特征使用聚类算法将各个像素点进行聚类,即找到相同类型的各个像素点,并将相同类型的各个像素点作为同一道路隔离带区域,从而确定当前待处理图像中不同的道路隔离带区域。其中,聚类算法可以使用基于密度的聚类算法,比如dbscan(Density-Based SpatialClustering of Applications with Noise,具有噪声的基于密度的聚类方法)聚类算法等等。
在一个具体的实施例中,如图9所示,为使用道路隔离带分割分类模型识别待处理图像得到的识别结果进行聚类识别后得到的道路隔离带可视化示意图,其中,该待处理图像中包括三个道路隔离带区域,包括非当前道路的绿化带、左边的护栏和的右边的绿化带。
在一个实施例中,可以将道路隔离带聚类识别整合到道路隔离带像素级分割分类识别中,即使用一个深度神经网络来实现道路隔离带像素级分割分类识别后进行聚类识别,得到待处理图像对应的不同道路隔离带区域。
在上述实施例中,通过在得到各个像素点对应的道路隔离带分割结果和道路隔离带属性识别结果之后进行道路隔离带聚类识别,得到当前待处理图像对应的至少两个道路隔离带区域,提高了得到的道路隔离带的准确性。
在一个实施例中,如图10所示,步骤208,基于待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于各个道路隔离带位置特征从各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列,包括:
步骤1002,从各个待确定图像中确定当前待确定图像和当前待确定图像对应的相邻待确定图像;
步骤1004,计算当前待确定图像中当前道路隔离带区域对应的当前内心位置,并计算相邻待确定图像中相邻道路隔离带区域对应的相邻内心位置。
其中,当前待确定图像是指当前需要进行道路隔离带区域位置匹配的待确定图像,相邻待确定图像是指与当前待确定图像相邻的待确定图像。当前内心位置是指当前待确定图像中当前道路隔离带区域对应的内心坐标。相邻内心位置是指相邻待确定图像中相邻道路隔离带区域对应的内心坐标。
具体地,服务器从各个待确定图像选取到当前待确定图像和对应的相邻待确定图像,然后计算当前待确定图像中当前道路隔离带区域对应的内心坐标,得到当前内心位置,并计算相邻待确定图像中相邻道路隔离带区域对应的内心坐标,得到相邻内心位置。
步骤1006,计算当前内心位置与相邻内心位置的图像距离,当图像距离小于预设图像距离阈值时,得到当前待确定图像中当前道路隔离带区域的位置与相邻待确定图像中相邻道路隔离带区域的位置匹配。
其中,图像距离用于表征相邻的两个待确定图像中道路隔离带区域的位置远近。预设图像距离阈值是预先设置好的图像距离的阈值。
具体地,服务器使用两点间距离计算公式来计算当前内心位置与相邻内心位置之间的距离,得到图像距离,该图像距离用于表征当前道路隔离带区域与相邻道路隔离带区域的位置远近。当图像距离小于预设图像距离阈值时,说明当前道路隔离带区域与相邻道路隔离带区域中的道路隔离带是位置匹配的道路隔离带,即得到当前道路隔离带区域的位置与相邻道路隔离带区域的位置匹配。即服务器可以计算视频中相邻帧的不同道路隔离带区域的位置远近,根据该位置远近来确定不同道路隔离带区域的位置是否匹配,当位置较近时,比如图像距离小于预设图像距离阈值时,得到相邻帧的不同道路隔离带区域的位置匹配。
步骤1008,遍历各个待确定图像,得到各个待确定图像中道路隔离带区域对应的位置匹配结果。
具体地,服务器对所有的待确定图像进行两两计算,得到每个待确定图像与相邻的待确定图像中道路隔离带区域对应的位置匹配结果,该位置匹配结果包括位置匹配和位置不匹配。
步骤1010,基于各个待确定图像中道路隔离带区域对应的位置匹配结果选取位置匹配的待确定图像,得到候选图像序列。
具体地,服务器根据各个待确定图像中道路隔离带区域对应的位置匹配结果从各个待确定图像中筛选出位置匹配的所有待确定图像,并按照道路图像序列的顺序排序,得到候选图像序列。即候选图像序列中所有候选图像中道路隔离带区域对应的位置相互之间都能够匹配。
在一个实施例中,步骤1004,计算当前待确定图像中当前道路隔离带区域对应的当前内心位置,并计算相邻待确定图像中相邻道路隔离带区域对应的相邻内心位置,包括步骤:
计算当前道路隔离带区域对应的当前最小外接矩形,并计算当前最小外接矩形中对角线的交点坐标,得到当前内心位置;计算相邻道路隔离带区域对应的相邻最小外接矩形,并计算相邻最小外接矩形中对角线的交点坐标,得到相邻内心位置。
具体地,服务器将当前道路隔离带区域作为多边形,然后计算该多边形的最小外接矩形,得到当前最小外接矩形,然后计算该当前最小外接矩形中对角线的交点坐标,将计算得到的交点坐标作为当前内心位置。同时对相邻道路隔离带区域做同样的计算,即将相邻道路隔离带区域作为多边形,然后计算该多边形的最小外接矩形,得到相邻最小外接矩形,再计算该相邻最小外接矩形中对角线的交点坐标,将计算得到的交点坐标作为相邻内心位置。
在上述实施例中,通过计算待确定图像中道路隔离带区域对应的内心位置,然后计算内心位置之间的图像距离,根据图像距离来确定道路隔离带区域的位置是否匹配,当图像距离小于预设图像距离阈值时,得到道路隔离带区域的位置匹配,从而提高了位置匹配的准确性,提高了得到的候选图像序列的准确性。
在一个实施例中,如图11所示,步骤212,基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列,包括:
步骤1102,从各个候选图像中确定当前候选图像和当前候选图像对应的相邻候选图像;
步骤1104,将当前候选图像对应的当前道路隔离带属性信息与相邻候选图像对应的相邻道路隔离带属性信息进行匹配,当当前道路隔离带属性信息与相邻道路隔离带属性信息匹配成功时,得到当前道路隔离带属性信息与相邻道路隔离带属性信息匹配。
其中,当前候选图像是指当前需要进行道路隔离带属性信息匹配的候选图像,相邻候选图像是指与当前候选图像相邻的候选图像。
具体地,服务器从各个候选图像中依次选取当前候选图像和对应的相邻候选图像,然后将当前候选图像对应的当前道路隔离带属性信息与相邻候选图像对应的相邻道路隔离带属性信息进行匹配,即判断当前道路隔离带属性信息与相邻道路隔离带属性信息是否相同,当当前道路隔离带属性信息与相邻道路隔离带属性信息相同时,说明当前道路隔离带属性信息与相邻道路隔离带属性信息匹配成功,此时得到当前道路隔离带属性信息与相邻道路隔离带属性信息匹配的道路隔离带属性信息匹配结果。当当前道路隔离带属性信息与相邻道路隔离带属性信息不相同时,说明前道路隔离带属性信息与相邻道路隔离带属性信息匹配识别,此时,得到当前道路隔离带属性信息与相邻道路隔离带属性信息未匹配的道路隔离带属性信息匹配结果。
步骤1106,遍历各个候选图像,得到各个候选图像对应的道路隔离带属性信息匹配结果;
步骤1108 ,基于各个候选图像对应的道路隔离带属性信息匹配结果选取道路隔离带属性信息匹配的候选图像,得到目标图像序列。
具体地,服务器依次将每个候选图像的道路隔离带属性信息与相邻候选图像的道路隔离带属性信息进行匹配,得到每个候选图像对应的道路隔离带属性信息匹配结果。然后服务器从所有候选图像中筛选出道路隔离带属性信息相同的各个候选图像,得到目标图像序列。
在一个实施例中,道路隔离带属性信息包括材质信息和方向信息;
步骤1104,将当前候选图像对应的当前道路隔离带属性信息与相邻候选图像对应的相邻道路隔离带属性信息进行匹配,当当前道路隔离带属性信息与相邻道路隔离带属性信息匹配成功时,得到当前道路隔离带属性信息与相邻道路隔离带属性信息匹配,包括步骤:
将当前道路隔离带属性信息中的当前材质信息与相邻道路隔离带属性信息中的相邻材质信息进行匹配,并将当前道路隔离带属性信息中的当前方向信息与相邻道路隔离带属性信息中的相邻方向信息进行匹配;
当当前材质信息与相邻材质信息相同且当前方向信息与相邻方向信息相同时,得到当前道路隔离带属性信息与相邻道路隔离带属性信息匹配。
具体地,当道路隔离带属性信息中包括材质信息和方向信息时,需要将材质信息和方向信息都进行匹配,将当前道路隔离带属性信息中的当前材质信息与相邻道路隔离带属性信息中的相邻材质信息进行匹配,并将当前道路隔离带属性信息中的当前方向信息与相邻道路隔离带属性信息中的相邻方向信息进行匹配,并当当前材质信息与相邻材质信息相同且当前方向信息与相邻方向信息相同时,得到当前道路隔离带属性信息与相邻道路隔离带属性信息匹配的道路隔离带属性信息匹配结果。当当前材质信息与相邻材质信息相同,而当前方向信息与相邻方向信息不相同,或者当前材质信息与相邻材质信息不相同,而当前方向信息与相邻方向信息相同,或者当前材质信息与相邻材质信息不相同并且前方向信息与相邻方向信息不相同时,说明当前道路隔离带属性信息与相邻道路隔离带属性信息匹配失败,得到当前道路隔离带属性信息与相邻道路隔离带属性信息未匹配的道路隔离带属性信息匹配结果。
在上述实施例中,通过判断道路隔离带属性信息是否相同来确定路隔离带属性信息的匹配结果,并且在当前材质信息与相邻材质信息相同且当前方向信息与相邻方向信息相同时,才得到当前道路隔离带属性信息与相邻道路隔离带属性信息匹配的匹配结果,从而提高了得到道路隔离带属性信息匹配结果的准确性。
在一个具体的实施例中,如图12所示,提供一种图像处理的示意图,具体来说:获取到道路图像序列,通过道路隔离带分割分类模型对道路图像序列中的各个待处理图像进行道路隔离带像素级分割分类识别,得到道路隔离带的识别结果,包括道路隔离带分割结果和道路隔离带属性识别结果。然后根据道路隔离带分割结果获取到具有道路隔离带区域的各个图像,然后对具有道路隔离带区域的各个图像进行判定,包括位置判定、属性判定和距离判定,当位置判定结果为道路隔离带位置匹配,并且属性判定结果为道路隔离带属性相同,并且距离判定结果为道路隔离带距离匹配时,得到相同道路隔离带对应的各个图像,生成该道路隔离带对应的组号,将相同组号对应的各个图像按照序列整合,获取到起始图像和终止图像对应的经纬度信息,得到道路隔离带的起终点信息。如图13所示,为同一个道路隔离带的起始图像和终止图像的示意图。其中,起始图像A和终止图像B中具有左侧同一个道路隔离带。
在一个实施例中,在步骤212之后,即在基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列之后,包括步骤:
生成目标图像序列中道路隔离带对应的道路隔离带标识,将道路隔离带标识与目标图像序列关联保存。
具体地,道路隔离带标识用于唯一标识对应的道路隔离带,该道路隔离带用于分隔上下行车流或者同向车流的物理隔断结构,形态多为护栏和绿化带。不同的道路隔离带有不同的道路隔离带标识,目标图像训练可以关联不同的道路隔离带标识,即目标图像序列的目标图像中可以包括多个相同道路隔离带。服务器生成目标图像序列中同一道路隔离带对应的道路隔离带标识,将该道路隔离带标识与目标图像序列关联保存,即将道路隔离带标识与目标图像序列中的目标图像进行关联,表明目标图像中都包含有道路隔离带标识对应的道路隔离带。在一个实施例中,目标图像序列的各个目标图像中也可以包括有至少两个同一道路隔离带,比如,目标图像序列的各个目标图像都包括有同一个道路两侧的道路隔离带。然后对每个道路隔离带都生成对应的道路隔离带标识,方便后续的使用和查看。
在一个实施例中,步骤202,获取道路图像序列,包括步骤:
采集道路视频,并获取道路视频对应的经纬度信息和道路视频对应的采集速度信息;基于道路视频对应的经纬度信息和道路视频对应的采集速度信息进行等间距降采样,得到道路图像序列。
其中,道路视频是通过拍摄装置拍摄道路得到的视频。比如,可以通过采集车采集得到道路视频。
具体地,服务器获取到采集到的道路视频,并获取到道路视频中每帧图像对应的经纬度信息和道路视频对应的采集速度信息。然后使用经纬度信息和采集速度信息来计算实际距离,根据实际距离进行等间距降采样,得到各个采样的图像,即得到道路图像序列。通过对道路视频进行等间距降采样,缩小道路隔离带分割的候选,降低信息的冗余度,提高后续的运算速度,使得提高了得到道路图像序列的效率。
在一个实施例中,如图14所示,提供了一种地图数据更新方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,包括以下步骤:
步骤1402,获取历史地图数据,并获取目标图像序列,目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带;其中,通过获取道路图像序列,对道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果,基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的待确定图像序列,基于待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于各个道路隔离带位置特征从各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列,从待处理图像对应的道路隔离带属性识别结果中确定候选图像序列中各个候选图像对应的道路隔离带属性信息,基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列。
其中,历史地图数据是指历史的地图数据,是未更新的地图数据,地图数据可以用于进行车辆导航等。目标图像序列可以是使用上述图像处理方法中任意一实施例得到的。
具体地,服务器获取历史地图数据,并从数据库中获取到已得到的目标图像序列,服务器也可以在获取到历史地图数据后,获取到采集的道路图像序列,对道路图像序列使用上述图像处理方法中任意一个实施例进行处理,得到目标图像序列。
步骤1404,基于目标图像序列对历史地图数据中对应的道路隔离带图像数据进行更新,得到更新地图数据。
具体地,服务器使用目标图像序列中的道路隔离带信息对历史地图数据中对应的道路隔离带信息进行更新,比如,更新道路隔离带在地图数据中的位置,属性信息、材质信息、方向信息、起终点信息等等。得到更新后的地图数据。然后服务器可以将更新后的地图数据应用于导航等业务服务中。
上述地图数据更新方法,通过获取历史地图数据和目标图像序列,由于目标图像序列是通过对待处理图像进行分割分类识别,得到道路隔离带分割结果和道路隔离带属性识别结果,然后根据道路隔离带分割结果进行道路隔离带位置匹配,再根据道路隔离带属性识别结果进行道路隔离带属性信息匹配得到的,从而提高了得到目标图像序列的准确性,该目标图像序列中包括位置和属性信息匹配的道路隔离带,进而提高了道路隔离带识别的准确性。然后使用目标图像序列对历史地图数据中对应的道路隔离带图像数据进行更新,得到更新地图数据,从而提高了更新地图数据的准确性。
在一个具体的实施例中,如图15所示,提供一种图像处理方法,具体包括以下步骤:
步骤1502,获取道路视频对应的经纬度信息和道路视频对应的采集速度信息;基于道路视频对应的经纬度信息和道路视频对应的采集速度信息进行等间距降采样,得到道路图像序列。
步骤1504,将道路图像序列中各个待处理图像分别输入到道路隔离带分割分类模型中进行道路隔离带像素级分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果。
步骤1506,基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的初始图像序列,获取初始图像序列各个初始图像对应的经纬度信息,从各个初始图像中确定当前初始图像和当前初始图像对应的相邻初始图像;基于当前初始图像对应的经纬度信息和相邻初始图像对应的经纬度信息进行图像实际距离计算,得到当前图像实际距离。
步骤1508,当当前图像实际距离小于预设实际距离阈值时,得到当前初始图像对应的经纬度信息与相邻初始图像对应的经纬度信息匹配;遍历各个初始图像,得到各个初始图像对应的经纬度信息匹配结果;基于各个初始图像对应的经纬度信息匹配结果选取经纬度信息匹配的初始图像,得到待确定图像序列。
步骤1510,从各个待确定图像中确定当前待确定图像和当前待确定图像对应的相邻待确定图像;计算当前待确定图像中当前道路隔离带区域对应的当前内心位置,并计算相邻待确定图像中相邻道路隔离带区域对应的相邻内心位置,计算当前内心位置与相邻内心位置的图像距离。
步骤1512,当图像距离小于预设图像距离阈值时,得到当前待确定图像中当前道路隔离带区域的位置与相邻待确定图像中相邻道路隔离带区域的位置匹配;遍历各个待确定图像,得到各个待确定图像中道路隔离带区域对应的位置匹配结果;基于各个待确定图像中道路隔离带区域对应的位置匹配结果选取位置匹配的待确定图像,得到候选图像序列。
步骤1514,从待处理图像对应的道路隔离带属性识别结果中确定候选图像序列中各个候选图像对应的道路隔离带属性信息;
步骤1516,从各个候选图像中确定当前候选图像和当前候选图像对应的相邻候选图像;将当前道路隔离带属性信息中的当前材质信息与相邻道路隔离带属性信息中的相邻材质信息进行匹配,并将当前道路隔离带属性信息中的当前方向信息与相邻道路隔离带属性信息中的相邻方向信息进行匹配。
步骤1518,当当前材质信息与相邻材质信息相同且当前方向信息与相邻方向信息相同时,得到当前道路隔离带属性信息与相邻道路隔离带属性信息匹配;遍历各个候选图像,得到各个候选图像对应的道路隔离带属性信息匹配结果;基于各个候选图像对应的道路隔离带属性信息匹配结果选取道路隔离带属性信息匹配的候选图像,得到目标图像序列。
步骤1520,生成目标图像序列中道路隔离带对应的道路隔离带标识,将道路隔离带标识与目标图像序列关联保存,从目标图像序列中各个目标图像对应的经纬度信息中确定起始经纬度信息和终止经纬度信息;基于起始经纬度信息和终止经纬度信息确定目标图像序列对应的道路隔离带的起终点信息。
本申请还提供一种应用场景,该应用场景应用上述的图像处理方法。具体地,
在导航应用程序中,当需要对导航地图数据进行更新时,可以先对道路隔离带数据进行更新。如图16所示,为得到道路隔离带数据的流程示意图,其中,
通过采集车采集到道路视频或者道路图像。然后对采集的道路视频或者道路图像再进一步进行降采样,得到需要进行处理的道路图像序列,通过降采样减少处理量,提高处理效果。然后将道路图像序列发送服务器,服务器将道路图像序列中的各个待处理图像使用道路隔离带分割分类模型中进行道路隔离带像素级分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果。然后使用各个待处理图像对应的道路隔离带分割结果作为聚类特征并使用dbscan聚类算法可以获得道路隔离带的实例化结果。然后再使用各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果通过聚合算法来得到目标图像训练,其中聚合算法是指通过道路隔离带位置判定、道路隔离带属性判定和道路隔离带距离判定来获取到道路隔离带在不同图像中的对应关系,从道路图像训练中获取到道路隔离带位置、道路隔离带属性和道路隔离带距离均匹配的图像,得到目标图像序列,并生成该道路隔离带的标识并与对应的目标图像序列关联,并获取到目标图像序列中起始图像和终止图像对应的GPS坐标串信息,得到道路隔离带的起终点信息。如图17所示,为目标图像序列中道路隔离带的可视化示意图。其中,从左侧的采集路线中采集,得到道路图像序列进行图像处理,得到包含同一道路隔离带的各个目标图像,即右侧展示框内所包括的各个图像。并且在左侧采集路线中显示出道路隔离带的起终点。
然后使用目标图像序列中道路隔离带信息,比如经纬度信息、属性信息和起终点信息对导航应用程序使用的历史地图数据中对应的历史道路隔离带信息进行更新,得到更新地图数据,在将更新地图数据提供给导航应用程序进行使用。则用户在使用导航应用程序,在终端中查看道路数据时,显示目标图像序列和对应的道路隔离带信息。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置以及地图数据更新方法的地图数据更新装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像处理装置实施例和地图数据更新装置中的具体限定可以参见上文中对于图像处理方法和地图数据更新方法的限定,在此不再赘述。
在一个实施例中,如图18所示,提供了一种图像处理装置1800,包括:获取模块1802、分割分类模块1804、序列确定模块1806、位置匹配模块1808、信息确定模块1810和属性匹配模块1812,其中:
获取模块1802,用于获取道路图像序列;
分割分类模块1804,用于对道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果;
序列确定模块1806,用于基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的待确定图像序列;
位置匹配模块1808,用于基于待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于各个道路隔离带位置特征从各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列;
信息确定模块1810,用于从待处理图像对应的道路隔离带属性识别结果中确定候选图像序列中各个候选图像对应的道路隔离带属性信息;
属性匹配模块1812,用于基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列,目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带。
在一个实施例中,序列确定模块1806,包括:
经纬度匹配单元,用于基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的初始图像序列;获取初始图像序列各个初始图像对应的经纬度信息,基于各个初始图像对应的经纬度信息从各个初始图像中筛选经纬度信息匹配的初始图像,得到待确定图像序列。
在一个实施例中,经纬度匹配模块,还用于从各个初始图像中确定当前初始图像和当前初始图像对应的相邻初始图像;基于当前初始图像对应的经纬度信息和相邻初始图像对应的经纬度信息进行图像实际距离计算,得到当前图像实际距离;当当前图像实际距离小于预设实际距离阈值时,得到当前初始图像对应的经纬度信息与相邻初始图像对应的经纬度信息匹配;遍历各个初始图像,得到各个初始图像对应的经纬度信息匹配结果;基于各个初始图像对应的经纬度信息匹配结果选取经纬度信息匹配的初始图像,得到待确定图像序列。
在一个实施例中,图像处理装置1800,还包括:
起终点确定模块,用于从目标图像序列中各个目标图像对应的经纬度信息中确定起始经纬度信息和终止经纬度信息;基于起始经纬度信息和终止经纬度信息确定目标图像序列对应的道路隔离带的起终点信息。
在一个实施例中,分割分类模块1804,包括:
模型处理单元,用于从道路图像序列中选取当前待处理图像;将当前待处理图像输入到道路隔离带分割分类模型中进行道路隔离带像素级分割分类识别,得到当前待处理图像中各个像素点对应的道路隔离带分割结果和各个像素点对应的道路隔离带属性识别结果;基于各个像素点对应的道路隔离带分割结果和各个像素点对应的道路隔离带属性识别结果得到当前待处理图像对应的道路隔离带分割结果和当前待处理图像对应的道路隔离带属性识别结果;遍历道路图像序列中各个待处理图像,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果。
在一个实施例中,道路隔离带分割分类模型包括编码网络和解码网络;
模型处理单元,还用于将当前待处理图像输入到编码网络中进行多尺度特征提取,得到各个不同尺度的图像特征;将各个不同尺度的图像特征输入到解码网络中进行道路隔离带像素级分割分类识别,得到当前待处理图像中各个像素点对应的道路隔离带分割结果和各个像素点对应的道路隔离带属性识别结果。
在一个实施例中,图像处理装置1800,还包括:
聚类模块,用于基于各个像素点对应的道路隔离带分割结果和各个像素点对应的道路隔离带属性识别结果进行道路隔离带聚类识别,得到当前待处理图像对应的至少两个道路隔离带区域。
在一个实施例中,位置匹配模块1808还用于从各个待确定图像中确定当前待确定图像和当前待确定图像对应的相邻待确定图像;计算当前待确定图像中当前道路隔离带区域对应的当前内心位置,并计算相邻待确定图像中相邻道路隔离带区域对应的相邻内心位置;计算当前内心位置与相邻内心位置的图像距离,当图像距离小于预设图像距离阈值时,得到当前待确定图像中当前道路隔离带区域的位置与相邻待确定图像中相邻道路隔离带区域的位置匹配;遍历各个待确定图像,得到各个待确定图像中道路隔离带区域对应的位置匹配结果;基于各个待确定图像中道路隔离带区域对应的位置匹配结果选取位置匹配的待确定图像,得到候选图像序列。
在一个实施例中,计位置匹配模块1808还用于计算当前道路隔离带区域对应的当前最小外接矩形,并计算当前最小外接矩形中对角线的交点坐标,得到当前内心位置;计算相邻道路隔离带区域对应的相邻最小外接矩形,并计算相邻最小外接矩形中对角线的交点坐标,得到相邻内心位置。
在一个实施例中,属性匹配模块1812还用于从各个候选图像中确定当前候选图像和当前候选图像对应的相邻候选图像;将当前候选图像对应的当前道路隔离带属性信息与相邻候选图像对应的相邻道路隔离带属性信息进行匹配,当当前道路隔离带属性信息与相邻道路隔离带属性信息匹配成功时,得到当前道路隔离带属性信息与相邻道路隔离带属性信息匹配;遍历各个候选图像,得到各个候选图像对应的道路隔离带属性信息匹配结果;基于各个候选图像对应的道路隔离带属性信息匹配结果选取道路隔离带属性信息匹配的候选图像,得到目标图像序列。
在一个实施例中,道路隔离带属性信息包括材质信息和方向信息;
属性匹配模块1812还用于将当前道路隔离带属性信息中的当前材质信息与相邻道路隔离带属性信息中的相邻材质信息进行匹配,并将当前道路隔离带属性信息中的当前方向信息与相邻道路隔离带属性信息中的相邻方向信息进行匹配;当当前材质信息与相邻材质信息相同且当前方向信息与相邻方向信息相同时,得到当前道路隔离带属性信息与相邻道路隔离带属性信息匹配。
在一个实施例中,图像处理装置1800,还包括:
关联保存模块,用于生成目标图像序列中道路隔离带对应的道路隔离带标识,将道路隔离带标识与目标图像序列关联保存。
在一个实施例中,获取模块1802还用于采集道路视频,并获取道路视频对应的经纬度信息和道路视频对应的采集速度信息;基于道路视频对应的经纬度信息和道路视频对应的采集速度信息进行等间距降采样,得到道路图像序列。
在一个实施例中,如图19所示,提供了一种地图数据更新装置1900,包括:数据获取模块1902和更新模块1904,其中:
数据获取模块1902,用于获取历史地图数据,并获取目标图像序列,目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带;其中,通过获取道路图像序列,对道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到各个待处理图像对应的道路隔离带分割结果和各个待处理图像对应的道路隔离带属性识别结果,基于道路隔离带分割结果从各个待处理图像中确定包含道路隔离带区域的待确定图像序列,基于待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于各个道路隔离带位置特征从各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列,从待处理图像对应的道路隔离带属性识别结果中确定候选图像序列中各个候选图像对应的道路隔离带属性信息,基于道路隔离带属性信息从各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列;
更新模块1904,用于基于目标图像序列对历史地图数据中对应的道路隔离带图像数据进行更新,得到更新地图数据。
上述图像处理装置或者地图数据更新装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图20所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法或者地图数据更新方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图21所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法或者地图数据更新方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图20或者21中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (19)

1.一种图像处理方法,其特征在于,所述方法包括:
获取道路图像序列;
对所述道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到所述各个待处理图像对应的道路隔离带分割结果和所述各个待处理图像对应的道路隔离带属性识别结果;
基于所述道路隔离带分割结果从所述各个待处理图像中确定包含道路隔离带区域的待确定图像序列;
基于所述待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于所述各个道路隔离带位置特征从所述各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列;
从所述待处理图像对应的道路隔离带属性识别结果中确定所述候选图像序列中各个候选图像对应的道路隔离带属性信息;
基于所述道路隔离带属性信息从所述各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列,所述目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带。
2.根据权利要求1所述的方法,其特征在于,所述基于所述道路隔离带分割结果从所述各个待处理图像中确定包含道路隔离带区域的待确定图像序列,包括:
基于所述道路隔离带分割结果从所述各个待处理图像中确定包含道路隔离带区域的初始图像序列;
获取所述初始图像序列各个初始图像对应的经纬度信息,基于所述各个初始图像对应的经纬度信息从所述各个初始图像中筛选经纬度信息匹配的初始图像,得到所述待确定图像序列。
3.根据权利要求2所述的方法,其特征在于,所述基于所述各个初始图像对应的经纬度信息从所述各个初始图像中筛选经纬度信息匹配的初始图像,得到所述待确定图像序列,包括:
从所述各个初始图像中确定当前初始图像和所述当前初始图像对应的相邻初始图像;
基于所述当前初始图像对应的经纬度信息和所述相邻初始图像对应的经纬度信息进行图像实际距离计算,得到当前图像实际距离;
当所述当前图像实际距离小于预设实际距离阈值时,得到所述当前初始图像对应的经纬度信息与所述相邻初始图像对应的经纬度信息匹配;
遍历所述各个初始图像,得到所述各个初始图像对应的经纬度信息匹配结果;
基于所述各个初始图像对应的经纬度信息匹配结果选取经纬度信息匹配的初始图像,得到所述待确定图像序列。
4.根据权利要求2所述的方法,其特征在于,在所述基于所述道路隔离带属性信息从所述各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列之后,还包括:
从所述目标图像序列中各个目标图像对应的经纬度信息中确定起始经纬度信息和终止经纬度信息;
基于所述起始经纬度信息和终止经纬度信息确定所述目标图像序列对应的道路隔离带的起终点信息。
5.根据权利要求1所述的方法,其特征在于,所述对所述道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到所述各个待处理图像对应的道路隔离带分割结果和所述各个待处理图像对应的道路隔离带属性识别结果,包括:
从所述道路图像序列中选取当前待处理图像;
将所述当前待处理图像输入到道路隔离带分割分类模型中进行道路隔离带像素级分割分类识别,得到所述当前待处理图像中各个像素点对应的道路隔离带分割结果和所述各个像素点对应的道路隔离带属性识别结果;
基于所述各个像素点对应的道路隔离带分割结果和所述各个像素点对应的道路隔离带属性识别结果得到所述当前待处理图像对应的道路隔离带分割结果和所述当前待处理图像对应的道路隔离带属性识别结果;
遍历所述道路图像序列中各个待处理图像,得到所述各个待处理图像对应的道路隔离带分割结果和所述各个待处理图像对应的道路隔离带属性识别结果。
6.根据权利要求5所述的方法,其特征在于,所述道路隔离带分割分类模型包括编码网络和解码网络;
所述将所述当前待处理图像输入到道路隔离带分割分类模型中进行道路隔离带像素级分割分类识别,得到所述当前待处理图像中各个像素点对应的道路隔离带分割结果和所述各个像素点对应的道路隔离带属性识别结果,包括:
将所述当前待处理图像输入到所述编码网络中进行多尺度特征提取,得到各个不同尺度的图像特征;
将所述各个不同尺度的图像特征输入到所述解码网络中进行道路隔离带像素级分割分类识别,得到所述当前待处理图像中各个像素点对应的道路隔离带分割结果和所述各个像素点对应的道路隔离带属性识别结果。
7.根据权利要求5所述的方法,其特征在于,所述方法还包括:
基于所述各个像素点对应的道路隔离带分割结果和所述各个像素点对应的道路隔离带属性识别结果进行道路隔离带聚类识别,得到所述当前待处理图像对应的至少两个道路隔离带区域。
8.根据权利要求1所述的方法,其特征在于,所述基于所述待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于所述各个道路隔离带位置特征从所述各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列,包括:
从所述各个待确定图像中确定当前待确定图像和所述当前待确定图像对应的相邻待确定图像;
计算所述当前待确定图像中当前道路隔离带区域对应的当前内心位置,并计算所述相邻待确定图像中相邻道路隔离带区域对应的相邻内心位置;
计算所述当前内心位置与所述相邻内心位置的图像距离,当所述图像距离小于预设图像距离阈值时,得到所述当前待确定图像中当前道路隔离带区域的位置与所述相邻待确定图像中相邻道路隔离带区域的位置匹配;
遍历所述各个待确定图像,得到所述各个待确定图像中道路隔离带区域对应的位置匹配结果;
基于所述各个待确定图像中道路隔离带区域对应的位置匹配结果选取位置匹配的待确定图像,得到所述候选图像序列。
9.根据权利要求8所述的方法,其特征在于,所述计算所述当前待确定图像中当前道路隔离带区域对应的当前内心位置,并计算所述相邻待确定图像中相邻道路隔离带区域对应的相邻内心位置,包括:
计算所述当前道路隔离带区域对应的当前最小外接矩形,并计算所述当前最小外接矩形中对角线的交点坐标,得到所述当前内心位置;
计算所述相邻道路隔离带区域对应的相邻最小外接矩形,并计算所述相邻最小外接矩形中对角线的交点坐标,得到所述相邻内心位置。
10.根据权利要求1所述的方法,其特征在于,所述基于所述道路隔离带属性信息从所述各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列,包括:
从所述各个候选图像中确定当前候选图像和所述当前候选图像对应的相邻候选图像;
将所述当前候选图像对应的当前道路隔离带属性信息与所述相邻候选图像对应的相邻道路隔离带属性信息进行匹配,当所述当前道路隔离带属性信息与所述相邻道路隔离带属性信息匹配成功时,得到所述当前道路隔离带属性信息与所述相邻道路隔离带属性信息匹配;
遍历所述各个候选图像,得到所述各个候选图像对应的道路隔离带属性信息匹配结果;
基于所述各个候选图像对应的道路隔离带属性信息匹配结果选取道路隔离带属性信息匹配的候选图像,得到所述目标图像序列。
11.根据权利要求10所述的方法,其特征在于,所述道路隔离带属性信息包括材质信息和方向信息;
所述将所述当前候选图像对应的当前道路隔离带属性信息与所述相邻候选图像对应的相邻道路隔离带属性信息进行匹配,当所述当前道路隔离带属性信息与所述相邻道路隔离带属性信息匹配成功时,得到所述当前道路隔离带属性信息与所述相邻道路隔离带属性信息匹配,包括:
将所述当前道路隔离带属性信息中的当前材质信息与所述相邻道路隔离带属性信息中的相邻材质信息进行匹配,并将当前道路隔离带属性信息中的当前方向信息与所述相邻道路隔离带属性信息中的相邻方向信息进行匹配;
当所述当前材质信息与所述相邻材质信息相同且所述当前方向信息与所述相邻方向信息相同时,得到所述当前道路隔离带属性信息与所述相邻道路隔离带属性信息匹配。
12.根据权利要求1所述的方法,其特征在于,在所述基于所述道路隔离带属性信息从所述各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列之后,包括:
生成所述目标图像序列中道路隔离带对应的道路隔离带标识,将所述道路隔离带标识与所述目标图像序列关联保存。
13.根据权利要求1所述的方法,其特征在于,所述获取道路图像序列,包括:
采集道路视频,并获取所述道路视频对应的经纬度信息和所述道路视频对应的采集速度信息;
基于所述道路视频对应的经纬度信息和所述道路视频对应的采集速度信息进行等间距降采样,得到所述道路图像序列。
14.一种地图数据更新方法,其特征在于,所述方法包括:
获取历史地图数据,并获取目标图像序列,所述目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带;
其中,通过获取道路图像序列,对所述道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到所述各个待处理图像对应的道路隔离带分割结果和所述各个待处理图像对应的道路隔离带属性识别结果,基于所述道路隔离带分割结果从所述各个待处理图像中确定包含道路隔离带区域的待确定图像序列,基于所述待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于所述各个道路隔离带位置特征从所述各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列,从所述待处理图像对应的道路隔离带属性识别结果中确定所述候选图像序列中各个候选图像对应的道路隔离带属性信息,基于所述道路隔离带属性信息从所述各个候选图像中筛选道路隔离带属性匹配的候选图像,得到所述目标图像序列;
基于所述目标图像序列对所述历史地图数据中对应的道路隔离带图像数据进行更新,得到更新地图数据。
15.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取道路图像序列;
分割分类模块,用于对所述道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到所述各个待处理图像对应的道路隔离带分割结果和所述各个待处理图像对应的道路隔离带属性识别结果;
序列确定模块,用于基于所述道路隔离带分割结果从所述各个待处理图像中确定包含道路隔离带区域的待确定图像序列;
位置匹配模块,用于基于所述待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于所述各个道路隔离带位置特征从所述各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列;
信息确定模块,用于从所述待处理图像对应的道路隔离带属性识别结果中确定所述候选图像序列中各个候选图像对应的道路隔离带属性信息;
属性匹配模块,用于基于所述道路隔离带属性信息从所述各个候选图像中筛选道路隔离带属性匹配的候选图像,得到目标图像序列,所述目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带。
16.一种地图数据更新装置,其特征在于,所述装置包括:
数据获取模块,用于获取历史地图数据,并获取目标图像序列,所述目标图像序列的各个目标图像中包括位置和属性信息匹配的道路隔离带;其中,通过获取道路图像序列,对所述道路图像序列中各个待处理图像依次进行道路隔离带分割分类识别,得到所述各个待处理图像对应的道路隔离带分割结果和所述各个待处理图像对应的道路隔离带属性识别结果,基于所述道路隔离带分割结果从所述各个待处理图像中确定包含道路隔离带区域的待确定图像序列,基于所述待确定图像序列中各个待确定图像对应的道路隔离带区域进行道路隔离带位置特征提取,得到各个道路隔离带位置特征,基于所述各个道路隔离带位置特征从所述各个待确定图像中筛选道路隔离带位置匹配的待确定图像,得到候选图像序列,从所述待处理图像对应的道路隔离带属性识别结果中确定所述候选图像序列中各个候选图像对应的道路隔离带属性信息,基于所述道路隔离带属性信息从所述各个候选图像中筛选道路隔离带属性匹配的候选图像,得到所述目标图像序列;
更新模块,用于基于所述目标图像序列对所述历史地图数据中对应的道路隔离带图像数据进行更新,得到更新地图数据。
17.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至14中任一项所述的方法的步骤。
18.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至14中任一项所述的方法的步骤。
19.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至14中任一项所述的方法的步骤。
CN202111411346.7A 2021-11-25 2021-11-25 图像处理、地图数据更新方法、装置和存储介质 Active CN113837155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111411346.7A CN113837155B (zh) 2021-11-25 2021-11-25 图像处理、地图数据更新方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111411346.7A CN113837155B (zh) 2021-11-25 2021-11-25 图像处理、地图数据更新方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN113837155A true CN113837155A (zh) 2021-12-24
CN113837155B CN113837155B (zh) 2022-02-08

Family

ID=78971770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111411346.7A Active CN113837155B (zh) 2021-11-25 2021-11-25 图像处理、地图数据更新方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN113837155B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110271547A (zh) * 2018-03-15 2019-09-24 本田技研工业株式会社 车辆控制装置、车辆控制方法以及存储介质
CN111414826A (zh) * 2020-03-13 2020-07-14 腾讯科技(深圳)有限公司 一种地标箭头的识别方法、设备及存储介质
US20200307380A1 (en) * 2019-03-28 2020-10-01 Honda Motor Co., Ltd. Display control device, display control method, and storage medium
WO2021005714A1 (ja) * 2019-07-09 2021-01-14 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
CN113091757A (zh) * 2019-12-23 2021-07-09 百度在线网络技术(北京)有限公司 地图生成方法和装置
CN113591640A (zh) * 2021-07-20 2021-11-02 湖南三一华源机械有限公司 一种道路护栏的检测方法、装置及车辆

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110271547A (zh) * 2018-03-15 2019-09-24 本田技研工业株式会社 车辆控制装置、车辆控制方法以及存储介质
US20200307380A1 (en) * 2019-03-28 2020-10-01 Honda Motor Co., Ltd. Display control device, display control method, and storage medium
WO2021005714A1 (ja) * 2019-07-09 2021-01-14 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
CN113091757A (zh) * 2019-12-23 2021-07-09 百度在线网络技术(北京)有限公司 地图生成方法和装置
CN111414826A (zh) * 2020-03-13 2020-07-14 腾讯科技(深圳)有限公司 一种地标箭头的识别方法、设备及存储介质
CN113591640A (zh) * 2021-07-20 2021-11-02 湖南三一华源机械有限公司 一种道路护栏的检测方法、装置及车辆

Also Published As

Publication number Publication date
CN113837155B (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
US20160379388A1 (en) System and method for combining geographical and economic data extracted from satellite imagery for use in predictive modeling
US9129163B2 (en) Detecting common geographic features in images based on invariant components
CN111369581A (zh) 图像处理方法、装置、设备及存储介质
CN111695488A (zh) 兴趣面识别方法、装置、设备以及存储介质
US8761435B2 (en) Detecting geographic features in images based on invariant components
TWI581207B (zh) 共乘路徑的計算方法及使用此方法的計算裝置與記錄媒體
US20220357176A1 (en) Methods and data processing systems for predicting road attributes
CN114998744A (zh) 基于运动与视觉双特征融合的农机轨迹田路分割方法
Truong et al. Deep learning to detect road distress from unmanned aerial system imagery
US11828620B2 (en) Method of predicting road attributes, data processing system and computer executable code
CN115265545A (zh) 基于决策分析的地图匹配导航方法、装置、设备及存储介质
CN115115825A (zh) 图像中的对象检测方法、装置、计算机设备和存储介质
CN114385662A (zh) 路网更新方法、装置、存储介质及电子设备
Yin et al. Multimodal fusion of satellite images and crowdsourced GPS traces for robust road attribute detection
CN113837155B (zh) 图像处理、地图数据更新方法、装置和存储介质
CN115203352B (zh) 车道级定位方法、装置、计算机设备和存储介质
CN114238541A (zh) 敏感目标信息获取方法、装置和计算机设备
CN112215205B (zh) 目标识别方法、装置、计算机设备和存储介质
CN113033608A (zh) 遥感影像道路提取方法及装置
CN113592876A (zh) 分割网络的训练方法、装置、计算机设备和存储介质
Antwi et al. Detecting School Zones on Florida’s Public Roadways Using Aerial Images and Artificial Intelligence (AI2)
CN116665157B (zh) 道路图像处理方法、装置、计算机设备和存储介质
Imam et al. An automatic approach for detecting building fences from high-resolution images: the case study of Makkah, Saudi Arabia
CN114419338A (zh) 图像处理方法、装置、计算机设备和存储介质
Liu et al. A novel UAV target detection method based on the improved YOLOv4-tiny network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant