CN110148196B - 一种图像处理方法、装置以及相关设备 - Google Patents

一种图像处理方法、装置以及相关设备 Download PDF

Info

Publication number
CN110148196B
CN110148196B CN201811063723.0A CN201811063723A CN110148196B CN 110148196 B CN110148196 B CN 110148196B CN 201811063723 A CN201811063723 A CN 201811063723A CN 110148196 B CN110148196 B CN 110148196B
Authority
CN
China
Prior art keywords
target
position coordinate
dimensional position
dimensional
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811063723.0A
Other languages
English (en)
Other versions
CN110148196A (zh
Inventor
舒茂
陈偲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Dadi Tongtu Beijing Technology Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Tencent Dadi Tongtu Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Tencent Dadi Tongtu Beijing Technology Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811063723.0A priority Critical patent/CN110148196B/zh
Publication of CN110148196A publication Critical patent/CN110148196A/zh
Priority to PCT/CN2019/105009 priority patent/WO2020052530A1/zh
Priority to US17/028,906 priority patent/US11367217B2/en
Application granted granted Critical
Publication of CN110148196B publication Critical patent/CN110148196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像处理方法、装置以及相关设备，方法包括：获取包含目标对象的目标图像，识别目标对象在目标图像中的目标二维位置坐标以及与目标对象对应的目标属性类型；获取与目标图像相关联的目标三维点云，根据目标三维点云与目标图像中所有像素点之间的映射关系，获取处于目标二维位置坐标的像素点对应的三维位置坐标，并将获取的三维位置坐标作为目标三维位置坐标；根据目标三维位置坐标在三维地图数据中确定设置区域，为设置区域中的目标对象设置目标属性类型。采用本发明，可以自动化地为地图中中的对象标记属性类型，提高标记对象属性类型的效率。

Description

一种图像处理方法、装置以及相关设备
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像处理方法、装置以及相关设备。
背景技术
高精度地图是指高精度、精细化定义的地图，其精度需要达到分米级才能够区分各个车道，如今随着定位技术的发展，高精度的定位已经成为可能。而精细化定义，则是需要格式化存储交通场景中的各种交通要素，包括传统地图的道路网数据、车道网络数据、车道线以和交通标志等数据。
现有的在构建高精度地图中的交通标识牌时，主要是基于人工手动添加的方法，即是由人工遍历所有路段，在存在交通标识牌的路段中提取出该交通标识牌。由人工对提取出来的交通标识牌进行识别，再为高精度地图中的交通标识牌标记识别出来的类型。上述可知，在高精度地图中以手工的方式识别交通标识牌的属性，以及为交通标识牌设置属性类型工作量大，效率低下。
发明内容
本发明实施例提供一种图像处理方法、装置以及相关设备，可以自动化地为地图中中的对象标记属性类型，提高标记对象属性类型的效率。
本发明实施例一方面提供了一种图像处理方法，包括：
获取包含目标对象的目标图像，识别所述目标对象在所述目标图像中的目标二维位置坐标以及与所述目标对象对应的目标属性类型；
获取与所述目标图像相关联的目标三维点云，根据所述目标三维点云与所述目标图像中所有像素点之间的映射关系，获取处于所述目标二维位置坐标的像素点对应的三维位置坐标，并将获取的三维位置坐标作为目标三维位置坐标；
根据所述目标三维位置坐标在三维地图数据中确定设置区域，为所述设置区域中的所述目标对象设置所述目标属性类型。
其中，所述识别所述目标对象在所述目标图像中的目标二维位置坐标以及与所述目标对象对应的目标属性类型，包括：
将所述目标图像划分为多个目标子图，基于目标检测模型中的卷积层对所述目标图像进行卷积处理，得到与每个目标子图对应的目标卷积特征信息；
识别所述目标卷积特征信息和所述目标检测模型中多种属性类型之间的匹配概率，并识别与所述目标卷积特征信息对应的位置坐标，将在所述目标图像中与所述位置坐标对应的区域作为第一区域；所述多种属性类型是与所述目标对象相关联的类型；
将最大匹配概率确定为与所述第一区域对应的置信度，并将所述最大匹配概率对应的属性类型作为与所述第一区域对应的属性类型；
将置信度大于置信度阈值的第一区域确定为第二区域，将所述第二区域对应的位置坐标确定为所述目标二维位置坐标，并将所述第二区域对应的属性类型确定为与所述目标对象对应的目标属性类型。
其中，所述卷积层包括：正向卷积层和逆向卷积层；所述正向卷积层包括第一卷积层和第二卷积层；所述第二卷积层是位于正向卷积层顶部的卷积层，所述第一卷积层是与所述第二卷积层相邻的正向卷积层；
所述基于目标检测模型中的卷积层对所述目标图像进行卷积处理，得到与每个目标子图对应的目标卷积特征信息，包括：
基于所述第一卷积层对所述目标图像进行正向卷积处理，得到与每个目标子图对应的第一卷积特征信息；
基于所述第二卷积层对所述第一卷积特征信息进行正向卷积处理，得到与每个目标子图对应的第二卷积特征信息；
基于所述逆向卷积层对所述第二卷积特征信息进行反向卷积处理，得到与每个目标子图对应的第三卷积特征信息；
连接属于同一个目标子图的第一卷积特征信息和第三卷积特征信息，得到与所述每个目标子图对应的所述目标卷积特征信息。
其中，所述根据所述目标三维点云与所述目标图像中所有像素点之间的映射关系，获取处于所述目标二维位置坐标的像素点对应的三维位置坐标，并将获取的三维位置坐标作为目标三维位置坐标，包括：
将所述目标三维点云中的水平角和垂直角作为采样值，根据与所述目标三维点云对应的指像元数值，对所述采样值进行采样，并对采样后的采样值进行量化，得到与所述目标三维点云对应的辅助图像；
在所述目标图像和所述辅助图像中查找同名点，根据所述同名点建立所述目标三维点云与所述目标图像中所有像素点之间的映射关系；
根据所述映射关系，将处于所述目标二维位置坐标的像素点对应的三维位置坐标作为所述目标三维位置坐标。
其中，所述根据所述目标三维位置坐标在三维地图数据中确定设置区域，包括：
将所述目标三维位置坐标与图像集合中的参考图像对应的参考三维位置坐标进行重合度比较；所述图像集合包括所述目标图像和所述参考图像；所述参考三维位置坐标是指在所述三维地图数据中所述参考图像中的参考对象对应的三维位置坐标；所述参考对象和所述目标对象具有相同领域的属性类型；
若重合度比较结果满足重合误差条件，则将所述目标三维位置坐标和所述参考三维位置坐标进行聚合处理，得到聚合三维位置坐标，并在所述三维地图数据中，将所述聚合三维位置坐标对应的区域作为所述设置区域；
若所述重合度比较结果不满足重合误差条件，则在所述三维地图数据中，将所述目标三维位置坐标对应的区域作为所述设置区域。
其中，所述将所述目标三维位置坐标和所述参考三维位置坐标进行聚合处理，得到聚合三维位置坐标，包括：
将所述目标三维位置坐标和所述参考三维位置坐标均确定为辅助三维位置坐标，并将所述辅助三维位置坐标组合为辅助三维位置坐标集合；
在所述辅助三维位置坐标集合中，提取一对辅助三维位置坐标，分别作为第一位置坐标和第二位置坐标；
对所述第一位置坐标和所述第二位置坐标进行聚合处理，得到第三位置坐标，从所述辅助三维位置坐标集合中提取下一个辅助三维位置坐标，作为所述第一位置坐标，并将所述第三位置坐标确定为所述第二位置坐标，进行下一轮的聚合处理，直至当所述辅助三维位置坐标集合为空集时，将最后一次循环得到的第三位置坐标确定为所述聚合三维位置坐标。
其中，所述对所述第一位置坐标和所述第二位置坐标进行聚合处理，得到第三位置坐标，包括：
将所述第一位置坐标对应的第二区域的置信度确定为第一置信度，并将所述第二位置坐标对应的第二区域的置信度确定为第二置信度；
若所述第一置信度和所述第二置信度之间的差异值大于第一目标差异值，则在所述第一置信度和所述第二置信度中，将置信度较大者对应的辅助三维位置坐标确定为所述第三位置坐标；
若所述第一置信度和所述第二置信度之间的差异值小于或等于所述第一目标差异值，则根据所述第一位置坐标对应的第二区域的目标属性类型，确定目标形状，根据所述目标形状、所述第一位置坐标和所述第二位置坐标，确定所述第三位置坐标。
其中，所述根据所述目标形状、所述第一位置坐标和所述第二位置坐标，确定所述第三位置坐标，包括：
根据所述第一位置坐标确定第一形状，并根据所述第二位置坐标确定第二形状；
检测所述第一形状和所述第二形状之间的第一形状差异值；
若所述第一形状差异值小于第二目标差异值，则合并所述第一位置坐标和所述第二位置坐标，得到所述第三位置坐标；所述第三位置坐标在所述三维地图数据中的区域包含所述第一位置坐标在所述三维地图数据中的区域和所述第二位置坐标在所述三维地图数据中的区域；
若所述第一形状差异值大于或等于所述第二目标差异值，则分别比较所述目标形状与所述第一形状和所述第二形状之间的第二形状差异值，将第二形状差异值较小者对应的辅助三维位置坐标作为所述第三位置坐标。
本发明实施例一方面提供了一种图像处理装置，包括：
获取模块，用于获取包含目标对象的目标图像；
识别模块，用于识别所述目标对象在所述目标图像中的目标二维位置坐标以及与所述目标对象对应的目标属性类型；
所述获取模块，还用于获取与所述目标图像相关联的目标三维点云；
第一确定模块，用于根据所述目标三维点云与所述目标图像中所有像素点之间的映射关系，获取处于所述目标二维位置坐标的像素点对应的三维位置坐标，并将获取的三维位置坐标作为目标三维位置坐标；
第二确定模块，用于根据所述目标三维位置坐标在三维地图数据中确定设置区域；
所述获取模块，还用于为所述设置区域中的所述目标对象设置所述目标属性类型。
其中，所述识别模块，包括：
划分单元，用于将所述目标图像划分为多个目标子图；
确定单元，用于基于目标检测模型中的卷积层对所述目标图像进行卷积处理，得到与每个目标子图对应的目标卷积特征信息；
识别单元，用于识别所述目标卷积特征信息和所述目标检测模型中多种属性类型之间的匹配概率，并识别与所述目标卷积特征信息对应的位置坐标，将在所述目标图像中与所述位置坐标对应的区域作为第一区域；所述多种属性类型是与所述目标对象相关联的类型；
所述识别单元，还用于将最大匹配概率确定为与所述第一区域对应的置信度，并将所述最大匹配概率对应的属性类型作为与所述第一区域对应的属性类型；
所述识别单元，还用于将置信度大于置信度阈值的第一区域确定为第二区域，将所述第二区域对应的位置坐标确定为所述目标二维位置坐标，并将所述第二区域对应的属性类型确定为与所述目标对象对应的目标属性类型。
其中，所述卷积层包括：正向卷积层和逆向卷积层；所述正向卷积层包括第一卷积层和第二卷积层；所述第二卷积层是位于正向卷积层顶部的卷积层，所述第一卷积层是与所述第二卷积层相邻的正向卷积层；
所述确定单元，包括：
正向卷积子单元，用于基于所述第一卷积层对所述目标图像进行正向卷积处理，得到与每个目标子图对应的第一卷积特征信息；
所述正向卷积子单元，还用于基于所述第二卷积层对所述第一卷积特征信息进行正向卷积处理，得到与每个目标子图对应的第二卷积特征信息；
逆向卷积子单元，用于基于所述逆向卷积层对所述第二卷积特征信息进行反向卷积处理，得到与每个目标子图对应的第三卷积特征信息；
连接子单元，用于连接属于同一个目标子图的第一卷积特征信息和第三卷积特征信息，得到与所述每个目标子图对应的所述目标卷积特征信息。
其中，所述第一确定模块，包括：
采样单元，用于将所述目标三维点云中的水平角和垂直角作为采样值，根据与所述目标三维点云对应的指像元数值，对所述采样值进行采样，并对采样后的采样值进行量化，得到与所述目标三维点云对应的辅助图像；
查找单元，用于在所述目标图像和所述辅助图像中查找同名点，根据所述同名点建立所述目标三维点云与所述目标图像中所有像素点之间的映射关系；
所述查找单元，还用于根据所述映射关系，将处于所述目标二维位置坐标的像素点对应的三维位置坐标作为所述目标三维位置坐标。
其中，所述第二确定模块，包括：
比较单元，用于将所述目标三维位置坐标与图像集合中的参考图像对应的参考三维位置坐标进行重合度比较；所述图像集合包括所述目标图像和所述参考图像；所述参考三维位置坐标是指在所述三维地图数据中所述参考图像中的参考对象对应的三维位置坐标；所述参考对象和所述目标对象具有相同领域的属性类型。
聚合单元，用于若重合度比较结果满足重合误差条件，则将所述目标三维位置坐标和所述参考三维位置坐标进行聚合处理，得到聚合三维位置坐标，并在所述三维地图数据中，将所述聚合三维位置坐标对应的区域作为所述设置区域；
所述比较单元，还用于若所述重合度比较结果不满足重合误差条件，则在所述三维地图数据中，将所述目标三维位置坐标对应的区域作为所述设置区域。
其中，所述聚合单元，包括：
组合子单元，用于将所述目标三维位置坐标和所述参考三维位置坐标均确定为辅助三维位置坐标，并将所述辅助三维位置坐标组合为辅助三维位置坐标集合；
提取子单元，用于在所述辅助三维位置坐标集合中，提取一对辅助三维位置坐标，分别作为第一位置坐标和第二位置坐标；
聚合子单元，用于对所述第一位置坐标和所述第二位置坐标进行聚合处理，得到第三位置坐标；
通知子单元，用于从所述辅助三维位置坐标集合中提取下一个辅助三维位置坐标，作为所述第一位置坐标，并将所述第三位置坐标确定为所述第二位置坐标，通知所述聚合子单元执行相应操作，直至当所述辅助三维位置坐标集合为空集时，将最后一次循环得到的第三位置坐标确定为所述聚合三维位置坐标。
其中，所述聚合子单元，包括：
第一确定子单元，用于将所述第一位置坐标对应的第二区域的置信度确定为第一置信度，并将所述第二位置坐标对应的第二区域的置信度确定为第二置信度；
所述第一确定子单元，还用于若所述第一置信度和所述第二置信度之间的差异值大于第一目标差异值，则在所述第一置信度和所述第二置信度中，将置信度较大者对应的辅助三维位置坐标确定为所述第三位置坐标；
所述第一确定子单元，还用于若所述第一置信度和所述第二置信度之间的差异值小于或等于所述第一目标差异值，则根据所述第一位置坐标对应的第二区域的目标属性类型，确定目标形状；
第二确定子单元，用于根据所述目标形状、所述第一位置坐标和所述第二位置坐标，确定所述第三位置坐标。
其中，所第二确定子单元，包括：
第三确定子单元，用于根据所述第一位置坐标确定第一形状，并根据所述第二位置坐标确定第二形状；
检测子单元，用于检测所述第一形状和所述第二形状之间的第一形状差异值；
所述第三确定子单元，还用于若所述第一形状差异值小于第二目标差异值，则合并所述第一位置坐标和所述第二位置坐标，得到所述第三位置坐标；所述第三位置坐标在所述三维地图数据中的区域包含所述第一位置坐标在所述三维地图数据中的区域和所述第二位置坐标在所述三维地图数据中的区域；
所述第三确定子单元，还用于若所述第一形状差异值大于或等于所述第二目标差异值，则分别比较所述目标形状与所述第一形状和所述第二形状之间的第二形状差异值，将第二形状差异值较小者对应的辅助三维位置坐标作为所述第三位置坐标。
本发明实施例一方面提供了一种电子设备，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如本发明实施例中的方法。
本发明实施例一方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如本发明实施例中的方法。
本发明实施例通过获取包含目标对象的目标图像，识别目标对象在目标图像中的目标二维位置坐标以及与目标对象对应的目标属性类型；获取与目标图像相关联的目标三维点云，根据目标三维点云与目标图像中所有像素点之间的映射关系，获取处于目标二维位置坐标的像素点对应的三维位置坐标，并将获取的三维位置坐标作为目标三维位置坐标；根据目标三维位置坐标在三维地图数据中确定设置区域，为设置区域中的目标对象设置目标属性类型。上述可知，自动地在包含对象的图像中识别出对象的属性类型，同时，根据对象在图像中的二维坐标以及三维点云数据，可以自动化地确定对象在地图中的三维位置坐标，进而在三维位置坐标所在的区域设置对象的属性类型。因此在为地图中的对象设置属性类型过程中，不论是识别属性类型、查找对象所在区域或者是标记对象属性类型均是由终端自动完成，而不存在任何人工参与，可以提高在地图中标记对象属性类型的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a-图1e是本发明实施例提供的一种图像处理方法的场景示意图；
图2是本发明实施例提供的一种图像处理方法的流程示意图；
图3是本发明实施例提供的一种识别目标属性类型的结构示意图；
图4是本发明实施例提供的另一种图像处理方法的流程示意图；
图5是本发明实施例提供的一种图像处理装置的结构示意图；
图6是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1a-图1e，是本发明实施例提供的一种图像处理方法的场景示意图。如图1a所示，为了标识出三维地图中的交通标识牌，地图采集车10a对道路中的交通标识牌相关数据进行采集，其中三维地图是以三维数据的形式显示地球表面的自然地理、行政区域、社会状况的地图。若当前路段中存在交通标识牌，地图采集车10a中的照相机拍摄包含有交通标识牌的图像，同时利用地图采集车10a中的三维激光扫描仪扫描当前路段的三维点云。三维点云中包括当前路段中所有物体表面采样点的三维坐标，此处的当前路段中的物体不仅包括交通标识牌，还包括道路，以及道路两旁的树木等。例如，采集到包含交通标识牌的图像20a，以及与图像20a相关联的三维点云数据20d。
如图1b所示，为了自动识别出交通标识牌的属性类型，对包含交通标识牌的图像20a进行识别。交通标识牌的属性类型包括：车辆警告属性类型、行人警告属性类型、禁止属性类型、指示属性类型、指路属性类型、道路施工属性类型等。将图像20a划分为多个子图，将图像20a输入检测模型20b中，基于检测模型20b中的卷积层对图像20a进行卷积运算，此处将图像划分为多个子图只是在逻辑上的划分，在实际运算时，仍旧是将整张图像直接输入检测模型20b中。卷积层对图像20a卷积运算后，可以得到每个子图对应的卷积特征信息。分别识别每个子图对应的卷积特征信息的二维位置坐标，以及分别计算每个子图对应的卷积特征信息和检测模型20b中的交通标识牌的多种属性类型的匹配度。其中，匹配度越高说明卷积特征信息所对应的子图中的对象属于该属性类型的概率越高。二维位置坐标包括：4个顶点坐标，每个顶点坐标包括横坐标和纵坐标，可以知道，每个子图对应的二维位置坐标就标识了图像20a中的一个矩形区域，每个子图都存在与之对应的矩形区域。
将最大匹配度作为矩形区域的置信度，并将最大匹配度对应的属性类型作为矩形区域的目标属性类型。对每个子图来说，都存在与之对应的矩形区域，且每个矩形区域都存在与之对应的置信度和目标属性类型，且该矩形区域的置信度的物理意义为：矩形区域中对象(此处的对象即是交通标识牌)的属性类型为目标属性类型的概率。确定了每个子图对应的二维位置坐标(矩形区域)、置信度、目标属性类型后，对误检结果进行过滤。过滤过程可以为：通过预设置信度阈值，可以将那些置信度小于置信度阈值的矩形区域进行删除，而只保留置信度大于或者等于置信度阈值的矩形区域。如图1b所示，在图像20a中，对误检结果过滤后，保留下来的矩形区域包括：矩形区域20f以及矩形区域20g。矩形区域20f对应的置信度为0.85，二维位置坐标为：(100,120)、(125,120)、(100,150)、(125,150)，目标属性类型P1；矩形区域20g对应的置信度为0.92，二维位置坐标为：(130,120)、(155,120)、(130,150)、(155,150)，目标属性类型P2。至此，确定了图像20a中交通标识牌在图像中的二维位置坐标，以及该交通标识牌的目标属性类型。
识别图像中对象的属性类型以及确定该对象在图像中的位置属于目标检测范畴内，目标检测算法分为深度学习中的one-stage框架和two-stage框架。One-stage框架下的算法包括：YOLO(You Only Look Once，回归目标检测)、SSD(Single Shot MultiBoxDetector，单点多盒检测器)等。two-stage框架下的算法包括：RCNN(Regions with CNN，区域卷积神经网络)，FAST RCNN(快的区域卷积神经网络)、FASTER RCNN(更快的区域卷积神经网络)等。训练检测模型时，首先对训练样本图像进行标注，包括对对象(交通标识牌)的位置、属性类型等信息进行标注。然后利用标注好的样本图像对深度神经网络模型进行训练，待模型收敛并达到一定精度时保存模型，该保存下来的模型就是检测模型20b。
如图1c所示，为了自动地在三维地图中标识交通标识牌的属性类型，需要获取交通标识牌在三维地图中的三维位置坐标，可以通过三维激光扫描仪获取到的三维点云20d和图像20a进行配准，得到三维点云20d和图像20a中所有像素点之间的映射关系。该映射关系可以将图像20a中的任意一个像素点的二维坐标映射为三维坐标。根据该映射关系，可以获取矩形区域20f的二维位置坐标所在像素点对应的三维坐标，称为目标三维位置坐标，目标三维位置坐标也可以被看作是交通标识牌在三维地图中的三维位置坐标。类似地，根据该映射关系，可以获取矩形区域20g的二维位置坐标所在像素点对应的三维坐标。上述是通过一张图像以及该图像对应的三维点云确定了该图像中交通标识牌的目标三维位置坐标。若拍摄了多张包含交通标识牌的图像以及扫描了多个与图像对应的三维点云(可以是在同一路段获取到的图像和三维点云，也可以是在不同路段获取到的图像和三维点云)，那么可以采用上述方法确定不同图像中交通标识牌的目标三维位置坐标。后续可以对多个目标三维位置坐标进行聚合，最后将聚合后得到的三维坐标在三维地图中对应的区域作为设置区域，并为设置区域中的交通标识牌设置对应的目标属性类型。如图1d所示，在三维地图20e中，存在两个设置区域：区域20x和区域20y，其中区域20x是对应于图像20a中矩形区域20f在三维地图中的设置区域；区域20y是对应于图像20a中矩形区域20g在三维地图中的设置区域。为区域20x设置目标属性类型P1，为区域20y设置目标属性类型P2。
当三维地图中的交通标识牌设置完毕后，可以应用于辅助自动驾驶车辆作出合理的行驶规划和决策。如图1e所示，自动驾驶车辆30a行驶在马路上，根据自动驾驶车辆30a当前的位置和行驶方向，在三维地图中查询到当前路段存在2个交通标识牌，且属性类型分别为p1(指示直行)和p2(指示右转)。为了提高规划行驶路线的准确率，自动驾驶车辆30a可以对当前路段拍摄包含交通标识牌的图像，并对图像中的交通标识牌的属性类型进行实时地识别。根据查询到的交通标识牌的属性类型以及实时识别的交通标识牌的属性类型，自动驾驶车辆30a下一步规划的路线可以是继续直行，或者遇到下一个十字路口右转。
在为地图中的对象(交通标识牌)设置属性类型过程中，不论是识别属性类型、查找对象所在区域或者是标记对象属性类型均是由终端自动完成，而不存在任何人工参与，可以提高在地图中标记对象属性类型的效率。
其中，检测图像中目标对象(如上述实施例图1a-图1d实施例中的交通标识牌)的二维位置坐标，获取目标对象的三维位置坐标的具体过程可以参见以下图2至图4所对应的实施例。
进一步地，请参见图2，是本发明实施例提供的一种图像处理方法的流程示意图。如图2所示，所述图像处理方法可以包括：
步骤S101，获取包含目标对象的目标图像，识别所述目标对象在所述目标图像中的目标二维位置坐标以及与所述目标对象对应的目标属性类型。
具体的，为了在三维地图中为对象(例如，交通标识牌、车道线等)设置属性类型(即构建高精度地图，由于高精度地图是指高精度、精细化定义的地图，因此可以将包含对象以及对应属性类型的三维地图数据称为高精度地图。)以中国地图为例，且该中国地图是包括道路网数据的三维地图，在上述中国地图中为各城市各道路中的每个交通标识牌、每条车道线等设置对应的属性类型，设置完成后得到的地图可以称为中国高精度地图，当然设置的对象种类越丰富，那么该中国高精度地图就越精确。可以将由不同的前端设备将采集的原始数据发送至后台服务器，由服务器统一对原始数据进行识别，进而构建高精度地图。或者是由前端设备直接将采集到的原始数据进行处理，将处理后的结果发送至后台服务器，由后台服务器将多个处理后的结果进行拼接，用于构建高精度地图。下述是由服务器识别一张图像(称为目标图像)中所包含的对象的属性类型，并构建局部高精度地图的具体过程。当然可以采用相同的方式，为三维地图数据中各个区域的对象设置对应的属性类型。
服务器获取待识别的图像，称为目标图像(如上述实施例图1a实施例中的图像20a)，该目标图像中包括目标对象(如上述实施例图1a实施例中的交通标识牌)，其中目标对象可以是交通标识牌、车道线、红绿灯等。服务器基于训练完成的目标检测模型(如上述实施例图1b实施例中的检测模型20b)，识别出目标对象在目标图像中的位置坐标(称为目标二维位置坐标)，以及识别出该目标对象的属性类型(称为目标属性类型)，其中目标二维位置坐标包括4个二维顶点坐标，4个二维顶点坐标可以表示为：在目标图像中，目标对象所在矩形区域的4个顶点的顶点坐标(顶点坐标包括：顶点横坐标和顶点纵坐标)。目标对象可以对应多种属性类型，例如，当目标对象是交通标识牌时，属性类型可以包括：车辆警告属性类型、行人警告属性类型、禁止属性类型、指示属性类型、指路属性类型、道路施工属性类型等，甚至可以对上述属性类型进一步细分，例如将车辆警告属性类型细分为：车辆限高属性类型、车辆限速属性类型、车辆限重属性类型等；可以将指路属性类型细分为：向左指路属性类型、向右指路属性类型等。当目标对象是车道线时，属性类型可以包括：直行属性类型、掉头属性类型等。
基于目标检测模型，服务器识别出目标对象在目标图像中的目标二维位置坐标，以及识别出目标对象的目标属性类型的具体过程可以是：首先服务器需要将目标图像的尺寸调整至预设尺寸，再将目标图像划分为多个尺寸相同的子图，称为目标子图。服务器将整个目标图像输入目标检测模型中的输入层，基于目标检测模型中的卷积层，对目标图像进行卷积处理。其中，卷积层包括正向卷积层和逆向卷积层，正向卷积层执行的是正向卷积处理(正向卷积处理后卷积特征图(feature map)的数量增多，但每一个卷积特征图的尺寸变小，卷积特征图是卷积特征信息组合而成的图像)，逆向卷积层执行的是反向卷积处理(反向卷积处理后卷积特征图的数量减少，但每一个卷积特征图的尺寸变大)。在目标检测模型中，按照执行顺序，起始是多个正向卷积层，最后是逆向卷积层。在所有正向卷积层中，将位于顶部的正向卷积层(最后一个正向卷积层)称为第二卷积层，将与第二卷积层相邻的正向卷积层称为第一卷积层，或者说在所有正向卷积层中除第二卷积层以外的都是第一卷积层，其中第一卷积层的数量不限，但第二卷积层的数量为1，且逆向卷积层的数量也为1。
服务器基于目标检测模型中的第一卷积层对目标图像进行正向卷积处理，即随机选取目标图像中的一小部分特征信息作为样本(卷积核)，将这个样本作为一个窗口依次滑过所有的目标图像，也就是上述样本和目标图像做卷积运算，从而获得目标图像中的关于目标对象的卷积特征信息，由于在逻辑上将目标图像划分为多个目标子图，获得的是每个目标子图中关于目标对象的卷积特征信息，称为与每个目标子图对应的第一卷积特征信息。类似地，服务器基于目标检测模型中的第二卷积层对所有目标子图对应的第二卷积特征信息进行正向卷积处理，获得的是每个目标子图对应的第二卷积特征信息。第二卷积特征信息相比第一卷积特征信息而言，具有目标对象更深层次的特征。服务器基于目标检测模型中的逆向卷积层对所有目标子图对应的第二卷积特征信息进行反向卷积处理，获得的是每个目标子图对应的第三卷积特征信息。可以知道，由第三卷积特征信息组合而成的卷积特征图和由第一卷积特征信息组合而成的卷积特征图具有相同的尺寸。对每个目标子图对应的第一卷积特征信息和每个目标子图对应的第三卷积特征信息而言，服务器将属于同一个目标子图的第一卷积特征信息和第三卷积特征信息进行连接操作，将连接操作后的结果作为每个目标子图对应的目标卷积特征信息，例如：目标子图A对应的第一卷积特征信息尺寸为：120*120*30，表示30张卷积特征图，每张卷积特征图的尺寸为120*120。目标子图A对应的第三卷积特征信息尺寸为：120*120*30，那么连接操作后，目标子图A对应的目标卷积特征信息尺寸为：120*120*60。目标卷积特征信息中包括了正向卷积对应的特征和反向卷积对应的特征，对尺寸较小的目标对象具有更好的感知能力。
确定了每个目标子图对应的目标卷积特征信息后，服务器识别目标二维位置坐标以及目标属性类型，下述以一个目标子图对应的目标卷积特征信息为例进行说明。服务器识别目标卷积特征信息和目标检测模型中多种属性类型之间的匹配概率，识别出来的匹配概率的数量和目标检测模型中属性类型的数量相同。服务器识别目标特征信息对应的位置坐标，将识别出来的位置坐标在目标图像中的区域作为第一区域，将最大匹配概率确定为该第一区域对应的置信度，并将最大匹配概率对应的属性类型作为第一区域对应的属性类型。例如，识别出目标卷积特征信息A与目标检测模型中的属性类型1的匹配概率为0.8；目标卷积特征信息A与目标检测模型中的属性类型2的匹配概率为0.2；目标卷积特征信息A与目标检测模型中的属性类型3的匹配概率为0.15，且与目标卷积特征信息A对应的位置坐标为：(50,60)、(50,100)、(90,60)、(90,100)，其中位置坐标“(50,60)”、“(50,100)”、“(90,60)”、“(90,100)”分别表示4个顶点坐标，每个顶点坐标包括：横坐标和纵坐标。在目标图像中，将顶点坐标分别为(50,60)、(50,100)、(90,60)、(90,100)的矩形区域确定为第一区域，该第一区域对应的置信度为0.8，且该第一区域对应的属性类型为属性类型1。从置信度从概率上来说时：在目标图像中，顶点坐标分别为(50,60)、(50,100)、(90,60)、(90,100)的第一区域中包含属性类型为1的目标对象的概率为0.8。对多个目标子图而言，每个目标子图都存在与之对应的第一区域、第一区域的置信度以及第一区域的属性类型。
接下来服务器对识别出来的结果进行过滤。服务器将置信度大于置信度阈值的第一区域确定为第二区域，当然将置信度小于或者等于置信度阈值的第一区域进行删除，不必参与后续的运算。服务器将第二区域对应的位置坐标确定为目标二维位置坐标，并将第二区域对应的属性类型确定为目标属性类型。上述可知，即使目标图像中包括多个不同属性类型的目标对象，基于目标检测模型可以一次性地检测出同一个目标图像中多个目标对象分别对应的目标属性类型。
请参见图3，是本发明实施例提供的一种识别目标属性类型的结构示意图。将包含目标对象的目标图像30a输入目标检测模型30m中。目标检测模型30m中按照执行顺序，包括2个第一卷积层、1个第二卷积层以及一个逆向卷积层，且第一卷积层和第二卷积层执行正向卷积操作，逆向卷积层执行反向卷积操作。
服务器基于目标检测模型30m中的第一卷积层对目标图像30a进行正向卷积处理，可以得到所有目标子图分别对应的浅层卷积特征信息，称为第一卷积特征信息30c；服务器基于目标检测模型30m中的第一卷积层对所有目标子图分别对应的第一卷积特征信息30c进行正向卷积处理，可以得到所有目标子图分别对应的较深层次的卷积特征信息，称为第一卷积特征信息30d；服务器基于目标检测模型30m中的第二卷积层对所有目标子图分别对应的第一卷积特征信息30d正向卷积处理，可以得到所有目标子图分别对应的深层次的卷积特征信息，称为第二卷积特征信息30e；服务器基于目标检测模型30m中的逆向卷积层对所有目标子图分别对应的第二卷积特征信息30e的反向卷积处理，可以得到所有目标子图分别对应的更深层次的卷积特征信息，称为第三卷积特征信息30f。在第一卷积特征信息30d和第三卷积特征信息30f中，服务器将属于同一个目标子图的第一卷积特征信息和第三卷积特征信息进行拼接，得到所有目标子图分别对应的目标卷积特征信息30g，由于目标卷积特征信息是正向卷积和反向卷积连接而来的，对较小的目标对象也具有很好的感知能力。
对每个目标子图而言，服务器识别目标子图对应的目标卷积特征信息与多种属性类型之间的匹配概率30h，匹配概率的数量和属性类型的数量相同。以及服务器识别与目标子图对应的目标卷积特征信息的位置坐标30k，该位置坐标表示一个矩形区域的4个顶点坐标。将该位置坐标在目标图像30a中对应的区域称为第一区域，服务器将最大匹配概率对应的属性类型作为第一区域对应的属性类型，并将最大匹配概率作为第一区域对应的置信度。根据置信度对多个第一区域筛选后，在图像30a中标识出筛选后的区域30b、标识出区域30b对应的目标属性类型：F1，以及标识出区域30b对应的置信度0.85。为了方便用户观察，还可以将区域30b的尺寸“20×17”一并在目标图像30a中标识出来。
步骤S102，获取与所述目标图像相关联的目标三维点云，根据所述目标三维点云与所述目标图像中所有像素点之间的映射关系，获取处于所述目标二维位置坐标的像素点对应的三维位置坐标，并将获取的三维位置坐标作为目标三维位置坐标。
具体的，服务器获取与目标图像相关联的三维点云(如上述实施例图1a实施例中的三维点云20d)，称为目标三维点云。目标三维点云的获取方式可以是：当前端设备中的照相机拍摄目标图像时，同时激光扫描仪也扫描一幅当前场景的三维点云，这样可以保证目标图像和目标三维点云是在相同场景、相同角度，但类型不同的数据，当然照相机和激光扫描仪的摆放位置要一致，并将获取到的数据一并发送至服务器。为了建立目标三维点云和目标图像之间的映射关系，服务器可以首先将目标三维点云投影为一幅图像，由投影出来的图像作为中介，建立目标三维点云和目标图像之间的映射关系。具体过程为：服务器将目标三维点云中的每个离散点垂直投影到像平面(xoy平面)得到垂直角，类似的，将目标三维点云中的每个离散点水平投影到像平面得到水平角。将投影得到的水平角和垂直角作为采样值，根据目标三维点云对应的指像元数值，对上述采样值进行采样。服务器对采用得到的采样值进行量化，即是光谱反射能量转换强度向量、深度向量或者是法向量等，可以得到目标三维点云对应投影图像，称为辅助图像。上述采样是为了减少计算量，也可以不进行采样，直接就对所有的采样值进行量化，得到辅助图像。基于Moravec算子，或者Forstner算子等，分别在辅助图像和目标图像中提取特征点，根据提取出来的特征点确定上述两幅图像之间的同名点。最后服务器将同名点作为控制点可以建立目标三维点云和目标图像中所有像素点之间的映射关系，也即是服务器根据建立的映射关系，目标图像中的所有像素点在目标图像中的二维坐标都存在与之对应的三维位置坐标。根据映射关系，服务器将处于目标二维位置坐标的像素点对应的三维位置坐标确定为目标三维位置坐标，该目标三维位置坐标即是在三维地图数据中，目标对象所在区域的三维位置坐标。
步骤S103，根据所述目标三维位置坐标在三维地图数据中确定设置区域，为所述设置区域中的所述目标对象设置所述目标属性类型。
具体的，为了提高三维地图数据中设置区域的精度，服务器可以将不同图像中关于对象的三维位置坐标进行聚合。为了和目标图像进行区分，将包含参考对象的图像称为参考图像，且参考对象和目标对象具有相同领域的属性类型，例如，当领域属性类型是交通标识牌时，将包含交通标识牌(交通标识牌的具体类型不作限定)，且除目标图像以外的图像称为参考图像，并将目标图像和参考图像组成的集合称为图像集合。又例如，在道路上拍摄交通标识牌时，将与交通标识牌A水平距离20米时拍摄的图像称为目标图像，将与交通标识牌A水平距离10米时拍摄的图像称为参考图像。对应地，服务器将参考对象在三维地图数据中的三维位置坐标称为参考三维位置坐标，其中计算参考三维位置坐标的具体过程可以参见图2所对应实施例中计算目标三维位置坐标的步骤S101-步骤S102。服务器将目标三维位置坐标和参考三维位置坐标进行重合度比较，即是计算目标三维位置坐标和参考三维位置坐标之间的相似性，若相似性小于相似性阈值，则说明重合度结果满足重合误差条件，并将满足重合误差条件的目标三维位置坐标和参考三维位置坐标进行聚合处理。聚合处理后得到的三维位置坐标称为聚合三维位置坐标；若满足重合误差条件的参考三维位置坐标有多个，那么将多个参考三维位置坐标和目标三维位置坐标均进行聚合处理，同样得到聚合三维位置坐标。在三维地图数据中，服务器将聚合三维位置坐标对应的区域作为设置区域。确定了设置区域后，可以为设置区域中的目标对象设置目标属性类型。上述可知，聚合处理的前提是目标三维位置坐标和参考三维位置坐标之间的具有较高的相似性，即目标三维位置坐标和参考三维位置坐标对应的是三维地图数据中同一个位置的对象。为了降低计算量，服务器可以首先对参考图像进行筛选。在参考图像中，服务器将那些拍摄时间和目标图像的拍摄时间相近的参考图像对应的参考三维位置坐标和目标三维位置坐标进行相似度计算，或者服务器将那些参考图像和目标图像具有相同场景信息的参考图像对应的参考三维位置坐标和目标三维位置坐标进行相似度计算，相反地对那些拍摄时间间隔较远得参考图像的参考三维位置坐标，或者场景信息差异很大的参考图像的参考三维位置坐标就不必参与后续运算。
若目标三维位置坐标和参考三维位置坐标之间的相似性大于或者等于相似性阈值，则说明重合度结果不满足重合误差条件，在三维地图数据中，服务器将目标三维位置坐标对应的区域作为设置区域。确定了设置区域后，服务器可以为设置区域中的目标对象设置目标属性类型。
当然，若不存在参考图像，即图像集合中仅仅包括目标图像，那么服务器可以在三维地图数据中，直接将目标三维位置坐标对应的区域作为设置区域，并为设置区域中的目标对象设置目标属性类型。若目标图像存在多个与之对应的目标三维位置信息，那么服务器将每个目标三维位置信息在三维地图数据中的区域均作为设置区域，并分别为每个设置区域中的目标对象设置对应的目标属性类型。
上述步骤S101-步骤S103是由服务器识别图像中对象的属性类型，再由服务器为三地图数据中的对象设置属性类型，用于构建高精度地图，其中高精度地图是标识出道路中的交通要素以及对应属性类型的三维地图数据，设置的交通要素种类越丰富，高精度地图的精度就越高。也可以由前端设备来执行步骤S101-步骤S103，即前端设备直接识别所采集到的图像中对象的属性类型，再由前端设备为三维地图数据中的对象设置属性类型。由于前端设备设置的是部分三维地图数据中的对象的属性类型，后续可以将多个前端设备设置完毕的部分三维地图数据发送至服务器，由服务器将多个包含对象属性类型的部分三维地图数据组合为一个完整的高精度地图。
本发明实施例通过获取包含目标对象的目标图像，识别目标对象在目标图像中的目标二维位置坐标以及与目标对象对应的目标属性类型；获取与目标图像相关联的目标三维点云，根据目标三维点云与目标图像中所有像素点之间的映射关系，获取处于目标二维位置坐标的像素点对应的三维位置坐标，并将获取的三维位置坐标作为目标三维位置坐标；根据目标三维位置坐标在三维地图数据中确定设置区域，为设置区域中的目标对象设置目标属性类型。上述可知，自动地在包含对象的图像中识别出对象的属性类型，同时，根据对象在图像中的二维坐标以及三维点云数据，可以自动化地确定对象在地图中的三维位置坐标，进而在三维位置坐标所在的区域设置对象的属性类型。因此在为地图中的对象设置属性类型过程中，不论是识别属性类型、查找对象所在区域或者是标记对象属性类型均是由终端自动完成，而不存在任何人工参与，可以提高在地图中标记对象属性类型的效率。
进一步地，请参见图4，是本发明实施例提供的一种另图像处理方法的流程示意图。如图4所示，图像处理方法可以包括：
步骤S201，获取包含目标对象的目标图像，识别所述目标对象在所述目标图像中的目标二维位置坐标以及与所述目标对象对应的目标属性类型。
步骤S202，获取与所述目标图像相关联的目标三维点云，根据所述目标三维点云与所述目标图像中所有像素点之间的映射关系，获取处于所述目标二维位置坐标的像素点对应的三维位置坐标，并将获取的三维位置坐标作为目标三维位置坐标。
其中，步骤S201-步骤S203的具体实现方式可以参见上述图2所对应实施例中的步骤S101-步骤S102。
步骤S203，将所述目标三维位置坐标与图像集合中的参考图像对应的参考三维位置坐标进行重合度比较；所述图像集合包括所述目标图像和所述参考图像；所述参考三维位置坐标是指在所述三维地图数据中所述参考图像中的参考对象对应的三维位置坐标；所述参考对象和所述目标对象具有相同领域的属性类型。
具体的，若存在包含参考对象的参考图像，且参考对象对应的三维位置坐标称为参考三维位置坐标，则服务器将参考三维位置坐标和目标三维位置坐标进行重合度比较。若目标三维位置坐标和参考三维位置坐标之间的相似性小于相似性阈值，说明重合度结果满足重合误差条件；若目标三维位置坐标和参考三维位置坐标之间的相似性大于或者等于相似性阈值，说明重合度结果不满足重合误差条件。若重合度比较结果满足重合误差条件，则执行步骤S204；若重合度比较结果不满足重合误差条件，则执行步骤S205。其中，参考对象和目标图像具有相同领域的属性类型，例如，当领域属性类型是红绿灯时，将包含红绿灯，且除目标图像以外的图像称为参考图像。
若不存在参考图像，那么直接将目标三维位置坐标在三维地图数据中的区域作为设置区域，并在设置区域设置目标对象的属性类型。
步骤S204，若重合度比较结果满足重合误差条件，则将所述目标三维位置坐标和所述参考三维位置坐标进行聚合处理，得到聚合三维位置坐标，并在所述三维地图数据中，将所述聚合三维位置坐标对应的区域作为所述设置区域，为所述设置区域中的所述目标对象设置所述目标属性类型。
具体的，若重合度比较结果满足重合误差条件，则服务器将目标三维位置坐标和参考三维位置坐标均确定为辅助三维位置坐标，并将所有的辅助三维位置坐标组合为集合，称为辅助三维位置坐标集合。在辅助三维位置坐标集合中，服务器任意提取一对辅助三维位置坐标，分别作为第一位置坐标和第二位置坐标。服务器对第一位置坐标和第二位置坐标进行聚合处理，处理后得到的坐标称为第三位置坐标。服务器检测辅助三维位置坐标集合是否为空集，若不是空集，从辅助三维位置坐标集合中提取下一个辅助三维位置坐标作为第一位置坐标，将聚合处理的得到的第三位置坐标确定为第二位置坐标，再从对最新的第一位置坐标和最新的第二位置坐标进行聚合处理，再次得到第三位置坐标。服务器再检测辅助三维位置坐标集合是否为空集，若不是空集，再从辅助三维位置坐标集合中提取下一个辅助三维位置坐标作为第一位置坐标，服务器将最新的第三位置坐标确定为第二位置坐标，对第一位置坐标和第二位置坐标再次进行聚合处理，再次得到第三位置坐。不断地循环，当检测到辅助三维位置坐标集合为空集时，停止循环，并将最后一次循环得到的第三位置坐标确定为聚合三维位置坐标。上述可知，循环完毕后，聚合三维位置坐标的数量为1。在三维地图数据中，将聚合三维位置坐标对应的区域作为所述设置区域，为设置区域中的目标对象设置目标属性类型。
服务器将第一位置坐标和第二位置坐标进行聚合处理，得到第三位置坐标的具体过程是：服务器将第一位置坐标对应的二维位置坐标对应的第二区域的置信度确定为第一置信度，将第二位置坐标对应的二维位置坐标对应的第二区域的置信度确定为第二置信度。若第一置信度和第二置信度之间的差异值大于预设的第一目标差异值，则服务器在第一置信度和第二置信度中，将置信度较大对应的辅助三维位置坐标确定为第三位置坐标，即是若第一置信度较大，则服务器将第一位置坐标确定为第三位置坐标，相反若第二置信度较大，则将第二位置坐标确定为第三位置坐标。
若第一置信度和第二置信度之间的差异值小于或者等于预设的第一目标差异值，则服务器根据第一位置坐标对应的第二区域的目标属性类型(或者第二位置坐标对应的第二区域的目标属性类型，由于第一位置坐标和第二位置坐标之间的重合度是满足重合误差条件的，所以第一位置坐标和第二位置坐标对应三维地图数据中同一个位置的对象，第一位置坐标对应的第二区域的属性类型和第二位置坐标对应的第二区域的属性类型相同)，确定该目标属性类型对象的形状，称为目标形状。例如，当目标对象是交通标识牌时，警告属性类型对应的形状是三角形；禁止属性类型对应的形状是圆形；指路属性类型对应的形状是长方形等。服务器将第一位置坐标对应的第二区域的形状确定为第一形状，将第二位置坐标对应的第二区域的形状确定为第二形状。服务器检测第一形状和第二形状之间的形状差异值，称为第一形状差异值，若该第一形状差异值小于预设的第二目标差异值，则合并第一位置坐标和第二位置坐标，得到第三位置坐标，该第三位置坐标在三维地图设置区域中对应的区域包含了第一位置坐标在三维地图数据中的区域以及第二位置坐标在三维地图数据中的区域，为了使第三位置坐标更加精确，该第三位置坐标在三维地图数据中对应的区域不仅包含了第一位置坐标在三维地图数据中的区域以及第二位置坐标在三维地图数据中的区域，而且第三位置坐标对应的是最小包含第一位置坐标对应的区域和第二位置坐标对应区域的区域。若第一形状差异值大于或者等于预设的第二目标差异值，则服务器分别比较目标形状和第一形状之间的第二形状差异值，以及目标形状和第二形状之间的第二形状差异值，将第二形状差异值较小的辅助三维位置坐标确定为第三位置坐标，即是若目标形状和第一形状之间的第二形状差异值较小，那么将第一位置坐标确定为第三位置坐标；是若目标形状和第二形状之间的第二形状差异值较小，那么将第二位置坐标确定为第三位置坐标。
步骤S205，若重合度比较结果不满足重合误差条件，则在所述三维地图数据中，将所述目标三维位置坐标对应的区域作为所述设置区域，为所述设置区域中的所述目标对象设置所述目标属性类型。
具体的，若重合度比较结果不满足重合误差条件，则在三维地图数据中，将目标三维位置坐标对应的区域作为设置区域，并为设置区域中的目标对象设置目标属性类型。
上述可知，自动地在包含对象的图像中识别出对象的属性类型，同时，根据对象在图像中的二维坐标以及三维点云数据，可以自动化地确定对象在地图中的三维位置坐标，进而在三维位置坐标所在的区域显示对象的属性类型。在为地图中的对象设置属性类型过程中，不论是识别属性类型、查找对象所在区域或者是标记对象属性类型均是由终端自动完成，而不存在任何人工参与，可以提高在地图中标记对象属性类型的效率。
进一步的，请参见图5，是本发明实施例提供的一种图像处理装置的结构示意图，该图像处理装置可以应用于图2-图4所对应实施例中的服务器，或者应用于图2所对应实施例中的前端设备。如图5所示，图像处理装置1可以包括：获取模块11、识别模块12、第一确定模块13、第二确定模块14。
获取模块11，用于获取包含目标对象的目标图像；
识别模块12，用于识别所述目标对象在所述目标图像中的目标二维位置坐标以及与所述目标对象对应的目标属性类型；
所述获取模块11，还用于获取与所述目标图像相关联的目标三维点云；
第一确定模块13，用于根据所述目标三维点云与所述目标图像中所有像素点之间的映射关系，获取处于所述目标二维位置坐标的像素点对应的三维位置坐标，并将获取的三维位置坐标作为目标三维位置坐标；
第二确定模块14，用于根据所述目标三维位置坐标在三维地图数据中确定设置区域；
所述获取模块11，还用于为所述设置区域中的所述目标对象设置所述目标属性类型。
其中，获取模块11、识别模块12、第一确定模块13、第二确定模块14的具体功能实现方式可以参见上述图2对应实施例中的步骤S101-步骤S103，这里不再进行赘述。
请参见图5，识别模块12可以包括：划分单元121、确定单元122、识别单元123。
划分单元121，用于将所述目标图像划分为多个目标子图；
确定单元122，用于基于目标检测模型中的卷积层对所述目标图像进行卷积处理，得到与每个目标子图对应的目标卷积特征信息；
识别单元123，用于识别所述目标卷积特征信息和所述目标检测模型中多种属性类型之间的匹配概率，并识别与所述目标卷积特征信息对应的位置坐标，将在所述目标图像中与所述位置坐标对应的区域作为第一区域；所述多种属性类型是与所述目标对象相关联的类型；
所述识别单元123，还用于将最大匹配概率确定为与所述第一区域对应的置信度，并将所述最大匹配概率对应的属性类型作为与所述第一区域对应的属性类型；
所述识别单元123，还用于将置信度大于置信度阈值的第一区域确定为第二区域，将所述第二区域对应的位置坐标确定为所述目标二维位置坐标，并将所述第二区域对应的属性类型确定为与所述目标对象对应的目标属性类型。
其中，划分单元121、确定单元122、识别单元123的具体功能实现方式可以参见上述图2对应实施例中的步骤S101，这里不再进行赘述。
请参见图5，所述卷积层包括：正向卷积层和逆向卷积层；所述正向卷积层包括第一卷积层和第二卷积层；所述第二卷积层是位于正向卷积层顶部的卷积层，所述第一卷积层是与所述第二卷积层相邻的正向卷积层；
确定单元122可以包括：正向卷积子单元1221、逆向卷积子单元1222、连接子单元1223。
正向卷积子单元1221，用于基于所述第一卷积层对所述目标图像进行正向卷积处理，得到与每个目标子图对应的第一卷积特征信息；
所述正向卷积子单元1221，还用于基于所述第二卷积层对所述第一卷积特征信息进行正向卷积处理，得到与每个目标子图对应的第二卷积特征信息；
逆向卷积子单元1222，用于基于所述逆向卷积层对所述第二卷积特征信息进行反向卷积处理，得到与每个目标子图对应的第三卷积特征信息；
连接子单元1223，用于连接属于同一个目标子图的第一卷积特征信息和第三卷积特征信息，得到与所述每个目标子图对应的所述目标卷积特征信息。
其中，正向卷积子单元1221、逆向卷积子单元1222、连接子单元1223的具体功能实现方式可以参见上述图2对应实施例中的步骤S101，这里不再进行赘述。
请参见图5，第一确定模块13可以包括：采样单元131、查找单元132。
采样单元131，用于将所述目标三维点云中的水平角和垂直角作为采样值，根据与所述目标三维点云对应的指像元数值，对所述采样值进行采样，并对采样后的采样值进行量化，得到与所述目标三维点云对应的辅助图像；
查找单元132，用于在所述目标图像和所述辅助图像中查找同名点，根据所述同名点建立所述目标三维点云与所述目标图像中所有像素点之间的映射关系；
所述查找单元132，还用于根据所述映射关系，将处于所述目标二维位置坐标的像素点对应的三维位置坐标作为所述目标三维位置坐标。
其中，采样单元131、查找单元132的具体功能实现方式可以参见上述图2对应实施例中的步骤S102，这里不再进行赘述。
请参见图5，第二确定模块14可以包括：比较单元141、聚合单元142。
比较单元141，用于将所述目标三维位置坐标与图像集合中的参考图像对应的参考三维位置坐标进行重合度比较；所述图像集合包括所述目标图像和所述参考图像；所述参考三维位置坐标是指在所述三维地图数据中所述参考图像中的参考对象对应的三维位置坐标；所述参考对象和所述目标对象具有相同领域的属性类型；
聚合单元142，用于若重合度比较结果满足重合误差条件，则将所述目标三维位置坐标和所述参考三维位置坐标进行聚合处理，得到聚合三维位置坐标，并在所述三维地图数据中，将所述聚合三维位置坐标对应的区域作为所述设置区域；
所述比较单元141，还用于若重合度比较结果不满足重合误差条件，则在所述三维地图数据中，将所述目标三维位置坐标对应的区域作为所述设置区域。
其中，比较单元141、聚合单元142的具体功能实现方式可以参见上述图4对应实施例中的步骤S203-步骤S205，这里不再进行赘述。
请参见图5，聚合单元142可以包括：组合子单元1421、提取子单元1422、聚合子单元1423、通知子单元1424。
组合子单元1421，用于将所述目标三维位置坐标和所述参考三维位置坐标均确定为辅助三维位置坐标，并将所述辅助三维位置坐标组合为辅助三维位置坐标集合；
提取子单元1422，用于在所述辅助三维位置坐标集合中，提取一对辅助三维位置坐标，分别作为第一位置坐标和第二位置坐标；
聚合子单元1423，用于对所述第一位置坐标和所述第二位置坐标进行聚合处理，得到第三位置坐标；
通知子单元1424，用于从所述辅助三维位置坐标集合中提取下一个辅助三维位置坐标，作为所述第一位置坐标，并将所述第三位置坐标确定为所述第二位置坐标，通知所述聚合子单元执行相应操作，直至当所述辅助三维位置坐标集合为空集时，将最后一次循环得到的第三位置坐标确定为所述聚合三维位置坐标。
其中，组合子单元1421、提取子单元1422、聚合子单元1423、通知子单元1424的具体功能实现方式可以参见上述图4对应实施例中的步骤S204，这里不再进行赘述。
请参见图5，聚合子单元1423可以包括：第一确定子单元14231、第二确定子单元14232。
第一确定子单元14231，用于将所述第一位置坐标对应的第二区域的置信度确定为第一置信度，并将所述第二位置坐标对应的第二区域的置信度确定为第二置信度；
所述第一确定子单元14231，还用于若所述第一置信度和所述第二置信度之间的差异值大于第一目标差异值，则在所述第一置信度和所述第二置信度中，将置信度较大者对应的辅助三维位置坐标确定为所述第三位置坐标；
所述第一确定子单14231元，还用于若所述第一置信度和所述第二置信度之间的差异值小于或等于所述第一目标差异值，则根据所述第一位置坐标对应的第二区域的目标属性类型，确定目标形状；
第二确定子单元14232，用于根据所述目标形状、所述第一位置坐标和所述第二位置坐标，确定所述第三位置坐标。
其中，第一确定子单元14231、第二确定子单元14232的具体功能实现方式可以参见上述图4对应实施例中的步骤S204，这里不再进行赘述。
请参见图5，第二确定子单元14232可以包括：第三确定子单元142321、检测子单元142322。
第三确定子单元142321，用于根据所述第一位置坐标确定第一形状，并根据所述第二位置坐标确定第二形状；
检测子单元142322，用于检测所述第一形状和所述第二形状之间的第一形状差异值；
所述第三确定子单元142321，还用于若所述第一形状差异值小于第二目标差异值，则合并所述第一位置坐标和所述第二位置坐标，得到所述第三位置坐标；所述第三位置坐标在所述三维地图数据中的区域包含所述第一位置坐标在所述三维地图数据中的区域和所述第二位置坐标在所述三维地图数据中的区域；
所述第三确定子单元142321，还用于若所述第一形状差异值大于或等于所述第二目标差异值，则分别比较所述目标形状与所述第一形状和所述第二形状之间的第二形状差异值，将第二形状差异值较小者对应的辅助三维位置坐标作为所述第三位置坐标。
其中，第三确定子单元142321、检测子单元142322的具体功能实现方式可以参见上述图4对应实施例中的步骤S204，这里不再进行赘述。
本发明实施例通过获取包含目标对象的目标图像，识别目标对象在目标图像中的目标二维位置坐标以及与目标对象对应的目标属性类型；获取与目标图像相关联的目标三维点云，根据目标三维点云与目标图像中所有像素点之间的映射关系，获取处于目标二维位置坐标的像素点对应的三维位置坐标，并将获取的三维位置坐标作为目标三维位置坐标；根据目标三维位置坐标在三维地图数据中确定设置区域，为设置区域中的目标对象设置目标属性类型。上述可知，自动地在包含对象的图像中识别出对象的属性类型，同时，根据对象在图像中的二维坐标以及三维点云数据，可以自动化地确定对象在地图中的三维位置坐标，进而在三维位置坐标所在的区域设置对象的属性类型。因此在为地图中的对象设置属性类型过程中，不论是识别属性类型、查找对象所在区域或者是标记对象属性类型均是由终端自动完成，而不存在任何人工参与，可以提高在地图中标记对象属性类型的效率。
进一步地，请参见图6，是本发明实施例提供的一种电子设备的结构示意图。如图6所示，上述图6中的图像处理装置1可以应用于所述电子设备1000，所述电子设备1000可以包括：处理器1001，网络接口1004和存储器1005，此外，所述电子设备1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图6所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
电子设备1000可以为上述图2-图4所对应实施例中的服务器，或者也可以为上述图2所对应实施例中的前端设备，在图6所示的电子设备1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现：
获取包含目标对象的目标图像，识别所述目标对象在所述目标图像中的目标二维位置坐标以及与所述目标对象对应的目标属性类型；
获取与所述目标图像相关联的目标三维点云，根据所述目标三维点云与所述目标图像中所有像素点之间的映射关系，获取处于所述目标二维位置坐标的像素点对应的三维位置坐标，并将获取的三维位置坐标作为目标三维位置坐标；
根据所述目标三维位置坐标在三维地图数据中确定设置区域，为所述设置区域中的所述目标对象设置所述目标属性类型。
在一个实施例中，所述处理器1001在执行识别所述目标对象在所述目标图像中的目标二维位置坐标以及与所述目标对象对应的目标属性类型时，具体执行以下步骤：
将所述目标图像划分为多个目标子图，基于目标检测模型中的卷积层对所述目标图像进行卷积处理，得到与每个目标子图对应的目标卷积特征信息；
识别所述目标卷积特征信息和所述目标检测模型中多种属性类型之间的匹配概率，并识别与所述目标卷积特征信息对应的位置坐标，将在所述目标图像中与所述位置坐标对应的区域作为第一区域；所述多种属性类型是与所述目标对象相关联的类型；
将最大匹配概率确定为与所述第一区域对应的置信度，并将所述最大匹配概率对应的属性类型作为与所述第一区域对应的属性类型；
将置信度大于置信度阈值的第一区域确定为第二区域，将所述第二区域对应的位置坐标确定为所述目标二维位置坐标，并将所述第二区域对应的属性类型确定为与所述目标对象对应的目标属性类型。
在一个实施例中，所述卷积层包括：正向卷积层和逆向卷积层；所述正向卷积层包括第一卷积层和第二卷积层；所述第二卷积层是位于正向卷积层顶部的卷积层，所述第一卷积层是与所述第二卷积层相邻的正向卷积层；
所述处理器1001在执行基于目标检测模型中的卷积层对所述目标图像进行卷积处理，得到与每个目标子图对应的目标卷积特征信息，具体执行以下步骤：
基于所述第一卷积层对所述目标图像进行正向卷积处理，得到与每个目标子图对应的第一卷积特征信息；
基于所述第二卷积层对所述第一卷积特征信息进行正向卷积处理，得到与每个目标子图对应的第二卷积特征信息；
基于所述逆向卷积层对所述第二卷积特征信息进行反向卷积处理，得到与每个目标子图对应的第三卷积特征信息；
连接属于同一个目标子图的第一卷积特征信息和第三卷积特征信息，得到与所述每个目标子图对应的所述目标卷积特征信息。
在一个实施例中，所述处理器1001在执行根据所述目标三维点云与所述目标图像中所有像素点之间的映射关系，获取处于所述目标二维位置坐标的像素点对应的三维位置坐标，并将获取的三维位置坐标作为目标三维位置坐标时，具体执行以下步骤：
将所述目标三维点云中的水平角和垂直角作为采样值，根据与所述目标三维点云对应的指像元数值，对所述采样值进行采样，并对采样后的采样值进行量化，得到与所述目标三维点云对应的辅助图像；
在所述目标图像和所述辅助图像中查找同名点，根据所述同名点建立所述目标三维点云与所述目标图像中所有像素点之间的映射关系；
根据所述映射关系，将处于所述目标二维位置坐标的像素点对应的三维位置坐标作为所述目标三维位置坐标。
在一个实施例中，所述处理器1001在执行根据所述目标三维位置坐标在三维地图数据中确定设置区域时，具体执行以下步骤：
将所述目标三维位置坐标与图像集合中的参考图像对应的参考三维位置坐标进行重合度比较；所述图像集合包括所述目标图像和所述参考图像；所述参考三维位置坐标是指在所述三维地图数据中所述参考图像中的参考对象对应的三维位置坐标；所述参考对象和所述目标对象具有相同领域的属性类型；
若重合度比较结果满足重合误差条件，则将所述目标三维位置坐标和所述参考三维位置坐标进行聚合处理，得到聚合三维位置坐标，并在所述三维地图数据中，将所述聚合三维位置坐标对应的区域作为所述设置区域；
若所述重合度比较结果不满足重合误差条件，则在所述三维地图数据中，将所述目标三维位置坐标对应的区域作为所述设置区域。
在一个实施例中，所述处理器1001在执行将所述目标三维位置坐标和所述参考三维位置坐标进行聚合处理，得到聚合三维位置坐标时，具体执行以下步骤：
将所述目标三维位置坐标和所述参考三维位置坐标均确定为辅助三维位置坐标，并将所述辅助三维位置坐标组合为辅助三维位置坐标集合；
在所述辅助三维位置坐标集合中，提取一对辅助三维位置坐标，分别作为第一位置坐标和第二位置坐标；
对所述第一位置坐标和所述第二位置坐标进行聚合处理，得到第三位置坐标，从所述辅助三维位置坐标集合中提取下一个辅助三维位置坐标，作为所述第一位置坐标，并将所述第三位置坐标确定为所述第二位置坐标，进行下一轮的聚合处理，直至当所述辅助三维位置坐标集合为空集时，将最后一次循环得到的第三位置坐标确定为所述聚合三维位置坐标。
在一个实施例中，所述处理器1001在执行对所述第一位置坐标和所述第二位置坐标进行聚合处理，得到第三位置坐标时，具体执行以下步骤：
将所述第一位置坐标对应的第二区域的置信度确定为第一置信度，并将所述第二位置坐标对应的第二区域的置信度确定为第二置信度；
若所述第一置信度和所述第二置信度之间的差异值大于第一目标差异值，则在所述第一置信度和所述第二置信度中，将置信度较大者对应的辅助三维位置坐标确定为所述第三位置坐标；
若所述第一置信度和所述第二置信度之间的差异值小于或等于所述第一目标差异值，则根据所述第一位置坐标对应的第二区域的目标属性类型，确定目标形状，根据所述目标形状、所述第一位置坐标和所述第二位置坐标，确定所述第三位置坐标。
在一个实施例中，所述处理器1001在执行根据所述目标形状、所述第一位置坐标和所述第二位置坐标，确定所述第三位置坐标时，具体执行以下步骤：
根据所述第一位置坐标确定第一形状，并根据所述第二位置坐标确定第二形状；
检测所述第一形状和所述第二形状之间的第一形状差异值；
若所述第一形状差异值小于第二目标差异值，则合并所述第一位置坐标和所述第二位置坐标，得到所述第三位置坐标；所述第三位置坐标在所述三维地图数据中的区域包含所述第一位置坐标在所述三维地图数据中的区域和所述第二位置坐标在所述三维地图数据中的区域；
若所述第一形状差异值大于或等于所述第二目标差异值，则分别比较所述目标形状与所述第一形状和所述第二形状之间的第二形状差异值，将第二形状差异值较小者对应的辅助三维位置坐标作为所述第三位置坐标。
上述可知，自动地在包含对象的图像中识别出对象的属性类型，同时，根据对象在图像中的二维坐标以及三维点云数据，可以自动化地确定对象在地图中的三维位置坐标，进而在三维位置坐标所在的区域显示对象的属性类型。在为地图中的对象设置属性类型过程中，不论是识别属性类型、查找对象所在区域或者是标记对象属性类型均是由终端自动完成，而不存在任何人工参与，可以提高在地图中标记对象属性类型的效率。
应当理解，本发明实施例中所描述的电子设备1000可执行前文图2到图4所对应实施例中对所述图像处理方法的描述，也可执行前文图5所对应实施例中对所述图像处理装置1的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本发明实施例还提供了一种计算机存储介质，且所述计算机存储介质中存储有前文提及的图像处理装置1所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图2到图4所对应实施例中对所述图像处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节，请参照本发明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
获取包含目标对象的目标图像，识别所述目标对象在所述目标图像中的目标二维位置坐标以及与所述目标对象对应的目标属性类型；
获取与所述目标图像相关联的目标三维点云，根据所述目标三维点云与所述目标图像中所有像素点之间的映射关系，获取处于所述目标二维位置坐标的像素点对应的三维位置坐标，并将获取的三维位置坐标作为目标三维位置坐标；
将所述目标三维位置坐标与图像集合中的参考图像对应的参考三维位置坐标进行重合度比较；所述图像集合包括所述目标图像和所述参考图像；所述参考三维位置坐标是指在三维地图数据中所述参考图像中的参考对象对应的三维位置坐标；所述参考对象和所述目标对象具有相同领域的属性类型；
若重合度比较结果满足重合误差条件，则将所述目标三维位置坐标和所述参考三维位置坐标进行聚合处理，得到聚合三维位置坐标，并在所述三维地图数据中，将所述聚合三维位置坐标对应的区域作为设置区域，为所述设置区域中的所述目标对象设置所述目标属性类型。
2.根据权利要求1所述的方法，其特征在于，所述识别所述目标对象在所述目标图像中的目标二维位置坐标以及与所述目标对象对应的目标属性类型，包括：
将所述目标图像划分为多个目标子图，基于目标检测模型中的卷积层对所述目标图像进行卷积处理，得到与每个目标子图对应的目标卷积特征信息；
识别所述目标卷积特征信息和所述目标检测模型中多种属性类型之间的匹配概率，并识别与所述目标卷积特征信息对应的位置坐标，将在所述目标图像中与所述位置坐标对应的区域作为第一区域；所述多种属性类型是与所述目标对象相关联的类型；
将最大匹配概率确定为与所述第一区域对应的置信度，并将所述最大匹配概率对应的属性类型作为与所述第一区域对应的属性类型；
将置信度大于置信度阈值的第一区域确定为第二区域，将所述第二区域对应的位置坐标确定为所述目标二维位置坐标，并将所述第二区域对应的属性类型确定为与所述目标对象对应的目标属性类型。
3.根据权利要求2所述的方法，其特征在于，所述卷积层包括：正向卷积层和逆向卷积层；所述正向卷积层包括第一卷积层和第二卷积层；所述第二卷积层是位于正向卷积层顶部的卷积层，所述第一卷积层是与所述第二卷积层相邻的正向卷积层；
所述基于目标检测模型中的卷积层对所述目标图像进行卷积处理，得到与每个目标子图对应的目标卷积特征信息，包括：
基于所述第一卷积层对所述目标图像进行正向卷积处理，得到与每个目标子图对应的第一卷积特征信息；
基于所述第二卷积层对所述第一卷积特征信息进行正向卷积处理，得到与每个目标子图对应的第二卷积特征信息；
基于所述逆向卷积层对所述第二卷积特征信息进行反向卷积处理，得到与每个目标子图对应的第三卷积特征信息；
连接属于同一个目标子图的第一卷积特征信息和第三卷积特征信息，得到与所述每个目标子图对应的所述目标卷积特征信息。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标三维点云与所述目标图像中所有像素点之间的映射关系，获取处于所述目标二维位置坐标的像素点对应的三维位置坐标，并将获取的三维位置坐标作为目标三维位置坐标，包括：
将所述目标三维点云中的水平角和垂直角作为采样值，根据与所述目标三维点云对应的指像元数值，对所述采样值进行采样，并对采样后的采样值进行量化，得到与所述目标三维点云对应的辅助图像；
在所述目标图像和所述辅助图像中查找同名点，根据所述同名点建立所述目标三维点云与所述目标图像中所有像素点之间的映射关系；
根据所述映射关系，将处于所述目标二维位置坐标的像素点对应的三维位置坐标作为所述目标三维位置坐标。
5.根据权利要求2所述的方法，其特征在于，还包括：
若所述重合度比较结果不满足重合误差条件，则在所述三维地图数据中，将所述目标三维位置坐标对应的区域作为所述设置区域，为所述设置区域中的所述目标对象设置所述目标属性类型。
6.根据权利要求5所述的方法，其特征在于，所述将所述目标三维位置坐标和所述参考三维位置坐标进行聚合处理，得到聚合三维位置坐标，包括：
将所述目标三维位置坐标和所述参考三维位置坐标均确定为辅助三维位置坐标，并将所述辅助三维位置坐标组合为辅助三维位置坐标集合；
在所述辅助三维位置坐标集合中，提取一对辅助三维位置坐标，分别作为第一位置坐标和第二位置坐标；
对所述第一位置坐标和所述第二位置坐标进行聚合处理，得到第三位置坐标，从所述辅助三维位置坐标集合中提取下一个辅助三维位置坐标，作为所述第一位置坐标，并将所述第三位置坐标确定为所述第二位置坐标，进行下一轮的聚合处理，直至当所述辅助三维位置坐标集合为空集时，将最后一次循环得到的第三位置坐标确定为所述聚合三维位置坐标。
7.根据权利要求6所述的方法，其特征在于，所述对所述第一位置坐标和所述第二位置坐标进行聚合处理，得到第三位置坐标，包括：
将所述第一位置坐标对应的第二区域的置信度确定为第一置信度，并将所述第二位置坐标对应的第二区域的置信度确定为第二置信度；
若所述第一置信度和所述第二置信度之间的差异值大于第一目标差异值，则在所述第一置信度和所述第二置信度中，将置信度较大者对应的辅助三维位置坐标确定为所述第三位置坐标；
若所述第一置信度和所述第二置信度之间的差异值小于或等于所述第一目标差异值，则根据所述第一位置坐标对应的第二区域的目标属性类型，确定目标形状，根据所述目标形状、所述第一位置坐标和所述第二位置坐标，确定所述第三位置坐标。
8.根据权利要求7所述的方法，其特征在于，所述根据所述目标形状、所述第一位置坐标和所述第二位置坐标，确定所述第三位置坐标，包括：
根据所述第一位置坐标确定第一形状，并根据所述第二位置坐标确定第二形状；
检测所述第一形状和所述第二形状之间的第一形状差异值；
若所述第一形状差异值小于第二目标差异值，则合并所述第一位置坐标和所述第二位置坐标，得到所述第三位置坐标；所述第三位置坐标在所述三维地图数据中的区域包含所述第一位置坐标在所述三维地图数据中的区域和所述第二位置坐标在所述三维地图数据中的区域；
若所述第一形状差异值大于或等于所述第二目标差异值，则分别比较所述目标形状与所述第一形状和所述第二形状之间的第二形状差异值，将第二形状差异值较小者对应的辅助三维位置坐标作为所述第三位置坐标。
9.一种图像处理装置，其特征在于，包括：
获取模块，用于获取包含目标对象的目标图像；
识别模块，用于识别所述目标对象在所述目标图像中的目标二维位置坐标以及与所述目标对象对应的目标属性类型；
所述获取模块，还用于获取与所述目标图像相关联的目标三维点云；
第一确定模块，用于根据所述目标三维点云与所述目标图像中所有像素点之间的映射关系，获取处于所述目标二维位置坐标的像素点对应的三维位置坐标，并将获取的三维位置坐标作为目标三维位置坐标；
第二确定模块，用于根据所述目标三维位置坐标在三维地图数据中确定设置区域；
所述获取模块，还用于为所述设置区域中的所述目标对象设置所述目标属性类型；
其中，所述第二确定模块，包括：
比较单元，用于将所述目标三维位置坐标与图像集合中的参考图像对应的参考三维位置坐标进行重合度比较；所述图像集合包括所述目标图像和所述参考图像；所述参考三维位置坐标是指在所述三维地图数据中所述参考图像中的参考对象对应的三维位置坐标；所述参考对象和所述目标对象具有相同领域的属性类型；
聚合单元，用于若重合度比较结果满足重合误差条件，则将所述目标三维位置坐标和所述参考三维位置坐标进行聚合处理，得到聚合三维位置坐标，并在所述三维地图数据中，将所述聚合三维位置坐标对应的区域作为所述设置区域。
10.根据权利要求9所述的装置，其特征在于，所述识别模块，包括：
划分单元，用于将所述目标图像划分为多个目标子图；
确定单元，用于基于目标检测模型中的卷积层对所述目标图像进行卷积处理，得到与每个目标子图对应的目标卷积特征信息；
识别单元，用于识别所述目标卷积特征信息和所述目标检测模型中多种属性类型之间的匹配概率，并识别与所述目标卷积特征信息对应的位置坐标，将在所述目标图像中与所述位置坐标对应的区域作为第一区域；所述多种属性类型是与所述目标对象相关联的类型；
所述识别单元，还用于将最大匹配概率确定为与所述第一区域对应的置信度，并将所述最大匹配概率对应的属性类型作为与所述第一区域对应的属性类型；
所述识别单元，还用于将置信度大于置信度阈值的第一区域确定为第二区域，将所述第二区域对应的位置坐标确定为所述目标二维位置坐标，并将所述第二区域对应的属性类型确定为与所述目标对象对应的目标属性类型。
11.根据权利要求10所述的装置，其特征在于，所述卷积层包括：正向卷积层和逆向卷积层；所述正向卷积层包括第一卷积层和第二卷积层；所述第二卷积层是位于正向卷积层顶部的卷积层，所述第一卷积层是与所述第二卷积层相邻的正向卷积层；
所述确定单元，包括：
正向卷积子单元，用于基于所述第一卷积层对所述目标图像进行正向卷积处理，得到与每个目标子图对应的第一卷积特征信息；
所述正向卷积子单元，还用于基于所述第二卷积层对所述第一卷积特征信息进行正向卷积处理，得到与每个目标子图对应的第二卷积特征信息；
逆向卷积子单元，用于基于所述逆向卷积层对所述第二卷积特征信息进行反向卷积处理，得到与每个目标子图对应的第三卷积特征信息；
连接子单元，用于连接属于同一个目标子图的第一卷积特征信息和第三卷积特征信息，得到与所述每个目标子图对应的所述目标卷积特征信息。
12.根据权利要求9所述的装置，其特征在于，所述第一确定模块，包括：
采样单元，用于将所述目标三维点云中的水平角和垂直角作为采样值，根据与所述目标三维点云对应的指像元数值，对所述采样值进行采样，并对采样后的采样值进行量化，得到与所述目标三维点云对应的辅助图像；
查找单元，用于在所述目标图像和所述辅助图像中查找同名点，根据所述同名点建立所述目标三维点云与所述目标图像中所有像素点之间的映射关系；
所述查找单元，还用于根据所述映射关系，将处于所述目标二维位置坐标的像素点对应的三维位置坐标作为所述目标三维位置坐标。
13.根据权利要求10所述的装置，其特征在于，
所述比较单元，还用于若所述重合度比较结果不满足重合误差条件，则在所述三维地图数据中，将所述目标三维位置坐标对应的区域作为所述设置区域。
14.一种电子设备，其特征在于，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1-8任一项所述的方法。
15.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-8任一项所述的方法。
CN201811063723.0A 2018-09-12 2018-09-12 一种图像处理方法、装置以及相关设备 Active CN110148196B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811063723.0A CN110148196B (zh) 2018-09-12 2018-09-12 一种图像处理方法、装置以及相关设备
PCT/CN2019/105009 WO2020052530A1 (zh) 2018-09-12 2019-09-10 一种图像处理方法、装置以及相关设备
US17/028,906 US11367217B2 (en) 2018-09-12 2020-09-22 Image processing method and apparatus, and related device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811063723.0A CN110148196B (zh) 2018-09-12 2018-09-12 一种图像处理方法、装置以及相关设备

Publications (2)

Publication Number Publication Date
CN110148196A CN110148196A (zh) 2019-08-20
CN110148196B true CN110148196B (zh) 2022-03-25

Family

ID=67589295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811063723.0A Active CN110148196B (zh) 2018-09-12 2018-09-12 一种图像处理方法、装置以及相关设备

Country Status (3)

Country Link
US (1) US11367217B2 (zh)
CN (1) CN110148196B (zh)
WO (1) WO2020052530A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110148196B (zh) 2018-09-12 2022-03-25 腾讯大地通途（北京）科技有限公司 一种图像处理方法、装置以及相关设备
CN110796714B (zh) * 2019-08-22 2021-11-26 腾讯科技（深圳）有限公司 一种地图构建方法、装置、终端以及计算机可读存储介质
CN111311709B (zh) * 2020-02-05 2023-06-20 北京三快在线科技有限公司 一种生成高精地图的方法及装置
CN113378867B (zh) * 2020-02-25 2023-08-22 北京轻舟智航智能技术有限公司 一种异步数据融合的方法、装置、存储介质及电子设备
CN111400533B (zh) * 2020-03-02 2023-10-17 北京三快在线科技有限公司 图像筛选方法、装置、电子设备和存储介质
CN111667545B (zh) * 2020-05-07 2024-02-27 东软睿驰汽车技术（沈阳）有限公司 高精度地图生成方法、装置、电子设备及存储介质
CN111597993B (zh) * 2020-05-15 2023-09-05 北京百度网讯科技有限公司 数据处理的方法及装置
CN112085835B (zh) * 2020-08-31 2024-03-22 腾讯科技（深圳）有限公司 三维卡通人脸生成方法、装置、电子设备及存储介质
CN112307978B (zh) * 2020-10-30 2022-05-24 腾讯科技（深圳）有限公司 目标检测方法、装置、电子设备及可读存储介质
CN112634414B (zh) * 2020-12-24 2023-09-05 北京百度网讯科技有限公司 地图显示方法及装置
CN112489130B (zh) * 2021-01-11 2024-03-08 国网江苏省电力有限公司泰州供电分公司 一种输电线路与目标物的距离测量方法、装置及电子设备
CN113096395B (zh) * 2021-03-31 2022-03-25 武汉理工大学 一种基于定位与人工智能识别的道路交通安全评价系统
CN113129590A (zh) * 2021-04-12 2021-07-16 武汉理工大学 基于车载雷达与图形测量的交通设施信息智能分析方法
CN113223179B (zh) * 2021-05-12 2022-08-05 武汉中仪物联技术股份有限公司 管道选定线路长度的确定方法和装置
CN113344789B (zh) * 2021-06-29 2023-03-21 Oppo广东移动通信有限公司 图像拼接方法及装置、电子设备、计算机可读存储介质
CN113506313A (zh) * 2021-07-07 2021-10-15 上海商汤智能科技有限公司 图像处理方法及相关装置和电子设备、存储介质
US11756288B2 (en) * 2022-01-05 2023-09-12 Baidu Usa Llc Image processing method and apparatus, electronic device and storage medium
CN115100419B (zh) * 2022-07-20 2023-02-21 中国科学院自动化研究所 目标检测方法、装置、电子设备及存储介质
CN115661784B (zh) * 2022-10-12 2023-08-22 北京惠朗时代科技有限公司 一种面向智慧交通的交通标志图像大数据识别方法与系统
CN116468870B (zh) * 2023-06-20 2024-01-23 佛山科学技术学院 一种城市道路三维可视化建模方法及系统
CN117011503B (zh) * 2023-08-07 2024-05-28 青岛星美装饰服务有限公司 一种加工数据确定方法、装置、设备和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512646A (zh) * 2016-01-19 2016-04-20 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
CN105678689A (zh) * 2015-12-31 2016-06-15 百度在线网络技术（北京）有限公司 高精地图数据配准关系确定方法及装置
CN105719284A (zh) * 2016-01-18 2016-06-29 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
WO2018049998A1 (zh) * 2016-09-13 2018-03-22 腾讯科技（深圳）有限公司 交通标志牌信息获取方法及装置
CN108460395A (zh) * 2017-02-17 2018-08-28 北京三星通信技术研究有限公司 目标检测方法和装置以及模糊处理方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9583074B2 (en) * 2011-07-20 2017-02-28 Google Inc. Optimization of label placements in street level images
US20150163477A1 (en) * 2012-02-14 2015-06-11 Google Inc. Systems and methods for calculating epipolar constraints between generalized cameras
CN104833360B (zh) 2014-02-08 2018-09-18 无锡维森智能传感技术有限公司 一种二维坐标到三维坐标的转换方法
CN104766058B (zh) * 2015-03-31 2018-04-27 百度在线网络技术（北京）有限公司 一种获取车道线的方法和装置
CN105260699B (zh) * 2015-09-10 2018-06-26 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
CN106097444B (zh) * 2016-05-30 2017-04-12 百度在线网络技术（北京）有限公司 高精地图生成方法和装置
CN106776996B (zh) * 2016-12-02 2018-09-07 百度在线网络技术（北京）有限公司 用于测试高精度地图的准确性的方法和装置
CN107316325B (zh) * 2017-06-07 2020-09-22 华南理工大学 一种基于图像配准的机载激光点云与影像配准融合方法
KR102595787B1 (ko) * 2018-02-27 2023-11-24 삼성전자주식회사 전자 장치 및 그 제어 방법
CN110148196B (zh) * 2018-09-12 2022-03-25 腾讯大地通途（北京）科技有限公司 一种图像处理方法、装置以及相关设备
CN111238494B (zh) * 2018-11-29 2022-07-19 财团法人工业技术研究院 载具、载具定位系统及载具定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678689A (zh) * 2015-12-31 2016-06-15 百度在线网络技术（北京）有限公司 高精地图数据配准关系确定方法及装置
CN105719284A (zh) * 2016-01-18 2016-06-29 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
CN105512646A (zh) * 2016-01-19 2016-04-20 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
WO2018049998A1 (zh) * 2016-09-13 2018-03-22 腾讯科技（深圳）有限公司 交通标志牌信息获取方法及装置
CN108460395A (zh) * 2017-02-17 2018-08-28 北京三星通信技术研究有限公司 目标检测方法和装置以及模糊处理方法和装置

Also Published As

Publication number Publication date
WO2020052530A1 (zh) 2020-03-19
US11367217B2 (en) 2022-06-21
US20210012527A1 (en) 2021-01-14
CN110148196A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN110148196B (zh) 一种图像处理方法、装置以及相关设备
US10074020B2 (en) Vehicular lane line data processing method, apparatus, storage medium, and device
Wang et al. Torontocity: Seeing the world with a million eyes
WO2019214372A1 (zh) 地面标志提取的方法、模型训练的方法、设备及存储介质
Zhou et al. Seamless fusion of LiDAR and aerial imagery for building extraction
CN112825192B (zh) 基于机器学习的对象辨识系统及其方法
CN110969592B (zh) 图像融合方法、自动驾驶控制方法、装置和设备
CN110956100A (zh) 一种高精度地图生成方法、装置、电子设备和存储介质
CN113537049B (zh) 地面点云数据处理方法、装置、终端设备及存储介质
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN112819895A (zh) 一种摄像机标定方法及装置
CN114037966A (zh) 高精地图特征提取方法、装置、介质及电子设备
CN107679458A (zh) 一种基于K‑Means的道路彩色激光点云中道路标线的提取方法
CN111213154A (zh) 一种车道线检测方法、设备、移动平台及存储介质
CN113255444A (zh) 图像识别模型的训练方法、图像识别方法和装置
CN115661522A (zh) 一种基于视觉语义矢量的车辆导引方法、系统、设备和介质
CN109635701B (zh) 车道通行属性获取方法、装置和计算机可读存储介质
Nagy et al. 3D CNN based phantom object removing from mobile laser scanning data
CN110675442A (zh) 一种结合目标识别技术的局部立体匹配方法及系统
Börcs et al. A marked point process model for vehicle detection in aerial LiDAR point clouds
Koc-San et al. A model-based approach for automatic building database updating from high-resolution space imagery
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
CN111860084B (zh) 图像特征的匹配、定位方法及装置、定位系统
Jiao et al. Individual Building Rooftop and Tree Crown Segmentation from High‐Resolution Urban Aerial Optical Images
Zhang et al. Extraction of road traffic sign information based on a vehicle‐borne mobile photogrammetric system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant