CN114429528A - 图像处理方法、装置、设备、计算机程序及存储介质 - Google Patents

Abstract

本申请提供了一种图像处理方法、装置、设备、计算机程序及存储介质，应用于人工智能、地图领域、自动驾驶、智慧交通和车载等各种场景。方法包括：通过对待处理道路图像进行特征提取与语义识别，得到待处理道路图像中的待重建区域，以及待重建区域中的交通元素图像；对待重建区域进行三维重建，得到三维场景点云；根据交通元素图像的类型，将交通元素图像映射到三维场景点云中，生成三维实景图。通过本申请，能够提高生成道路实景图的效率。

Description

图像处理方法、装置、设备、计算机程序及存储介质

技术领域

本申请涉及人工智能与车载技术，尤其涉及一种图像处理方法、装置、设备、计算机程序及存储介质。

背景技术

目前，导航中通常会采用实景放大图来为用户提供更直观的导航体验。其中，实景图是针对特定路口拍摄相关视角的图像，通过由人工根据图像绘制或者建模相关场景，选择特定角度渲染后生成的实景图。目前的实景图需要基于测绘得到的路口图像进行绘制或建模，需要较高的时间成本和人力成本，从而降低了生成实景图的效率。

发明内容

本申请实施例提供一种图像处理方法、装置、设备、计算机程序及存储介质，能够提高实景图生成的效率。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种图像处理方法，包括：

通过对待处理道路图像进行特征提取与语义识别，得到所述待处理道路图像中的待重建区域，以及所述待重建区域中的交通元素图像；

对所述待重建区域进行三维重建，得到三维场景点云；

根据所述交通元素图像的类型，将所述交通元素图像映射到所述三维场景点云中，生成三维实景图。

本申请实施例提供一种图像处理装置，包括：

语义识别模块，用于通过对待处理道路图像进行特征提取与语义识别，得到所述待处理道路图像中的待重建区域，以及所述待重建区域中的交通元素图像；

三维重建模块，用于对所述待重建区域进行三维重建，得到三维场景点云；

生成模块，用于根据所述交通元素图像的类型，将所述交通元素图像映射到所述三维场景点云中，生成三维实景图。

上述装置中，所述语义识别模块，还用于对所述待处理道路图像进行特征提取，得到初始特征点集；基于所述初始特征点集进行语义识别与分割，得到所述待处理道路图像中语义表征为道路信息的区域，以及所述交通元素图像，所述交通元素图像为语义表征为交通指示信息的图像区域；将所述语义表征为道路信息的区域作为所述待重建区域。

上述装置中，所述三维重建模块，还用于从所述待处理道路图像中，提取出所述待重建区域对应的重建特征点集；利用所述重建特征点集进行三维重建，得到所述三维场景点云。

上述装置中，所述三维重建模块，还用于在所述待处理道路图像中，对所述待重建区域之外的区域添加遮罩，得到待重建图像；对所述待重建图像进行特征提取，得到所述重建特征点集。

上述装置中，所述图像处理装置还包括获取模块与融合模块，所述获取模块，用于所述对待处理道路图像进行特征提取与语义识别之前，获取当前道路场景的目标图像，并获取所述当前道路场景对应的当前定位信息；根据所述当前定位信息，获取至少一个众包图像；所述融合模块。用于将所述至少一个众包图像与所述目标图像进行图像融合，得到所述当前道路场景对应的待处理道路图像；所述至少一个众包图像为至少一个终端对所述当前道路场景进行采集并上传的图像。

上述装置中，所述生成模块，用于获取所述三维场景点云对应的成像参数，计算成像轨迹；并基于所述成像轨迹，计算所述交通元素图像与所述三维场景点云的位置映射关系；所述成像参数通过三维重建过程计算得到；根据所述位置映射关系，确定所述交通元素图像在所述三维场景点云中对应的投影区域；根据所述交通元素图像的类型，将所述交通元素图像映射到所述投影区域中，生成所述三维实景图。

上述装置中，所述交通元素图像的类型包括：通用类型，所述生成模块，还用于在所述交通元素图像为通用类型的情况下，获取所述交通元素图像对应的矢量化图像；利用所述矢量化图像替换所述投影区域，对所述三维场景点云进行更新，并基于预设角度，对更新的三维场景点云进行渲染，得到所述三维实景图。

上述装置中，所述生成模块，还用于从预设矢量图库中，获取所述交通元素图像对应的目标矢量模板图，作为所述矢量化图像；所述预设矢量图库包含至少一种通用类型的交通元素图像对应的至少一个矢量模板图；或者，将所述交通元素图像替换为网格，基于所述网格进行矢量化绘制，得到所述矢量化图像。

上述装置中，所述生成模块，还用于在所述交通元素图像为通用类型的情况下，从所述交通元素图像中提取图像纹理，将所述图像纹理添加至所述投影区域中，对所述三维场景点云进行更新，得到更新的三维场景点云；基于预设角度，对更新的三维场景点云进行渲染，得到所述三维实景图。

上述装置中，所述交通元素图像的类型包括：特定类型，所述生成模块，还用于在所述交通元素图像为特定类型的情况下，基于预设角度，对所述三维场景点云或更新的三维场景点云进行渲染，生成初始三维实景图；根据所述投影区域在所述初始三维实景图中对应的位置信息，使用所述交通元素图像更新所述初始三维实景图，得到所述三维实景图。

上述装置中，所述交通元素图像包括：至少一种道路线检测点，所述生成模块，还用于对所述至少一种道路线检测点进行三维投影与拓扑连接，生成所述三维实景图中的道路线图像。

本申请实施例提供一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本申请实施例提供的图像处理方法。

本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本申请实施例提供的图像处理方法。

本申请实施例提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时，实现本申请实施例提供的图像处理方法。

本申请实施例具有以下有益效果：

通过对待处理道路图像进行语义识别，可以得到待处理道路图像中的待重建区域，进而基于待重建区域进行实景图生成，降低了图像处理的工作量。并且，根据交通元素图像的类型，将交通元素图像映射至待重建区域三维重建得到的三维场景点云中，相较于相关技术中针对道路图像中的各个元素进行绘制和建模，简化了实景图的生成流程，提高了处理速度，从而提高了生成实景图的效率。

附图说明

图1a是本申请实施例提供的矢量图形式的导航效果示意图；

图1b是本申请实施例提供的实景图形式的导航效果示意图；

图2是本申请实施例提供的图像处理系统的一个可选的系统结构示意图；

图3是本申请实施例提供的图像处理装置的一个可选的结构示意图；

图4是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图5是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图6是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图7是本申请实施例提供的从待处理道路图像中提取初始特征点集的一种可选的效果示意图；

图8是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图9是本申请实施例提供的对待处理道路图像添加遮罩的一种可选的效果示意图；

图10是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图11是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图12是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图13是本申请实施例提供的通过语义识别得到的交通元素图像的一种可选的效果示意图；

图14a是本申请实施例提供的矢量模板图的一种可选的效果示意图；

图14b是本申请实施例提供的矢量模板图的一种可选的效果示意图；

图14c是本申请实施例提供的矢量模板图的一种可选的效果示意图；

图15是本申请实施例提供的三维场景点云的一种可选的效果示意图；

图16是本申请实施例提供的通过矢量图替换生成的初始三维实景图的一种可选的效果示意图；

图17是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图18是本申请实施例提供的通过仿射变换方式生成三维实景图的一种可选的效果示意图；

图19是本申请实施例提供的图像处理方法应用于实际场景中的一个可选的流程示意。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1)人工智能(Artificial Intelligence,AI)，是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境，获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。也就是说，人工智能是计算机科学的一个综合技术，用于获取智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。另外，人工智能还用于研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。此外，人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统和机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习(Machine Learning，ML)/深度学习等几大方向。

2)计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、记录和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

3)机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

4)自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术，自动驾驶技术有着广泛的应用前景。

5)三维重建：利用二维投影或影像，恢复物体三维信息的数据过程和计算机技术。

6)矢量化：是用计算机图形学中的点、直线或者多边形等基础数据方程的几何图元表示图像。

7)仿射变换：指在几何中，对一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间.

8)网格(polygon mesh)：是三维计算机图形学中表示多面体形状的顶点与多边形的集合，也叫做非结构网格。

9)智能交通系统(Intelligent Traffic System，ITS)又称智能运输系统(Intelligent Transportation System)，是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造，加强车辆、道路、使用者三者之间的联系，从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。或者；

智能车路协同系统(Intelligent Vehicle Infrastructure CooperativeSystems，IVICS)，简称车路协同系统，是智能交通系统(ITS)的一个发展方向。车路协同系统是采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成的安全、高效和环保的道路交通系统。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例提供的方案涉及人工智能的计算机视觉、智慧交通、以及车载等技术，具体通过如下实施例进行说明：

目前，导航图像通常包括如图1a所示矢量图，以及如图1b所示的实景图。对于一些包含多个岔路，高架桥或高楼等遮挡部分道路情况的复杂路口，矢量图的导航效果不够清晰直观，因此目前通过实景图取代矢量图进行导航进行正逐渐成为主流。然而，实景图生成的相关技术需要针对每个具体的路口进行会址和建模，即使可以更换视角，但是无法复用到其他路口，需要较高的时间成本和人力成本，从而降低了实景图生成的效率。

本申请实施例提供一种图像处理方法、装置、设备、计算机程序及存储介质，能够提高实景图生成的效率。下面说明本申请实施例提供的电子设备的示例性应用，本申请实施例提供的电子设备可以实施为智能手机、智能手表、笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)、智能语音交互设备、智能家电和车载终端等各种类型的终端或用户终端，也可以实施为服务器。下面，将说明电子设备实施为服务器时示例性应用。

参见图2，图2是本申请实施例提供的图像处理系统100的一个可选的架构示意图，终端400通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。

服务器200，用于通过对待处理道路图像进行特征提取与语义识别，得到待处理道路图像中的待重建区域，以及待重建区域中的交通元素图像；对待重建区域进行三维重建，得到三维场景点云；根据交通元素图像的类型，将交通元素图像映射到三维场景点云中，生成三维实景图。

服务器200，还用于将生成的三维实景图发送至终端400，在终端400上安装的导航类或地图类APP客户端410中进行显示。

在一些实施例中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能语音交互设备、智能家电和车载终端等，但并不局限于此。

在一些实施例中，终端400也可以通过自身通过对待处理道路图像进行特征提取与语义识别，得到待处理道路图像中的待重建区域，以及待重建区域中的交通元素图像；对待重建区域进行三维重建，得到三维场景点云；根据交通元素图像的类型，将交通元素图像映射到三维场景点云中，生成三维实景图并在客户端410中进行显示，具体的根据实际情况进行选择，本申请实施例不作限定。

下面，将说明电子设备实施为服务器的示例性应用。

参见图3，图3是本申请实施例提供的服务器200的结构示意图，图2所示的服务器200包括：至少一个处理器210、存储器250、至少一个网络接口220和用户接口230。服务器200中的各个组件通过总线系统240耦合在一起。可理解，总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统240。

处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器250可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器250可选地包括在物理位置上远离处理器210的一个或多个存储设备。

存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器250旨在包括任意适合类型的存储器。

在一些实施例中，存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块252，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备，示例性的网络接口420包括：蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB，Universal Serial Bus)等；

呈现模块253，用于经由一个或多个与用户接口230相关联的输出装置231(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；

输入处理模块254，用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图3示出了存储在存储器250中的图像处理装置255，其可以是程序和插件等形式的软件，包括以下软件模块：语义识别模块2551、三维重建模块2552与生成模块2553，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。

将在下文中说明各个模块的功能。

在另一些实施例中，本申请实施例提供的装置可以采用硬件方式实现，作为示例，本申请实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的图像处理方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integra ted Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件。

在一些实施例中，终端或服务器可以通过运行计算机程序来实现本申请实施例提供的图像处理方法。举例来说，计算机程序可以是操作系统中的原生程序或软件模块；可以是本地(Native)应用程序(APP，Application)，即需要在操作系统中安装才能运行的程序，如导航APP或者地图APP；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序或者网页客户端程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。

将结合本申请实施例提供的电子设备的示例性应用和实施，说明本申请实施例提供的图像处理方法。

参见图4，图4是本申请实施例提供的图像处理方法的一个可选的流程示意图，将结合图4示出的步骤进行说明。

S101、通过对待处理道路图像进行特征提取与语义识别，得到待处理道路图像中的待重建区域，以及待重建区域中的交通元素图像。

本申请实施例提供的图像处理方法可以应用于各种场景，包括但不限于云技术、人工智能、智慧交通、自动驾驶、辅助驾驶和车载等。示例性地，可以应用于通过手机或车载设备的导航软件或系统进行道路导航的场景，具体的根据实际情况进行选择，本申请实施例不作限定。

本申请实施例中，电子设备可以获取图像采集设备采集的真实道路环境，如路口、车道等的图像作为待处理道路图像。由于图像采集设备采集的真实道路环境可能包含道路上正在行驶的车辆，或者行人等图像，或者，基于图像采集设备的采集角度，如车内行车记录仪采集的图像可能包含车辆内景等图像，电子设备可以通过对待处理道路图像进行特征提取与语义识别，从待处理道路图像中识别并去除上述车辆、行人以及车辆内景等非道路元素，以减少对交通要素的遮挡，避免对三维重建引入噪声，得到待重建区域。并且，电子设备可以基于对待重建区域的语义识别，得到待重建区域中的交通元素图像。

在一些实施例中，电子设备可以通过语义分割网络，从待处理道路图像中识别出道路元素与非道路元素，从也可以采用其他语义识别的方法，具体的根据实际情况进行选择，本申请实施例不作限定。

在一些实施例中，电子设备可以获取当前道路场景的众包图像，作为待处理道路图像。可理解，采用众包图像进行道路场景的实景图生成，能够进一步节约相关技术中人工测绘来得到道路图像的成本，从而进一步提高生成实景图的效率。

本申请实施例中，待重建区域为待处理道路图像中去除了非道路元素的图像区域。交通元素图像为待重建区域中包含交通指示信息的图像，在一些实施例中，交通元素图像可以包括地面交通元素图像，如地面车道线、车信(地面方向指示)等，以及地上交通元素图像，如红绿灯、电子眼、限速牌、警示牌、道路名称牌等图像，具体的根据实际情况进行选择，本申请实施例不作限定。

S102、对待重建区域进行三维重建，得到三维场景点云。

本申请实施例中，电子设备可以针对待重建区域进行三维重建，得到三维场景点云图像。

在一些实施例中，电子设备可以通过摄像机标定的计算过程，从二维图像中恢复道路场景的三维几何结构，并采用计算机视觉算法，如opencv算法，基于灰度计算三维几何结构中可见面上各个点的颜色，渲染得到三维场景点云。也可以采用其他方式进行三维重建，具体的根据实际情况进行选择，本申请实施例不作限定。

S103、根据交通元素图像的类型，将交通元素图像映射到三维场景点云中，生成三维实景图。

本申请实施例中，电子设备上预设有至少一种交通元素图像的类型，示例性地，交通元素图像的类型可以基于交通指示信息的通用性进行划分，包含通用类型与特定类型。

示例性地，通用类型的交通元素图像可以包括：地面交通元素(包括地面车道线、车信等)和红绿灯、电子眼、限速牌、警示牌等等。特定类型的交通元素图像可以包括：道路名称牌等等。电子设备可以根据交通元素图像的类型，采用相应的映射方法，将交通元素图像映射至三维场景点云中。这样，无需进行复杂的建模或绘制过程，就可以生成三维实景图。

在一些实施例中，对于通用类型的交通元素图像，电子设备可以从预设的通用矢量图库中获取交通元素图像对应的模板图像，将模板图像投影至三维场景点云中，生成三维实景图。

在一些实施例中，对于特定类型的交通元素图像，如道路名称牌等具有特定道路信息的平面元素，一般难以预先准备相应的矢量化图像模板进行替换，电子设备可以先基于三维点云图生成初始三维实景图，再通过仿射变换的方式，将特定类型的交通元素图像直接投影到初始三维实景图中，替换初始三维实景图中的原点云区域的图像，得到三维实景图。

本申请实施例中，电子设备在S102中进行三维场景重建，生成三维场景点云的过程中，可以计算得到相机的成像参数，如相机位姿及相机内参矩阵，电子设备可以利用三维场景重建过程中计算得到的成像参数，计算得到待重建区域中的交通元素图像与三维场景点云之间的位置映射关系，从而实现将交通元素图像映射到三维场景点云中，并渲染生成三维实景图。

可以理解的是，通过对待处理道路图像进行语义识别，可以得到待处理道路图像中的待重建区域，进而基于待重建区域进行实景图生成，降低了图像处理的工作量。并且，根据交通元素图像的类型，将交通元素图像映射至待重建区域三维重建得到的三维场景点云中，相较于相关技术中针对道路图像中的各个元素进行绘制和建模，简化了实景图的生成流程，提高了处理速度，从而提高了生成实景图的效率。

在一些实施例中，基于图4，如图5所示，S101之前，电子设备还可以通过执行S001-S002，通过众包图像得到待处理道路图像，将结合各步骤进行说明。

S001、获取当前道路场景的目标图像，并获取当前道路场景对应的当前定位信息。

本申请实施例中，在电子设备为终端的情况下，电子设备可以通过图像采集设备，对当前道路场景进行图像采集，得到目标图像。电子设备可以通过定位设备或定位模块，获取当前道路场景对应的位置信息，作为当前定位信息。

示例性地，道路上行驶的车辆可以通过行车记录仪上的摄像头，采集行驶过程中的视频或图像作为目标图像。并且，获取当前的图像采集地点的全球定位系统(GlobalPositioning System，GPS)定位信息，作为当前定位信息。

本申请实施例中，在电子设备为服务器的情况下，电子设备可以接收与之连接的第一终端发送的当前道路场景的目标图像，以及当前定位信息。这里，第一终端可以是与服务器连接，由服务器为其提供当前道路场景的导航服务的终端。

在一些实施例中，电子设备在获取到目标图像和当前定位信息的情况下，可以将目标图像和当前定位信息进行绑定或关联，示例性地，利用当前定位信息对目标图像进行标注，以记录目标图像的位置信息。这样，在对多个终端采集的图像进行汇总时，可以根据图像的位置信息确定出同一位置对应的多张图像，以进行后续的图像融合处理。

S002、根据当前定位信息，获取至少一个众包图像，并将至少一个众包图像与目标图像进行图像融合，得到当前道路场景对应的待处理道路图像；至少一个众包图像为至少一个终端对当前道路场景进行采集并上传的图像。

本申请实施例中，电子设备可以根据当前定位信息，获取到当前定位信息对应的至少一个众包图像。这里，至少一个众包图像为至少一个终端对当前道路场景进行采集并上传的图像。

示例性地，在众包场景下，多个车辆在行驶过程中，可以通过行车记录仪等采集设备进行道路图像或视频的采集，并结合GPS定位标注，将标注有定位信息的道路图像或视频发送至云端数据库。这样，同一地点如路口A可能在云端数据库中对应有至少一个车辆上传的至少一张图像。这样，电子设备可以在获取路口A的目标图像以及当前定位信息信息的情况下，可以根据当前定位信息，从云端数据库中获取其他车辆，即其他终端上传的路口A的至少一个道路场景图像，作为至少一个众包图像。

本申请实施例中，电子设备通过当前定位信息，可以将表征相同地点，也即当前道路场景的至少一个众包图像与目标图像进行图像融合，得到当前道路场景对应的众包图像。

在一些实施例中，电子设备可以将非结构化的图像或视频数据，通过标定和AI算法处理为结构化数据，如矢量数据，再对矢量数据进行数据聚合，生成众包图像。示例性地，众包图像可以是当前道路场景的三维图像模型，图像融合算法可以是三维重建(StructureFrom Motion，SFM)算法，或者多视图密集重建(Multi View System，MVS)算法等等，具体的根据实际情况进行选择，本申请实施例不作限定。

在一些实施例中，由于图像采集设备，如图像传感器的软硬件设置不同，因此目标图像与至少一个众包图像之中的各个众包图像可能存在数据来源、精度或者格式标准不统一的情况。电子设备在进行图像融合之前，还可以先对目标图像与至少一个众包图像进行格式转换，在转换为统一的格式之后再进行图像融合处理。

可以理解的是，通过众包方式获取当前道路场景对应的待处理道路图像，可以减少相关技术中通过对道路场景进行专门测绘得到待处理道路图像的工作量与成本，进而提高根据待处理道路图像生成三维实景图的效率，降低生成三维实景图。并且，电子设备可以利用不断更新的众包图像，对图像融合结果进行持续更新，从而可以持续提高图像处理的精度，进而提高生成的实景放大图的精度。

在一些实施例中，基于图4，如图6所示，S101可以通过S1011-S1013来实现，将结合各步骤进行说明。

S1011、对待处理道路图像进行特征提取，得到初始特征点集。

S1012、基于初始特征点集进行语义识别与分割，得到待处理道路图像中语义表征为道路信息的区域，以及交通元素图像，交通元素图像为语义表征为交通指示信息的图像区域。

S1013、将语义表征为道路信息的区域作为待重建区域。

本申请实施例中，电子设备对待处理道路图像进行特征提取，得到初始特征点集，并基于初始特征点集进行语义识别，识别出待处理道路图像中不同语义的图像区域，如语义表征为车道、周边建筑、车辆、行人、交通指示牌等图像区域。电子设备将语义表征为道路信息的区域，如车道、周边建筑、交通指示牌等图像区域作为待重建区域，并将待重建区域中语义表征为交通指示信息，如车信、交通标识牌等图像区域中的图像作为交通元素图像。

在一些实施例中，电子设备可以通过经过机器学习或训练的多目标检测网络，对待处理道路图像进行特征提取、语义识别与语义分割，从待处理道路图像中识别出各个不同语义的图像区域对应的目标识别框

示例性地，如图7所示，待处理道路图像为行车记录仪采集到的某路口的真实场景图像。可以看出，电子设备对待处理道路图像进行特征提取得到的初始特征点集中，包含了道路信息，如车道、周边建筑、地面方向指示箭头、道路名称牌等特征点，同时也包含了非道路信息，如车道上行驶的车辆的特征点。电子设备通过对如图7所示的初始特征点集进行语义识别与分割，可以识别并划分出待处理道路图像中语义表征道路信息的区域，以及语义表征为交通指示信息的图像区域，如图8中的各个目标识别框对应的交通元素图像的区域。

在一些实施例中，电子设备可以通过一个经过训练的语义分割网络，同时识别出待处理图像中的非道路信息区域以及交通元素图像，并将非道路信息区域之外的区域作为待重建区域。在一些实施例中，电子设备也可以通过不同识别目标训练得到的不同的语义分割网络，分别识别出待处理图像中的非道路信息区域以及交通元素图像，具体的根据实际情况进行选择，本申请实施例不作限定。

在一些实施例中，电子设备也可以通过以道路元素为目标训练得到的语义分割网络，通过深度学习的语义分割网络，过滤待处理道路图像中语义表征为非道路信息的区域，也即过滤待处理道路图像中的非道路元素，得到待重建区域。具体的根据实际情况进行选择，本申请实施例不作限定。

在一些实施例中，基于图6，如图8所示，S102可以通过S1021-S1022实现，将结合各步骤进行说明。

S1021、从待处理道路图像中，提取出待重建区域对应的重建特征点集。

本申请实施例中，电子设备在进行三维重建的过程中，应该只还原道路信息的相关模型，避免车或者人等非道路信息遮挡交通要素，影响导航体验。电子设备基于语义识别出的待重建区域，从待处理道路图像中，提取出待重建区域对应的重建特征点集。

在一些实施例中，电子设备可以通过对待重建区域之外的区域添加遮罩的方式来提取得到重建特征点集。电子设备可以在待处理道路图像中，对待重建区域之外的区域添加遮罩，得到待重建图像；进而对待重建图像进行特征提取，由于待重建图像中的非道路信息区域已经被遮罩覆盖，电子设备可以得到待重建区域对应的重建特征点集。电子设备也可以通过其他方式实现对待重建区域有针对性的特征点提取，具体的根据实际情况进行选择，本申请实施例不作限定。

示例性地，基于图7，电子设备对非道路信息区域添加遮罩可以如图9所示，可以看出，电子设备用黑色像素代替了图7中非道路信息区域的像素，遮罩住了图7中车道上的行驶车辆以及车道边的停放车辆，以避免非道路元素被添加到三维重建的结果

S1022、利用重建特征点集进行三维重建，得到三维场景点云。

本申请实施例中，电子设备利用重建特征点集，也即从无遮罩的道路信息区域提取得到的特征点集进行三维重建，根据重建特征点集进行三维投影计算，得到待处理道路图像对应的图像采集设备的成像参数；这里，电子设备可以保存该成像参数，以用于后续的映射处理过程。并且，电子设备基于成像参数，将二维图像中的每个重建特征点投影到三维空间中，得到三维场景点云。

可以理解的是，通过利用深度学习网络过滤待处理道路图像中的车、人、车辆内景等非道路元素，既可以减少三维重建中的噪声引入，提高三维重建的精度，进而提高生成三维实景图的精度，还可以减少电子设备进行三维重建中图像处理的工作量，提高图像处理的速度。

在一些实施例中，基于图4、图6与图8中的任一个，如图10所示，S103可以以通过S1031-S1033来实现，将结合各步骤进行说明。

S1031、获取三维场景点云对应的成像参数，计算成像轨迹；并基于成像轨迹，计算交通元素图像与三维场景点云的位置映射关系；成像参数通过三维重建过程计算得到。

本申请实施例中，电子设备可以通过上述三维重建的过程，计算得到三维场景点云对应的成像参数。在一些实施例中，成像参数可以包括：图像采集设备的位姿信息与内参信息。这里，图像采集设备指待处理道路图像对应的图像采集设备。

本申请实施例中，电子设备根据成像参数，计算图像采集设备的相机轨迹，作为成像轨迹，并基于成像轨迹进一步计算二维空间中的交通元素图像，与三维场景点云的坐标对应关系，作为交通元素图像与三维场景点云的位置映射关系。

在一些实施例中，内参信息包括：焦距，投影中心偏移量，畸变系数等信息，电子设备可以通过包含内参信息的成像参数，通过运动恢复结构(Structure fromMotion)算法，计算相机的平移值(三维向量)和旋转值(四元数)，通过射影重建(Bundle Adjustment)算法，优化特征点投影残差，得到成像轨迹。进而基于成像轨迹，计算交通元素图像与三维场景点云的位置映射关系。

S1032、根据位置映射关系，确定交通元素图像在三维场景点云中对应的投影区域。

本申请实施例中，电子设备可以根据位置映射关系，得到交通元素图像中的每个二维像素点在三维场景点云中对应的三维坐标点，从而确定出交通元素图像在三维场景点云中对应的投影区域。

S1033、根据交通元素图像的类型，将交通元素图像映射到投影区域中，生成三维实景图。

本申请实施例中，电子设备可以根据交通元素图像的类型，采用对应的图像映射方法，将交通元素图像映射到投影区域中，生成三维实景图。

在一些实施例中，基于图10，如图11所示，对于通用类型的交通元素图像，电子设备可以通过执行S301-S302的过程来实现S1033中的方法，将结合各步骤进行说明。

S301、在交通元素图像为通用类型的情况下，获取交通元素图像对应的矢量化图像。

在一些实施例中，基于图11，如图12所示，S301可以通过S3011或者S3012来实现，如下：

S3011、在交通元素图像为通用类型的情况下，从预设矢量图库中，获取交通元素图像对应的目标矢量模板图，作为矢量化图像。

本申请实施例中，电子设备可以获取或访问预设矢量图库，其中，预设矢量图库包含至少一种通用类型的交通元素图像对应的至少一个矢量模板图。电子设备可以通过识别交通元素图像的图像内容，至少一个矢量模板图中进行图像内容的匹配，得到交通元素图像对应的目标矢量模板图，作为矢量化图像。

示例性地，电子设备从待处理道路图像中识别出的交通元素图像可以如图13所示，可以看出，图13中包含了识别到的地面的车道导向图像，如目标检测框12-1至12-5中的图像。预设矢量图库中包含多种车道导向图像对应的矢量模板图，如图14a-图14c所示。电子设备可以根据识别出的每个车道导向图像，在预设矢量图库中匹配出对应的矢量模板图，如12-2中的车道导线图像对应矢量模板图14a，作为目标矢量模板图。

在一些实施例中，电子设备基于图13进行三维重建，得到的三维场景点云可以如图15所示，图15中的点为特征点云，椎体框为成像轨迹，其余的二维矩形框为识别的交通元素图像在三维空间中的位置框。

S3012、在交通元素图像为通用类型的情况下，将交通元素图像替换为网格，基于网格进行矢量化绘制，得到矢量化图像。

本申请实施例中，三维重建得到的三维场景点云通常是无结构的稀疏点云，直接基于三维场景点云进行实景图的生成可能无法直观地为用户提供清晰准确的位置。稠密重建对场景有更好的还原和表达，但是稠密重建耗时且需要大量计算资源。为了提高处理效率，在交通元素图像为通用类型的情况下，电子设备也可以结合先验知识，如所有的地面或者车道线都是矩形，将交通元素图像替换为网格(polygon mesh)，并将网格化的交通元素图像放置在虚拟三维空间中，在特定视角下进行绘制，得到矢量化图像。

S302、利用矢量化图像替换投影区域，对三维场景点云进行更新，并基于预设角度，对更新的三维场景点云进行渲染，得到三维实景图。

本申请实施例中，电子设备利用矢量化图像替换三维场景点云中的投影区域，从而对三维场景点云进行更新，得到更新的三维场景点云。进而，基于预设角度，对更新的三维场景点云进行旋转与渲染，得到三维实景图。

在一些实施例中，电子设备还可以通过执行S303-S304来实现S1033中的方法，将结合各步骤进行说明。

S303、在交通元素图像为通用类型的情况下，从交通元素图像中提取图像纹理，将图像纹理添加至投影区域中，对三维场景点云进行更新，得到更新的三维场景点云。

S304、基于预设角度，对更新的三维场景点云进行渲染，得到三维实景图。

在一些实施例中，电子设备通过S301-S302，或者S303-S304中的矢量化图像替换过程，生成的三维实景图可以如图16所示。

可以理解的是，本申请实施例中，在交通元素图像为通用类型的情况下，将通过语义识别的二维交通元素图像框替换成基础矢量化元素，或者直接提取图像纹理进行添加，可以节约实景图生成过程中，对原图像中的每个元素进行建模和绘制的工作量，提高实景图的生成效率。

在一些实施例中，基于图10，如图17所示，对于特定类型的交通元素图像，电子设备可以通过执行S305-S306的过程，来实现S1033中的方法，将结合各步骤进行说明。

S305、在交通元素图像为特定类型的情况下，基于预设角度，对三维场景点云或更新的三维场景点云进行渲染，生成初始三维实景图。

本申请实施例中，在交通元素图像为特定类型的情况下，由于特定类型的交通元素图像往往难以通过预先准备的矢量化模板图来替换，如道路名称牌图像中的文字内容，如某某路，通常无法使用模板来替代，而仅通过对三维场景点云中道路名称牌图像对应的点云部分进行渲染生成的三维实景图像部分的清晰度可能无法满足导航的要求，如图16中，仅通过稀疏点云进行渲染得到道路名称牌15-1的图像较为模糊，无法起到指示道路名称的作用。因此，电子设备可以先基于预设角度，对三维场景点云或更新的三维场景点云进行绘制，生成初始三维实景图，进而对初始三维实景图中特定类型的交通元素图像对应的图像部分进行更新。

这里，在待重建区域包含通用类型的交通元素图像与特定类型的交通元素图像的情况下，电子设备可以先通过S301-S302，或者S303中的方法，对三维场景点云中通用类型的交通元素图像对应的区域进行更新，得到更新的三维场景点云，进而，基于更新的三维场景点云与预设角度进行渲染，生成初始三维实景图。在这种情况下，初始三维实景图中已经包含了通用类型的交通元素图像的图像映射部分。

在一些实施例中，在待重建区域仅包含特定类型的交通元素图像的情况下，电子设备可以基于三维场景点云与预设角度进行渲染，生成初始三维实景图。

S306、根据投影区域在初始三维实景图中对应的位置信息，使用交通元素图像更新初始三维实景图，得到三维实景图。

本申请实施例中，电子设备根据三维场景点云中的投影区域，可以得到投影区域在初始三维实景图中对应的位置信息，电子设备直接使用使用交通元素图像的原二维图像更新初始三维实景图，从而实现对交通元素图像的仿射变换，得到三维实景图。

示例性地，特定类型的交通元素图像可以如图13中的道路名称牌12-6，或者图18中的道路名称牌17-1所示。电子设备可以获取道路名称牌对应的目标检测框中的四个角点，通过公式(1)得到投影区域在初始三维实景图中对应的位置信息，进而通过S304-S305中的方法，对道路名称牌17-1进行仿射变换，可以得到三维实景图中的对应图像部分17-2。公式(1)如下：

[u,v,1]^T＝T*[x,y,z]^T？ (1)

公式(1)中，u,v为交通元素图像，如道路名称牌的二维坐标信息，T二维图像与初始三维实景图的位置映射关系，也即二维图像坐标系与三维空间坐标系的变换关系，x,y,z为u,v在初始三维实景图中对应的三维坐标信息。

可以理解的是，本申请实施例中，在交通元素图像为特定类型的情况下，电子设备可以通过仿射变换的方式，利用原图的交通元素图像，如道路名称牌，替换重建产生的模糊图像，不仅提高了三维实景图的图像精度(可以看出，图18中17-2的清晰度明显高于图16中的15-1)，也简化了三维实景图的生成流程，降低了渲染工作量，提高了三维实景图的生成效率。

在一些实施例中，交通元素图像还可以包括：至少一种道路线对应的至少一种道路线检测点，至少一种道路线检测点中的每种道路检测点可以包含至少一个道路检测点。如图13所示，电子设备可以通过语义识别过程，得到至少一种道路线检测点中的双黄线检测点对应的至少一个道路线检测点12-7。同样地，也可以得到其他类型的车道线对应的至少一个道路线检测点。电对于至少一种道路线检测点中的每种道路线检测点，子设备可以根据该种道路线检测点中的至少一个道路线检测点进行三维投影与拓扑连接，以对二维图像的检测点结果进行矢量化，生成三维实景图中的道路线图像。

下面将结合图19，说明本申请实施例在实际场景中的一个示例性应用。

本申请实施例可以应用在手机导航软件中，通过S401-S40，生成路口的实景放大图，向用户提供道路导航，如下。

S401、获取众包图像。

S401中，电子设备获取众包图像作为待处理道路图像。

S402、语义分割。

S402中，电子设备对众包图像进行语义分割，从中识别出车、人等元素(相当于非道路信息区域)、基础交通元素(相当于通用类型的交通元素图像)以及道路名称牌(相当于特定类型的交通元素图像)。S402的执行过程与上述S1011-S1012描述一致，此处不再赘述。

S403、添加遮罩和语义。

S403中，电子设备对识别出的车、人等元素添加遮罩，得到非道路信息区域添加有遮罩，且基础交通元素与道路名称牌带有语义信息的待重建图像。

S404、三维重建。

S404中，电子设备对待重建图像进行特征提取与三维重建，得到三维场景点云。S403-S404的执行过程与上述S1021-S1022描述一致，此处不再赘述。

S405、将基础交通要素以矢量替换的方式，更新三维场景点云，得到更新的三维场景点云，并基于更新的三维场景点云进行渲染，得到初始三维实景图。

S405的执行过程与上述图10中的S1031-S301描述一致，此处不再赘述。

S406、将道路名称牌进行仿射变换，替换初始三维实景图的对应区域，得到三维实景图。

S405的执行过程与上述图15中的S1031-S3061描述一致，此处不再赘述。

可以理解的是，本申请实施例中，仅利用众包数据对道路环境进行重建，得到可以用于导航的实景路口放大图，极大的降低了实景图生产的成本，同时也不需要人工采集该道路的图像、绘制和建模。极大的简化了现有实景路口放大图的生产流程。本申请实施例的方案低成本，易复制，可以极大提升生成实景路口放大图的速度。

下面继续说明本申请实施例提供的图像处理装置255的实施为软件模块的示例性结构，在一些实施例中，如图3所示，存储在存储器250的图像处理装置255中的软件模块可以包括：

语义识别模块2551，用于通过对待处理道路图像进行特征提取与语义识别，得到所述待处理道路图像中的待重建区域，以及所述待重建区域中的交通元素图像；

三维重建模块2552，用于对所述待重建区域进行三维重建，得到三维场景点云；

生成模块2553，用于根据所述交通元素图像的类型，将所述交通元素图像映射到所述三维场景点云中，生成三维实景图。

上述装置中，所述语义识别模块2551，还用于对所述待处理道路图像进行特征提取，得到初始特征点集；基于所述初始特征点集进行语义识别与分割，得到所述待处理道路图像中语义表征为道路信息的区域，以及所述交通元素图像，所述交通元素图像为语义表征为交通指示信息的图像区域；将所述语义表征为道路信息的区域作为所述待重建区域。

上述装置中，所述三维重建模块2552，还用于从所述待处理道路图像中，提取出所述待重建区域对应的重建特征点集；利用所述重建特征点集进行三维重建，得到所述三维场景点云。

上述装置中，所述三维重建模块2552，还用于在所述待处理道路图像中，对所述待重建区域之外的区域添加遮罩，得到待重建图像；对所述待重建图像进行特征提取，得到所述重建特征点集。

上述装置中，所述图像处理装置255还包括获取模块与融合模块，所述获取模块，用于所述对待处理道路图像进行特征提取与语义识别之前，获取当前道路场景的目标图像，并获取所述当前道路场景对应的当前定位信息；根据所述当前定位信息，获取至少一个众包图像，并将所述至少一个众包图像与所述目标图像进行图像融合，得到所述当前道路场景对应的待处理道路图像；所述至少一个众包图像为至少一个终端对所述当前道路场景进行采集并上传的图像。

上述装置中，所述生成模块2553，用于获取所述三维场景点云对应的成像参数，计算成像轨迹；并基于所述成像轨迹，计算所述交通元素图像与所述三维场景点云的位置映射关系；所述成像参数通过三维重建过程计算得到；根据所述位置映射关系，确定所述交通元素图像在所述三维场景点云中对应的投影区域；根据所述交通元素图像的类型，将所述交通元素图像映射到所述投影区域中，生成所述三维实景图。

上述装置中，所述交通元素图像的类型包括：通用类型，所述生成模块2553，还用于在所述交通元素图像为通用类型的情况下，获取所述交通元素图像对应的矢量化图像；利用所述矢量化图像替换所述投影区域，对所述三维场景点云进行更新，并基于预设角度，对更新的三维场景点云进行渲染，得到所述三维实景图。

上述装置中，所述生成模块2553，还用于从预设矢量图库中，获取所述交通元素图像对应的目标矢量模板图，作为所述矢量化图像；所述预设矢量图库包含至少一种通用类型的交通元素图像对应的至少一个矢量模板图；或者，将所述交通元素图像替换为网格，基于所述网格进行矢量化绘制，得到所述矢量化图像。

上述装置中，所述生成模块2553，还用于在所述交通元素图像为通用类型的情况下，从所述交通元素图像中提取图像纹理，将所述图像纹理添加至所述投影区域中，对所述三维场景点云进行更新，得到更新的三维场景点云；基于预设角度，对更新的三维场景点云进行渲染，得到所述三维实景图。

上述装置中，所述交通元素图像的类型包括：特定类型，所述生成模块2553，还用于在所述交通元素图像为特定类型的情况下，基于预设角度，对所述三维场景点云或更新的三维场景点云进行渲染，生成初始三维实景图；根据所述投影区域在所述初始三维实景图中对应的位置信息，使用所述交通元素图像更新所述初始三维实景图，得到所述三维实景图。

上述装置中，所述交通元素图像包括：至少一种道路线检测点，所述生成模块2553，还用于对所述至少一种道路线检测点进行三维投影与拓扑连接，生成所述三维实景图中的道路线图像。

需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的方法，例如，如图4-图6、图8、图10-图12、图17或图19中示出的方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPR OM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

综上所述，通过对待处理道路图像进行语义识别，可以得到待处理道路图像中的待重建区域，进而基于待重建区域进行实景图生成，降低了图像处理的工作量。并且，根据交通元素图像的类型，将交通元素图像映射至待重建区域三维重建得到的三维场景点云中，相较于相关技术中针对道路图像中的各个元素进行绘制和建模，简化了实景图的生成流程，提高了处理速度，从而提高了生成实景图的效率。并且，通过利用深度学习网络过滤待处理道路图像中的车、人、车辆内景等非道路元素，既可以减少三维重建中的噪声引入，提高三维重建的精度，进而提高生成三维实景图的精度，还可以减少电子设备进行三维重建中图像处理的工作量，提高图像处理的速度。并且，在交通元素图像为通用类型的情况下，将通过语义识别的二维交通元素图像框替换成基础矢量化元素，或者直接提取图像纹理进行添加，可以节约实景图生成过程中，对原图像中的每个元素进行建模和绘制的工作量，提高实景图的生成效率。在交通元素图像为特定类型的情况下，电子设备可以通过仿射变换的方式，利用原图的交通元素图像，如道路名称牌，替换重建产生的模糊图像，不仅提高了三维实景图的图像精度，也提高了三维实景图的生成效率。

以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (15)

1.一种图像处理方法，其特征在于，包括：

通过对待处理道路图像进行特征提取与语义识别，得到所述待处理道路图像中的待重建区域，以及所述待重建区域中的交通元素图像；

对所述待重建区域进行三维重建，得到三维场景点云；

根据所述交通元素图像的类型，将所述交通元素图像映射到所述三维场景点云中，生成三维实景图。

2.根据权利要求1所述的方法，其特征在于，所述通过对待处理道路图像进行特征提取与语义识别，得到所述待处理道路图像中的待重建区域，以及所述待重建区域中的交通元素图像，包括：

对所述待处理道路图像进行特征提取，得到初始特征点集；

基于所述初始特征点集进行语义识别与分割，得到所述待处理道路图像中语义表征为道路信息的区域，以及所述交通元素图像，所述交通元素图像为语义表征为交通指示信息的图像区域；

将所述语义表征为道路信息的区域作为所述待重建区域。

3.根据权利要求2所述的方法，其特征在于，所述对所述待重建区域进行三维重建，得到三维场景点云，包括：

从所述待处理道路图像中，提取出所述待重建区域对应的重建特征点集；

利用所述重建特征点集进行三维重建，得到所述三维场景点云。

4.根据权利要求3所述的方法，其特征在于，所述从所述待处理道路图像中，提取出所述待重建区域对应的重建特征点集，包括：

在所述待处理道路图像中，对所述待重建区域之外的区域添加遮罩，得到待重建图像；

对所述待重建图像进行特征提取，得到所述重建特征点集。

5.根据权利要求1所述的方法，其特征在于，所述对待处理道路图像进行特征提取与语义识别之前，所述方法还包括：

获取当前道路场景的目标图像，并获取所述当前道路场景对应的当前定位信息；

根据所述当前定位信息，获取至少一个众包图像，并将所述至少一个众包图像与所述目标图像进行图像融合，得到所述当前道路场景对应的待处理道路图像；所述至少一个众包图像为至少一个终端对所述当前道路场景进行采集并上传的图像。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述交通元素图像的类型，将所述交通元素图像映射到所述三维场景点云中，生成三维实景图，包括：

获取所述三维场景点云对应的成像参数，计算成像轨迹；并基于所述成像轨迹，计算所述交通元素图像与所述三维场景点云的位置映射关系；所述成像参数通过三维重建过程计算得到；

根据所述位置映射关系，确定所述交通元素图像在所述三维场景点云中对应的投影区域；

根据所述交通元素图像的类型，将所述交通元素图像映射到所述投影区域中，生成所述三维实景图。

7.根据权利要求6所述的方法，其特征在于，所述交通元素图像的类型包括：通用类型，所述根据所述交通元素图像的类型，将所述交通元素图像映射到所述投影区域中，生成所述三维实景图，包括：

在所述交通元素图像为通用类型的情况下，获取所述交通元素图像对应的矢量化图像；

利用所述矢量化图像替换所述投影区域，对所述三维场景点云进行更新，并基于预设角度，对更新的三维场景点云进行渲染，得到所述三维实景图。

8.根据权利要求7所述的方法，其特征在于，所述获取所述交通元素图像对应的矢量化图像，包括：

从预设矢量图库中，获取所述交通元素图像对应的目标矢量模板图，作为所述矢量化图像；所述预设矢量图库包含至少一种通用类型的交通元素图像对应的至少一个矢量模板图；

或者，

将所述交通元素图像替换为网格，基于所述网格进行矢量化绘制，得到所述矢量化图像。

9.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在所述交通元素图像为通用类型的情况下，从所述交通元素图像中提取图像纹理，将所述图像纹理添加至所述投影区域中，对所述三维场景点云进行更新，得到更新的三维场景点云；

基于预设角度，对更新的三维场景点云进行渲染，得到所述三维实景图。

10.根据权利要求7-9任一项所述的方法，其特征在于，所述交通元素图像的类型包括：特定类型，所述根据所述交通元素图像的类型，将所述交通元素图像映射到所述投影区域中，生成所述三维实景图，包括：

在所述交通元素图像为特定类型的情况下，基于预设角度，对所述三维场景点云或更新的三维场景点云进行渲染，生成初始三维实景图；

根据所述投影区域在所述初始三维实景图中对应的位置信息，使用所述交通元素图像更新所述初始三维实景图，得到所述三维实景图。

11.根据权利要求1-5任一项所述的方法，其特征在于，所述交通元素图像包括：至少一种道路线检测点，所述方法还包括：

对所述至少一种道路线检测点进行三维投影与拓扑连接，生成所述三维实景图中的道路线图像。

12.一种图像处理装置，其特征在于，包括：

语义识别模块，用于通过对待处理道路图像进行特征提取与语义识别，得到所述待处理道路图像中的待重建区域，以及所述待重建区域中的交通元素图像；

三维重建模块，用于对所述待重建区域进行三维重建，得到三维场景点云；

生成模块，用于根据所述交通元素图像的类型，将所述交通元素图像映射到所述三维场景点云中，生成三维实景图。

13.一种电子设备，其特征在于，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至11任一项所述的方法。

14.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于被处理器执行时，实现权利要求1至11任一项所述的方法。

15.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现权利要求1至11任一项所述的方法。

Images