CN115272147A - 一种图像增强方法及装置 - Google Patents

一种图像增强方法及装置 Download PDF

Info

Publication number
CN115272147A
CN115272147A CN202210910833.6A CN202210910833A CN115272147A CN 115272147 A CN115272147 A CN 115272147A CN 202210910833 A CN202210910833 A CN 202210910833A CN 115272147 A CN115272147 A CN 115272147A
Authority
CN
China
Prior art keywords
data
panoramic image
point
points
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210910833.6A
Other languages
English (en)
Inventor
周勋
胡帅朋
李建昆
崔登吉
温四林
蔡香玉
刘长康
张灿
龚小鹏
李小欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Automotive Innovation Corp
Original Assignee
China Automotive Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Automotive Innovation Corp filed Critical China Automotive Innovation Corp
Priority to CN202210910833.6A priority Critical patent/CN115272147A/zh
Publication of CN115272147A publication Critical patent/CN115272147A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像增强方法及装置，涉及测量数据处理技术领域，该方法包括：获取道路测量信息中的点云数据和全景图像集；对所述点云数据和所述全景图像集进行融合，得到融合结果，所述融合结果包含所述点云数据中的数据点与所述全景图像集中的像素点的对应关系；确定所述数据点的第一属性数据；基于所述对应关系和所述数据点的第一属性数据，对所述全景图像集进行图像增强处理，得到目标全景图像集。本申请利用同为道路测量信息的点云数据对全景图像集进行图像增强操作，能够提升道路测量所得的全景图像的图像质量，更好地突出道路场景要素信息。

Description

一种图像增强方法及装置
技术领域
本申请涉及测量数据处理技术领域，具体涉及一种图像增强方法及装置。
背景技术
随着硬件、软件设备的更新升级，移动测量系统得到了快速的发展，在地理空间数据生产与更新得到了广泛应用，并逐渐成为无人驾驶高精地图的数据基础。目前，车载移动测量系统(Mobile Mapping System，MMS)集成了全球卫星定位系统、惯导系统、激光雷达扫描系统、影像采集系统、高精度时间同步系统和车辆里程计等传感器。
其中，全景图像是一种超广角视场表达，比普通单幅图像包含更加直观、更加完整的场景信息。在车载移动测量系统中安装全景图像采集设备，使得全景图像的优势在虚拟场景构建、无人驾驶高精地图等领域得到了更深入的体现。但是受天气、周围环境等影响，全景相机所拍摄的全景图像会出现亮度较低、要素不清楚等问题，从而导致全景图像的信息有效性和利用率低。
发明内容
为了提升全景图像的图像质量和要素表现力，本申请提供了一种图像增强方法及装置。所述技术方案如下：
第一方面，本申请提供了一种图像增强方法，所述方法包括：
获取道路测量信息中的点云数据和全景图像集；
对所述点云数据和所述全景图像集进行融合，得到融合结果，所述融合结果包含所述点云数据中的数据点与所述全景图像集中的像素点的对应关系；
确定所述数据点的第一属性数据；
基于所述对应关系和所述数据点的第一属性数据，对所述全景图像集进行图像增强处理，得到目标全景图像集。
可选的，所述方法还包括：
确定所述像素点的第二属性数据，所述第二属性数据包括色彩数据；
基于所述对应关系和所述像素点的色彩数据，确定所述数据点的色彩数据；
根据所述数据点的色彩数据，生成所述目标点云数据。
可选的，所述全景图像集包括至少一帧全景图像，所述对所述点云数据和所述全景图像集进行融合，得到融合结果，包括：
遍历所述点云数据中的数据点，从所述至少一帧全景图像中确定与所述数据点匹配的关联全景图像；
基于坐标系转换关系，将所述数据点映射至所述关联全景图像所在的坐标系中，得到所述数据点在所述坐标系中的位置数据；
根据所述数据点在所述坐标系中的位置数据，确定所述关联全景图像中与所述数据点对应的像素点；
根据所述全景图像集、所述数据点的所述位置数据以及与所述数据点对应的像素点，得到融合结果。
可选的，所述遍历所述点云数据中的数据点，从所述至少一帧全景图像中确定与所述数据点匹配的关联全景图像，包括：
获取全景相机的位姿数据；所述全景图像集由所述全景相机拍摄得到；
基于所述位姿数据确定所述数据点与各帧全景图像之间的距离；
根据所述数据点与各帧全景图像之间的距离，从所述至少一帧全景图像中确定与所述数据点匹配的关联全景图像。
可选的，所述第一属性数据包括距离数据；所述距离数据指示所述数据点与所述全景图像集所在的坐标系的中心之间的距离；所述基于所述对应关系和所述数据点的第一属性数据，对所述全景图像集进行增强处理，得到目标全景图像集，包括：
基于所述对应关系和所述数据点的距离数据，确定所述像素点的深度数据；
根据所述像素点的深度数据对所述全景图像集进行图像增强处理，得到所述目标全景图像集。
可选的，所述第一属性数据包括强度数据；所述强度数据指示激光在所述数据点的反射强度；所述基于所述对应关系和所述数据点的第一属性数据，对所述全景图像集进行图像增强处理，得到目标全景图像集，还包括：
构建点云强度增强模型；
将所述数据点的强度数据输入至所述点云强度增强模型，进行强度增强处理，得到所述数据点的目标强度数据；
基于所述对应关系和所述数据点的目标强度数据，更新所述像素点的色彩数据；
根据更新后的所述像素点的色彩数据对所述全景图像集进行增强处理，得到所述目标全景图像集。
可选的，所述方法还包括：
根据所述道路测量信息的采集轨迹，确定所述点云数据中的边界数据点；
将所述边界数据点映射至所述全景图像集中的第一关联全景图像中，确定所述第一关联全景图像中与所述边界数据点对应的第一像素点；
将所述边界数据点映射至所述全景图像集中的第二关联全景图像中，确定所述第二关联全景图像中与所述边界数据点对应的第二像素点；所述第一关联全景图像和所述第二关联全景图像为所述全景图像集中的相邻帧图像；
在所述第一像素点与所述第二像素点的相似性不满足预设条件的情况下，根据所述第一像素点的色彩数据和所述第二像素点的色彩数据，确定所述边界数据点的色彩数据。
可选的，所述基于所述对应关系和所述像素点的色彩数据，确定所述数据点的色彩数据，包括：
根据所述对应关系和所述像素点的色彩数据，确定所述点云数据中的第一异常数据点；所述第一异常数据点对应的像素点的色彩数据为缺失状态；
根据所述全景图像集中与所述第一异常数据点匹配的关联全景图像，确定第一候选全景图像；所述第一候选全景图像与所述关联全景图像为所述全景图像集中的相邻帧图像；
确定所述第一候选全景图像中与所述第一异常数据点对应的第一候选像素点；
在所述第一候选像素点的色彩数据不为缺失状态的情况下，根据所述第一候选像素点的色彩数据确定所述第一异常数据点的色彩数据。
可选的，所述基于所述对应关系和所述像素点的色彩数据，确定所述数据点的色彩数据，还包括：
对所述全景图像集进行图像分割和识别，确定所述像素点的类别数据；
根据所述对应关系和所述像素点的类别数据，确定所述点云数据中的第二异常数据点；所述第二异常数据点对应的像素点的类别数据满足预设限制条件；
根据所述全景图像集中与所述第二异常数据点匹配的关联全景图像，确定第二候选全景图像；所述第二候选全景图像与所述关联全景图像为所述全景图像集中的相邻帧图像；
确定所述第二候选全景图像中与所述第二异常数据点对应的第二候选像素点；
在所述第二候选像素点的类别数据不满足所述预设限制条件的情况下，根据所述第二候选像素点的色彩数据确定所述第二异常数据点的色彩数据。
可选的，所述方法还包括：
根据所述道路测量信息的采集轨迹，构建地面三角格网；
确定所述第二异常数据点至所述地面三角格网的距离；
在所述距离表征所述第二异常数据点为地面数据点的情况下，确定所述第二候选全景图像，所述第二候选全景图像为所述关联全景图像的前一帧全景图像；
在所述距离表征所述第二异常数据点不为地面数据点的情况下，确定所述第二候选全景图像，所述第二候选全景图像为所述关联全景图像的后一帧全景图像。
第二方面，本申请提供了一种图像增强装置，所述装置包括：
获取模块，用于获取道路测量信息中的点云数据和全景图像集；
融合模块，用于对所述点云数据和所述全景图像集进行融合，得到融合结果，所述融合结果包含所述点云数据中的数据点与所述全景图像集中的像素点的对应关系；
第一属性信息确定模块，用于确定所述数据点的第一属性数据；
第一优化模块，用于基于所述对应关系和所述数据点的第一属性数据，对所述全景图像集进行图像增强处理，得到目标全景图像集。
本申请提供的一种图像增强方法及装置，具有如下技术效果：
本申请提供的方案根据道路测量信息中的点云数据和全景图像集进行数据的融合，得到融合结果，融合结果中包含了点云数据中的数据点与全景图像集中的像素点的对应关系；进而利用这种对应关系和数据点的第一属性数据对全景图像集中的像素点关联的属性数据进行增强，也即是对全景图像集进行图像增强处理，得到目标全景图像集。所得到的目标全景图像集在图像深度、像素色彩等方面能够得到加强，改善了道路测量中所得的全景图像的图像质量，提升了道路场景要素的表现力，从而可以为虚拟场景构建、高精度地图等应用提供有效可信的全景图像数据。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种图像增强方法的实施环境示意图；
图2是本申请实施例提供的一种图像增强方法的流程示意图；
图3是本申请实施例提供的一种对点云进行格网划分的示意图；
图4是本申请实施例提供的一种对点云数据和全景图像集进行融合的流程示意图；
图5是本申请实施例提供的一种多个坐标系的示意图；
图6是本申请实施例提供的一种像素坐标系下的数据点坐标示意图；
图7是本申请实施例提供的一种确定与数据点匹配的关联全景图像的流程示意图；
图8是本申请实施例提供的一种增强全景图像深度数据的流程示意图；
图9是本申请实施例提供的一种增强全景图像色彩数据的流程示意图；
图10是本申请实施例提供的一种点云着色的流程示意图；
图11是本申请实施例提供的一种对点云着色进行优化的流程示意图；
图12是本申请实施例提供的一种数据点邻域搜索示意图；
图13是本申请实施例提供的一种数据缺失情况下对点云着色进行优化的流程示意图；
图14是本申请实施例提供的一种数据干扰情况下对点云着色进行优化的流程示意图；
图15是本申请实施例提供的另一种数据干扰情况下对点云着色进行优化的流程示意图；
图16是本申请实施例提供的一种地面三角格网的示意图；
图17是本申请实施例提供的一种具体的融合与优化的流程示意图；
图18是本申请实施例提供的一种图像增强装置的示意图；
图19是本申请实施例提供的另一种图像增强装置的示意图；
图20是本申请实施例提供的用于实现一种图像增强方法的设备的硬件结构示意图。
具体实施方式
为了提升全景图像的图像质量和要素表现力，本申请实施例提供了一种图像增强方法及装置。下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于理解本申请实施例所述的技术方案及其产生的技术效果，本申请实施例对于涉及到的相关专业名词进行解释：
车载移动测量系统：Mobile Mapping System，简称MMS，是一种用于地球科学、测绘科学技术、水利工程等领域的特种检测仪器。
点云：是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”(PointCloud)。
IMU：Inertial MeasurementUnit，即惯性测量单元，用于测量物体三轴姿态角(或角速率)以及加速度。
TIN格网：TriangulatedlrregularNetwok，简称TIN，不规则三角网，是由空间中离散分布的不均匀点组成的三角网络模型。基于不规则三角剖分的数字高程模型是由不交叉、不重叠的一系列相互联结的三角形来描述地形表面，三角面上任意点的高程值都可以通过附近三角形顶点高程值加权平均插值求得。
光度一致性：photometric loss，是指两帧之间同一个点或者patch的光度可以指灰度值)几乎不会有变化，几何一致就是同一个静态点在相邻帧之间的尺度(也即尺寸大小)几乎不会有变化。
请参阅图1，其为本申请实施例提供的一种图像增强方法的实施环境示意图，如图1所示，该实施环境可以至少包括车辆110和服务器120。
具体的，所述车辆110装备有车载移动测量系统以采集道路测量信息，车载移动测量系统中可以包括激光雷达扫描系统、影像采集系统等，其中激光雷达扫描系统用于生成点云数据，影像采集系统可以为全景相机，用于生成全景图像。所述车辆110将生成的点云数据和全景图像上传至所述服务器120以进行处理。
所述服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。所述服务器120可以包括有网络通信单元、处理器和存储器等等。所述车辆110以及所述服务器120可以通过通信网络进行连接，本申请在此不做限制。具体的，所述服务器120对获取到的道路测量信息中的点云数据和全景图像集进行数据融合，得到融合结果，其中融合结果包含了点云数据中的数据点与全景图像集中的像素点的对应关系；进而所述服务器120利用这种对应关系和数据点的第一属性数据对全景图像集中的像素点关联的属性数据进行增强，也即是对全景图像集进行图像增强处理，得到目标全景图像集。所得到的目标全景图像集在图像深度、像素色彩等方面能够得到加强，改善了道路测量中所得的全景图像的图像质量，提升了道路场景要素的表现力，从而可以为虚拟场景构建、高精度地图等应用提供有效可信的全景图像数据。
本申请实施例还可以结合云技术实现，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。云技术需要以云计算作为支撑。云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。具体地，所述服务器120位于云端，所述服务器120可以是实体机器，也可以是虚拟化机器。
请参阅图2，其为本申请实施例提供的一种图像增强方法的流程图，本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。请参照图2，本申请实施例提供的一种图像增强方法可以包括如下步骤：
S210：获取道路测量信息中的点云数据和全景图像集。
在本申请实施例中，利用集成了全球卫星定位系统、惯导系统、激光雷达扫描系统、影像采集系统、高精度时间同步系统和车辆里程计等传感器的车载移动测量系统进行道路测量，所得到的道路测量信息可以作为虚拟场景构建、三维场景重建、高精度地图等应用的基础数据。
在本申请实施例中，点云数据中包含采样所得的多个数据点以及各数据点的属性数据。示例性的，根据激光测量原理得到的点云数据，各数据点的属性数据可以包括三维坐标(X，Y，Z)和激光反射强度(Intensity)，激光反射强度与采样对象的表面材质及粗糙度、激光入射角方向、激光波长以及仪器的发射能量有关。根据摄影测量原理得到的点云数据，各数据点的属性数据可以包括三维坐标(X，Y，Z)和色彩信息(R，G，B)。
在本申请实施例中，全景图像集中包含至少一帧全景图像。示例性的，全景图像可以通过多路信号采集、相机标定、图像拼接等过程得到，还可以通过全景相机直接拍摄得到。
在本申请的一个实施例中，根据道路测量信息的点云数据和全景图像集各自的时间范围信息，选取相同时间范围内的点云数据和全景图像集，以保证数据融合的准确。
考虑到点云数据是海量数据点的集合，为了提升在融合过程中对点云数据的快速有序地读取，本申请的一个实施例还提供了一种点云数据索引文件的构建方式。具体地，获取点云数据的文件头信息，主要包括点云总数和范围。根据点云的范围将点云按照格网进行划分，图3示出了一种按照10米×10米的格网进行划分的平面示意图，同时构建点云数据的索引树，0层为根节点，为整个点云范围，中间层为父节点对应于所划分的格网，其不存放点云，最后一层为叶子节点，叶子节点中存放点云数据。考虑到海量点云数据较大和电脑内存的局限，可以首先遍历一遍点云数据，叶子节点中暂时不存储点云数据，而是设置一个计数器，只分配每个叶子节点存放点云的个数。第二次遍历点云数据，根据内存大小及叶子节点中存放点云的个数，在叶子节点中存储一个数据点后计数器减去1，直到计数器为0，同时生成该叶子节点对应的索引信息和按照该叶子节点组织的点云数据文件。以此类推，循环遍历点云数据直到所有叶子节点计数器为0，得到包含各叶子节点的索引信息和按照各叶子节点组织的点云数据的索引文件。为提高索引的效率，优选地，还可以利用Open Multi-Processing(共享存储并行编程)技术进行并发处理。
S220：对点云数据和全景图像集进行融合，得到融合结果，融合结果包含点云数据中的数据点与全景图像集中的像素点的对应关系。
在本申请实施例中，对点云数据和全景图像集的融合过程主要是通过实验场标定和一系列数据处理，将点云数据和全景图像集中的全景图像进行配准，从而可以通过配准，可以确定点云数据中的数据点与配准的全景图像中像素点的对应关系。具体地，三维点云数据与全景图像的配准转换关系是融合的关键，需要根据标定参数、轨迹参数的空间几何及物理意义进行严密转换。
S230：确定数据点的第一属性数据。
在本申请实施例中，数据点的第一属性数据可以包括但不限于数据点的坐标数据、距离数据、强度数据等。示例性的，数据点的坐标数据可以是数据点在点云世界坐标系中的坐标PW(XW，YW，ZW)，坐标数据可以直接从点云数据中确定；数据点的距离数据可以是数据点与全景图像集所在的坐标系的中心之间的距离，更具体的，可以数据点到与其配准的全景图像所在的坐标系的中心之间的距离，其中心可以为相机中心，距离数据可以根据融合结果确定；数据点的强度数据指示激光在数据点对应的采样点的反射强度，在根据激光测量原理得到的点云数据中可以直接确定该强度数据。
S240：基于对应关系和数据点的第一属性数据，对全景图像集进行图像增强处理，得到目标全景图像集。
在本申请实施例中，基于点云数据中的数据点与全景图像集中的像素点的对应关系、数据点的第一属性数据，对全景图像集中的像素点的关联属性数据进行增强处理，也即相当于是对全景图像集中的全景图像进行图像增强处理，得到增强后的目标全景图像。示例性的，可以根据数据点的距离数据生成深度图，从而将深度图将与数据点匹配的全景图像进行融合，得到RGB-D图像；还可以根据数据点的强度数据融合到全景图像中，更新全景图像中的RGB(光学三原色，R代表Red(红色)，G代表Green(绿色)，B代表Blue(蓝色))数值，突出全景图像中所包含的要素信息。
由上述实施例可知，本申请提供的方案根据道路测量信息中的点云数据和全景图像集进行数据的融合，得到融合结果，融合结果中包含了点云数据中的数据点与全景图像集中的像素点的对应关系；进而利用这种对应关系和数据点的第一属性数据对全景图像集中的像素点关联的属性数据进行增强，也即是对全景图像集进行图像增强处理，得到目标全景图像集。所得到的目标全景图像集在图像深度、像素色彩等方面能够得到加强，改善了道路测量中所得的全景图像的图像质量，提升了道路场景要素的表现力，从而可以为虚拟场景构建、高精度地图等应用提供有效可信的全景图像数据。
请参阅图4，其为本申请实施例提供的一种对点云数据和全景图像集进行融合的流程示意图。全景图像集包括至少一帧全景图像，如图4所示，所述步骤S220可以包括以下步骤：
S310：遍历点云数据中的数据点，从至少一帧全景图像中确定与数据点匹配的关联全景图像。
对点云数据和全景图像集的融合过程关键的是将点云数据和全景图像集中的全景图像进行配准，也即为点云数据中的每个数据点，匹配关联全景图像。
S320：基于坐标系转换关系，将数据点映射至关联全景图像所在的坐标系中，得到数据点在坐标系中的位置数据。
点云数据中数据点的坐标为世界坐标系下的绝对坐标，表述数据点的实际位置，根据共线原理，数据点、摄影中心和成像点是共线的，故可以根据数据点的三维坐标数据确定对应的像素点的坐标数据。上述关联全景图像所在的坐标系为图像所在的像素坐标系。
S330：根据数据点在坐标系中的位置数据，确定关联全景图像中与数据点对应的像素点。
图5示出了一种多个坐标系的示意图。具体地，将数据点P映射至关联全景图像所在的像素坐标系中，主要包括：
步骤1：如公式(1)所示，将数据点P在世界坐标系中的坐标PW(XW，YW，ZW)转换为以全景图像的球心为中心的地理坐标系下的坐标PM(XM，YM，ZM)：
Figure BDA0003773918430000121
其中，(ΔX，ΔY，ΔZ)表示车辆定位系统与相机之间的偏移参数。
步骤2：如公式(2)、(3)所示，将PM(XM，YM，ZM)转换为以全景图像的球心为中心的全景图像球面坐标系下的坐标PS(XS，YS，ZS)：
Figure BDA0003773918430000122
Figure BDA0003773918430000123
其中
Figure BDA0003773918430000124
为旋转矩阵的参数，由全景图像的三个位姿角度构成：r(roll，翻滚角)、p(pitch，俯仰角)、h(heading，航向角)。
步骤3：如公式(4)、(5)所示，将PS(XS，YS，ZS)转换为全景图像球中的极坐标PP(R，φ，θ)：
Figure BDA0003773918430000131
Figure BDA0003773918430000132
其中全景图像球的半径为R，点PS与球面坐标系的坐标原点的连线与XSOYS平面的夹角为φ，与XSOZS平面的夹角为θ。
步骤4：如公式(6)、(7)所示，将极坐标PP(R，φ，θ)转换为全景图像所在的像素坐标系下的坐标(m，n)：
Figure BDA0003773918430000133
Figure BDA0003773918430000134
如图6所示，其中W为全景图像的宽度，H为全景图像的高度，m为数据点P位于全景图像的列数，n为数据点位于全景影像的行数，m、n的单位为像素。
至此，对于数据点P，对应的像素点为匹配的全景图像中的像素点(m，n)。
S340：根据全景图像集、数据点的位置数据以及与数据点对应的像素点，得到融合结果。
经过配准，将数据点在世界坐标系下的坐标数据转换为全景图像所在的像素坐标系下的坐标数据(也即上述的位置数据)，并确定对应的全景图像中的像素点。将点云数据和全景图像集的融合后的融合结果包含了全景图像集中的所有数据、配准过程中的转换后的位置数据、数据点和像素点的对应关系，当然还有点云数据的所有数据。
上述实施例实现了点云数据与全景图像集的精准融合，并为每个数据点匹配对应的全景图像以及全景图像中的像素点，为后续利用点云数据对全景图像集进行图像增强提供了可信的数据基础。
请参阅图7，其为本申请实施例提供的一种确定与数据点匹配的关联全景图像的流程示意图。如图7所示，上述步骤S310可以具体包括以下步骤：
S311：获取全景相机的位姿数据；全景图像集由全景相机拍摄得到。
具体地，利用Inertial Exploer(一种对全球定位数据差分及惯性定位处理的软件)将惯导数据和导航数据进行联合平差解算，生成惯导位姿数据；结合全景相机和惯性测量单元的高精度标定参数，解算出全景相机的位姿数据。
进一步地，根据点云数据和全景图像集所对应的时间范围，加载对应的全景相机的位姿数据。
S312：基于位姿数据确定数据点与各帧全景图像之间的距离。
具体地，首先可以根据全景相机的位姿数据、相机的焦距等确定全景图像的位置数据，也即是在世界坐标系下的位置数据，该位置数据可以以全景图像的图像中心点在世界坐标系中的位置来表示。其次，遍历各数据点，对于当前遍历到的数据点，计算该数据点与各帧全景图像的图像中心之间的距离。
S313：根据数据点与各帧全景图像之间的距离，从至少一帧全景图像中确定与数据点匹配的关联全景图像。
具体地，根据根据数据点与各帧全景图像之间的距离，从至少一帧全景图像中选取距离数据点最近的全景图像作为与数据点匹配的关联全景图像。
优选地，各帧全景图像在时序上是连续的，可以基于二分法查找距离数据点最近的全景图像，而不用计算每帧全景图像与数据点的距离。
上述实施方式中，利用高精度标定参数结合IMU位姿进行全景图像位姿解算，实现了数据点与全景图像的精准匹配。
请参阅图8，其为本申请实施例提供的一种增强全景图像深度数据的流程示意图。第一属性数据包括距离数据，距离数据指示数据点与全景图像集所在的坐标系的中心之间的距离，如图8所示，步骤S240可以包括以下步骤：
S410：基于对应关系和数据点的距离数据，确定像素点的深度数据。
数据点的距离数据是数据点与全景图像集所在的坐标系的中心之间的距离，更具体的，是数据点到与其匹配的关联全景图像所在的坐标系的中心之间的距离，其坐标系为全景图像的球面坐标系，坐标系的中心可以为相机中心。根据前述的融合过程，可以确定数据点映射至全景图像的球面坐标系下的坐标，进而可以确定该坐标与坐标系原点的距离。
基于对应关系和数据点的距离数据，确定像素点的深度数据，也即是将数据点的距离数据直接赋值给与数据点对应的像素点，作为该像素点的深度数据。
鉴于点云分辨率和全景图像分辨率的差异，会出现一个像素点对应多个数据点或者一个像素点没有对应的数据点的情况。针对一个像素点对应多个数据点的情况，可以将多个数据点的距离期望值作为该像素点的深度值；针对一个像素点没有对应的数据点的情况，可通过周边数据点的距离数据进行内插，为该像素点的深度数据赋值。
其次点云存在遮挡的现象，也会造成一个像素点对应多个数据点的情况，可以取多个数据点的距离值中的最小值做为该像素点的深度值。
另外点云还存在投射效应，当窗口中心的数据点的距离比周围数据点云的距离大时，利用周围邻近数据点的距离值代替窗口中心的数据点的距离，作为该窗口对应的像素点的深度值。
S430：根据像素点的深度数据对全景图像集进行图像增强处理，得到所述目标全景图像集。
具体地，根据像素点的深度数据构建对应全景图像的深度图，将深度图与对应的全景图像进行融合，得到RGB-D图像，也即得到包含三原色和深度的目标全景图像。
上述实施方式中，通过点云数据增强了全景图像中的深度数据，深度数据可以直接反映可见物表面的几何形状，利用深度数据可以很方便地解决三维目标描述中的许多问题，便于利用目标全景图像进行三维场景重建。
请参阅图9，其为本申请实施例提供的一种增强全景图像色彩数据的流程示意图。第一属性数据包括强度数据，强度数据指示激光在数据点的反射强度；如图9所示，步骤S240还可以包括以下步骤：
S420：构建点云强度增强模型。
鉴于激光雷达回波强度范围小、分辨率低，可以对点云强度进行增强处理。根据激光雷达回波强度、点云距离等约束条件，并考虑过度增强的情况，建立如公式(8)的点云强度增强模型：
Figure BDA0003773918430000161
其中，R为数据点到激光雷达中心的距离，MAXR为点云最大范围，A为激光雷达的回波强度，I为增强后的强度值。
同时，激光点云数据的三维几何信息是三维重建的关键数据，而反射强度数据在一定程度上可以反映出不同对象之间的差异以及同一对象不同颜色的差异，体现出了点云纹理的特性。在渲染点云时增强后的强度信息可以提高渲染的对比度。
S440：将数据点的强度数据输入至点云强度增强模型，进行强度增强处理，得到数据点的目标强度数据。
也即，数据点的原始强度数据为公式(8)中的A，目标强度数据为公式(8)中所得到的I。
S460：基于对应关系和数据点的目标强度数据，更新像素点的色彩数据。
具体地，鉴于点云数据和全景影像在表达纬度及范围的差异，需要建立强度数据与色彩数据之间的映射关系。首先将增强后的数据点的强度数据(也即目标强度数据)归一化到[0-255]区间，然后将全景图像的RGB数据按照3:6:1的权重比例，归一化到[0-255]区间，并为强度数据和RGB数据分配一定比例的权重。最后将归一化后的强度数据与全景图像RGB三个通道中的数据按照所分配的权重比例分别求其加权值，对各加权值判断是否超出对应通道的数值阈值，如果未超出则作为更新后的通道数值，如果超出阈值则将通道数值设置为255。三个通道更新后的通道数值作为更新后的像素点的色彩数据。
S480：根据更新后的像素点的色彩数据对全景图像集进行增强处理，得到目标全景图像集。
具体地，可以根据更新后的像素点的色彩数据对全景图像重新渲染，得到目标全景图像。上述实施方式中，目标全景图像相较于原始的全景图像，突出了图像中的要素信息，能够在高精度地图生成、场景重建等应用中提高道路要素的提取精度。
请参阅图10，其为本申请实施例提供的一种点云着色的流程示意图。如图10所示，所述方法还可以包括以下步骤：
S210：获取道路测量信息中的点云数据和全景图像集。
S220：对点云数据和全景图像集进行融合，得到融合结果，融合结果包含点云数据中的数据点与全景图像集中的像素点的对应关系。
步骤S210和步骤S220可以参考前述实施例，此处不再赘述。
S530：确定像素点的第二属性数据，第二属性数据包括色彩数据。
像素点的色彩数据包括RGB三通道的数值。
S540：基于对应关系和像素点的色彩数据，确定数据点的色彩数据。
也即，将像素点的色彩数据直接赋值给对应的数据点，作为数据点的色彩数据。
S550：根据数据点的色彩数据，生成目标点云数据。
根据数据点的色彩数据，生成目标点云数据，目标点云数据指示彩色点云，或者是一种或多种特定颜色的点云。
激光雷达所采集的点云数据具有高度精确的位置信息，但缺乏纹理和光谱数据。因此，将点云数据和全景图像进行智能融合，可以得到具有纹理属性的彩色点云。上述实施例中，可以利用全景图像集中像素点的色彩数据对点云数据进行优化，可以快速、高效地获取高精度、低噪声、高质量的彩色点云，从而可以为点云数据的分类分割提供丰富准确的属性信息以提高点云数据分类和目标提取的效果，以及可以为高精地图以及三维模型的重建等提供丰富的纹理信息。
图11示出了本申请实施例提供的一种对点云着色进行优化的流程示意图。如图11所示，针对全景图像之间由于曝光强度和感光度等不同，会造成点云分段着色时产生颜色断层等问题，所述方法还可以包括以下步骤：
S610：根据道路测量信息的采集轨迹，确定点云数据中的边界数据点。
具体地，根据道路测量信息的采集轨迹确定全景图像的采集轨迹点；进而根据全景图像的采集轨迹点进行内插，确定相邻的轨迹中点；其次分别以轨迹中点为中心，设距相邻轨迹中点的距离为长度L，道路宽度为W，高度为H，构建体素包围盒，体素包围盒是对采集轨迹所在空间的划分。最后，从点云数据中提取体素包围盒表面的数据点作为边界数据点。
S620：将边界数据点映射至全景图像集中的第一关联全景图像中，确定第一关联全景图像中与边界数据点对应的第一像素点。
S630：将边界数据点映射至全景图像集中的第二关联全景图像中，确定第二关联全景图像中与边界数据点对应的第二像素点。
其中，第一关联全景图像和第二关联全景图像为全景图像集中的相邻帧图像。
具体地，第一关联全景图像和第二关联全景图像的确定可以参考前述实施例中的步骤S310，第一关联全景图像和第二关联全景图像可以是距离数据点最近的两帧且相邻的全景图像。同时，第一像素点和第二像素点的确定可以参考前述实施例中的步骤S320和步骤S330，此处不再赘述。
S640：在第一像素点与第二像素点的相似性不满足预设条件的情况下，根据第一像素点的色彩数据和第二像素点的色彩数据，确定边界数据点的色彩数据。
S650：在第一像素点与第二像素点的相似性满足预设条件的情况下，根据第一关联全景图像和第二关联全景图像中时序列前的全景图像确定边界数据点的色彩数据。
示例性的，可以引入光度一致性来衡量像素点之间的相似性，预设条件限制了相似性的阈值。如果相似性小于阈值，如公式(9)所示，则可以根据第一像素点的色彩数据V1、第二像素点的色彩数据V2、边界数据点距离第一关联全景图像对应的相机中心的距离D1、边界数据点距离第二关联全景图像对应的相机中心的距离D2确定该边界数据点最后的色彩数据V。
Figure BDA0003773918430000191
上述实施方式中，针对全景图像之间由于曝光强度和感光度等不同，会造成点云分段着色时产生颜色断层等问题，对边界数据点的色彩数据进行了调整，从而可以使得彩色点云的着色均匀一致。
在另一种可行的实施方式中，还可以首先确定一个点云变化模板区域作为参考，其次根据点云变化模板区域的属性信息，统计其RGB三个通道数值的均方根误差并取平均值，作为点云变化模板区域的特征信息。利用前述实施例中提供的点云格网索引文件，遍历点云数据，图12所示，以当前遍历到的数据点P为中心，设置邻域搜索半径R(如30cm)进行附近数据点的搜索，并统计该邻域内所有数据点的RGB数值的均方根误差并取平均值，如果与点云变化模板区域的特征信息的相似度或差值满足预设条件，则将邻域内所有数据点的RGB数值的均值分别赋值给当前数据点，直至点云数据遍历结束。
图13示出了本申请实施例提供的一种数据缺失情况下对点云着色进行优化的流程示意图。全景图像采集时可能存在的空洞或拼接时出现的部分图像丢失而导致的像素点的色彩数据缺失，为了能优化点云的着色效果，如图13所示，步骤S540还可以包括以下步骤：
S710：根据对应关系和像素点的色彩数据，确定点云数据中的第一异常数据点；第一异常数据点对应的像素点的色彩数据为缺失状态。
示例性的，全景相机拍摄时由于像幅大小及安装角度问题，车辆下方不可避免会产生空洞，而且还会拍摄到部分车辆信息，该部分像素点的色彩数据缺失状态或不具备可信度。
示例性的，由于激光雷达安装于车辆后方且倾斜角交大，采用相邻全景图像融合时会产生交通标志牌信息丢失的情况，该部分像素点的色彩数据缺失状态。
S720：根据全景图像集中与第一异常数据点匹配的关联全景图像，确定第一候选全景图像。
优选的，因全景相机拍摄的像幅大小及安装角度造成的空洞问题，将关联全景图像的后一帧全景图像作为第一候选全景图像。
优选的，因激光雷达安装位置和角度造成的部分图像丢失问题，将关联全景图像的前一帧全景图像作为第一候选全景图像。
S730：确定第一候选全景图像中与第一异常数据点对应的第一候选像素点。
具体地，将第一异常数据点重新映射至第一候选全景图像所在的像素坐标系中，根据第一异常数据点在该像素坐标系中的位置数据确定与第一异常数据点对应的第一候选像素点。
S740：在第一候选像素点的色彩数据不为缺失状态的情况下，根据第一候选像素点的色彩数据确定第一异常数据点的色彩数据。
S750：在第一候选像素点的色彩数据为缺失状态的情况下，重新确定第一候选全景图像。
优选地，在第一次确定的第一候选全景图像与关联全景图像为全景图像集中的相邻帧图像，可以为前一帧全景图像，也可以是后一帧全景图像。在第二次确定的第一候选全景图像可以为关联全景图像之前的第二帧全景图像，也可以是关联全景图像之后的第二帧全景图像。
上述实施方式中，针对全景图像采集时可能存在的空洞或拼接时出现的部分图像丢失而导致的像素点的色彩数据缺失的问题，通过初始匹配的关联全景图像的前后帧全景图像中与第一异常数据点对应的第一候选像素点的色彩数据对第一异常数据点的色彩数据进行补充，提升了点云着色的一致性。
图14示出了本申请实施例提供的一种数据干扰情况下对点云着色进行优化的流程示意图。数据采集过程中，移动的人和车辆等会对像素色彩产生干扰，进而影响点云的着色效果，为了优化点云着色效果，如图14所示，所述基于所述对应关系和所述像素点的色彩数据，确定所述数据点的色彩数据，还可以包括以下步骤：
S810：对全景图像集进行图像分割和识别，确定像素点的类别数据。
具体地，基于深度学习的图像语义分割和图像类别识别，确定每帧全景图像中的每个像素点所对应的类别数据，如类别数据可以表征为人、车辆、树木、建筑、路面等。
S820：根据对应关系和像素点的类别数据，确定点云数据中的第二异常数据点；第二异常数据点对应的像素点的类别数据满足预设限制条件。
具体地，预设限制条件指示了会对点云着色产生干扰的一种或多种敏感类别，如行车、行驶中的车辆等。如果数据点对应的像素点的类别数据表征为前述中的敏感类别，可将该数据点作为第二异常数据点。
S830：根据全景图像集中与第二异常数据点匹配的关联全景图像，确定第二候选全景图像。
在第一次确定的第二候选全景图像与关联全景图像为全景图像集中的相邻帧图像，第二候选全景图像可以为关联全景图像的前一帧全景图像，也可以是关联全景图像的后一帧全景图像，本申请对此不作限定。
S840：确定第二候选全景图像中与第二异常数据点对应的第二候选像素点。
具体地，将第二异常数据点重新映射至第二候选全景图像所在的像素坐标系中，根据第二异常数据点在该像素坐标系中的位置数据确定与第二异常数据点对应的第二候选像素点。
S850：在第二候选像素点的类别数据不满足预设限制条件的情况下，根据第二候选像素点的色彩数据确定第二异常数据点的色彩数据。
也即，如果第二候选像素点对应的类别不是会产生干扰的敏感类别，则可以直接将第二候选像素点的色彩数据赋值给第二异常数据点。
S860：在第二候选像素点的类别数据满足预设限制条件的情况下，重新确定第二候选全景图像。
优选地，在第二次确定的第二候选全景图像可以为关联全景图像之前的第二帧全景图像，也可以是关联全景图像之后的第二帧全景图像。
优选地，可以设置重新确定第二候选全景图像的次数，如最多为3次。
上述实施方式中，针对数据采集过程中移动的人和车辆等会对像素色彩产生干扰，进而影响点云的着色效果的问题，首选识别各像素点的类别抽取出第二异常数据点，进而根据初始匹配的关联全景图像的前后帧全景图像中与第二异常数据点对应的第二候选像素点的色彩数据对第二异常数据点的色彩数据进行修正，提升了点云着色的一致性。
图15示出了本申请实施例提供的另一种数据干扰情况下对点云着色进行优化的流程示意图，在识别了像素点类别数据的基础上，所述方法还可以包括以下步骤：
S910：根据道路测量信息的采集轨迹，构建地面三角格网。
S920：确定第二异常数据点至地面三角格网的距离。
如图16所示，地面三角格网的构建可以首先根据每个轨迹点位置、姿态及标定参数，确定轨迹点在路面上的轨迹投影点；其次通过轨迹投影点坐标及姿态方向构建投影点直线方程，计算两侧各W距离的边界点的坐标；最后根据所有轨迹投影点和边界点构建TIN格网。
将第二异常数据点到地面三角格网中最近三角形的垂直距离作为第二异常数据点至地面三角格网的距离。
S930：在距离表征第二异常数据点为地面数据点的情况下，确定第二候选全景图像，第二候选全景图像为关联全景图像的前一帧全景图像。
具体地，获取预设的距离阈值，如果第二异常数据点至地面三角格网的距离小于距离阈值，则该第二异常数据点为地面数据点，否则为非地面数据点。
在第二异常数据点为地面数据点时，将关联全景图像的前一帧全景图像作为第二候选全景图像。
S940：在距离表征第二异常数据点为非地面数据点的情况下，确定第二候选全景图像，第二候选全景图像为关联全景图像的后一帧全景图像。
进而可以执行上述实施例中的步骤S840-S860，直至确定第二异常数据点的色彩数据。
进一步地，在第二异常数据点为非地面数据点的情况下，确定第二异常数据点至关联全景图像对应的相机中心的距离与对应的像素点的深度值之间的差值；如果该差值小于预设阈值，则认定干扰度低，可直接将该对应的像素点的色彩数据赋值给该第二异常数据点，否则，将关联全景图像的后一帧全景图像作为第二候选全景图像，进行重新映射和上述判断过程，直至确定第二异常数据点的色彩数据。
优选的，鉴于距离较远处全景图像对点云着色精度影响较大，可以设置最大迭代次数为三次。
上述实施方式中，根据第二异常数据点是否为地面数据点来衡量其对应的像素点的色彩数据受干扰的程度，进而在干扰度低时仍利用初始对应的像素点的色彩数据作为第二异常数据点的色彩数据，保证了点云着色的数据准确性。
图17示出了本申请实施例提供的一种具体的融合与优化的流程示意图。如图17所示，其包括了点云数据与全景图像集的配准、映射、像素的类别识别、地面点云的识别、点云强度的增强、点云着色以及全景图像的增强过程，各过程可参考前述实施例，此处不再赘述。需要说明的是，图17仅是提供了一种具体的可操作的融合和优化过程，并不是对执行本申请实施例提供的方法的顺序限定，其他可行的操作步骤顺序也在本申请实施例所公开的范围内。
本申请实施例还提供了一种图像增强装置1800，如图18所示，所述装置1800可以包括：
获取模块1810，用于获取道路测量信息中的点云数据和全景图像集；
融合模块1820，用于对所述点云数据和所述全景图像集进行融合，得到融合结果，所述融合结果包含所述点云数据中的数据点与所述全景图像中的像素点的对应关系；
第一属性信息确定模块1830，用于确定所述数据点的第一属性数据；
第一优化模块1840，用于基于所述对应关系和所述数据点的第一属性数据，对所述全景图像集进行图像增强处理，得到目标全景图像集。
在本申请的一个实施例中，如图19所示，所述装置1800还可以包括：
第二属性信息确定模块1850，用于确定所述像素点的第二属性数据，所述第二属性数据包括色彩数据；
色彩确定模块1860，用于基于所述对应关系和所述像素点的色彩数据，确定所述数据点的色彩数据；
第二优化模块1870，用于根据所述数据点的色彩数据，生成所述目标点云数据。
在本申请的一个实施例中，所述融合模块1820可以包括：
第一匹配单元，用于遍历所述点云数据中的数据点，从所述至少一帧全景图像中确定与所述数据点匹配的关联全景图像；
映射单元，用于基于坐标系转换关系，将所述数据点映射至所述关联全景图像所在的坐标系中，得到所述数据点在所述坐标系中的位置数据；
第二匹配单元，用于根据所述数据点在所述坐标系中的位置数据，确定所述关联全景图像中与所述数据点对应的像素点；
融合单元，用于根据所述全景图像集、所述数据点的所述位置数据以及与所述数据点对应的像素点，得到融合结果。
在本申请的一个实施例中，所述第一匹配单元可以包括：
位姿数据子单元，用于获取全景相机的位姿数据；所述全景图像集由所述全景相机拍摄得到；
距离确定子单元，用于基于所述位姿全景数据确定所述数据点与各帧图像之间的距离；
匹配子单元，用于根据所述数据点与各帧全景图像之间的距离，从所述至少一帧全景图像中确定与所述数据点匹配的关联全景图像。
在本申请的一个实施例中，所述第一属性数据包括距离数据；所述距离数据指示所述数据点与所述全景图像集所在的坐标系的中心之间的距离；所述第一优化模块1840可以包括：
深度确定子单元，用于基于所述对应关系和所述数据点的距离数据，确定所述像素点的深度数据；
第一增强子单元，用于根据所述像素点的深度数据对所述全景图像集进行图像增强处理，得到所述目标全景图像集。
在本申请的一个实施例中，所述第一属性数据包括强度数据；所述强度数据指示激光在所述数据点的反射强度；所述第一优化模块1840还可以包括：
模型构建子单元，用于构建点云强度增强模型；
点云强度增强子单元，用于将所述数据点的强度数据输入至所述点云强度增强模型，进行强度增强处理，得到所述数据点的目标强度数据；
色彩更新子单元，用于基于所述对应关系和所述数据点的目标强度数据，更新所述像素点的色彩数据；
第二增强子单元，用于根据更新后的所述像素点的色彩数据对所述全景图像集进行增强处理，得到所述目标全景图像集。
在本申请的一个实施例中，所述色彩确定模块1860可以包括：
边界数据点确定单元，用于根据所述道路测量信息的采集轨迹，确定所述点云数据中的边界数据点；
第一关联单元，用于将所述边界数据点映射至所述全景图像集中的第一关联全景图像中，确定所述第一关联全景图像中与所述边界数据点对应的第一像素点；
第二关联单元，用于将所述边界数据点映射至所述全景图像集中的第二关联全景图像中，确定所述第二关联全景图像中与所述边界数据点对应的第二像素点；所述第一关联全景图像和所述第二关联全景图像为所述全景图像集中的相邻帧图像；
边界色彩确定单元，用于在所述第一像素点与所述第二像素点的相似性不满足预设条件的情况下，根据所述第一像素点的色彩数据和所述第二像素点的色彩数据，确定所述边界数据点的色彩数据。
在本申请的一个实施例中，所述色彩确定模块1860还可以包括：
第一异常数据点确定单元，用于根据所述对应关系和所述像素点的色彩数据，确定所述点云数据中的第一异常数据点；所述第一异常数据点对应的像素点的色彩数据为缺失状态；
第一候选单元，用于根据所述全景图像集中与所述第一异常数据点匹配的关联全景图像，确定第一候选全景图像；所述第一候选全景图像与所述关联全景图像为所述全景图像集中的相邻帧图像；
第一候选像素点确定单元，用于确定所述第一候选全景图像中与所述第一异常数据点对应的第一候选像素点；
第一色彩确定单元，用于在所述第一候选像素点的色彩数据不为缺失状态的情况下，根据所述第一候选像素点的色彩数据确定所述第一异常数据点的色彩数据。
在本申请的一个实施例中，所述色彩确定模块1860还可以包括：
像素识别单元，用于对所述全景图像集进行图像分割和识别，确定所述像素点的类别数据；
第二异常数据点确定单元，用于根据所述对应关系和所述像素点的类别数据，确定所述点云数据中的第二异常数据点；所述第二异常数据点对应的像素点的类别数据满足预设限制条件；
第二候选单元，用于根据所述全景图像集中与所述第二异常数据点匹配的关联全景图像图像，确定第二候选全景图像；所述第二候选全景图像与所述关联全景图像为所述全景图像集中的相邻帧图像；
第二候选像素点确定单元，用于确定所述第二候选全景图像中与所述第二异常数据点对应的第二候选像素点；
第二色彩确定单元，用于在所述第二候选像素点的类别数据不满足所述预设限制条件的情况下，根据所述第二候选像素点的色彩数据确定所述第二异常数据点的色彩数据。
在本申请的一个实施例中，所述色彩确定模块1860还可以包括：
地面格网构建单元，用于根据所述道路测量信息的采集轨迹，构建地面三角格网；
地面距离确定单元，用于确定所述第二异常数据点至所述地面三角格网的距离；
第三候选单元，用于确定所述第二候选全景图像，所述第二候选全景图像为所述关联全景图像的前一帧全景图像；
第四候选单元，用于在所述距离表征所述第二异常数据点不为地面数据点的情况下，确定所述第二候选全景图像，所述第二候选全景图像为所述关联全景图像的后一帧全景图像。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的一种图像增强方法。
图20示出了一种用于实现本申请实施例所提供的一种图像增强方法的设备的硬件结构示意图，所述设备可以参与构成或包含本申请实施例所提供的装置或系统。如图20所示，设备10可以包括一个或多个(图中采用1002a、1002b，……，1002n来示出)处理器1002(处理器1002可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1004、以及用于通信功能的传输装置1006。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图20所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，设备10还可包括比图20中所示更多或者更少的组件，或者具有与图20所示不同的配置。
应当注意到的是上述一个或多个处理器1002和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到设备10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器1004可用于存储应用软件的软件程序以及模块，如本申请实施例中所述的方法对应的程序指令/数据存储装置，处理器1002通过运行存储在存储器1004内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种图像增强方法。存储器1004可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1004可进一步包括相对于处理器1002远程设置的存储器，这些远程存储器可以通过网络连接至设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括设备10的通信供应商提供的无线网络。在一个实例中，传输装置1006包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1006可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与设备10(或移动设备)的用户界面进行交互。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质可设置于服务器之中以保存用于实现方法实施例中一种图像增强方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的一种图像增强方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施方式中提供的一种图像增强方法。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种图像增强方法，其特征在于，所述方法包括：
获取道路测量信息中的点云数据和全景图像集；
对所述点云数据和所述全景图像集进行融合，得到融合结果，所述融合结果包含所述点云数据中的数据点与所述全景图像集中的像素点的对应关系；
确定所述数据点的第一属性数据；
基于所述对应关系和所述数据点的第一属性数据，对所述全景图像集进行图像增强处理，得到目标全景图像集。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述像素点的第二属性数据，所述第二属性数据包括色彩数据；
基于所述对应关系和所述像素点的色彩数据，确定所述数据点的色彩数据；
根据所述数据点的色彩数据，生成所述目标点云数据。
3.根据权利要求1所述的方法，其特征在于，所述全景图像集包括至少一帧全景图像，所述对所述点云数据和所述全景图像集进行融合，得到融合结果，包括：
遍历所述点云数据中的数据点，从所述至少一帧全景图像中确定与所述数据点匹配的关联全景图像；
基于坐标系转换关系，将所述数据点映射至所述关联全景图像所在的坐标系中，得到所述数据点在所述坐标系中的位置数据；
根据所述数据点在所述坐标系中的位置数据，确定所述关联全景图像中与所述数据点对应的像素点；
根据所述全景图像集、所述数据点的所述位置数据以及与所述数据点对应的像素点，得到融合结果。
4.根据权利要求3所述的方法，其特征在于，所述遍历所述点云数据中的数据点，从所述至少一帧全景图像中确定与所述数据点匹配的关联全景图像，包括：
获取全景相机的位姿数据；所述全景图像集由所述全景相机拍摄得到；
基于所述位姿数据确定所述数据点与各帧全景图像之间的距离；
根据所述数据点与各帧全景图像之间的距离，从所述至少一帧全景图像中确定与所述数据点匹配的关联全景图像。
5.根据权利要求1所述的方法，其特征在于，所述第一属性数据包括距离数据；所述距离数据指示所述数据点与所述全景图像集所在的坐标系的中心之间的距离；所述基于所述对应关系和所述数据点的第一属性数据，对所述全景图像集进行增强处理，得到目标全景图像集，包括：
基于所述对应关系和所述数据点的距离数据，确定所述像素点的深度数据；
根据所述像素点的深度数据对所述全景图像集进行图像增强处理，得到所述目标全景图像集。
6.根据权利要求1所述的方法，其特征在于，所述第一属性数据包括强度数据；所述强度数据指示激光在所述数据点的反射强度；所述基于所述对应关系和所述数据点的第一属性数据，对所述全景图像集进行图像增强处理，得到目标全景图像集，还包括：
构建点云强度增强模型；
将所述数据点的强度数据输入至所述点云强度增强模型，进行强度增强处理，得到所述数据点的目标强度数据；
基于所述对应关系和所述数据点的目标强度数据，更新所述像素点的色彩数据；
根据更新后的所述像素点的色彩数据对所述全景图像集进行增强处理，得到所述目标全景图像集。
7.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述道路测量信息的采集轨迹，确定所述点云数据中的边界数据点；
将所述边界数据点映射至所述全景图像集中的第一关联全景图像中，确定所述第一关联全景图像中与所述边界数据点对应的第一像素点；
将所述边界数据点映射至所述全景图像集中的第二关联全景图像中，确定所述第二关联全景图像中与所述边界数据点对应的第二像素点；所述第一关联全景图像和所述第二关联全景图像为所述全景图像集中的相邻帧图像；
在所述第一像素点与所述第二像素点的相似性不满足预设条件的情况下，根据所述第一像素点的色彩数据和所述第二像素点的色彩数据，确定所述边界数据点的色彩数据。
8.根据权利要求2所述的方法，其特征在于，所述基于所述对应关系和所述像素点的色彩数据，确定所述数据点的色彩数据，包括：
根据所述对应关系和所述像素点的色彩数据，确定所述点云数据中的第一异常数据点；所述第一异常数据点对应的像素点的色彩数据为缺失状态；
根据所述全景图像集中与所述第一异常数据点匹配的关联全景图像，确定第一候选全景图像；所述第一候选全景图像与所述关联全景图像为所述全景图像集中的相邻帧图像；
确定所述第一候选全景图像中与所述第一异常数据点对应的第一候选像素点；
在所述第一候选像素点的色彩数据不为缺失状态的情况下，根据所述第一候选像素点的色彩数据确定所述第一异常数据点的色彩数据。
9.根据权利要求2所述的方法，其特征在于，所述基于所述对应关系和所述像素点的色彩数据，确定所述数据点的色彩数据，还包括：
对所述全景图像集进行图像分割和识别，确定所述像素点的类别数据；
根据所述对应关系和所述像素点的类别数据，确定所述点云数据中的第二异常数据点；所述第二异常数据点对应的像素点的类别数据满足预设限制条件；
根据所述全景图像集中与所述第二异常数据点匹配的关联全景图像，确定第二候选全景图像；所述第二候选全景图像与所述关联全景图像为所述全景图像集中的相邻帧图像；
确定所述第二候选全景图像中与所述第二异常数据点对应的第二候选像素点；
在所述第二候选像素点的类别数据不满足所述预设限制条件的情况下，根据所述第二候选像素点的色彩数据确定所述第二异常数据点的色彩数据。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
根据所述道路测量信息的采集轨迹，构建地面三角格网；
确定所述第二异常数据点至所述地面三角格网的距离；
在所述距离表征所述第二异常数据点为地面数据点的情况下，确定所述第二候选全景图像，所述第二候选全景图像为所述关联全景图像的前一帧全景图像；
在所述距离表征所述第二异常数据点不为地面数据点的情况下，确定所述第二候选全景图像，所述第二候选全景图像为所述关联全景图像的后一帧全景图像。
11.一种图像增强装置，其特征在于，所述装置包括：
获取模块，用于获取道路测量信息中的点云数据和全景图像集；
融合模块，用于对所述点云数据和所述全景图像集进行融合，得到融合结果，所述融合结果包含所述点云数据中的数据点与所述全景图像集中的像素点的对应关系；
第一属性信息确定模块，用于确定所述数据点的第一属性数据；
第一优化模块，用于基于所述对应关系和所述数据点的第一属性数据，对所述全景图像集进行图像增强处理，得到目标全景图像集。
CN202210910833.6A 2022-07-29 2022-07-29 一种图像增强方法及装置 Pending CN115272147A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210910833.6A CN115272147A (zh) 2022-07-29 2022-07-29 一种图像增强方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210910833.6A CN115272147A (zh) 2022-07-29 2022-07-29 一种图像增强方法及装置

Publications (1)

Publication Number Publication Date
CN115272147A true CN115272147A (zh) 2022-11-01

Family

ID=83747812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210910833.6A Pending CN115272147A (zh) 2022-07-29 2022-07-29 一种图像增强方法及装置

Country Status (1)

Country Link
CN (1) CN115272147A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523775A (zh) * 2023-04-14 2023-08-01 海的电子科技(苏州)有限公司 高速图像信号的增强优化方法和设备、存储介质
CN117314850A (zh) * 2023-09-22 2023-12-29 交通运输部公路科学研究所 基于图像和激光点云检测钢箱梁桥病害的穿戴式设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116523775A (zh) * 2023-04-14 2023-08-01 海的电子科技(苏州)有限公司 高速图像信号的增强优化方法和设备、存储介质
CN116523775B (zh) * 2023-04-14 2023-11-07 海的电子科技(苏州)有限公司 高速图像信号的增强优化方法和设备、存储介质
CN117314850A (zh) * 2023-09-22 2023-12-29 交通运输部公路科学研究所 基于图像和激光点云检测钢箱梁桥病害的穿戴式设备

Similar Documents

Publication Publication Date Title
EP3506212B1 (en) Method and apparatus for generating raster map
Granshaw Photogrammetric terminology
US7944547B2 (en) Method and system of generating 3D images with airborne oblique/vertical imagery, GPS/IMU data, and LIDAR elevation data
CN115272147A (zh) 一种图像增强方法及装置
KR102200299B1 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN112489099B (zh) 点云配准方法、装置、存储介质及电子设备
CN112652065A (zh) 三维社区建模方法、装置、计算机设备及存储介质
CN113177974B (zh) 一种点云配准方法、装置、电子设备及存储介质
CN109472865B (zh) 一种基于图像模型绘制的自由可量测全景再现方法
CN111915723A (zh) 一种用于室内的三维全景构建方法和系统
CN112348886A (zh) 视觉定位方法、终端和服务器
CN111612901A (zh) 一种地理信息图像的提取特征与生成方法
CN115457212A (zh) 树木影像图处理方法、装置、终端设备及存储介质
CN114295139A (zh) 一种协同感知定位方法及系统
CN113608234A (zh) 一种城市数据采集系统
CN117572455A (zh) 基于数据融合的山区水库地形图测绘方法
CN108195359A (zh) 空间数据的采集方法及系统
CN110298320B (zh) 一种视觉定位方法、装置及存储介质
Deng et al. Automatic true orthophoto generation based on three-dimensional building model using multiview urban aerial images
US20220276046A1 (en) System and method for providing improved geocoded reference data to a 3d map representation
CN114387532A (zh) 边界的识别方法及其装置、终端、电子设备和无人设备
Stanojević et al. Digital Surface Model Generation with Aerial Surveying System “LEICA ADS80”
KR102616437B1 (ko) 라이다 및 관성측정장치의 캘리브레이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN117197361B (zh) 实景三维数据库构建方法、电子设备和计算机可读介质
KR102626574B1 (ko) 카메라 및 라이다의 캘리브레이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination