CN114531580B - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
CN114531580B
CN114531580B CN202011323437.0A CN202011323437A CN114531580B CN 114531580 B CN114531580 B CN 114531580B CN 202011323437 A CN202011323437 A CN 202011323437A CN 114531580 B CN114531580 B CN 114531580B
Authority
CN
China
Prior art keywords
target object
position information
target
initial position
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011323437.0A
Other languages
English (en)
Other versions
CN114531580A (zh
Inventor
马海军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Navinfo Co Ltd
Original Assignee
Navinfo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Navinfo Co Ltd filed Critical Navinfo Co Ltd
Priority to CN202011323437.0A priority Critical patent/CN114531580B/zh
Publication of CN114531580A publication Critical patent/CN114531580A/zh
Application granted granted Critical
Publication of CN114531580B publication Critical patent/CN114531580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种图像处理方法及装置，该方法包括：获取拍摄设备采集的待处理图像及其对应的采集位置，并根据所述采集位置从电子地图中确定目标区域；对所述目标区域中的第一目标对象进行图像投影处理，得到所述第一目标对象的初始位置信息；提取所述待处理图像中的第二目标对象的初始位置信息，并根据所述第一目标对象的初始位置信息和所述第二目标对象的初始位置信息，对所述第一目标对象进行重投影处理，得到所述第一目标对象的目标位置信息；根据所述第一目标对象的目标位置信息确定所述第二目标对象对应的标注信息，实现待处理图像的自动标注，提高图像标注效率，降低人工成本。

Description

图像处理方法及装置
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种图像处理方法及装置。
背景技术
随着网络技术的发展，深度学习技术应用的领域越来越广。当深度学习应用到地图领域时，需要获取大量样本图像，以使初始网络模型利用该图像样本去学习，从而得到高精且鲁棒的模型。
目前，在获取样本图像时，一般是获取车辆上的拍摄设备采集的图像，然后相关工作人员对该图像进行人工标注，即对图像中的目标对象(例如，交通标志牌、护栏等)进行标注，从而得到该目标对象对应的标注信息。
然而，由于在对拍摄设备采集的图像进行标注以确定图像中的目标对象对应的标注信息时，需要人工进行标注，导致标注信息确定的效率低，且人工成本较高。
发明内容
本发明实施例提供一种图像处理方法及装置，以提高确定图像标注信息的效率。
第一方面，本发明实施例提供一种图像处理方法，包括：
获取拍摄设备采集的待处理图像及其对应的采集位置，并根据所述采集位置从电子地图中确定目标区域；
对所述目标区域中的第一目标对象进行图像投影处理，得到所述第一目标对象的初始位置信息；
提取所述待处理图像中的第二目标对象的初始位置信息，并根据所述第一目标对象的初始位置信息和所述第二目标对象的初始位置信息，对所述第一目标对象进行重投影处理，得到所述第一目标对象的目标位置信息；
根据所述第一目标对象的目标位置信息确定所述第二目标对象对应的标注信息。
在一种可能的设计中，所述第一目标对象包括所述第一目标对象对应的多个参照点，所述第二目标对象包括所述第二目标对象对应的多个角点，则根据所述第一目标对象的初始位置信息和所述第二目标对象的初始位置信息，对所述第一目标对象进行重投影处理，得到所述第一目标对象的目标位置信息，包括：
根据所述第一目标对象对应的多个参照点的初始位置信息和所述第二目标对象对应的多个角点的初始位置信息确定多个第一匹配点对，其中所述第一匹配点对包括一个参照点和与该参照点匹配的角点；
根据所述多个第一匹配点对对所述第一目标对象进行重投影处理，得到定位转换信息；
根据所述定位转换信息分别对每个第一目标对象进行图像投影处理，得到每个第一目标对象的目标位置信息。
在一种可能的设计中，所述定位转换信息包括置信度、最优控制点和最优相机外参，则根据所述定位转换信息分别对每个第一目标对象进行图像投影处理，得到每个第一目标对象的目标位置信息，包括：
在确定所述置信度大于预设阈值时，根据所述最优控制点和所述最优相机外参分别对每个第一目标对象进行图像投影处理，得到每个第一目标对象的目标位置信息。
在一种可能的设计中，所述定位转换信息包括置信度、最优控制点和最优相机外参，则根据所述多个第一匹配点对对所述第一目标对象进行重投影处理，得到定位转换信息，包括：
根据所述多个第一匹配点对确定所述拍摄设备的第一位姿；
基于重投影误差最小规则，根据所述拍摄设备的第一位姿对所述第一目标对象进行图像投影处理，得到所述拍摄设备的第二位姿、最优控制点、最优相机外参和目标重投影误差值；
根据所述目标重投影误差值和所述第二位姿确定置信度。
在一种可能的设计中，所述根据所述目标重投影误差值和所述第二位姿确定置信度，包括：
根据所述拍摄设备的第一位姿和第二位姿得到位姿误差；
若所述位姿误差小于预设误差值，则根据所述目标重投影误差值和预设填充值确定所述置信度。
在一种可能的设计中，根据所述多个第一匹配点对确定所述拍摄设备的第一位姿，包括：
根据所述多个第一匹配点对确定所述拍摄设备的第一位姿以及第一投影误差值总和，其中所述第一投影误差值为所述第一匹配点对对应的误差值；
基于重投影误差最小规则，根据所述拍摄设备的第一位姿对所述第一目标对象进行图像投影处理，得到目标重投影误差值，包括：
基于重投影误差最小规则，根据所述拍摄设备的第一位姿对所述第一目标对象进行图像投影处理，得到所述第一目标对象的重投影位置信息；
根据所述第一目标对象对应的多个参照点的重投影位置信息和所述第二目标对象对应的多个角点的初始位置信息确定多个第二匹配点对；
根据所述多个第二匹配点对确定第二投影误差值总和；
对所述第一投影误差值的总和和第二重投影误差值的总和进行归一化处理，得到所述目标重投影误差值。
在一种可能的设计中，根据所述第一目标对象对应的多个参照点的初始位置信息和所述第二目标对象对应的多个角点的初始位置信息确定多个第一匹配点对，包括：
对于每个参照点，基于最近邻算法，从所述多个角点中确定与所述参照点距离最近的角点，并将其确定为与所述参照点匹配的角点。
在一种可能的设计中，提取所述待处理图像中的第二目标对象的初始位置信息，包括：
采用目标检测分割模型，识别所述待处理图像中的第二目标对象，并提取所述第二目标对象的初始位置信息。
在一种可能的设计中，所述方法还包括：
根据所述第二目标对象对应的标注信息对所述电子地图进行更新；
或者，
根据所述第二目标对象对应的标注信息对预设网络模型进行训练。
第二方面，本发明实施例提供一种图像处理装置，包括：
信息获取模块，用于获取拍摄设备采集的待处理图像及其对应的采集位置，并根据所述采集位置从电子地图中确定目标区域；
处理模块，用于对所述目标区域中的第一目标对象进行图像投影处理，得到所述第一目标对象的初始位置信息；
所述处理模块，还用于提取所述待处理图像中的第二目标对象的初始位置信息，并根据所述第一目标对象的初始位置信息和所述第二目标对象的初始位置信息，对所述第一目标对象进行重投影处理，得到所述第一目标对象的目标位置信息；
所述处理模块，还用于根据所述第一目标对象的目标位置信息确定所述第二目标对象对应的标注信息。
在一种可能的设计中，所述第一目标对象包括所述第一目标对象对应的多个参照点，所述第二目标对象包括所述第二目标对象对应的多个角点，则所述处理模块还用于：
根据所述第一目标对象对应的多个参照点的初始位置信息和所述第二目标对象对应的多个角点的初始位置信息确定多个第一匹配点对，其中所述第一匹配点对包括一个参照点和与该参照点匹配的角点；
根据所述多个第一匹配点对对所述第一目标对象进行重投影处理，得到定位转换信息；
根据所述定位转换信息分别对每个第一目标对象进行图像投影处理，得到每个第一目标对象的目标位置信息。
在一种可能的设计中，所述定位转换信息包括置信度、最优控制点和最优相机外参，则所述处理模块还用于：
在确定所述置信度大于预设阈值时，根据所述最优控制点和所述最优相机外参分别对每个第一目标对象进行图像投影处理，得到每个第一目标对象的目标位置信息。
在一种可能的设计中，所述定位转换信息包括置信度、最优控制点和最优相机外参，则所述处理模块还用于：
根据所述多个第一匹配点对确定所述拍摄设备的第一位姿；
基于重投影误差最小规则，根据所述拍摄设备的第一位姿对所述第一目标对象进行图像投影处理，得到所述拍摄设备的第二位姿、最优控制点、最优相机外参和目标重投影误差值；
根据所述目标重投影误差值和所述第二位姿确定置信度。
在一种可能的设计中，所述处理模块还用于：
根据所述拍摄设备的第一位姿和第二位姿得到位姿误差；
若所述位姿误差小于预设误差值，则根据所述目标重投影误差值和预设填充值确定所述置信度。
在一种可能的设计中，所述处理模块还用于：
根据所述多个第一匹配点对确定所述拍摄设备的第一位姿以及第一投影误差值总和，其中所述第一投影误差值为所述第一匹配点对对应的误差值；
所述处理模块还用于：
基于重投影误差最小规则，根据所述拍摄设备的第一位姿对所述第一目标对象进行图像投影处理，得到所述第一目标对象的重投影位置信息；
根据所述第一目标对象对应的多个参照点的重投影位置信息和所述第二目标对象对应的多个角点的初始位置信息确定多个第二匹配点对；
根据所述多个第二匹配点对确定第二投影误差值总和；
对所述第一投影误差值的总和和第二重投影误差值的总和进行归一化处理，得到所述目标重投影误差值。
在一种可能的设计中，所述处理模块还用于：
对于每个参照点，基于最近邻算法，从所述多个角点中确定与所述参照点距离最近的角点，并将其确定为与所述参照点匹配的角点。
在一种可能的设计中，所述处理模块还用于：
采用目标检测分割模型，识别所述待处理图像中的第二目标对象，并提取所述第二目标对象的初始位置信息。
在一种可能的设计中，所述处理模块还用于：
根据所述第二目标对象对应的标注信息对所述电子地图进行更新；
或者，
根据所述第二目标对象对应的标注信息对预设网络模型进行训练。
第三方面，本发明实施例提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述的图像处理方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的图像处理方法。
本发明实施例提供的图像处理方法及装置，通过在获取到拍摄设备采集的待处理图像以及该待处理图像对应的采集位置后，根据该采集位置从电子地图中确定与该采集位置匹配的区域，以得到目标区域，对目标区域内的地图对象，即第一目标对象进行图像投影处理，以将第一目标对象由世界坐标系转换到图像坐标系，实现第一目标对象的初次投影，由于初次投影结果，即得到的第一目标对象的初始位置信息误差较大，因此提取待处理图像中的第二目标对象的初始位置信息，并根据该第一目标对象和第二目标对象的初始位置信息对第一目标对象进行重投影处理，得到第一目标对象的目标位置信息，实现第一目标对象的准确投影，以供利用第一目标对象的目标位置信息确定待处理图像中的第二目标对象对应的标注信息，实现标注信息的自动确定，从而实现待处理图像的自动标注，无需人工确定第二目标对象对应的标注信息，即无需人工进行图像标注，提高图像标注效率，降低人工成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像处理方法的场景示意图；
图2为本发明实施例提供的图像处理方法的流程图一；
图3为本发明实施例提供的图像处理方法的流程图二；
图4为本发明实施例提供的投影结果的示意图一；
图5为本发明实施例提供的投影结果的示意图二；
图6为本发明实施例提供的图像处理装置的结构示意图；
图7为本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了方便理解，以下是对说明书中的部分名词的解释：
世界坐标系(Xw Yw Zw)，是用户定义的空间三维坐标系，用来描述三维空间中的物体和相机之间的坐标位置，满足右手法则。
相机坐标系(Xc Yc Zc)，是以相机的光心作为原点，Zc轴与光轴重合，并垂直于成像平面，且取摄影方向为正方向，Xc、Yc轴与图像物理坐标系的x,y轴平行，且OcO为摄像机的焦距f。
图像坐标系(u v)，是以图像的左上方为原点的坐标系，此坐标系以像素为单位)。
样本标注，是标注图像中的静态和动态目标的外接多边形轮廓，术语叫Polygon标注。其中，动态目标是指图像中可运动的目标要素，例如车，行人等等。静态目标是指地图中固化的静止的目标要素，例如交通标志牌，地面车道线，建筑物等等。本申请因为依托电子地图进行自动化样本提取，所以属于静态样本标注范畴，可提取电子地图中涵盖的任意要素目标，即地图对象，例如交通标志牌，红绿灯，车道线,箭头符号，路牙，护栏，柱杆等。
现有技术中，在获取样本图像时，一般是获取车辆上的拍摄设备采集的图像，然后相关工作人员对该图像进行人工标注，即对图像中的目标对象(例如，交通标志牌、护栏等)进行标注，从而得到该目标对象对应的标注信息。然而，由于在对拍摄设备采集的图像进行标注以确定图像中的目标对象对应的标注信息时，需要人工进行标注，导致标注信息确定的效率低，且人工成本较高。
因此，为了提高标注信息确定的效率，以提高图像标注的效率，且降低人工成本，本发明的技术构思是单目视觉高精定位算法中重投影误差最小的迭代优化方式确定最优的控制点，以将HD Map地图中矢量化的目标对象的(例如，交通标志牌，红绿灯，车道线，箭头符号，路牙，护栏，柱杆等)的参照点准确由3D坐标系投影到2D图像坐标系中，从而实现自动确定图像中的目标对象的标注信息。并且通过设置视觉二次定位得到的拍摄设备的位姿与初次定位得到的拍摄设备的位姿之间的距离和重投影误差值得到算法置信度,确保视觉定位算法有效性，保证标注信息的准确度。
下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例提供的图像处理方法的场景示意图，如图1所示，在车辆行驶的过程中，车辆101上的拍摄设备102进行拍摄，以采集其所处环境的图像，且车辆101上的定位设备103同步进行定位，以得到该图像对应的采集位置。电子设备104接收拍摄设备102发送的图像、定位设备103发送的该图像对应的采集位置，并基于该采集位置和电子地图，对图像进行自动标注，即确定图像上的目标对象的标注信息。
可选的，电子设备104可以是车辆101上的车载终端、也可以是计算机、服务器等设备，还可以是其它具有数据处理能力的设备，在此，不再对其进行限制。
可选的，电子地图为高精度地图，例如，HD Map地图。拍摄设备102为相机等能够拍摄图像的设备。定位设备103为具有定位能力的设备，例如GPS(Global PositioningSystem，全球定位系统)设备。
可选的，拍摄设备102和定位设备103安装在车辆101上，在此不对其安装位置进行限定，只需拍摄设备102可以对外界环境进行拍摄，拍摄设备102和定位设备103为刚性连接即可。
图2为本发明实施例提供的图像处理方法的流程图一，本实施例的方法可以由电子设备执行。如图2所示，本实施例的方法，可以包括：
S201、获取拍摄设备采集的待处理图像及其对应的采集位置，并根据采集位置从电子地图中确定目标区域。
在本实施例中，接收拍摄设备发送的其采集的待处理图像，并获取该待处理图像对应的采集位置，以利用该采集位置从电子地图中确定目标区域，该目标区域与该待处理图像相对应，即该目标区域对应的环境位置包括拍摄设备所拍摄的环境的位置。
具体的，采集位置是由车辆上的定位设备采集得到的。在车辆行驶的过程中，车辆上的拍摄设备采集其所处环境的图像，并实时或间隔预设时间将采集到的图像，即待处理图像发送至电子设备，且在拍摄设备采集图像时，车辆上的定位装置同步获取当前所处位置，以得到该图像对应的采集位置。并在拍摄设备将采集到的图像发送至电子设备时，定位装置也可以同步将该图像对应的采集位置发送至电子设备。
其中，定位设备为与拍摄设备刚性连接，且定位设备与拍摄设备的时间同步。为了保证定位设备与拍摄设备的时间同步精度，可以采用硬同步的方式完成GPS和Camera精确的时间同步。例如，拍摄设备的采集帧率是20帧/秒，图像分辨率是1280x720。定位设备采集是以每秒100HZ的频率输出8自由度姿态信息，该自由度姿态信息包括UTC时间戳timestamp，纬度latitude，纬度longitude，高程altitude，速度speed，航向角heading，俯仰角pitch和横滚角roll。其中，经纬度坐标是可以是WGS84(World Geodetic System 1984)坐标。
在本实施例中，可选的，在根据采集位置从电子地图中确定目标区域时，以采集位置为圆心，第一预设距离为半径从电子地图上确定相应的区域，并将其作为目标区域。
可选的，第一预设距离可以根据实际情况进行设置，例如，为120米。
进一步的，在得到目标区域后，获取目标区域内目标对象，即第一目标对象的位置信息，以得到第一目标对象的位置信息，为了方便描述，将该位置信息作为第一位置信息。该目标对象为目标区域内的地图对象，例如，例如交通标志牌，红绿灯，车道线，箭头符号，路牙，护栏，柱杆等。
可选的，第一目标对象实际为第一目标对象对应的矢量化的参照点，该参照点可以表征第一目标对象，即第一目标对象包括第一目标对象对应的多个参照点。例如，第一目标对象包括交通标志牌，则获取交通标志牌对应的矢量化的参照点。
另外，可选的，在获取目标区域内第一目标对象时，可以根据第一目标对象的类型从目标区域内的不同部分区域内获取，例如，从目标区域中的第一区域内获取车道线，从目标区域中的第二区域内获取交通标志牌。该第一区域可以是目标区域内的以采集位置为圆心，第二预设距离为半径的区域，第二区域可以为整个目标区域。
可选的，第二预设距离可以根据实际情况进行设置，例如，为30米。
为了提高标注效率，由于拍摄设备是前视摄像头，其无法拍摄到车辆行驶方向的反方向上的环境，因此，可以去除目标区域中位于该采集位置之后(即车辆后方)的第一目标对象的参照点，仅利用剩余的参照点确定待处理图像的标注信息。
进一步的，可选的，在去除目标区域中位于该采集位置之后的第一目标对象的参照点时，可以根据heading信息进行滤除。
另外，可选的，在利用拍摄设备采集图像之前，需要先对该拍摄设备进行标定，即需要标定拍摄设备的相机内参K和畸变参数D，也需要对拍摄设备(即拍摄设备和定位设备)的外参进行初始标定，得到初始外参，其中相机内参K和畸变参数D形式如下：
D＝(k1，k2，p1，p2，k3)
其中，外参包括旋转矩阵和平移向量/>旋转矩阵/>表示世界坐标系到相机坐标系的旋转矩阵，平移向量/>表示世界坐标系相机坐标系的平移向量，旋转矩阵和平移向量共同描述了如何把点从世界坐标系转换到相机坐标系。
可选的，在标定拍摄设备的内参K和畸变参数D时，可以利用张正友标定法进行标定。在对拍摄设备进行初始标定时，也可以按照现有标定方法(例如，张正友标定法)进行标定。
另外，可选的，在获取到待处理图像之后，可以先根据畸变参数进行畸变矫正操作，得到去除畸变后的的待处理图像，以利用该去除畸变后的的待处理图像确定标注信息。
S202、对目标区域中的第一目标对象进行图像投影处理，得到第一目标对象的初始位置信息。
在本实施例中，基于第一目标对象的第一位置信息、相机内参和初始外参对该第一目标对象进行图像投影处理，即将该第一目标对象的第一位置信息由世界坐标系转换到图像坐标系，以得到第一目标对象的初始位置信息。
其中，对该第一目标对象进行图像投影处理实际是对第一目标对象对应的参照点进行图像投影处理，即对于第一目标对象对应的各个参照点，根据该参照点的第一位置信息，对该参照点进行图像投影处理，以将该参照点的位置由世界坐标系转换到图像坐标系中，得到该参照点对应的初始位置信息。
可选的，图像投影处理为3Dto2D投影处理。其中3Dto2D具体算法公式如下所示：
其中，P表示参照点，X,Y,Z分别表示参照点P在世界坐标系下的坐标值(即第一位置信息)，u,v表示参照点P投影到图像坐标系的坐标(即初始位置信息)，s表示预设尺度因子，K表示相机内参，表示初始旋转矩阵，/>表示初始平移向量。
S203、提取待处理图像中的第二目标对象的初始位置信息，并根据第一目标对象的初始位置信息和第二目标对象的初始位置信息，对第一目标对象进行重投影处理，得到第一目标对象的目标位置信息。
在本实施例中，识别待处理图像中的目标对象，即第二目标对象，并确定第二目标对象的初始位置信息。然后利用第一目标对象的初始位置信息和第二目标对象的初始位置信息，对第一目标对象进行重投影处理，得到第一目标对象对应的目标位置信息，即得到精准的投影结果，实现精准的投影，以供利用该精准的投影结果，即第一目标对象的目标位置信息确定的标注信息。
可选的，确定待处理图像中的第二目标对象的初始位置信息实际是确定第二目标对象目标对象对应的各个角点在该待处理图像上的位置信息，该角点可以表征第二目标对象，即第二目标对象的初始位置信息包括所述第二目标对象对应的多个角点对应的初始位置信息。
S204、根据第一目标对象的目标位置信息确定第二目标对象对应的标注信息。
在本实施例中，在得到各个第一目标对象的目标位置信息后，即在得到各个第一目标对象对应的投影结果后，根据第一目标对象对应的目标位置信息确定待处理图像上的第二目标对象对应的标注信息，即确定与该第一目标对象匹配的第二目标对象对应的标注信息，实现标注信息的自动获取，从而实现图像的自动标注。
在本实施例中，由于定位设备定位存在误差，且旋转矩阵和平移向量/>是在采集前标定的，也存在一定的误差，导致直接用初始标定的外参进行3Dto2D投影会存在一定的投影偏差，从而根据该3Dto2D投影确定的标注信息的精准度较低，因此，需要对第一目标对象进行重投影处理，得到更加精准的重投影结果，从而根据该重投影结果确定的标注信息的精准度较高，实现标注信息的准确获取。
从上述描述可知，在获取到拍摄设备采集的待处理图像以及该待处理图像对应的采集位置后，根据该采集位置从电子地图中确定与该采集位置匹配的区域，以得到目标区域，对目标区域内的地图对象，即第一目标对象进行图像投影处理，以将第一目标对象由世界坐标系转换到图像坐标系，实现第一目标对象的初次投影，由于初次投影结果，即得到的第一目标对象的初始位置信息误差较大，因此提取待处理图像中的第二目标对象的初始位置信息，并根据该第一目标对象和第二目标对象的初始位置信息对第一目标对象进行重投影处理，得到第一目标对象的目标位置信息，实现第一目标对象的准确投影，以供利用第一目标对象的目标位置信息确定待处理图像中的第二目标对象对应的标注信息，实现标注信息的自动确定，从而实现待处理图像的自动标注，无需人工确定第二目标对象对应的标注信息，即无需人工进行图像标注，提高图像标注效率，降低人工成本。
图3为本发明实施例提供的图像处理方法的流程图二，本实施例在图2实施例的基础上，对如何利用第一目标对象和第二目标对象准确确定第一目标对象对应的投影位置的过程进行详细的描述。如图3所示，该方法包括：
S301、获取拍摄设备采集的待处理图像及其对应的采集位置，并根据采集位置从电子地图中确定目标区域。
S302、对目标区域中的第一目标对象进行图像投影处理，得到第一目标对象的初始位置信息。
在本实施例中，对目标区域中的第一目标对象的参照点进行第一次图像投影处理，以将其由世界坐标系转换至图像坐标系，得到参照点的初始位置信息，即得到参照点在图像上的初始位置坐标。
可选的，在对第一目标对象进行第一次图像投影处理时，是基于GPS位置和初始外参进行投影的，投影结果误差较大(如图4所示)，因此利用初始位置信息确定媒介点和相应的最优相机外参，以利用该媒介点和最优相机外参进行准确投影，从而在对目标区域中的第一目标对象进行第一次图像投影处理时，可以仅对目标区域内的部分第一目标对象进行投影，以确定媒介点和最优相机外参，进而在确定媒介点和最优相机外参后，利用该媒介点和最优相机外参对每个第一目标对象进行图像投影处理，以得到第一目标对象对应的目标投影位置。
其中，在对目标区域内的部分第一目标对象进行投影时，可以从目标区域内的所有第一目标对象中选取类型为目标类型的第一目标对象，并对于每个选取的第一对象，对该第一对象的参照点进行图像投影处理，以得到该第一对象的参照点的初始位置信息。
S303、提取待处理图像中的第二目标对象的初始位置信息。
在本实施例中，在提取第二目标对象的初始位置信息时，采用目标检测分割模型，识别待处理图像中的第二目标对象，即识别待处理图像中的第二目标对象对应的角点，并提取第二目标对象的初始位置信息，即确定第二目标对象对应的各个角点的初始位置信息。
其中，在提取第二目标对象的初始位置信息时，实际是提取第二目标对象的角点的初始位置信息，其可以基于拐点区域模板匹配算法以及Hough直线检测求交点的联合验证方式，进行精确提取角点。
可选的，在识别待处理图像中的第二目标对象时，可以从待处理图像内的所有第二目标对象中选取类型为目标类型的第二目标对象，并将选取的第二目标对象作为第二对象，以提取第二对象的初始位置信息。
其中，目标检测分割模型为已经训练好的网络模型，该网络模型可以为Mask-RCNN，其是通过精确标定有地图对象的样本图像对网络模型进行训练后得到的。利用目标检测分割模型可以识别到图像中的地图对象，然后对其进行分割，以供利用分割结果确定地图对象的角点。
S304、根据第一目标对象对应的多个参照点的初始位置信息和第二目标对象对应的多个角点的初始位置信息确定多个第一匹配点对，其中第一匹配点对包括一个参照点和与该参照点匹配的角点。
在本实施例中，将第一目标对象对应的多个参照点与第二目标对象对应的多个角点进行匹配，构造2D和3D点对，即得到多个第一匹配点对，该第一匹配点包括一个参照点和与该参照点匹配的角点。
具体的，在得到第一对象对应的参照点的初始位置信息和第二对象对应的角点的初始位置信息后，基于各参照点的初始位置信息和各角点的初始位置信息，对参照点和角点进行匹配，以确定相互匹配的参照点和角点，从而得到第一匹配点对。
在本实施例中，可选的，由于本申请所使用的定位设备的定位精度较高，在将实际第一目标对象投影到图像上只会产生很小的偏差，因此可以使用简单的最近邻匹配的方式实现精确的参照点和角点的匹配。
S305、根据多个第一匹配点对对第一目标对象进行重投影处理，得到定位转换信息。
在本实施例中，基于预设EPnP(Effective Perspective-n-Point)算法，利用多个第一匹配点对对第一目标对象进行重投影处理，以得到定位转换信息，即得到进行准确投影所需的信息，从而利用该定位转换信息对第一目标对象进行图像投影处理。
其中，定位转换信息包括置信度、最优控制点和最优相机外参。其中，置信度表明EPnP算法的可靠性，即表明通过该定位转换信息进行投影得到的投影结果的准确性。
其中，EPnP算法的包括如下公式：
其中，表示第i个匹配点对中的角点在相机坐标系下的齐次坐标，/>表示第i个匹配点对中的参照点在世界坐标系下的齐次坐标。
可选的，S305的实现方式为：
根据多个第一匹配点对确定拍摄设备的第一位姿。
基于重投影误差最小规则，根据拍摄设备的第一位姿对第一目标对象进行图像投影处理，得到拍摄设备的第二位姿、最优控制点、最优相机外参和目标重投影误差值。
根据目标重投影误差值和第二位姿确定置信度。
在本实施例中，基于EPnP算法，通过多个第一匹配点对中的参照点和与该参照点匹配的角点，确定拍摄设备的位姿，并将该位姿作为第一位姿，实现拍摄设备的第一次定位。且还可以得到控制点和相机外参，即得到旋转矩阵和平移向量。然后将该拍摄设备的第一位姿作为定位设备的输出值，通过不断迭代，基于重投影误差最小规则，利用该第一位姿再次进行图像投影处理，实现拍摄设备的第二次定位，得到拍摄设备的第二位姿、最优控制点、最优相机外参和目标重投影误差值，以供利用该目标重投影误差值确定目标重投影误差值。
可选的，根据多个第一匹配点对确定拍摄设备的第一位姿，包括：
根据多个第一匹配点对确定拍摄设备的第一位姿以及第一投影误差值总和，其中第一投影误差值为第一匹配点对对应的误差值。
在具体的，在进行第一次定位时，还可以得到所有第一匹配点对对应的误差值的总和，即第一投影误差值总和。该第一匹配点对对应的误差值为第一匹配点对中的参照点与角点的距离差值。
可选的，基于重投影误差最小规则，根据拍摄设备的第一位姿对第一目标对象进行图像投影处理，得到目标重投影误差值，包括：
基于重投影误差最小规则，根据拍摄设备的第一位姿对第一目标对象进行图像投影处理，得到第一目标对象的重投影位置信息。
根据第一目标对象对应的多个参照点的重投影位置信息和第二目标对象对应的多个角点的初始位置信息确定多个第二匹配点对。
根据多个第二匹配点对确定第二投影误差值总和。
对第一投影误差值的总和和第二重投影误差值的总和进行归一化处理，得到目标重投影误差值。
在本实施例中，通过基于第一次定位确定第一位姿和相机外参，再次对第一目标对象进行图像投影处理，得到第一目标对象的重投影位置信息，然后基于第一目标对象的参照点的重投影位置信息和第二目标对象的角点的初始位置信息确定多个第二匹配点对，该第二匹配点对包括一个该参照点和与该参照点匹配的角点。再次基于EPnP算法，根据第二匹配点对确定相机设备的第二位姿，实现第二次定位，且还可以得到控制点和相机外参，即得到旋转矩阵和平移向量，将该控制点确定为最优控制点，并将该相机外参确定为最优相机外参。
在进行第二次定位时，还可以得到所有第二匹配点对对应的误差值的总和，即第二投影误差值总和。该第二匹配点对对应的误差值为第二匹配点对中的参照点与角点的距离差值。在得到第一投影误差值和第二投影误差值后，对两次投影误差进行整合，即进行归一化处理，以得到目标重投影误差值，目标重投影误差值越大，表明投影误差越大，得到的标注信息精确度越小，反之，则精确度越大。
可选的，在进行归一化处理时，可以根据以下公式进行处理：
其中，Reproerr表示目标重投影误差值，Reproerr1表示第一投影误差值，Reproerr2表示第二投影误差值。
可选的，根据目标重投影误差值和第二位姿确定置信度，包括：
根据拍摄设备的第一位姿和第二位姿得到位姿误差。
若位姿误差小于预设误差值，则根据目标重投影误差值和预设填充值确定置信度。
在本实施例中，在得到拍摄设备的第一位姿和第二位姿后，即在进行二次定位后，计算第一位姿和第二位姿之间的距离误差，得到位姿误差。当该位姿误差小于预设误差值时，表明定位误差较小，则继续利用目标重投影误差值和预设填充值计算置信度。当该位姿误差大于或等于预设误差值时，表明定位误差较大，定位失效，最优外参的误差仍较大，则确定置信度为0。
其中，预设填充值表示极小值，为了防止除零错误设置的数值。
举例来说，当预设误差值为0.001。在确定置信度时，可以根据以下公式进行确定：
其中，Confidence表示置信度，Reproerr表示目标重投影误差值，∈表示预设填充值，Disreloc表示位姿误差。
S306、根据定位转换信息分别对每个第一目标对象进行图像投影处理，得到每个第一目标对象的目标位置信息。
在本实施例中，在得到定位转换信息后，即得到最优控制点和最优相机外参后，对于每个第一目标对象，根据该第一目标对象对应的初始位置信息，基于定位转换信息对该第一目标对象进行图像投影处理，以将该第一目标对象的位置坐标由世界坐标系映射到图像坐标系，从而得到该第一目标对象的目标位置信息，实现第一目标对象的精准投影(如图5所示)。
其中，第一目标对象的目标位置信息包括第一目标对象对应的参照点的目标位置信息，该目标位置信息为参照点在图像坐标系下的位置坐标。
可选的，S306的实现方式包括：
在确定置信度大于预设阈值时，根据最优控制点和最优相机外参分别对每个第一目标对象进行图像投影处理，得到每个第一目标对象的目标位置信息。
在本实施例中，在确定置信度大于预设阈值时，表示EPnP算法高度有效，即确定最优控制点和最优相机外参的精确度较高，则对于每个第一目标对象，根据最优控制点、最优相机外参和该第一目标对象的初始位置信息对该第一目标对象进行图像投影处理，得到该第一目标对象的目标位置信息，即确定该第一目标对象对应的投影结果，实现准确的投影，即该投影结果是可信的。
另外，可选的，在确定置信度小于或等于预设阈值时，表示EPnP算法精确度较低，即确定最优控制点和最优相机外参的精确度较低，根据该最优控制点和最优相机外参对第一目标对象进行投影时，投影误差较大，无法实现准确的投影，因此，不再利用对该待处理图像进行标注，则继续处理下一张待处理图像，以确定待处理图像上的标注信息。
其中，预设阈值可以根据实际需求进行设置，例如，0.95。
S307、根据第一目标对象的目标位置信息确定第二目标对象对应的标注信息。
在本实施例中，对于每个第一目标对象，根据该第一目标对象的目标位置信息，即根据第一目标对象在图像上的投影结果，确定待处理图像上的该第一目标对象对应的第二目标对象的目标位置信息，即将该第一目标对象的目标位置信息作为该第二目标对象的目标位置信息，实现第二目标对象的标注信息的自动确定，从而实现对图像的自动标注。
具体的，将该第一目标对象的目标位置信息作为该第二目标对象的目标位置信息，相当于对于第一目标对象对应的每个参照点，根据该参照点的目标位置信息，将该参照点映射到第二目标对象的对应位置上，以得到第二目标对象的标注点，实现对第二目标对象的自动标注，从而实现对待处理图像的自动标注。
可以理解，由于所使用的电子地图为高精度地图，其精度较高，因此，目标区域内的第一目标对象均可以在相应的待处理图像上查找到其对应的第二目标对象。相应的，在确定待处理图像上的与第一目标对象对应的第二目标对象时，无需判断待处理图像上是否存在第一目标对象对应的第二目标对象，例如，若目标区域中存在护栏，该护栏为第一目标对象，则无需判断相应的待处理图像上不存在护栏。
在任意实施例中，可选的，在得到待处理图像上的第二目标对象对应的标注信息后，即在得到待处理图像对应的标注信息后，可以利用根据第二目标对象对应的标注信息对电子地图进行更新，即根据具有标注信息的待处理图像对电子地图进行更新，还可以根据第二目标对象对应的标注信息对预设网络模型进行训练，即根据具有标注信息的待处理图像对预设网络模型进行训练。当然也可以利用待处理图像对应的标注信息进行其它处理，在此，不对该待处理图像对应的用途进行限定。
进一步的，可选的，在具有标注信息的待处理图像对电子地图进行更新时，可以由人工根据该标注信息的待处理图像对电子地图，也可以自动按照预设更新规则，对电子地图进行更新，例如，当确定待处理图像上的某个第二目标对象并未存在于电子地图上，则将该第二目标对象添加至电子地图上。
在本实施例中，通过迭代确定最优控制点，解决普通精度GPS传感器定位误差和外参标定误差引起的3Dto2D投影偏差问题，实现全局最优的精确3Dto2D投影。
在本实施例中，为了提高标注信息的准确性，在对第一目标对象进行第一次图像投影处理后，利用第一次投影结果，即第一目标对象的初始位置信息确定相机的第一位姿，实现相机的第一次定位，利用该第一位姿进行迭代，以进行第二次定位，确定相机的第二位姿、最优控制点和最优相机外参，根据第一位姿和第二位姿的距离差值，即根据两次定位的偏差值，确定置信度，以表明定位的有效性，即表明投影的准确度，在置信度较高时，表明投影准确度较高，将最优控制点作为媒介点，即将第一目标对象的参照点在世界坐标系下的坐标通过该媒介点进行表示，基于该媒介点和最优相机外参对第一目标对象进行投影，实现精确投影，以利用投影结果确定第二目标对象的标注信息，实现第二目标对象的标注信息的自动准确获取。
图6为本发明实施例提供的图像处理装置的结构示意图，如图6所示，本实施例提供的图像处理装置600可以包括：信息获取模块601和处理模块602。
其中，信息获取模块601，用于获取拍摄设备采集的待处理图像及其对应的采集位置，并根据采集位置从电子地图中确定目标区域。
处理模块602，用于对目标区域中的第一目标对象进行图像投影处理，得到第一目标对象的初始位置信息。
处理模块602，还用于提取待处理图像中的第二目标对象的初始位置信息，并根据第一目标对象的初始位置信息和第二目标对象的初始位置信息，对第一目标对象进行重投影处理，得到第一目标对象的目标位置信息。
处理模块602，还用于根据第一目标对象的目标位置信息确定第二目标对象对应的标注信息。
在一种可能的设计中，第一目标对象包括第一目标对象对应的多个参照点，第二目标对象包括第二目标对象对应的多个角点，则处理模块602还用于：
根据第一目标对象对应的多个参照点的初始位置信息和第二目标对象对应的多个角点的初始位置信息确定多个第一匹配点对，其中第一匹配点对包括一个参照点和与该参照点匹配的角点。
根据多个第一匹配点对对第一目标对象进行重投影处理，得到定位转换信息。
根据定位转换信息分别对每个第一目标对象进行图像投影处理，得到每个第一目标对象的目标位置信息。
在一种可能的设计中，定位转换信息包括置信度、最优控制点和最优相机外参，则处理模块602还用于：
在确定置信度大于预设阈值时，根据最优控制点和最优相机外参分别对每个第一目标对象进行图像投影处理，得到每个第一目标对象的目标位置信息。
在一种可能的设计中，定位转换信息包括置信度、最优控制点和最优相机外参，则处理模块602还用于：
根据多个第一匹配点对确定拍摄设备的第一位姿。
基于重投影误差最小规则，根据拍摄设备的第一位姿对第一目标对象进行图像投影处理，得到拍摄设备的第二位姿、最优控制点、最优相机外参和目标重投影误差值。
根据目标重投影误差值和第二位姿确定置信度。
在一种可能的设计中，处理模块602还用于：
根据拍摄设备的第一位姿和第二位姿得到位姿误差。
若位姿误差小于预设误差值，则根据目标重投影误差值和预设填充值确定置信度。
在一种可能的设计中，处理模块602还用于：
根据多个第一匹配点对确定拍摄设备的第一位姿以及第一投影误差值总和，其中第一投影误差值为第一匹配点对对应的误差值。
处理模块602还用于：
基于重投影误差最小规则，根据拍摄设备的第一位姿对第一目标对象进行图像投影处理，得到第一目标对象的重投影位置信息。
根据第一目标对象对应的多个参照点的重投影位置信息和第二目标对象对应的多个角点的初始位置信息确定多个第二匹配点对。
根据多个第二匹配点对确定第二投影误差值总和。
对第一投影误差值的总和和第二重投影误差值的总和进行归一化处理，得到目标重投影误差值。
在一种可能的设计中，处理模块602还用于：
对于每个参照点，基于最近邻算法，从多个角点中确定与参照点距离最近的角点，并将其确定为与参照点匹配的角点。
在一种可能的设计中，处理模块602还用于：
采用目标检测分割模型，识别待处理图像中的第二目标对象，并提取第二目标对象的初始位置信息。
在一种可能的设计中，处理模块602还用于：
根据第二目标对象对应的标注信息对电子地图进行更新。
或者，
根据第二目标对象对应的标注信息对预设网络模型进行训练。
本发明实施例提供的图像处理装置，可以实现上述实施例的图像处理方法，其实现原理和技术效果类似，此处不再赘述。
图7为本发明实施例提供的电子设备的硬件结构示意图。如图7所示，本实施例提供的电子设备700包括：至少一个处理器701和存储器702。其中，处理器701、存储器702通过总线703连接。
在具体实现过程中，至少一个处理器701执行所述存储器702存储的计算机执行指令，使得至少一个处理器701执行上述方法实施例中的图像处理方法。
处理器701的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图7所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现上述方法实施例的图像处理方法。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.一种图像处理方法，其特征在于，包括：
获取拍摄设备采集的待处理图像及其对应的采集位置，并根据所述采集位置从电子地图中确定目标区域；
对所述目标区域中的第一目标对象进行图像投影处理，得到所述第一目标对象的初始位置信息；
提取所述待处理图像中的第二目标对象的初始位置信息，并根据所述第一目标对象的初始位置信息和所述第二目标对象的初始位置信息，对所述第一目标对象进行重投影处理，得到所述第一目标对象的目标位置信息；
根据所述第一目标对象的目标位置信息确定所述第二目标对象对应的标注信息；
所述第一目标对象的初始位置信息包括所述第一目标对象对应的多个参照点的初始位置信息，所述第二目标对象的初始位置信息包括所述第二目标对象对应的多个角点的初始位置信息，则根据所述第一目标对象的初始位置信息和所述第二目标对象的初始位置信息，对所述第一目标对象进行重投影处理，得到所述第一目标对象的目标位置信息，包括：
根据所述第一目标对象对应的多个参照点的初始位置信息和所述第二目标对象对应的多个角点的初始位置信息确定多个第一匹配点对，其中所述第一匹配点对包括一个参照点和与该参照点匹配的角点；
根据所述多个第一匹配点对对所述第一目标对象进行重投影处理，得到定位转换信息；
根据所述定位转换信息分别对每个第一目标对象进行图像投影处理，得到每个第一目标对象的目标位置信息；
所述定位转换信息包括置信度、最优控制点和最优相机外参，则根据所述多个第一匹配点对对所述第一目标对象进行重投影处理，得到定位转换信息，包括：
根据所述多个第一匹配点对确定所述拍摄设备的第一位姿；
基于重投影误差最小规则，根据所述拍摄设备的第一位姿对所述第一目标对象进行图像投影处理，得到所述拍摄设备的第二位姿、最优控制点、最优相机外参和目标重投影误差值；
根据所述目标重投影误差值和所述第二位姿确定置信度。
2.根据权利要求1所述的方法，其特征在于，所述定位转换信息包括置信度、最优控制点和最优相机外参，则根据所述定位转换信息分别对每个第一目标对象进行图像投影处理，得到每个第一目标对象的目标位置信息，包括：
在确定所述置信度大于预设阈值时，根据所述最优控制点和所述最优相机外参分别对每个第一目标对象进行图像投影处理，得到每个第一目标对象的目标位置信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标重投影误差值和所述第二位姿确定置信度，包括：
根据所述拍摄设备的第一位姿和第二位姿得到位姿误差；
若所述位姿误差小于预设误差值，则根据所述目标重投影误差值和预设填充值确定所述置信度。
4.根据权利要求1所述的方法，其特征在于，根据所述多个第一匹配点对确定所述拍摄设备的第一位姿，包括：
根据所述多个第一匹配点对确定所述拍摄设备的第一位姿以及第一投影误差值总和，其中所述第一投影误差值为所述第一匹配点对对应的误差值；
基于重投影误差最小规则，根据所述拍摄设备的第一位姿对所述第一目标对象进行图像投影处理，得到目标重投影误差值，包括：
基于重投影误差最小规则，根据所述拍摄设备的第一位姿对所述第一目标对象进行图像投影处理，得到所述第一目标对象的重投影位置信息；
根据所述第一目标对象对应的多个参照点的重投影位置信息和所述第二目标对象对应的多个角点的初始位置信息确定多个第二匹配点对；
根据所述多个第二匹配点对确定第二投影误差值总和；
对所述第一投影误差值的总和和第二重投影误差值的总和进行归一化处理，得到所述目标重投影误差值。
5.根据权利要求1所述的方法，其特征在于，根据所述第一目标对象对应的多个参照点的初始位置信息和所述第二目标对象对应的多个角点的初始位置信息确定多个第一匹配点对，包括：
对于每个参照点，基于最近邻算法，从所述多个角点中确定与所述参照点距离最近的角点，并将其确定为与所述参照点匹配的角点。
6.根据权利要求1所述的方法，其特征在于，提取所述待处理图像中的第二目标对象的初始位置信息，包括：
采用目标检测分割模型，识别所述待处理图像中的第二目标对象，并提取所述第二目标对象的初始位置信息。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：
根据所述第二目标对象对应的标注信息对所述电子地图进行更新；
或者，
根据所述第二目标对象对应的标注信息对预设网络模型进行训练。
8.一种图像处理装置，其特征在于，包括：
信息获取模块，用于获取拍摄设备采集的待处理图像及其对应的采集位置，并根据所述采集位置从电子地图中确定目标区域；
处理模块，用于对所述目标区域中的第一目标对象进行图像投影处理，得到所述第一目标对象的初始位置信息；
所述处理模块，还用于提取所述待处理图像中的第二目标对象的初始位置信息，并根据所述第一目标对象的初始位置信息和所述第二目标对象的初始位置信息，对所述第一目标对象进行重投影处理，得到所述第一目标对象的目标位置信息；
所述处理模块，还用于根据所述第一目标对象的目标位置信息确定所述第二目标对象对应的标注信息；
所述第一目标对象的初始位置信息包括所述第一目标对象对应的多个参照点的初始位置信息，所述第二目标对象的初始位置信息包括所述第二目标对象对应的多个角点的初始位置信息，则所述处理模块还用于：
根据第一目标对象对应的多个参照点的初始位置信息和第二目标对象对应的多个角点的初始位置信息确定多个第一匹配点对，其中第一匹配点对包括一个参照点和与该参照点匹配的角点；
根据多个第一匹配点对对第一目标对象进行重投影处理，得到定位转换信息；
根据定位转换信息分别对每个第一目标对象进行图像投影处理，得到每个第一目标对象的目标位置信息；
所述定位转换信息包括置信度、最优控制点和最优相机外参，则所述处理模块还用于：
根据多个第一匹配点对确定拍摄设备的第一位姿；
基于重投影误差最小规则，根据拍摄设备的第一位姿对第一目标对象进行图像投影处理，得到拍摄设备的第二位姿、最优控制点、最优相机外参和目标重投影误差值；
根据目标重投影误差值和第二位姿确定置信度。
CN202011323437.0A 2020-11-23 2020-11-23 图像处理方法及装置 Active CN114531580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011323437.0A CN114531580B (zh) 2020-11-23 2020-11-23 图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011323437.0A CN114531580B (zh) 2020-11-23 2020-11-23 图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN114531580A CN114531580A (zh) 2022-05-24
CN114531580B true CN114531580B (zh) 2023-11-21

Family

ID=81618992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011323437.0A Active CN114531580B (zh) 2020-11-23 2020-11-23 图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN114531580B (zh)

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078315A (ja) * 2002-08-09 2004-03-11 Ricoh Co Ltd 画像入力装置、画像入力方法、及びコンピュータが実行するためのプログラム
JP2010218362A (ja) * 2009-03-18 2010-09-30 Geo Technical Laboratory Co Ltd 地図画像処理装置、地図画像処理方法、および、コンピュータプログラム
WO2013170797A1 (zh) * 2012-10-17 2013-11-21 中兴通讯股份有限公司 一种实景地图的制作方法和装置
CN105373596A (zh) * 2015-10-27 2016-03-02 努比亚技术有限公司 基于用户兴趣挖掘的移动终端和用户兴趣挖掘方法
WO2016170330A1 (en) * 2015-04-24 2016-10-27 Oxford University Innovation Limited Processing a series of images to identify at least a portion of an object
JP2017130042A (ja) * 2016-01-20 2017-07-27 株式会社リコー 映像処理装置、映像処理方法、及びプログラム
CN108286973A (zh) * 2017-01-09 2018-07-17 北京四维图新科技股份有限公司 一种行驶数据校验方法及装置、及混合导航系统
CN108694882A (zh) * 2017-04-11 2018-10-23 百度在线网络技术（北京）有限公司 用于标注地图的方法、装置和设备
CN110135323A (zh) * 2019-05-09 2019-08-16 北京四维图新科技股份有限公司 图像标注方法、装置、系统及存储介质
CN110135376A (zh) * 2019-05-21 2019-08-16 北京百度网讯科技有限公司 确定图像传感器的坐标系转换参数的方法、设备和介质
CN110659370A (zh) * 2019-08-12 2020-01-07 深圳市华付信息技术有限公司 一种高效数据标注方法
CN111127422A (zh) * 2019-12-19 2020-05-08 北京旷视科技有限公司 图像标注方法、装置、系统及主机
WO2020133172A1 (zh) * 2018-12-28 2020-07-02 深圳市大疆创新科技有限公司 图像处理方法、设备及计算机可读存储介质
CN111383286A (zh) * 2020-02-11 2020-07-07 北京迈格威科技有限公司 定位方法、装置、电子设备及可读存储介质
JP2020122754A (ja) * 2019-01-31 2020-08-13 株式会社豊田中央研究所 ３次元位置推定装置及びプログラム
CN111563138A (zh) * 2020-04-30 2020-08-21 浙江商汤科技开发有限公司 定位方法及装置、电子设备和存储介质
CN111583345A (zh) * 2020-05-09 2020-08-25 吉林大学 一种相机参数的获取方法、装置、设备及存储介质
CN111712857A (zh) * 2019-06-25 2020-09-25 深圳市大疆创新科技有限公司 图像处理方法、装置、云台和存储介质
CN111783820A (zh) * 2020-05-08 2020-10-16 北京沃东天骏信息技术有限公司 图像标注方法和装置
CN111832648A (zh) * 2020-07-10 2020-10-27 北京百度网讯科技有限公司 关键点标注方法、装置、电子设备及存储介质
CN111950440A (zh) * 2020-08-10 2020-11-17 杭州萤石软件有限公司 一种识别与定位门的方法、装置及存储介质
CN115619826A (zh) * 2022-10-17 2023-01-17 西南科技大学 一种基于重投影误差和深度估计的动态slam方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106707293B (zh) * 2016-12-01 2019-10-29 百度在线网络技术（北京）有限公司 用于车辆的障碍物识别方法和装置
WO2018126228A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Sign and lane creation for high definition maps used for autonomous vehicles
CN109325978B (zh) * 2017-07-31 2022-04-05 深圳市腾讯计算机系统有限公司 增强现实显示的方法、姿态信息的确定方法及装置
CN108875535B (zh) * 2018-02-06 2023-01-10 北京旷视科技有限公司 图像检测方法、装置和系统及存储介质
US11210804B2 (en) * 2018-02-23 2021-12-28 Sony Group Corporation Methods, devices and computer program products for global bundle adjustment of 3D images
CN109300159B (zh) * 2018-09-07 2021-07-20 百度在线网络技术（北京）有限公司 位置检测方法、装置、设备、存储介质及车辆
US10846817B2 (en) * 2018-11-15 2020-11-24 Toyota Research Institute, Inc. Systems and methods for registering 3D data with 2D image data
CN109816704B (zh) * 2019-01-28 2021-08-03 北京百度网讯科技有限公司 物体的三维信息获取方法和装置

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004078315A (ja) * 2002-08-09 2004-03-11 Ricoh Co Ltd 画像入力装置、画像入力方法、及びコンピュータが実行するためのプログラム
JP2010218362A (ja) * 2009-03-18 2010-09-30 Geo Technical Laboratory Co Ltd 地図画像処理装置、地図画像処理方法、および、コンピュータプログラム
WO2013170797A1 (zh) * 2012-10-17 2013-11-21 中兴通讯股份有限公司 一种实景地图的制作方法和装置
WO2016170330A1 (en) * 2015-04-24 2016-10-27 Oxford University Innovation Limited Processing a series of images to identify at least a portion of an object
CN105373596A (zh) * 2015-10-27 2016-03-02 努比亚技术有限公司 基于用户兴趣挖掘的移动终端和用户兴趣挖掘方法
JP2017130042A (ja) * 2016-01-20 2017-07-27 株式会社リコー 映像処理装置、映像処理方法、及びプログラム
CN108286973A (zh) * 2017-01-09 2018-07-17 北京四维图新科技股份有限公司 一种行驶数据校验方法及装置、及混合导航系统
CN108694882A (zh) * 2017-04-11 2018-10-23 百度在线网络技术（北京）有限公司 用于标注地图的方法、装置和设备
WO2020133172A1 (zh) * 2018-12-28 2020-07-02 深圳市大疆创新科技有限公司 图像处理方法、设备及计算机可读存储介质
JP2020122754A (ja) * 2019-01-31 2020-08-13 株式会社豊田中央研究所 ３次元位置推定装置及びプログラム
CN110135323A (zh) * 2019-05-09 2019-08-16 北京四维图新科技股份有限公司 图像标注方法、装置、系统及存储介质
CN110135376A (zh) * 2019-05-21 2019-08-16 北京百度网讯科技有限公司 确定图像传感器的坐标系转换参数的方法、设备和介质
CN111712857A (zh) * 2019-06-25 2020-09-25 深圳市大疆创新科技有限公司 图像处理方法、装置、云台和存储介质
CN110659370A (zh) * 2019-08-12 2020-01-07 深圳市华付信息技术有限公司 一种高效数据标注方法
CN111127422A (zh) * 2019-12-19 2020-05-08 北京旷视科技有限公司 图像标注方法、装置、系统及主机
CN111383286A (zh) * 2020-02-11 2020-07-07 北京迈格威科技有限公司 定位方法、装置、电子设备及可读存储介质
CN111563138A (zh) * 2020-04-30 2020-08-21 浙江商汤科技开发有限公司 定位方法及装置、电子设备和存储介质
CN111783820A (zh) * 2020-05-08 2020-10-16 北京沃东天骏信息技术有限公司 图像标注方法和装置
CN111583345A (zh) * 2020-05-09 2020-08-25 吉林大学 一种相机参数的获取方法、装置、设备及存储介质
CN111832648A (zh) * 2020-07-10 2020-10-27 北京百度网讯科技有限公司 关键点标注方法、装置、电子设备及存储介质
CN111950440A (zh) * 2020-08-10 2020-11-17 杭州萤石软件有限公司 一种识别与定位门的方法、装置及存储介质
CN115619826A (zh) * 2022-10-17 2023-01-17 西南科技大学 一种基于重投影误差和深度估计的动态slam方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于计算机视觉和深度学习的自动驾驶方法研究;白辰甲;《中国优秀硕士学位论文全文数据库（电子期刊）工程科技辑》;全文 *

Also Published As

Publication number Publication date
CN114531580A (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN112444242B (zh) 一种位姿优化方法及装置
CN112667837A (zh) 图像数据自动标注方法及装置
JP7138718B2 (ja) 地物検出装置、地物検出方法および地物検出プログラム
CN108388641B (zh) 一种基于深度学习的交通设施地图生成方法与系统
WO2020043081A1 (zh) 定位技术
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN104077760A (zh) 一种航空摄影测量的快速拼接系统及其实现方法
CN110260857A (zh) 视觉地图的校准方法、装置及存储介质
WO2021212477A1 (zh) 校正点云数据的方法和相关装置
Aeschliman et al. Tracking vehicles through shadows and occlusions in wide-area aerial video
CN114663852A (zh) 车道线图的构建方法、装置、电子设备及可读存储介质
CN111982132B (zh) 数据处理方法、装置和存储介质
CN111758118B (zh) 一种视觉定位方法、装置、设备及可读存储介质
CN112837404B (zh) 一种平面对象的三维信息的构建方法及装置
CN114531580B (zh) 图像处理方法及装置
JP5435294B2 (ja) 画像処理装置及び画像処理プログラム
CN110827340B (zh) 地图的更新方法、装置及存储介质
CN116385994A (zh) 一种三维道路线提取方法及相关设备
CN116295463A (zh) 一种导航地图元素的自动标注方法
WO2023283929A1 (zh) 双目相机外参标定的方法及装置
CN112767498A (zh) 相机标定方法、装置和电子设备
CN117541465A (zh) 一种基于特征点的地库定位方法、系统、车辆及存储介质
CN117516527A (zh) 一种地库定位方法、系统、车辆、存储介质及设备
CN117522969A (zh) 一种联合地库定位方法、系统、车辆、存储介质及设备
Novikov et al. Vehicle Geolocalization from Drone Imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant