CN110782459B - 一种图像处理方法及装置 - Google Patents

一种图像处理方法及装置 Download PDF

Info

Publication number
CN110782459B
CN110782459B CN201910016826.XA CN201910016826A CN110782459B CN 110782459 B CN110782459 B CN 110782459B CN 201910016826 A CN201910016826 A CN 201910016826A CN 110782459 B CN110782459 B CN 110782459B
Authority
CN
China
Prior art keywords
image
feature point
information
target
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910016826.XA
Other languages
English (en)
Other versions
CN110782459A (zh
Inventor
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN201910016826.XA priority Critical patent/CN110782459B/zh
Publication of CN110782459A publication Critical patent/CN110782459A/zh
Application granted granted Critical
Publication of CN110782459B publication Critical patent/CN110782459B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法及装置，涉及计算机视觉技术领域，本申请所述的方法包括：获取在第一预定时间段内采集的目标区域的多张第一图像，和在第二预定时间段内采集的目标区域的多张第二图像；所述第一预定时间段与所述第二预定时间段相隔预定时长；针对每张第一图像，提取该第一图像与每张第二图像中的相同的图像信息，得到目标图像信息；利用得到的目标图像信息，生成所述目标区域的区域图像。本申请提供的一种图像处理方法及装置，提高了基于街景图像进行图像特征匹配过程中得到的街景特征点的准确度，提升了利用街景特征点进行三维重建得到的三维街景图像的精度。

Description

一种图像处理方法及装置
技术领域
本申请涉及计算机视觉技术领域，尤其是涉及一种图像处理方法及装 置。
背景技术
目前，计算机视觉广泛应用于地图街景的建设过程中,基于街景采集 车采集的多张街景图像，进行图像特征匹配，并基于多张街景图像中匹配 的图像特征点进行三维重建，得到街景目标区域的三维图像。
由于街道环境复杂，利用特征匹配的方式确定的街景特征点中，会有 不属于街景的特征点，进而直接影响利用街景特征点进行三维重建时，得 到的街景的三维图像的精度。
发明内容
有鉴于此，本申请的目的在于提供一种图像处理方法及装置，提高基 于街景图像进行图像特征匹配过程中，得到的街景特征点的准确度，提升 利用街景特征点进行三维重建时，得到的三维街景图像的精度。
第一方面，本申请实施例提供了一种图像处理方法，包括：
获取在第一预定时间段内采集的目标区域的多张第一图像，和在第二 预定时间段内采集的目标区域的多张第二图像；所述第一预定时间段与所 述第二预定时间段相隔预定时长；
针对每张第一图像，提取该第一图像与每张第二图像中的相同的图像 信息，得到目标图像信息；
利用得到的目标图像信息，生成所述目标区域的区域图像。
一种可能的实施方式中，所述针对每张第一图像，提取该第一图像与 每张第二图像中的相同的图像信息，得到目标图像信息，包括：
针对每张第一图像，将该第一图像分别与每张第二图像进行配对，得 到多个图像组；
针对每个图像组，确定该图像组中的第一图像与第二图像相互匹配的 特征点对信息，并基于确定的多个特征点对信息，确定该图像组中第一图 像与第二图像中相同的物体的轮廓信息；
基于所述第一图像与第二图像中相同物体的轮廓信息，生成该图像组 对应的目标图像信息。
一种可能的实施方式中，所述确定该图像组中的第一图像与第二图像 相互匹配的特征点对信息，包括：
针对第一图像中的每个特征点，在第二图像中筛选与该特征点相似度 最大的特征点，并基于该特征点与第二图像中的筛选得到的特征点的相似 度，确定该特征点是否与筛选得到的第二图像中的特征点是否匹配；
在该特征点与筛选得到的第二图像中特征点相互匹配的情况下，将该 特征点与筛选得到的第二图像中特征点的信息作为第一图像与第二图像相 互匹配的特征点对信息。
一种可能的实施方式中，所述基于该特征点与第二图像中的筛选得到 的特征点的相似度，确定该特征点是否与筛选得到的第二图像中的特征点 是否匹配，包括：
判断该特征点与第二图像中的筛选的得到的特征点的相似度是否大于 预定阈值；
在该特征点与第二图像中的筛选的得到的特征点的相似度大于预定阈 值的情况下，判定该特征点与筛选得到的第二图像中的特征点匹配。
一种可能的实施方式中，所述方法还包括提取所述第一图像或所述第 二图像中的特征点的步骤：
针对第一图像或第二图像中的每个像素点，获取与该像素点的距离小 于预定距离的像素点，得到该像素点对应的比对像素点；
在存在连续N个比对像素点的灰度值与该像素点的灰度值的差值大于 预定灰度阈值时，确定该像素点为特征点。
一种可能的实施方式中，所述利用得到的目标图像信息，生成所述目 标区域的区域图像，包括：
基于每两个目标图像信息中的相同的物体对应的特征点之间的相似 度，生成所述目标区域的区域图像。
一种可能的实施方式中，所述基于每两个目标图像信息中的相同物体 对应的特征点之间的相似度，生成所述目标区域的区域图像，包括：
基于每两个目标图像信息中的相同的物体对应的特征点之间的相似 度，确定每个物体对应的多个特征点信息；
基于每个物体对应的多个特征点信息，生成该物体的目标图像信息；
基于每个物体的目标图像信息，生成所述目标区域的区域图像。
一种可能的实施方式中，所述基于每个物体对应的多个特征点信息， 生成该物体的目标图像信息，包括：
针对每个物体，获取拍摄该物体对应的每个特征点的相机的坐标系；
基于拍摄每个特征点的相机的坐标系与世界坐标的关系，利用该物体 对应的每个特征点在对应的相机的坐标系中的坐标值，生成该物体的目标 图像信息。
一种可能的实施方式中，所述基于拍摄每个特征点的相机的坐标系与 世界坐标系的关系，利用该物体对应的每个特征点在对应的相机的坐标系 中的坐标值，生成该物体的目标图像信息，包括：
基于拍摄每个特征点的相机的坐标系与世界坐标的关系，将该物体对 应的每个特征点在对应的相机的坐标系中的坐标值，转换为世界坐标系中 的坐标值；
利用该物体对应的每个特征点在世界坐标系中的坐标值，生成该物体 的目标图像信息。
一种可能的实施方式中，所述多张第一图像为目标区域的不同拍摄角 度的图像；所述多张第二图像为目标区域的不同拍摄角度的图像。
第二方面，本申请实施例还提供一种图像处理装置，包括：
获取模块，用于获取在第一预定时间段内采集的目标区域的多张第一 图像，和在第二预定时间段内采集的目标区域的多张第二图像；所述第一 预定时间段与所述第二预定时间段相隔预定时长；
提取模块，用于针对每张第一图像，提取该第一图像与每张第二图像 中的相同的图像信息，得到目标图像信息；
生成模块，用于利用得到的目标图像信息，生成所述目标区域的区域 图像。
一种可能的实施方式中，所述提取模块，包括：
配对模块，用于针对每张第一图像，将该第一图像分别与每张第二图 像进行配对，得到多个图像组；还用于针对每个图像组，确定该图像组中 的第一图像与第二图像相互匹配的特征点对信息；
目标图像信息提取模块，用于基于确定的多个特征点对信息，确定该 图像组中第一图像与第二图像中相同的物体的轮廓信息；还用于基于所述 第一图像与第二图像中相同物体的轮廓信息，生成该图像组对应的目标图 像信息。
一种可能的实施方式中，所述配对模块，具体用于：
针对第一图像中的每个特征点，在第二图像中筛选与该特征点相似度 最大的特征点，并基于该特征点与第二图像中的筛选得到的特征点的相似 度，确定该特征点是否与筛选得到的第二图像中的特征点是否匹配；
在该特征点与筛选得到的第二图像中特征点相互匹配的情况下，将该 特征点与筛选得到的第二图像中特征点的信息作为第一图像与第二图像相 互匹配的特征点对信息。
一种可能的实施方式中，所述配对模块，还用于：
判断该特征点与第二图像中的筛选的得到的特征点的相似度是否大于 预定阈值；
在该特征点与第二图像中的筛选的得到的特征点的相似度大于预定阈 值的情况下，判定该特征点与筛选得到的第二图像中的特征点匹配。
一种可能的实施方式中，所述配对模块，还包括：
特征点提取模块，用于针对第一图像或第二图像中的每个像素点，获 取与该像素点的距离小于预定距离的像素点，得到该像素点对应的比对像 素点；还用于在存在连续N个比对像素点的灰度值与该像素点的灰度值的 差值大于预定灰度阈值时，确定该像素点为特征点。
一种可能的实施方式中，所述生成模块，具体用于：
基于每两个目标图像信息中的相同的物体对应的特征点之间的相似 度，生成所述目标区域的区域图像。
一种可能的实施方式中，所述生成模块，包括：
目标图像信息生成模块，用于基于每两个目标图像信息中的相同的物 体对应的特征点之间的相似度，确定每个物体对应的多个特征点信息；基 于每个物体对应的多个特征点信息，生成该物体的目标图像信息；
区域图像生成模块，用于基于每个物体的目标图像信息，生成所述目 标区域的区域图像。
一种可能的实施方式中，所述目标图像信息生成模块，还用于：
针对每个物体，获取拍摄该物体对应的每个特征点的相机的坐标系；
基于拍摄每个特征点的相机的坐标系与世界坐标的关系，利用该物体 对应的每个特征点在对应的相机的坐标系中的坐标值，生成该物体的目标 图像信息。
一种可能的实施方式中，所述目标图像信息生成模块，还用于：
基于拍摄每个特征点的相机的坐标系与世界坐标的关系，将该物体对 应的每个特征点在对应的相机的坐标系中的坐标值，转换为世界坐标系中 的坐标值；
利用该物体对应的每个特征点在世界坐标系中的坐标值，生成该物体 的目标图像信息。
一种可能的实施方式中，所述多张第一图像为目标区域的不同拍摄角 度的图像；所述多张第二图像为目标区域的不同拍摄角度的图像。
第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储 器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子 设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读 指令被所述处理器执行时执行上述第一方面或第一方面的任一种可能的实 施方式中的步骤。
第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机 可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上 述第一方面或第一方面的任一种可能的实施方式中的步骤。
本申请实施例提供的一种图像处理方法及装置，利用第一预定时间段 采集的街景目标区域的多张第一图像，和第二预定时间段采集的街景目标 区域的多张第二图像，进行图像特征匹配，避免利用特征匹配的方式确定 的街景特征点中不属于街景的特征点的影响，提高了基于街景图像进行图 像特征匹配过程中，得到的街景特征点的准确度，并利用匹配的街景特征 点提取的目标图像信息，生成街景目标区域的三维图像，提升了利用街景 特征点进行三维重建时，得到的三维街景图像的精度。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实 施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需 要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些 实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种图像处理方法的流程图；
图2示出了本申请实施例提供的一种图像处理方法中，提取目标图像 信息的方法的流程图；
图3示出了本申请实施例提供的一种图像处理方法中，生成所述目标 区域的区域图像的方法的流程图；
图4a示出了本申请实施例在一种具体的场景下得到的第一图像；
图4b示出了本申请实施例在一种具体的场景下得到的第二图像；
图5示出了本申请实施例提供的一种图像处理装置的结构示意图；
图6示出了本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本 申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述， 显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。 通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配 置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描 述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实 施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前 提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，计算机视觉广泛应用于地图街景的建设过程中,基于街景采集 车采集的多张街景图像，进行图像特征匹配，并基于多张街景图像中匹配 的图像特征点进行三维重建，得到街景目标区域的三维图像。其中，三维 重建是指根据单视图或者多视图的多张图像进行重建，得到三维图像的过 程。对多张街景图像中的街景特征点进行特征匹配是进行三维重建，生成 街景目标区域的三维图像中非常重要的步骤。
然而，由于街道环境复杂，利用特征匹配的方式确定的街景特征点中， 会有不属于街景的特征点，进而直接影响利用街景特征点进行三维重建时， 得到的街景的三维图像的精度。
尤其是当多张街景图像中包含移动物体的情况下，根据多张街景图像 进行特征匹配时，位于移动物体上的特征点也会作为目标图像信息提取， 从而使图像特征匹配过程得到不属于街景的特征点，从而根据不属于街景 的特征点提取出不属于街景的目标图像信息。并且会影响利用多张街景图 像进行三维重建的过程，使得到街景目标区域的三维图像中既包含不属于 街景的移动物体也包含属于街景的固定物体。而对街景目标区域进行三维 重建的过程，需要将多张街景图像中不属于街景的移动物体剔除，只将属 于街景的固定物体作为目标图像信息。因此，图像特征匹配过程得到的不 属于街景的特征点，会降低三维重建得到街景目标区域的三维图像的精度。
现有的解决方法是通过语义分割算法去除街景图像中的移动物体，然 而由于语义分割算法是有监督的算法，需要人工对移动物体进行标注，基 于人工标注的移动物体训练算法模型，并且使用基于人工标注的移动物体 训练的算法模型将图像中的移动物体去除。
现有的使用语义分割算法提高街景图像中图像特征匹配的准确度的方 法，主要存在三个方面的问题：第一、利用人工标注的移动物体的工作量 很大，利用人工标注的移动物体训练算法模型的工作量和算法复杂度很高， 从而带来大量的人工和时间成本；第二、基于人工标注的移动物体训练得 到的算法模型泛化性较差，只能识别出人工标注得到的训练样本中包含的 移动物体；第三、人工标注过程本身会引入一定的错误，可能存在漏标、 错标等问题。因此，现有技术中，使用语义分割算法提高街景图像中图像 特征匹配的准确度，提出街景图像中包含的移动物体的方法，在带来大量 的人工和时间成本的同时，仍然无法完全避免将不属于街景的移动物体作 为图像特征进行匹配，从而无法完全避免基于不属于街景的目标图像信息 进行三维重建的，因此，降低了街景目标区域的三维图像的精度。
基于此，本申请实施例提供了一种图像处理方法及装置，利用第一预 定时间段采集的街景目标区域的多张第一图像，和第二预定时间段采集的 街景目标区域的多张第二图像，进行图像特征匹配，避免利用特征匹配的 方式确定的街景特征点中不属于街景的特征点的影响，提高了基于街景图 像进行图像特征匹配过程中，得到的街景特征点的准确度，并利用匹配的 街景特征点提取的目标图像信息，生成街景目标区域的三维图像，提升了 利用街景特征点进行三维重建时，得到的三维街景图像的精度。
为便于对本实施例进行理解，首先对本申请实施例所公开的一种图像 处理方法进行详细介绍。
实施例一
本申请实施例提供的一种图像处理方法，可以应用于服务器等电子设 备中，对各个领域的图像进行处理，例如，应用于地图中三维街景的构建 中。如图1所示，本申请实施例的方法包括下述步骤S101到S103：
S101：获取在第一预定时间段内采集的目标区域的多张第一图像，和 在第二预定时间段内采集的目标区域的多张第二图像；所述第一预定时间 段与所述第二预定时间段相隔预定时长。
这里，所述多张第一图像为目标区域的不同拍摄角度的图像；所述多 张第二图像为目标区域的不同拍摄角度的图像。在具体实施过程中，可以 针对目标区域的不同角度，采集多张第一图像或多张第二图像，也可以针 对目标区域的同一角度，采集多张第一图像或多张第二图像；可以针对目 标区域的不同位置，采集多张第一图像或多张第二图像，也可以针对目标 区域的同一位置，采集多张第一图像或多张第二图像。例如，将本申请实 施例应用于地图中三维街景的构建中时，在目标区域可以为一个路口的任 意一角，或道路中的任意一段，或道路的任意一侧的一个具体建筑。在目 标区域为道路中的一段的情况下，多张第一图像和多张第二图像均针对该 段道路进行采集，多张第一图像和多张第二图像可以是针对该段道路的不 同角度采集的图像，也可以是针对该段道路的同一角度采集的图像。
这里，采集多张第一图像的第一预定时间段为，连续采集所有第一图 像所需的时间段，例如，对目标区域采集了10张第一图像，第一预定时间 段为连续采集10张第一图像所需的时间段。
同样的，采集多张第二图像的第二预定时间段为，连续采集所有第二 图像所需的时间段，例如，对目标区域采集了10张第二图像，第二预定时 间段为连续采集10张第二图像所需的时间段。
由于移动物体通常不会长时间的停留在目标区域，因此，为了尽可能 降低移动物体对图像特征匹配的影响，所述采集多张第一图像的第一预定 时间段与所述采集多张第二图像的第二预定时间段需要相隔预定时长，例 如，可以在采集最后一张第一图像完成之后，相隔10分钟，再开始采集第 一张第二图像。这里，上述预定时长可以在实际实施时，根据第一图像和 第二图像采集时的具体情况具体设置。
S102：针对每张第一图像，提取该第一图像与每张第二图像中的相同 的图像信息，得到目标图像信息。
由于移动物体通常不会长时间的停留在目标区域，出现在第一图像中 的移动物体，通常不会出现在第二图像中。因此，使用相隔预定时长的多 张第一图像和多张第二图像进行特征匹配时，在第一图像中根据移动物体 的提取的特征点，在第二图像中不会存在与之相匹配的特征点，不会提取 出对应移动物体的特征点对信息，从而不会生成对应移动物体的目标图像 信息。只有第一图像中根据固定物体提取的特征点，可以在第二图像中筛选出与之匹配的特征点，形成特征点对信息，从而生成对应固定物体的目 标图像信息。
综上所述，为了尽可能降低移动物体对图像特征匹配的影响，不能在 第一图像与第一图像之间提取目标图像信息，也不能在第二图像与第二图 像之间提取目标图像信息，而是需要针对每张第一图像，提取该第一图像 与每张第二图像中的相同的图像信息，得到目标图像信息。
图2示出的是本申请实施例提供的图像处理方法中，提取目标图像信 息的步骤，具体的可以采用下述步骤S201到步骤S203，针对每张第一图像， 提取该第一图像与每张第二图像中的相同的图像信息，得到目标图像信息：
步骤S201、针对每张第一图像，将该第一图像分别与每张第二图像进 行配对，得到多个图像组。
这里，每个图像组中，包含一张第一图像和一张第二图像。
步骤S202、针对每个图像组，确定该图像组中的第一图像与第二图像 相互匹配的特征点对信息，并基于确定的多个特征点对信息，确定该图像 组中第一图像与第二图像中相同的物体的轮廓信息。
在确定该图像组中的第一图像与第二图像相互匹配的特征点对信息之 前，首先需要提取所述第一图像或所述第二图像中的特征点，具体包括：
针对第一图像或第二图像中的每个像素点，获取与该像素点的距离小 于预定距离的像素点，得到该像素点对应的比对像素点；在存在连续N个 比对像素点的灰度值与该像素点的灰度值的差值大于预定灰度阈值时，确 定该像素点为特征点。
示例性的，以针对第一图像，提取第一图像中的特征点为例，可以针 对第一图像中的每个像素点，以该像素点为圆心，以预定距离为半径，画 一个圆，圆内的像素点为与该像素点的距离小于预定距离的像素点，即圆 内的像素点为该像素点对应的比对像素点。分别确定该像素点的灰度值与 每个上述比对像素点的灰度值之间的差值，如果存在连续N个比对像素点 的灰度值与该像素点的灰度值的差值大于预定灰度阈值时，确定该像素点 为特征点。这里，连续N个比对像素点，是指N个位置连续的比对像素点。
由上述提取特征点的步骤可知，所述第一图像或所述第二图像中的特 征点通常位于灰度值发生剧烈变化的图形分界线上，或者位于图像中物体 的边缘位置。
提取所述第一图像或所述第二图像中的特征点之后，可以采用下述步 骤1和步骤2，确定该图像组中的第一图像与第二图像相互匹配的特征点对 信息：
步骤1、针对第一图像中的每个特征点，在第二图像中筛选与该特征点 相似度最大的特征点，并基于该特征点与第二图像中的筛选得到的特征点 的相似度，确定该特征点是否与筛选得到的第二图像中的特征点是否匹配。
具体的，可以通过如下步骤确定该特征点是否与筛选得到的第二图像 中的特征点是否匹配：
判断该特征点与第二图像中的筛选的得到的特征点的相似度是否大于 预定阈值；在该特征点与第二图像中的筛选的得到的特征点的相似度大于 预定阈值的情况下，判定该特征点与筛选得到的第二图像中的特征点匹配。
示例性的，针对第一图像中的每个第一特征点，计算第二图像中的每 个第二特征点与该第一特征点之间的相似度，根据上述相似度的大小，由 大到小对每个第二特征点进行排序，并且从第二图像的每个第二特征点中， 筛选前预定数量个上述相似度最大的第二特征点，作为该第一特征点对应 的匹配特征点。例如，上述预定数量可以为2，即筛选上述相似度最大的前 两个第二特征点，作为该第一特征点对应的匹配特征点。
为了进一步提升图像特征匹配的质量，可以对该第一特征点对应的匹 配特征点进行筛选，得到符合预设要求的匹配特征点。例如，匹配特征点 包括，与该第一特征点相似度最大的前两个第二特征点的情况下，可以获 取该第一特征点和与该第一特征点相似度最大的匹配特征点之间的第一相 似度，获取该第一特征点和与该第一特征点相似度次大的匹配特征点之间 的第二相似度，计算上述第一相似度与上述第二相似度之间的比值，如果 上述比值小于预设的比值阈值，则对应的匹配特征点为符合预设要求的匹 配特征点，即该第一特征点与对应的匹配特征点匹配。如果上述比值不小 于预设的比值阈值，表明该第一特征点与对应的匹配特征点不匹配。
步骤2、在该特征点与筛选得到的第二图像中特征点相互匹配的情况 下，将该特征点与筛选得到的第二图像中特征点的信息作为第一图像与第 二图像相互匹配的特征点对信息。
这里，特征点对信息包括：相互匹配的每个特征点的颜色、灰度、亮 度、位置、纹理等信息。
进一步的，由于提取所述第一图像或所述第二图像中的特征点的过程， 是针对第一图像或所述第二图像中每个像素点，计算该像素点的灰度与比 对像素点的灰度的差值，在存在连续N个比对像素点的灰度值与该像素点 的灰度值的差值大于预定灰度阈值时，确定该像素点为特征点。因此，所 述第一图像或所述第二图像中的特征点通常位于灰度值发生剧烈变化的图 形分界线上，或者位于图像中物体的边缘位置。因此，可以基于确定的多个上述特征点对信息，确定该图像组中第一图像与第二图像中每个物体的 轮廓信息。并基于第一图像与第二图像中每个物体的轮廓信息，确定第一 图像与第二图像中相同的物体的轮廓信息。
在一种可能的实施方式中，可以采用下述步骤1到步骤2，对第一图像 和第二图像中相互匹配的特征点对信息进行进一步的筛选，从而进一步提 高图像特征匹配的精度。
步骤1、针对第一图像中每个特征点，将该特征点分别与筛选得到的第 二图像中特征点进行配对，得到多个特征点对。
步骤2、对每个特征点对进行筛选，得到目标特征点对，从而进一步去 除错误匹配的特征点，提高图像特征匹配的准确度。
可以采用下述步骤对多个特征点对进行筛选：
针对每个特征点对，进行至少一轮迭代筛选，得到符合预定要求的目 标特征点对。
并且采用下述步骤，对每个特征点对进行当前轮迭代筛选：
从多个特征点对中，随机挑选至少一个特征点对，形成初始特征点对 集；在剩余的特征点对中，筛选与特征点对集中包含的特征点对的相似度 小于预设的相似度阈值的特征点对，得到当前轮迭代对应的中间特点对集。
在对每个特征点对进行当前轮迭代筛选之后，检测本轮迭代是否达到 预设的迭代轮数，如果是，停止迭代，并比较每一轮迭代对应的中间特点 对集中特征点对的个数，将上述个数最大的中间特征点对集中包含的特征 点对，作为目标特征点对。如果否，返回从多个特征点对中，随机挑选至 少一个特征点对，形成初始特征点对集的步骤。
或者，计算当前轮迭代得到的中间特点对集中特征点对的个数，与上 一轮迭代得到的中间特点对集中特征点对的个数的差值，判断上述差值是 否小于预设的差值阈值。如果是，停止迭代，并比较每一轮迭代对应的中 间特点对集中特征点对的个数，将上述个数最大的中间特征点对集中包含 的特征点对，作为目标特征点对。如果否，返回从多个特征点对中，随机 挑选至少一个特征点对，形成初始特征点对集的步骤。
步骤S203、基于所述第一图像与第二图像中相同物体的轮廓信息，生 成该图像组对应的目标图像信息。
这里，目标图像信息可以包括第一图像和第二图像中相同物体的图像。
S103：利用得到的目标图像信息，生成所述目标区域的区域图像。
针对每张第一图像，提取该第一图像与每张第二图像中的相同的图像 信息，可以得到多个目标图像信息。一般来说，针对每张第一图像，将该 第一图像分别与每张第二图像进行配对，得到的多个图像组中，每个图像 组可以得到一对目标图像信息，从该图像组中的第一图像可以得到一个目 标图像信息，从该图像组中的第二图像可以得到一个目标图像信息。
这里，上述每两个目标图像信息中，一个是从任意一个第一图像中提 取得到的，另一个是从任意一个第二图像中提取得到的。并且，上述两个 目标图像信息不一定是从自同一图像组中的第一图像和第二图像提取得到 的。之后，可以基于每两个目标图像信息中的相同的物体对应的特征点之 间的相似度，生成所述目标区域的区域图像。
图3示出的是本申请实施例提供的图像处理方法中，生成所述目标区 域的区域图像的步骤，具体的，可以采用下述步骤S301到S303，基于每两 个目标图像信息中的相同物体对应的特征点之间的相似度，生成所述目标 区域的区域图像：
S301、基于每两个目标图像信息中的相同的物体对应的特征点之间的 相似度，确定每个物体对应的多个特征点信息。
由于移动物体通常不会长时间的停留在目标区域，出现在第一图像中 的移动物体，绝大多数情况下不会出现在第二图像中。因此，每两个目标 图像信息中的相同的物体，不会包括移动物体。基于每两个目标图像信息 中的相同的物体对应的特征点之间的相似度，确定每个物体对应的多个特 征点信息，得到的是目标区域中的固定物体对应的多个特征点信息。例如， 将本申请实施例应用于地图中三维街景的构建中时，在目标区域为道路中 的任意一段、移动物体为道路上的行驶车辆的情况下，出现在第一图像中 的行驶车辆，不会出现在第二图像中。因此，每两个目标图像信息中的相 同的物体，不会包括该路段道路上的行驶车辆，而是只包括该路段两侧的 建筑、树木等固定物体。
基于每两个目标图像信息中的相同的物体对应的特征点之间的相似 度，确定的每个物体对应的多个特征点信息，会得到每个固定物体对应的 特征点信息。
S302、基于每个物体对应的多个特征点信息，生成该物体的目标图像 信息。
在一种可能的实施方式中，可以采用下述步骤，基于每个物体对应的 多个特征点信息，生成该物体的目标图像信息：
针对每个物体，获取拍摄该物体对应的每个特征点的相机的坐标系； 基于拍摄每个特征点的相机的坐标系与世界坐标的关系，利用该物体对应 的每个特征点在对应的相机的坐标系中的坐标值，生成该物体的目标图像 信息。
具体的，采用下述步骤基于拍摄每个特征点的相机的坐标系与世界坐 标系的关系，利用该物体对应的每个特征点在对应的相机的坐标系中的坐 标值，生成该物体的目标图像信息：
基于拍摄每个特征点的相机的坐标系与世界坐标的关系，将该物体对 应的每个特征点在对应的相机的坐标系中的坐标值，转换为世界坐标系中 的坐标值；利用该物体对应的每个特征点在世界坐标系中的坐标值，生成 该物体的目标图像信息。
基于对每个物体对应的多个特征点，基于拍摄该物体对应的每个特征 点的相机的坐标系与世界坐标的关系，将该物体对应的每个特征点在对应 的相机的坐标系中的坐标值，转换为世界坐标系中的坐标值，生成该物体 的目标图像信息。这个过程就是对每个物体进行三维重建的过程。由于基 于每两个目标图像信息中的相同的物体对应的特征点之间的相似度，确定 得到了每个固定物体对应的特征点信息，因此采用上述步骤，会得到每个 固定物体的目标图像信息，不会得到移动物体的目标图像信息。
S303、基于每个物体的目标图像信息，生成所述目标区域的区域图像。
利用上述三维重建过程得到的每个固定物体的目标图像信息，生成目 标区域的区域图像，可以得到目标区域中每个固定物体的三维图像，从而 可以避免位于移动物体上的特征点对三维重建的得到的目标区域的三维区 域图像产生干扰。例如，将本申请实施例应用于地图中三维街景的构建中 时，三维重建得到的三维街景中，不会包括行驶的车辆，只会包括路旁的 建筑、树木和道路上的信号灯、路障、路标等固定物体。
在一种具体的场景下，例如，使用基于街景采集车采集的街景图像， 对地图中的三维街景进行构建时。如图4a所示为采集车第一次经过一个收 费站时采集的街景的第一图像，此时的采集时间为2018/05/10 12:13:44， 图4b为采集车第二次经过一个收费站时采集的街景的第二图像，此时的采 集时间为2018/05/10 14:06:51。由于采集车以收费站为目标区域的第一次 采集得到的第一图像是在第一预定时间段进行的，而以收费站为目标区域 的第二次采集得到的第二图像是在第二预定时间段进行的，并且上述第一 预定时间段和上述第二预定时间段之间，相隔了预定时长。因此，虽然采 集车两次在收费站采集得到的第一图像和第二图像中，前方采集到了行驶 车辆这一移动物体，但是第一图像和第二图像中的行驶车辆是外观明显不 同的车辆。因此，在对第一图像和第二图像进行特征匹配，针对第一图像， 提取第一图像与第二图像中的相同的图像信息，得到目标图像信息时，不 会将行驶车辆提取为目标图像信息。对第一图像与第二图像中的相同的图 像信息进行提取，得到的目标图像信息仅会包括位于第一图像与第二图像 中的固定物体，例如灯柱、路障、树木等。进而，在利用得到的目标图像 信息，生成所述目标区域的区域图像时，即在利用上述第一图像和上述第 二图像进行三维重建时，仅会针对位于第一图像与第二图像中的固定物体， 例如灯柱、路障、树木等，生成所述目标区域的三维图像。从而，避免了 移动物体对图像特征匹配的影响，无需使用开发复杂且准确度仍然较低的 语义分割算法，即可提升三维重建得到的目标区域的三维图像的精度。
综上所述，本申请实施例提供的一种图像处理方法，提高基于街景图 像进行图像特征匹配过程中，得到的街景特征点的准确度，提升利用街景 特征点进行三维重建时，得到的三维街景图像的精度。
基于相同的技术构思，本申请实施例还提供一种图像处理装置、电子 设备、以及计算机存储介质等，具体可参见以下实施例。
实施例二
图5是示出本申请的一些实施例的图像处理装置的框图，该图像处理 装置实现的功能对应上述方法执行的步骤。该装置可以理解为上述服务器， 或服务器的处理器，也可以理解为独立于上述服务器或处理器之外的在服 务器控制下实现本申请功能的组件，如图所示，图像处理装置500可以包 括获取模块501、提取模块502，和生成模块503：
获取模块501，用于获取在第一预定时间段内采集的目标区域的多张第 一图像，和在第二预定时间段内采集的目标区域的多张第二图像；所述第 一预定时间段与所述第二预定时间段相隔预定时长；
提取模块502，用于针对每张第一图像，提取该第一图像与每张第二图 像中的相同的图像信息，得到目标图像信息；
生成模块503，用于利用得到的目标图像信息，生成所述目标区域的区 域图像。
一种可能的实施方式中，所述提取模块502，包括：
配对模块521，用于针对每张第一图像，将该第一图像分别与每张第二 图像进行配对，得到多个图像组；还用于针对每个图像组，确定该图像组 中的第一图像与第二图像相互匹配的特征点对信息；
目标图像信息提取模块522，用于基于确定的多个特征点对信息，确定 该图像组中第一图像与第二图像中相同的物体的轮廓信息；还用于基于所 述第一图像与第二图像中相同物体的轮廓信息，生成该图像组对应的目标 图像信息。
一种可能的实施方式中，所述配对模块521，具体用于：
针对第一图像中的每个特征点，在第二图像中筛选与该特征点相似度 最大的特征点，并基于该特征点与第二图像中的筛选得到的特征点的相似 度，确定该特征点是否与筛选得到的第二图像中的特征点是否匹配；
在该特征点与筛选得到的第二图像中特征点相互匹配的情况下，将该 特征点与筛选得到的第二图像中特征点的信息作为第一图像与第二图像相 互匹配的特征点对信息。
一种可能的实施方式中，所述配对模块521，还用于：
判断该特征点与第二图像中的筛选的得到的特征点的相似度是否大于 预定阈值；
在该特征点与第二图像中的筛选的得到的特征点的相似度大于预定阈 值的情况下，判定该特征点与筛选得到的第二图像中的特征点匹配。
一种可能的实施方式中，所述配对模块521，还包括：
特征点提取模块5211，用于针对第一图像或第二图像中的每个像素点， 获取与该像素点的距离小于预定距离的像素点，得到该像素点对应的比对 像素点；还用于在存在连续N个比对像素点的灰度值与该像素点的灰度值 的差值大于预定灰度阈值时，确定该像素点为特征点。
一种可能的实施方式中，所述生成模块503，具体用于：
基于每两个目标图像信息中的相同的物体对应的特征点之间的相似 度，生成所述目标区域的区域图像。
一种可能的实施方式中，所述生成模块503，包括：
目标图像信息生成模块531，用于基于每两个目标图像信息中的相同的 物体对应的特征点之间的相似度，确定每个物体对应的多个特征点信息； 基于每个物体对应的多个特征点信息，生成该物体的目标图像信息；
区域图像生成模块532，用于基于每个物体的目标图像信息，生成所述 目标区域的区域图像。
一种可能的实施方式中，所述目标图像信息生成模块531，还用于：
针对每个物体，获取拍摄该物体对应的每个特征点的相机的坐标系；
基于拍摄每个特征点的相机的坐标系与世界坐标的关系，利用该物体 对应的每个特征点在对应的相机的坐标系中的坐标值，生成该物体的目标 图像信息。
一种可能的实施方式中，所述目标图像信息生成模块531，还用于：
基于拍摄每个特征点的相机的坐标系与世界坐标的关系，将该物体对 应的每个特征点在对应的相机的坐标系中的坐标值，转换为世界坐标系中 的坐标值；
利用该物体对应的每个特征点在世界坐标系中的坐标值，生成该物体 的目标图像信息。
一种可能的实施方式中，所述多张第一图像为目标区域的不同拍摄角 度的图像；所述多张第二图像为目标区域的不同拍摄角度的图像。
上述模块可以经由有线连接或无线连接彼此连接或通信。有线连接可 以包括金属线缆、光缆、混合线缆等，或其任意组合。无线连接可以包括 通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接，或其任意组合。两 个或更多个模块可以组合为单个模块，并且任何一个模块可以分成两个或 更多个单元。
本申请实施例提供的一种图像处理装置，提高基于街景图像进行图像 特征匹配过程中，得到的街景特征点的准确度，提升利用街景特征点进行 三维重建时，得到的三维街景图像的精度。
实施例三
基于相同的技术构思，本申请实施例还提供了一种电子设备。参照图6 所示，为本申请实施例提供的电子设备600的结构示意图，包括处理器601、 存储器602、和总线603。其中，存储器602用于存储执行指令，包括内存 621和外部存储器622；这里的内存621也称内存储器，用于暂时存放处理 器601中的运算数据，以及与硬盘等外部存储器622交换的数据，处理器 601通过内存621与外部存储器622进行数据交换，当电子设备600运行时， 处理器601与存储器602之间通过总线603通信，使得处理器601在执行 以下指令：
获取在第一预定时间段内采集的目标区域的多张第一图像，和在第二 预定时间段内采集的目标区域的多张第二图像；所述第一预定时间段与所 述第二预定时间段相隔预定时长；
针对每张第一图像，提取该第一图像与每张第二图像中的相同的图像 信息，得到目标图像信息；
利用得到的目标图像信息，生成所述目标区域的区域图像。
具体实施中，上述处理器601执行的处理中，所述针对每张第一图像， 提取该第一图像与每张第二图像中的相同的图像信息，得到目标图像信息， 包括：
针对每张第一图像，将该第一图像分别与每张第二图像进行配对，得 到多个图像组；
针对每个图像组，确定该图像组中的第一图像与第二图像相互匹配的 特征点对信息，并基于确定的多个特征点对信息，确定该图像组中第一图 像与第二图像中相同的物体的轮廓信息；
基于所述第一图像与第二图像中相同物体的轮廓信息，生成该图像组 对应的目标图像信息。
具体实施中，上述处理器601执行的处理中，所述确定该图像组中的 第一图像与第二图像相互匹配的特征点对信息，包括：
针对第一图像中的每个特征点，在第二图像中筛选与该特征点相似度 最大的特征点，并基于该特征点与第二图像中的筛选得到的特征点的相似 度，确定该特征点是否与筛选得到的第二图像中的特征点是否匹配；
在该特征点与筛选得到的第二图像中特征点相互匹配的情况下，将该 特征点与筛选得到的第二图像中特征点的信息作为第一图像与第二图像相 互匹配的特征点对信息。
具体实施中，上述处理器601执行的处理中，所述基于该特征点与第 二图像中的筛选得到的特征点的相似度，确定该特征点是否与筛选得到的 第二图像中的特征点是否匹配，包括：
判断该特征点与第二图像中的筛选的得到的特征点的相似度是否大于 预定阈值；
在该特征点与第二图像中的筛选的得到的特征点的相似度大于预定阈 值的情况下，判定该特征点与筛选得到的第二图像中的特征点匹配。
具体实施中，上述处理器601执行的处理中，所述方法还包括提取所 述第一图像或所述第二图像中的特征点的步骤：
针对第一图像或第二图像中的每个像素点，获取与该像素点的距离小 于预定距离的像素点，得到该像素点对应的比对像素点；
在存在连续N个比对像素点的灰度值与该像素点的灰度值的差值大于 预定灰度阈值时，确定该像素点为特征点。
具体实施中，上述处理器601执行的处理中，所述利用得到的目标图 像信息，生成所述目标区域的区域图像，包括：
基于每两个目标图像信息中的相同的物体对应的特征点之间的相似 度，生成所述目标区域的区域图像。
具体实施中，上述处理器601执行的处理中，所述基于每两个目标图 像信息中的相同物体对应的特征点之间的相似度，生成所述目标区域的区 域图像，包括：
基于每两个目标图像信息中的相同的物体对应的特征点之间的相似 度，确定每个物体对应的多个特征点信息；
基于每个物体对应的多个特征点信息，生成该物体的目标图像信息；
基于每个物体的目标图像信息，生成所述目标区域的区域图像。
具体实施中，上述处理器601执行的处理中，所述基于每个物体对应 的多个特征点信息，生成该物体的目标图像信息，包括：
针对每个物体，获取拍摄该物体对应的每个特征点的相机的坐标系；
基于拍摄每个特征点的相机的坐标系与世界坐标的关系，利用该物体 对应的每个特征点在对应的相机的坐标系中的坐标值，生成该物体的目标 图像信息。
具体实施中，上述处理器601执行的处理中，所述基于拍摄每个特征 点的相机的坐标系与世界坐标系的关系，利用该物体对应的每个特征点在 对应的相机的坐标系中的坐标值，生成该物体的目标图像信息，包括：
基于拍摄每个特征点的相机的坐标系与世界坐标的关系，将该物体对 应的每个特征点在对应的相机的坐标系中的坐标值，转换为世界坐标系中 的坐标值；
利用该物体对应的每个特征点在世界坐标系中的坐标值，生成该物体 的目标图像信息。
具体实施中，上述处理器601执行的处理中，所述多张第一图像为目 标区域的不同拍摄角度的图像；所述多张第二图像为目标区域的不同拍摄 角度的图像。
本申请实施例提供的一种电子设备，提高基于街景图像进行图像特征 匹配过程中，得到的街景特征点的准确度，提升利用街景特征点进行三维 重建时，得到的三维街景图像的精度。
实施例四
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储 介质上存储有计算机程序，该计算机程序被处理器运行时执行上述实施例 中图像处理方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等， 该存储介质上的计算机程序被运行时，能够执行上述实施例中图像处理方 法的步骤，从而提高了图像特征匹配过程的准确度，进而提升了三维重建 得到的目标区域的三维图像的精度。
本申请实施例所提供的进行图像处理方法的计算机程序产品，包括存 储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序 代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参 见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述 描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的 对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置 和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意 性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可 以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到 另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的 相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或 单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的， 作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地 方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的 部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元 中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在 一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使 用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。 基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的 部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软 件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可 以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述 方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存 储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory， RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用 以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于 此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术 人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围 内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变 化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都 应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利 要求的保护范围为准。

Claims (18)

1.一种图像处理方法，其特征在于，包括：
获取在第一预定时间段内采集的目标区域的多张第一图像，和在第二预定时间段内采集的目标区域的多张第二图像；所述第一预定时间段与所述第二预定时间段相隔预定时长；
针对每张第一图像，提取该第一图像与每张第二图像中的相同的图像信息，得到目标图像信息；
利用得到的目标图像信息，生成所述目标区域的区域图像；
所述针对每张第一图像，提取该第一图像与每张第二图像中的相同的图像信息，得到目标图像信息，包括：
针对每张第一图像，将该第一图像分别与每张第二图像进行配对，得到多个图像组；
针对每个图像组，确定该图像组中的第一图像与第二图像相互匹配的特征点对信息，并基于确定的多个特征点对信息，确定该图像组中第一图像与第二图像中相同的物体的轮廓信息；
基于所述第一图像与第二图像中相同物体的轮廓信息，生成该图像组对应的目标图像信息；
其中，所述利用得到的目标图像信息，生成所述目标区域的区域图像，包括：
基于每两个目标图像信息中的相同的物体对应的特征点之间的相似度，生成所述目标区域的区域图像。
2.根据权利要求1所述的方法，其特征在于，所述确定该图像组中的第一图像与第二图像相互匹配的特征点对信息，包括：
针对第一图像中的每个特征点，在第二图像中筛选与该特征点相似度最大的特征点，并基于该特征点与第二图像中的筛选得到的特征点的相似度，确定该特征点是否与筛选得到的第二图像中的特征点是否匹配；
在该特征点与筛选得到的第二图像中特征点相互匹配的情况下，将该特征点与筛选得到的第二图像中特征点的信息作为第一图像与第二图像相互匹配的特征点对信息。
3.根据权利要求2所述的方法，其特征在于，所述基于该特征点与第二图像中的筛选得到的特征点的相似度，确定该特征点是否与筛选得到的第二图像中的特征点是否匹配，包括：
判断该特征点与第二图像中的筛选得到的特征点的相似度是否大于预定阈值；
在该特征点与第二图像中的筛选得到的特征点的相似度大于预定阈值的情况下，判定该特征点与筛选得到的第二图像中的特征点匹配。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括提取所述第一图像或所述第二图像中的特征点的步骤：
针对第一图像或第二图像中的每个像素点，获取与该像素点的距离小于预定距离的像素点，得到该像素点对应的比对像素点；
在存在连续N个比对像素点的灰度值与该像素点的灰度值的差值大于预定灰度阈值时，确定该像素点为特征点。
5.根据权利要求1所述的方法，其特征在于，所述基于每两个目标图像信息中的相同的物体对应的特征点之间的相似度，生成所述目标区域的区域图像，包括：
基于每两个目标图像信息中的相同的物体对应的特征点之间的相似度，确定每个物体对应的多个特征点信息；
基于每个物体对应的多个特征点信息，生成该物体的目标图像信息；
基于每个物体的目标图像信息，生成所述目标区域的区域图像。
6.根据权利要求5所述的方法，其特征在于，所述基于每个物体对应的多个特征点信息，生成该物体的目标图像信息，包括：
针对每个物体，获取拍摄该物体对应的每个特征点的相机的坐标系；
基于拍摄每个特征点的相机的坐标系与世界坐标的关系，利用该物体对应的每个特征点在对应的相机的坐标系中的坐标值，生成该物体的目标图像信息。
7.根据权利要求6所述的方法，其特征在于，所述基于拍摄每个特征点的相机的坐标系与世界坐标的关系，利用该物体对应的每个特征点在对应的相机的坐标系中的坐标值，生成该物体的目标图像信息，包括：
基于拍摄每个特征点的相机的坐标系与世界坐标的关系，将该物体对应的每个特征点在对应的相机的坐标系中的坐标值，转换为世界坐标系中的坐标值；
利用该物体对应的每个特征点在世界坐标系中的坐标值，生成该物体的目标图像信息。
8.根据权利要求1所述的方法，其特征在于，所述多张第一图像为目标区域的不同拍摄角度的图像；所述多张第二图像为目标区域的不同拍摄角度的图像。
9.一种图像处理装置，其特征在于，包括：
获取模块，用于获取在第一预定时间段内采集的目标区域的多张第一图像，和在第二预定时间段内采集的目标区域的多张第二图像；所述第一预定时间段与所述第二预定时间段相隔预定时长；
提取模块，用于针对每张第一图像，提取该第一图像与每张第二图像中的相同的图像信息，得到目标图像信息；
生成模块，用于利用得到的目标图像信息，生成所述目标区域的区域图像；
所述提取模块，包括：
配对模块，用于针对每张第一图像，将该第一图像分别与每张第二图像进行配对，得到多个图像组；还用于针对每个图像组，确定该图像组中的第一图像与第二图像相互匹配的特征点对信息；
目标图像信息提取模块，用于基于确定的多个特征点对信息，确定该图像组中第一图像与第二图像中相同的物体的轮廓信息；还用于基于所述第一图像与第二图像中相同物体的轮廓信息，生成该图像组对应的目标图像信息；
其中，所述生成模块，还用于：
基于每两个目标图像信息中的相同的物体对应的特征点之间的相似度，生成所述目标区域的区域图像。
10.根据权利要求9所述的装置，其特征在于，所述配对模块，具体用于：
针对第一图像中的每个特征点，在第二图像中筛选与该特征点相似度最大的特征点，并基于该特征点与第二图像中的筛选得到的特征点的相似度，确定该特征点是否与筛选得到的第二图像中的特征点是否匹配；
在该特征点与筛选得到的第二图像中特征点相互匹配的情况下，将该特征点与筛选得到的第二图像中特征点的信息作为第一图像与第二图像相互匹配的特征点对信息。
11.根据权利要求10所述的装置，其特征在于，所述配对模块，还用于：
判断该特征点与第二图像中的筛选得到的特征点的相似度是否大于预定阈值；
在该特征点与第二图像中的筛选得到的特征点的相似度大于预定阈值的情况下，判定该特征点与筛选得到的第二图像中的特征点匹配。
12.根据权利要求10所述的装置，其特征在于，所述配对模块，还包括：
特征点提取模块，用于针对第一图像或第二图像中的每个像素点，获取与该像素点的距离小于预定距离的像素点，得到该像素点对应的比对像素点；还用于在存在连续N个比对像素点的灰度值与该像素点的灰度值的差值大于预定灰度阈值时，确定该像素点为特征点。
13.根据权利要求9所述的装置，其特征在于，所述生成模块，包括：
目标图像信息生成模块，用于基于每两个目标图像信息中的相同的物体对应的特征点之间的相似度，确定每个物体对应的多个特征点信息；基于每个物体对应的多个特征点信息，生成该物体的目标图像信息；
区域图像生成模块，用于基于每个物体的目标图像信息，生成所述目标区域的区域图像。
14.根据权利要求13所述的装置，其特征在于，所述目标图像信息生成模块，还用于：
针对每个物体，获取拍摄该物体对应的每个特征点的相机的坐标系；
基于拍摄每个特征点的相机的坐标系与世界坐标的关系，利用该物体对应的每个特征点在对应的相机的坐标系中的坐标值，生成该物体的目标图像信息。
15.根据权利要求14所述的装置，其特征在于，所述目标图像信息生成模块，还用于：
基于拍摄每个特征点的相机的坐标系与世界坐标的关系，将该物体对应的每个特征点在对应的相机的坐标系中的坐标值，转换为世界坐标系中的坐标值；
利用该物体对应的每个特征点在世界坐标系中的坐标值，生成该物体的目标图像信息。
16.根据权利要求9所述的装置，其特征在于，所述多张第一图像为目标区域的不同拍摄角度的图像；所述多张第二图像为目标区域的不同拍摄角度的图像。
17.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的图像处理方法的步骤。
18.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任一所述图像处理的方法的步骤。
CN201910016826.XA 2019-01-08 2019-01-08 一种图像处理方法及装置 Active CN110782459B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910016826.XA CN110782459B (zh) 2019-01-08 2019-01-08 一种图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910016826.XA CN110782459B (zh) 2019-01-08 2019-01-08 一种图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN110782459A CN110782459A (zh) 2020-02-11
CN110782459B true CN110782459B (zh) 2021-02-19

Family

ID=69383197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910016826.XA Active CN110782459B (zh) 2019-01-08 2019-01-08 一种图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN110782459B (zh)

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080195316A1 (en) * 2007-02-12 2008-08-14 Honeywell International Inc. System and method for motion estimation using vision sensors
CN101617197B (zh) * 2007-02-16 2011-06-22 三菱电机株式会社 测量装置、测量方法及地物识别装置
EP2680247B1 (en) * 2011-02-21 2018-12-26 Nissan Motor Co., Ltd Periodic stationary object detection device and periodic stationary object detection method
CN102722887A (zh) * 2012-05-23 2012-10-10 北京京北方信息技术有限公司 一种图像配准方法及装置
KR102170689B1 (ko) * 2014-01-14 2020-10-27 한화테크윈 주식회사 영상 정합을 위한 특징점 샘플링 방법
CN103810475B (zh) * 2014-02-19 2017-04-05 百度在线网络技术（北京）有限公司 一种目标物识别方法及装置
KR101635749B1 (ko) * 2014-12-31 2016-07-05 오토아이티(주) 영상 인식 알고리즘을 이용한 지게차량 운행속도 산출방법
CN106157282A (zh) * 2015-03-31 2016-11-23 深圳迈瑞生物医疗电子股份有限公司 图像处理系统及方法
US9591237B2 (en) * 2015-04-10 2017-03-07 Qualcomm Incorporated Automated generation of panning shots
CN106875467B (zh) * 2015-12-11 2020-11-03 中国科学院深圳先进技术研究院 三维城市模型快速更新方法
WO2018023333A1 (en) * 2016-08-01 2018-02-08 SZ DJI Technology Co., Ltd. System and method for obstacle avoidance
CN108229256B (zh) * 2016-12-21 2021-03-02 杭州海康威视数字技术股份有限公司 一种道路施工检测方法及装置
KR20180087994A (ko) * 2017-01-26 2018-08-03 삼성전자주식회사 스테레오 매칭 방법 및 영상 처리 장치
CN107103323B (zh) * 2017-03-09 2020-06-16 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于图像轮廓特征的目标识别方法
CN107705295B (zh) * 2017-09-14 2021-11-30 西安电子科技大学 一种基于稳健主成分分析法的图像差异检测方法
CN107566730B (zh) * 2017-09-27 2019-10-15 维沃移动通信有限公司 一种全景图像拍摄方法及移动终端
CN107885835B (zh) * 2017-11-09 2020-08-28 东软集团股份有限公司 断层扫描图像的相似层图像查找方法和装置
CN107886532A (zh) * 2017-11-20 2018-04-06 北京小米移动软件有限公司 基于增强现实的虚拟物体的放置方法及装置
CN108122280A (zh) * 2017-12-20 2018-06-05 北京搜狐新媒体信息技术有限公司 一种三维点云的重建方法及装置
CN108427935B (zh) * 2018-03-28 2022-02-15 天津市测绘院有限公司 街景比对图像的生成方法和装置
CN108596225A (zh) * 2018-04-12 2018-09-28 广州杰赛科技股份有限公司 目标相似度识别方法、目标的停留时间记录方法及装置
CN109034185A (zh) * 2018-06-08 2018-12-18 汪俊 一种街景图像差异对比方法及装置
CN108845742B (zh) * 2018-06-22 2020-05-05 腾讯科技（深圳）有限公司 一种图像画面的获取方法和装置以及计算机可读存储介质
CN108961183B (zh) * 2018-06-27 2020-10-23 Oppo广东移动通信有限公司 图像处理方法、终端设备及计算机可读存储介质
CN109035306B (zh) * 2018-09-12 2020-12-15 首都师范大学 动目标自动检测方法及装置

Also Published As

Publication number Publication date
CN110782459A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN108681994B (zh) 一种图像处理方法、装置、电子设备及可读存储介质
CN110148196B (zh) 一种图像处理方法、装置以及相关设备
CN111815754B (zh) 一种三维信息确定方法、三维信息确定装置及终端设备
CN110991506B (zh) 一种车辆品牌识别方法、装置、设备及存储介质
CN110287889A (zh) 一种身份识别的方法及装置
CN109116129B (zh) 终端检测方法、检测设备、系统及存储介质
CN111080526A (zh) 航拍图像的农田面积的测算方法、装置、设备及介质
CN109002820A (zh) 一种车牌识别方法、装置及相关设备
CN111144337B (zh) 火灾检测方法、装置及终端设备
CN110598621A (zh) 车辆品牌识别方法、装置、设备及计算机可读存储介质
CN108229232B (zh) 批量扫描二维码的方法和批量扫描二维码的装置
CN108734773A (zh) 一种用于混合图片的三维重建方法及系统
CN111340831A (zh) 点云边缘检测方法和装置
CN114332702A (zh) 目标区域的检测方法和装置、存储介质及电子设备
CN112434566A (zh) 客流统计方法、装置、电子设备及存储介质
CN111091106A (zh) 图像聚类方法及装置、存储介质、电子装置
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN113191189A (zh) 人脸活体检测方法、终端设备及计算机可读存储介质
CN110782459B (zh) 一种图像处理方法及装置
CN114626118A (zh) 建筑物室内模型生成方法及装置
CN115587943B (zh) 点云数据的去噪方法、装置、电子设备及存储介质
CN111104965A (zh) 车辆目标识别的方法及装置
CN114862870A (zh) 散斑图分区方法、装置、设备及介质
CN115457581A (zh) 表格提取方法、装置及计算机设备
CN110751163A (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant