CN108805799A - 全景图像合成装置、方法及计算机可读存储介质 - Google Patents

全景图像合成装置、方法及计算机可读存储介质 Download PDF

Info

Publication number
CN108805799A
CN108805799A CN201810360566.3A CN201810360566A CN108805799A CN 108805799 A CN108805799 A CN 108805799A CN 201810360566 A CN201810360566 A CN 201810360566A CN 108805799 A CN108805799 A CN 108805799A
Authority
CN
China
Prior art keywords
characteristic point
matched
images
matching
point pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810360566.3A
Other languages
English (en)
Other versions
CN108805799B (zh
Inventor
王义文
王健宗
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810360566.3A priority Critical patent/CN108805799B/zh
Priority to PCT/CN2018/102402 priority patent/WO2019200807A1/zh
Publication of CN108805799A publication Critical patent/CN108805799A/zh
Application granted granted Critical
Publication of CN108805799B publication Critical patent/CN108805799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种全景图像合成装置，包括存储器和处理器，存储器上存储有可在处理器上运行的全景图像合成程序，该程序被处理器执行时实现如下步骤：接收客户端发送的全景图像合成请求时，获取与请求对应的多张图像；对多张图像进行预处理，并按照预设的特征匹配算法对多张图像进行两两匹配，以确定所述多张图像之间的匹配关系；按照特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对，并按照预设的特征点筛选算法对获取的特征点对进行筛选，根据匹配正确的特征点对，将有匹配关系的图像进行融合为全景图像发送至客户端展示。本发明还提出一种全景图像合成方法以及一种计算机可读存储介质。本发明提高了全景图像拼接效果。

Description

全景图像合成装置、方法及计算机可读存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种全景图像合成装置、方法及计算机可读存储介质。
背景技术
随着数码相机，智能手机等手持设备的兴起，照片的拍摄和分享变得日益便捷，逐渐成为我们生活中一项重要的娱乐活动。由于单个相机的视角有限，因此许多拍照程序都提供一种全景拍摄模式，引导用户拍摄多张照片，然后通过全景拼接技术将采集的多张照片自动合成一幅大视角全景图。
现有的全景图像的拼接技术一般采用特征匹配算法对照片之间的相同特征点进行匹配，进而根据匹配结果对照片进行拼接和融合，但是现有的图像拼接过程中缺乏误配点的消除措施，当匹配结果中存在错误匹配点时，会导致拼接处会有很多瑕疵，例如，在融合边界处存在明显的拼接痕迹、拼接处有错位等，造成整张全景图像的拼接效果差。
发明内容
本发明提供一种全景图像合成装置、方法及计算机可读存储介质，其主要目的在于提高全景图像拼接效果。
为实现上述目的，本发明提供一种全景图像合成装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的全景图像合成程序，所述全景图像合成程序被所述处理器执行时实现如下步骤：
接收客户端发送的全景图像合成请求时，获取与所述请求对应的多张图像；
对所述多张图像进行预处理，并按照预设的特征匹配算法对多张图像进行两两匹配，以确定所述多张图像之间的匹配关系；
按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对，并按照预设的特征点筛选算法对获取的特征点对进行筛选，以删除匹配错误的特征点对，保留匹配正确的特征点对；
根据匹配正确的特征点对，将有匹配关系的图像进行融合处理后，合成为全景图像；
根据所述全景图像合成请求确定全景图像展示方式，按照所述全景图像展示方式将合成的全景图像发送至所述客户端展示。
可选地，所述按照预设的特征匹配算法对多张图像进行两两配准，以确定所述多张图像之间的匹配关系的步骤包括：
按照预设的特征匹配算法对所述多张图像进行两两匹配；
若两张图像之间匹配到的特征点对的数量小于第一预设阈值，则判定该两张图像之间不具有匹配关系；
若两张图像之间匹配到的特征点对的数量大于第一预设阈值，则判定该两张图像之间具有匹配关系。
可选地，所述按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对，并按照预设的特征点筛选算法对获取的特征点对进行筛选，以删除匹配错误的特征点对，保留匹配正确的特征点对的步骤包括：
按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对；
按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对；
计算匹配正确的特征点对的数量，并判断计算得到的数量是否大于第二预设阈值；
若是，则停止筛选；
若否，则继续执行按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对的步骤，直至匹配正确的特征点对的数量大于所述第二预设阈值。
可选地，所述按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对的步骤包括：
将获取的脸部图像分割为K×K个网格区域，统计每个网格区域内的匹配到的特征点在其L×L的邻域内匹配的特征点对的数量；
若统计的数量小于第三预设阈值，则判定该特征点为匹配错误的特征点对，若统计的数量大于或者小于所述第三预设阈值，则判定该特征点为匹配正确的特征点对。
可选地，所述根据匹配正确的特征点对，将有匹配关系的图像进行融合处理后，合成为全景图像的步骤包括：
根据匹配正确的特征点对在图像上的分布确定对应的具有匹配关系的图像之间的配准线和重叠区域；
根据确定的配准线对所述重叠区域进行融合处理，将所述多张图像合成为全景图像。
此外，为实现上述目的，本发明还提供一种全景图像合成方法，该方法包括：
接收客户端发送的全景图像合成请求时，获取与所述请求对应的多张图像；
对所述多张图像进行预处理，并按照预设的特征匹配算法对多张图像进行两两匹配，以确定所述多张图像之间的匹配关系；
按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对，并按照预设的特征点筛选算法对获取的特征点对进行筛选，以删除匹配错误的特征点对，保留匹配正确的特征点对；
根据匹配正确的特征点对，将有匹配关系的图像进行融合处理后，合成为全景图像；
根据所述全景图像合成请求确定全景图像展示方式，按照所述全景图像展示方式将合成的全景图像发送至所述客户端展示。
可选地，所述按照预设的特征匹配算法对多张图像进行两两配准，以确定所述多张图像之间的匹配关系的步骤包括：
按照预设的特征匹配算法对所述多张图像进行两两匹配；
若两张图像之间匹配到的特征点对的数量小于第一预设阈值，则判定该两张图像之间不具有匹配关系；
若两张图像之间匹配到的特征点对的数量大于第一预设阈值，则判定该两张图像之间具有匹配关系。
可选地，所述按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对，并按照预设的特征点筛选算法对获取的特征点对进行筛选，以删除匹配错误的特征点对，保留匹配正确的特征点对的步骤包括：
按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对；
按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对；
计算匹配正确的特征点对的数量，并判断计算得到的数量是否大于第二预设阈值；
若是，则停止筛选；
若否，则继续执行按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对的步骤，直至匹配正确的特征点对的数量大于所述第二预设阈值。
可选地，所述按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对的步骤包括：
将获取的脸部图像分割为K×K个网格区域，统计每个网格区域内的匹配到的特征点在其L×L的邻域内匹配的特征点对的数量；
若统计的数量小于第三预设阈值，则判定该特征点为匹配错误的特征点对，若统计的数量大于或者小于所述第三预设阈值，则判定该特征点为匹配正确的特征点对。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有全景图像合成程序，所述全景图像合成程序可被一个或者多个处理器执行，以实现如上所述的全景图像合成方法的步骤。
本发明提出的全景图像合成装置、方法及计算机可读存储介质，接收客户端发送的全景图像合成请求时，获取与请求对应的多张图像，对多张图像进行预处理，并按照预设的特征匹配算法对多张图像进行两两匹配，以确定多张图像之间的匹配关系，按照特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对，按照预设的特征点筛选算法对获取的特征点对进行筛选，以删除匹配错误的特征点对，保留匹配正确的特征点对，根据匹配正确的特征点对，将有匹配关系的图像进行融合后处理，合成为全景图像，根据全景图像合成请求确定全景图像展示方式将全景图像发送到客户端展示，本发明通过对匹配的特征点对进行筛选，取出匹配错误的特征点对，提高特征点匹配的准确度，减少拼接处的瑕疵，使得合成的全景图像有较好的拼接效果。
附图说明
图1为本发明全景图像合成装置较佳实施例的示意图；
图2为本发明全景图像合成装置一实施例中全景图像合成程序的程序模块示意图；
图3为本发明全景图像合成方法第一实施例的流程图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种全景图像合成装置。参照图1所示，为本发明全景图像合成装置较佳实施例的示意图。
在本实施例中，全景图像合成装置可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、便携计算机等终端设备。
该全景图像合成装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。
其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是全景图像合成装置1的内部存储单元，例如该全景图像合成装置1的硬盘。存储器11在另一些实施例中也可以是全景图像合成装置1的外部存储设备，例如全景图像合成装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括全景图像合成装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于全景图像合成装置1的应用软件及各类数据，例如全景图像合成程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行全景图像合成程序01等。
通信总线13用于实现这些组件之间的连接通信。
网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。
图1仅示出了具有组件11-14以及全景图像合成程序01的全景图像合成装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在全景图像合成装置1中处理的信息以及用于显示可视化的用户界面。
在图1所示的装置1实施例中，存储器11中存储有全景图像合成程序01；处理器12执行存储器11中存储的全景图像合成程序01时实现如下步骤：
接收客户端发送的全景图像合成请求时，获取与所述请求对应的多张图像；
对所述多张图像进行预处理，并按照预设的特征匹配算法对多张图像进行两两匹配，以确定所述多张图像之间的匹配关系。
以下实施例中的客户端为与全景图像合成装置建立通讯连接的应用软件，该应用软件可以运行在手机、平板电脑等设备上，用户可以通过该客户端进入图像采集模式采集多个视角拍摄的二维图像，将采集的多张图像上传到全景图像合成装置，同时发送全景图像合成请求至全景图像合成装置。
全景图像合成装置对接收到的多张图像进行预处理，主要包括对原始图像进行直方图匹配、平滑滤波、增强变换等数字图像处理的基本操作，提高图像质量，为后续的图像拼接做准备。
按照预设的特征匹配算法对经过预处理的多张图像进行两两匹配，其中，预设的特征匹配算法可以是ORB(Oriented FAST and Rotated BRIEF)算法，ORB算法是一种快速特征点提取和描述的算法，能够对上述两张脸部图像进行特征点的检测和匹配，找出两张图像中匹配的特征点对。或者，在其他的实施例中，也可以采用SIFT(Scale-invariantfeature transform，尺度不变特征变换)算法进行特征对的计算。通过算法匹配到的特征点对的数量判断两张图像之间是否有匹配关系，例如，若两张图像之间匹配到的特征点对的数量小于第一预设阈值，则判定该两张图像之间不具有匹配关系；若两张图像之间匹配到的特征点对的数量大于第一预设阈值，则判定该两张图像之间具有匹配关系。
按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对，并按照预设的特征点筛选算法对获取的特征点对进行筛选，以删除匹配错误的特征点对，保留匹配正确的特征点对。
接下来按照同样的特征匹配算法和预设的特征点筛选算法迭代的对具有匹配关系的图像进行匹配和筛选，先按照特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对；然后，按照预设的特征点筛选算法对获取的特征点对进行筛选，以删除匹配错误的特征点对，保留匹配正确的特征点对。具体地，按照特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对；按照预设的特征点筛选算法判断特征点对是否匹配正确，以筛选出匹配正确的特征点对；计算匹配正确的特征点对的数量，并判断计算得到的数量是否大于第二预设阈值；若是，则停止筛选；若否，则继续执行按照特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对的步骤，直至匹配正确的特征点对的数量大于第二预设阈值。
其中，预设的特征点筛选算法具体如下，将图像分割为K×K个网格区域，其中，K值的大小可以根据采集的脸部图像的像素来确定，例如，照片的尺寸为1600×1600，则K值可以设置为80，则每一个网格区域中有20×20个像素点，其中，一个特征点对应于一个像素点，统计每个网格区域内的匹配到的特征点在其L×L的邻域内匹配的特征点对的数量，优选地，在一实施例中，L＝3，则一网格区域的邻域为其周围相邻的其他8个网格区域。基于运动平滑性原理，匹配的特征点的邻域内必然有较多匹配的特征点，也就是说，如果有一对特征点是匹配的，那么在这个特征点的邻域内，必然存在一定数量的其他相匹配的特征点对，反之，若某一特征点匹配错误，那么在这个特征点的邻域内，匹配到的特征点的数量必然会非常少，甚至不存在其他匹配的特征点对。基于这样的原理，对按照预设的特征匹配算法匹配到的特征点对进行统计，以判断匹配结果是否正确。若在一特征点的邻域内，统计的特征点对的数量小于第三预设阈值，则判定该特征点为匹配错误的特征点对，若在一特征点的邻域内，统计的特征点对的数量大于或者小于第三预设阈值，则判定该特征点为匹配正确的特征点对。其中，第三预设阈值可以根据实际情况设置一个合理的值。
此外，为了得到足够多的正确匹配的特征点对，在每一次匹配和筛选之后，确定筛选后匹配正确的特征点对的数量，并判断是否大于第二预设阈值。若小于第二预设阈值，则再次按照上述预设的特征匹配算法进行特征匹配，并再次对匹配结果进行筛选。按照这个过程不断地迭代计算，直至匹配正确的特征点对的数量大于第二预设阈值。或者，在其他实施例中，可以预先设置迭代计算的次数，在实际计算过程中，对迭代计算的次数进行统计，当迭代的次数达到预设的次数，则停止迭代，完整特征点对的匹配和筛选。
通过上述方案，采用一种新的对特征点匹配的处理方法，根据算法迭代地进行特征点的匹配和筛选，删除每一次匹配的错误的特征点，提高特征点匹配的准确度，并且在特征点处理时，采用网格划分的方式，对所有特征点的邻域内的匹配情况进行统计，根据统计结果判断匹配点是否正确，通过这种方式得到的匹配正确的特征点对的数量比现有算法中更多，使得后续图像拼接时，确定的配准线的准确程度跟高，避免在拼接处出现瑕疵，能够得到良好的拼接效果。
根据匹配正确的特征点对，将有匹配关系的图像进行融合处理后，合成为全景图像。
根据所述全景图像合成请求确定全景图像展示方式，按照所述全景图像展示方式将合成的全景图像发送至所述客户端展示。
按照匹配正确的特征点对，确定相邻两张图像之间的配准线和重叠区域，该配准线和重叠区域能够唯一确定两张图像的位置，按照这样的方式确定多张图像之间的位置关系，对于图像之间的重叠区域采用平滑处理，生成融合后的图像，对融合后的图像，进行消除重影处理，提高图像质量。
此外，客户端在发送全景图像合成请求时，请求中会携带图像展示方式，图像展示方式包括360度全景展示和720度全景展示，对于360度全景展示方式，通过krpano引擎处理拼接后的全景图片，生成用于展示该全景图片的html(Hyper Text Markup Language，超级文本标记语言)页面，当用户在客户端上访问该全景图片时，将该html页面发送至客户端上显示；对于720度全景展示方式，全景图片拼接完成之后，将拼接结果直接发送至客户端，在客户端利用开源的opengl(Open Graphics Library)技术展示拼接结果。
本实施例提出的全景图像合成装置，接收客户端发送的全景图像合成请求时，获取与请求对应的多张图像，对多张图像进行预处理，并按照预设的特征匹配算法对多张图像进行两两匹配，以确定多张图像之间的匹配关系，按照特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对，按照预设的特征点筛选算法对获取的特征点对进行筛选，以删除匹配错误的特征点对，保留匹配正确的特征点对，根据匹配正确的特征点对，将有匹配关系的图像进行融合后处理，合成为全景图像，根据全景图像合成请求确定全景图像展示方式将全景图像发送到客户端展示，本发明通过对匹配的特征点对进行筛选，取出匹配错误的特征点对，提高特征点匹配的准确度，减少拼接处的瑕疵，使得合成的全景图像有较好的拼接效果。
可选地，在其他的实施例中，全景图像合成程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述全景图像合成程序在全景图像合成装置中的执行过程。
例如，参照图2所示，为本发明全景图像合成装置一实施例中的全景图像合成程序的程序模块示意图，该实施例中，全景图像合成程序可以被分割为图像获取模块10、图像匹配模块20、特征点筛选模块30、图像拼接模块40和图像发送模块50，示例性地：
图像获取模块10用于：接收客户端发送的全景图像合成请求时，获取与所述请求对应的多张图像；
图像匹配模块20用于：对所述多张图像进行预处理，并按照预设的特征匹配算法对多张图像进行两两匹配，以确定所述多张图像之间的匹配关系；
特征点筛选模块30用于：按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对，并按照预设的特征点筛选算法对获取的特征点对进行筛选，以删除匹配错误的特征点对，保留匹配正确的特征点对；
图像拼接模块40用于：根据匹配正确的特征点对，将有匹配关系的图像进行融合处理后，合成为全景图像；
图像发送模块50用于：根据所述全景图像合成请求确定全景图像展示方式，按照所述全景图像展示方式将合成的全景图像发送至所述客户端展示。
上述图像获取模块10、图像匹配模块20、特征点筛选模块30、图像拼接模块40和图像发送模块50等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。
此外，本发明还提供一种全景图像合成方法。参照图3所示，为本发明全景图像合成方法第一实施例的流程图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，全景图像合成方法包括：
步骤S10，接收客户端发送的全景图像合成请求时，获取与所述请求对应的多张图像。
步骤S20，对所述多张图像进行预处理，并按照预设的特征匹配算法对多张图像进行两两匹配，以确定所述多张图像之间的匹配关系。
以下实施例中的客户端为与全景图像合成装置建立通讯连接的应用软件，该应用软件可以运行在手机、平板电脑等设备上，用户可以通过该客户端进入图像采集模式采集多个视角拍摄的二维图像，将采集的多张图像上传到全景图像合成装置，同时发送全景图像合成请求至全景图像合成装置。
全景图像合成装置对接收到的多张图像进行预处理，主要包括对原始图像进行直方图匹配、平滑滤波、增强变换等数字图像处理的基本操作，提高图像质量，为后续的图像拼接做准备。
按照预设的特征匹配算法对经过预处理的多张图像进行两两匹配，其中，预设的特征匹配算法可以是ORB(Oriented FAST and Rotated BRIEF)算法，ORB算法是一种快速特征点提取和描述的算法，能够对上述两张脸部图像进行特征点的检测和匹配，找出两张图像中匹配的特征点对。或者，在其他的实施例中，也可以采用SIFT(Scale-invariantfeature transform，尺度不变特征变换)算法进行特征对的计算。通过算法匹配到的特征点对的数量判断两张图像之间是否有匹配关系，例如，若两张图像之间匹配到的特征点对的数量小于第一预设阈值，则判定该两张图像之间不具有匹配关系；若两张图像之间匹配到的特征点对的数量大于第一预设阈值，则判定该两张图像之间具有匹配关系。
步骤S30，按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对，并按照预设的特征点筛选算法对获取的特征点对进行筛选，以删除匹配错误的特征点对，保留匹配正确的特征点对。
接下来按照同样的特征匹配算法和预设的特征点筛选算法迭代的对具有匹配关系的图像进行匹配和筛选，先按照特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对；然后，按照预设的特征点筛选算法对获取的特征点对进行筛选，以删除匹配错误的特征点对，保留匹配正确的特征点对。具体地，按照特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对；按照预设的特征点筛选算法判断特征点对是否匹配正确，以筛选出匹配正确的特征点对；计算匹配正确的特征点对的数量，并判断计算得到的数量是否大于第二预设阈值；若是，则停止筛选；若否，则继续执行按照特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对的步骤，直至匹配正确的特征点对的数量大于第二预设阈值。
其中，预设的特征点筛选算法具体如下，将图像分割为K×K个网格区域，其中，K值的大小可以根据采集的脸部图像的像素来确定，例如，照片的尺寸为1600×1600，则K值可以设置为80，则每一个网格区域中有20×20个像素点，其中，一个特征点对应于一个像素点，统计每个网格区域内的匹配到的特征点在其L×L的邻域内匹配的特征点对的数量，优选地，在一实施例中，L＝3，则一网格区域的邻域为其周围相邻的其他8个网格区域。基于运动平滑性原理，匹配的特征点的邻域内必然有较多匹配的特征点，也就是说，如果有一对特征点是匹配的，那么在这个特征点的邻域内，必然存在一定数量的其他相匹配的特征点对，反之，若某一特征点匹配错误，那么在这个特征点的邻域内，匹配到的特征点的数量必然会非常少，甚至不存在其他匹配的特征点对。基于这样的原理，对按照预设的特征匹配算法匹配到的特征点对进行统计，以判断匹配结果是否正确。若在一特征点的邻域内，统计的特征点对的数量小于第三预设阈值，则判定该特征点为匹配错误的特征点对，若在一特征点的邻域内，统计的特征点对的数量大于或者小于第三预设阈值，则判定该特征点为匹配正确的特征点对。其中，第三预设阈值可以根据实际情况设置一个合理的值。
此外，为了得到足够多的正确匹配的特征点对，在每一次匹配和筛选之后，确定筛选后匹配正确的特征点对的数量，并判断是否大于第二预设阈值。若小于第二预设阈值，则再次按照上述预设的特征匹配算法进行特征匹配，并再次对匹配结果进行筛选。按照这个过程不断地迭代计算，直至匹配正确的特征点对的数量大于第二预设阈值。或者，在其他实施例中，可以预先设置迭代计算的次数，在实际计算过程中，对迭代计算的次数进行统计，当迭代的次数达到预设的次数，则停止迭代，完整特征点对的匹配和筛选。
通过上述方案，采用一种新的对特征点匹配的处理方法，根据算法迭代地进行特征点的匹配和筛选，删除每一次匹配的错误的特征点，提高特征点匹配的准确度，并且在特征点处理时，采用网格划分的方式，对所有特征点的邻域内的匹配情况进行统计，根据统计结果判断匹配点是否正确，通过这种方式得到的匹配正确的特征点对的数量比现有算法中更多，使得后续图像拼接时，确定的配准线的准确程度跟高，避免在拼接处出现瑕疵，能够得到良好的拼接效果。
步骤S40，根据匹配正确的特征点对，将有匹配关系的图像进行融合处理后，合成为全景图像。
步骤S50，根据所述全景图像合成请求确定全景图像展示方式，按照所述全景图像展示方式将合成的全景图像发送至所述客户端展示。
按照匹配正确的特征点对，确定相邻两张图像之间的配准线和重叠区域，该配准线和重叠区域能够唯一确定两张图像的位置，按照这样的方式确定多张图像之间的位置关系，对于图像之间的重叠区域采用平滑处理，生成融合后的图像，对融合后的图像，进行消除重影处理，提高图像质量。
此外，客户端在发送全景图像合成请求时，请求中会携带图像展示方式，图像展示方式包括360度全景展示和720度全景展示，对于360度全景展示方式，通过krpano引擎处理拼接后的全景图片，生成用于展示该全景图片的html(Hyper Text Markup Language，超级文本标记语言)页面，当用户在客户端上访问该全景图片时，将该html页面发送至客户端上显示；对于720度全景展示方式，全景图片拼接完成之后，将拼接结果直接发送至客户端，在客户端利用开源的opengl(Open Graphics Library)技术展示拼接结果。
本实施例提出的全景图像合成方法，接收客户端发送的全景图像合成请求时，获取与请求对应的多张图像，对多张图像进行预处理，并按照预设的特征匹配算法对多张图像进行两两匹配，以确定多张图像之间的匹配关系，按照特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对，按照预设的特征点筛选算法对获取的特征点对进行筛选，以删除匹配错误的特征点对，保留匹配正确的特征点对，根据匹配正确的特征点对，将有匹配关系的图像进行融合后处理，合成为全景图像，根据全景图像合成请求确定全景图像展示方式将全景图像发送到客户端展示，本发明通过对匹配的特征点对进行筛选，取出匹配错误的特征点对，提高特征点匹配的准确度，减少拼接处的瑕疵，使得合成的全景图像有较好的拼接效果。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有全景图像合成程序，所述全景图像合成程序可被一个或多个处理器执行，以实现如下操作：
接收客户端发送的全景图像合成请求时，获取与所述请求对应的多张图像；
对所述多张图像进行预处理，并按照预设的特征匹配算法对多张图像进行两两匹配，以确定所述多张图像之间的匹配关系；
按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对，并按照预设的特征点筛选算法对获取的特征点对进行筛选，以删除匹配错误的特征点对，保留匹配正确的特征点对；
根据匹配正确的特征点对，将有匹配关系的图像进行融合处理后，合成为全景图像；
根据所述全景图像合成请求确定全景图像展示方式，按照所述全景图像展示方式将合成的全景图像发送至所述客户端展示。
本发明计算机可读存储介质具体实施方式与上述全景图像合成装置和方法各实施例基本相同，在此不作累述。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种全景图像合成装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的全景图像合成程序，所述全景图像合成程序被所述处理器执行时实现如下步骤：
接收客户端发送的全景图像合成请求时，获取与所述请求对应的多张图像；
对所述多张图像进行预处理，并按照预设的特征匹配算法对多张图像进行两两匹配，以确定所述多张图像之间的匹配关系；
按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对，并按照预设的特征点筛选算法对获取的特征点对进行筛选，以删除匹配错误的特征点对，保留匹配正确的特征点对；
根据匹配正确的特征点对，将有匹配关系的图像进行融合处理后，合成为全景图像；
根据所述全景图像合成请求确定全景图像展示方式，按照所述全景图像展示方式将合成的全景图像发送至所述客户端展示。
2.如权利要求1所述的全景图像合成装置，其特征在于，所述按照预设的特征匹配算法对多张图像进行两两配准，以确定所述多张图像之间的匹配关系的步骤包括：
按照预设的特征匹配算法对所述多张图像进行两两匹配；
若两张图像之间匹配到的特征点对的数量小于第一预设阈值，则判定该两张图像之间不具有匹配关系；
若两张图像之间匹配到的特征点对的数量大于第一预设阈值，则判定该两张图像之间具有匹配关系。
3.如权利要求1所述的全景图像合成装置，其特征在于，所述按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对，并按照预设的特征点筛选算法对获取的特征点对进行筛选，以删除匹配错误的特征点对，保留匹配正确的特征点对的步骤包括：
按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对；
按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对；
计算匹配正确的特征点对的数量，并判断计算得到的数量是否大于第二预设阈值；
若是，则停止筛选；
若否，则继续执行按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对的步骤，直至匹配正确的特征点对的数量大于所述第二预设阈值。
4.如权利要求3所述的全景图像合成装置，其特征在于，所述按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对的步骤包括：
将获取的脸部图像分割为K×K个网格区域，统计每个网格区域内的匹配到的特征点在其L×L的邻域内匹配的特征点对的数量；
若统计的数量小于第三预设阈值，则判定该特征点为匹配错误的特征点对，若统计的数量大于或者小于所述第三预设阈值，则判定该特征点为匹配正确的特征点对。
5.如权利要求1至4中任一项所述的全景图像合成装置，其特征在于，所述根据匹配正确的特征点对，将有匹配关系的图像进行融合处理后，合成为全景图像的步骤包括：
根据匹配正确的特征点对在图像上的分布确定对应的具有匹配关系的图像之间的配准线和重叠区域；
根据确定的配准线对所述重叠区域进行融合处理，将所述多张图像合成为全景图像。
6.一种全景图像合成方法，其特征在于，所述方法包括：
接收客户端发送的全景图像合成请求时，获取与所述请求对应的多张图像；
对所述多张图像进行预处理，并按照预设的特征匹配算法对多张图像进行两两匹配，以确定所述多张图像之间的匹配关系；
按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对，并按照预设的特征点筛选算法对获取的特征点对进行筛选，以删除匹配错误的特征点对，保留匹配正确的特征点对；
根据匹配正确的特征点对，将有匹配关系的图像进行融合处理后，合成为全景图像；
根据所述全景图像合成请求确定全景图像展示方式，按照所述全景图像展示方式将合成的全景图像发送至所述客户端展示。
7.如权利要求6所述的全景图像合成方法，其特征在于，所述按照预设的特征匹配算法对多张图像进行两两配准，以确定所述多张图像之间的匹配关系的步骤包括：
按照预设的特征匹配算法对所述多张图像进行两两匹配；
若两张图像之间匹配到的特征点对的数量小于第一预设阈值，则判定该两张图像之间不具有匹配关系；
若两张图像之间匹配到的特征点对的数量大于第一预设阈值，则判定该两张图像之间具有匹配关系。
8.如权利要求6所述的全景图像合成方法，其特征在于，所述按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对，并按照预设的特征点筛选算法对获取的特征点对进行筛选，以删除匹配错误的特征点对，保留匹配正确的特征点对的步骤包括：
按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对；
按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对；
计算匹配正确的特征点对的数量，并判断计算得到的数量是否大于第二预设阈值；
若是，则停止筛选；
若否，则继续执行按照所述特征匹配算法对具有匹配关系的两张图像进行匹配，获取匹配的特征点对的步骤，直至匹配正确的特征点对的数量大于所述第二预设阈值。
9.如权利要求8所述的全景图像合成方法，其特征在于，所述按照预设的特征点筛选算法判断所述特征点对是否匹配正确，以筛选出匹配正确的特征点对的步骤包括：
将获取的脸部图像分割为K×K个网格区域，统计每个网格区域内的匹配到的特征点在其L×L的邻域内匹配的特征点对的数量；
若统计的数量小于第三预设阈值，则判定该特征点为匹配错误的特征点对，若统计的数量大于或者小于所述第三预设阈值，则判定该特征点为匹配正确的特征点对。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有全景图像合成程序，所述全景图像合成程序可被一个或者多个处理器执行，以实现如权利要求6至9中任一项所述的全景图像合成方法的步骤。
CN201810360566.3A 2018-04-20 2018-04-20 全景图像合成装置、方法及计算机可读存储介质 Active CN108805799B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810360566.3A CN108805799B (zh) 2018-04-20 2018-04-20 全景图像合成装置、方法及计算机可读存储介质
PCT/CN2018/102402 WO2019200807A1 (zh) 2018-04-20 2018-08-27 图像合成装置、方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810360566.3A CN108805799B (zh) 2018-04-20 2018-04-20 全景图像合成装置、方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108805799A true CN108805799A (zh) 2018-11-13
CN108805799B CN108805799B (zh) 2021-04-23

Family

ID=64093713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810360566.3A Active CN108805799B (zh) 2018-04-20 2018-04-20 全景图像合成装置、方法及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN108805799B (zh)
WO (1) WO2019200807A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291768A (zh) * 2020-02-17 2020-06-16 Oppo广东移动通信有限公司 图像特征匹配方法及装置、设备、存储介质
CN112308782A (zh) * 2020-11-27 2021-02-02 深圳开立生物医疗科技股份有限公司 一种全景图像拼接方法、装置及超声设备和存储介质
CN112991175A (zh) * 2021-03-18 2021-06-18 中国平安人寿保险股份有限公司 一种基于单ptz摄像头的全景图片生成方法及设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991208B (zh) * 2021-03-11 2024-05-07 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读介质和电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750537A (zh) * 2012-05-08 2012-10-24 中国矿业大学 一种高精度图像自动配准方法
CN102819835A (zh) * 2012-07-26 2012-12-12 中国航天科工集团第三研究院第八三五七研究所 一种图像拼接中筛选特征点匹配对的方法
CN103886569A (zh) * 2014-04-03 2014-06-25 北京航空航天大学 连续帧多特征点无人机侦察图像并行与匹配精度约束的拼接方法
CN104036480A (zh) * 2014-06-20 2014-09-10 天津大学 基于surf算法的快速消除误匹配点方法
CN104992408A (zh) * 2015-06-30 2015-10-21 百度在线网络技术（北京）有限公司 用于用户终端的全景图像生成方法和装置
CN105225211A (zh) * 2014-06-19 2016-01-06 中国航天科工集团第三研究院第八三五七研究所 一种基于振动提高视频分辨率的方法
CN105389787A (zh) * 2015-09-30 2016-03-09 华为技术有限公司 一种全景图像拼接方法及装置
CN107330436A (zh) * 2017-06-13 2017-11-07 哈尔滨工程大学 一种基于尺度判据的全景图像sift优化方法
CN107392878A (zh) * 2017-05-30 2017-11-24 深圳晨芯时代科技有限公司 一种全景相机的图像融合方法
CN107578373A (zh) * 2017-05-27 2018-01-12 深圳先进技术研究院 全景图像拼接方法、终端设备及计算机可读存储介质
CN107833179A (zh) * 2017-09-05 2018-03-23 云南电网有限责任公司昆明供电局 一种红外图像的快速拼接方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984463A (zh) * 2010-11-02 2011-03-09 中兴通讯股份有限公司 全景图合成方法及装置
CN102918858B (zh) * 2010-12-24 2014-09-03 富士胶片株式会社 立体全景图像创建设备和方法、立体全景图像再现设备和方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750537A (zh) * 2012-05-08 2012-10-24 中国矿业大学 一种高精度图像自动配准方法
CN102819835A (zh) * 2012-07-26 2012-12-12 中国航天科工集团第三研究院第八三五七研究所 一种图像拼接中筛选特征点匹配对的方法
CN103886569A (zh) * 2014-04-03 2014-06-25 北京航空航天大学 连续帧多特征点无人机侦察图像并行与匹配精度约束的拼接方法
CN105225211A (zh) * 2014-06-19 2016-01-06 中国航天科工集团第三研究院第八三五七研究所 一种基于振动提高视频分辨率的方法
CN104036480A (zh) * 2014-06-20 2014-09-10 天津大学 基于surf算法的快速消除误匹配点方法
CN104992408A (zh) * 2015-06-30 2015-10-21 百度在线网络技术（北京）有限公司 用于用户终端的全景图像生成方法和装置
CN105389787A (zh) * 2015-09-30 2016-03-09 华为技术有限公司 一种全景图像拼接方法及装置
CN107578373A (zh) * 2017-05-27 2018-01-12 深圳先进技术研究院 全景图像拼接方法、终端设备及计算机可读存储介质
CN107392878A (zh) * 2017-05-30 2017-11-24 深圳晨芯时代科技有限公司 一种全景相机的图像融合方法
CN107330436A (zh) * 2017-06-13 2017-11-07 哈尔滨工程大学 一种基于尺度判据的全景图像sift优化方法
CN107833179A (zh) * 2017-09-05 2018-03-23 云南电网有限责任公司昆明供电局 一种红外图像的快速拼接方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAWANG BIAN等: "《GMS: Grid-Based Motion Statistics for Fast, Ultra-Robust Feature Correspondence》", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION(CVPR)》 *
汪亚明等: "《基于运动平滑性的动态图象序列的特征点对应》", 《计算机工程与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291768A (zh) * 2020-02-17 2020-06-16 Oppo广东移动通信有限公司 图像特征匹配方法及装置、设备、存储介质
CN111291768B (zh) * 2020-02-17 2023-05-30 Oppo广东移动通信有限公司 图像特征匹配方法及装置、设备、存储介质
CN112308782A (zh) * 2020-11-27 2021-02-02 深圳开立生物医疗科技股份有限公司 一种全景图像拼接方法、装置及超声设备和存储介质
CN112991175A (zh) * 2021-03-18 2021-06-18 中国平安人寿保险股份有限公司 一种基于单ptz摄像头的全景图片生成方法及设备
CN112991175B (zh) * 2021-03-18 2024-04-02 中国平安人寿保险股份有限公司 一种基于单ptz摄像头的全景图片生成方法及设备

Also Published As

Publication number Publication date
CN108805799B (zh) 2021-04-23
WO2019200807A1 (zh) 2019-10-24

Similar Documents

Publication Publication Date Title
CN108805799A (zh) 全景图像合成装置、方法及计算机可读存储介质
CN109308678B (zh) 利用全景图像进行重定位的方法、装置及设备
CN107909569B (zh) 一种花屏检测方法、花屏检测装置及电子设备
Howse et al. Opencv: computer vision projects with python
CN108711144B (zh) 增强现实方法及装置
CN108961183B (zh) 图像处理方法、终端设备及计算机可读存储介质
US20160196478A1 (en) Image processing method and device
CN111429518B (zh) 一种标注方法、装置、计算设备及存储介质
CN111626163A (zh) 一种人脸活体检测方法、装置及计算机设备
CN113126937A (zh) 一种显示终端调整方法及显示终端
CN110310224A (zh) 光效渲染方法及装置
CN111833234B (zh) 图像显示方法、图像处理装置和计算机可读存储介质
US20150042760A1 (en) Image processing methods and systems in accordance with depth information
US11100617B2 (en) Deep learning method and apparatus for automatic upright rectification of virtual reality content
CN109871205B (zh) 界面代码调整方法、装置、计算机装置及存储介质
US10218911B2 (en) Mobile device, operating method of mobile device, and non-transitory computer readable storage medium
US11216961B2 (en) Aligning digital images by selectively applying pixel-adjusted-gyroscope alignment and feature-based alignment models
CN113794831A (zh) 视频拍摄方法、装置、电子设备及介质
CN112288878A (zh) 增强现实预览方法及预览装置、电子设备及存储介质
CN108776959B (zh) 图像处理方法、装置及终端设备
Baracchi et al. Camera obscura: Exploiting in-camera processing for image counter forensics
CN110705653A (zh) 图像分类方法、图像分类装置及终端设备
CN109242763B (zh) 图片处理方法、图片处理装置、终端设备
CN113391779A (zh) 类纸屏幕的参数调节方法、装置及设备
CN117033239B (zh) 一种控件匹配方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant