CN111640065A - 基于相机阵列的图像拼接方法、成像装置 - Google Patents

基于相机阵列的图像拼接方法、成像装置 Download PDF

Info

Publication number
CN111640065A
CN111640065A CN202010481977.5A CN202010481977A CN111640065A CN 111640065 A CN111640065 A CN 111640065A CN 202010481977 A CN202010481977 A CN 202010481977A CN 111640065 A CN111640065 A CN 111640065A
Authority
CN
China
Prior art keywords
image
local
camera
group
global reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010481977.5A
Other languages
English (en)
Other versions
CN111640065B (zh
Inventor
温建伟
袁潮
刘烨斌
邵睿智
赵月峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuohe Technology Co ltd
Original Assignee
Beijing Zhuohe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuohe Technology Co Ltd filed Critical Beijing Zhuohe Technology Co Ltd
Priority to CN202010481977.5A priority Critical patent/CN111640065B/zh
Publication of CN111640065A publication Critical patent/CN111640065A/zh
Application granted granted Critical
Publication of CN111640065B publication Critical patent/CN111640065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于相机阵列的图像拼接方法、成像装置，相机阵列包括一组局部相机阵列和一个全局相机，拼接方法应用于计算设备，拼接方法包括：获取全局相机拍摄的全局参考图像和局部相机阵列拍摄的一组局部图像组；根据距离约束条件和相似度算法，确定局部图像组中的每一张局部图像相对全局参考图像的位置；根据全局参考图像，拼接一组局部图像组，形成初级拼接图像；对拼接成初级拼接图像的一组局部图像组中相邻的局部图像进行细节矫正和/或颜色矫正；输出拼接完成的全局拼接图像。本发明通过距离约束条件和相似度算法，能够快速确定每一张局部图像相对全局参考图像的位置，提升了拼接速度的同时，拼接区域鲁棒性更好。

Description

基于相机阵列的图像拼接方法、成像装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于相机阵列的图像拼接方法、成像装置。
背景技术
国际电信联盟(International Telecommunication Union，即ITU)于2012年8月23日发布了超高清电视(UltraHDTV)的国际标准，即ITU-R RecommendationBT.2020，该标准重新定义了电视广播与消费电子领域关于超高清视频显示的各项参数指标，对超高清视频显示的分辨率、色彩空间、帧率、色彩编码等进行了相应的规范。随着人们对图像和视频的清晰度，即图像和视频的分辨率的要求越来越高，越来越多的领域，比如公交管理中心、国防、作战指挥中心、铁路管理中心以及民用领域等，都已大量引入超高清图形、视频展示功能，因此，超高清像素图像拼接技术有着广泛的应用前景。
现有的一种用于超高清视频显示的方法是，使用一个广角镜头和多个长焦镜头组成阵列相机，广角镜头负责拍摄全景画面，多个长焦镜头用于拍摄特定区域的高分辨率细节视频。当需要显示高分辨率全景视频或者包含多个区域的高分辨率局部视频时，需要对多个长焦镜头拍摄的多路高分辨率视频进行拼接输出显示，在显示前需要同时对多路超高清视频进行解码，然后进行拼接。
相关技术显示，由于存在分辨率不足等问题，大城市传统安防系统很难被应用在比如街道、机场、地铁等人流量和车流量都较大的场景中，无法对安防系统拍摄到的图像进行整体性评估和判断。使用超高清视频拼接和显示技术可以将细节清晰显示，一览无遗。但现有的阵列相机的拼接方法存在拼接过程计算慢、拼接鲁棒性差、拼接处颜色矫正困难的问题，无法获得最佳的拼接效果。
发明内容
为了解决上述技术问题，本发明提供了一种基于相机阵列的图像拼接方法、成像装置。
本发明提供了一种基于相机阵列的图像拼接方法，所述相机阵列包括一组局部相机阵列和一个全局相机，所述拼接方法应用于计算设备，所述拼接方法包括：
获取全局相机拍摄的全局参考图像和局部相机阵列拍摄的一组局部图像组；
根据距离约束条件和相似度算法，确定所述局部图像组中的每一张局部图像相对所述全局参考图像的位置；
根据全局参考图像，拼接所述一组局部图像组，形成初级拼接图像；
对拼接成所述初级拼接图像的一组局部图像组中相邻的局部图像进行细节矫正和/或颜色矫正；
输出拼接完成的全局拼接图像。
上述基于相机阵列的图像拼接方法还具有以下特点：所述根据距离约束条件和相似度算法，确定所述局部图像组中的每一张局部图像相对所述全局参考图像的位置，包括：
选取局部相机阵列中预定相机拍摄的预定局部图像，以及与预定相机相邻的多个关联局部相机拍摄的多张关联局部图像；
利用相似度算法，分别确定所述预定局部图像和每一张所述关联局部图像相对所述全局参考图像的相似度值；
根据所述相似度值确定所述预定局部图像和每一张所述关联局部图像相对所述全局参考图像的位置；
确定所述预定局部图像和每一张所述关联局部图像中相似度最高的图像为目标图像，所述目标图像对应的局部相机为目标相机；
预定相机和多个关联局部相机中任意相邻的两个局部相机组成相邻相机对，确定每一个相邻相机对中两个局部相机之间的相机对距离；
根据多个相机对距离的中位数确定距离约束条件，以所述目标图像为中心，查找满足所述距离约束条件的局部相机对应的局部图像，确定该局部图像相对所述全局参考图像的位置；
分别以所述局部图像组中除所述目标图像外的每一张局部图像作为中心，查找满足所述距离约束条件的局部相机对应的局部图像，以确定所述局部图像组中的每一张局部图像相对所述全局参考图像的位置。
上述基于相机阵列的图像拼接方法还具有以下特点：所述根据全局参考图像，拼接所述一组局部图像组，形成初级拼接图像，包括：
随机选取所述全局参考图像和每一张所述局部图像中对应的特征匹配点，组成特征集合；
利用RANSAC方法对所述拼接特征集合进行变换，得到变换特征集合，并剔除所述变换特征集合中错误的特征匹配点，获得拼接特征集合；
利用拼接特征集合，拼接所述一组局部图像组，形成初级拼接图像。
上述基于相机阵列的图像拼接方法还具有以下特点：所述对拼接成所述初级拼接图像的一组局部图像组中相邻的局部图像进行细节矫正包括：
根据所述局部图像组中的每一张局部图像相对所述全局参考图像的位置，确定所述局部图像组中任意相邻的两张局部图像的呈预定形状的两个重叠区域；
获得两个所述重叠区域中的对应位置的图像特征匹配集合；
根据所述图像特征匹配集合，利用有限元技术改变所述图像特征匹配集合中的图像特征所在的网格的形状；
分别获取所述图像特征的特征匹配参数和防止扭曲参数；
根据所述特征匹配参数和所述防止扭曲参数进行形变能量参数最小化计算，以所述形变能量参数最小化状态对应的变形量对所述重叠区域进行细节矫正。
上述基于相机阵列的图像拼接方法还具有以下特点：所述对拼接成所述初级拼接图像的一组局部图像组中相邻的局部图像进行颜色矫正包括：
根据所述局部图像组中的每一张局部图像相对所述全局参考图像的位置，确定所述局部图像组中任意相邻的两张局部图像的呈预定形状的两个重叠区域；
获得两个所述重叠区域中的对应位置的图像特征匹配集合；
根据所述图像特征匹配集合，获得所述重叠区域的颜色变换矩阵；
利用所述颜色变换矩阵，对所述一组局部图像组中的每一张局部图像进行颜色矫正。
本发明还提供了一种拼接图像成像装置，分别与一个全局相机和一组局部相机阵列电性连接，应用于计算设备，所述装置包括：
获取模块，用于获取全局相机拍摄的全局参考图像和局部相机阵列拍摄的一组局部图像组；
处理模块，用于根据距离约束条件和相似度算法，确定所述局部图像组中的每一张局部图像相对所述全局参考图像的位置；
所述处理模块，还用于根据全局参考图像，拼接所述一组局部图像组，形成初级拼接图像；
所述处理模块，还用于对拼接成所述初级拼接图像的一组局部图像组中相邻的局部图像进行细节矫正和/或颜色矫正；
输出模块，用于输出拼接完成的全局拼接图像。
上述拼接图像成像装置还具有以下特点：所述计算模块，具体用于：
选取局部相机阵列中预定相机拍摄的预定局部图像，以及与预定相机相邻的多个关联局部相机拍摄的多张关联局部图像；
利用相似度算法，分别确定所述预定局部图像和每一张所述关联局部图像相对所述全局参考图像的相似度值；
根据所述相似度值确定所述预定局部图像和每一张所述关联局部图像相对所述全局参考图像的位置；
确定所述预定局部图像和每一张所述关联局部图像中相似度最高的图像为目标图像，所述目标图像对应的局部相机为目标相机；
预定相机和多个关联局部相机中任意相邻的两个局部相机组成相邻相机对，确定每一个相邻相机对中两个局部相机之间的相机对距离；
根据多个相机对距离的中位数确定距离约束条件，以所述目标图像为中心，查找满足所述距离约束条件的局部相机对应的局部图像，确定该局部图像相对所述全局参考图像的位置；
分别以所述局部图像组中除所述目标图像外的每一张局部图像作为中心，查找满足所述距离约束条件的局部相机对应的局部图像，以确定所述局部图像组中的每一张局部图像相对所述全局参考图像的位置。
上述拼接图像成像装置还具有以下特点：所述处理模块，具体用于：
随机选取所述全局参考图像和每一张所述局部图像中对应的特征匹配点，组成特征集合；
利用RANSAC方法对所述拼接特征集合进行变换，得到变换特征集合，并剔除所述变换特征集合中错误的特征匹配点，获得拼接特征集合；
利用拼接特征集合，拼接所述一组局部图像组，形成初级拼接图像。
上述拼接图像成像装置还具有以下特点：所述处理模块，具体用于：
根据所述局部图像组中的每一张局部图像相对所述全局参考图像的位置，确定所述局部图像组中任意相邻的两张局部图像的呈预定形状的两个重叠区域；
获得两个所述重叠区域中的对应位置的图像特征匹配集合；
根据所述图像特征匹配集合，利用有限元技术改变所述图像特征匹配集合中的图像特征所在的网格的形状；
分别获取所述图像特征的特征匹配参数和防止扭曲参数；
根据所述特征匹配参数和所述防止扭曲参数进行形变能量参数最小化计算，以所述形变能量参数最小化状态对应的变形量对所述重叠区域进行细节矫正。
上述拼接图像成像装置还具有以下特点：所述处理模块，具体用于：
根据所述局部图像组中的每一张局部图像相对所述全局参考图像的位置，确定所述局部图像组中任意相邻的两张局部图像的呈预定形状的两个重叠区域；
获得两个所述重叠区域中的对应位置的图像特征匹配集合；
根据所述图像特征匹配集合，获得所述重叠区域的颜色变换矩阵；
利用所述颜色变换矩阵，对所述一组局部图像组中的每一张局部图像进行颜色矫正。
本发明通过距离约束条件和相似度算法，能够快速确定每一张局部图像相对全局参考图像的位置，提升了拼接速度的同时，拼接区域鲁棒性更好。
另外，通过对一组局部图像组中相邻的局部图像进行细节矫正、颜色矫正，可以使完成拼接后的全局拼接图像中的各个局部图像的颜色、风格更加一致，优化了全局拼接图像的显示效果。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是实施例中的拼接方法流程图之一；
图2是实施例中的拼接方法流程图之二
图3是实施例中的拼接方法流程图之三；
图4是实施例中的拼接方法流程图之四；
图5是实施例中的拼接方法流程图之五；
图6是局部图像阵列分布示意图；
图7是实施例中的装置的框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
本公开提供了一种基于相机阵列的图像拼接方法，相机阵列包括一组局部相机阵列和一个全局相机，其中，全局相机用于拍摄一定范围内的全局参考图像，全局相机一般使用广角镜头拍摄全局参考图像。局部相机阵列中的每一个局部相机用于拍摄全局参考图像中局部区域的局部图像，局部相机阵列中的每一个局部相机拍摄的局部图像全部拼接在一起后的图像与全局参考图像相同。在对局部图像进行拼接时，利用距离约束条件和相似度算法，能够快速确定多个局部图像之间的相对位置，提升了局部图像间的拼接效率。
下面以一个具体的实施例对本公开中的基于阵列相机的图像拼接方法进行详细说明。本实施例中的相机阵列比如可以按照3行6列排列，也可以按照4行5列排列，可以根据实际情况进行调整，只要能够保证显示要求和显示效果即可。
为了方便进行描述，本实施例以按照4行5列的方式进行排列的共20个局部相机组成相机阵列为例，对本实施例中的图像拼接方法进行描述。如图1所示，本实施例中的基于相机阵列的图像拼接方法包括以下步骤：
S100、获取全局相机拍摄的全局参考图像和局部相机阵列拍摄的一组局部图像组。
在该步骤中，全局相机拍摄一副全局参考图像，在后续拼接步骤中，将以全局参考图像作为参考，对局部相机阵列拍摄的局部图像组进行拼接。
按照4行5列的方式进行排列的共20个局部相机总共拍摄出20张局部图像，形成局部图像组。根据20个局部相机组成的相机阵列的排列方式，将局部相机阵列拍摄出的局部图像组，按照局部相机在局部相机阵列中的位置，对其拍摄出的局部图像进行命名。参照图6所示，20张局部图像分别为A11、A12、A13、A14、A15、A21、A22、A23、A24、A25、A31、A32、A33、A34、A35、A41、A42、A43、A44、A45。
其中，A11、A12、A13、A14、A15这五张图片是位于相机阵列的第一行中的五台局部相机拍摄图的局部图像；A31、A32、A33、A34、A35这五张图像是位于相机阵列的第三行中的五台局部相机拍摄图的局部图像。A11表示该图像是相机阵列中位于第一行一列的局部相机拍摄出来的局部图像；A43表示该图像是相机阵列中位于第四行第三列的局部相机拍摄出来的局部图像。20张局部图像的命名方式的意义如上，其余在上述内容中没有涉及的局部图像的命名含义均可参照上述描述确定，在此，不再赘述。
S200、根据距离约束条件和相似度算法，确定局部图像组中的每一张局部图像相对全局参考图像的位置。
在执行该步骤时，如图2所示，本实施例中的拼接方法具体包括如下步骤：
S210、选取局部相机阵列中预定相机拍摄的预定局部图像，以及与预定相机相邻的多个关联局部相机拍摄的多张关联局部图像。
在该步骤中，预定局部图像可以是步骤S100中的20张局部图像中的任意一张，比如A33或者A22或者A32或者A35等。预定局部图像是根据预定相机确定的，也就是说，需要首先确定预定相机，该预定相机拍摄的局部图像就是预定局部图像。
该预定局部图像(也即预定相机的位置)可以预存在用于实现本实施例中的图像拼接方法的控制装置中；也可以预存在存储器中，当控制装置执行本实施例中的图像拼接方法时，从存储器中读取。
确定了预定相机后，与其相邻的多个关联局部相机拍摄的图像即为多张关联局部图像。由于相机阵列不易展示，为了说明相机阵列中的哪些局部相机是关联局部相机，下面将以关联局部相机拍摄的关联局部图像的位置关系进行说明。参照图6所示，本实施例中定义的与预定局部图像相邻的图像可以是边界与预定局部图像相邻，也可以是顶角与局部图像相邻。则与局部图像A11相邻的局部图像包括A12、A22、A21，总共三个局部图像，这三个局部图像均为A11的关联局部图像。也即，A12、A22、A21这三个局部图像对应的局部相机为与预定相机相邻的三个关联局部相机。
为了提高本实施例中的拼接方法的准确性，在选择预定局部图像时，尽可能选择其周围具有更多相邻局部图像的某一个图像作为预定局部图像。比如，参照图6所示，本实施例中定义的与预定局部图像相邻的图像可以是边界与预定局部图像相邻，也可以是顶角与局部图像相邻。则与局部图像A33相邻的局部图像包括A22、A23、A24、A32、A34、A42、A43、A44，总共8个局部图像。与局部图像A45相邻的局部图像包括A34、A35和A44。由于与局部图像A45相邻的局部图像仅有3个，而与局部图像A33相邻的局部图像有8个，也即，与局部图像A33相邻的局部图像的数量更多，因此，选择局部图像A33作为预定局部图像更好。
S220、利用相似度算法，分别确定预定局部图像和每一张关联局部图像相对全局参考图像的相似度值。
在该步骤中，使用了相似度算法为依据确定目标局部图像相对全局参考图像的相似度值，当预定局部图像为A33时，A22、A23、A24、A32、A34、A42、A43、A44是预定局部图像A33的关联局部图像。因此，需要将A33、A22、A23、A24、A32、A34、A42、A43、A44这九张局部图像作为相似度目标局部图像，确定他们相对全局参考图像的相似度值。
确定上述九个局部图像中任意一个局部图像相对全局参考图像的相似度值，并确定出相似度值最大的局部图像的依据为：
Px *＝argmaxZNCC[I0(Px)，Ix] (1)
其中，Px *为局部图像相对全局参考图像的相似度值最大时，该局部图像相对全局参考图像的位置坐标，即最佳全局坐标；
Ix为从局部图像中选取的用于计算相似度值的局部区域，局部区域相对局部图像的坐标为局部坐标，局部坐标用于表征局部区域在其所在局部图像中的位置；
I0(Px)为从全局参考图像中选取的用于计算相似度值的与局部区域对应的全局区域；
Px为选取的全局区域在全局参考图像中的全局坐标。
公式(1)中涉及到的ZNCC是用于对两个图形进行处理的，因此，使用上述公式进行计算的目的在于，从局部图像上选取局部区域，然后再全局参考图像上选取与局部区域对应的全局区域，利用ZNCC对局部区域的图像和全局区域的图像进行处理，进而确定出相似度值最好的局部区域和全局区域，相似度值最好的局部区域对应的局部图像就是相似度值最佳的局部图像。
在一个示例中，以图6中示出局部图像A11为例，比如选取该局部图像右上角顶点M作为参与相似度值计算的像素点。以局部图像A11的左下角的顶点作为该局部图像的原点，则点M在局部图像A11的局部坐标Ix为(1,1)。当以全局参考图像的左下角的顶点(即局部图像A41的左下角顶点)作为全局坐标原点时，点M在全局参考图像中的全局坐标I0(Px)为(1,4)。
以上述公式为依据，对该步骤中的九张局部图像中每一张局部图像均进行相似度值计算，共获得九个相似度值。
在公式(1)中，涉及到了ZNCC相似度确定过程。在此对ZNCC相似度计算过程进行说明：
Figure BDA0002515033000000101
在公式(2)中，假设具有图像A和图像B，σA是图像A中每一个像素点的像素值分布方差，σB是图像B中每一个像素点的像素值的均值，μA是图像A中的每一个像素点的像素值的平均值，μB是图像B中的每一个像素点的像素值的平均值，n为图像A和图像B中全部像素点的个数。其中，i和j可以理解为该像素点在二维平面上的坐标值。
对于使用上述公式计算出的相似度值，相似度值越大越好。经过上述计算后，共获得九个相似度值，相似度值越大的说明，该局部图像上选取的用于参与相似度值计算的像素点与全局参考图像上对应的点之间的匹配程度越好。
当然，可以理解的是，为了保证整个局部图像相对于全局参考图像的整体相似度，在计算相似度值时，从局部图像中选取多个像素点进行相似度值计算，而后可以对同一个局部图像中的多个像素点的相似度值取平均值进行计算，作为整个局部图像相对于全局参考图像的相似度值。
S230、根据相似度值确定预定局部图像和每一张关联局部图像相对全局参考图像的位置。
经过上述相似度值计算后，可以大致确定出预定局部图像和每一张关联局部图像相对全局参考图像的大致位置，但是由于仅以相似度值作为唯一评判标准确定局部图像相对于全局参考图像的位置，进而进行拼接，容易造成拼接区域显示效果不佳的问题。
因此，本实施例中定义的方法先在该步骤中预先确定预定局部图像和每一张关联局部图像的大致位置，后续再增加比如距离约束条件等标准，在此对各个局部图像之间的相对位置进行校准，进而进行拼接。
S240、确定预定局部图像和每一张关联局部图像中相似度最高的图像为目标图像，目标图像对应的局部相机为目标相机。
在步骤S220中已经分别确定出了预定局部图像和每一张关联局部图像，一共九张局部图像的相似度值。对于相似度值最大的局部图像，该局部图像上的像素点与全局参考图像中的像素点的之间的相似度最好，那么则以该局部图像作为目标图像，拍摄目标图像的局部相机作为目标相机。
该步骤的目的在于重新确定作为核心图像使用的局部图像，进而根据该核心图像重新确定各个局部图像之间的位置关系，以进行拼接。比如，在上述步骤中，以预定局部图像A33作为核心图像使用，其余关联局部图像相对于全局参考图像的位置都是根据预定局部图像A33进行确定的。但是在确定预定局部图像和各个关联局部图像相对于全局参考图像的相似度值之后，发现预定局部图像A33与全局参考图像的相似度值不是最佳的，也就是说，预定局部图像A33上的像素点与全局参考图像上的像素点之间的匹配度更好。
如果依然以该预定局部图像A33作为基准去确定其余关联局部图像相对与全局参考图像的位置，将会导致最终获得的拼接图像不准确、显示效果差的问题。因此，需要重新确定相似度值最佳的局部图像作为目标图像，进而以该目标图像作为基准，确定其余局部图像的位置，以提高拼接准确性和拼接效果。
S250、预定相机和多个关联局部相机中任意相邻的两个局部相机组成相邻相机对，确定每一个相邻相机对中两个局部相机之间的相机对距离。
在该步骤中，假设经过相似度值计算之后，确定了A33、A22、A23、A24、A32、A34、A42、A43、A44这九张局部图像中A23的相似度值最大，因此，以局部图像A23作为目标图像，以拍摄局部图像A23的局部相机作为目标相机，进而确定各个相邻相机对。在该步骤中，总共可以确定8个相邻相机对，为了方便描述，下面以局部图像的标记来表征相机对，8个相邻相机对分别为A22和A23、A23和A24、A23和A33、A23和A32、A23和A34、A23和A42、A23和A43、A23和A44。
再根据确定出的相邻相机对中的两个局部相机之间的距离，确定相机对距离。其中，两个局部相机之间距离由于是预设的，所以可以通过预存的方式存储在存储器中，供执行本实施例中的方法时使用。
S260、根据多个相机对距离的中位数确定距离约束条件，以目标图像为中心，查找满足距离约束条件的局部相机对应的局部图像，确定该局部图像相对全局参考图像的位置。
在步骤S250中确定出了8个相邻相机对中每个相邻相机对中的两个局部相机之间的距离，并对8个距离值按照由小至大的顺序进行排列，取8个距离值的中位数(即排列后五个数中位于中间位置的数)。将该中位数作为距离约束条件，以目标图像为中心，查找满足距离约束条件的相机的位置，也即，查找与拍摄目标图像的目标相机之间的距离小于或等于中位数的2倍的局部相机。并进一步确定通过距离约束条件选择出的局部相机拍摄的局部图像的相似度值，进而根据相似度值确定选择出的局部图像相对全局参考图像的位置，进而进行后续拼接步骤。由于使用中位数确定距离约束条件，并根据距离约束条件确定局部图像，使得拼接过程中的查找半径显著减小，加快了查找速度，提高了拼接效率。
在确定根据距离约束条件选择出的局部图像的相似度值时，可以根据实际情况进行加权计算，比如可以使用高斯函数进行加权计算。在进行加权计算时，可以以相邻相机对中的局部图像对应的局部相机与目标相机之间的距离远近，设定加权参数，可以使局部图像在拼接过程中，在具有重复性纹理，以及特征较少的区域中，具有较高的鲁棒性，进一步提高拼接准确度。
在使用高斯函数对相邻相机对中非目标相机拍摄的局部图像进行加权相似度值计算时，所使用的理论依据如下：
Py *＝argmaxPyZNCC[I0(Py),Iy]G(Py-Pi,j') (3)
||Py *-Pi,j'||≤2dm (4)
Figure BDA0002515033000000131
Figure BDA0002515033000000132
其中，Py *为确定目标图像后，第i行第j列的局部图像相对全局参考图像位置；
Iy为确定目标图像后，从第i行第j列的局部图像中选取的用于计算相似度值的局部区域的图像，局部区域相对局部图像的坐标为局部坐标，局部坐标用于表征局部区域在其所在局部图像中的位置；
I0(Py)为确定目标图像后，从全局参考图像中选取的用于计算相似度值的与局部区域对应的全局区域的图像，局部区域从第i行第j列局部图像中选取，Py为选取的全局区域在全局参考图像中的全局坐标；
G(Py-Pi,j')为将Py-Pi,j'的值作为变量带入到公式(5)中进行高斯计算；
dm表示中位数；
公式(5)中σd是距离参数，根据局部相机阵列中各个局部相机摆放的整齐程度进行调整。
公式(4)用于表示在选择局部图像时的限制条件是小于或等于2倍的中位数；
Psy,sx为目标图像的位置。
S270、分别以局部图像组中除目标图像外的每一张局部图像作为中心，查找满足距离约束条件的局部相机对应的局部图像，以确定局部图像组中的每一张局部图像相对全局参考图像的位置。
在确定了目标图像相对于全局参考图像的位置后，为了更进一步地提高局部图像组中每一张局部图像在拼接过程中的精确度和稳定性，还要对除了目标图像外的每一张局部图像以及与其相邻局部图像重复上述相似度值计算，进而多次确定各个局部图像之间的相对位置，以保证后续拼接过程中的鲁棒性和精确度
S300、根据全局参考图像，拼接一组局部图像组，形成初级拼接图像。
在上述步骤中确定了局部图像组中的各个图像相对于全局参考图像的位置后，对局部图像组中的图像进行拼接，形成初级拼接图像，初级拼接图像的精度不高，后续还会有其他步骤，以进一步提高初级拼接图的拼接精确度和鲁棒性。
在拼接过程中利用了多尺度的变形技术和RANSAC方法，以全局参考图像为基准，完成对局部图像进行拼接的过程。具体的应用过程下文有具体记载。
在步骤S300实施过程中，如图3所示，具体包含以下步骤：
S310、随机选取全局参考图像和每一张局部图像中对应的特征匹配点，组成特征集合。
该步骤在实施过程中，可以首先从局部图像中选取第一特征点，然后再从全局参考图像中确定与选取的特征相对应的第二特征点，第一特征点和第二特征点共同组成特征匹配对。其中，第一特征点和第二特征点相对应可以理解成，比如，全局参考图像中拍摄的是人的脸部整体图像，局部相机拍摄的是人的脸部的各个部分的局部图像，包括左眼图像、右眼图像、鼻子图像、额头图像、下巴图像、嘴巴图像等。当确定左眼图像中眼球作为第一特征点后，从脸部整体图像中找出左眼眼球作为第二特征点，第一特征点和第二特征点共同组成特征匹配对。
当然，可以理解的是，还可以首先从全局参考图像中选取第一特征点，然后再从局部图像中确定与选取的特征相对应的第二特征点，共同组成特征匹配对。
另外，在选择局部图像中的特征点时，可以选取多个特征点，以提高准确性，避免选择单一特征点，而该单一特征点无法使用的情况。相应的，当局部图像中的特征点为多个时，也需要在全局参考图像中确定多个特征点。
同时，由于在拼接过程中，每一张局部图像都需要进行拼接处理，因此，每一张局部图像都要选取多个特征点，以提高拼接准确性，拼接过程中的鲁棒性更加。
全部特征匹配点共同组成特征集合，供后续步骤使用。
S320、利用RANSAC方法对拼接特征集合进行变换，得到变换特征集合，并剔除变换特征集合中错误的特征匹配点，获得拼接特征集合。
在步骤S310中确定出特征集合中，特征集合中包含多组特征匹配点，随机选择特征集合中的若干特征匹配点，确定出候选变换，并利用RANSAC方法对候选变换进行处理，得到变换特征集合并剔除掉变换特征集合中错误的特征匹配点，获得最佳变换T，最佳变换T作为拼接特征集合。在确定最佳变换T过程中，要满足选取的若干特征匹配点使用最佳变换T变换后，全部特征匹配点的能量值最小，参见公式(7)。其中，最佳变换和候选变换均以矩阵形式存在。
Figure BDA0002515033000000151
其中，C为特征集合；
Pm为局部图像中的第一特征点；
Pn为全局参考图像中的与第一特征点对应的第二特征点。
。
对特征集合C中的全部特征匹配点进行筛选，筛选的目的是剔除掉特征集合中，特征匹配点中的两个特征点匹配度差的，保留局部图像中的第一特征点和全局参考图像中与第一特征点对应的第二特征点之间的匹配度好的，以提高拼接过程的稳定性和准确性。
在剔除变换特征集合中错误的特征匹配点，保留匹配度较好的特征匹配点时的依据为：
Figure BDA0002515033000000152
其中，Pn *为依据公式(8)确定出的全局参考图像中与局部图像中选取的第一特征点对应的最佳第二特征点；
T是最佳变换矩阵；
Pm是局部图像中选取的第一特征点；
Pn是变换特征集合中与第一特征点对应的第二特征点。
也就是说，该步骤的目的是对变换特征集合中的局部图像中选取的第一特征点和全局参考图像中与第一特征点对应的第二特征点进行纠偏。由于在第一特征点和第二特征点选取过程中，有可能出现匹配错误的情况，因此，纠偏是必须的。以局部图像特征中选取的第一特征点作为参考，确定出通过上述公式确定出的全局参考图像中真实的与第一特征点对应的最佳第二特征点。并使用最佳第二特征点替换掉之前包含在变换特征集合中的第一特征点，也即纠正之前的错误特征匹配关系，以保证拼接过程中具有较好的鲁棒性。
在经过上述纠偏过程后，可以重新确定出拼接特征集合，拼接特征集合中包含的特征匹配点中的两个特征点之间的匹配度更好，后续拼接过程使用拼接特征集合中的特征匹配点进行拼接。
S330、利用拼接特征集合，拼接一组局部图像组，形成初级拼接图像。
在步骤S320中确定出拼接特征集合后，步骤S330中使用拼接特征集合中的特征匹配点对依据局部图像组进行拼接，形成初级拼接图形。初级拼接图像在拼接处的局部位置的细节和颜色还需要进一步调整，下文有详细介绍。
该步骤中对局部图像进行拼接过程中的具体拼接过程，与现有技术中的拼接过程相同，在此不再赘述。
S400、对拼接成初级拼接图像的一组局部图像组中相邻的局部图像进行细节矫正和/或颜色矫正。
在上述各个步骤中，已经确定出了每一个局部图像相对于全局参考图像的位置，并通过确定出的特征匹配点完成了一组局部图像之间的拼接。但是由于受到局部相机所处环境的影响，有可能造成不同的局部相机拍摄出的局部图像的亮度、色调等不同，进而造成多个局部图像拼接在一起后，出现整体亮度、色调不均匀的情况，影响显示效果。同时，拼接处还有可能会出现细节模糊，不够准确的情况，因此，需要对初级拼接图像中相邻的任意两个局部图像进行细节矫正和/颜色校正，以保证显示效果更加均匀统一。
在实施过程中，如图4所示，在对拼接成的初级拼接图像中的一组局部图像组中相邻的局部图像进行细节矫正，具体包括以下步骤：
S410、根据局部图像组中的每一张局部图像相对全局参考图像的位置，确定局部图像组中任意相邻的两张局部图像的呈预定形状的两个重叠区域。
由于在上述步骤中，已经根据相似度值确定出了局部图像组中每一张局部图像相对全局参考图像的位置，从而能够快速、准确地判断出局部图像组中任意相邻的两张局部图像的重叠区域，以及重叠区域的预定形状，以便对相邻的两个局部图像进行细节矫正。为了保证能够获得完整度高的拼接图像，避免局部相机拍摄的局部图像无法覆盖全部全局参考图像中的全部内容，在布设局部相机时，要保证相邻的局部相机拍摄出的图像之间有一定的重叠区域。由于局部相机是预先布设好的，因此，能够确定出重叠区域的预定形状。
由于局部图像组中的多个局部图像拼接完成后要在显示装置上进行显示，因此，在对相邻的两个局部图像进行拼接时，要充分考虑显示装置的显示范围。其中，显示装置可以是电视墙，电视墙上包含多个以阵列形式排列的多个电视，每个电视上显示一个局部图像。具体的，每个电视的显示范围使用线性规划算法确定：
Maximize s，Subject to
Figure BDA0002515033000000171
Figure BDA0002515033000000172
其中，公式(9)中，Pu1,1是电视墙的第一行第一列的电视显示范围的左上角，通过不断减小s(与显示范围的位置相关的参数)，搜索符合公式(9)中限定条件显示区域。
接着，由Pu1,1可以确定第i行第j列的电视的范围为
Figure BDA0002515033000000173
至
Figure BDA0002515033000000174
其中，dw为所有局部图像的平均宽度，dh是所有局部图像的平均高度。
通过该步骤，可以保证电视墙上的每个电视在显示过程中都显示的是没有残缺的完整图像，并且能够以最大化显示方式显示局部图像。
在确定相邻的两个局部图像，即相邻的局部图像A和局部图像B的重叠区域时，可以通过以下公式所包含的原理进行确定：
Lu＝(max(PAx，PBx)，max(PAy,PBy))T (11)
Ld＝(min(PAx+WA，PBx+WB)，min(PAy+hA,PBy+hB))T (12)
其中，Lu为重叠区域的左上角；
Ld为重叠区域的右下角；
T为转置；
WA和WB为局部图像A和局部图像B的宽度；
hA和hB为局部图像A和局部图像B的高度；
PAx和PBx分别为局部图像A和局部图像B相对于全局参考图像的左上角的位置的横坐标；
PAy和PBy分别为局部图像A和局部图像B相对于全局参考图像的左上角的位置的纵坐标。
当然，可以理解的是，在确定重叠区域时，除了可以使用局部图像A和局部图像B相对于全局参考图像的左上角的位置，还可以使用比如右下角的位置等，只要确定一个基准点即可。
S420、获得两个重叠区域中的对应位置的图像特征匹配集合。
在确定了相邻的两个局部图像A和局部图像B的重叠区域后，为了对重叠区域进行细节矫正，依然需要获得图像特征匹配集合。在确定两个局部图像重叠区域的对应特征点时的具体实现方法，可以与上述步骤中涉及到的用于确定局部图像上的第一特征点与全局参考图像上与第一特征点对应的第二特征点的方法相同，在此，不再赘述。
在此，需要说明的是，由于重叠区域的面积相对较小，为了方便确定两个局部图像上对应的特征点，可以利用有限元技术先对重叠区域进行一次粗糙的网格划分，将其中的一个网格作为一个特征点，方便确定图像特征匹配集合。
S430、根据图像特征匹配集合，利用有限元技术改变图像特征匹配集合中的图像特征所在的网格的形状。
该步骤中，在步骤S420中进行过一次网格划分的基础上，可以依据图像特征匹配集合中的图像特征进行更加细致的网格划分，以实现更细致的变形。其中，图像特征匹配集合中的图像特征比如可以是步骤S420中划分出的一个网格的中心位置的特征点，也可以是该网格的边缘位置的特征点。
S440、分别获取图像特征的特征匹配参数和防止扭曲参数。
S450、根据特征匹配参数和防止扭曲参数进行形变能量参数最小化计算，以形变能量参数最小化状态对应的变形量对重叠区域进行细节矫正。
在步骤S440和S450中，在对网格做更细致的变形时，为了防止图像发生扭曲变形，通过将公式(13)中的形变能量参数最小化计算进行细节矫正：
Ew＝λdEd+λsEs (13)
其中，Ed为矫正过程中特征匹配的能量项；
Es为矫正过程中防止扭曲的能量项；
λd和λs为细节矫正过程中的特征匹配参数和防止扭曲参数，均为矫正常数，两者均与相机的类型和相机拍摄的景物距离有关，两者之和为1。
进一步地，通过以下公式，确定匹配的能量项Ed和防止扭曲的能量项Es：
Figure BDA0002515033000000191
Es＝∑V1,V2,V3||V1-(V2+u(V3-V2)+vR90(V3-V2))|| (15)
其中，
Figure BDA0002515033000000192
C为图像特征匹配集合；
V为更加细致的网格划分的网格的顶点，公式(15)中的V1、V2、V3是指在使用该公式进行计算时，选择了三个任意相邻的网格的顶点；
Figure BDA0002515033000000193
为用两个局部图像上对应的网格的顶点表示Px的系数；
Py两个局部图像上特征相互匹配的第二特征点；
Px两个局部图像上特征相互匹配的第一特征点；
u和v均为计算过程中的参数，可以通过录入方式输入至计算设备中。
通过上述步骤，对拼接成的初级拼接图像中的一组局部图像组中相邻的局部图像进行细节矫正时，在进行更加细致的有限元网格划分时，由于选择了任意相邻的三个网格顶点，使用能量项最小化计算方法，可以使这三个网格顶点构成的三角形在形变前后尽量保持相似，以达到防止图像扭曲的效果。从而保证对相邻的局部图像的重叠部分进行矫正时，可以时两个相连局部图像的接缝处拼接效果更好。
同时，由于相连的局部图像之间的重叠区域实际面积很小，因此，上述细节矫正过程并不会花费过多时间，在保证拼接效率的同时，进一步提高了拼接效果。
在实施过程中，如图5所示，对拼接成初级拼接图像的一组局部图像组中相邻的局部图像进行颜色矫正时，具体包括如下步骤：
S401、根据局部图像组中的每一张局部图像相对全局参考图像的位置，确定局部图像组中任意相邻的两张局部图像的呈预定形状的两个重叠区域。
该步骤与上述步骤S410中的具体实现方式相同，在此，不再赘述。
S402、获得两个重叠区域中的对应位置的图像特征匹配集合。
该步骤与上述步骤S420中的具体实现方式相同，在此，不再赘述。
S403、根据图像特征匹配集合，获得重叠区域的颜色变换矩阵。
在步骤S402中确定了图像特征匹配集合后，为了保证每一个局部图像的色调或明暗程度一致，需要确定颜色变换矩阵。
相邻的两个局部图像A和局部图像B的颜色变换矩阵分别为MA和MB，确定局部图像A和局部图像B的颜色变换矩阵的方法可以采用现有技术中的方法确定，在此，不再赘述。
S404、利用颜色变换矩阵，对一组局部图像组中的每一张局部图像进行颜色矫正。
在步骤S403中确定颜色变换矩阵，依然使用能量项最小化计算方法对局部图像进行颜色矫正。
Figure BDA0002515033000000201
其中，EC是颜色矫正过程的能量项；
PA是局部图像A上的特征点；
PB是局部图像B上的特征点；
MA和MB分别是局部图像A和局部图像B的颜色变换矩阵；
IA(PA)和IB(PB)为局部图像A和局部图像B上对应的特征点的像素值。
使用能量项最小化方法对重叠部分区域进行颜色矫正，进而使每一个局部图像的颜色色调、明暗、以及风格更加统一，显示效果更佳。另外，由于重叠部分的区域的实际面积很小，因此矫正过程可以快速完成。
S500、输出拼接完成的全局拼接图像。
在完成上述步骤后，可以获得拼接鲁棒性好、显示效果好的全局拼接图像，进而显示在电视墙上。
使用本发明中的拼接方法对局部相机拍摄的局部图像进行拼接，不仅拼接速度快，细节处理细腻，能够向电视墙实时输出十亿级像素的图像视频，用户体验更好。
本发明还提供了一种拼接图像成像装置，该装置分别与一个全局相机和一组局部相机阵列电性连接，以采集全局相机拍摄的全局参考图像，以及一组局部相机拍摄的多张局部图像。
本发明中的拼接图像成像装置应用在计算设备上，如图7所示，装置包括获取模块100、处理模块200和输出模块300。其中，该装置在执行上述基于阵列相机的图像拼接方法时，用于实现步骤S100至步骤S500(参照图1)。
具体的，获取模块100用于执行步骤S100、用于获取全局相机拍摄的全局参考图像和局部相机阵列拍摄的一组局部图像组。处理模块200用于执行步骤S200、根据距离约束条件和相似度算法，确定局部图像组中的每一张局部图像相对全局参考图像的位置。处理模块200还用于根据全局参考图像，拼接一组局部图像组，形成初级拼接图像。处理模块200还用于对拼接成初级拼接图像的一组局部图像组中相邻的局部图像进行细节矫正和/或颜色矫正。输出模块300用于输出拼接完成的全局拼接图像。
在此，需要说明的是，在具体实施过程中，处理模块具体用于执行步骤S210至S260(参照图2)，以及步骤S310至S340(参照图3)，以及步骤S410至S450(参照图4)和S401至S404(参照图5)。上述步骤中的具体内容请参照上文，在此，不再赘述。
上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于相机阵列的图像拼接方法，所述相机阵列包括一组局部相机阵列和一个全局相机，所述拼接方法应用于计算设备，其特征在于，所述拼接方法包括：
获取全局相机拍摄的全局参考图像和局部相机阵列拍摄的一组局部图像组；
根据距离约束条件和相似度算法，确定所述局部图像组中的每一张局部图像相对所述全局参考图像的位置；
根据全局参考图像，拼接所述一组局部图像组，形成初级拼接图像；
对拼接成所述初级拼接图像的一组局部图像组中相邻的局部图像进行细节矫正和/或颜色矫正；
输出拼接完成的全局拼接图像。
2.如权利要求1所述的基于相机阵列的图像拼接方法，其特征在于，所述根据距离约束条件和相似度算法，确定所述局部图像组中的每一张局部图像相对所述全局参考图像的位置，包括：
选取局部相机阵列中预定相机拍摄的预定局部图像，以及与预定相机相邻的多个关联局部相机拍摄的多张关联局部图像；
利用相似度算法，分别确定所述预定局部图像和每一张所述关联局部图像相对所述全局参考图像的相似度值；
根据所述相似度值确定所述预定局部图像和每一张所述关联局部图像相对所述全局参考图像的位置；
确定所述预定局部图像和每一张所述关联局部图像中相似度最高的图像为目标图像，所述目标图像对应的局部相机为目标相机；
预定相机和多个关联局部相机中任意相邻的两个局部相机组成相邻相机对，确定每一个相邻相机对中两个局部相机之间的相机对距离；
根据多个相机对距离的中位数确定距离约束条件，以所述目标图像为中心，查找满足所述距离约束条件的局部相机对应的局部图像，确定该局部图像相对所述全局参考图像的位置；
分别以所述局部图像组中除所述目标图像外的每一张局部图像作为中心，查找满足所述距离约束条件的局部相机对应的局部图像，以确定所述局部图像组中的每一张局部图像相对所述全局参考图像的位置。
3.如权利要求1所述的基于相机阵列的图像拼接方法，其特征在于，所述根据全局参考图像，拼接所述一组局部图像组，形成初级拼接图像，包括：
随机选取所述全局参考图像和每一张所述局部图像中对应的特征匹配点，组成特征集合；
利用RANSAC方法对所述拼接特征集合进行变换，得到变换特征集合，并剔除所述变换特征集合中错误的特征匹配点，获得拼接特征集合；
利用拼接特征集合，拼接所述一组局部图像组，形成初级拼接图像。
4.如权利要求1所述的基于相机阵列的图像拼接方法，其特征在于，所述对拼接成所述初级拼接图像的一组局部图像组中相邻的局部图像进行细节矫正包括：
根据所述局部图像组中的每一张局部图像相对所述全局参考图像的位置，确定所述局部图像组中任意相邻的两张局部图像的呈预定形状的两个重叠区域；
获得两个所述重叠区域中的对应位置的图像特征匹配集合；
根据所述图像特征匹配集合，利用有限元技术改变所述图像特征匹配集合中的图像特征所在的网格的形状；
分别获取所述图像特征的特征匹配参数和防止扭曲参数；
根据所述特征匹配参数和所述防止扭曲参数进行形变能量参数最小化计算，以所述形变能量参数最小化状态对应的变形量对所述重叠区域进行细节矫正。
5.如权利要求1所述的基于相机阵列的图像拼接方法，其特征在于，所述对拼接成所述初级拼接图像的一组局部图像组中相邻的局部图像进行颜色矫正包括：
根据所述局部图像组中的每一张局部图像相对所述全局参考图像的位置，确定所述局部图像组中任意相邻的两张局部图像的呈预定形状的两个重叠区域；
获得两个所述重叠区域中的对应位置的图像特征匹配集合；
根据所述图像特征匹配集合，获得所述重叠区域的颜色变换矩阵；
利用所述颜色变换矩阵，对所述一组局部图像组中的每一张局部图像进行颜色矫正。
6.一种拼接图像成像装置，分别与一个全局相机和一组局部相机阵列电性连接，所述成像装置应用于计算设备，其特征在于，所述装置包括：
获取模块，用于获取全局相机拍摄的全局参考图像和局部相机阵列拍摄的一组局部图像组；
处理模块，用于根据距离约束条件和相似度算法，确定所述局部图像组中的每一张局部图像相对所述全局参考图像的位置；
所述处理模块，还用于根据全局参考图像，拼接所述一组局部图像组，形成初级拼接图像；
所述处理模块，还用于对拼接成所述初级拼接图像的一组局部图像组中相邻的局部图像进行细节矫正和/或颜色矫正；
输出模块，用于输出拼接完成的全局拼接图像。
7.如权利要求6所述的拼接图像成像装置，其特征在于，所述计算模块，具体用于：
选取局部相机阵列中预定相机拍摄的预定局部图像，以及与预定相机相邻的多个关联局部相机拍摄的多张关联局部图像；
利用相似度算法，分别确定所述预定局部图像和每一张所述关联局部图像相对所述全局参考图像的相似度值；
根据所述相似度值确定所述预定局部图像和每一张所述关联局部图像相对所述全局参考图像的位置；
确定所述预定局部图像和每一张所述关联局部图像中相似度最高的图像为目标图像，所述目标图像对应的局部相机为目标相机；
预定相机和多个关联局部相机中任意相邻的两个局部相机组成相邻相机对，确定每一个相邻相机对中两个局部相机之间的相机对距离；
根据多个相机对距离的中位数确定距离约束条件，以所述目标图像为中心，查找满足所述距离约束条件的局部相机对应的局部图像，确定该局部图像相对所述全局参考图像的位置；
分别以所述局部图像组中除所述目标图像外的每一张局部图像作为中心，查找满足所述距离约束条件的局部相机对应的局部图像，以确定所述局部图像组中的每一张局部图像相对所述全局参考图像的位置。
8.如权利要求6所述的拼接图像成像装置，其特征在于，其特征在于，所述处理模块，具体用于：
随机选取所述全局参考图像和每一张所述局部图像中对应的特征匹配点，组成特征集合；
利用RANSAC方法对所述拼接特征集合进行变换，得到变换特征集合，并剔除所述变换特征集合中错误的特征匹配点，获得拼接特征集合；
利用拼接特征集合，拼接所述一组局部图像组，形成初级拼接图像。
9.如权利要求6所述的拼接图像成像装置，其特征在于，所述处理模块，具体用于：
根据所述局部图像组中的每一张局部图像相对所述全局参考图像的位置，确定所述局部图像组中任意相邻的两张局部图像的呈预定形状的两个重叠区域；
获得两个所述重叠区域中的对应位置的图像特征匹配集合；
根据所述图像特征匹配集合，利用有限元技术改变所述图像特征匹配集合中的图像特征所在的网格的形状；
分别获取所述图像特征的特征匹配参数和防止扭曲参数；
根据所述特征匹配参数和所述防止扭曲参数进行形变能量参数最小化计算，以所述形变能量参数最小化状态对应的变形量对所述重叠区域进行细节矫正。
10.如权利要求6所述的拼接图像成像装置，其特征在于，所述处理模块，具体用于：
根据所述局部图像组中的每一张局部图像相对所述全局参考图像的位置，确定所述局部图像组中任意相邻的两张局部图像的呈预定形状的两个重叠区域；
获得两个所述重叠区域中的对应位置的图像特征匹配集合；
根据所述图像特征匹配集合，获得所述重叠区域的颜色变换矩阵；
利用所述颜色变换矩阵，对所述一组局部图像组中的每一张局部图像进行颜色矫正。
CN202010481977.5A 2020-05-29 2020-05-29 基于相机阵列的图像拼接方法、成像装置 Active CN111640065B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010481977.5A CN111640065B (zh) 2020-05-29 2020-05-29 基于相机阵列的图像拼接方法、成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010481977.5A CN111640065B (zh) 2020-05-29 2020-05-29 基于相机阵列的图像拼接方法、成像装置

Publications (2)

Publication Number Publication Date
CN111640065A true CN111640065A (zh) 2020-09-08
CN111640065B CN111640065B (zh) 2023-06-23

Family

ID=72331415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010481977.5A Active CN111640065B (zh) 2020-05-29 2020-05-29 基于相机阵列的图像拼接方法、成像装置

Country Status (1)

Country Link
CN (1) CN111640065B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992857A (zh) * 2021-12-06 2022-01-28 北京拙河科技有限公司 基于十亿级像素的图像采集、识别与分类存储方法和装置
CN114373153A (zh) * 2022-01-12 2022-04-19 北京拙河科技有限公司 一种基于多尺度阵列相机的视频成像优化系统与方法
TWI801046B (zh) * 2021-01-05 2023-05-01 大陸商深圳幀觀德芯科技有限公司 成像方法及成像系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205796A (zh) * 2014-06-30 2015-12-30 华为技术有限公司 广域图像获取方法和装置
CN107959805A (zh) * 2017-12-04 2018-04-24 深圳市未来媒体技术研究院 基于混合相机阵列的光场视频成像系统及视频处理方法
US10067513B2 (en) * 2017-01-23 2018-09-04 Hangzhou Zero Zero Technology Co., Ltd Multi-camera system and method of use
CN110211043A (zh) * 2019-05-11 2019-09-06 复旦大学 一种用于全景图像拼接的基于网格优化的配准方法
US20200020075A1 (en) * 2017-08-11 2020-01-16 Samsung Electronics Company, Ltd. Seamless image stitching

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205796A (zh) * 2014-06-30 2015-12-30 华为技术有限公司 广域图像获取方法和装置
US10067513B2 (en) * 2017-01-23 2018-09-04 Hangzhou Zero Zero Technology Co., Ltd Multi-camera system and method of use
US20200020075A1 (en) * 2017-08-11 2020-01-16 Samsung Electronics Company, Ltd. Seamless image stitching
CN107959805A (zh) * 2017-12-04 2018-04-24 深圳市未来媒体技术研究院 基于混合相机阵列的光场视频成像系统及视频处理方法
CN110211043A (zh) * 2019-05-11 2019-09-06 复旦大学 一种用于全景图像拼接的基于网格优化的配准方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI801046B (zh) * 2021-01-05 2023-05-01 大陸商深圳幀觀德芯科技有限公司 成像方法及成像系統
CN113992857A (zh) * 2021-12-06 2022-01-28 北京拙河科技有限公司 基于十亿级像素的图像采集、识别与分类存储方法和装置
CN114373153A (zh) * 2022-01-12 2022-04-19 北京拙河科技有限公司 一种基于多尺度阵列相机的视频成像优化系统与方法
CN114373153B (zh) * 2022-01-12 2022-12-27 北京拙河科技有限公司 一种基于多尺度阵列相机的视频成像优化系统与方法

Also Published As

Publication number Publication date
CN111640065B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
US9811946B1 (en) High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image
US10257501B2 (en) Efficient canvas view generation from intermediate views
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN111640065B (zh) 基于相机阵列的图像拼接方法、成像装置
US7190395B2 (en) Apparatus, method, program and recording medium for image restoration
CN107665483B (zh) 免定标便捷的单目镜头鱼眼图像畸变矫正方法
CN111563552B (zh) 图像融合方法以及相关设备、装置
US8351776B2 (en) Auto-focus technique in an image capture device
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN109598673A (zh) 图像拼接方法、装置、终端及计算机可读存储介质
CN109934772B (zh) 一种图像融合方法、装置及便携式终端
US10489885B2 (en) System and method for stitching images
RU2690757C1 (ru) Система синтеза промежуточных видов светового поля и способ ее функционирования
US20190370949A1 (en) Blending images
CN113160048A (zh) 一种缝合线引导的图像拼接方法
CN111340721A (zh) 一种像素的修正方法、装置、设备及可读存储介质
US9330447B2 (en) Image evaluation device, image selection device, image evaluation method, recording medium, and program
CN115115522A (zh) 一种货架商品图像拼接方法及系统
CN109600667B (zh) 一种基于网格与帧分组的视频重定向的方法
CN114022562A (zh) 一种保持行人完整性的全景视频拼接方法和装置
KR101132976B1 (ko) 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법
EP3229106A1 (en) Efficient determination of optical flow between images
CN115619636A (zh) 图像拼接方法、电子设备以及存储介质
CN109801211B (zh) 一种基于全景相机的目标物消除方法
Zhao et al. Stripe sensitive convolution for omnidirectional image dehazing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211105

Address after: 518000 409, Yuanhua complex building, 51 Liyuan Road, merchants street, Nanshan District, Shenzhen, Guangdong

Applicant after: Shenzhen zhuohe Technology Co.,Ltd.

Address before: 100083 no.2501-1, 25th floor, block D, Tsinghua Tongfang science and technology building, No.1 courtyard, Wangzhuang Road, Haidian District, Beijing

Applicant before: Beijing Zhuohe Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant