CN110288511B - 基于双相机图像的最小化误差拼接方法、装置、电子设备 - Google Patents

基于双相机图像的最小化误差拼接方法、装置、电子设备 Download PDF

Info

Publication number
CN110288511B
CN110288511B CN201910390273.4A CN201910390273A CN110288511B CN 110288511 B CN110288511 B CN 110288511B CN 201910390273 A CN201910390273 A CN 201910390273A CN 110288511 B CN110288511 B CN 110288511B
Authority
CN
China
Prior art keywords
image
images
points
characteristic
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910390273.4A
Other languages
English (en)
Other versions
CN110288511A (zh
Inventor
吕坚华
王昕�
应国德
喻谦
邹晗
蒋佐富
卢东祁
邱慧勇
陈卫中
周戈
应煌浩
张乾
杨茜
王晓飞
鲍杰利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taizhou Hongda Electric Power Construction Co ltd Taizhou Economic Development Zone Transportation And Inspection Branch
Taizhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Taizhou Hongda Electric Power Construction Co ltd Taizhou Economic Development Zone Transportation And Inspection Branch
Taizhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taizhou Hongda Electric Power Construction Co ltd Taizhou Economic Development Zone Transportation And Inspection Branch, Taizhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd filed Critical Taizhou Hongda Electric Power Construction Co ltd Taizhou Economic Development Zone Transportation And Inspection Branch
Priority to CN201910390273.4A priority Critical patent/CN110288511B/zh
Publication of CN110288511A publication Critical patent/CN110288511A/zh
Priority to PCT/CN2020/089627 priority patent/WO2020228680A1/zh
Priority to US17/277,657 priority patent/US20220101542A1/en
Application granted granted Critical
Publication of CN110288511B publication Critical patent/CN110288511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/14—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种基于双相机图像的最小化误差拼接方法，包括如下步骤：采集两幅拍摄内容有重叠的图像；对各图像进行特征点提取与匹配；使用单应性矩阵将图像粗略对齐；使用最小二乘法将图像精确对齐，完成图像之间的拼接；同时公开了方法对应的装置。本发明可以有效地使图像拼接时的空间转换约束最小化，在图像自动拼接之前不需要提供初始化，简化图像拼接的外部操作。

Description

基于双相机图像的最小化误差拼接方法、装置、电子设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于双相机图像的最小化误差拼接方法、装置、电子设备。
背景技术
图像拼接是将两幅或者多幅摄影图像，将重叠视野组合在一起生成一张高分辨率图像过程。
传统拼接方法的图像拼接中，缝合的两个图像之间往往容易出现可见的接缝。接缝形成的原因，可能是两个图像中的照明不完全相同，也可能是相同连续前景的两个图像之间的背景有变化，等等。图像拼接要处理的主要问题是视差、镜头失真、场景运动和曝光差异的存在。
对于全景拼接，理想的图像集将具有合理的重叠量(至少15-30％)以克服镜头失真并具有足够的可检测特征。该组图像将在帧之间具有一致的曝光，以最小化接缝发生的可能性。
一般市场上图像拼接软件使用的自动拼接方法，大多对估计过程需要初始化，其通常由用户输入提供初始化命令以近似地对准图像，或者需要固定的图像排序。初始化，主要表现为相机需要水平或垂直扫描，或方形图像矩阵，或有一个用鼠标粗略定位图像的用户界面。
发明内容
本发明提出一种基于双相机图像的最小化误差拼接方法、装置、电子设备以解决上述技术问题。
为了达到上述目的，本发明所采用的技术方案为：
根据本发明实施例的第一方面，提供了一种基于双相机图像的最小化误差拼接方法，用于双相机拍摄的机房设备图像，包括如下步骤：
S101，采集两幅拍摄内容有重叠的图像；
S102，对各图像进行特征点提取与匹配；
S103，使用单应性矩阵将图像粗略对齐；
S104，使用最小二乘法将图像精确对齐，完成图像之间的拼接。
作为优选，所述图像特征点为sift特征点。
作为进一步的优选，所述对各图像进行特征点提取与匹配，包括：
根据图像多尺度空间和高斯卷积核，找出尺度空间上特征点，并给特征点的方向赋值，利用特征点邻域像素的梯度分布特性来确定梯度及其方向；
使用直方图统计特征点邻域内像素对应的梯度方向和幅值；
对图像特征点进行匹配，构建KD-Tree数据结构存储图像特征点。
作为优选，所述使用单应性矩阵将图像粗略对齐，具体为：
以图像A为基准图，从该图像中随机选择M个特征点ai，在图像B找到与特征点ai一一匹配的M个特征点bi，i为整数且0<i≤M；
通过M个特征点ai和M个特征点bi计算得到单应性矩阵，将图像A中特征点ai以外的特征点按照所得单应性矩阵空间变换投影到图像B中，统计图像A中特征点ai以外的特征点与图像B中特征点bi以外的特征点之间准确配对的数量；
重复上述步骤若干次，得到准确配对数量最多的一个单应性矩阵作为最佳单应性矩阵；
根据上述所得最佳单应性矩阵将图像粗略对齐。
作为进一步优选，所述重复获取单应性矩阵的次数大于等于1000次。
作为优选，所述使用最小二乘法将图像精确对齐是指：
设定图像A的特征点集为P，图像B的特征点集为Q，特征点集P和特征点集Q中有N对相匹配的特征点，pi(xi,yi)、qi(xj,yj)分别为特征点集P、特征点集Q的点且两个特征点相匹配，则pi(xi,yi)与qi(xj,yj)的欧式距离为：
Figure BDA0002056271260000031
其中，i、j为整数且0<i≤N、0<j≤K，K为特征点集Q中的特征点数量；
误差为
Figure BDA0002056271260000032
其中，R为旋转矩阵，T为平移矩阵；
使用最小二乘法对式(11)求最优解，即误差error最小时的旋转矩阵R和平移矩阵T，通过旋转矩阵R和平移矩阵T将图像A映射到图像B中。
根据本发明实施例的第二方面，提供了一种基于双相机图像的最小化误差拼接装置，包括：
采集模块，采集两幅拍摄内容有重叠的图像；
特征提取和匹配模块，用于对各图像进行特征点提取与匹配；
粗对齐模块，用于使用单应性矩阵将图像粗略对齐；
拼接模块，用于使用最小二乘法将图像精确对齐，完成图像之间的拼接。
作为优选，所述图像特征点为sift特征点。
作为进一步的优选，所述特征点提取和匹配模块包括：
特征点提取子模块，用于根据图像多尺度空间和高斯卷积核，找出尺度空间上特征点；
梯度计算子模块，给特征点的方向赋值，利用特征点邻域像素的梯度分布特性来确定梯度及其方向；
直方图统计子模块，使用直方图统计特征点邻域内像素对应的梯度方向和幅值；
特征点匹配子模块，对图像特征点进行匹配，构建KD-Tree数据结构存储图像特征点。
根据本发明实施例的第三方面，提供了一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为利用所述可执行指令执行前述方法的步骤。
与现有技术相比较，本发明可以有效地使图像拼接时的空间转换约束最小化，对采集到的图像直接进行操作，从而在图像自动拼接之前不需要提供初始化，简化图像拼接的外部操作。
附图说明
图1为本发明基于双相机图像的最小化误差拼接方法的一个实施例流程图；
图2为本发明基于双相机图像的最小化误差拼接装置所在设备的一种硬件结构图；
图3为本发明基于双相机图像的最小化误差拼接装置的一个实施例框图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
如图1所示，一种基于双相机图像的最小化误差拼接方法，用于双相机拍摄的机房设备图像，包括如下步骤。
S101，采集两幅拍摄内容有重叠的图像。
双相机拍摄的机房设备图像，可能是针对同一位置不同角度拍摄的图像。这里采集的可以是两幅有30％左右重复的图片。当然，本发明方法可以推广适用于三幅多更多图像。
S102，对各图像进行特征点提取与匹配。
采集的图像特征点可以优选为sift特征点，当然也可以是其他种类的特征点。这里选择Sift特征点，因为Sift特征点不只具有尺度不变性，而且具有旋转不变性，可用来侦测与描述影像中的局部性特征，在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。
尺度不变性即使改变旋转角度，图像亮度或拍摄视角，仍然能够得到好的检测效果。
根据尺度不变性，提出尺度空间，使用多个不同σ高斯卷积核与图像做卷积操作，滤波出多个二维尺度图像，图像尺度参数σ值能表征出提取图像特征的精细程度，σ值越大卷积后提取的图像特征越粗糙，反之越精细。
对特征点(x,y)，高斯卷积核如下：
Figure BDA0002056271260000051
图像多尺度空间定义为：
L(x,y,σ)＝G(x,y,σ)*I(x,y)  (2)
其中I(x,y)为输入图像。
多尺度高斯核与输入图像卷积操作：
D(x,y,σ)＝L(x,y,kσ)-L(x,y,σ)  (3)
根据旋转不变性，找出尺度空间上特征点，给特征点的方向赋值，利用特征点邻域像素的梯度分布特性来确定其方向参数，再利用图像的梯度直方图求取关键点局部结构的稳定方向。计算以特征点为中心、3×1.5σ为半径的区域图像的幅角和幅值，每个特征点L(x,y)的梯度的模m(x,y)以及方向θ(x,y)。
Figure BDA0002056271260000052
Figure BDA0002056271260000053
计算得到梯度方向后，使用直方图统计特征点邻域内像素对应的梯度方向和幅值。梯度方向的范围是0到360度，直方图可以设置为每36度一个柱共10个柱，或者每45度一个柱共8个柱。如此，梯度方向的直方图的横轴是梯度方向的角度，纵轴是梯度方向对应梯度幅值的累加，直方图的峰值就是特征点的主方向。
图像的特征点得到后，对图像特征点进行匹配。为加快匹配速度，构建KD-Tree数据结构存储图像特征点。
为了提高特征点匹配正确率，寻找匹配的特征点遵循以下原则：
Distnearest＝||SP1(x,y)-SP2(x0,y0)||  (6)
DistsubNearest＝||SP1(x,y)-SP2(x1,y1)||  (7)
其中，SP2(x0,y0)表示图像B中特征点(x0,y0)与图像A中特征点(x,y)欧式距离最近的点，Distnearest表示最近点欧式距离；SP2(x1,y1)表示图像B中特征点(x1,y1)与图像A中特征点(x,y)欧式距离次最近点，DistsubNearest表示次最近点欧式距离。
Distnearest/DistsubNearest<Threshold  (8)
其中，Threshold为阈值，可以根据自行设定或根据经验调整设置。最近点欧式距离与次最近点欧式距离比值小于阈值，则表示特征点匹配成功。
S103，使用单应性矩阵将图像粗略对齐。
以图像A为基准图，从该图像中随机选择M个特征点ai，在图像B找到与特征点ai一一匹配的M个特征点bi，其中i为整数且0<i≤M。
通过M个特征点ai和M个特征点bi计算得到单应性矩阵(Homography matrix)，将图像A中特征点ai以外的特征点按照所得单应性矩阵空间变换投影到图像B中，统计图像A中特征点ai以外的特征点与图像B中特征点bi以外的特征点之间准确配对的数量。
单应矩阵则是点和点的映射，使用单应矩阵可以找到特征点在另一幅图像上对应点的确切位置。这里，单应性矩阵通过特征点ai和特征点bi对应计算得到，可以是一个3*3矩阵：
Figure BDA0002056271260000071
则两幅图像映射关系如下：
Figure BDA0002056271260000072
重复上述步骤若干次，得到多个单应性矩阵，选择准确配对数量最多的一个单应性矩阵为最佳单应性矩阵。其中，重复获取单应性矩阵的次数大于等于1000次，比如重复3000次。
根据上述所得最佳单应性矩阵，即可将两幅图像粗略对齐。
S104，使用最小二乘法将图像精确对齐，完成图像之间的拼接。精确对齐，即图像配准误差最小化，使用图像配齐过程中得到的最佳单应性矩阵为初值，使用最近邻迭代思想最小化配齐误差。
设定图像A的特征点集为P，图像B的特征点集为Q，特征点集P和特征点集Q中有N对相匹配的特征点，pi(xi,yi)、qi(xj,yj)分别为特征点集P、特征点集Q的点且两个特征点相匹配，则pi(xi,yi)与qi(xj,yj)的欧式距离为：
Figure BDA0002056271260000073
其中，i、j为整数且0<i≤N、0<j≤K，K为特征点集Q中的特征点数量；
误差为
Figure BDA0002056271260000074
其中，R为旋转矩阵，T为平移矩阵；
使用最小二乘法对式(11)求最优解，即误差error最小时的旋转矩阵R和平移矩阵T，通过旋转矩阵R和平移矩阵T将图像A映射到图像B中。
经过上述对齐操作后，以最佳单应性矩阵为初值，辅以旋转矩阵R和平移矩阵T，即可将两幅图像精准拼接起来，可以有效地使图像拼接时的空间转换约束最小化；对采集到的图像直接进行操作，在图像自动拼接之前不需要提供初始化，简化了图像拼接的外部操作。
与前述图像处理方法的实施例相对应，本申请还提供了电子设备的实施例。
本申请电子设备的实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。
电子设备200，可以包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为利用所述可执行指令执行前述方法的步骤。
从硬件层面而言，如图2所示，除了处理器、内存、网络接口、非易失性存储器、内部总线之外，实施例中的电子设备200通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。
请参考图3，为本申请一示例性实施例提供的一种显示设备的实施例框图，如图3所示，基于双相机图像的最小化误差拼接装置300，包括：
采集模块301，采集两幅拍摄内容有重叠的图像；
特征提取和匹配模块302，用于对各图像进行特征点提取与匹配；
粗对齐模块303，用于使用单应性矩阵将图像粗略对齐；
拼接模块304，用于使用最小二乘法将图像精确对齐，完成图像之间的拼接。
其中，所述图像特征点可以为sift特征点，此时，特征点提取和匹配模块301包括：
特征点提取子模块，用于根据图像多尺度空间和高斯卷积核，找出尺度空间上特征点；
梯度计算子模块，给特征点的方向赋值，利用特征点邻域像素的梯度分布特性来确定梯度及其方向；
直方图统计子模块，使用直方图统计特征点邻域内像素对应的梯度方向和幅值；
特征点匹配子模块，对图像特征点进行匹配，构建KD-Tree数据结构存储图像特征点。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由本申请的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (9)

1.基于双相机图像的最小化误差拼接方法，用于双相机拍摄的机房设备图像，其特征在于，包括如下步骤：
S101，采集两幅拍摄内容有重叠的图像；
S102，对各图像进行特征点提取与匹配；
S103，使用单应性矩阵将图像粗略对齐；
S104，使用最小二乘法将图像精确对齐，完成图像之间的拼接；
所述使用最小二乘法将图像精确对齐是指：
设定图像A的特征点集为P，图像B的特征点集为Q，特征点集P和特征点集Q中有N对相匹配的特征点，pi(xi,yi)、qi(xj,yj)分别为特征点集P、特征点集Q的点且两个特征点相匹配，则pi(xi,yi)与qi(xj,yj)的欧式距离为：
Figure FDA0003940442770000011
其中，i、j为整数且0<i≤N、0<j≤K，K为特征点集Q中的特征点数量；
误差为
Figure FDA0003940442770000012
其中，R为旋转矩阵，T为平移矩阵；
使用最小二乘法对式(11)求最优解，即误差error最小时的旋转矩阵R和平移矩阵T，通过旋转矩阵R和平移矩阵T将图像A映射到图像B中。
2.根据权利要求1所述的基于双相机图像的最小化误差拼接方法，其特征在于，所述图像特征点为sift特征点。
3.根据权利要求2所述的基于双相机图像的最小化误差拼接方法，其特征在于，所述对各图像进行特征点提取与匹配，包括：
根据图像多尺度空间和高斯卷积核，找出尺度空间上特征点；
给特征点的方向赋值，利用特征点邻域像素的梯度分布特性来确定梯度及其方向；
使用直方图统计特征点邻域内像素对应的梯度方向和幅值；
对图像特征点进行匹配，构建KD-Tree数据结构存储图像特征点。
4.根据权利要求1所述的基于双相机图像的最小化误差拼接方法，其特征在于，所述使用单应性矩阵将图像粗略对齐，具体为：
以图像A为基准图，从该图像中随机选择M个特征点ai，在图像B找到与特征点ai一一匹配的M个特征点bi，i为整数且0<i≤M；
通过M个特征点ai和M个特征点bi计算得到单应性矩阵，将图像A中特征点ai以外的特征点按照所得单应性矩阵空间变换投影到图像B中，统计图像A中特征点ai以外的特征点与图像B中特征点bi以外的特征点之间准确配对的数量；
重复上述步骤若干次，得到准确配对数量最多的一个单应性矩阵作为最佳单应性矩阵；
根据上述所得最佳单应性矩阵将图像粗略对齐。
5.根据权利要求4所述的基于双相机图像的最小化误差拼接方法，其特征在于，所述重复获取单应性矩阵的次数大于等于1000次。
6.基于双相机图像的最小化误差拼接装置，其特征在于，包括：采集模块，采集两幅拍摄内容有重叠的图像；
特征提取和匹配模块，用于对各图像进行特征点提取与匹配；
粗对齐模块，用于使用单应性矩阵将图像粗略对齐；
拼接模块，用于使用最小二乘法将图像精确对齐，完成图像之间的拼接；
所述使用最小二乘法将图像精确对齐是指：
设定图像A的特征点集为P，图像B的特征点集为Q，特征点集P和特征点集Q中有N对相匹配的特征点，pi(xi,yi)、qi(xj,yj)分别为特征点集P、特征点集Q的点且两个特征点相匹配，则pi(xi,yi)与qi(xj,yj)的欧式距离为：
Figure FDA0003940442770000021
其中，i、j为整数且0<i≤N、0<j≤K，K为特征点集Q中的特征点数量；
误差为
Figure FDA0003940442770000022
其中，R为旋转矩阵，T为平移矩阵；
使用最小二乘法对式(11)求最优解，即误差error最小时的旋转矩阵R和平移矩阵T，通过旋转矩阵R和平移矩阵T将图像A映射到图像B中。
7.根据权利要求6所述的基于双相机图像的最小化误差拼接装置，其特征在于，所述图像特征点为sift特征点。
8.根据权利要求7所述的基于双相机图像的最小化误差拼接装置，其特征在于，所述特征点提取和匹配模块包括：
特征点提取子模块，用于根据图像多尺度空间和高斯卷积核，找出尺度空间上特征点；
梯度计算子模块，给特征点的方向赋值，利用特征点邻域像素的梯度分布特性来确定梯度及其方向；
直方图统计子模块，使用直方图统计特征点邻域内像素对应的梯度方向和幅值；
特征点匹配子模块，对图像特征点进行匹配，构建KD-Tree数据结构存储图像特征点。
9.电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为利用所述可执行指令执行权利要求1～5的任一项方法的步骤。
CN201910390273.4A 2019-05-10 2019-05-10 基于双相机图像的最小化误差拼接方法、装置、电子设备 Active CN110288511B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910390273.4A CN110288511B (zh) 2019-05-10 2019-05-10 基于双相机图像的最小化误差拼接方法、装置、电子设备
PCT/CN2020/089627 WO2020228680A1 (zh) 2019-05-10 2020-05-11 基于双相机图像的拼接方法、装置、电子设备
US17/277,657 US20220101542A1 (en) 2019-05-10 2020-05-11 Method and apparatus for stitching dual-camera images and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910390273.4A CN110288511B (zh) 2019-05-10 2019-05-10 基于双相机图像的最小化误差拼接方法、装置、电子设备

Publications (2)

Publication Number Publication Date
CN110288511A CN110288511A (zh) 2019-09-27
CN110288511B true CN110288511B (zh) 2023-04-07

Family

ID=68001936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910390273.4A Active CN110288511B (zh) 2019-05-10 2019-05-10 基于双相机图像的最小化误差拼接方法、装置、电子设备

Country Status (3)

Country Link
US (1) US20220101542A1 (zh)
CN (1) CN110288511B (zh)
WO (1) WO2020228680A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110288511B (zh) * 2019-05-10 2023-04-07 台州宏达电力建设有限公司台州经济开发区运检分公司 基于双相机图像的最小化误差拼接方法、装置、电子设备
CN111083438B (zh) * 2019-12-04 2021-05-25 广东康云科技有限公司 基于视频融合的无人巡检方法、系统、装置和存储介质
CN112261387B (zh) * 2020-12-21 2021-03-23 展讯通信（上海）有限公司 用于多摄像头模组的图像融合方法及装置、存储介质、移动终端
CN115063421B (zh) * 2022-08-16 2022-10-28 成都数联云算科技有限公司 极片区域检测方法及系统及装置及介质及缺陷检测方法
CN117011137A (zh) * 2023-06-28 2023-11-07 深圳市碧云祥电子有限公司 基于rgb相似度特征匹配的图像拼接方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105472272A (zh) * 2015-11-25 2016-04-06 浙江工业大学 基于fpga的多路视频拼接方法及装置
CN106127690A (zh) * 2016-07-06 2016-11-16 李长春 一种无人机遥感图像快速拼接方法
CN106709894A (zh) * 2015-08-17 2017-05-24 北京亿羽舜海科技有限公司 一种图像实时拼接方法及系统
CN107220580A (zh) * 2016-03-22 2017-09-29 敦泰电子有限公司 基于投票决策和最小二乘法的图像识别随机取样一致算法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853524A (zh) * 2010-05-13 2010-10-06 北京农业信息技术研究中心 使用图像序列生成玉米果穗全景图的方法
CN104574339A (zh) * 2015-02-09 2015-04-29 上海安威士科技股份有限公司 一种用于视频监控的多尺度柱面投影全景图像生成方法
WO2016165016A1 (en) * 2015-04-14 2016-10-20 Magor Communications Corporation View synthesis-panorama
CN109389555B (zh) * 2018-09-14 2023-03-31 复旦大学 一种全景图像拼接方法及装置
CN110288511B (zh) * 2019-05-10 2023-04-07 台州宏达电力建设有限公司台州经济开发区运检分公司 基于双相机图像的最小化误差拼接方法、装置、电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709894A (zh) * 2015-08-17 2017-05-24 北京亿羽舜海科技有限公司 一种图像实时拼接方法及系统
CN105472272A (zh) * 2015-11-25 2016-04-06 浙江工业大学 基于fpga的多路视频拼接方法及装置
CN107220580A (zh) * 2016-03-22 2017-09-29 敦泰电子有限公司 基于投票决策和最小二乘法的图像识别随机取样一致算法
CN106127690A (zh) * 2016-07-06 2016-11-16 李长春 一种无人机遥感图像快速拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于鲁棒迭代优化的图像拼接算法";杜培明等;《计算机工程与科学》;20140430;第36卷(第4期);论文第1-5节 *
杜培明等."基于鲁棒迭代优化的图像拼接算法".《计算机工程与科学》.2014,第36卷(第4期), *

Also Published As

Publication number Publication date
WO2020228680A1 (zh) 2020-11-19
US20220101542A1 (en) 2022-03-31
CN110288511A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN110288511B (zh) 基于双相机图像的最小化误差拼接方法、装置、电子设备
WO2021115071A1 (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
CN105957007B (zh) 基于特征点平面相似度的图像拼接方法
US9224189B2 (en) Method and apparatus for combining panoramic image
JP5538617B2 (ja) 複数カメラのキャリブレーション用の方法および構成
US8675988B2 (en) Metadata-driven method and apparatus for constraining solution space in image processing techniques
CN101853524A (zh) 使用图像序列生成玉米果穗全景图的方法
US20130124471A1 (en) Metadata-Driven Method and Apparatus for Multi-Image Processing
WO2017076106A1 (zh) 图像的拼接方法和装置
Mistry et al. Image stitching using Harris feature detection
Gallo et al. Locally non-rigid registration for mobile HDR photography
CN109840884B (zh) 一种图像拼接方法、装置及电子设备
CN109118544B (zh) 基于透视变换的合成孔径成像方法
US20200051228A1 (en) Face Deblurring Method and Device
CN103902953B (zh) 一种屏幕检测系统及方法
EP3093822B1 (en) Displaying a target object imaged in a moving picture
CN104883519B (zh) 图像处理装置及图像处理装置的控制方法
WO2014183385A1 (zh) 一种终端及其实现图像处理的方法
JP2015148532A (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
TW201926244A (zh) 即時視訊畫面拼接方法
JP2019004305A (ja) 画像処理装置、画像処理方法、およびプログラム
CN113793266A (zh) 一种多目机器视觉图像拼接方法、系统及存储介质
Pulli et al. Mobile panoramic imaging system
CN113129383A (zh) 手眼标定方法、装置、通信设备及存储介质
Zhang et al. Extended depth-of-field via focus stacking and graph cuts

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant