CN106683045A - 一种基于双目像机的全景图像拼接方法 - Google Patents
一种基于双目像机的全景图像拼接方法 Download PDFInfo
- Publication number
- CN106683045A CN106683045A CN201610856568.2A CN201610856568A CN106683045A CN 106683045 A CN106683045 A CN 106683045A CN 201610856568 A CN201610856568 A CN 201610856568A CN 106683045 A CN106683045 A CN 106683045A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- points
- fish eye
- eye images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000012937 correction Methods 0.000 claims abstract description 73
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 23
- 230000007704 transition Effects 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 5
- 241000251468 Actinopterygii Species 0.000 claims description 60
- 238000013507 mapping Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims 1
- 238000000205 computational method Methods 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 206010021403 Illusion Diseases 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于双目像机的全景图像拼接方法,首先将双目像机置于空间某一视点处,完成一次拍摄同时采集到两张鱼眼图像;其次针对经纬校正法在水平方向上畸变矫正不足的缺点,对传统算法进行了改进,并利用球面正投影的方法将校正后的图像投影到同一坐标系下,实现鱼眼图像快速校正;然后基于SIFT特征点检测法提取两投影图像重叠区域内的特征点,利用K‑D树的搜集策略查找特征点的最邻近欧氏距离进行特征点匹配,并用RANSAC算法对特征点去噪和消除误匹配点,完成图像拼接;最后采用线性融合的方法,对拼接后的图像进行融合,避免图像过渡区域出现颜色和场景变化生硬的现象。
Description
技术领域
本发明属于数字图像处理领域,涉及全景图像拼接方法,特指一种基于双目像机的全景图像拼接方法。
背景技术
随着科技的发展,全景视觉的应用越来越广泛,其中包括气象、医疗、安全监控、检测技术等方面的应用。将多张图像拼接成一张全景图像的过程,不仅操作复杂、效率低下,而且在实际工程应用中的适用性不高。
鱼眼镜头具有比普通摄像头更广阔的视角,为了简化多方位拍摄覆盖全景的摄像头摆放装置模型,双目像机通过在相反方向上同时拍摄获取覆盖全景的两张鱼眼图像,经过一系列图像处理过程,实现全景图像的拼接,这种方法简单、快速、可行性高。
基于鱼眼镜头的全景图像拼接方法主要包括图像采集、鱼眼图像畸变校正、图像特征点提取和匹配、图像融合,最后将拼接好的全景图像输出。其中图像畸变校正的精确度直接影响着特征点能否成功地提取和准确地匹配,从而影响全景图像拼接的效果。
目前鱼眼图像畸变校正的方式主要分为基于投影变换模型的校正方法和基于标定的鱼眼镜头畸变校正方法。其中基于球面透视投影主要是通过拟合多项式以优化目标函数,从而估计校正模型参数,推导出校正后的图像,该方法研究较早,但计算复杂,实时性差。基于标定的校正方法,主要是借助外部设备对鱼眼图像的内外参数进行标定,通过真实坐标与语言成像平面坐标之间坐标转换,实现鱼眼图像畸变校正,该方法校正精度高,对实验设备要求较高。
为了简化传统校正方法复杂度,提高视觉效果,在这两类方法的基础上结合图像的具体应用领域提出了许多校正方法。如刘红军等人(参考文献《鱼眼图像校正软件的关键技术研究》发表在仪表技术与传感器,2011年7期)采用球面透视投影和柱面展开两种算法对鱼眼图像进行校正,廖士中等人(参考文献《一种光学镜头摄像机图像几何畸变的修正方法》发表在中国图像图形学报,2000年5期)则提出利用多项式表示校正前后像素点坐标之间的关系,并通过最小二乘法求得多项式参数,实现鱼眼图像校正,但多项式次数越高,校正效果越好,计算量越大。
经纬度校正算法是二维校正的典型代表,计算量小,校正过程简单,针对传统经纬校正算法以球面上的经度和纬度映射对应平面图像横向和纵向坐标,校正后图像在竖直方向上校正效果较好,但水平方向上的拱形畸变校正失败,而且出现中心校正过度而边缘校正不足的问题,为了解决传统经纬校正法这一缺陷,提出了双经度畸变校正的方法,将传统算法中的经线和纬线看作横向经线和纵向经线对畸变图像进行映射校正,提高了校正精度。本发明所指的传统经纬校正法是由英向华等人在计算机学报发表文献《一种基于球面投影约束的鱼眼镜头校正方法》中提出经纬映射图像校正原理。
特征点的提取和匹配是图像处理中能否成功拼接的另一个重要模块,对同一目标进行拍摄的两幅图像,进行特征点提取之后,得到大量的特征点,这些特征点有些非常相似,但并不能形成一一对应的关系,即存在伪匹配点。同时有部分特征点会出现在一副图像中存在,而相匹配的另一幅图像中却不存在的现象。因此,特征点匹配过程中需要选定合适的搜索策略和相似性度量准则,确保图像特征点匹配的搜索效率和准确性。图像配准完成后,图像重叠部分在强度或颜色上的不连续会造成拼接的图像存在明显的拼接痕迹,因此必须采用适当的方法对配准后的图像进行融合处理,消除两幅图像在拼接过程中所产生的拼接痕迹,使两幅图像的亮度变化均匀,形成一幅分辨率较高的无缝拼接图像。
发明内容
针对现有技术存在的不足,本发明提出一种基于双目像机的全景图像拼接方法。其创新性在于同时快速、稳定地获取两张覆盖全景的鱼眼图像,利用改进的经纬度校正法,提高图像校正精度,并将校正图像投影到同一坐标系,提取重叠区域特征点进行匹配,最后使用线性融合消除重影和变化生硬问题。
为了实现上述技术目的,本发明采用的技术方案是:
一种基于双目像机的全景图像拼接方法,包括以下步骤:
S1、将双目像机置于空间内某一视点处,两镜头视角均为180°~220°的超广角镜头,分别负责空间内全景图像的前后视角拍摄,完成一次拍摄同时获取两张鱼眼图像;
S2、对采集的两幅鱼眼图像进行畸变校正;
S3、将畸变校正后的两幅不同视角的鱼眼图像投影到同一球面坐标系下,采用球面正投影的方法,使鱼眼图像能够覆盖整个视点空间;
S4、基于SIFT特征点检测法提取两投影图像重叠区域内的特征点,利用K-D树的搜集策略查找特征点的最邻近欧氏距离进行特征点匹配,并用RANSAC算法对特征点去噪和消除误匹配点,完成图像拼接。
本发明中,S2的方法是将经纬度校正方法中球面上经纬度看作水平经度和垂直经度,采用逆向映射的方法,由平面二维目标图像出发,反向计算鱼眼图像上对应点,利用等距成像模型和球面投影建立鱼眼图像与校正图像之间的对应关系,然后通过双线性插值算法计算相应像素值,从而实现畸变校正。
本发明的S2对采集的两幅鱼眼图像进行畸变校正,通过以下步骤实现:
S21根据鱼眼镜头球面模型成像几何性质,对真实空间内的直线在鱼眼图像上对应的畸变弧线进行采样,然后根据采样点拟合椭圆方程,并求得拟合椭圆的中心位置(x0,y0)及长轴半径R,从而确定光学中心与球面半径,方法如下:
a.在鱼眼图像中畸变弧线上等间隔采样,然后随机选取10个采样点,并记录采样点对应的行列坐标;
b.采用最小二乘法确定椭圆系数,根据椭圆参数方程得到椭圆中心和长轴半径值;
假设椭圆参数方程为Ax2+2Bxy+Cy2+Dx+Ey+F=0其中A、B、C、D、E、F均为椭圆方程参数,A、C均为正数,且B2<AC,根据采样点的行列坐标代入利用最小二乘法确定椭圆方程参数,再代入下列公式求得椭圆中心和长轴半径:
C.在鱼眼图像中畸变弧线上采用a步骤相同的方法进行两次以上的重复采样,并利用b步骤中的方法获得相应的椭圆中心和长轴半径值;
d.求取多次重复采样后获得的多个椭圆中心和长轴半径值的平均值,将椭圆中心和长轴半径的平均值作为拟合椭圆的中心(x0,y0)和长轴半径R。
S22以2R作为校正后图像的行和列数目,通过逆向映射方法,设校正后图像为目标图像,目标图像中一点Pa的坐标为(i,j),Pb(α,β)为Pa(i,j)在半球面双经度俯视图中对应的逆向映射点,点Pc(x,y,z)为Pb(α,β)在xoy平面的投影点,Pd为目标图像中点Pa在鱼眼图像中对应的点,Pd在鱼眼图像坐标系中所对应的坐标为(u,v),其中点Pb在xoz平面和yoz平面上的投影点分别为p1、p2,op1与x轴正向夹角和op2与y轴正向夹角分别为θ,Pb在球面上的双经度坐标为(α,β),则存在关系式:
联立(3)式和(4)式得到球面三维坐标系下的点与校正后图像坐标系下对应点的转化关系如(5)式所示:
再根据鱼眼镜头的等距投影模型,得到鱼眼图像与球面点之间的映射关系为:
通过式(5)和(6)反向查询,找出校正后图像上各坐标点与鱼眼图像中对应点之间的像素灰度一一对应关系,然后对鱼眼图像上对应点进行双线性插值得到畸变校正图像上相应点的灰度值,最终完成双经度图像畸变校正。
进一步地,本发明还包括S5,采用线性融合的方法,通过对图像重叠区域进行加权处理,将重叠区域中的像素与两幅图像的位置关系作为权重信息,对拼接后的图像进行融合,避免图像过渡区域出现颜色和场景变化生硬的现象,从而达到自然过渡的效果。
如果经S4拼接之后的两图I1和I2之间存在重叠区域,则以重叠区域的中线为准,在重叠区域内任取一点A,若点A处在重叠区域的中线上,则图像I1和I2在点A的像素灰度权重值中取值均为0.5;当A点位于重叠区域最左侧边界线上时,图像I1在A点的权重值取1,图像I2在A点的权重值取0;同理,当A点位于重叠区域最右侧边界线上时,图像I1在A点的权重值取0,图像I2在A点的权重值取1;由此可知,线性融合方法按照线性等分原则对重叠区域求取像素灰度值,即越靠近左边的图像,则左图权重越大,同时右图权重下降,具体表达式如下:
其中x,y表示A点的像素坐标位置,xl为重叠区域的像素坐标起点,xr为重叠区域的像素坐标终点,A(x,y)为A点的灰度像素值,I1(x,y)和I2(x,y)分别为图像I1和I2在点(x,y)位置处的灰度值。
本发明首先将双目像机置于空间某一视点处,完成一次拍摄同时采集到两张鱼眼图像;其次针对经纬校正法在水平方向上畸变矫正不足的缺点,对传统经纬校正法进行了改进,并利用球面正投影的方法将校正后的图像投影到同一坐标系下,实现鱼眼图像快速校正;然后基于SIFT(尺度不变特征转换)特征点检测法提取两投影图像重叠区域内的特征点,利用K-D树(K-DimensionTree)的搜集策略查找特征点的最邻近欧氏距离进行特征点匹配,并用RANSAC算法(随机采样一致性算法)对特征点去噪和消除误匹配点,完成图像拼接;最后采用线性融合的方法,对拼接后的图像进行融合,避免图像过渡区域出现颜色和场景变化生硬的现象。
综上所述,本发明能够实现一次成像,通过对传统经纬度校正法的改进实现准确、快速校正,并利用K-D树的搜集策略查找特征点的最邻近欧氏距离进行特征点匹配,提高了算法的运行效率,采用线性融合方法对图像重叠区域加权处理,达到拼接图像自然过渡的效果。
附图说明
图1全景拼接方法实现框图
图2双目像机采集图像实现拼接示意图
图3畸变矫正方法实现框图
图4校正坐标系和投影模型示意图
图4-a校正后图像坐标图;图4-b半球面水平和垂直经度俯视图;图4-c球面模型侧视图;图4-d鱼眼图像坐标图。
图5图像融合示意图。
图6为传统经纬校正方法中经纬度分割球面的示意图。
图7位本发明改进的双经线分割球面的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明。
参照图1,本发明一种基于双目像机的全景图像拼接方法,包括以下步骤:
(1)首先将双目像机置于空间内某一视点处,分别负责空间内全景图像的前后视角拍摄,如图2所示,图2为双目像机采集图像实现拼接示意图。双目像机完成一次拍摄同时能够获取两张鱼眼图像,双目像机的两镜头视角均为180°~220°的超广角镜头,在本实施例中选用视角为190°的鱼眼镜头。
(2)鱼眼镜头所采集到的图像视场范围大,存在着严重的畸变,需要对两幅鱼眼图像进行校正,针对传统的经纬校正法(参见:杨玲等在文献《应用经纬映射的鱼眼图像校正设计方法》中提出校正方法,2010年,工程图学学报,第6期)按同一比例校正过程中出现中心校正过度而边缘校正不足的问题。
参照图6,传统的经纬校正法是通过经线和纬线对球面进行分割,校正后映射到平面上的图像应该为同一经线上的点具有相同的列坐标,同一纬线上的点具有相同的行坐标。而事实上,鱼眼镜头拍摄时采用等距投影或正交投影所建立的鱼眼图像点与球面坐标点之间的映射关系,导致校正后的图像在经线方向的拱形畸变得到了校正,而纬线方向上的拱形畸变校正失败。为了解决这一问题,本发明利用双经度畸变校正模型,参照图7,本发明采用横向经度线和纵向经度线对球面进行分割,弥补纬线方向上校正不足的缺点。本发明对传统的经纬校正法进行改进,将球面上经纬度看作横向经度和纵向经度,即将原本的经度和纬度用双经度的方法表示,原经度线表示为纵向经度,原纬度线表示为横向经度。采用逆向映射的方法,由平面二维目标图像(即无畸变的平面图像)出发,反向计算鱼眼图像上对应点,利用等距成像模型和球面投影建立鱼眼图像与校正图像之间的对应关系,然后通过双线性插值算法计算相应像素值,从而实现畸变校正。
对采集的两幅鱼眼图像进行畸变校正后需要将校正图投影到球面上。鱼眼图像是以非线性方式存储的,从成像模型可以看出,越靠近球心的数据密度越大,形变越小,离球心越远,失真越严重。透视变换中,垂直于球面赤道的直线仍然保持垂直,因此经纬度校正法具有垂直不变性,但水平方向存在着拱形畸变,针对这一缺陷,对传统的经纬校正法进行改进。
在真实世界三维空间内的直线,经鱼眼镜头成像的几何模型所得到的图像中,原本的直线就成了一条发生畸变的曲线或者弧线。根据鱼眼镜头球面模型成像几何性质,对真实空间内的直线在鱼眼图像上对应的畸变弧线进行采样,然后根据采样点拟合椭圆方程,并求得拟合椭圆的中心位置及长轴半径,从而确定光学中心与球面半径;具体过程为:
a.在鱼眼图像中畸变弧线上等间隔采样,然后随机选取10个采样点,并记录采样点对应的行列坐标;
b.采用最小二乘法确定椭圆系数,根据椭圆参数方程得到椭圆中心和长轴半径值;
C.在鱼眼图像中畸变弧线上采用a步骤相同的方法进行两次以上的重复采样,并利用b步骤中的方法获得相应的椭圆中心和长轴半径值;
d.求取多次重复采样后获得的多个椭圆中心和长轴半径值的平均值,将椭圆中心和长轴半径的平均值作为拟合椭圆的中心(x0,y0)和长轴半径R。
其中步骤b中,计算椭圆中心和长轴半径的方法为:
假设椭圆参数方程为Ax2+2Bxy+Cy2+Dx+Ey+F=0其中A、B、C、D、E、F均为椭圆方程参数,A、C均为正数,且B2<AC,根据采样点的行列坐标代入利用最小二乘法确定椭圆方程参数,再代入下列公式求得椭圆中心和长轴半径。
畸变校正具体过程将采用逆向映射的方法如图3所示,由平面二维目标图像出发,反向计算鱼眼图像上对应点的方法,然后通过双线性插值算法计算相应像素值。当投影模型为半球面时,横向经度与纵向经度取值范围均为0-π,直接映射时校正后图像太小,为保证校正后图像与原畸变图像大小相当,以2R作为校正后图像的行和列数目。如图4所示,通过逆向映射方法,设校正后图像为目标图像,目标图像中一点Pa的坐标为(i,j),Pb(α,β)为Pa(i,j)在半球面双经度俯视图中对应的逆向映射点,点Pc(x,y,z)为Pb(α,β)在xoy平面的投影点,Pd为目标图像中点Pa在鱼眼图像中对应的点,Pd在鱼眼图像坐标系中所对应的坐标为(u,v),其中点Pb在xoz平面和yoz平面上的投影点分别为p1、p2,op1与x轴正向夹角和op2与y轴正向夹角分别为θ,Pb在球面上的双经度坐标为(α,β),则存在关系式:
联立(3)式和(4)式得到球面三维坐标系下的点与校正后图像坐标系下对应点的转化关系如(5)式所示。
再根据鱼眼镜头的等距投影模型,得到鱼眼图像与球面点之间的映射关系为:
通过式子(5)和(6)反向查询,找出校正后图像上各坐标点与鱼眼图像中对应点之间的像素灰度一一对应关系,然后对鱼眼图像上对应点进行双线性插值得到畸变校正图像上相应点的灰度值,最终完成双经度图像畸变校正。
(3)将畸变校正后的两幅不同视角的鱼眼图像投影到同一球面坐标系下,采用球面正投影的方法,使鱼眼图像能够覆盖整个视点空间。其中球面正投影方法可以参照张茂军的《虚拟现实》一书。
(4)基于SIFT特征点检测法提取两投影图像重叠区域内的特征点,利用K-D树的搜集策略查找特征点的最邻近欧氏距离进行特征点匹配,并用RANSAC算法对特征点去噪和消除误匹配点,完成图像拼接。
经过畸变校正之后投影到同一坐标系下的两幅鱼眼图像仍然存在着一定程度的形变,不能简单地通过位移变换实现拼接,因此需要寻找两幅鱼眼图像中同一目标的精确位置来确定两幅鱼眼图像的相对位置关系,即在重叠区域内提取特征点,并对特征点进行搜索和匹配。
目前常用的特征点检测方法有SUSAN算法、SIFT算法、Moravec算法、Harris算法、直方图特征点描述等,基于SIFT特征点检测法具有多尺度空间检测稳定性,特征描述符信息量丰富。由于直接采用SIFT特征点检测法,计算特征描述符之间的欧氏距离维数高,耗时长。K-d树是对数据点在K维空间中划分的一种数据结构,是二叉树在维数上扩展之后的一种搜索方法。特征空间被K-d树的每一层分为两部分,树的节点按每一维进行划分,通过二叉搜索,生成搜索路径,沿路径找最邻近相似点,更新邻近点和查询点的距离,进行回溯搜索,直到全部节点回溯完成。
本发明通过对两幅待拼接的图像重叠区域分别进行K-d数搜索,然后查找每个特征点的最邻近欧氏距离,设若有N个数据节点,则k维的搜索时间复杂度为O(kN1-1/k),比SIFT直接搜索所有特征点n个元素集合的时间复杂度O(n2)低很多,显然,在SIFT特征点检测算法中采用K-d树搜索方式,可以有效地降低算法的时间复杂度。特征点匹配完毕之后利用RANSAC算法对匹配好的特征点进行去噪处理,排除匹配异常点,保证正确匹配点不被去除,增强结果的稳定性。
(5)最后采用线性融合的方法,通过对图像重叠区域进行加权处理,将重叠区域中的像素与两幅图像的位置关系作为权重信息,对拼接后的图像进行融合,避免图像过渡区域出现颜色和场景变化生硬的现象,从而达到自然过渡的效果。
图像融合就是利用重叠区域的数据内容和位置关系,尽可能的降低噪声的影响,提高拼接图像的显示效果。图像融合的常用算法包括线性过渡、最佳缝合线、多通道融合等算法。线性融合通过对图像重叠区域进行加权处理,将重叠区域中的像素与两幅图像的位置关系作为权重信息,从而达到自然过渡的效果,使人眼观察图像时,不会由于剧烈的灰度或者亮度变化而产生不适应,不真实的感觉。
设待拼接的两幅图像I1和I2展开图的一部分如图5所示,两图之间存在着视角为10°左右的重叠区域,以重叠区域的中线为准,在该区域内任取一点A,若该点处在中线上,则图像I1和I2在点A的像素灰度权重值中取值均为0.5;当A点位于重叠区域最左侧边界线上时,图像I1在A点的权重值取1,图像I2在A点的权重值取0;同理,当A点位于重叠区域最右侧边界线上时,图像I1在A点的权重值取0,图像I2在A点的权重值取1。由此可知,线性融合方法按照线性等分原则对重叠区域求取像素灰度值,即越靠近左边的图像,则左图权重越大,同时右图权重下降。具体表达式如下:
其中x,y表示A点的像素坐标位置,xl为重叠区域的像素坐标起点,xr为重叠区域的像素坐标终点,A(x,y)为A点的灰度像素值,I1(x,y)和I2(x,y)分别为图像I1和I2在点(x,y)位置处的灰度值。
Claims (7)
1.一种基于双目像机的全景图像拼接方法,其特征在于,包括以下步骤:
S1、将双目像机置于空间内某一视点处,两镜头视角均为180°~220°的超广角镜头,分别负责空间内全景图像的前后视角拍摄,完成一次拍摄同时获取两张鱼眼图像;
S2、对采集的两幅鱼眼图像进行畸变校正;
S3、将畸变校正后的两幅不同视角的鱼眼图像投影到同一球面坐标系下,采用球面正投影的方法,使鱼眼图像能够覆盖整个视点空间;
S4、基于SIFT特征点检测法提取两投影图像重叠区域内的特征点,利用K-D树的搜集策略查找特征点的最邻近欧氏距离进行特征点匹配,并用RANSAC算法对特征点去噪和消除误匹配点,完成图像拼接。
2.根据权利要求1所述的基于双目像机的全景图像拼接方法,其特征在于,还包括S5,采用线性融合的方法,通过对图像重叠区域进行加权处理,将重叠区域中的像素与两幅图像的位置关系作为权重信息,对拼接后的图像进行融合,避免图像过渡区域出现颜色和场景变化生硬的现象,从而达到自然过渡的效果。
3.根据权利要求1或2所述的基于双目像机的全景图像拼接方法,其特征在于,S2中将经纬度校正方法中球面上经纬度看作水平经度和垂直经度,采用逆向映射的方法,由平面二维目标图像出发,反向计算鱼眼图像上对应点,利用等距成像模型和球面投影建立鱼眼图像与校正图像之间的对应关系,然后通过双线性插值算法计算相应像素值,从而实现畸变校正。
4.根据权利要求1或2所述的基于双目像机的全景图像拼接方法,其特征在于,S2包括以下步骤:
S21根据鱼眼镜头球面模型成像几何性质,对真实空间内的直线在鱼眼图像上对应的畸变弧线进行采样,然后根据采样点拟合椭圆方程,并求得拟合椭圆 的中心位置(x0,y0)及长轴半径R,从而确定光学中心与球面半径;
S22以2R作为校正后图像的行和列数目,通过逆向映射方法,设校正后图像为目标图像,目标图像中一点Pa的坐标为(i,j),Pb(α,β)为Pa(i,j)在半球面双经度俯视图中对应的逆向映射点,点Pc(x,y,z)为Pb(α,β)在xoy平面的投影点,Pd为目标图像中点Pa在鱼眼图像中对应的点,Pd在鱼眼图像坐标系中所对应的坐标为(u,v),其中点Pb在xoz平面和yoz平面上的投影点分别为p1、p2,op1与x轴正向夹角和op2与y轴正向夹角分别为θ,Pb在球面上的双经度坐标为(α,β),则存在关系式:
联立(3)式和(4)式得到球面三维坐标系下的点与校正后图像坐标系下对应点的转化关系如(5)式所示:
再根据鱼眼镜头的等距投影模型,得到鱼眼图像与球面点之间的映射关系为:
通过式(5)和(6)反向查询,找出校正后图像上各坐标点与鱼眼图像中对应点 之间的像素灰度一一对应关系,然后对鱼眼图像上对应点进行双线性插值得到畸变校正图像上相应点的灰度值,最终完成双经度图像畸变校正。
5.根据权利要求4所述的基于双目像机的全景图像拼接方法,其特征在于,S21的方法为:
a.在鱼眼图像中畸变弧线上等间隔采样,然后随机选取10个采样点,并记录采样点对应的行列坐标;
b.采用最小二乘法确定椭圆系数,根据椭圆参数方程得到椭圆中心和长轴半径值;
C.在鱼眼图像中畸变弧线上采用a步骤相同的方法进行两次以上的重复采样,并利用b步骤中的方法获得相应的椭圆中心和长轴半径值;
d.求取多次重复采样后获得的多个椭圆中心和长轴半径值的平均值,将椭圆中心和长轴半径的平均值作为拟合椭圆的中心(x0,y0)和长轴半径R。
6.根据权利要求5所述的基于双目像机的全景图像拼接方法,其特征在于,S21的步骤b中椭圆中心和长轴半径值的计算方法是:
假设椭圆参数方程为Ax2+2Bxy+Cy2+Dx+Ey+F=0其中A、B、C、D、E、F均为椭圆方程参数,A、C均为正数,且B2<AC,根据采样点的行列坐标代入利用最小二乘法确定椭圆方程参数,再代入下列公式求得椭圆中心和长轴半径:
7.根据权利要求2所述的基于双目像机的全景图像拼接方法,其特征在于,S5的方法为:
如果经S4拼接之后的两图I1和I2之间存在重叠区域,则以重叠区域的中线为准,在重叠区域内任取一点A,若点A处在重叠区域的中线上,则图像I1和I2在点A的像素灰度权重值中取值均为0.5;当A点位于重叠区域最左侧边界线上时,图像I1在A点的权重值取1,图像I2在A点的权重值取0;同理,当A点位于重叠区域最右侧边界线上时,图像I1在A点的权重值取0,图像I2在A点的权重值取1;由此可知,线性融合方法按照线性等分原则对重叠区域求取像素灰度值,即越靠近左边的图像,则左图权重越大,同时右图权重下降,具体表达式如下:
其中x,y表示A点的像素坐标位置,xl为重叠区域的像素坐标起点,xr为重叠区域的像素坐标终点,A(x,y)为A点的灰度像素值,I1(x,y)和I2(x,y)分别为图像I1和I2在点(x,y)位置处的灰度值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610856568.2A CN106683045A (zh) | 2016-09-28 | 2016-09-28 | 一种基于双目像机的全景图像拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610856568.2A CN106683045A (zh) | 2016-09-28 | 2016-09-28 | 一种基于双目像机的全景图像拼接方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106683045A true CN106683045A (zh) | 2017-05-17 |
Family
ID=58840117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610856568.2A Pending CN106683045A (zh) | 2016-09-28 | 2016-09-28 | 一种基于双目像机的全景图像拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106683045A (zh) |
Cited By (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106651767A (zh) * | 2016-12-30 | 2017-05-10 | 北京星辰美豆文化传播有限公司 | 一种获取全景图像的方法及装置 |
CN107169924A (zh) * | 2017-06-14 | 2017-09-15 | 歌尔科技有限公司 | 三维全景图像的建立方法和系统 |
CN107316271A (zh) * | 2017-05-30 | 2017-11-03 | 深圳晨芯时代科技有限公司 | 一种全景相机的图像几何校正方法 |
CN107369128A (zh) * | 2017-05-30 | 2017-11-21 | 深圳晨芯时代科技有限公司 | 一种720度全景图像拍摄方法 |
CN107392851A (zh) * | 2017-07-04 | 2017-11-24 | 上海小蚁科技有限公司 | 用于生成全景图像的方法和设备 |
CN107426561A (zh) * | 2017-07-24 | 2017-12-01 | 北京聚力维度科技有限公司 | 一种3d360度的虚拟现实直播方法及装置 |
CN107610139A (zh) * | 2017-08-25 | 2018-01-19 | 信利光电股份有限公司 | 用于消除360度拍摄图像重叠偏差的装置及方法 |
CN107678329A (zh) * | 2017-09-08 | 2018-02-09 | 广州市迪士普智慧科技有限公司 | 一种全景互联控制系统以及控制方法 |
CN107705252A (zh) * | 2017-10-13 | 2018-02-16 | 华东理工大学 | 适用于双目鱼眼图像拼接展开校正的方法及系统 |
CN107767339A (zh) * | 2017-10-12 | 2018-03-06 | 深圳市未来媒体技术研究院 | 一种双目立体图像拼接方法 |
CN107995421A (zh) * | 2017-11-30 | 2018-05-04 | 潍坊歌尔电子有限公司 | 一种全景相机及其图像生成方法、系统、设备、存储介质 |
CN108122200A (zh) * | 2017-12-20 | 2018-06-05 | 宁波视睿迪光电有限公司 | 图像拼接方法以及装置 |
CN108510445A (zh) * | 2018-03-30 | 2018-09-07 | 长沙全度影像科技有限公司 | 一种全景图像拼接方法 |
CN109003250A (zh) * | 2017-12-20 | 2018-12-14 | 罗普特(厦门)科技集团有限公司 | 一种图像与三维模型融合方法 |
CN109035134A (zh) * | 2017-06-08 | 2018-12-18 | 株式会社理光 | 全景图像拼接方法、装置、电子设备及存储介质 |
CN109272445A (zh) * | 2018-10-29 | 2019-01-25 | 中国航空无线电电子研究所 | 基于球面模型的全景视频拼接方法 |
CN109428987A (zh) * | 2017-07-04 | 2019-03-05 | 北京视境技术有限公司 | 一种头戴式全景360度立体摄像装置及摄像处理方法 |
CN109472750A (zh) * | 2018-10-29 | 2019-03-15 | 湖南优象科技有限公司 | 一种基于显著性检测的智能构图方法 |
CN109493281A (zh) * | 2018-11-05 | 2019-03-19 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN109801212A (zh) * | 2018-12-26 | 2019-05-24 | 南京信息职业技术学院 | 一种基于sift特征的鱼眼图像拼接方法 |
CN109889736A (zh) * | 2019-01-10 | 2019-06-14 | 深圳市沃特沃德股份有限公司 | 基于双摄像头、多摄像头的图像获取方法、装置及设备 |
CN109961401A (zh) * | 2017-12-14 | 2019-07-02 | 西安全志科技有限公司 | 一种双目相机的图像校正方法和存储介质 |
CN109993718A (zh) * | 2019-03-05 | 2019-07-09 | 北京当红齐天国际文化发展集团有限公司 | 一种多通道投影图像融合方法及装置 |
CN110020985A (zh) * | 2019-04-12 | 2019-07-16 | 广西师范大学 | 一种双目机器人的视频拼接系统及方法 |
CN110097496A (zh) * | 2019-04-28 | 2019-08-06 | 燕山大学 | 基于局部稳定区域的鱼眼图像匹配方法 |
CN110223235A (zh) * | 2019-06-14 | 2019-09-10 | 南京天眼信息科技有限公司 | 一种基于多种特征点组合匹配的鱼眼监控图像拼接方法 |
CN110351494A (zh) * | 2018-04-02 | 2019-10-18 | 杭州海康威视数字技术股份有限公司 | 一种全景视频合成方法、装置及电子设备 |
CN110400266A (zh) * | 2019-06-13 | 2019-11-01 | 北京小米移动软件有限公司 | 一种图像矫正的方法及装置、存储介质 |
CN110738599A (zh) * | 2019-10-14 | 2020-01-31 | 北京百度网讯科技有限公司 | 图像拼接方法、装置、电子设备及存储介质 |
CN110930305A (zh) * | 2019-10-25 | 2020-03-27 | 江苏荣策士科技发展有限公司 | 一种基于空间坐标轴的全景图像的拼接方法 |
CN110995982A (zh) * | 2018-10-03 | 2020-04-10 | 佳能株式会社 | 图像处理装置及其控制方法、摄像装置、以及记录介质 |
CN111105351A (zh) * | 2019-12-13 | 2020-05-05 | 华中科技大学鄂州工业技术研究院 | 一种视频序列影像拼接方法及装置 |
CN111429358A (zh) * | 2020-05-09 | 2020-07-17 | 南京大学 | 一种基于平面区域一致的图像拼接方法 |
CN111507894A (zh) * | 2020-04-17 | 2020-08-07 | 浙江大华技术股份有限公司 | 一种图像拼接处理方法及装置 |
CN111551167A (zh) * | 2020-02-10 | 2020-08-18 | 江苏盖亚环境科技股份有限公司 | 一种基于无人机拍摄和语义分割的全局导航辅助方法 |
CN111583119A (zh) * | 2020-05-19 | 2020-08-25 | 北京数字绿土科技有限公司 | 一种正射影像拼接方法、设备以及计算机可读介质 |
CN111601097A (zh) * | 2020-04-10 | 2020-08-28 | 熵智科技(深圳)有限公司 | 基于双投射器的双目立体匹配方法、装置、介质和设备 |
CN111612812A (zh) * | 2019-02-22 | 2020-09-01 | 富士通株式会社 | 目标物检测方法、检测装置和电子设备 |
CN111666434A (zh) * | 2020-05-26 | 2020-09-15 | 武汉大学 | 基于深度全局特征的街景图片检索方法 |
CN111768446A (zh) * | 2020-06-19 | 2020-10-13 | 重庆数字城市科技有限公司 | 一种室内全景影像逆向建模融合方法 |
CN112053369A (zh) * | 2020-08-27 | 2020-12-08 | 西安迪威码半导体有限公司 | 一种低延时图像去畸变和桶形映射的融合算法 |
CN112634372A (zh) * | 2020-11-27 | 2021-04-09 | 中山大学 | 一种实时的双目相机矫正方法、装置及存储介质 |
CN112734640A (zh) * | 2020-12-30 | 2021-04-30 | 山东大学 | 隧道围岩图像采集装置、处理系统及全景图像拼接方法 |
CN112885097A (zh) * | 2021-02-07 | 2021-06-01 | 启迪云控(上海)汽车科技有限公司 | 一种基于跨点位的路侧融合管理方法及系统 |
CN112907445A (zh) * | 2021-02-08 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | 天空云图的拼接方法、装置及设备 |
CN112927128A (zh) * | 2019-12-05 | 2021-06-08 | 晶睿通讯股份有限公司 | 图像拼接方法及其相关监控摄像设备 |
CN113191954A (zh) * | 2021-06-11 | 2021-07-30 | 南京工程学院 | 一种基于双目相机的全景图像拼接方法 |
CN113284048A (zh) * | 2021-04-15 | 2021-08-20 | 哈尔滨工程大学 | 一种侧扫声呐图像拼接方法 |
CN113379800A (zh) * | 2021-06-11 | 2021-09-10 | 山东大学 | 基于双正交视图的单条鱼三维轨迹与朝向跟踪方法及系统 |
WO2021203770A1 (zh) * | 2020-04-10 | 2021-10-14 | 熵智科技(深圳)有限公司 | 基于双投射器的双目立体匹配方法、装置、介质和设备 |
CN113658080A (zh) * | 2021-08-23 | 2021-11-16 | 宁波棱镜空间智能科技有限公司 | 一种基于特征点匹配的线扫圆柱体几何校正方法及装置 |
CN113724157A (zh) * | 2021-08-11 | 2021-11-30 | 浙江大华技术股份有限公司 | 图像分块方法、图像处理方法、电子设备及存储介质 |
CN114257703A (zh) * | 2021-12-14 | 2022-03-29 | 成都信和创业科技有限责任公司 | 四目微光夜视仪图像拼接融合自动检测方法和装置 |
CN114372919A (zh) * | 2022-03-22 | 2022-04-19 | 鹰驾科技(深圳)有限公司 | 一种双挂汽车列车全景环视图像拼接方法及系统 |
CN114463186A (zh) * | 2022-04-12 | 2022-05-10 | 常州铭赛机器人科技股份有限公司 | 基于校正扫描图像的平铺式拼接方法 |
CN114640801A (zh) * | 2022-02-10 | 2022-06-17 | 浙江工业大学 | 一种基于图像融合的车端全景视角辅助驾驶系统 |
CN115781092A (zh) * | 2023-02-08 | 2023-03-14 | 金成技术股份有限公司 | 用于挖掘机动臂的多角度辅助焊接方法 |
CN116402693A (zh) * | 2023-06-08 | 2023-07-07 | 青岛瑞源工程集团有限公司 | 一种基于遥感技术的市政工程图像处理方法及装置 |
TWI830094B (zh) * | 2021-11-25 | 2024-01-21 | 信驊科技股份有限公司 | 偵測全景相機的拼接瑕疵的測試裝置和測試方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509261A (zh) * | 2011-10-10 | 2012-06-20 | 宁波大学 | 一种鱼眼镜头的畸变校正方法 |
CN103971375A (zh) * | 2014-05-22 | 2014-08-06 | 中国人民解放军国防科学技术大学 | 一种基于图像拼接的全景凝视相机空间标定方法 |
CN104835117A (zh) * | 2015-05-11 | 2015-08-12 | 合肥工业大学 | 基于重叠方式的球面全景图生成方法 |
-
2016
- 2016-09-28 CN CN201610856568.2A patent/CN106683045A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509261A (zh) * | 2011-10-10 | 2012-06-20 | 宁波大学 | 一种鱼眼镜头的畸变校正方法 |
CN103971375A (zh) * | 2014-05-22 | 2014-08-06 | 中国人民解放军国防科学技术大学 | 一种基于图像拼接的全景凝视相机空间标定方法 |
CN104835117A (zh) * | 2015-05-11 | 2015-08-12 | 合肥工业大学 | 基于重叠方式的球面全景图生成方法 |
Non-Patent Citations (2)
Title |
---|
杨恒: "《鱼眼图像拼接的研究及实现》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
魏利胜 等: "《基于双经度模型的鱼眼图像畸变矫正方法》", 《仪器仪表学报》 * |
Cited By (95)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106651767A (zh) * | 2016-12-30 | 2017-05-10 | 北京星辰美豆文化传播有限公司 | 一种获取全景图像的方法及装置 |
CN107316271A (zh) * | 2017-05-30 | 2017-11-03 | 深圳晨芯时代科技有限公司 | 一种全景相机的图像几何校正方法 |
CN107369128A (zh) * | 2017-05-30 | 2017-11-21 | 深圳晨芯时代科技有限公司 | 一种720度全景图像拍摄方法 |
CN109035134A (zh) * | 2017-06-08 | 2018-12-18 | 株式会社理光 | 全景图像拼接方法、装置、电子设备及存储介质 |
CN109035134B (zh) * | 2017-06-08 | 2021-09-28 | 株式会社理光 | 全景图像拼接方法、装置、电子设备及存储介质 |
CN107169924B (zh) * | 2017-06-14 | 2020-10-09 | 歌尔科技有限公司 | 三维全景图像的建立方法和系统 |
CN107169924A (zh) * | 2017-06-14 | 2017-09-15 | 歌尔科技有限公司 | 三维全景图像的建立方法和系统 |
CN107392851A (zh) * | 2017-07-04 | 2017-11-24 | 上海小蚁科技有限公司 | 用于生成全景图像的方法和设备 |
CN109428987A (zh) * | 2017-07-04 | 2019-03-05 | 北京视境技术有限公司 | 一种头戴式全景360度立体摄像装置及摄像处理方法 |
CN107426561A (zh) * | 2017-07-24 | 2017-12-01 | 北京聚力维度科技有限公司 | 一种3d360度的虚拟现实直播方法及装置 |
CN107426561B (zh) * | 2017-07-24 | 2020-01-07 | 北京聚力维度科技有限公司 | 一种3d360度的虚拟现实直播方法及装置 |
CN107610139A (zh) * | 2017-08-25 | 2018-01-19 | 信利光电股份有限公司 | 用于消除360度拍摄图像重叠偏差的装置及方法 |
CN107678329A (zh) * | 2017-09-08 | 2018-02-09 | 广州市迪士普智慧科技有限公司 | 一种全景互联控制系统以及控制方法 |
CN107767339A (zh) * | 2017-10-12 | 2018-03-06 | 深圳市未来媒体技术研究院 | 一种双目立体图像拼接方法 |
CN107705252B (zh) * | 2017-10-13 | 2021-04-02 | 华东理工大学 | 适用于双目鱼眼图像拼接展开校正的方法及系统 |
CN107705252A (zh) * | 2017-10-13 | 2018-02-16 | 华东理工大学 | 适用于双目鱼眼图像拼接展开校正的方法及系统 |
CN107995421A (zh) * | 2017-11-30 | 2018-05-04 | 潍坊歌尔电子有限公司 | 一种全景相机及其图像生成方法、系统、设备、存储介质 |
CN109961401B (zh) * | 2017-12-14 | 2022-10-04 | 西安全志科技有限公司 | 一种双目相机的图像校正方法和存储介质 |
CN109961401A (zh) * | 2017-12-14 | 2019-07-02 | 西安全志科技有限公司 | 一种双目相机的图像校正方法和存储介质 |
CN109003250B (zh) * | 2017-12-20 | 2023-05-30 | 罗普特科技集团股份有限公司 | 一种图像与三维模型融合方法 |
CN109003250A (zh) * | 2017-12-20 | 2018-12-14 | 罗普特(厦门)科技集团有限公司 | 一种图像与三维模型融合方法 |
CN108122200A (zh) * | 2017-12-20 | 2018-06-05 | 宁波视睿迪光电有限公司 | 图像拼接方法以及装置 |
CN108510445A (zh) * | 2018-03-30 | 2018-09-07 | 长沙全度影像科技有限公司 | 一种全景图像拼接方法 |
CN110351494A (zh) * | 2018-04-02 | 2019-10-18 | 杭州海康威视数字技术股份有限公司 | 一种全景视频合成方法、装置及电子设备 |
CN110351494B (zh) * | 2018-04-02 | 2020-06-26 | 杭州海康威视数字技术股份有限公司 | 一种全景视频合成方法、装置及电子设备 |
CN110995982B (zh) * | 2018-10-03 | 2022-06-07 | 佳能株式会社 | 图像处理装置及其控制方法、摄像装置、以及记录介质 |
US11301955B2 (en) | 2018-10-03 | 2022-04-12 | Canon Kabushiki Kaisha | Image processing apparatus, imaging apparatus, method for controlling image processing apparatus and recording medium |
CN110995982A (zh) * | 2018-10-03 | 2020-04-10 | 佳能株式会社 | 图像处理装置及其控制方法、摄像装置、以及记录介质 |
CN109472750B (zh) * | 2018-10-29 | 2021-11-30 | 湖南优象科技有限公司 | 一种基于显著性检测的智能构图方法 |
CN109272445B (zh) * | 2018-10-29 | 2022-11-04 | 中国航空无线电电子研究所 | 基于球面模型的全景视频拼接方法 |
CN109272445A (zh) * | 2018-10-29 | 2019-01-25 | 中国航空无线电电子研究所 | 基于球面模型的全景视频拼接方法 |
CN109472750A (zh) * | 2018-10-29 | 2019-03-15 | 湖南优象科技有限公司 | 一种基于显著性检测的智能构图方法 |
CN109493281A (zh) * | 2018-11-05 | 2019-03-19 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN109801212A (zh) * | 2018-12-26 | 2019-05-24 | 南京信息职业技术学院 | 一种基于sift特征的鱼眼图像拼接方法 |
CN109889736A (zh) * | 2019-01-10 | 2019-06-14 | 深圳市沃特沃德股份有限公司 | 基于双摄像头、多摄像头的图像获取方法、装置及设备 |
CN109889736B (zh) * | 2019-01-10 | 2020-06-19 | 深圳市沃特沃德股份有限公司 | 基于双摄像头、多摄像头的图像获取方法、装置及设备 |
CN111612812B (zh) * | 2019-02-22 | 2023-11-03 | 富士通株式会社 | 目标物检测方法、检测装置和电子设备 |
CN111612812A (zh) * | 2019-02-22 | 2020-09-01 | 富士通株式会社 | 目标物检测方法、检测装置和电子设备 |
CN109993718B (zh) * | 2019-03-05 | 2021-04-13 | 北京当红齐天国际文化科技发展集团有限公司 | 一种多通道投影图像融合方法及装置 |
CN109993718A (zh) * | 2019-03-05 | 2019-07-09 | 北京当红齐天国际文化发展集团有限公司 | 一种多通道投影图像融合方法及装置 |
CN110020985A (zh) * | 2019-04-12 | 2019-07-16 | 广西师范大学 | 一种双目机器人的视频拼接系统及方法 |
CN110097496A (zh) * | 2019-04-28 | 2019-08-06 | 燕山大学 | 基于局部稳定区域的鱼眼图像匹配方法 |
CN110400266A (zh) * | 2019-06-13 | 2019-11-01 | 北京小米移动软件有限公司 | 一种图像矫正的方法及装置、存储介质 |
CN110400266B (zh) * | 2019-06-13 | 2021-12-28 | 北京小米移动软件有限公司 | 一种图像矫正的方法及装置、存储介质 |
US11288779B2 (en) | 2019-06-13 | 2022-03-29 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and device for image correction and storage medium |
CN110223235B (zh) * | 2019-06-14 | 2023-08-08 | 南京天眼信息科技有限公司 | 一种基于多种特征点组合匹配的鱼眼监控图像拼接方法 |
CN110223235A (zh) * | 2019-06-14 | 2019-09-10 | 南京天眼信息科技有限公司 | 一种基于多种特征点组合匹配的鱼眼监控图像拼接方法 |
CN110738599B (zh) * | 2019-10-14 | 2023-04-25 | 北京百度网讯科技有限公司 | 图像拼接方法、装置、电子设备及存储介质 |
CN110738599A (zh) * | 2019-10-14 | 2020-01-31 | 北京百度网讯科技有限公司 | 图像拼接方法、装置、电子设备及存储介质 |
CN110930305A (zh) * | 2019-10-25 | 2020-03-27 | 江苏荣策士科技发展有限公司 | 一种基于空间坐标轴的全景图像的拼接方法 |
CN112927128B (zh) * | 2019-12-05 | 2023-11-24 | 晶睿通讯股份有限公司 | 图像拼接方法及其相关监控摄像设备 |
CN112927128A (zh) * | 2019-12-05 | 2021-06-08 | 晶睿通讯股份有限公司 | 图像拼接方法及其相关监控摄像设备 |
CN111105351B (zh) * | 2019-12-13 | 2023-04-18 | 华中科技大学鄂州工业技术研究院 | 一种视频序列影像拼接方法及装置 |
CN111105351A (zh) * | 2019-12-13 | 2020-05-05 | 华中科技大学鄂州工业技术研究院 | 一种视频序列影像拼接方法及装置 |
CN111551167A (zh) * | 2020-02-10 | 2020-08-18 | 江苏盖亚环境科技股份有限公司 | 一种基于无人机拍摄和语义分割的全局导航辅助方法 |
CN111551167B (zh) * | 2020-02-10 | 2022-09-27 | 江苏盖亚环境科技股份有限公司 | 一种基于无人机拍摄和语义分割的全局导航辅助方法 |
CN111601097B (zh) * | 2020-04-10 | 2020-12-18 | 熵智科技(深圳)有限公司 | 基于双投射器的双目立体匹配方法、装置、介质和设备 |
WO2021203770A1 (zh) * | 2020-04-10 | 2021-10-14 | 熵智科技(深圳)有限公司 | 基于双投射器的双目立体匹配方法、装置、介质和设备 |
CN111601097A (zh) * | 2020-04-10 | 2020-08-28 | 熵智科技(深圳)有限公司 | 基于双投射器的双目立体匹配方法、装置、介质和设备 |
CN111507894A (zh) * | 2020-04-17 | 2020-08-07 | 浙江大华技术股份有限公司 | 一种图像拼接处理方法及装置 |
CN111507894B (zh) * | 2020-04-17 | 2023-06-13 | 浙江大华技术股份有限公司 | 一种图像拼接处理方法及装置 |
CN111429358A (zh) * | 2020-05-09 | 2020-07-17 | 南京大学 | 一种基于平面区域一致的图像拼接方法 |
CN111429358B (zh) * | 2020-05-09 | 2022-04-22 | 南京大学 | 一种基于平面区域一致的图像拼接方法 |
CN111583119A (zh) * | 2020-05-19 | 2020-08-25 | 北京数字绿土科技有限公司 | 一种正射影像拼接方法、设备以及计算机可读介质 |
CN111583119B (zh) * | 2020-05-19 | 2021-07-09 | 北京数字绿土科技有限公司 | 一种正射影像拼接方法、设备以及计算机可读介质 |
CN111666434B (zh) * | 2020-05-26 | 2021-11-02 | 武汉大学 | 基于深度全局特征的街景图片检索方法 |
CN111666434A (zh) * | 2020-05-26 | 2020-09-15 | 武汉大学 | 基于深度全局特征的街景图片检索方法 |
CN111768446A (zh) * | 2020-06-19 | 2020-10-13 | 重庆数字城市科技有限公司 | 一种室内全景影像逆向建模融合方法 |
CN111768446B (zh) * | 2020-06-19 | 2023-08-11 | 重庆数字城市科技有限公司 | 一种室内全景影像逆向建模融合方法 |
CN112053369A (zh) * | 2020-08-27 | 2020-12-08 | 西安迪威码半导体有限公司 | 一种低延时图像去畸变和桶形映射的融合算法 |
CN112634372A (zh) * | 2020-11-27 | 2021-04-09 | 中山大学 | 一种实时的双目相机矫正方法、装置及存储介质 |
CN112634372B (zh) * | 2020-11-27 | 2024-02-20 | 中山大学 | 一种实时的双目相机矫正方法、装置及存储介质 |
CN112734640B (zh) * | 2020-12-30 | 2023-12-22 | 山东大学 | 钻爆洞用图像采集装置、处理系统及全景图像拼接方法 |
CN112734640A (zh) * | 2020-12-30 | 2021-04-30 | 山东大学 | 隧道围岩图像采集装置、处理系统及全景图像拼接方法 |
CN112885097A (zh) * | 2021-02-07 | 2021-06-01 | 启迪云控(上海)汽车科技有限公司 | 一种基于跨点位的路侧融合管理方法及系统 |
CN112907445B (zh) * | 2021-02-08 | 2023-05-26 | 杭州海康威视数字技术股份有限公司 | 天空云图的拼接方法、装置及设备 |
CN112907445A (zh) * | 2021-02-08 | 2021-06-04 | 杭州海康威视数字技术股份有限公司 | 天空云图的拼接方法、装置及设备 |
CN113284048A (zh) * | 2021-04-15 | 2021-08-20 | 哈尔滨工程大学 | 一种侧扫声呐图像拼接方法 |
CN113379800A (zh) * | 2021-06-11 | 2021-09-10 | 山东大学 | 基于双正交视图的单条鱼三维轨迹与朝向跟踪方法及系统 |
CN113191954B (zh) * | 2021-06-11 | 2023-09-26 | 南京工程学院 | 一种基于双目相机的全景图像拼接方法 |
CN113191954A (zh) * | 2021-06-11 | 2021-07-30 | 南京工程学院 | 一种基于双目相机的全景图像拼接方法 |
CN113379800B (zh) * | 2021-06-11 | 2022-07-29 | 山东大学 | 基于双正交视图的单条鱼三维轨迹与朝向跟踪方法及系统 |
CN113724157A (zh) * | 2021-08-11 | 2021-11-30 | 浙江大华技术股份有限公司 | 图像分块方法、图像处理方法、电子设备及存储介质 |
CN113658080B (zh) * | 2021-08-23 | 2023-12-22 | 宁波棱镜空间智能科技有限公司 | 一种基于特征点匹配的线扫圆柱体几何校正方法及装置 |
CN113658080A (zh) * | 2021-08-23 | 2021-11-16 | 宁波棱镜空间智能科技有限公司 | 一种基于特征点匹配的线扫圆柱体几何校正方法及装置 |
TWI830094B (zh) * | 2021-11-25 | 2024-01-21 | 信驊科技股份有限公司 | 偵測全景相機的拼接瑕疵的測試裝置和測試方法 |
CN114257703A (zh) * | 2021-12-14 | 2022-03-29 | 成都信和创业科技有限责任公司 | 四目微光夜视仪图像拼接融合自动检测方法和装置 |
CN114257703B (zh) * | 2021-12-14 | 2023-12-01 | 成都信和创业科技有限责任公司 | 四目微光夜视仪图像拼接融合自动检测方法和装置 |
CN114640801B (zh) * | 2022-02-10 | 2024-02-20 | 浙江工业大学 | 一种基于图像融合的车端全景视角辅助驾驶系统 |
CN114640801A (zh) * | 2022-02-10 | 2022-06-17 | 浙江工业大学 | 一种基于图像融合的车端全景视角辅助驾驶系统 |
CN114372919A (zh) * | 2022-03-22 | 2022-04-19 | 鹰驾科技(深圳)有限公司 | 一种双挂汽车列车全景环视图像拼接方法及系统 |
CN114463186A (zh) * | 2022-04-12 | 2022-05-10 | 常州铭赛机器人科技股份有限公司 | 基于校正扫描图像的平铺式拼接方法 |
CN115781092A (zh) * | 2023-02-08 | 2023-03-14 | 金成技术股份有限公司 | 用于挖掘机动臂的多角度辅助焊接方法 |
CN116402693B (zh) * | 2023-06-08 | 2023-08-15 | 青岛瑞源工程集团有限公司 | 一种基于遥感技术的市政工程图像处理方法及装置 |
CN116402693A (zh) * | 2023-06-08 | 2023-07-07 | 青岛瑞源工程集团有限公司 | 一种基于遥感技术的市政工程图像处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106683045A (zh) | 一种基于双目像机的全景图像拼接方法 | |
CN111062905B (zh) | 一种基于显著图增强的红外和可见光融合方法 | |
CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
CN109685913B (zh) | 基于计算机视觉定位的增强现实实现方法 | |
CN103150715B (zh) | 图像拼接处理方法及装置 | |
KR100513055B1 (ko) | 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법 | |
CN107833179A (zh) | 一种红外图像的快速拼接方法及系统 | |
CN104599258B (zh) | 一种基于各向异性特征描述符的图像拼接方法 | |
CN106886979A (zh) | 一种图像拼接装置及图像拼接方法 | |
CN108122191A (zh) | 鱼眼图像拼接成全景图像和全景视频的方法及装置 | |
CN109272570A (zh) | 一种基于立体视觉数学模型的空间点三维坐标求解方法 | |
CN110111248A (zh) | 一种基于特征点的图像拼接方法、虚拟现实系统、照相机 | |
CN107424181A (zh) | 一种改进的图像拼接关键帧快速提取方法 | |
CN106709868A (zh) | 一种图像拼接方法及装置 | |
CN106485690A (zh) | 基于点特征的点云数据与光学影像的自动配准融合方法 | |
CN110992263B (zh) | 一种图像拼接方法及系统 | |
CN110033407B (zh) | 一种盾构隧道表面图像标定方法、拼接方法及拼接系统 | |
CN105005964B (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
CN105933695A (zh) | 基于多gpu高速互联的全景摄像机成像装置与方法 | |
WO2021017589A1 (zh) | 一种基于梯度域映射的图像融合方法 | |
CN113221665A (zh) | 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法 | |
CN107945221A (zh) | 一种基于rgb‑d图像的三维场景特征表达与高精度匹配方法 | |
CN111009030A (zh) | 一种多视高分辨率纹理图像与双目三维点云映射方法 | |
CN109523585A (zh) | 一种基于方向相位一致性的多源遥感影像特征匹配方法 | |
CN108257089A (zh) | 一种基于迭代最近点的大视场视频全景图拼接的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170517 |