CN107085842B - 自学习多路图像融合的实时矫正方法及系统 - Google Patents

自学习多路图像融合的实时矫正方法及系统 Download PDF

Info

Publication number
CN107085842B
CN107085842B CN201710213911.6A CN201710213911A CN107085842B CN 107085842 B CN107085842 B CN 107085842B CN 201710213911 A CN201710213911 A CN 201710213911A CN 107085842 B CN107085842 B CN 107085842B
Authority
CN
China
Prior art keywords
fusion
image
time
learning
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710213911.6A
Other languages
English (en)
Other versions
CN107085842A (zh
Inventor
赵凤萍
邓金富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xunmo Communication Technology Co ltd
Original Assignee
Shanghai Xunmo Communication Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xunmo Communication Technology Co ltd filed Critical Shanghai Xunmo Communication Technology Co ltd
Priority to CN201710213911.6A priority Critical patent/CN107085842B/zh
Publication of CN107085842A publication Critical patent/CN107085842A/zh
Priority to PCT/CN2017/117123 priority patent/WO2018176926A1/zh
Application granted granted Critical
Publication of CN107085842B publication Critical patent/CN107085842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种自学习多路图像融合的实时矫正方法及系统，包括：首先对视野中的轮廓以及物体特征进行提取和匹配，学习生成适用于快速融合的匹配模板，根据图像的预分割宏块建立初始评价分块的融合矩阵；按照固定帧率步伐，一次获取多个时刻的多路图像数据和所述匹配模板进行融合；对融合后的图像进行评价，判断是否融合成功；若融合图像成功，则将原始图像特征区域的最小宏块缩小一个级别生成进一步提升精度和辨识度的模板备用。本发明通过相邻若干帧的特征矩阵共性，根据判断特征矩阵变化的趋势采用已知不同的特征矩阵和矫正方法，快速融合拼接多路实时视频流中的图像，实现视频图像的实时处理，使得多路实时图像视频流可稳定的持续被拼接。

Description

自学习多路图像融合的实时矫正方法及系统
技术领域
本发明涉及图像处理技术领域，具体地，涉及自学习多路图像融合的实时矫正方法及系统。
背景技术
目前市面上广角镜头图像会随着角度增加有不同程度的图像畸变，特别是球面镜畸变更为严重，但为了获得更宽广的可视范围，在单目摄像采集面对瓶颈时，技术人员开始研究多路多目阵列相机再拼合多幅图像以获取低畸变的超宽视景，本发明中的方法即属于多阵列图像实时拼接矫正的计算方法。
在拼接多路图像时，目前有两种主要的方法：
1)通过对拼接附近两张图像中的边界特征信息提取并比对，在拟合时选择基于这些相近特征信息的像素点作为拟合曲线的中值去融合多幅图像。但此方法缺陷是严重依赖特征值的矩阵数量和准确度，且计算复杂费时，对时效性要求高的场景无法胜任。同时，在特征场景发生频繁变化时，抖帧掉帧的现象严重，需要人为干预判断并去除一系列畸变偏离的拟合图，因此无法应用在实时多路视频中。
2)对一系列图像采集设备做预先排列排序的标定和固化，通过棋盘格等预参考方法获取已知多路实时视频流中边界的偏差标定后直接快速融合多幅图像的接缝处。但此法的缺陷是标定为定焦，在一定视距范围内存在偏差，当模糊边界后视觉上接受度较高，但较近或较远的物体就无法准确的标定，同时因边界处采用模糊化拼接，接缝处的图像质量会明显降低，在4K以上的图像中模糊的位置会被进一步放大，影响观感。
以上第1种方法是多路融合后产生的新图像质量有保证但生成缓慢，不可应用在实时多视频流中；第2种方法在实时多路视频流中的处理速度有保证，但面对图像质量和解像度有更高要求的场景和素材时，就无法提供高品质融合后的图像。
本发明中提出的方法的适用场景是实时视频流中高质量快速的融合多路图像，相较于上面两种方法更快速，图像质量更高，但同等条件下速度会略低于第2种方法，通过提升硬件计算器的计算能力可以获得与第2种方法相近的速度和高于第1种方法的连续图像可靠度和质量。
经检索，申请号：201410459069.0，名称为“一种视频图像拼接方法及装置”，涉及视频处理技术领域，包括：获得第一视频拍摄终端所拍摄的第一视频的第一视频帧；获得第二视频拍摄终端所拍摄的第二视频的第二视频帧；根据视频图像拼接参数，确定第一视频帧和第二视频帧对应的图像拼接区域，视频图像拼接参数为：在启动视频图像拼接程序后，生成第一帧拼接图像时获得并存储在本地的；根据所确定的图像拼接区域，对第一视频帧和第二视频帧进行图像拼接，生成第一视频帧和第二视频帧对应的拼接图像；第一视频拍摄终端和第二视频拍摄终端为：用于拍摄相同场景的N台视频拍摄终端中的任意两台拍摄位置相邻的终端。应用本发明实施例提供的方案，能够降低计算量和对硬件的要求。
上述文献中的方法专注在通过初始信息作为图像融合的关键信息，并没考虑到初始帧与之后环境变化对后续图像融合引入的问题，也没有机器自动评判和矫正。
申请号：201010117300.X，名称为“基于边缘分类信息的图像拼接方法”，该方法(1)首先提取图像的边缘类；(2)在已经获取的图像边缘类中提取图像SIFT特征；(3)利用K-D树搜索近似最近邻的方法对两幅有重叠图中的对应SIFT特征点进行匹配；(4)找到两幅图像的两个公共边界点P、Q，得到P、Q两点后，以过PQ的直线作为图像拼接的缝合线；(5)利用小波变换将待拼接图像转换成多个带通信号；(6)在各个空间中进行变换系数融合；(7)最后经过小波逆变换，得到一个“无缝”的拼接图像。本发明可以使经典SIFT特征提取的时间减少20％-50％。使处理速度提高25％-40％。本发明有提高经典图像拼接方法的实时性和一定程度上改善图像拼接质量的效果。
上述文献中的方法为直接边缘拼接，速度快，可靠性低，对近景远景适应力弱。
申请号：201610305058.6，名称为“一种图像拼接系统”，包括：图像获取模块、图像拼接模块、均值计算模块、图像覆盖模块、图像模糊模块、图像锐化模块和图像存储模块。本发明中，通过均值计算模块和图像覆盖模块对拼接后的图像中的重叠部分进行均值处理，相当于通过均值图像对相邻两个摄像头的拍摄图像的拼接进行过渡，解决了两个摄像头拍摄的图像由于角度、光线等不同出现的像素跳变导致拼接后的图像观赏不适的问题。
上述文献中的系统是融合前的图像做预先处理的实现，以及拼接后的图像修复。不属于图像融合本身，更不同于本发明的带有机器学习和机器评价的实时矫正融合拼接。
申请号：201610726477.7，名称为“一种图像拼接方法及装置”，可用于降低拼接累积误差的航空视频图像自适应多级分层拼接，能够根据目标场景特性自适应选择合适的处理层次和配准算法，有效地解决了图像拼接误差随图像帧数增加而传播扩散的问题，同时采用渐入渐出法对配准后的图像进行融合处理，较好地消除了图像变换矩阵累积误差和图像亮度差异引起的拼接缝隙问题，得到一幅宽视场、高分辨率的合成图像，在图像拼接精度和鲁棒性方面有了明显提高；采用“特征堆栈”存储各帧图像特征，与后续图像进行配准拼接，能够有效减小计算量，节省重复提取图像特征的时间，进一步提高图像拼接速度。
上述文献中的方法针对目标场景特征提取信息，主要在于降低图像拼接误差传递以及消除拼接缝隙的目的，可以在多重矩阵模板中挑选出对当前帧最佳的融合方案除了能够同样解决误差传递和最优解决拼接缝隙的问题，还持续的进行机器学习和机器评价演进来优化视频流融合拼接，提高实时拼接性能指标。
申请号：201610037913.X，名称为“一种用于图像拼接的方法及装置”，属于图像处理技术领域，是分别获取在两个焦距值条件下拍摄的两组图像，分别对这两组图像进行图像拼接，最终得到两个拼接后的图像，通过对这两组图形分别进行图像拼接处理，能够使拼接后的图像中内容更丰富，对拼接图像后最终得到的两个图像进行图像融合，以此得到融合后的目标图像，采用本发明提供的技术方案，得到的目标图像中图像特征清晰、图像容纳的内容更丰富，本技术方案简单，便于实施。
上述文献中的方法属于图像后处理的目标图像质量改善，与拼接融合本身无关。其次，采用连个教具拍摄两组图像，不能适用于多路的实时视频流图像采集。
申请号：201410632500.7，名称为“图像拼接的方法及装置”，其中图像拼接方法首先通过第一图像和第二图像中的特征点确定重合区域以及变换矩阵；然后将所述重合区域内当前行中变换误差满足预定条件的像素点作为拼接点；所述变换误差为所述第一图像的像素点经过所述变换矩阵变换到第二图像的像素点位置与所述第二图像中的匹配像素点位置之间的误差；根据所述拼接点进行图像拼接。通过本申请能够改善拼接表面存在不同物距时的拼接缝隙问题。
上述文献中的方法的技术点在拼接表面的柔化而非从本身融合作为入手点，提供更加高效可靠的并适应环境变化的自学习矫正融合拼接。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种自学习多路图像融合的实时矫正方法及系统。
根据本发明提供的自学习多路图像融合的实时矫正方法，包括如下步骤：
融合模板学习生成步骤：基于覆盖区域图像中的色彩对视野中的轮廓以及物体特征进行提取和匹配，学习生成匹配模板；
多路图像实时融合步骤：一次获取多个时刻下的多路图像数据和所述匹配模板进行融合，得到融合后的图像；
融合后的图像质量机器评价步骤：对融合后的图像进行评价；
模糊多次学习步骤：当融合失败时，返回执行融合模板学习生成步骤。
优选地，所述融合模板学习生成步骤中的匹配模板包括：畸变矫正模板、色彩补偿模板、尺寸缩放模板、坐标系变换模板、视差补偿变换模板；
在所述融合模板学习生成步骤中，根据图像的预分割宏块建立初始评价分块的融合矩阵，所述融合矩阵用于对原图像需要融合部分做融合变换的指导；
在所述多路图像实时融合步骤中，按照固定帧率步伐，一次获取Tx，x＝2,3,…,M时刻的多路图像数据和所述匹配模板进行融合，令N＝Tj+1-Tj，其中j为[2,M-1]中的自然数，其中Tx表示第x个时刻，Tj表示第j个时刻，Tj+1表示第j+1个时刻，N表示一个固定帧率步伐的时间间隔。
优选地，所述多路图像实时融合步骤中M取值范围是[3,12]，N的取值为20ms，具体地，Tx，x＝2,3,…,M表示从T2开始以20ms依次累加递增直到流程结束。具体地，本发明需要对前一时刻和再前一时刻的一组多路图像做匹配度的最优选，如果当前帧历史的融合模板和矫正矩阵都融合失败，则用前一时刻或者再前一时刻的多路视频帧的数据进行快速融合处理；当前一时刻和再前一时刻的融合也失败时，进入初始学习，即重新生成融合模板。
优选地，所述融合模板学习生成步骤中根据图像的预分割宏块建立初始评价分块的融合矩阵的具体过程如下：对于一个像素矩阵中相邻像素做均方，或按照中值线做均方，或者按照定点距离均值去逐级对相邻像素做补偿加减计算后的结果形成一个融合矩阵；
在所述模糊多次学习步骤中，当融合成功时，将原始图像特征区域的最小宏块缩小一个或多个级别作为预分割宏块。
优选地，所述多路图像实时融合步骤中基于时间戳的管道同步法，按照固定帧率步伐一次获取Tx，x＝2,3,…,M时刻的多路图像数据，所述时间戳的管道同步法是指：无论多路图像中任一路图像当前时间序列是多少，都在每一个图像管道中根据相近时间为切片原点寻找N时间偏移量的新时间片的一组多路图像数据。
优选地，所述融合后的图像质量机器评价步骤包括：基于融合前多路图像中的峰值信噪比最大值和中值作为融合后新图像的辅助判断的上限和下限，并以融合后图像中的空占比，即空值占整个图像的空间比例，来判断图像是否融合成功，若融合后图像中的空占比大于阈值P，则认为融合失败，删除融合生产的图像，重新执行融合模板学习生成步骤、多路图像实时融合步骤以及融合后的图像质量机器评价步骤；若融合后图像中的空占比小于等于阈值P，则认为融合成功，执行模糊多次学习步骤；其中，阈值P的取值即为精度和容忍度。
根据本发明提供的自学习多路图像融合的实时矫正系统，包括如下模块：
融合模板学习生成模块：基于覆盖区域图像中的色彩对视野中的轮廓以及物体特征进行提取和匹配，学习生成匹配模板；
多路图像实时融合模块：一次获取多个时刻下的多路图像数据和所述匹配模板进行融合，得到融合后的图像；
融合后的图像质量机器评价模块：对融合后的图像进行评价；
模糊多次学习模块：当融合失败时，返回执行融合模板学习生成模块。
优选地，所述融合模板学习生成模块中根据图像的预分割宏块建立初始评价分块的融合矩阵的具体过程如下：对于一个像素矩阵中相邻像素做均方，或按照中值线做均方，或者按照定点距离均值去逐级对相邻像素做补偿加减计算后的结果形成一个融合矩阵。
优选地，所述多路图像实时融合模块中基于时间戳的管道同步法，按照固定帧率步伐，一次获取Tx，x＝2,3,…,M时刻的多路图像数据和所述匹配模板进行融合，令N＝Tj+1-Tj，其中j为[2,M-1]中的自然数，其中Tx表示第x个时刻，Tj表示第j个时刻，Tj+1表示第j+1个时刻，N表示一个固定帧率步伐的时间间隔；所述时间戳的管道同步法是指：无论多路图像中任一路图像当前时间序列是多少，都在每一个图像管道中根据相近时间为切片原点寻找N时间偏移量的新时间片的一组多路图像数据。
优选地，所述融合后的图像质量机器评价模块包括：基于融合前多路图像中的峰值信噪比最大值和中值作为融合后新图像的辅助判断的上限和下限，并以融合后图像中的空占比，即空值占整个图像的空间比例来判断图像是否融合成功，若融合后图像中的空占比大于阈值P，则认为融合失败，删除融合生产的图像，重新运行融合模板学习生成模块、多路图像实时融合模块以及融合后的图像质量机器评价模块；若融合后图像中的空占比小于等于阈值P，则认为融合成功，执行模糊多次学习模块；其中，阈值P的取值即为精度和容忍度，原则上空占比越小越好以用于判断给出的数值是否符合要求。
与现有技术相比，本发明具有如下的有益效果：
1、本发明中的方法通过相邻若干帧的特征矩阵共性，根据判断特征矩阵变化的趋势采用已知不同的特征矩阵和矫正方法，快速融合拼接多路实时视频流中的图像，实现视频图像的实时处理，使得多路实时图像视频流可稳定的持续被拼接。
2、本发明采用多路图像拼接后的新图像质量机器评价和通过机器学习不断完善特征矩阵对应的融合模板矩阵和矫正因子，从而得到高质量的图像，在一个新的环境中运行一段时间后，学习的变化越多，可靠拼接融合多路图像越高效。
3、本发明中的方法可快速筛选最佳适配模板用在当前多路实时视频流中，或当低于最佳选择时，基于当前数据计算出最佳适配模板并将其添加到新模板中丰富融合模板矩阵，具备较强的适用性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的自学习多路图像融合的实时矫正系统的原理框图；
图2为图像的预分割宏块的四个等级的像素宏块单元示意图；
图3为时间戳管道多路图像的同步融合处理的原理示意图；
图4为图像边界融合(Blend)的原理示意图；
图5为空占比和PSNR主要活跃影响的区域示意图；
图6为从两幅原始图到未优化直接融合再到多次学习后融合图像的效果展示图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的自学习多路图像融合的实时矫正，包括如下步骤：
融合模板学习生成步骤：基于覆盖区域图像中的色彩(摄像机摄入同一物体在不同角度时因距离所引入的视差反变化信息)对视野中的轮廓以及物体特征进行提取和匹配，学习生成适用于快速融合的匹配模板，根据图像的预分割宏块建立初始评价分块的融合矩阵；其中，所述匹配模板包括：畸变矫正模板，色彩补偿模板、尺寸缩放模板、坐标系变换模板、视差补偿变换模板、距离引入的视差补偿等等。
多路图像实时融合步骤：按照固定帧率步伐，一次获取Tx时刻的多路图像数据和所述匹配模板进行融合，其中x为[2,M]中的自然数，令N＝Tj+1-Tj，其中j为[2,M-1]中的自然数，其中Tx表示第x个时刻，Tj表示第j个时刻，Tj+1表示第j+1个时刻，N表示一个固定帧率步伐的时间间隔；
融合后的图像质量机器评价步骤：对融合后的图像进行评价，判断是否融合成功；
模糊多次学习步骤：若融合图像成功，则将原始图像特征区域的最小宏块缩小一个级别(宏块的级别的大小为32×32>16×16>4×4>2×2)，生成进一步提升精度和辨识度的模板备用(以便在没有最优模板适用的情况下，可以选择相邻的高精度模板再做一次预判而不是彻底用新的一组多路图像重新学习一套融合模板出来)；若融合失败，则回退至次优的模板甚至回退到初始模板，再从初始状态学习适合当下环境的模板。
更进一步地，所述融合模板学习生成步骤中根据图像的预分割宏块建立初始评价分块的融合矩阵的具体过程如下：对于一个像素矩阵中相邻像素做均方，或按照中值线做均方，或者按照定点距离均值去逐级对相邻像素做补偿加减计算，这些适合不同区域像素的处理众多具体办法，可形成一个融合矩阵。
更进一步地，所述多路图像实时融合步骤中基于时间戳的管道同步法是指：无论多路图像中任一路图像当前时间序列是多少，都在每一个图像管道中根据相近时间为切片原点寻找N时间偏移量的新时间片的一组多路图像数据；
更进一步地，所述融合后的图像质量机器评价步骤包括：基于融合前多路图像中的峰值信噪比(PSNR)最大值和中值作为融合后新图像的辅助判断的上限和下限，并以融合后图像中的空占比，即空值(即0x000000)占整个图像的空间比例来判断图像是否融合成功，若融合后图像中的空占比大于阈值P，则认为融合失败，删除融合生产的图像，重新执行融合模板学习生成步骤、多路图像实时融合步骤以及融合后的图像质量机器评价步骤；若融合后图像中的空占比小于等于阈值P，则认为融合成功，执行模糊多次学习步骤。其中，阈值P的取值即为精度和容忍度，原则上空占比越小越好，用于判断给出的数值是否符合要求，P值的取值范围一般为5％～15％，本发明实施例中选用10％。
根据本发明提供的自学习多路图像融合的实时矫正系统，包括如下模块：
融合模板学习生成模块：基于特征提取和匹配，学习生成适用于快速融合的匹配模板，并根据图像的预分割宏块建立初始评价分块的融合矩阵；具体地，如图2所示包括：32×32、16×16、4×4、2×2这四级像素宏块单元。
多路图像实时融合模块：基于时间戳的管道同步法，按照的固定帧率步伐，一次获取Tx时刻的多路图像数据；
融合后的图像质量机器评价模块：基于融合前多路图像中的峰值信噪比(PSNR)最大值和中值作为融合后新图像的辅助判断的上限和下限，再以新图像中的空占比，空值(即0x000000)占比整个图像的空间比，作为判断。因为在融合图像之前，会首先置空目标填充数据区域中的数据，如果融合后的图像填入后低于10％最大容忍线，则认融合非最佳即失败。
模糊多次学习模块：在计算资源允许的情况下，将特征区域的最小宏块缩小一个级别(32×32->16×16)，从而生成二级高精度模板，以便在没有最优模板适用的情况下,可以选择相邻的高精度模板再做一次预判而不是彻底用新的一组多路图像重新学习一套融合模板出来。
如图1所示，图中A为融合模板学习生成模块，B为多路图像实时融合模块，C为融合后的图像质量机器评价模块，D为模糊多次学习模块。
下面结合具体实施例对本发明中的技术方案做更加详细的说明。
实施例1(360度全景直播)
在使用多路图像整列对运动赛事或者演唱会进行360度全景采集并直播的时候，在多路图像采集后通过使用本发明中的自学习多路图像融合的实时矫正方法可以提供实时和高质量的实时全景视频流直播给不在现场的终端用户。
实施例2(安防监控融合存储)
在大型企业或者公共场所的安防视频监控系统中，可以在后台服务器中使用本发明中的自学习多路图像融合的实时矫正方法持续的将多路图像进行拼接融合后存储。这样一旦企业或者政府需要还原某一事件时就能够无死角高精度的进行调查，同时也能够降低多路安防监控存储的压力。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (6)

1.一种自学习多路图像融合的实时矫正方法，其特征在于，包括如下步骤：
融合模板学习生成步骤：基于覆盖区域图像中的色彩对视野中的轮廓以及物体特征进行提取和匹配，学习生成匹配模板；
多路图像实时融合步骤：一次获取多个时刻下的多路图像数据和所述匹配模板进行融合，得到融合后的图像；
融合后的图像质量机器评价步骤：对融合后的图像进行评价；
模糊多次学习步骤：当融合失败时，返回执行融合模板学习生成步骤；
所述融合后的图像质量机器评价步骤包括：基于融合前多路图像中的峰值信噪比最大值和中值作为融合后的图像的辅助判断的上限和下限，并以融合后的图像中的空占比，即空值占整个图像的空间比例，来判断图像是否融合成功，若融合后的图像中的空占比大于阈值P，则认为融合失败，删除融合后的图像，重新执行融合模板学习生成步骤、多路图像实时融合步骤以及融合后的图像质量机器评价步骤；若融合后图像中的空占比小于等于阈值P，则认为融合成功，执行模糊多次学习步骤；其中，阈值P的取值即为精度和容忍度；
在所述模糊多次学习步骤中，当融合成功时，将原始图像特征区域的最小宏块缩小一个或多个级别作为预分割宏块，生成进一步提升精度和辨识度的备用匹配模板。
2.根据权利要求1所述的自学习多路图像融合的实时矫正方法，其特征在于，所述融合模板学习生成步骤中的匹配模板包括：畸变矫正模板、色彩补偿模板、尺寸缩放模板、坐标系变换模板、视差补偿变换模板；
在所述融合模板学习生成步骤中，根据图像的预分割宏块建立初始评价分块的融合矩阵，所述融合矩阵用于对原始图像需要融合部分做融合变换的指导；
在所述多路图像实时融合步骤中，按照固定帧率步伐，一次获取Tx，x＝2,3,…,M时刻的多路图像数据和所述匹配模板进行融合，令N＝Tj+1-Tj，其中j为[2,M-1]中的自然数，其中Tx表示第x个时刻，Tj表示第j个时刻，Tj+1表示第j+1个时刻，N表示一个固定帧率步伐的时间间隔；
所述多路图像实时融合步骤中M取值范围是[3,12]，N的取值为20ms，具体地，Tx，x＝2,3,…,M表示从T2开始以20ms依次累加递增直到流程结束；
所述多路图像实时融合步骤中基于时间戳的管道同步法，按照固定帧率步伐一次获取Tx，x＝2,3,…,M时刻的多路图像数据，所述时间戳的管道同步法是指：无论多路图像中任一路图像当前时间序列是多少，都在每一个图像管道中根据相近时间为切片原点寻找N时间偏移量的新时间片的一组多路图像数据。
3.根据权利要求2所述的自学习多路图像融合的实时矫正方法，其特征在于，所述融合模板学习生成步骤中根据图像的预分割宏块建立初始评价分块的融合矩阵的具体过程如下：对于一个像素矩阵中相邻像素做均方，或按照中值线做均方，或者按照定点距离均值去逐级对相邻像素做补偿加减计算后的结果形成一个融合矩阵。
4.一种自学习多路图像融合的实时矫正系统，其特征在于，包括如下模块：
融合模板学习生成模块：基于覆盖区域图像中的色彩对视野中的轮廓以及物体特征进行提取和匹配，学习生成匹配模板；
多路图像实时融合模块：一次获取多个时刻下的多路图像数据和所述匹配模板进行融合，得到融合后的图像；
融合后的图像质量机器评价模块：对融合后的图像进行评价；
模糊多次学习模块：当融合失败时，返回执行融合模板学习生成模块；当融合成功时，将原始图像特征区域的最小宏块缩小一个或多个级别作为预分割宏块，生成进一步提升精度和辨识度的备用匹配模板；
所述融合后的图像质量机器评价模块包括：基于融合前多路图像中的峰值信噪比最大值和中值作为融合后的图像的辅助判断的上限和下限，并以融合后的图像中的空占比，即空值占整个图像的空间比例来判断图像是否融合成功，若融合后图像中的空占比大于阈值P，则认为融合失败，删除融合后的图像，重新运行融合模板学习生成模块、多路图像实时融合模块以及融合后的图像质量机器评价模块；若融合后的图像中的空占比小于等于阈值P，则认为融合成功，执行模糊多次学习模块；其中，阈值P的取值即为精度和容忍度。
5.根据权利要求4所述的自学习多路图像融合的实时矫正系统，其特征在于，所述融合模板学习生成模块中根据图像的预分割宏块建立初始评价分块的融合矩阵的具体过程如下：对于一个像素矩阵中相邻像素做均方，或按照中值线做均方，或者按照定点距离均值去逐级对相邻像素做补偿加减计算后的结果形成一个融合矩阵。
6.根据权利要求4所述的自学习多路图像融合的实时矫正系统，其特征在于，所述多路图像实时融合模块中基于时间戳的管道同步法，按照固定帧率步伐，一次获取Tx，x＝2,3,…,M时刻的多路图像数据和所述匹配模板进行融合，令N＝Tj+1-Tj，其中j为[2,M-1]中的自然数，其中Tx表示第x个时刻，Tj表示第j个时刻，Tj+1表示第j+1个时刻，N表示一个固定帧率步伐的时间间隔；所述时间戳的管道同步法是指：无论多路图像中任一路图像当前时间序列是多少，都在每一个图像管道中根据相近时间为切片原点寻找N时间偏移量的新时间片的一组多路图像数据；
M取值范围是[3,12]，N的取值为20ms，具体地，Tx，x＝2,3,…,M表示从T2开始以20ms依次累加递增直到流程结束。
CN201710213911.6A 2017-04-01 2017-04-01 自学习多路图像融合的实时矫正方法及系统 Active CN107085842B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710213911.6A CN107085842B (zh) 2017-04-01 2017-04-01 自学习多路图像融合的实时矫正方法及系统
PCT/CN2017/117123 WO2018176926A1 (zh) 2017-04-01 2017-12-19 自学习多路图像融合的实时矫正方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710213911.6A CN107085842B (zh) 2017-04-01 2017-04-01 自学习多路图像融合的实时矫正方法及系统

Publications (2)

Publication Number Publication Date
CN107085842A CN107085842A (zh) 2017-08-22
CN107085842B true CN107085842B (zh) 2020-04-10

Family

ID=59614960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710213911.6A Active CN107085842B (zh) 2017-04-01 2017-04-01 自学习多路图像融合的实时矫正方法及系统

Country Status (2)

Country Link
CN (1) CN107085842B (zh)
WO (1) WO2018176926A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107085842B (zh) * 2017-04-01 2020-04-10 上海讯陌通讯技术有限公司 自学习多路图像融合的实时矫正方法及系统
CN109377496B (zh) * 2017-10-30 2020-10-02 北京昆仑医云科技有限公司 用于分割医学图像的系统和方法及介质
CN109190626A (zh) * 2018-07-27 2019-01-11 国家新闻出版广电总局广播科学研究院 一种基于深度学习的多路径特征融合的语义分割方法
CN109272465B (zh) * 2018-09-15 2021-11-05 武汉智觉空间信息技术有限公司 一种航空影像色彩一致性处理算法
CN110087124A (zh) * 2019-06-05 2019-08-02 聚好看科技股份有限公司 智能电视的远程控制方法、终端设备和智能电视
CN110490914B (zh) * 2019-07-29 2022-11-15 广东工业大学 一种基于亮度自适应和显著性检测的图像融合方法
CN112862740B (zh) * 2019-11-28 2022-07-19 宁波微科光电股份有限公司 一种地铁障碍物检测方法
CN111950613B (zh) * 2020-07-30 2022-08-12 上海卫星工程研究所 多源引导信息星上实时融合处理方法及系统
US11748871B2 (en) 2020-09-28 2023-09-05 KLA Corp. Alignment of a specimen for inspection and other processes
CN112435167B (zh) * 2020-12-01 2024-03-12 深圳市豪恩汽车电子装备股份有限公司 机动车车底路面图像获取装置及方法
CN112258427B (zh) * 2020-12-18 2021-03-30 北京红谱威视图像技术有限公司 一种红外图像的修复方法及装置
CN117953470A (zh) * 2024-03-26 2024-04-30 杭州感想科技有限公司 全景拼接相机的高速公路事件识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279923A (zh) * 2013-06-14 2013-09-04 西安电子科技大学 基于重叠区域的局部图像融合处理方法
CN104361569A (zh) * 2014-11-11 2015-02-18 浙江宇视科技有限公司 图像拼接的方法及装置
CN104506828A (zh) * 2015-01-13 2015-04-08 中南大学 一种无有效重叠变结构的定点定向视频实时拼接方法
CN105894449A (zh) * 2015-11-11 2016-08-24 乐卡汽车智能科技（北京）有限公司 克服图像融合中颜色突变的方法及系统
CN106023072A (zh) * 2016-05-10 2016-10-12 中国航空无线电电子研究所 一种用于曲面大屏幕的图像拼接显示方法
CN106303296A (zh) * 2016-08-30 2017-01-04 许昌学院 一种图像拼接融合系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7034843B2 (en) * 2002-07-10 2006-04-25 Genesis Microchip Inc. Method and system for adaptive color and contrast for display devices
CN103714343B (zh) * 2013-12-31 2016-08-17 南京理工大学 线激光器照明条件下双线阵相机采集的路面图像拼接及匀化方法
US20170032172A1 (en) * 2015-07-29 2017-02-02 Hon Hai Precision Industry Co., Ltd. Electronic device and method for splicing images of electronic device
CN105554447B (zh) * 2015-12-11 2018-10-23 北京天地玛珂电液控制系统有限公司 一种基于图像处理技术的采煤工作面实时视频拼接系统
CN106056600A (zh) * 2016-05-26 2016-10-26 中山大学 一种基于Contourlet变换的图像拼接检测方法
CN107085842B (zh) * 2017-04-01 2020-04-10 上海讯陌通讯技术有限公司 自学习多路图像融合的实时矫正方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279923A (zh) * 2013-06-14 2013-09-04 西安电子科技大学 基于重叠区域的局部图像融合处理方法
CN104361569A (zh) * 2014-11-11 2015-02-18 浙江宇视科技有限公司 图像拼接的方法及装置
CN104506828A (zh) * 2015-01-13 2015-04-08 中南大学 一种无有效重叠变结构的定点定向视频实时拼接方法
CN105894449A (zh) * 2015-11-11 2016-08-24 乐卡汽车智能科技（北京）有限公司 克服图像融合中颜色突变的方法及系统
CN106023072A (zh) * 2016-05-10 2016-10-12 中国航空无线电电子研究所 一种用于曲面大屏幕的图像拼接显示方法
CN106303296A (zh) * 2016-08-30 2017-01-04 许昌学院 一种图像拼接融合系统

Also Published As

Publication number Publication date
WO2018176926A1 (zh) 2018-10-04
CN107085842A (zh) 2017-08-22

Similar Documents

Publication Publication Date Title
CN107085842B (zh) 自学习多路图像融合的实时矫正方法及系统
CN101394573B (zh) 一种基于特征匹配的全景图生成方法及系统
CN108769578B (zh) 一种基于多路摄像头的实时全景成像系统及方法
US9019426B2 (en) Method of generating image data by an image device including a plurality of lenses and apparatus for generating image data
CN107545538B (zh) 一种基于无人机的全景图像拼接方法及装置
CN107087107A (zh) 基于双摄像头的图像处理装置及方法
CN112365404B (zh) 一种基于多相机的接触网全景图像拼接方法、系统及设备
CN104159026A (zh) 一种实现360度全景视频的系统
CN109241968B (zh) 图像内容倾斜角度预测网络训练方法及修正方法、系统
CN111476714B (zh) 基于psv神经网络的跨尺度图像拼接方法及装置
CN112784834A (zh) 一种自然场景下的车牌自动识别方法
CN112396558A (zh) 图像处理方法、装置及计算机可读存储介质
CN106060509A (zh) 引入颜色校正的自由视点图像合成方法
CN104469153A (zh) 快速调焦方法和系统
CN109714530A (zh) 一种航空相机图像调焦方法
CN111932594B (zh) 一种基于光流的十亿像素视频对齐方法及装置、介质
CN113298707B (zh) 图像帧拼接方法、视频巡检方法、装置、设备及存储介质
CN116132729A (zh) 一种山体滑坡监测用全景视频拼接方法及系统
CN112950698B (zh) 基于双目散焦图像的深度估计方法、装置、介质和设备
CN115345781A (zh) 一种基于深度学习的多视点视频拼接方法
CN112991207A (zh) 全景深度估计方法、装置、终端设备及存储介质
CN112637573A (zh) 一种多镜头切换的显示方法、系统、智能终端及存储介质
CN113066010B (zh) 全景拼接图像的二次调整方法、装置、电子设备及存储介质
CN117237779B (zh) 可见光图像和红外图像结合分析的图像识别方法及系统
CN111242998A (zh) 图像融合方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant