CN106204452A - 一种基于图像分块和选帧的大视场太阳光球图像重建方法 - Google Patents

一种基于图像分块和选帧的大视场太阳光球图像重建方法 Download PDF

Info

Publication number
CN106204452A
CN106204452A CN201610551617.1A CN201610551617A CN106204452A CN 106204452 A CN106204452 A CN 106204452A CN 201610551617 A CN201610551617 A CN 201610551617A CN 106204452 A CN106204452 A CN 106204452A
Authority
CN
China
Prior art keywords
image
sub
block
sequence
optimal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610551617.1A
Other languages
English (en)
Other versions
CN106204452B (zh
Inventor
邓辉
胡超
季凯帆
杨云飞
冯松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN201610551617.1A priority Critical patent/CN106204452B/zh
Publication of CN106204452A publication Critical patent/CN106204452A/zh
Application granted granted Critical
Publication of CN106204452B publication Critical patent/CN106204452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及基于图像分块和选帧的大视场太阳光球图像重建方法,属天文技术和图像处理技术领域。本发明采用平均梯度值方法挑选出图像质量最好的一个子块;再采用平均梯度值方法从待重建的图像序列中挑出整体图像质量最好的一帧作为背景图像,把此背景图像分块;再将每个子块序列中最佳子块图像与所对应的最佳背景图像子块对齐形成待融合的子块;将对齐后的待融合的子块按对应的位置拼接成完整图像。本发明能够较好的选出每帧图像中质量最好的子部分,再将序列中最好的子部分拼接成一幅完整图像,从而使重建后的图像在各个部分都比直接拍摄的图像清晰,消除了大部分大气湍流对拍摄图片产生的随机畸变。

Description

一种基于图像分块和选帧的大视场太阳光球图像重建方法
技术领域
本发明涉及一种基于图像分块和选帧的大视场太阳光球图像重建方法,属于天文技术和图像处理技术领域。
背景技术
天文图像在采集过程中,由于大气湍流的因素限制了地面望远镜的成像分辨率,而在太阳观测图像中,短曝光像存在严重的随机畸变,因此需要对采集的天文图像进行重建,以消除大部分大气湍流对图像的影响,这对太阳活动的研究显得尤为重要。
图像重建技术起源于20世纪70年代,目前太阳高分辨率图像重建技术主要有两类:(1)以斑点图的各阶统计为基础的斑点成像技术(Speckle Imaging,简称SI),(2)基于退卷积瞬时点扩展函数的太阳多帧盲反卷积(Multi-Frame Blind Deconvo-lution,简称MFBD)和相位差法(Phase Diversity,简称PD)。
斑点成像技术的算法是基于一组含高频信息的短曝光图像的统计计算来重建目标高频信息,重建算法遵循湍流大气成像理论和线性理论。其按统计方式分有一阶矩统计、二阶统计和三阶统计;按重建算法主要分为频域重建和空域重建两类。频域重建方法分为:基于二阶统计的Labeyrie法、Knox-Thompson法和三阶统计的斑点掩模法;基于一阶统计的方法都为空域重建方法分为:简单位移叠加法、迭代位移叠加法和基于选帧的相关位移叠加法等。
基于退卷积瞬时点扩展函数的太阳多帧盲反卷积和相位差法则是试图通过优化算法找到最接近实际的瞬时点扩展函数,并在优化过程中退掉瞬时点扩展函数的方式来重建目标。
然而,因望远镜拍摄天文图像的尺寸大小、星体部位等各方面的不同,对图像处理的要求也不同。例如,观测太阳的图像就有全日面图像、半日面图像、局部图像、黑子图像、米粒图像等等;一部分图像需要对所有细节进行重建,一部分则需要对特定部分进行精密重建。
本发明处理的实验数据来源于我国云南省抚仙湖太阳观测基地的光学和近红外太阳爆发探测望远镜(Optical and Near-infrared Solar Eruption Tracer,ONSET)。ONSET望远镜图像分辨率为3102*2720,该图像的处理要求是尽可能使图像中各个细节清晰地显示出来,这就需要对整张图的所有部分都进行重建,属于上述介绍的空域重建。
发明内容
本发明提供了一种基于图像分块和选帧的大视场太阳光球图像重建方法,本发明使用的方法相对现在已有的图像重建技术来说更加有效的改善了大气湍流对望远镜成像的影响,有效的选帧使重建后的图像更为清晰和细腻,分块留出的重叠区和恰当的拼接处理解决了子块拼接所产生的缝隙,从放大的效果来看,拼接处的效果理想,过渡自然,没有明显的缝隙。
本发明的技术方案是:一种基于图像分块和选帧的大视场太阳光球图像重建方法,所述方法的具体步骤为:
步骤1:图像分块:对待重建的图像序列中每一帧图像进行分块,将其分割为若干个大小相同、边缘部分重叠的子块,且每个相同位置的子块构成一个子块序列;
步骤2:最佳子块挑选:采用平均梯度值方法从每个子块序列中挑选出图像质量最好的一个子块作为最佳子块图像;
步骤3:最佳背景图像挑选:采用平均梯度值方法从待重建的图像序列中挑出整体图像质量最好的一帧作为背景图像,把此背景图像分块构成最佳背景图像子块序列;
步骤4:子块对齐:采用互相关方法计算出最佳子块图像相对于最佳背景图像子块序列的偏移量后,将每个子块序列中最佳子块图像与所对应的最佳背景图像子块对齐形成待融合的子块;
步骤5:子块融合实现重建:将对齐后的待融合的子块按对应的位置拼接成完整图像。
本发明的有益效果是:
1、本发明有效的改善了大气湍流对望远镜成像中局部位置变形、模糊、偏移、失真等影响,平均梯度值方法能有效剔除图像序列中变形模糊严重、细节不完整的图像并且能够挑选出受大气湍流影响最小、细节最丰富,质量最好的图像及局部用于重建,图像的各部分细节经过重建后更为准确,清晰,拼接处完整自然没有缝隙;
2、本发明能够较好的选出每帧图像中质量最好的子部分,再将序列中最好的子部分拼接成一幅完整图像,从而使重建后的图像在各个部分都比直接拍摄的图像清晰,消除了大部分大气湍流对拍摄图片产生的随机畸变;
3、本发明重建后的图像大黑子边上的小黑子与周围的米粒组织结构对比度更大,且小黑子结构边界清晰,细节丰富;
4、本发明分块留出重叠区对子块的拼接所产生的缝隙有明显改善,重建后图像的拼接处从放大的效果来看,拼接处的效果理想,过渡自然,没有明显的缝隙。
附图说明
图1是本发明重建高分辨率图像方法的总体流程图;
图2是本发明中云南省抚仙湖太阳观测基地的光学和近红外太阳爆发探测望远镜观测到的高分辨率图像;
图3是图像分块示意图;
图4是局部图像序列利用平均梯度值排序后的20张图像的排列图像;
图5是待重建原图像黑子局部图像;
图6是重建后图像黑子局部图像;
图7是重建后图像局部米粒对比图;
图8是重建后图像局部小黑子对比图;
图9是重建后图像的拼接处图像。
具体实施方式
实施例1:如图1-9所示,一种基于图像分块和选帧的大视场太阳光球图像重建方法,所述方法的具体步骤为:
步骤1:图像分块:对待重建的图像序列中每一帧图像进行分块,将其分割为若干个大小相同、边缘部分重叠的子块,且每个相同位置的子块构成一个子块序列;
具体的,本例中的图像数据来源于云南省抚仙湖太阳观测基地的光学和近红外太阳爆发探测望远镜(Optical and Near-infrared Solar Eruption Tracer,ONSET)观测到的高分辨率图像,图2为ONSET望远镜于2013年5月27日06:02时的观测图像),为了能够解决子块拼接出现缝隙对重建图像的影响,本发明在对图像进行分块时将每个相邻子块边缘留出5个像素的重叠区,如图3所示,子块1为图像中任意的一个子块,子块1分别与子块2、子块3、子块4、子块5相邻,它们互相间都有5像素的重叠区域,子块1周围的四个顶点区域为三个子块的重叠区域。
本发明实验数据的图像大小为3104行2720列,经试验,将每个子块的大小为100行100列较为合理,扣除其中5像素重叠区,则每块分为95行95列,但图像按100*100规格不能分成整数块,所以分块时舍弃图像右侧和下方将产生不足100列或100行的部分,共分为28个列块和32个行块。每列截取区域为95*27+100*1,前27个子块每块为95列,最后一个子块为100列,所截取列数为0到2664列。同理行方向上的截取行数为0到3044行。最后,将原始图像序列中每张图像截取到的相同位置子块存储到同一个子块序列中。
步骤2:最佳子块挑选:采用平均梯度值方法从每个子块序列中挑选出图像质量最好的一个子块作为最佳子块图像;
具体的,在得到相同位置的子块序列后需对其进行图像的选帧。由于目标图像中物体边缘和细节较多,使用平均梯度值作为图像质量评价标准效果较好,其公式为:
A G = 1 ( M - 1 ) ( N - 1 ) Σ i = 1 M - 1 Σ j = 1 N - 1 ( F ( i + 1 , j ) - F ( i , j ) ) 2 + ( F ( i , j + 1 ) - F ( i , j ) ) 2 2
其中AG为平均梯度值,F(i,j)为图像中第i行,第j列的灰度值,M为图像总行数,N为图像总列数。(F(i+1,j)-F(i,j))2为F点与其下方点的灰度值之差的平方,(F(i+1,j)-F(i,j))2为F点与其右侧点的灰度值之差的平方。将两个平方相加后除以2再开根号,所得值即为单个点的梯度值。再将图像中所有像素点的梯度值累加后求平均,即为所求图像的平均梯度值。
求得平均梯度值后将同一子块序列的图像按平均梯度值由大到小排序,平均梯度值越大图像越清晰,由此,子块序列的第一张就是该图像序列中的最佳子块。图4为子块图像序列采用平均梯度值法排序后前20张图像序列,此图像用肉眼观察就能判断出图像的质量依次是从好到坏的。
步骤3:最佳背景图像挑选:采用平均梯度值方法从待重建的图像序列中挑出整体图像质量最好的一帧作为背景图像,把此背景图像分块构成最佳背景图像子块序列;
最佳子块挑选完后采用上述步骤2中的平均梯度值法计算出原始图像序列中整张图像的平均梯度值,将所有图像按其平均梯度值由大到小排序,选择第一张即为背景图像。随后按步骤1的方法将其分块,单独放到背景图像序列中,这些背景图像子块将作为最佳子块的对齐基准。
步骤4:子块对齐:采用互相关方法计算出最佳子块图像相对于最佳背景图像子块序列的偏移量后,将每个子块序列中最佳子块图像与所对应的最佳背景图像子块对齐形成待融合的子块;
具体的,为了能够解决子块拼接出现缝隙对重建图像的影响,本实验在融合拼接前先进行子块对齐。对齐首先利用互相关算法计算图像间的偏移量,两幅图相关性最强的位置坐标即为偏移量,得到偏移量后将最佳子块平移与背景图像子块对齐。最佳子块大小和信息不能改变,若移动最佳子块图像会使最佳子块中一部分超出背景子块边界,而另一部分相对于背景图像区域则会缺失,因此将移动后的最佳子块超出背景图像区域部分赋值为0,缺失部分用背景图像填补,至此完成子块对齐。
步骤5:子块融合实现重建:将对齐后的待融合的子块按对应的位置拼接成完整图像。
具体的,将对齐后的待融合的子块按子块序列的顺序向新矩阵中写入数据。由于最佳子块间有五个像素的重叠区,所以写入时有部分重叠,采用的解决方法是:写数据前检测写入位置的值,若值为0,直接赋值;若值不为0,与原值相加后取平均值写入,最终完成子块融合。本发明分块留出重叠区对子块的拼接所产生的缝隙有明显改善,图9为重建后图像经放大的拼接处。从放大的效果来看,拼接处的效果理想,过渡自然,没有明显的缝隙。
为了展示重建后效果,以下对照图例进行说明:图5为重建前于图像序列中随机选取的一个黑子局部,图6为图像重建后的同一个黑子局部,由所附图5与图6对比可以看出:图6中黑子半影区中的线条更加清晰,明显。大黑子边上的小黑子与周围的米粒组织结构对比度更大。附图7是米粒结构部分的对比,左侧为重建前某一局部的米粒结构图像,右侧为重建后同一位置的图像,从图7中可以明显看出,右侧图像的清晰度较左侧图像有了一定程度的提高,左侧窗口中的米粒组织模糊,米粒组织之间分割不清晰,而右侧图像米粒组织与米粒组织之间有较为清晰的分割。图8为图像局部对比图,其中包含了小的黑子结构,小的黑子结构很可能因为大气都抖动而在图片上消失,并且它的边界往往是模糊的,而图8右侧重建后图像较左侧重建前图像小黑子结构边界更为清楚,细节丰富。
上面结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (1)

1.一种基于图像分块和选帧的大视场太阳光球图像重建方法,其特征在于:所述基于图像分块和选帧的大视场太阳光球图像重建方法的具体步骤如下:
步骤1:图像分块:对待重建的图像序列中每一帧图像进行分块,将其分割为若干个大小相同、边缘部分重叠的子块,且每个相同位置的子块构成一个子块序列;
步骤2:最佳子块挑选:采用平均梯度值方法从每个子块序列中挑选出图像质量最好的一个子块作为最佳子块图像;
步骤3:最佳背景图像挑选:采用平均梯度值方法从待重建的图像序列中挑出整体图像质量最好的一帧作为背景图像,把此背景图像分块构成最佳背景图像子块序列;
步骤4:子块对齐:采用互相关方法计算出最佳子块图像相对于最佳背景图像子块序列的偏移量后,将每个子块序列中最佳子块图像与所对应的最佳背景图像子块对齐形成待融合的子块;
步骤5:子块融合实现重建:将对齐后的待融合的子块按对应的位置拼接成完整图像。
CN201610551617.1A 2016-07-14 2016-07-14 一种基于图像分块和选帧的大视场太阳光球图像重建方法 Active CN106204452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610551617.1A CN106204452B (zh) 2016-07-14 2016-07-14 一种基于图像分块和选帧的大视场太阳光球图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610551617.1A CN106204452B (zh) 2016-07-14 2016-07-14 一种基于图像分块和选帧的大视场太阳光球图像重建方法

Publications (2)

Publication Number Publication Date
CN106204452A true CN106204452A (zh) 2016-12-07
CN106204452B CN106204452B (zh) 2019-07-05

Family

ID=57477930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610551617.1A Active CN106204452B (zh) 2016-07-14 2016-07-14 一种基于图像分块和选帧的大视场太阳光球图像重建方法

Country Status (1)

Country Link
CN (1) CN106204452B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035185A (zh) * 2018-06-29 2018-12-18 努比亚技术有限公司 一种图像处理方法及终端
CN109272505A (zh) * 2018-10-19 2019-01-25 中国科学院长春光学精密机械与物理研究所 太阳极紫外图像的偏移量检测方法、装置及电子设备
CN110619616A (zh) * 2019-09-19 2019-12-27 广东工业大学 一种图像处理方法、装置和相关设备
CN115272338A (zh) * 2022-09-29 2022-11-01 南通斯坦普利起重设备有限公司 基于图像处理的天车控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103398782A (zh) * 2013-08-23 2013-11-20 中国船舶重工集团公司第七一七研究所 一种基于大气湍流校正的超分辨率红外热像仪
US20140153690A1 (en) * 2012-11-30 2014-06-05 General Electric Company Systems and methods for imaging dynamic processes
CN104637068A (zh) * 2013-11-14 2015-05-20 华为技术有限公司 视频帧及视频画面遮挡检测方法及装置
CN104899835A (zh) * 2015-04-28 2015-09-09 西南科技大学 基于盲模糊估计与锚定空间映射的图像超分辨处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140153690A1 (en) * 2012-11-30 2014-06-05 General Electric Company Systems and methods for imaging dynamic processes
CN103398782A (zh) * 2013-08-23 2013-11-20 中国船舶重工集团公司第七一七研究所 一种基于大气湍流校正的超分辨率红外热像仪
CN104637068A (zh) * 2013-11-14 2015-05-20 华为技术有限公司 视频帧及视频画面遮挡检测方法及装置
CN104899835A (zh) * 2015-04-28 2015-09-09 西南科技大学 基于盲模糊估计与锚定空间映射的图像超分辨处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
向永源 等: "高分辨率太阳图像重建方法", 《天文学进展》 *
赵青 等: "基于平均梯度和方向对比度的图像融合方法", 《计算机工程与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035185A (zh) * 2018-06-29 2018-12-18 努比亚技术有限公司 一种图像处理方法及终端
CN109272505A (zh) * 2018-10-19 2019-01-25 中国科学院长春光学精密机械与物理研究所 太阳极紫外图像的偏移量检测方法、装置及电子设备
CN109272505B (zh) * 2018-10-19 2020-08-21 中国科学院长春光学精密机械与物理研究所 太阳极紫外图像的偏移量检测方法、装置及电子设备
CN110619616A (zh) * 2019-09-19 2019-12-27 广东工业大学 一种图像处理方法、装置和相关设备
CN115272338A (zh) * 2022-09-29 2022-11-01 南通斯坦普利起重设备有限公司 基于图像处理的天车控制方法

Also Published As

Publication number Publication date
CN106204452B (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN106204452A (zh) 一种基于图像分块和选帧的大视场太阳光球图像重建方法
DE102015003525B4 (de) Überauflösungs-Anzeige unter Benutzung von kaskadierten Tafeln
CN109829855A (zh) 一种基于融合多层次特征图的超分辨率重建方法
CN110634105B (zh) 一种光流法和深度网络结合的视频高时空分辨率信号处理方法
CN106408524A (zh) 基于二维图像辅助的深度图像增强方法
CN101692335B (zh) 一种实现无缝拼接大屏幕显示的图像处理方法及其装置
CN107483910B (zh) 一种长距离裸眼立体显示方法及其系统
CN107578377A (zh) 一种基于深度学习的超分辨率图像重建方法及系统
US20060017979A1 (en) Matrical imaging method and apparatus
JP2002519897A (ja) 自動立体画像のための方法および装置
CN109599053A (zh) 显示屏及显示装置
DE102011056675A1 (de) Bildanzeigevorrichtung
CN105025289B (zh) 一种立体显示方法及装置
CN103424874A (zh) 3d显示驱动方法
CN104461440A (zh) 渲染方法、渲染装置和显示装置
CN109447930A (zh) 小波域光场全聚焦图像生成算法
CN108537862A (zh) 一种自适应降噪的傅里叶衍射扫描显微镜成像方法
CN107545593A (zh) 视觉辅助的傅里叶叠层成像位置标定方法及装置
CN104661014B (zh) 时空结合的空洞填充方法
CN102750681B (zh) 图像边缘锐化的处理装置和处理方法
CN114170079B (zh) 基于引导注意力机制的深度图超分辨方法
CN106297611A (zh) 显示控制方法和装置
Sun et al. Three-dimensional display on computer screen free from accommodation-convergence conflict
EP3090302B1 (de) Verfahren und anordnung zur autoparallaktischen und autostereoskopischen anzeige
CN104464672A (zh) 一种液晶面板显示驱动方法、机芯板及液晶显示器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant