CN114071021A - 提高相机所成图像分辨率的处理方法、装置和系统 - Google Patents
提高相机所成图像分辨率的处理方法、装置和系统 Download PDFInfo
- Publication number
- CN114071021A CN114071021A CN202210040117.7A CN202210040117A CN114071021A CN 114071021 A CN114071021 A CN 114071021A CN 202210040117 A CN202210040117 A CN 202210040117A CN 114071021 A CN114071021 A CN 114071021A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- super
- pixel
- image feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000003384 imaging method Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000008859 change Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像分辨率处理技术领域,且公开了一种提高相机所成图像分辨率的处理方法。所述方法中包括成像装置,所述成像装置包括有感光芯片,所述感光芯片主要起到对拍摄目标成像;微动平台,所述感光芯片位于微动平台上,所述微动平台移动能够驱动感光芯片移动。该提高相机所成图像分辨率的处理方法,通过微动平台来对感光芯片实现精密移动,实现超分辨率拍摄无需对图像实现拼接组合,并且提高了拍摄图像的整体分辨率,使图片更加的清晰,可视化更强。同时对立体图案也可以实现超分辨率拍摄,实现对整体进行拍摄,无需拼接的过程。并且消除了平台移动的组合误差,提升拍摄图片的质量效果。
Description
技术领域
本发明涉及图像分辨率处理技术领域,具体为一种提高相机所成图像分辨率的处理方法、装置和系统。
背景技术
随着数字成像设备的广泛使用和技术的发展,大量的图像应用要求处理数字成像设备的数字图片,而图像在各个领域的应用又促使人们对图像质量提出了更高的要求。
图像分辨率是图像质量的一项重要指标,高分辨率图像在遥感监测、军事侦察、交通及安全监控、医学诊断处理、模式识别等专业领域起着非常重要的作用,在日常应用中,高分辨率图像能带来也良好的视觉感受,能辨别图像细微之处的变化差异。
但是,任何摄像设备的所成图像均受成像系统物理条件限制。现有的通过提高工艺水平,减小探测元尺寸,增加探测元集成数量,虽然可以达到提高图像分辨率的目的,但这些手段受到现有技术水平和设备本身特性的限制。进一步减小探测元尺寸,增加探测元集成数量,会导致设备的价格不成比例的急剧提高,使其无法得到普及使用。
中国专利公开号CN109729272A公开了一种拍摄控制方法、终端设备及计算机可读存储介质,应用于图像处理技术领域。而该种技术方案需要预设拍摄区域,对预设的拍摄区域内,进行调整拍摄参数,通过调整该区域的拍摄参数,来调整清晰度,无法对整张照片进行超分辨率进行拍摄,镜头的选择就已决定了图片的分辨率,造成对图片分辨率无法进一步得到提高。
而目前现有的工艺方法中,在拍摄过程中对拍摄体所成图像实现局部拍摄组合,拼合成一张整体的图片,以此来提高拍摄图片的分辨率。这样的方式,就需要不断移动拍摄装置来进行拍摄,无疑降低了拍摄过程的速率,对环境拍摄要求过高,无法对立体物件进行超分辨率拍摄。存在一定的边界,对于镜头来说无法识别离镜头远近的效果,并且存在拍摄单张图片组合过程中无法对齐的可能,进而降低了拍摄图片的质量的问题。故而提出一种提高相机所成图像分辨率的处理方法来解决上述所提出的问题。
发明内容
解决的技术问题
针对现有技术的不足,本发明提供了一种提高相机所成图像分辨率的处理方法,具备超分辨拍摄,提高拍摄图像的分辨率等优点,解决传统高分辨率拼接组合拍摄过程中效率低,存在拍摄边界的问题。
技术方案
为实现上述目的,本发明提供如下技术方案:提高相机所成图像分辨率的处理方法,包括,
成像装置,所述成像装置包括有感光芯片,所述感光芯片主要起到对拍摄目标成像;
微动平台,所述感光芯片位于微动平台上,所述微动平台移动能够驱动感光芯片移动;
通过以下步骤获取任意目标特征超分辨率图片:
步骤S1:首先获取模板特征物体,用成像装置对特征物体成像,获取若干张图像特征一;
步骤S2:对图像特征一利用超分辨方法获取一张图像特征二;
步骤S3:对模板特征物体等比放大N倍后,用相同成像装置获取一张图像特征三;
步骤S4:将图像特征二与图像特征三依据卷积核运算获取该成像装置中感光芯片的卷积核常量M;
步骤S5:引入任意新的特征物体,用相同的成像装置对新的特征物体成像,并采用超分辨率方法获取任意新的特征物体的目标图像特征;
步骤S6:将步骤S5中的目标图像特征,根据卷积核作去卷积运算,获取任意目标特征超分辨率图片。
优选的,还包括有载体,用于放置拍摄工件;
固定组件,用于固定成像装置的位置。
优选的,所述成像装置还包括有镜头,所述镜头为远心镜头
优选的,所述步骤S1中通过以下方法获取若干张图像特征一;
设定超分辨率的倍数为N,N为超分辨率后的图片尺寸是原始图片尺寸的N倍;
感光芯片移动的区域范围沿水平方向和竖直方向均为(N-1)/N个像元单位;
在所述移动区域范围内等距阵列N平方个拍摄点,相邻的拍摄点在水平方向和竖直方向间距均为1/N个像元单位;
所述感光芯片通过微动平台移动带动感光芯片移动到每一个拍摄点对模板特征成像,获取N平方张图像特征一。
优选的,所述步骤S2中通过如下步骤获取图像特征二;
记每张图像特征一中的像素个数为S,则放大N倍后的图像特征二像素个数为S×N×N个,且图像特征一的每一个像素位置均一一对应图像特征二中的像素位置,并将每个图像特征一的像素点位置的数值赋予图像特征二中所对应的像素点位置的数值,通过以下方法建立图像特征一的像素点位置与图像特征二中像素点位置的关系;
将第k张图像特征一中任意一个像素点像素坐标记为P(I,J),k为任意一张图像特征一;
与P点所对应的在图像特征二中的像素坐标为P1(I1,J1);所述I1和J1的位置参数通过以下公式计算获取:
I1= I×N+k%N;
J1= J×N+[k/N];
N>1的整数,k大于等于0的整数,%为模运算,[k/N]为取整
优选的,通过以下公式计算出步骤S4中的卷积核常量M,
图像特征二中的任意一点A(i,j)的像素数值为aij;
在图像特征三中存在一点记为B(i,j)的像素数值为bij,A点与B点的像素位置坐标相同;
卷积核常量M的求解结果通过以下公式得出:
MT=(m1,m2,m3,...mn2),
则
aij=(bi,j,bi,j+1,...,bi,j+n-1,bi+1,j,bi+1,j+1,...,bi+1,j+n-1, bi+n-1,j,b i+n-1,j+1,...,b i+n-1,j+n-1)×,
Ac×1=B c×n 2×Mn 2 ×1;
BTA=BTBM,
M=(BTB)-1BTA。
优选的,所述步骤S6中获取任意目标特征超分辨率图片的图片方法:
将获取的图像特征二和获取的卷积核常量依据傅里叶变换转换为频域;
将图像特征二获取的频域除以卷积核常量获取的频域记为频域二;
将频域二作傅里叶逆变化获取最终的目标特征超分辨率图片。
优选的,所述微动平台包括有X轴移动装置和Y轴移动装置,所述X轴移动装置包括有第一驱动件和固定件,所述固定件与感光芯片连接,所述第一驱动件驱动固定件移动带动感光芯片横向移动。
优选的,所述Y轴移动装置包括有第二驱动件和连接件,所述连接件与X轴移动装置连接,所述第二驱动件驱动连接件移动带动X轴移动装置竖直方向移动。
优选的,所述X轴移动装置和Y轴移动装置的移动精度要求偏差≤像元/10Nμm。
有益效果
与现有技术相比,本发明提供了一种基于超分辨率提高相机所成图像分辨率的处理方法,具备以下有益效果:
1.该基于超分辨率提高相机所成图像分辨率的处理方法,因为通过使用超分辨率的方法,经过图像特征一、图像特征二和图像特征三,计算获取卷积核常量M。通过对同一个成像装置所成的图片使用卷积核常量进行反卷积,拟制出远超过相机物理属性所能拍摄的分辨率的图片,突破了相机分辨率的限制。
2.相对于现有技术,成像装置绑定于移动装置上,实现大距离的移动,并对同一物体不同的位置拍摄多张图片,然后将拍摄的多张图片,拼接成为一张完整图片。因为有拼接图片的过程,所以成像装置在大距离移动,会产生拍摄误差,使得图片与图片产生拼接差异。本发明中所述的成像装置为感光芯片,使用大视野的镜头将目标物体全部囊括于拍摄视野之下。采用本发明方法后,无需对图片进行图像拼接,即可获得与现有技术拼接方案所获得的相同分辨率的图像。由于目标特征全部囊括于视野当中,因此可以实现对现有技术当中无法完成的三维物体进行拍摄。
3.现有技术中成像装置中大距离的多次移动成像,消耗较多时间。而本发明中通过微动平台实现成像装置微米或亚微米级的移动,拍摄时间明显缩短,提高拍摄成像的效率。
4.现有技术中,对目标物体进行尺寸测量时,其精度有赖于多张图片的拼接精度,而拼接精度取决于成像装置的移动精度,而成像装置在大距离移动不可避免累积移动的误差,因此现有技术拍摄精度低。而本发明中,应用于尺寸测量时首先无需拼接图片,且移动误差基本可以忽略,因此测量精度高。
本发明通过微动平台来对感光芯片实现精密移动,避免直接移动拍摄装置,造成移动距离过长,拍摄效率慢的情况。并且采用移动感光芯片的方式实现超分辨率拍摄无需对图像实现拼接组合,并且提高了拍摄图像的整体分辨率,使图片更加的清晰,可视化更强。同时对立体图案也可以实现超分辨率拍摄,实现对整体进行拍摄,无需拼接的过程。并且消除了平台移动的组合误差,提升拍摄图片的质量效果。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中心的技术方案,下面将对具体实施方式或现有技术描述所需要实用的附图作简单介绍:
图1为本发明的微动平台结构示意图;
图2为本发明中拍摄物体某一像素点在虚拟坐标系中的示意图;
图3为本发明中标定板的示意图;
图4为本发明中标定板使用超分辨率方法的示意图;
图5为本发明中对标定板超分辨率后的图片去卷积后的示意图 ;
图6为本发明中对目标物体拍摄25张图片中的一张示意图;
图7为本发明中对目标物体超分辨率图片的示意图;
图8为本发明中对目标物体超分辨率后的图片去卷积后的示意图;
图9为本发明中拍摄放大五倍后某一像素点的坐标示意图。
附图说明:1、架体;2、Y轴驱动马达;3、X轴驱动马达;4、连接座;5、感光芯片;6、线路板;7、镜头;8、支架;9、支板。
具体实施方式
下面将结合本发明的实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1一种通过微动平台获取图像后提高图像分辨率的方法
请参阅图1,一种微动平台,其用于承载成像装置,并驱动成像装置在平台限定的方向进行移动。所述微动平台包括有架体1,架体1底部固定安装有镜头7。所述镜头7是成像装置一个部分,其用于对镜头7下方的被拍摄物体进行聚焦作用。为了驱动所述镜头7在平台所限定的方向移动,在架体1上固定安装有Y轴驱动马达2,Y轴驱动马达2的输出端连接有X轴驱动马达3。Y轴驱动马达2和X轴驱动马达3组成一个标准的X-Y坐标系的平面移动的动力机构。X轴方向由X轴驱动马达3带动连接座4进行横向移动,而Y轴驱动马达2则是直接驱动X轴驱动马达3沿Y轴移动。所述X轴驱动马达3输出端与连接座4连接。所述连接座4是一个固定机构,用于固定感光芯片5,感光芯片5与镜头7组合形成完整的成像机构,所拍摄的物体经过镜头调焦后,影像会投射至感光芯片5上。感光芯片5能把光线转变为电荷,通过模数转换器芯片转换成数字信号,数字信号经过压缩以后由相机内部的存储器对其进行存储,将数据反馈给计算机。在本实施例中,所述微动平台通过X-Y轴方向利用X轴驱动马达3和Y轴驱动马达2带动所述感光芯片5在X-Y平面内移动,对同一被拍摄物体多次成像获取多张图片。标准的X-Y坐标系的平面移动的动力机构并不仅限于由X轴驱动马达3和Y轴驱动马达2所组成,也可以是如由压电控制实现的驱动动力机构。在本实施例中,所述感光芯片5是通过排线连接有线路板6的。所述线路板6是对感光芯片5的工作起到控制和调节的电路系统。在本实施例当中,控制调节主要是指通过线路板6的控制系统控制感光芯片5成像的次数,参数的设置,数据的调取其中的一项或者多项。所述线路板6是通过螺柱安装在支板9上,所述支板9是与支架8连接。当需要对感光芯片5进行微动时,X轴驱动马达3和Y轴驱动马达2的相互配合运动,以此来对感光芯片5实现沿Y方向移动和X轴方向的移动。因为移动的精度要求比较高,所以感光芯片5的移动单位是以μm来计算。而所述X轴移动装置和Y轴移动装置的移动精度要求偏差≤像元/(10N)。像元,亦称像素点或像元点它是传感器对地面景物进行扫描采样的最小单元;在数字图像处理中,它是对模拟影像进行扫描数字化时的采样点。是构成遥感数字图像的基本单元,是遥感成像过程中的采样点。像元是反映影像特征的重要标志,所以在该移动精度下所拍摄的图像误差会降到最低。
以上装置作为本发明中所应用的方法实现的结构特征。基于如上结构实现一种提高相机所成图像分辨率的方法。
一种提高相机所成图像分辨率的方法:
步骤一,设置一张标定板,通过如上装置的感光芯片5对标定板进行25次成像获取的25张图像。
本实施例中,采用微动平台移动25次获取如上25张图片,而所述微动平台的移动方法为:
在初始点原点调整镜头7直至满足拍摄需求,所述感光芯片5对标定板进行拍摄获取第一张图片。然后沿X轴驱动马达3驱动感光芯片5沿X轴正半轴方向移动4次,每次移动距离为1/5个像元单位。随后Y轴驱动马达2驱动感光芯片5向Y轴负半轴移动,接着X轴驱动马达3再沿X轴负半轴方向依次移动四次,每次移动都会进行拍摄。移动的方式类似于S形,进行拍摄全部覆盖。
在本实施例中,如图2为将感光芯片5移动的区域面积划分为25个拍摄区域,每次拍摄均是对整个拍摄区域进行成像而非仅对所划分的小区域面积进行单独拍摄。感光芯片5像元尺寸为2.4微米,在平台原始位置拍摄第一张图片,X轴向X轴正半轴移动2.4/5=0.48微米,拍摄第二张图片,以该方式总共移动4次,拍摄5张图片。Y轴向下移动0.48微米,拍摄第六张图片,随后向X轴负半轴方向移动0.48微米,拍摄第七张图片,以上述方式总共拍摄25张照片。
本方法仅为所提出的一种移动拍摄方式控制感光芯片5移动拍摄的方法,为达成本方法所要拍摄25张图片的目的,仅需要对如图2当中所列25个区域范围内拍照成像即可,而无需以拍摄次序作为限定,并且每次拍摄均是对整个拍摄区域进行成像而非仅对所划分的小区域面积进行单独拍摄。而本实施例中可以通过对线路板6进行程序设定来控制X轴驱动马达3和Y轴驱动马达2的程序控制,以实现对感光芯片5的自动走位顺序控制。
图3为这25张图像其中的一张,是为原始尺寸的标定板采用感光芯片5拍摄图像所成的图片为图像特征一。
步骤二,对步骤一所获取的图像特征一采用超分辨率方法获取图像特征二,所述超分辨率方法为:
将图像特征一在图像的水平方向和竖直方向同时放大5倍(这里的5倍是与步骤一中所成像次数开根号所计算获取的,步骤一中所成像次数为25次,这里的放大倍数为5倍)。如图4所示为对图3所示的图像特征一在水平和竖直方向放大5倍后所获取的图像特征二。
在图3中的图像特征一像素个数为43×43(由计算机对图像读取获得),因此图4中图像特征二的像素个数为43×5×43×5(是由图3在水平和竖直方向放大后,像素个数变为图像特征一的52倍)。
经过上述描述超分辨率方法是基于对实际物体拍摄成像之后等比例放大所获取的图像。
步骤三,将标定板等比例放大5倍后采用相同的成像装置。即用相同的感光芯片5和相同的镜头7,感光芯片5的分辨率与拍摄图像特征一的分辨率是完全相同的,而镜头7可以采用远心镜头。
通过感光芯片5对等比例放大5倍后的标定板拍摄一次图像,获取图像特征三。图像特征三与图像特征一的关系是:两张图片均对同一标定板的内容进行拍摄,图像特征三的像素个数为43×5×43×5,是图像特征一像素的25倍。图像特征三与图像特征二的关系是:两者像素个数相同,所有像素点均能够找到一一对应的像素位置关系。
本实施例中,采取通过以下方法建立起图像特征二与图像特征三每一个像素点的像素位置关系,并通过这种像素位置关系获取图像特征二变换成为图像特征三的卷积核常量M。而卷积核常量M是由感光芯片5的物理参数所决定的,通过去卷积(反卷积是先按照一定的比例通过补偿来扩大输入图像的尺寸,接着旋转卷积核,再进行正向卷积),获取拟制出的超分辨率的图像,这种超分辨率是基于图像特征二和图像特征三比对所获取的,感光芯片5的超分辨“能力”所拟制出来的超分辨率图像。
通过以下方法步骤实现拟制获得超分辨率图像:
记图3中图像特征一中的像素个数为43×43,则放大5倍后的图像特征二像素个数为43×5×43×5个。而共有与图像特征一所相同的25张图片,所以图像特征一的每一个像素位置均能够在对应图像特征二中找到相应的像素位置,同时其他24张图像也能相应的在图像特征二中的像素特征位置。因此25张图片中的所有像素点均能够一一对应在图像特征二中找到相应的像素位置。
将每个类似于图像特征一的25张图片的像素点位置的像素数值赋予图像特征二中所对应的像素点位置的像素数值,则获得图4所表示的超分辨率后的图像。其中通过以下方法建立类似于图像特征一的25张图片的像素点位置与图像特征二中像素点位置的关系:
本实施例中,将25张图片中第3张图像特征一图片如本实施例中的图3中任意一个像素点像素坐标记为P(3,5),如图2所示(图3中某一像素点的位置坐标示意图)。
与P点所对应的在图像特征二中的像素坐标为P1(I1,J1),如图9所示,(图4中放大5倍后的像素点在坐标轴位置示意图)。
所述P1(I1,J1)的位置参数通过以下公式计算所获取:
I1= 3×5+3%5=15+3=18;
J1= 5×5+[3/5]=25+0=25。
即图像特征一中P(3,5)点的像素位置坐标,在图像特征二中所对应像素的位置坐标便是P1(18,25)。
将图像特征一像素位置为P(3,5)的像素值赋值于图像特征二P1(18,25),依照以上方法,将25张照片中的所有像素点的像素值均赋值于一张图像特征二对应的像素点内,获取最终的超分辨率后的图像特征二,即图4。
通过以下步骤计算出感光芯片5的卷积核常量M(不同的感光芯片所具有的卷积核常量各不相同,与感光芯片5所具有的物理属性所关联)。
依据如上步骤获取的超分辨率后的图像特征二中的任意一点,在本实施例中以P1点为例,则记A(18,25)的像素数值(像素值是原稿图像被数字化时由计算机赋予的值,它代表了原稿某一小方块的平均亮度信息,或者说是该小方块的平均反射密度信息)为aij=16。
在图像特征三中存在一点记为B(18,25)的像素数值为bij=7,A点与B点的像素位置坐标相同(因为图像特征三与图像特征二像素点的个数完全相同,因此直接将图像特征二中的像素位置坐标与图像特征三中的像素位置一一映射即可);而后通过拟制的超分辨率后的图像特征二与物理等比例放大5倍后所获取的图像特征三之间的像素点的像素数值之间的关系计算出感光芯片5的卷积核常量M。
卷积核常量M的求解结果通过以下公式得出:
MT=(m1,m2,m3,...mN 2)=(m1,m2,m3,...m25)
则
A46225×1=B46225×25×M25×1;
BTA=BTBM,
M=(BTB)-1BTA,其中A46225×1,中46225为图像特征二全部像素点的个数(43×5×43×5)
MT=(0,0.042,0.126,0.126,0.019,0.069,0.058,0.015,0.010,0,0.039,0.013,0,0,0.024,0,0.070,0.041,0.027,0.026,0,0.079,0.088,0.070,0.049)。
则在本实施例中感光芯片5的卷积核常量MT如上。
将获取的图像特征二和获取的卷积核常量依据傅里叶变换转换为频域。
傅立叶变换,表示能将满足一定条件的某个函数表示成三角函数(正弦和/或余弦函数)或者它们的积分的线性组合。频域是描述信号在频率方面特性时用到的一种坐标系。在电子学,控制系统工程和统计学中,频域图显示了在一个频率范围内每个给定频带内的信号量,使用傅立叶变换,系统的响应作为频率的函数,也可以通过复函数来描述。在许多应用中,相位信息并不重要。通过丢弃相位信息,可以简化频域表示中的信息以生成频谱或频谱密度,最终获取超分辨的图片。
将图像特征二获取的频域除以卷积核常量获取的频域记为频域二。
当知晓该感光芯片5的卷积核常量M后,用相同的感光芯片5再去对新一物体进行拍摄,然后作去卷积的运算最终获取所需的超分辨率的图片。
举例来说:将新的物体放置在远心镜头7的下方调焦后,感光芯片5对新的物体拍摄获取新的图像。
已知感光芯片5的卷积核常量M。通过以下方法获取超分辨率图片:
步骤四:微动平台对感光芯片5实现25次的移动,并对涵盖新物体的所有位置进行全部的拍摄。移动方式参考步骤一中的移动方式。
在本实施例对目标物体拍摄25张图片,图6为其中一张。通过超分辨率方法对25张图片处理后,获取的一张超分辨率图片,如图7。对图7使用卷积核常量M去卷积的方式获取最终的超分辨率图片,如图8所示。
将频域二作傅里叶逆变化获取最终的目标特征超分辨率图片;
而傅里叶逆变化是一种现有的函数计算公式,运用于该公式的算法,最终可获得超分辨图片。
通过本方法能够将低分辨率的感光芯片5所拍摄的图像,通过算法对图像处理获取超高分辨率的图片,具有广阔的工业应用前景。
该整体方案区别于现有技术依托相机本身固有分辨率所拍的多张固定分辨率图片整合成一种大尺寸的图片。而该技术方案可以利用相机本身固有的分辨率来获取超越相机本身所固有的分辨率图片。适用于工业领域内对三维物体通过低分辨率的相机拍摄超高分辨率的图片,并明显降低拍摄时间,提高尺寸测量精度。
实施例2一种图像处理系统
一种图像处理系统包括了图像管理系统、服务器、客户端,所述服务器包括存储器和处理器,所述存储器可以是智能设备的内部存储单元,例如智能设备的硬盘或内存,所述存储器存储有计算机程序,而计算机程序可实现实施例1中的任一步骤方法。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括指令的存储器,上述指令可由电子设备执行以完成上述超分辨率网络训练方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.提高相机所成图像分辨率的处理方法,其特征在于,其包括:
成像装置,所述成像装置包括有感光芯片,所述感光芯片主要起到对拍摄目标成像;
微动平台,所述感光芯片位于微动平台上,所述微动平台移动能够驱动感光芯片移动;
通过以下步骤获取任意目标特征超分辨率图片:
步骤S1:首先获取模板特征物体,用成像装置对特征物体成像,获取若干张图像特征一;
步骤S2:对图像特征一利用超分辨方法获取一张图像特征二;
步骤S3:对模板特征物体等比放大N倍后,用相同成像装置获取一张图像特征三;
步骤S4:将图像特征二与图像特征三依据卷积核运算获取该成像装置中感光芯片的卷积核常量M;
步骤S5:引入任意新的特征物体,用相同的成像装置对新的特征物体成像,并采用超分辨率方法获取任意新的特征物体的目标图像特征;
步骤S6:将步骤S5中的目标图像特征,根据卷积核作去卷积运算,获取任意目标特征超分辨率图片。
2.根据权利要求1所述的提高相机所成图像分辨率的处理方法,其特征在于,所述步骤S1中通过以下方法获取若干张图像特征一;
设定超分辨率的倍数为N,N为超分辨率后的图片尺寸是原始图片尺寸的N倍;
感光芯片移动的区域范围沿水平方向和竖直方向均为(N-1)/N个像元单位;
在所述移动区域范围内等距阵列N2个拍摄点,相邻的拍摄点在水平方向和竖直方向间距均为1/N个像元单位;
所述感光芯片通过微动平台移动带动感光芯片移动到每一个拍摄点对模板特征成像,获取N2张图像特征一。
3.根据权利要求2所述的提高相机所成图像分辨率的处理方法,其特征在于,所述步骤S2中通过如下步骤获取图像特征二;
记每张图像特征一中的像素个数为S,则放大N倍后的图像特征二像素个数为S×N×N个,且图像特征一的每一个像素位置均一一对应图像特征二中的像素位置,并将每个图像特征一的像素点位置的数值赋予图像特征二中所对应的像素点位置的数值,通过以下方法建立图像特征一的像素点位置与图像特征二中像素点位置的关系:
将第k张图像特征一中任意一个像素点像素坐标记为P(I,J),
与P点所对应的在图像特征二中的像素坐标为P1(I1,J1);所述I1和J1的位置参数通过以下公式计算获取:
I1= I×N+k%N;
J1= J×N+[k/N];
N>1的整数,k大于等于0的整数,%为模运算,[k/N]为取整。
4.根据权利要求1所述的提高相机所成图像分辨率的处理方法,其特征在于:通过以下公式计算出步骤S4中的卷积核常量M,
图像特征二中的任意一点A(i,j)的像素数值为aij;
在图像特征三中存在一点记为B(i,j)的像素数值为bij,A点与B点的像素位置坐标相同;
卷积核常量M的求解结果通过以下公式得出:
MT=(m1,m2,m3,...mn 2),
则
aij=(bi,j,bi,j+1,...,bi,j+n-1,bi+1,j,bi+1,j+1,...,bi+1,j+n-1, bi+n-1,j,b i+n-1,j+1,...,b i+n-1,j+n-1)×;
Ac×1=B c×n 2×Mn 2 ×1;
BTA=BTBM,
M=(BTB)-1BTA,
c为图像特征二中所取图像特征点A(i,j)的个数。
5.根据权利要求1所述的提高相机所成图像分辨率的处理方法,其特征在于:所述步骤S6中获取任意目标特征超分辨率图片的方法:
将获取的图像特征二和获取的卷积核常量依据傅里叶变换转换为频域;
将图像特征二获取的频域除以卷积核常量的频域获取的频域记为频域二;
将频域二作傅里叶逆变化获取最终的目标特征超分辨率图片。
6.根据权利要求1所述的提高相机所成图像分辨率的处理方法,其特征在于:所述微动平台包括有X轴移动装置和Y轴移动装置,所述X轴移动装置包括有第一驱动件和固定件,所述固定件与感光芯片连接,所述第一驱动件驱动固定件移动带动感光芯片横向移动;
所述Y轴移动装置包括有第二驱动件和连接件,所述连接件与X轴移动装置连接,所述第二驱动件驱动连接件移动带动X轴移动装置竖直方向移动。
7.根据权利要求1所述的提高相机所成图像分辨率的处理方法,其特征在于:还包括有载体,用于放置拍摄工件;
固定组件,用于固定成像装置的位置。
8.一种超分辨拍摄装置,应用上述权利要求1-7任一所述的提高相机所成图像分辨率的处理方法。
9.一种图像处理系统,其特征在于,包括图像管理系统、服务器、客户端,所述服务器包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行计算机程序时实现权利要求1-7所述的任一项处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210040117.7A CN114071021B (zh) | 2022-01-14 | 2022-01-14 | 提高相机所成图像分辨率的处理方法、装置和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210040117.7A CN114071021B (zh) | 2022-01-14 | 2022-01-14 | 提高相机所成图像分辨率的处理方法、装置和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114071021A true CN114071021A (zh) | 2022-02-18 |
CN114071021B CN114071021B (zh) | 2022-04-08 |
Family
ID=80230899
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210040117.7A Active CN114071021B (zh) | 2022-01-14 | 2022-01-14 | 提高相机所成图像分辨率的处理方法、装置和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114071021B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103295192A (zh) * | 2013-05-08 | 2013-09-11 | 西安电子科技大学 | 基于gpu加速的图像实时超分辨重建方法 |
US20160205341A1 (en) * | 2013-08-20 | 2016-07-14 | Smarter Tv Ltd. | System and method for real-time processing of ultra-high resolution digital video |
CN105812679A (zh) * | 2015-01-16 | 2016-07-27 | Mems驱动公司 | 用于超分辨率成像的三轴ois |
CN107155110A (zh) * | 2017-06-14 | 2017-09-12 | 福建帝视信息科技有限公司 | 一种基于超分辨率技术的图片压缩方法 |
CN110044262A (zh) * | 2019-05-09 | 2019-07-23 | 哈尔滨理工大学 | 基于图像超分辨率重建的非接触式精密测量仪及测量方法 |
-
2022
- 2022-01-14 CN CN202210040117.7A patent/CN114071021B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103295192A (zh) * | 2013-05-08 | 2013-09-11 | 西安电子科技大学 | 基于gpu加速的图像实时超分辨重建方法 |
US20160205341A1 (en) * | 2013-08-20 | 2016-07-14 | Smarter Tv Ltd. | System and method for real-time processing of ultra-high resolution digital video |
CN105812679A (zh) * | 2015-01-16 | 2016-07-27 | Mems驱动公司 | 用于超分辨率成像的三轴ois |
CN107155110A (zh) * | 2017-06-14 | 2017-09-12 | 福建帝视信息科技有限公司 | 一种基于超分辨率技术的图片压缩方法 |
CN110044262A (zh) * | 2019-05-09 | 2019-07-23 | 哈尔滨理工大学 | 基于图像超分辨率重建的非接触式精密测量仪及测量方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114071021B (zh) | 2022-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA1284375C (en) | Electronic mosaic imaging process | |
JP3961729B2 (ja) | 全焦点撮像装置 | |
Green et al. | Multi-aperture photography | |
US7583858B2 (en) | Image processing based on direction of gravity | |
JP5725975B2 (ja) | 撮像装置及び撮像方法 | |
US20060078215A1 (en) | Image processing based on direction of gravity | |
JP5677366B2 (ja) | 撮像装置 | |
US20120098947A1 (en) | Producing universally sharp images | |
KR20170005009A (ko) | 3d 라돈 이미지의 생성 및 사용 | |
JP2009205183A (ja) | 撮像装置及び光軸制御方法 | |
US9473700B2 (en) | Camera systems and methods for gigapixel computational imaging | |
CN112505910B (zh) | 用显微镜拍摄试样图像的方法、系统、设备及介质 | |
CN112415733A (zh) | 控制显微镜拍摄试样图像的方法、系统、设备及介质 | |
JP2013026844A (ja) | 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ | |
CN113630549A (zh) | 变焦控制方法、装置、电子设备和计算机可读存储介质 | |
CN103905746A (zh) | 亚像素级图像偏移定位及叠加方法和装置以及视频设备 | |
Willson et al. | Perspective projection camera model for zoom lenses | |
JP2005530410A (ja) | センサの回転により画像の解像度を高めるシステム | |
CN114071021B (zh) | 提高相机所成图像分辨率的处理方法、装置和系统 | |
JP2002084456A (ja) | 画像変換装置 | |
CN116182786B (zh) | 单目视觉测距方法、相机及介质 | |
JP2019175283A (ja) | 認識装置、認識システム、プログラムおよび位置座標検出方法 | |
JP5925109B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
CN114663284A (zh) | 红外热成像全景图像处理方法、系统及存储介质 | |
CN112037132B (zh) | 一种多孔径紧凑型多光谱成像系统及深度学习图像超分辨率重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |