CN111225139A - 一种基于旋转双棱镜获取互补序列图像的运动场景拍摄装置及复原方法 - Google Patents

一种基于旋转双棱镜获取互补序列图像的运动场景拍摄装置及复原方法 Download PDF

Info

Publication number
CN111225139A
CN111225139A CN201911000972.XA CN201911000972A CN111225139A CN 111225139 A CN111225139 A CN 111225139A CN 201911000972 A CN201911000972 A CN 201911000972A CN 111225139 A CN111225139 A CN 111225139A
Authority
CN
China
Prior art keywords
prism
image
images
rotating
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911000972.XA
Other languages
English (en)
Other versions
CN111225139B (zh
Inventor
崔光茫
陈颖
叶晓杰
赵巨峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201911000972.XA priority Critical patent/CN111225139B/zh
Publication of CN111225139A publication Critical patent/CN111225139A/zh
Application granted granted Critical
Publication of CN111225139B publication Critical patent/CN111225139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了基于旋转双棱镜获取互补序列图像的运动场景拍摄装置及复原方法，克服现有技术的复原过程不可逆及复原图像不清晰的问题，包括速度传感器和距离传感器，还包括若干相机装置和若干分光镜，所述相机装置包括相机和旋转双棱镜装置，所述相机包括镜头和快门，还包括控制器，控制器与相机快门连接控制每个相机快门的开关，每个旋转双棱镜装置置于对应的相机的镜头前。本发明提出特殊的拍摄装置让三幅图像在空间上高度对齐，再利用旋转双棱镜装置得到互补性最大的三张图像，由于三幅图像的模糊核零点不同，丢失的信息不同，从而实现图像信息之间的互补，解决复原过程中图像不可逆的问题，大大提高了模糊图像复原后的质量。

Description

一种基于旋转双棱镜获取互补序列图像的运动场景拍摄装置 及复原方法
技术领域
本发明涉及成像与图像处理技术，尤其涉及一种能够解决单幅图像复原中信息丢失以及图像不可逆，提高最终复原图像清晰性的基于旋转双棱镜获取互补序列图像的运动场景拍摄装置及复原方法。
背景技术
在运动过程中对目标拍摄过程中，经常会遇到在相机曝光时间内成像目标和相机传感器发生相对运动的情况，容易造成成像场景图像的运动模糊，降低了图像的分辨率。成像模糊是相机、显微镜、望远镜等光学成像系统面临的共性问题，因此对于运动模糊图像的复原有着十分重要的作用。基于单幅模糊图像的去模糊问题存在高度欠定，且在图像模糊的过程中，清晰图像和模糊核发生卷积，相当于对场景信息进行一次低通滤波，对应于模糊核高频零点的图像信息在成像过程中会发生缺失，卷积不可逆，导致运动模糊成为了一个病态性的问题。
例如，一种在中国专利文献上公开的“采用梯度融合技术的运动模糊图像序列的复原方法”，其公告号CN501504765B，其先计算出局部图像中的物体透明度，然后估计模糊退化函数，最后反卷积复原的过程中加入了梯度融合技术消除伪迹的影响。其使用了梯度融合技术来消除反卷积过程中引入的傅立叶振铃伪迹，较以往的复原方法的效果有所提高。但其迭代次数较多，成像过程中会发生缺失，卷积不可逆，复原图像清晰性差，对于单幅模糊图像复原，模糊图像中对应于模糊核频域零点的图像信息丢失，同时模糊核的频域零点也使图像去模糊过程不可逆。
发明内容
本发明是为了克服现有技术的复原过程不可逆及复原图像不清晰的问题，提供一种基于旋转双棱镜获取互补序列图像的运动场景拍摄装置及复原方法，能够解决单幅图像复原中信息丢失以及图像不可逆的问题，提高最终复原图像的清晰性。
为了实现上述目的，本发明采用以下技术方案：
一种基于旋转双棱镜获取互补序列图像的运动场景拍摄装置，包括速度传感器和距离传感器，其特征是，还包括若干相机装置、若干分光镜和控制器，相机装置分别设置在分光镜的透射路径和反射路径上，所述相机装置包括相机和调节入射光线角度的旋转双棱镜装置，所述相机包括镜头和快门，控制器与相机快门连接控制每个相机快门的开关，每个旋转双棱镜装置置于对应的相机的镜头前。光束平行旋转双棱镜装置的转轴共轴入射，旋转双棱镜装置通过折射改变光束传播方向，然后通过旋转双棱镜装置的转角θ1、θ2使出射光束在一定偏转角范围内实现任意指向调整，通过调整每个旋转双棱镜装置中θ1、θ2确定我们需要的三个角度，控制器同时控制三个相机快门的开关，目标物体的入射光通过两个分光镜分成三束出射光被三个相机接收，获得完全对齐的三幅图像，旋转双棱镜装置的作用获得的三幅图像互补性最大，所以最终可以获得三幅对齐互补的序列图像。
作为优选，所述旋转双棱镜装置包括相邻设置的第一折射棱镜门和第二折射棱镜门，第一折射棱镜门和第二折射棱镜门上均设有第一收发面和第二收发面，第一收发面和第二收发面之间呈夹角设置，第一折射棱镜门和第二折射棱镜门的第一收发面(203)均垂直光轴且位于同一光轴上，第一折射棱镜门和第二折射棱镜门的第二收发面互补相对设置，且第一折射棱镜门和第二折射棱镜门绕共同轴独立旋转。第一折射棱镜门的转角为θ1、第二折射棱镜门的转角为θ2，通过改变两棱镜装置的转角θ1、θ2出射光束在一定偏转角范围内实现任意指向调整，调整旋转三个旋转双棱镜装置中θ1、θ2确定我们需要的三个角度。
作为优选，目标物体光束穿过分光镜经一面分光镜反射后通过一个旋转双棱镜装置后经旋转双棱镜装置的共轴进入对应的相机的镜头，光束经第一面分光镜透射后经第二面分光镜反射后经旋转双棱镜装置的共轴进入对应的相机的镜头，光束经两面分光镜透射后经旋转双棱镜装置的共轴进入对应的相机的镜头，计算得到三个互补性最大的图像及旋转角度，调整旋转双棱镜装置确定角度，所述控制器控制相机的快门获得三幅序列图像，得到的图像进行PSF估计后再总变分TV正则化。
一种基于旋转双棱镜获取互补序列图像的复原方法，包括以下步骤：
S1：通过计算得到三个互补性最大的图像及旋转角度；
S2：用旋转双棱镜装置确定图像旋转角度；
S3：相机装置获取序列图像；
S4：结合物像关系以及旋转角度估计PSF模型；
S5：采用总变分正则化模型将三幅对齐互补的序列图像和估计的PSF作为输入解出最小值；
其中互补性的定义如下：
Figure BDA0002241303060000021
其中T(A)、T(B)、T(C)分别表示提取ABC集合有效元素，T(U)表示全集，“|”表示并集，“&”表示交集，“||.||0”表示计算集合中非零元素的个数。
作为优选，所述S1具体过程包括以下步骤：
S101：将原始图像和高斯滤波器进行卷积运算，再用模糊图像直接减去卷积结果即可得到图像高频分量h：hi＝yi-Gσ*yi；
式中yi是模糊图像，Gσ是卷积核；
S102：计算图像的高频部分在梯度方向上灰度值的变化情况，进一步提取图像的高频特征
Figure BDA0002241303060000031
其中hix＝hi*gx，hiy＝hi*gy，gx和gy分别为x和y方向上的梯度，提取模糊图像的二值化信息，作为互补性表征的有效信息；进行二值化操作时，阈值thresh的选取可以根据原始图像的灰度值进行调整，对梯度图像进行归一化操作，设置阈值范围thresh∈[0.2，0.5]，
Figure BDA0002241303060000032
S103：将一张原始图像进行旋转，每旋转一度作为一张输入图像，一共可以得到360张图像，设定需要选择的帧数为3，用迭代的方式选取最大互补信息的3幅模糊图像把360张图片三三组合，一共有3603种情况，分别求出每种组合情况对应的互补性，计算三幅图片的互补性，定义为：
Figure BDA0002241303060000033
其中M和N分别为图像的长和宽，用MATLAB计算选取出互补性最大的三幅模糊图片以及它们的旋转角度。作为优选，所述S2具体过程包括以下步骤：
S201：光束平行旋转双棱镜装置的第一折射棱镜门和第二折射棱镜门共轴入射；
S202：先保持一个棱镜不动，旋转另一个棱镜，使出射光束的偏转角达到目标值，在保持两棱镜的方位夹角不变的条件下同时旋转两个棱镜，使出射光束的方位角达到目标值，把三个旋转双棱镜装置都调整到与S1中算出的旋转角度相应的位置并使其固定。
作为优选，所述S3具体过程包括以下步骤：
S301：两个分光镜放置在旋转双棱镜装置的前方；
S302：调整三个旋转双棱镜装置的位置，使第一个旋转双棱镜装置的轴与第一个分光镜的镜面呈45度，第二个镜面在另外两个旋转双棱镜装置的中间，且与另外两个旋转双棱镜装置的轴都呈45度；
S303：分别在每个旋转双棱镜装置的后面放置一个与轴垂直的相机，用控制器同时控制三个相机的快门获取三幅对其互补的图像。
作为优选，所述S4具体过程包括以下步骤：
S401：速度传感器测量目标移动的速度；
S402：距离传感器测量目标与相机之间的距离以及获取相机全部曝光时间算出移动距离；
S403：根据物像关系算出目标物像的移动距离，粗略地计算出每幅图像的点扩散函数PSF；作为优选，所述S402过程中计算移动距离L′的公式为：
Figure BDA0002241303060000041
式中f为相机焦距，M为传感器尺寸，d为获取的目标与相机距离，L为目标移动距离。
作为优选，所述S5具体过程包括以下步骤：
S501：将S3获得的3张对齐互补的图像和S4中所获得的三个相对应的PSF以及d1、d2作为输入建立多帧盲复原数学模型；
S502：进行最小化求解求出最终复原图像；
所述数学模型为：
Figure BDA0002241303060000042
式中i表示像素索引，d1和d2分别表示水平方向和垂直方向梯度算子对应的循环矩阵，f代表最终复原图像，||||2 2代表范数的平方，
Figure BDA0002241303060000043
表示平滑参数,k表示帧数，上述式子的最小值即最终复原图形。
因此，本发明具有如下有益效果：
1.通过仿真得到了三个互补性最大的图像的旋转角度，设定好旋转双棱镜装置的角度同时控制三个相机的快门得到所需的三张互补信息最大的序列图像；
2.通过速度传感器来获取运动速度和距离传感器来获取相机与物体之前的距离，从而探测出在曝光时间内景物的像移尺度，结合编码曝光序列，初步估计出PSF，最后采用总变分TV正则化的方法进行图像的联合复原；
3.可以实现图像信息方面的互补，保留更多的场景信息，从而可以得到更加清晰的图像，让模糊图像的所有图像信息复原。
附图说明
图1是本发明实施例的结构示意图。
图2是本发明旋转双棱镜装置的结构示意面图。
图3是本发明旋转双棱镜装置的的平面示意图。
图4是本发明具体实施的操作流程图。
图中：1、相机装置 2、旋转双棱镜装置 201、第一折射棱镜门 202、第一折射棱镜门 203、第一收发面 204、第二收发面 3、控制器 4、分光镜 5、相机 501、镜头502、快门。
具体实施方式
下面结合附图与具体实施方式对本发明做进一步的描述。
实施例：
本实施例一种基于旋转双棱镜获取互补序列图像的运动场景拍摄装置，如图1-4所示，包括三个相机1，三个旋转双棱镜装置2、一个控制器3、两个分光镜4、速度传感器和距离传感器，每个相机1上均设有镜头501和快门502，旋转双棱镜装置2包括第一折射棱镜门201、第二折射棱镜门202，第一折射棱镜门201和第二折射棱镜门202的两对称侧面为直角梯形，其余面为矩形，第一折射棱镜门201和第二折射棱镜门202相邻排列且共轴设置，以垂直于一面且穿过中心点的线为共同轴，第一折射棱镜门201和第二折射棱镜门202上均设有第一收发面203和第二收发面204，第一收发面203垂直光轴且位于同一光轴上，第二收发面204互补相对设置，斜面组成的第二收发面204相对均向内设置，第一折射棱镜门201和第二折射棱镜门202可以绕共同轴独立旋转，三个相机1的镜头501均垂直于三个旋转双棱镜装置2的折射光束设置，控制器3与相机快门502连接控制三个相机快门502的开关，控制器3为STM32单片机，二进制编码序列控制STM32单片机I/O口可同时控制三个相机1快门本实施例工作过程如下：光束平行旋转双棱镜装置2转轴入射，旋转双棱镜装置2通过折射改变光束传播方向，第一折射棱镜门201的转角为θ1、第二折射棱镜门202的转角为θ2，，然后通过旋转双棱镜装置2的转角θ1、θ2使出射光束在一定偏转角范围内实现任意指向调整，通过调整旋转三个旋转双棱镜装置2中θ1、θ2确定我们需要的三个角度，将两个分光镜4放置在旋转双棱镜装置2的前方，调整分光镜4的角度与旋转双棱镜装置2的轴成45度，控制器3同时控制三个相机快门502的开关，目标物体的入射光通过两个分光镜4分成三束出射光被三个相机1接收，获得完全对齐的三幅图像，旋转双棱镜装置2的作用获得的三幅图像互补性最大，所以最终可以获得三幅对齐互补的序列图像；速度传感器测量目标移动的速度，距离传感器测量目标与相机之间的距离以及获取相机全部曝光时间算出移动距离，用以根据物像关系算出目标物像的移动距离，从而粗略地估算出每幅图像的点扩散函数PSF。
本发明实施例相应的提供了一种基于旋转双棱镜获取互补序列图像的复原方法，应用于如上述所述的基于旋转双棱镜获取互补序列图像的运动场景拍摄装置，所述方法包括：
S1：通过计算得到三个互补性最大的图像及旋转角度；
S2：用旋转双棱镜装置确定图像旋转角度；
S3：相机装置1获取序列图像；
S4：结合物像关系以及旋转角度估计PSF模型；
S5：采用总变分正则化模型将三幅对齐互补的序列图像和估计的PSF作为输入解出最小值；
其中互补性的定义如下：
Figure BDA0002241303060000061
其中T(A)、T(B)、T(C)分别表示提取ABC集合有效元素，T(U)表示全集，“|”表示并集，“&”表示交集，“||.||0”表示计算集合中非零元素的个数。
本方案中将原始图像和高斯滤波器进行卷积运算，再用模糊图像直接减去卷积结果即可得到图像高频分量h，其次计算图像的高频部分在梯度方向上灰度值的变化情况，进一步提取图像的高频特征
Figure BDA0002241303060000062
将一张原始图像进行旋转，每旋转一度作为一张输入图像，一共可以得到360张图像，把360张图片三三组合，一共有3603种情况，分别求出每种组合情况对应的互补性，用Matlab计算选取出互补性最大的三张图片，并确定三张图片的旋转角度；旋转双棱镜装置2通过折射改变光束传播方向，第一折射棱镜门201的转角为θ1、第二折射棱镜门202的转角为θ2，，然后通过旋转双棱镜装置2的转角θ1、θ2使出射光束在一定偏转角范围内实现任意指向调整，通过调整旋转三个旋转双棱镜装置2中θ1、θ2确定我们需要的三个角度；用一个控制器1同时控制三个相机快门502的开关最终可以获得三幅对齐互补的序列图像，粗略地估算出每幅图像的点扩散函数PSF，最后采用总变分TV正则化的方法进行图像的联合复原。
作为优选，所述S1具体过程包括以下步骤：
S101：将原始图像和高斯滤波器进行卷积运算，再用模糊图像直接减去卷积结果即可得到图像高频分量h：hi＝yi-Gσ*yi；
式中yi是模糊图像，Gσ是卷积核；
S102：计算图像的高频部分在梯度方向上灰度值的变化情况，进一步提取图像的高频特征
Figure BDA0002241303060000063
其中hix＝hi*gx，hiy＝hi*gy，gx和gy分别为x和y方向上的梯度，提取模糊图像的二值化信息，作为互补性表征的有效信息。进行二值化操作时，阈值thresh的选取可以根据原始图像的灰度值进行调整，对梯度图像进行归一化操作，设置阈值范围thresh∈[0.2，0.5]，
Figure BDA0002241303060000064
S103：将一张原始图像进行旋转，每旋转一度作为一张输入图像，一共可以得到360张图像，设定需要选择的帧数为3，用迭代的方式选取最大互补信息的3幅模糊图像把360张图片三三组合,一共有3603种情况，分别求出每种组合情况对应的互补性，计算三幅图片的互补性，定义为：
Figure BDA0002241303060000071
其中M和N分别为图像的长和宽，用MATLAB计算选取出互补性最大的三幅模糊图片以及它们的旋转角度。作为优选，所述S2具体过程包括以下步骤：
S201：光束平行旋转双棱镜装置2的第一折射棱镜门201和第二折射棱镜门202共轴入射；
S202：先保持一个棱镜不动，旋转另一个棱镜，使出射光束的偏转角达到目标值，在保持两棱镜的方位夹角不变的条件下同时旋转两个棱镜，使出射光束的方位角达到目标值，把三个旋转双棱镜装置都调整到与S1中算出的旋转角度相应的位置并使其固定。
作为优选，所述S3具体过程包括以下步骤：
S301：两个分光镜4放置在旋转双棱镜装置2的前方；
S302：调整三个旋转双棱镜装置2的位置，使第一个旋转双棱镜装置2的轴与第一个分光镜4的镜面呈45度，第二个镜面在另外两个旋转双棱镜装置2的中间，且与另外两个旋转双棱镜装置2的轴都呈45度；
S303：分别在每个旋转双棱镜装置2的后面放置一个与轴垂直的相机1，用控制器3同时控制三个相机5的快门502获取三幅对其互补的图像。
作为优选，所述S4具体过程包括以下步骤：
S401：速度传感器测量目标移动的速度；
S402：距离传感器测量目标与相机之间的距离以及获取相机全部曝光时间算出移动距离；
S403：根据物像关系算出目标物像的移动距离，粗略地计算出每幅图像的点扩散函数PSF。
作为优选，所述S402过程中计算移动距离L′的公式为：
Figure BDA0002241303060000072
式中f为相机焦距，M为传感器尺寸，d为获取的目标与相机距离，L为目标移动距离。
作为优选，所述S5具体过程包括以下步骤：
S501：将S3获得的3张对齐互补的图像和S4中所获得的三个相对应的PSF以及d1、d2作为输入建立多帧盲复原数学模型；
S502：进行最小化求解求出最终复原图像。
所述数学模型为：
Figure BDA0002241303060000081
式中i表示像素索引，d1和d2分别表示水平方向和垂直方向梯度算子对应的循环矩阵，f代表最终复原图像，||||2 2代表范数的平方，
Figure BDA0002241303060000082
表示平滑参数,k表示帧数，上述式子的最小值即最终复原图形。
本实施例提出特殊的拍摄装置让三幅图像在空间上高度对齐，再利用旋转双棱镜装置2得到互补性最大的三张图像，由于三幅图像的模糊核零点不同，丢失的信息不同，从而实现图像信息之间的互补，解决复原过程中图像不可逆的问题，大大提高了模糊图像复原后的质量。

Claims (10)

1.一种基于旋转双棱镜获取互补序列图像的运动场景拍摄装置，包括速度传感器和距离传感器，其特征是，还包括若干相机装置(1)、若干分光镜(4)和控制器(3)，相机装置(1)分别设置在分光镜(4)的透射路径和反射路径上，所述相机装置(1)包括相机(5)和调节入射光线角度的旋转双棱镜装置(2)，所述相机(5)包括镜头(501)和快门(502)，控制器(3)与相机快门(502)连接控制每个相机快门(502)的开关，每个旋转双棱镜装置(2)置于对应的相机(5)的镜头(501)前。
2.根据权利要求1所述的一种基于旋转双棱镜获取互补序列图像的运动场景拍摄装置，其特征是，所述旋转双棱镜装置(2)包括相邻设置的第一折射棱镜门(201)和第二折射棱镜门(202)，第一折射棱镜门(201)和第二折射棱镜门(202)上均设有第一收发面(203)和第二收发面(204)，第一收发面(203)和第二收发面之间呈夹角设置，第一折射棱镜门(201)和第二折射棱镜门(202)的第一收发面(203)均垂直光轴且位于同一光轴上，第一折射棱镜门(201)和第二折射棱镜门(202)的第二收发面(204)互补相对设置，且第一折射棱镜门(201)和第二折射棱镜门(202)绕共同轴独立旋转。
3.根据权利要求1或2所述的一种基于旋转双棱镜获取互补序列图像的运动场景拍摄装置，其特征是，目标物体光束穿过分光镜(4)经一面分光镜(4)反射后通过一个旋转双棱镜装置(2)后经旋转双棱镜装置(2)的共轴进入对应的相机(5)的镜头(501)，光束经第一面分光镜(4)透射后经第二面分光镜反射后经旋转双棱镜装置(2)的共轴进入对应的相机(5)的镜头(501)，光束经两面分光镜(4)透射后经旋转双棱镜装置(2)的共轴进入对应的相机(5)的镜头(501)，计算得到三个互补性最大的图像及旋转角度，调整旋转双棱镜装置(2)确定角度，所述控制器(3)控制相机(5)的快门(502)获得三幅序列图像，得到的图像进行PSF估计后再总变分TV正则化。
4.一种根据权利要求1所述的一种基于旋转双棱镜获取互补序列图像的复原方法，包括以下步骤：
S1：通过计算得到三个互补性最大的图像及旋转角度；
S2：用旋转双棱镜装置确定图像旋转角度；
S3：相机装置(1)获取序列图像；
S4：结合物像关系以及旋转角度估计PSF模型；
S5：采用总变分正则化模型将三幅对齐互补的序列图像和估计的PSF作为输入解出最小值；
其中互补性的定义如下：
Figure FDA0002241303050000011
其中T(A)、T(B)、T(C)分别表示提取ABC集合有效元素，T(U)表示全集，“|”表示并集，“&”表示交集，“||.||0”表示计算集合中非零元素的个数。
5.根据权利要求4所述的一种基于旋转双棱镜获取互补序列图像的复原方法，其特征是，所述S1具体过程包括以下步骤：
S101：将原始图像和高斯滤波器进行卷积运算，再用模糊图像直接减去卷积结果即可得到图像高频分量h：hi＝yi-Gσ*yi；
式中yi是模糊图像，Gσ是卷积核；
S102：计算图像的高频部分在梯度方向上灰度值的变化情况，进一步提取图像的高频特征
Figure FDA0002241303050000021
其中hix＝hi*gx,hiy＝hi*gy,gx和gy分别为x和y方向上的梯度，提取模糊图像的二值化信息，作为互补性表征的有效信息，进行二值化操作时，阈值thresh的选取可以根据原始图像的灰度值进行调整，对梯度图像进行归一化操作，设置阈值范围thresh∈[0.2,0.5]，
Figure FDA0002241303050000022
S103：将一张原始图像进行旋转，每旋转一度作为一张输入图像，一共可以得到360张图像，设定需要选择的帧数为3，用迭代的方式选取最大互补信息的3幅模糊图像把360张图片三三组合,一共有3603种情况，分别求出每种组合情况对应的互补性，计算三幅图片的互补性，定义为：
Figure FDA0002241303050000023
其中M和N分别为图像的长和宽，用MATLAB计算选取出互补性最大的三幅模糊图片以及它们的旋转角度。
6.根据权利要求4所述的一种基于旋转双棱镜获取互补序列图像的复原方法，其特征是，所述S2具体过程包括以下步骤：
S201：光束平行旋转双棱镜装置(2)的第一折射棱镜门(201)和第二折射棱镜门(202)共轴入射；
S202：先保持一个棱镜不动，旋转另一个棱镜，使出射光束的偏转角达到目标值，在保持两棱镜的方位夹角不变的条件下同时旋转两个棱镜，使出射光束的方位角达到目标值，把三个旋转双棱镜装置都调整到与S1中算出的旋转角度相应的位置并使其固定。
7.根据权利要求4所述的一种基于旋转双棱镜获取互补序列图像的复原方法，其特征是，所述S3具体过程包括以下步骤：
S301：两个分光镜(4)放置在旋转双棱镜装置(2)的前方；
S302：调整三个旋转双棱镜装置(2)的位置，使第一个旋转双棱镜装置(2)的轴与第一个分光镜(4)的镜面呈45度，第二个镜面在另外两个旋转双棱镜装置(2)的中间，且与另外两个旋转双棱镜装置(2)的轴都呈45度；
S303：分别在每个旋转双棱镜装置(2)的后面放置一个与轴垂直的相机(1)，用控制器(3)同时控制三个相机(5)的快门(502)获取三幅对其互补的图像。
8.根据权利要求4所述的一种基于旋转双棱镜获取互补序列图像的复原方法，其特征是，所述S4具体过程包括以下步骤：
S401：速度传感器测量目标移动的速度；
S402：距离传感器测量目标与相机之间的距离以及获取相机全部曝光时间算出移动距离；
S403：根据物像关系算出目标物像的移动距离，粗略地计算出每幅图像的点扩散函数PSF。
9.根据权利要求8所述的一种基于旋转双棱镜获取互补序列图像的复原方法，其特征是，所述S402过程中计算移动距离L′的公式为：
Figure FDA0002241303050000031
式中f为相机(1)焦距，M为传感器尺寸，d为获取的目标与相机距离，L为目标移动距离。
10.根据权利要求4所述的一种基于旋转双棱镜获取互补序列图像的复原方法，其特征是，所述S5具体过程包括以下步骤：
S501：将S3获得的3张对齐互补的图像和S4中所获得的三个相对应的PSF以及d1、d2作为输入建立多帧盲复原数学模型；
S502：进行最小化求解求出最终复原图像；
所述数学模型为：
Figure FDA0002241303050000032
式中i表示像素索引，d1和d2分别表示水平方向和垂直方向梯度算子对应的循环矩阵，f代表最终复原图像，|| ||2 2代表范数的平方，
Figure FDA0002241303050000033
表示平滑参数,k表示帧数，上述式子的最小值即最终复原图形。
CN201911000972.XA 2019-10-21 2019-10-21 一种获取互补序列图像的运动场景拍摄装置及复原方法 Active CN111225139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911000972.XA CN111225139B (zh) 2019-10-21 2019-10-21 一种获取互补序列图像的运动场景拍摄装置及复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911000972.XA CN111225139B (zh) 2019-10-21 2019-10-21 一种获取互补序列图像的运动场景拍摄装置及复原方法

Publications (2)

Publication Number Publication Date
CN111225139A true CN111225139A (zh) 2020-06-02
CN111225139B CN111225139B (zh) 2021-03-05

Family

ID=70830557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911000972.XA Active CN111225139B (zh) 2019-10-21 2019-10-21 一种获取互补序列图像的运动场景拍摄装置及复原方法

Country Status (1)

Country Link
CN (1) CN111225139B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637764A (zh) * 2020-12-16 2021-04-09 同济大学 智能反射面辅助无线定位系统及其反射波束成形设计方法
CN113643217A (zh) * 2021-10-15 2021-11-12 广州市玄武无线科技股份有限公司 视频去运动模糊方法、装置、终端设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945242A (zh) * 2005-10-09 2007-04-11 中国科学院西安光学精密机械研究所 高稳定度干涉成像光谱仪的成像方法及实现该方法的光谱仪
CN102254309A (zh) * 2011-07-27 2011-11-23 清华大学 一种基于近红外图像的运动模糊图像去模糊方法和装置
CN102867289A (zh) * 2012-08-20 2013-01-09 清华大学 互补模糊图像采集系统及利用该系统的模糊图像恢复方法
CN103631276A (zh) * 2013-12-08 2014-03-12 中国科学院光电技术研究所 一种基于旋转双棱镜的跟踪装置及其控制方法
CN106289527A (zh) * 2016-08-03 2017-01-04 南京理工大学 一种基于偏振干涉的高光谱成像装置及其成像方法
JP2019169669A (ja) * 2018-03-26 2019-10-03 キヤノン株式会社 電子モジュールおよび撮像システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945242A (zh) * 2005-10-09 2007-04-11 中国科学院西安光学精密机械研究所 高稳定度干涉成像光谱仪的成像方法及实现该方法的光谱仪
CN102254309A (zh) * 2011-07-27 2011-11-23 清华大学 一种基于近红外图像的运动模糊图像去模糊方法和装置
CN102867289A (zh) * 2012-08-20 2013-01-09 清华大学 互补模糊图像采集系统及利用该系统的模糊图像恢复方法
CN103631276A (zh) * 2013-12-08 2014-03-12 中国科学院光电技术研究所 一种基于旋转双棱镜的跟踪装置及其控制方法
CN106289527A (zh) * 2016-08-03 2017-01-04 南京理工大学 一种基于偏振干涉的高光谱成像装置及其成像方法
JP2019169669A (ja) * 2018-03-26 2019-10-03 キヤノン株式会社 電子モジュールおよび撮像システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637764A (zh) * 2020-12-16 2021-04-09 同济大学 智能反射面辅助无线定位系统及其反射波束成形设计方法
CN113643217A (zh) * 2021-10-15 2021-11-12 广州市玄武无线科技股份有限公司 视频去运动模糊方法、装置、终端设备及可读存储介质
CN113643217B (zh) * 2021-10-15 2022-03-29 广州市玄武无线科技股份有限公司 视频去运动模糊方法、装置、终端设备及可读存储介质

Also Published As

Publication number Publication date
CN111225139B (zh) 2021-03-05

Similar Documents

Publication Publication Date Title
US8280194B2 (en) Reduced hardware implementation for a two-picture depth map algorithm
Abuolaim et al. Learning to reduce defocus blur by realistically modeling dual-pixel data
US20110157387A1 (en) Method and apparatus for generating image data
JP2020501262A (ja) 光学系収差のデジタル補正
US9305378B1 (en) Lenslet, beamwalk and tilt diversity for anisoplanatic imaging by large-aperture telescopes
EP2536125B1 (en) Imaging device and method, and image processing method for imaging device
JP7136080B2 (ja) 撮像装置、および撮像方法、並びに画像処理装置、および画像処理方法
CN111225139B (zh) 一种获取互补序列图像的运动场景拍摄装置及复原方法
CN111738941B (zh) 融合光场和偏振信息的水下图像优化方法
Li et al. Real-world deep local motion deblurring
CN109688317A (zh) 一种摄像机以及图像生成方法
Gao et al. Atmospheric turbulence removal using convolutional neural network
Burge et al. Optimal defocus estimates from individual images for autofocusing a digital camera
CN105430298A (zh) 通过立体摄像系统同时曝光合成hdr图像的方法
CN115150561B (zh) 一种高动态成像系统和方法
KR20220137558A (ko) 프레임 카메라에 대한 이벤트 카메라의 픽셀 단위로의 등록 방법
Hui et al. Image restoration of optical sparse aperture systems based on a dual target network
He et al. A regularization framework for joint blur estimation and super-resolution of video sequences
CN112465728B (zh) 视频图像处理方法、系统、电子设备及存储介质
CN114842046A (zh) 运动目标高动态场景图像的测量装置及方法
CN109118460B (zh) 一种分光偏振光谱信息同步处理方法及系统
RU2797757C1 (ru) Устройство и способ получения наборов изображений
Schutte et al. An overview of turbulence compensation
US20240137631A1 (en) Device and method for gathering image sets
US20240236458A9 (en) Device and method for gathering image sets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant