CN112651883A - 一种图像高速场景恢复方法、设备及介质 - Google Patents

一种图像高速场景恢复方法、设备及介质 Download PDF

Info

Publication number
CN112651883A
CN112651883A CN202110062938.6A CN202110062938A CN112651883A CN 112651883 A CN112651883 A CN 112651883A CN 202110062938 A CN202110062938 A CN 202110062938A CN 112651883 A CN112651883 A CN 112651883A
Authority
CN
China
Prior art keywords
image
low
images
fuzzy
light intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110062938.6A
Other languages
English (en)
Other versions
CN112651883B (zh
Inventor
马建国
谢佳铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110062938.6A priority Critical patent/CN112651883B/zh
Publication of CN112651883A publication Critical patent/CN112651883A/zh
Application granted granted Critical
Publication of CN112651883B publication Critical patent/CN112651883B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像高速场景恢复方法、设备及介质，方法包括：对固定帧数的原始图像进行求和计数得到连续的原始图像构成的低时间分辨率图像；将低时间分辨率图像输入至训练好的神经网络模型中，检测低时间分辨率图像中是否存在模糊区域；若存在，则计算模糊区域的位置坐标；计算两个相邻的低时间分辨率图像中模糊区域的位置坐标，得到模糊区域的偏移值；根据偏移值计算低时间分辨率图像所对应的原始图像中的模糊区域的位置；根据偏移的位置计算间隔信息作为高时间分辨率图像像素值。本申请解决了现有的脉冲图像传感器的图像数据面临着后期恢复运动物体模糊的技术问题。

Description

一种图像高速场景恢复方法、设备及介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像高速场景恢复方法、设备及介质。
背景技术
近年来，图像传感器朝着高分辨率发展的同时，也对帧率提出了更高的要求，特别是在某些高速运动场景下比如爆炸、风洞试验等需要对物体运动细节作出详细的记录。以每像素8bit，每帧1280×720分辨率，每秒5000帧的图像传感器为例，其产生的传输要求达到36.86Gbit/s。这不仅对传输速率提出了极大的要求，也进一步增加了传感器的功耗。为此人们仿照视网膜神经元放电的原理，开发了脉冲图像传感器。
脉冲图像传感器在每一个像素点的工作方式都是异步触发、同步读取，每一个像素点输出的都是离散的0-1数据。在同一个像素点，一段时间内的脉冲触发个数可以看作是关于光强的正比例函数。根据触发次数不同，可以在后期估计出场景的光强信息，从而实现对场景的细节感知。
但是这种类型的图像数据，遇到运动物体时会产生拖尾现象，本来应该在某一个像素触发会在相邻的像素触发，导致在高时间分辨率重构时发生拖尾模糊问题。已有通过计算光强后进行截断的方法无法适用全局图像，会影响到图像其他地方细节。
发明内容
本申请提供了一种图像高速场景恢复方法、设备及介质，解决了现有的单光子图像传感器的图像数据，后期重构恢复困难的问题。
有鉴于此，本申请第一方面提供了一种图像高速场景恢复方法，所述方法包括：
计算连续原始图像的光强，若所述光强大于预设的阈值，则得到连续的所述原始图像构成的低时间分辨率图像；
将所述低时间分辨率图像输入至训练好的神经网络模型中，检测所述低时间分辨率图像中是否存在模糊区域；
若存在，则计算所述模糊区域的位置坐标；
计算两个相邻的所述低时间分辨率图像中所述模糊区域的所述位置坐标的差值，得到所述模糊区域的偏移值；
根据所述偏移值计算所述低时间分辨率图像所对应的所述原始图像中的所述模糊区域的位置。
可选的，在所述根据所述偏移值计算所述低时间分辨率图像所对应的所述原始图像中的所述模糊区域的位置，之后还包括：
根据计算得到的所述模糊区域修正所述原始图像中的运动物体的位置。
可选的，所述根据计算得到的所述模糊区域修正所述原始图像中的运动物体的位置，还包括：
修正所述原始图像中所述模糊区域的像素点的运动偏移。
可选的，所述根据计算得到的所述模糊区域修正所述原始图像中的运动物体的位置，还包括：
若连续原始图像的所述模糊区域中相同位置的像素点出现光强为1时，此时，出现光强为1的所述原始图像之间包括t个所述原始图像，所述原始图像的光强包括1和0；
将出现光强为1的所述原始图像之间的所有原始图像的相同位置的光强设置为
Figure BDA0002903021510000021
可选的，在所述将所述低时间分辨率图像输入至训练好的神经网络模型中，检测所述低时间分辨率图像中是否存在模糊区域，之前还包括：
获取大量包含运动物体的图像，标注所述图像中的模糊区域，将标注后的所述图像作为训练集；
采用所述训练集训练神经网络模型，获取模糊区域的特征，输出所述模糊区域的图像框，直到所述输出的所述图像框满足预置要求，得到训练好的神经网络模型。
可选的，所述计算连续原始图像的光强，若所述光强大于预设的阈值，则得到连续的所述原始图像构成的低时间分辨率图像，包括：
将所述连续原始图像的所述光强进行累加，若累加后的所述光强大于预设的阈值，将所述光强大于预设的阈值的所述连续原始图像进行合成，得到低时间分辨率图像；
记录所述光强大于预设的阈值时的所述连续原始图像的起始帧和结束帧。
可选的，所述计算两个相邻的所述低时间分辨率图像中所述模糊区域的所述位置坐标的差值，得到所述模糊区域的偏移值，包括：
计算两个相邻的所述低时间分辨率图像中，两个模糊区域的相同位置像素点的坐标，计算相同位置像素点坐标的差值，得到所述模糊区域的偏移值。
可选的，所述根据所述偏移值计算所述低时间分辨率图像所对应的所述原始图像中的所述模糊区域的位置，包括：
将所述偏移值除以所述起始帧到所述结束帧的帧数，得到相邻的所述原始图像的平均偏移值；
将所述模糊区域的坐标加上所述平均偏移值得到所述原始图像对应的所述模糊区域的位置。
本申请第二方面提供一种图像高速场景恢复设备，所述设备包括：处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行本申请第一方面所述的图像高速场景恢复方法。
本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的方法。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种图像高速场景恢复方法、设备及介质，方法包括：计算连续原始图像的光强，若光强大于预设的阈值，则得到连续的原始图像构成的低时间分辨率图像；将低时间分辨率图像输入至训练好的神经网络模型中，检测低时间分辨率图像中是否存在模糊区域；若存在，则计算模糊区域的位置坐标；计算两个相邻的低时间分辨率图像中模糊区域的位置坐标，得到模糊区域的偏移值；根据偏移值计算低时间分辨率图像所对应的原始图像中的模糊区域的位置。
本申请通过对多帧原始图像进行求和计数获得低时间分辨率图像，利用判断低时间分辨率图像是否存在运动物体产生的模糊区域，来帮助高时间分辨率恢复方法校正运动偏移，进一步恢复物体运动细节信息。
附图说明
图1为本申请一种图像高速场景恢复方法的一个实施例的方法流程图；
图2为本申请一种图像高速场景恢复方法的另一个实施例的方法流程图；
图3为本申请一种图像高速场景恢复方法的一个实施例中时间窗口计数得到低时间分辨率图像的示意图；
图4为本申请一种图像高速场景恢复方法中的神经网络模型求得的模糊区域的示意图；
图5为本申请一种图像高速场景恢复方法中的神经网络模型求得的模糊区域对应的掩模矩阵的示意图；
图6为本申请一种图像高速场景恢复方法中第一帧低时间分辨率图像的模糊区域对应的掩模矩阵的示意图；
图7为本申请一种图像高速场景恢复方法中第二帧低时间分辨率图像的模糊区域对应的掩模矩阵的示意图；
图8为本申请一种图像高速场景恢复方法中对3张连续原始图像中的模糊区域进行校正的示意图。
具体实施方式
本申请通过计算原始图像的光强获得低时间分辨率图像，从而对低时间分辨率图像进行判断，避免对高时间分辨率下多帧图像进行判断产生的时延，从而能够减少运算量；通过判断低时间分辨率图像是否存在运动物体产生的模糊区域，来帮助高时间分辨率恢复方法校正运动偏移，进一步恢复物体运动细节信息。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请图像高速场景恢复方法的一个实施例的方法流程图，如图1所示，图1中包括：
101、计算连续原始图像的光强，若光强大于预设的阈值，则得到连续的原始图像构成的低时间分辨率图像。
需要说明的是，由于当单光子图像传感器输出数据时，像素点包括0和1数据，其光强主要由1的数量决定，即像素点输出“1”的速度越快，对该像素点不同时刻的“1”个数进行累计可以近似得到光强，可以设置输出光强积累的阈值。当图像开始输出时，输出的光强大于预设的阈值时，标记输出光强大于阈值时的起始帧图像以及结束帧图像，则起始帧到结束帧之间的所有原始图像采用帧数累加的方式合成得到低时间分辨率图像；此时，将记录的累计光强值重新设置为0，并重新开始记录输出原始图像的累计光强值。
图3为本申请通过时间窗口计数得到低时间分辨率图像的示意图，其中当累计输出的光强值大于预设的阈值时，包含的原始图像有n个，起始帧为b1，结束帧为bn；将这n个原始图像进行合成得到低时间分辨率图像。
102、将低时间分辨率图像输入至训练好的神经网络模型中，检测低时间分辨率图像中是否存在模糊区域。
需要说明的是，本申请中可以采用深度卷积神经网络模型用来对图像中运动物体产生的模糊区域进行检测，从而能够识别出低时间分辨率图像中的模糊区域。
在一种具体的实施方式中，本申请通过获取大量包含运动物体的图像，标注图像中的模糊区域，将标注后的图像作为训练集；采用训练集训练深度卷积神经网络模型，获取模糊区域的特征，输出模糊区域的图像框，直到输出的图像框满足预置要求，得到训练好的神经网络模型。通过训练好的深度卷积神经网络模型用来对图像中运动物体产生的模糊区域进行检测。
另外，将模糊区域转换成对应的掩模矩阵，掩模矩阵是一个跟原始图像同等尺寸的矩阵，用0/1表示该区域是否模糊。具体的，图4为神经网络模型求得的模糊区域的示意图；图5为模糊区域对应的掩模矩阵的示意图。
103、若存在，则计算模糊区域的位置坐标。
需要说明的是，根据得到的模糊区域对应的掩模矩阵的图像，可以求得模糊区域在图像中的位置坐标。每一个低时间分辨率图像中都会计算模糊区域的位置坐标。
104、计算两个相邻的低时间分辨率图像中模糊区域的位置坐标的差值，得到模糊区域的偏移值。
需要说明的是，为了能够计算低时间分辨率图像所对应的原始图像中的模糊区域的位置，可以通过计算连续的低时间分辨率图像中模糊区域的位置坐标，并将两个位置坐标进行相减，就能得到上一个低时间分辨率图像中模糊区域相对于下一个低时间分辨率图像中模糊区域的位置偏移值。那么就可以根据偏移值计算上一个低时间分辨率图像所对应的连续原始图像中模糊区域的平均偏移值，即将总的偏移值除以上一个低时间分辨率图像所包含的原始图像的个数。例如上一个低时间分辨率图像包含n张原始图像，上一个低时间分辨率图像到下一个低时间分辨率图像中的模糊区域的偏移值为a，则上一个低时间分辨率图像中相邻两个原始图像的平均偏移值为a/n。
在一种具体的实施方式中，图6为第一帧低时间分辨率图像的模糊区域对应的掩模矩阵的示意图；图7为第二帧低时间分辨率图像的模糊区域对应的掩模矩阵的示意图。则计算第一帧低时间分辨率图像到第二帧低时间分辨率图像的偏移值为：首先计算第一帧低时间分辨率图像中模糊区域对应的掩模矩阵的最左、最上两个方向的坐标(x1,y1),(x2,y2)；再计算第二帧低时间分辨率图像中模糊区域对应的掩模矩阵的最左、最上两个方向相对于低时间分辨率图像的坐标(x3,y3),(x4,y4)；则第一帧低时间分辨率图像与第二帧低时间分辨率图像中的模糊区域在x、y方向的偏移ΔLx＝x3-x1，ΔLy＝y4-y2。
105、根据偏移值计算低时间分辨率图像所对应的原始图像中的模糊区域的位置。
需要说明的是，计算好相邻原始图像的平均偏移值后，可以根据低延时分辨率图像中的模糊区域的位置坐标。具体为，使用深度学习方法得到两张低时间分辨率图像的模糊区域，两个模糊区域位置的差值近似为合成第一张低时间分辨率的原始图像的总偏差。对于第一张原始图像，其模糊区域使用第一张低时间分辨率图像中的模糊区域位置进行替代；对于第二张原始图像而言，其偏差为：总偏差除以第一张低时间分辨率图像包含的总帧数，则模糊区域的位置为第一张原始图像的模糊区域加上偏差值。
本申请通过计算原始图像的光强获得低时间分辨率图像，从而对低时间分辨率图像进行判断，避免对高时间分辨率下多帧图像进行判断产生的时延，从而能够减少运算量；通过判断低时间分辨率图像是否存在运动物体产生的模糊区域，来帮助高时间分辨率恢复方法校正运动偏移，进一步恢复物体运动细节信息。
以上是本申请一种图像高速场景恢复方法的第一个实施例，本申请还包括一种图像高速场景恢复方法的另一个实施例，如图2所示，图2中包括：
201、计算连续原始图像的光强，若光强大于预设的阈值，则得到连续的原始图像构成的低时间分辨率图像。
需要说明的是，由于当单光子图像传感器输出数据时，像素点包括0和1数据，其光强主要由1的数量决定，即像素点输出“1”的速度越快，对该像素点不同时刻的“1”个数进行累计可以近似得到光强，可以设置输出光强积累的阈值。当图像开始输出时，输出的光强大于预设的阈值时，标记输出光强大于阈值时的起始帧图像以及结束帧图像，则起始帧到结束帧之间的所有原始图像进行合成得到低时间分辨率图像，具体合成方法为，采用固定帧数内的光子技术累加方法，同一个位置出现多少个光强为1，则将出现1的次数进行累加，累加值表示该位置的光强数；此时，将记录的累计光强值重新设置为0，并重新开始记录输出原始图像的累计光强值。
图3为本申请通过时间窗口计数得到低时间分辨率图像的示意图，其中当累计输出的光强值大于预设的阈值时，包含的原始图像有n个，起始帧为b1，结束帧为bn；将这n个原始图像进行合成得到低时间分辨率图像。
202、将低时间分辨率图像输入至训练好的神经网络模型中，检测低时间分辨率图像中是否存在模糊区域。
需要说明的是，本申请中可以采用深度卷积神经网络模型用来对图像中运动物体产生的模糊区域进行检测，从而能够识别出低时间分辨率图像中的模糊区域。
在一种具体的实施方式中，本申请通过获取大量包含运动物体的图像，标注图像中的模糊区域，将标注后的图像作为训练集；采用训练集训练深度卷积神经网络模型，获取模糊区域的特征，输出模糊区域的图像框，直到输出的图像框满足预置要求，得到训练好的神经网络模型。通过训练好的深度卷积神经网络模型用来对图像中运动物体产生的模糊区域进行检测。
另外，将模糊区域转换成对应的掩模矩阵，掩模矩阵是一个跟原始图像同等尺寸的矩阵，用0/1表示该区域是否模糊。具体的，图4为神经网络模型求得的模糊区域的示意图；图5为模糊区域对应的掩模矩阵的示意图，图中深色部分即为掩模矩阵所表示的模糊区域。
203、若存在，则计算模糊区域的位置坐标。
需要说明的是，根据得到的模糊区域对应的掩模矩阵的图像，可以求得模糊区域在图像中的位置坐标。每一个低时间分辨率图像中都会计算模糊区域的位置坐标。
204、计算两个相邻的低时间分辨率图像中模糊区域的位置坐标的差值，得到模糊区域的偏移值。
需要说明的是，为了能够计算低时间分辨率图像所对应的原始图像中的模糊区域的位置，可以通过计算连续的低时间分辨率图像中模糊区域的位置坐标，并将两个位置坐标进行相减，就能得到上一个低时间分辨率图像中模糊区域相对于下一个低时间分辨率图像中模糊区域的位置偏移值。那么就可以根据偏移值计算上一个低时间分辨率图像所对应的连续原始图像中模糊区域的平均偏移值，即将总的偏移值除以上一个低时间分辨率图像所包含的原始图像的个数。例如上一个低时间分辨率图像包含n张原始图像，上一个低时间分辨率图像到下一个低时间分辨率图像中的模糊区域的偏移值为a，则上一个低时间分辨率图像中相邻两个原始图像的平均偏移值为a/n。
在一种具体的实施方式中，计算两个相邻的低时间分辨率图像中，两个模糊区域的相同位置像素点的坐标，计算相同位置像素点坐标的差值，得到模糊区域的偏移值。具体的，图6为第一帧低时间分辨率图像的模糊区域对应的掩模矩阵的示意图；图7为第二帧低时间分辨率图像的模糊区域对应的掩模矩阵的示意图。则计算第一帧低时间分辨率图像到第二帧低时间分辨率图像的偏移值为：首先计算第一帧低时间分辨率图像中模糊区域对应的掩模矩阵的最左、最上两个方向的坐标(x1,y1),(x2,y2)；再计算第二帧低时间分辨率图像中模糊区域对应的掩模矩阵的最左、最上两个方向相对于低时间分辨率图像的坐标(x3,y3),(x4,y4)；则第一帧低时间分辨率图像与第二帧低时间分辨率图像中的模糊区域在x、y方向的偏移ΔLx＝x3-x1，ΔLy＝y4-y2。
205、根据偏移值计算低时间分辨率图像所对应的原始图像中的模糊区域的位置。
需要说明的是，计算好相邻原始图像的平均偏移值后，可以根据低延时分辨率图像中的模糊区域的位置坐标，具体为，使用深度学习方法得到两张低时间分辨率图像的模糊区域，两个模糊区域位置的差值近似为合成第一张低时间分辨率的原始图像的总偏差。对于第一张原始图像，其模糊区域使用第一张低时间分辨率图像中的模糊区域位置进行替代；对于第二张原始图像而言，其偏差为：总偏差除以第一张低时间分辨率图像包含的总帧数，则模糊区域的位置为第一张原始图像的模糊区域加上偏差值。
206、修正原始图像中模糊区域的像素点的运动偏移。
需要说明的是，由于物体运动而产生一定的偏移值，因此，需要对得到的模糊区域进行相应的调整。例如，对于图6和图7中的掩模矩阵的位置坐标，可以将模糊区域的x和y方向的偏移值分别看做Δx1＝x3-x1，ΔLy1＝y3-y1；得到物体在c帧原始图像c∈[1,n]时(第一帧低时间分辨率图像包括n帧原始图像)，第c帧原始图像中模糊区域x方向的偏移和y方向的偏移。再加上起始帧检测得到的位置，可以得到第t帧左上角像素因为运动而在其他像素触发输出的位置，其他像素点根据位置不同，加上同样的运动偏移，可以得到其c帧后的触发位置。
207、若连续原始图像的模糊区域中相同位置的像素点出现光强为1时，此时，出现光强为1的原始图像之间包括t个原始图像，原始图像的光强包括1和0；将出现光强为1的原始图像之间的所有原始图像的相同位置的光强设置为1/t+1。
需要说明的是，本申请中需要对原始图像对应的高时间分辨率图像进行修正，即根据偏移值计算间隔信息作为高时间分辨率图像像素值。
具体的，由于当物体发生运动时，物体的触发位置产生了偏移，因此，低时间分辨率图像检测得到的模糊区域的位置就可以为原始图像提供一个帮助，本来第t帧还是应该在原始图像的x1位置触发1(像素点的光强为0或1)，但是随着物体发生运动，使得原本在x1位置触发了1，移动到了x2，在x2这个位置进行了触发，因此在第c帧时检测这个x2的位置触发了1。即，当若连续原始图像的模糊区域中相同位置因为运动产生偏移的像素点出现光强为1时，此时，出现光强为1的原始图像之间包括t个原始图像，原始图像的光强包括1和0；将出现光强为1的原始图像之间的所有原始图像的相同位置因为运动产生偏移的像素点的光强设置为1/t+1。
具体的，如图8所示的对3张连续原始图像中的模糊区域进行校正的示意图。图中有三张连续的原始图像(一张低时间分辨率图像由多张原始图像构成，每一张原始图像对应一张高时间分辨率图像)，图中第一帧原始图像与第三帧原始图像的相同位置因为运动产生偏移的像素点都触发了1，而第二帧原始图像没有触发1，则可以将出现光强为1的原始图像之间的所有原始图像的相同位置因为运动产生偏移的像素点的光强设置为1/2。
本申请还提供了一种图像高速场景恢复设备，设备包括处理器以及存储器：存储器用于存储程序代码，并将程序代码传输给处理器；处理器用于根据程序代码中的指令执行本申请中一种图像高速场景恢复方法的实施例。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行本申请中一种图像高速场景恢复方法的实施例。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种图像高速场景恢复方法，其特征在于，包括：
计算连续原始图像的光强，若所述光强大于预设的阈值，则得到连续的所述原始图像构成的低时间分辨率图像；
将所述低时间分辨率图像输入至训练好的神经网络模型中，检测所述低时间分辨率图像中是否存在模糊区域；
若存在，则计算所述模糊区域的位置坐标；
计算两个相邻的所述低时间分辨率图像中所述模糊区域的所述位置坐标的差值，得到所述模糊区域的偏移值；
根据所述偏移值计算所述低时间分辨率图像所对应的所述原始图像中的所述模糊区域的位置。
2.根据权利要求1所述的图像高速场景恢复方法，其特征在于，在所述根据所述偏移值计算所述低时间分辨率图像所对应的所述原始图像中的所述模糊区域的位置，之后还包括：
根据计算得到的所述模糊区域修正所述原始图像中的运动物体的位置。
3.根据权利要求2所述的图像高速场景恢复方法，其特征在于，所述根据计算得到的所述模糊区域修正所述原始图像中的运动物体的位置，还包括：
修正所述原始图像中所述模糊区域的像素点的运动偏移。
4.根据权利要求3所述的图像高速场景恢复方法，其特征在于，所述根据计算得到的所述模糊区域修正所述原始图像中的运动物体的位置，还包括：
若连续原始图像的所述模糊区域中相同位置的像素点出现光强为1时，此时，出现光强为1的所述原始图像之间包括t个所述原始图像，所述原始图像的光强包括1和0；
将出现光强为1的所述原始图像之间的所有原始图像的相同位置的光强设置为
Figure FDA0002903021500000011
5.根据权利要求1所述的图像高速场景恢复方法，其特征在于，在所述将所述低时间分辨率图像输入至训练好的神经网络模型中，检测所述低时间分辨率图像中是否存在模糊区域，之前还包括：
获取大量包含运动物体的图像，标注所述图像中的模糊区域，将标注后的所述图像作为训练集；
采用所述训练集训练神经网络模型，获取模糊区域的特征，输出所述模糊区域的图像框，直到所述输出的所述图像框满足预置要求，得到训练好的神经网络模型。
6.根据权利要求1所述的图像高速场景恢复方法，其特征在于，所述计算连续原始图像的光强，若所述光强大于预设的阈值，则得到连续的所述原始图像构成的低时间分辨率图像，包括：
将所述连续原始图像的所述光强进行累加，若累加后的所述光强大于预设的阈值，将所述光强大于预设的阈值的所述连续原始图像进行合成，得到低时间分辨率图像；
记录所述光强大于预设的阈值时的所述连续原始图像的起始帧和结束帧。
7.根据权利要求1所述的图像高速场景恢复方法，其特征在于，所述计算两个相邻的所述低时间分辨率图像中所述模糊区域的所述位置坐标的差值，得到所述模糊区域的偏移值，包括：
计算两个相邻的所述低时间分辨率图像中，两个模糊区域的相同位置像素点的坐标，计算相同位置像素点坐标的差值，得到所述模糊区域的偏移值。
8.根据权利要求6所述的图像高速场景恢复方法，其特征在于，所述根据所述偏移值计算所述低时间分辨率图像所对应的所述原始图像中的所述模糊区域的位置，包括：
将所述偏移值除以所述起始帧到所述结束帧的帧数，得到相邻的所述原始图像的平均偏移值；
将所述模糊区域的坐标加上所述平均偏移值得到所述原始图像对应的所述模糊区域的位置。
9.一种图像高速场景恢复设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-8任一项所述的图像高速场景恢复方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-8任一项所述的图像高速场景恢复方法方法。
CN202110062938.6A 2021-01-18 2021-01-18 一种图像高速场景恢复方法、设备及介质 Active CN112651883B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110062938.6A CN112651883B (zh) 2021-01-18 2021-01-18 一种图像高速场景恢复方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110062938.6A CN112651883B (zh) 2021-01-18 2021-01-18 一种图像高速场景恢复方法、设备及介质

Publications (2)

Publication Number Publication Date
CN112651883A true CN112651883A (zh) 2021-04-13
CN112651883B CN112651883B (zh) 2023-04-07

Family

ID=75368277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110062938.6A Active CN112651883B (zh) 2021-01-18 2021-01-18 一种图像高速场景恢复方法、设备及介质

Country Status (1)

Country Link
CN (1) CN112651883B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US20140055632A1 (en) * 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
CN106920229A (zh) * 2017-01-22 2017-07-04 北京奇艺世纪科技有限公司 图像模糊区域自动检测方法及系统
WO2020015167A1 (zh) * 2018-07-17 2020-01-23 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN110728632A (zh) * 2019-09-04 2020-01-24 北京奇艺世纪科技有限公司 图像模糊处理方法、装置、计算机设备和存储介质
CN111126170A (zh) * 2019-12-03 2020-05-08 广东工业大学 一种基于目标检测与追踪的视频动态物检测方法
WO2020125631A1 (zh) * 2018-12-17 2020-06-25 深圳Tcl新技术有限公司 视频压缩方法、装置和计算机可读存储介质
CN111405207A (zh) * 2018-12-27 2020-07-10 天津大学青岛海洋技术研究院 一种应用于高速脉冲传感器的重构图像拖尾消除算法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US20140055632A1 (en) * 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
CN106920229A (zh) * 2017-01-22 2017-07-04 北京奇艺世纪科技有限公司 图像模糊区域自动检测方法及系统
WO2020015167A1 (zh) * 2018-07-17 2020-01-23 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
WO2020125631A1 (zh) * 2018-12-17 2020-06-25 深圳Tcl新技术有限公司 视频压缩方法、装置和计算机可读存储介质
CN111405207A (zh) * 2018-12-27 2020-07-10 天津大学青岛海洋技术研究院 一种应用于高速脉冲传感器的重构图像拖尾消除算法
CN110728632A (zh) * 2019-09-04 2020-01-24 北京奇艺世纪科技有限公司 图像模糊处理方法、装置、计算机设备和存储介质
CN111126170A (zh) * 2019-12-03 2020-05-08 广东工业大学 一种基于目标检测与追踪的视频动态物检测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
C.-T. LIN ET AL.: "Neural-network-based fuzzy logic control and decision system", 《IEEE TRANSACTIONS ON COMPUTERS》 *
JIANGTAO XU ET AL.: "A Method of Biomimetic Visual Perception and Image Reconstruction Based on Pulse Sequence of Events", 《IEEE SENSORS JOURNAL》 *
于波等: "基于深度卷积神经网络的图像重建算法", 《计算机系统应用》 *
武彬: "一种有效的图像复原方法", 《现代电子技术》 *
田启川等: "一种利用神经网络提取运动模糊区域的新方法", 《微电子学与计算机》 *
陈艺: "有效保留图像细节的模糊区域复原方法仿真", 《计算机仿真》 *
陈阳等: "一种基于深度学习模型的图像模糊自动分析处理算法", 《小型微型计算机系统》 *

Also Published As

Publication number Publication date
CN112651883B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US10893283B2 (en) Real-time adaptive video denoiser with moving object detection
EP2169945B1 (en) Image processing apparatus and method for detection and correction of camera shake
CN110782433B (zh) 基于时序的动态信息暴力抛物检测方法、装置及存储介质
KR101071352B1 (ko) 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
CN103700116B (zh) 一种用于运动目标检测的背景建模方法
US7982774B2 (en) Image processing apparatus and image processing method
WO2010030816A2 (en) Long-term memory in a video analysis system
EP3539292A1 (en) Video frame rate conversion using streamed metadata
CN112509003B (zh) 解决目标跟踪框漂移的方法及系统
CN110866486B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN110991310B (zh) 人像检测方法、装置、电子设备及计算机可读介质
JP6504036B2 (ja) 移動検出装置、移動検出方法、及び、プログラム
CN102457724B (zh) 一种图像运动检测系统及方法
CN107844772A (zh) 一种基于移动目标跟踪的机动车自动检测方法
CN112651883B (zh) 一种图像高速场景恢复方法、设备及介质
CN110070050B (zh) 目标检测方法及系统
JP6642570B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
US10469725B2 (en) Spatiotemporal registration of image streams
CN112487874A (zh) 一种基于事件相机消除背景噪声的方法及系统
CN108010050A (zh) 一种基于自适应背景更新和选择性背景更新的前景检测方法
KR101641647B1 (ko) 저사양 영상 기기에서의 실시간 영상 인식 방법
JP5329940B2 (ja) 画像処理装置、その制御方法、及び撮像装置
KR100996209B1 (ko) 변화값 템플릿을 이용한 객체 모델링 방법 및 그 시스템
EP2747416A2 (en) Rolling shutter wobble detection and correction
CN110213457B (zh) 一种图像传输方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant