CN113554726A - 基于脉冲阵列的图像重构方法、装置、存储介质及终端 - Google Patents
基于脉冲阵列的图像重构方法、装置、存储介质及终端 Download PDFInfo
- Publication number
- CN113554726A CN113554726A CN202110626842.8A CN202110626842A CN113554726A CN 113554726 A CN113554726 A CN 113554726A CN 202110626842 A CN202110626842 A CN 202110626842A CN 113554726 A CN113554726 A CN 113554726A
- Authority
- CN
- China
- Prior art keywords
- pulse
- pixel
- pixel position
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Abstract
本发明公开了一种基于脉冲阵列的图像重构方法，包括：将待监测区域的脉冲阵列输入短时可塑性模型中，计算各像素位置的计算单元剩余量和单元连接概率；根据各像素位置的计算单元剩余量和单元连接概率反推出各像素位置的第一脉冲发放率和第二脉冲发放率；加权平均各像素位置对应的第一脉冲发放率和第二脉冲发放率，生成各像素位置的目标脉冲发放率；计算各像素位置连续两个脉冲发放时刻的差值，并基于各像素位置连续两个脉冲发放时刻的差值划分出监控区域的静止区域和运动区域；根据目标脉冲发放率计算静止区域的空间位置的像素值，并根据预设时间步长或目标脉冲发放率计算运动区域的空间位置的像素值，生成重构图像。采用本申请实施例，可以实现物体高速运动场景下的图像重构。
Description
技术领域
本发明涉及数字媒体处理技术领域，特别涉及一种基于脉冲阵列的图像重构方法、装置、存储介质及终端。
背景技术
人类和生物通过眼睛捕捉光子来感知世界，现代摄像机采用CCD(Charge-coupledDevice，电荷耦合元件)或CMOS(ComplementaryMetalOxideSemiconductor，互补金属氧化物半导体)来捕获光子来记录动态变化的世界。
目前，电影采用每秒24帧，电视采用25帧或30帧，可以基本满足人眼获得连续感的需要，这种技术设定也就随着电影电视和个人摄像设备的广泛应用而固化为技术定式，然而其缺点也是显然的，这种表达动态影像的方法记录不了更高速运动，例如旋转的车轮、高速运动的乒乓球、自动驾驶、无人机、高速变化的化学/物理场景，因此，随着数字媒体处理技术的发展，研究人员越发渴望能重构出高速运动场景下的物体图像。
发明内容
本申请实施例提供了一种基于脉冲阵列的图像重构方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
第一方面，本申请实施例提供了一种基于脉冲阵列的图像重构方法，方法包括：
将待监测区域的脉冲阵列输入短时可塑性模型中，计算待监测区域中各像素位置的计算单元剩余量和单元连接概率；
根据各像素位置对应的计算单元剩余量和单元连接概率反推出各像素位置的第一脉冲发放率和第二脉冲发放率；
加权平均各像素位置对应的第一脉冲发放率和第二脉冲发放率，生成各像素位置的目标脉冲发放率；
计算各像素位置连续两个脉冲发放时刻的差值，并基于各像素位置连续两个脉冲发放时刻的差值划分出监控区域的静止区域和运动区域；
根据目标脉冲发放率计算静止区域的空间位置的像素值，并根据预设时间步长或所述目标脉冲发放率计算所述运动区域的空间位置的像素值，生成重构图像。
可选的，将待监测区域的脉冲阵列输入到预先构建的短时可塑性模型中之前，还包括：
构建待监测区域中各像素位置上的短时可塑性模型；
根据待监测区域中各像素位置的时空信号生成待监测区域的脉冲阵列。
可选的，根据待监测区域中各像素位置的时空信号生成待监测区域的脉冲阵列，包括：
采集待监测区域中各像素位置的时空信号；
将各像素位置的时空信号进行积累，并当积累时长大于第一预设值时，生成各像素位置的信号强度值；
将各像素位置的信号强度值依次输入滤波器进行变换，当变换结果大于第二预设值时，输出各像素位置的脉冲信号；
将各像素位置的脉冲信号按照时间的先后顺序排列成二值序列，生成待监测区域的脉冲序列；
将待监测区域的脉冲序列按照空间位置相互关系排列成脉冲阵列，生成待监测区域的脉冲阵列。
可选的，基于各像素位置连续两个脉冲发放时刻的差值划分出监控区域的静止区域和运动区域，包括：
从各像素位置中获取差值大于等于第三预设值的差值对应的像素位置；
将差值大于等于第三预设值的差值所对应的像素位置确定为运动区域；
以及，
从各像素位置中获取差值小于第三预设值的差值所对应的像素位置；
将所述差值小于第三预设值的差值所对应的像素位置确定为静止区域。
可选的，根据目标脉冲发放率计算静止区域的空间位置的像素值，包括：
加载静止区域的像素值计算公式；
将各像素位置的目标脉冲发放率代入静止区域的像素值计算公式中进行计算；
生成静止区域中各空间位置的像素值；其中，
静止区域中各空间位置的像素值计算公式为：P＝C·ρ，C是图像归一化时的缩放因子，ρ为目标脉冲发放率。
可选的，根据预设时间步长或所述目标脉冲发放率计算所述运动区域的空间位置的像素值，包括：
统计运动区域在预设时间步长中发放脉冲个数；
加载运动区域中各空间位置的像素值计算公式；
将预设时间步长、和发放脉冲个数代入运动区域的像素值计算公式中进行计算；
生成运动区域中各空间位置的像素值；其中，运动区域中各空间位置的像素值计算公式为：
其中，Nw为预设时间步长中发放脉冲个数，w为预设时间步长，Cmotion是脉冲阵列对应的重构图像的最大动态范围。
可选的，静止区域或运动区域的形状类型至少分为：多边形区域、圆形区域以及椭圆区域。
第二方面，本申请实施例提供了一种基于脉冲阵列的图像重构装置，装置包括：
数据计算模块，用于将待监测区域的脉冲阵列输入短时可塑性模型中，计算待监测区域中各像素位置的计算单元剩余量和单元连接概率；
发放率反推模块，用于根据各像素位置对应的计算单元剩余量和单元连接概率反推出各像素位置的第一脉冲发放率和第二脉冲发放率；
发放率加权平均模块，用于加权平均各像素位置对应的第一脉冲发放率和第二脉冲发放率，生成各像素位置的目标脉冲发放率；
区域划分模块，用于计算各像素位置连续两个脉冲发放时刻的差值，并基于各像素位置连续两个脉冲发放时刻的差值划分出监控区域的静止区域和运动区域；
图像重构模块，用于根据目标脉冲发放率计算静止区域的空间位置的像素值，并根据预设时间步长或所述目标脉冲发放率计算所述运动区域的空间位置的像素值，生成重构图像。
第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，基于脉冲阵列的图像重构装置首先将待监测区域的脉冲阵列输入短时可塑性模型中，并计算各像素位置的计算单元剩余量和单元连接概率，然后根据各像素位置的计算单元剩余量和单元连接概率反推出各像素位置的第一脉冲发放率和第二脉冲发放率，再加权平均各像素位置对应的第一脉冲发放率和第二脉冲发放率，生成各像素位置的目标脉冲发放率，其次计算各像素位置连续两个脉冲发放时刻的差值，并基于各像素位置连续两个脉冲发放时刻的差值划分出监控区域的静止区域和运动区域，最后根据目标脉冲发放率计算静止区域的空间位置的像素值，并根据预设时间步长或所述目标脉冲发放率计算所述运动区域的空间位置的像素值，生成重构图像。由于本申请利用高频率脉冲阵列本身具有的时空特性进行图像重构，从而可以重构还原出高时间分辨率的场景图像，更加精确捕捉到高速变化场景的时空信息。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本申请实施例提供的一种基于脉冲阵列的图像重构方法的流程示意图；
图2是本申请实施例提供的一种应用场景下的重构图像示例图；
图3是本申请实施例提供的一种基于脉冲阵列的图像重构过程的过程示意图；
图4是本申请实施例提供的一种基于脉冲阵列的图像重构装置的装置示意图；
图5是本申请实施例提供的一种终端的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供了一种基于脉冲阵列的图像重构方法、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请利用高频率脉冲阵列本身具有的时空特性进行图像重构，从而可以重构还原出高时间分辨率的场景图像，更加精确捕捉到高速变化场景的时空信息，下面采用示例性的实施例进行详细说明。
下面将结合附图1-附图3，对本申请实施例提供的基于脉冲阵列的图像重构方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的基于脉冲阵列的图像重构装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。其中，本申请实施例中的基于脉冲阵列的图像重构装置可以为用户终端，包括但不限于：个人电脑、平板电脑、手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中用户终端可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digitalassistant，PDA)、5G网络或未来演进网络中的终端设备等。
请参见图1，为本申请实施例提供了一种基于脉冲阵列的图像重构方法的流程示意图。如图1所示，本申请实施例的方法可以包括以下步骤：
S101，将待监测区域的脉冲阵列输入短时可塑性模型中，计算待监测区域中各像素位置的计算单元剩余量和单元连接概率；
其中，脉冲阵列是通过脉冲信号进行构建的，脉冲信号是一种类似生物神经元之间信息传递的时空信号，脉冲信号的产生时间分辨率远高于传统相机产生图像的频率，而且脉冲信号通过感受外界光信号环境的变化而产生。因此通过脉冲信号能够更加精确地捕捉高速变化的场景信号。
在本申请实施例中，短时可塑性模型是神经计算中的突触短时程可塑性模型，神经元之间的连接称为突触，突触可塑性指的是突触强度的变化，传统的人工神经网络将神经元之间传递信息的过程简化为一个点过程，以连接权重值表示神经元之间的连接关系，这与真实神经系统中信息传递的过程不同，神经元间的连接会受输入信号强度、时间、过程等因素的影响。突触可塑性指突触强度的变化，根据带来变化时间尺度的不同，其可分为两类：长时程可塑性和短时程可塑性。长时程可塑性通常被认为是学习及记忆的基础，其带来的突触强度变化会持续较长时间，而短时程可塑性指的是突触强度发生的短时间变化，通常发生几十到几千毫秒之间，也称为神经元间的动态连接，当脉冲阵列输入到网络中时，根据其脉冲发放特性突触连接强度在短时间内增强称为短时程增强模型，连接强度短时间内减弱的称为短时程抑制模型。
通常，在生成待检测区域的脉冲阵列时，首先采集待监测区域中各像素位置的时空信号，然后将各像素位置的时空信号进行积累，并当积累时长大于第一预设值时，生成各像素位置的信号强度值，然后将各像素位置的信号强度值依次输入滤波器进行变换，当变换结果大于第二预设值时，输出各像素位置的脉冲信号，再将各像素位置的脉冲信号按照时间的先后顺序排列成二值序列，生成待监测区域的脉冲序列，最后将待监测区域的脉冲序列按照空间位置相互关系排列成脉冲阵列，生成待监测区域的脉冲阵列。
在一种可能的实现方式中，首先构建待监测区域中各像素位置上的短时可塑性模型，然后根据待监测区域中各像素位置的时空信号生成待监测区域的脉冲阵列，最后将脉冲阵列输入短时程可塑性模型，获得各个像素位置的计算单元剩余量(即神经递质剩余量)和单元连接概率(神经递质释放概率)。
具体的，计算单元剩余量和单元连接概率的公式如下：(以下描述中分别用R和u表示)：
其中，Δtn表示第n个和第n+1个脉冲的时间间隔，τD和τF分别是短时程抑制和短时程增强的时间常数，U是无脉冲输入时神经递质释放概率u的稳定值。
S102，根据各像素位置对应的计算单元剩余量和单元连接概率反推出各像素位置的第一脉冲发放率和第二脉冲发放率；
在本申请实施例中，在得到各个像素位置的计算单元剩余量和单元连接概率后，可根据单元剩余量和单元连接概率和公式反推出各像素位置的第一脉冲发放率和第二脉冲发放率。公式为：
其中，τD和τF分别是短时程抑制和短时程增强的时间常数，U是无脉冲输入时单元连接概率u的稳定值。
需要说明的是，时序脉冲阵列是由时序脉冲序列排布而成的信号阵列，一个输入脉冲阵列是一一对应的处理单元排布而成，其中每个处理单元为短时可塑单元，其会根据输入脉冲阵列的时域特征输出不同的信号值。
S103，加权平均各像素位置对应的第一脉冲发放率和第二脉冲发放率，生成各像素位置的目标脉冲发放率；
在一种可能的实现方式中，在得到各像素位置的第一脉冲发放率和第二脉冲发放率后，可通过加权平均法来求出每个像素位置最终的目标发放率。加权平均的公式为：
其中，ρR是第一脉冲发放率，ρu是第二脉冲发放率。
S104，计算各像素位置连续两个脉冲发放时刻的差值，并基于各像素位置连续两个脉冲发放时刻的差值划分出监控区域的静止区域和运动区域；
在本申请实施例中，在确定每个时刻的连续两个脉冲发放时刻时，如果当前时刻n没接收到脉冲，则确定时刻n-1以及时刻n-2有没有脉冲，如果有，则将定时刻n-1以及时刻n-2的差值确定为该像素位置连续两个脉冲发放时刻。如果当前时刻n接收到脉冲，则确定时刻n-1有无脉冲，如果无，再确定时刻n-2有无脉冲，如果有，则将时刻n和时刻n-2确定为该像素位置连续两个脉冲发放时刻。
在一种可能的实现方式中，在计算出各像素位置连续两个脉冲发放时刻的差值后，从各像素位置中获取差值大于等于第三预设值的差值对应的像素位置，再将差值大于等于第三预设值的差值所对应的像素位置确定为运动区域。
在另一种可能的实现方式中，在计算出各像素位置连续两个脉冲发放时刻的差值后，从各像素位置中获取差值小于第三预设值的差值所对应的像素位置，并将差值小于第三预设值的差值所对应的像素位置确定为静止区域。
S105，根据目标脉冲发放率计算静止区域的空间位置的像素值，并根据预设时间步长或所述目标脉冲发放率计算所述运动区域的空间位置的像素值，生成重构图像。
在一种可能的实现方式中，在计算静止区域的空间位置的像素值时，首先加载静止区域的像素值计算公式，再将各像素位置的目标脉冲发放率代入静止区域的像素值计算公式中进行计算，最后生成静止区域中各空间位置的像素值。其中，静止区域中各空间位置的像素值计算公式为：P＝C·ρ，C是图像归一化时的缩放因子，ρ为目标脉冲发放率。
在另一种可能的实现方式中，再计算运动区域的空间位置的像素值时，首先统计运动区域在预设时间步长中发放脉冲个数，再加载运动区域中各空间位置的像素值计算公式，然后将预设时间步长、和发放脉冲个数代入运动区域的像素值计算公式中进行计算，最后生成运动区域中各空间位置的像素值。其中，运动区域中各空间位置的像素值计算公式为：
其中，Nw为预设时间步长中发放脉冲个数，w为预设时间步长，Cmotion是脉冲阵列对应的重构图像的最大动态范围。
进一步地，再计算出静态区域与动态区域的像素值后，可得到重构图像，重构图像例如图2所示，图中左边一列是光照条件小于预设值下的重构图像，图中右边一列是光照条件大于预设值下的重构图像，在光照条件强的场景下，不用区分静态区域与动态区域，直接使用目标脉冲发放率计算像素值即可完成整个图像重构，在光照条件弱的场景下，需要区分静态区域与动态区域后分别计算像素值完成图像重构。
例如图3所示，图3是本申请提供的一种基于脉冲阵列的图像重构过程的过程示意图，首先构建待检测区域的时空脉冲阵列，然后将时空脉冲阵列输入预先创建的短时可塑性模型中，输入各个像素位置的计算单元剩余量R与连接概率u。
当前场景是超高速运动场景且光照条件强时，根据各个像素位置的计算单元剩余量R与连接概率u计算像素值，生成并输出重构图像。
当前场景是超高速运动场景且光照条件弱时，根据各个像素位置的计算单元剩余量R区域运动区域和静止区域。当是静止区域时，根据各个像素位置的计算单元剩余量R与连接概率u计算像素值，生成并输出重构图像。当是运动区域时，以短时间窗口脉冲个数作为脉冲发放率，并计算像素值，生成并输出重构图像。
在本申请实施例中，基于脉冲阵列的图像重构装置首先将待监测区域的脉冲阵列输入短时可塑性模型中，并计算各像素位置的计算单元剩余量和单元连接概率，然后根据各像素位置的计算单元剩余量和单元连接概率反推出各像素位置的第一脉冲发放率和第二脉冲发放率，再加权平均各像素位置对应的第一脉冲发放率和第二脉冲发放率，生成各像素位置的目标脉冲发放率，其次计算各像素位置连续两个脉冲发放时刻的差值，并基于各像素位置连续两个脉冲发放时刻的差值划分出监控区域的静止区域和运动区域，最后根据目标脉冲发放率计算静止区域的空间位置的像素值，并根据预设时间步长或所述目标脉冲发放率计算所述运动区域的空间位置的像素值，生成重构图像。由于本申请利用高频率脉冲阵列本身具有的时空特性进行图像重构，从而可以重构还原出高时间分辨率的场景图像，更加精确捕捉到高速变化场景的时空信息。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
请参见图4，其示出了本发明一个示例性实施例提供的基于脉冲阵列的图像重构装置的结构示意图。该基于脉冲阵列的图像重构装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括数据计算模块10、发放率反推模块20、发放率加权平均模块30、区域划分模块40、图像重构模块50。
数据计算模块10，用于将待监测区域的脉冲阵列输入短时可塑性模型中，计算待监测区域中各像素位置的计算单元剩余量和单元连接概率；
发放率反推模块20，用于根据各像素位置对应的计算单元剩余量和单元连接概率反推出各像素位置的第一脉冲发放率和第二脉冲发放率；
发放率加权平均模块30，用于加权平均各像素位置对应的第一脉冲发放率和第二脉冲发放率，生成各像素位置的目标脉冲发放率；
区域划分模块40，用于计算各像素位置连续两个脉冲发放时刻的差值，并基于各像素位置连续两个脉冲发放时刻的差值划分出监控区域的静止区域和运动区域；
图像重构模块50，用于根据目标脉冲发放率计算静止区域的空间位置的像素值，并根据预设时间步长或所述目标脉冲发放率计算所述运动区域的空间位置的像素值，生成重构图像。
需要说明的是，上述实施例提供的基于脉冲阵列的图像重构装置在执行基于脉冲阵列的图像重构方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于脉冲阵列的图像重构装置与基于脉冲阵列的图像重构方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请实施例中，基于脉冲阵列的图像重构装置首先将待监测区域的脉冲阵列输入短时可塑性模型中，并计算各像素位置的计算单元剩余量和单元连接概率，然后根据各像素位置的计算单元剩余量和单元连接概率反推出各像素位置的第一脉冲发放率和第二脉冲发放率，再加权平均各像素位置对应的第一脉冲发放率和第二脉冲发放率，生成各像素位置的目标脉冲发放率，其次计算各像素位置连续两个脉冲发放时刻的差值，并基于各像素位置连续两个脉冲发放时刻的差值划分出监控区域的静止区域和运动区域，最后根据目标脉冲发放率计算静止区域的空间位置的像素值，并根据预设时间步长或所述目标脉冲发放率计算所述运动区域的空间位置的像素值，生成重构图像。由于本申请利用高频率脉冲阵列本身具有的时空特性进行图像重构，从而可以重构还原出高时间分辨率的场景图像，更加精确捕捉到高速变化场景的时空信息。
本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的基于脉冲阵列的图像重构方法。
本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的基于脉冲阵列的图像重构方法。
请参见图5，为本申请实施例提供了一种终端的结构示意图。如图5所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。
其中，通信总线1002用于实现这些组件之间的连接通信。
其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。
其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。
其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图5所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于脉冲阵列的图像重构应用程序。
在图5所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的基于脉冲阵列的图像重构应用程序，并具体执行以下操作：
将待监测区域的脉冲阵列输入短时可塑性模型中，计算所述待监测区域中各像素位置的计算单元剩余量和单元连接概率；
根据所述各像素位置对应的计算单元剩余量和单元连接概率反推出各像素位置的第一脉冲发放率和第二脉冲发放率；
加权平均所述各像素位置对应的第一脉冲发放率和第二脉冲发放率，生成各像素位置的目标脉冲发放率；
计算所述各像素位置连续两个脉冲发放时刻的差值，并基于所述各像素位置连续两个脉冲发放时刻的差值划分出所述监控区域的静止区域和运动区域；
根据所述目标脉冲发放率计算所述静止区域的空间位置的像素值，并根据预设时间步长或所述目标脉冲发放率计算所述运动区域的空间位置的像素值，生成重构图像。
在一个实施例中，处理器1001在执行将待监测区域的脉冲阵列输入到预先构建的短时可塑性模型中之前时，具体执行以下操作：
构建待监测区域中各像素位置上的短时可塑性模型；
根据所述待监测区域中各像素位置的时空信号生成待监测区域的脉冲阵列。
在一个实施例中，处理器1001在执行根据所述待监测区域中各像素位置的时空信号生成待监测区域的脉冲阵列时，具体执行以下操作：
采集所述待监测区域中各像素位置的时空信号；
将所述各像素位置的时空信号进行积累，并当积累时长大于第一预设值时，生成各像素位置的信号强度值；
将所述各像素位置的信号强度值依次输入滤波器进行变换，当变换结果大于第二预设值时，输出各像素位置的脉冲信号；
将所述各像素位置的脉冲信号按照时间的先后顺序排列成二值序列，生成待监测区域的脉冲序列；
将所述待监测区域的脉冲序列按照空间位置相互关系排列成脉冲阵列，生成待监测区域的脉冲阵列。
在一个实施例中，处理器1001在执行基于所述各像素位置连续两个脉冲发放时刻的差值划分出所述监控区域的静止区域和运动区域时，具体执行以下操作：
从所述各像素位置中获取所述差值大于等于第三预设值的差值对应的像素位置；
将所述差值大于等于第三预设值的差值所对应的像素位置确定为运动区域；
以及，
从所述各像素位置中获取所述差值小于第三预设值的差值所对应的像素位置；
将所述差值小于第三预设值的差值所对应的像素位置确定为静止区域。
在一个实施例中，处理器1001在执行根据所述目标脉冲发放率计算所述静止区域的空间位置的像素值时，具体执行以下操作：
加载静止区域的像素值计算公式；
将所述各像素位置的目标脉冲发放率代入所述静止区域的像素值计算公式中进行计算；
生成静止区域中各空间位置的像素值；其中，
所述静止区域中各空间位置的像素值计算公式为：P＝C·ρ，C是图像归一化时的缩放因子，ρ为目标脉冲发放率。
在一个实施例中，处理器1001在执行根据预设时间步长或所述目标脉冲发放率计算所述运动区域的空间位置的像素值时，具体执行以下操作：
统计所述运动区域在预设时间步长中发放脉冲个数；
加载运动区域中各空间位置的像素值计算公式；
将所述预设时间步长、和所述发放脉冲个数代入所述运动区域的像素值计算公式中进行计算；
生成运动区域中各空间位置的像素值；其中，运动区域中各空间位置的像素值计算公式为：
其中，Nw为预设时间步长中发放脉冲个数，w为预设时间步长，Cmotion是脉冲阵列对应的重构图像的最大动态范围。
在本申请实施例中，基于脉冲阵列的图像重构装置首先将待监测区域的脉冲阵列输入短时可塑性模型中，并计算各像素位置的计算单元剩余量和单元连接概率，然后根据各像素位置的计算单元剩余量和单元连接概率反推出各像素位置的第一脉冲发放率和第二脉冲发放率，再加权平均各像素位置对应的第一脉冲发放率和第二脉冲发放率，生成各像素位置的目标脉冲发放率，其次计算各像素位置连续两个脉冲发放时刻的差值，并基于各像素位置连续两个脉冲发放时刻的差值划分出监控区域的静止区域和运动区域，最后根据目标脉冲发放率计算静止区域的空间位置的像素值，并根据预设时间步长或所述目标脉冲发放率计算所述运动区域的空间位置的像素值，生成重构图像。由于本申请利用高频率脉冲阵列本身具有的时空特性进行图像重构，从而可以重构还原出高时间分辨率的场景图像，更加精确捕捉到高速变化场景的时空信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (10)
1.一种基于脉冲阵列的图像重构方法，其特征在于，所述方法包括：
将待监测区域的脉冲阵列输入短时可塑性模型中，计算所述待监测区域中各像素位置的计算单元剩余量和单元连接概率；
根据所述各像素位置对应的计算单元剩余量和单元连接概率反推出各像素位置的第一脉冲发放率和第二脉冲发放率；
加权平均所述各像素位置对应的第一脉冲发放率和第二脉冲发放率，生成各像素位置的目标脉冲发放率；
计算所述各像素位置连续两个脉冲发放时刻的差值，并基于所述各像素位置连续两个脉冲发放时刻的差值划分出所述监控区域的静止区域和运动区域；
根据所述目标脉冲发放率计算所述静止区域的空间位置的像素值，并根据预设时间步长或目标脉冲发放率计算所述运动区域的空间位置的像素值，生成重构图像。
2.根据权利要求1所述的方法，其特征在于，所述将待监测区域的脉冲阵列输入到预先构建的短时可塑性模型中之前，还包括：
构建待监测区域中各像素位置上的短时可塑性模型；
根据所述待监测区域中各像素位置的时空信号生成待监测区域的脉冲阵列。
3.根据权利要求2所述的方法，其特征在于，所述根据所述待监测区域中各像素位置的时空信号生成待监测区域的脉冲阵列，包括：
采集所述待监测区域中各像素位置的时空信号；
将所述各像素位置的时空信号进行积累，并当积累时长大于第一预设值时，生成各像素位置的信号强度值；
将所述各像素位置的信号强度值依次输入滤波器进行变换，当变换结果大于第二预设值时，输出各像素位置的脉冲信号；
将所述各像素位置的脉冲信号按照时间的先后顺序排列成二值序列，生成待监测区域的脉冲序列；
将所述待监测区域的脉冲序列按照空间位置相互关系排列成脉冲阵列，生成待监测区域的脉冲阵列。
4.根据权利要求1所述的方法，其特征在于，所述基于所述各像素位置连续两个脉冲发放时刻的差值划分出所述监控区域的静止区域和运动区域，包括：
从所述各像素位置中获取所述差值大于等于第三预设值的差值对应的像素位置；
将所述差值大于等于第三预设值的差值所对应的像素位置确定为运动区域；
以及，
从所述各像素位置中获取所述差值小于第三预设值的差值所对应的像素位置；
将所述差值小于第三预设值的差值所对应的像素位置确定为静止区域。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标脉冲发放率计算所述静止区域的空间位置的像素值，包括：
加载静止区域的像素值计算公式；
将所述各像素位置的目标脉冲发放率代入所述静止区域的像素值计算公式中进行计算；
生成静止区域中各空间位置的像素值；其中，
所述静止区域中各空间位置的像素值计算公式为：P＝C·ρ，C是图像归一化时的缩放因子，ρ为目标脉冲发放率。
6.根据权利要求1所述的方法，其特征在于，所述根据预设时间步长或所述目标脉冲发放率计算所述运动区域的空间位置的像素值，包括：
统计所述运动区域在预设时间步长中发放脉冲个数；
加载运动区域中各空间位置的像素值计算公式；
将所述预设时间步长、和所述发放脉冲个数代入所述运动区域的像素值计算公式中进行计算；
生成运动区域中各空间位置的像素值；其中，运动区域中各空间位置的像素值计算公式为：
其中，Nw为预设时间步长中发放脉冲个数，w为预设时间步长，Cmotion是脉冲阵列对应的重构图像的最大动态范围。
7.根据权利要求1所述的方法，其特征在于，所述静止区域或运动区域的形状类型至少分为：多边形区域、圆形区域以及椭圆区域。
8.一种基于脉冲阵列的图像重构装置，其特征在于，所述装置包括：
数据计算模块，用于将待监测区域的脉冲阵列输入短时可塑性模型中，计算所述待监测区域中各像素位置的计算单元剩余量和单元连接概率；
发放率反推模块，用于根据所述各像素位置对应的计算单元剩余量和单元连接概率反推出各像素位置的第一脉冲发放率和第二脉冲发放率；
发放率加权平均模块，用于加权平均所述各像素位置对应的第一脉冲发放率和第二脉冲发放率，生成各像素位置的目标脉冲发放率；
区域划分模块，用于计算所述各像素位置连续两个脉冲发放时刻的差值，并基于所述各像素位置连续两个脉冲发放时刻的差值划分出所述监控区域的静止区域和运动区域；
图像重构模块，用于根据所述目标脉冲发放率计算所述静止区域的空间位置的像素值，并根据预设时间步长或所述目标脉冲发放率计算所述运动区域的空间位置的像素值，生成重构图像。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-7任意一项的方法步骤。
10.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-7任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110626842.8A CN113554726B (zh) | 2021-06-04 | 2021-06-04 | 基于脉冲阵列的图像重构方法、装置、存储介质及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110626842.8A CN113554726B (zh) | 2021-06-04 | 2021-06-04 | 基于脉冲阵列的图像重构方法、装置、存储介质及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113554726A true CN113554726A (zh) | 2021-10-26 |
| CN113554726B CN113554726B (zh) | 2023-10-20 |
Family
ID=78130327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110626842.8A Active CN113554726B (zh) | 2021-06-04 | 2021-06-04 | 基于脉冲阵列的图像重构方法、装置、存储介质及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113554726B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063283A (zh) * | 2022-06-13 | 2022-09-16 | 脉冲视觉(北京)科技有限公司 | 一种用于图像重构的逻辑器件 |
| CN115100230A (zh) * | 2022-08-24 | 2022-09-23 | 首都医科大学附属北京朝阳医院 | 基于血管图像的动静脉分离方法、装置、存储介质及终端 |
| CN115866427A (zh) * | 2023-01-17 | 2023-03-28 | 脉冲视觉(北京)科技有限公司 | 脉冲数据读出方法和装置、系统、设备和介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140193066A1 (en) * | 2012-12-10 | 2014-07-10 | Brain Corporation | Contrast enhancement spiking neuron network sensory processing apparatus and methods |
| CN109803096A (zh) * | 2019-01-11 | 2019-05-24 | 北京大学 | 一种基于脉冲信号的显示方法和系统 |
| CN111275742A (zh) * | 2020-01-19 | 2020-06-12 | 北京大学 | 一种目标识别方法、装置、系统及计算机可读存储介质 |
| CN111709967A (zh) * | 2019-10-28 | 2020-09-25 | 北京大学 | 一种目标检测方法、目标跟踪方法、装置及可读存储介质 |
| US20200410693A1 (en) * | 2019-06-28 | 2020-12-31 | Cognex Corporation | Systems and methods for detecting motion during 3d data reconstruction |
-
2021
- 2021-06-04 CN CN202110626842.8A patent/CN113554726B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140193066A1 (en) * | 2012-12-10 | 2014-07-10 | Brain Corporation | Contrast enhancement spiking neuron network sensory processing apparatus and methods |
| CN109803096A (zh) * | 2019-01-11 | 2019-05-24 | 北京大学 | 一种基于脉冲信号的显示方法和系统 |
| US20200410693A1 (en) * | 2019-06-28 | 2020-12-31 | Cognex Corporation | Systems and methods for detecting motion during 3d data reconstruction |
| CN111709967A (zh) * | 2019-10-28 | 2020-09-25 | 北京大学 | 一种目标检测方法、目标跟踪方法、装置及可读存储介质 |
| CN111275742A (zh) * | 2020-01-19 | 2020-06-12 | 北京大学 | 一种目标识别方法、装置、系统及计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 胡明合: "强脉冲干扰下景物视频图像运动目标检测仿真", 计算机仿真, no. 007 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063283A (zh) * | 2022-06-13 | 2022-09-16 | 脉冲视觉(北京)科技有限公司 | 一种用于图像重构的逻辑器件 |
| CN115100230A (zh) * | 2022-08-24 | 2022-09-23 | 首都医科大学附属北京朝阳医院 | 基于血管图像的动静脉分离方法、装置、存储介质及终端 |
| CN115866427A (zh) * | 2023-01-17 | 2023-03-28 | 脉冲视觉(北京)科技有限公司 | 脉冲数据读出方法和装置、系统、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113554726B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113554726B (zh) | 基于脉冲阵列的图像重构方法、装置、存储介质及终端 | |
| JP2021531566A (ja) | 画像処理方法および装置、電子機器ならびに記憶媒体 | |
| CN110399908B (zh) | 基于事件型相机的分类方法和装置、存储介质、电子装置 | |
| CN112785507A (zh) | 图像处理方法及装置、存储介质、终端 | |
| CN109993824B (zh) | 图像处理方法、智能终端及具有存储功能的装置 | |
| CN111667420B (zh) | 图像处理方法及装置 | |
| CN111861572A (zh) | 广告投放方法、装置、电子设备及计算机可读存储介质 | |
| CN111985281A (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| CN110795998B (zh) | 人流量的检测方法、装置、电子设备及可读存储介质 | |
| CN111369482A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN114360018A (zh) | 三维人脸表情的渲染方法及装置、存储介质及电子装置 | |
| CN112489103A (zh) | 一种高分辨率深度图获取方法及系统 | |
| CN113962873A (zh) | 一种图像去噪方法、存储介质及终端设备 | |
| CN108734712A (zh) | 背景分割的方法、装置及计算机存储介质 | |
| CN114255177B (zh) | 成像中的曝光控制方法、装置、设备及存储介质 | |
| CN113033616B (zh) | 高质量视频重建方法、装置、设备及存储介质 | |
| CN111489289B (zh) | 一种图像处理方法、图像处理装置及终端设备 | |
| CN115309301A (zh) | 基于深度学习的Android手机端侧AR交互系统 | |
| CN114511702A (zh) | 一种基于多尺度分权注意力的遥感图像分割方法和系统 | |
| CN107993217B (zh) | 视频数据实时处理方法及装置、计算设备 | |
| CN115115526A (zh) | 图像处理方法及装置、存储介质和图形计算处理器 | |
| CN115908962B (zh) | 神经网络的训练方法、脉冲信号重构图像生成方法及装置 | |
| CN114219744B (zh) | 图像生成方法、装置、设备及存储介质 | |
| CN113506322B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN113556473B (zh) | 花朵开花过程的拍摄方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |