CN113014805B - 一种仿视网膜中央凹与外周的联合采样方法及装置 - Google Patents
一种仿视网膜中央凹与外周的联合采样方法及装置 Download PDFInfo
- Publication number
- CN113014805B CN113014805B CN202110170050.4A CN202110170050A CN113014805B CN 113014805 B CN113014805 B CN 113014805B CN 202110170050 A CN202110170050 A CN 202110170050A CN 113014805 B CN113014805 B CN 113014805B
- Authority
- CN
- China
- Prior art keywords
- coding
- stream
- texture information
- information
- light intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005070 sampling Methods 0.000 title claims abstract description 105
- 238000000034 method Methods 0.000 title claims abstract description 67
- 210000001525 retina Anatomy 0.000 title claims abstract description 33
- 230000008859 change Effects 0.000 claims abstract description 89
- 230000000007 visual effect Effects 0.000 claims abstract description 36
- 238000004458 analytical method Methods 0.000 claims abstract description 31
- 230000003287 optical effect Effects 0.000 claims abstract description 23
- 238000000926 separation method Methods 0.000 claims abstract description 12
- 230000008447 perception Effects 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 28
- 230000002093 peripheral effect Effects 0.000 claims description 22
- 230000004438 eyesight Effects 0.000 claims description 19
- 238000004088 simulation Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 claims description 4
- 238000005286 illumination Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 230000035479 physiological effects, processes and functions Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004243 retinal function Effects 0.000 description 1
- 230000004517 retinal physiology Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种仿视网膜中央凹与外周的联合采样方法、装置、计算机设备和存储介质。所述方法包括：通过解码模块对异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据；根据变化信息编码数据和纹理信息编码数据进行视觉任务分析，得到对应的分析结果，视觉任务包括感知当前场景变化的任务和重构图像视频的任务。因此，采用本申请实施例提供的采样方法，能够对光信号进行感知编码并生成脉冲阵列，同时解码端的解码模块可根据编码规则完成脉冲类型分离及场景亮度重构，因此，该采样方法具有高时间分辨率、高动态范围、低功耗等优点，能够应用于高速运动模糊与极端光照等应用场景中。
Description
技术领域
本发明涉及通信技术领域，特别涉及一种仿视网膜中央凹与外周的联合采样方法及装置。
背景技术
神经形态视觉传感器具有高时域分辨率、高动态范围、低数据冗余和低功耗等优势，在自动驾驶、无人机视觉导航等多个领域(尤其是在高速运动或极端光照场景下)具有广阔的应用前景；其对应的研究方向，神经形态视觉，也是计算神经科学与计算机视觉领域的交叉学科与研究热点。
在现有的各类神经形态相机中，大部分设计均只基于一种神经形态视觉传感器的原理，只感知物体运动信息或纹理信息，无法做到同时感知；而通过DVS与传统图像相结合的DAVIS系列相机存在帧率不匹配、无法对齐等问题；通过DVS触发积分型传感器的ATIS系列相机存在动态事件丢失、低光照区域过长时间积分等问题，无论何种设计，均无法匹配人眼感知动态与纹理的生物学特征。
发明内容
本发明实施例的目的在于提供一种仿视网膜中央凹与外周的联合采样方法、装置、计算机设备和存储介质，以解决上述技术问题。
第一方面，本申请实施例提供了一种仿视网膜中央凹与外周的联合采样方法，所述方法包括：
获取当前场景中不同空间位置的光强变化信息和物体纹理信息；
根据预设编码方式对所述光强变化信息和所述物体纹理信息进行编码，得到与光信号对应的脉冲信号；
在通过控制模块在动态感知模式和纹理感知模式之间进行自动切换的情况下，使用所述预设编码方式进行编码，并输出与所述脉冲信号对应的异步脉冲信号；
通过解码模块对所述异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据；
根据所述变化信息编码数据和所述纹理信息编码数据进行视觉任务分析，得到对应的分析结果，所述视觉任务包括感知当前场景变化的任务和重构图像视频的任务。
在一种实施方式中，所述方法还包括：
以脉冲的形式采样并记录光强动态变化以及纹理特征信息；或者，
通过生物视觉采样模型对所述异步脉冲信号进行表征，所述异步脉冲阵列信号为时空稀疏的离散点阵。
在一种实施方式中，所述生物视觉采样模型包括仿视网膜外周生理结构与功能模型和仿视网膜中央凹生理结构与功能模型，所述通过生物视觉采样模型对所述异步脉冲信号进行表征包括：
根据所述仿视网膜外周生理结构与功能模型，感知当前场景中不同空间位置下的物体动态变化的脉冲编码表征；或者，
根据所述仿视网膜中央凹生理结构与功能模型，感知当前场景中不同空间位置下的物体纹理结构的编码表征；或者，
根据所述仿视网膜外周生理结构与功能模型和所述仿视网膜中央凹生理结构与功能模型，通过所述控制模块在所述动态感知模式和所述纹理感知模式之间进行切换，并根据当前场景的场景情况自动感知物体动态变化与纹理信息的融合编码表征。
在一种实施方式中，所述方法还包括：
对感受野邻域内的光强信息进行采样与编码，得到对应的采样结果和编码结果。
在一种实施方式中，所述方法还包括：
在每个感受野内获取对应的光强动态变化和纹理信息，并根据所述光强动态变化和所述纹理信息生成动态信息流与纹理信息流，所述动态信息流和所述纹理信息流均采用事件编码格式，所述事件编码格式包括横坐标、纵坐标、时间和极性四元组，每个四元组使用预设数量比特编码；
通过所述控制模块对所述动态信息流和所述纹理信息流进行控制处理，生成对应的混合编码流，所述混合编码流采用所述事件编码格式。
在一种实施方式中，所述方法还包括：
获取所述混合编码流；
根据同一位置两个事件四元组之间的时间间隔，判断所述混合编码流的类型，得到所述混合编码流的类型；
根据所述混合编码流的类型，对所述混合编码流采用对应的预设处理方式进行处理，所述预设处理方式包括对所述混合编码流进行混合编码流分离处理和对所述混合编码流进行场景重构处理。
在一种实施方式中，所述方法还包括：
获取当前感受野的第一光强值，以及获取用于进行联合采样的采样装置中的电路所记录的第二光强值；
将所述第一光强值和所述第二光强值进行比较，若所述第一光强值和所述第二光强值之间差值的绝对值超过预设阈值，则发放该事件，并通过所述采样装置中的所述电路记录当前感受野的当前光强值。
第二方面，本申请实施例提供了一种仿视网膜中央凹与外周的联合采样装置，所述装置包括：
获取模块，用于获取当前场景中不同空间位置的光强变化信息和物体纹理信息；
编码模块，用于根据预设编码方式对所述获取模块获取的所述光强变化信息和所述物体纹理信息进行编码，得到与光信号对应的脉冲信号；以及
在通过控制模块在动态感知模式和纹理感知模式之间进行自动切换的情况下，使用所述预设编码方式进行编码，并输出与所述脉冲信号对应的异步脉冲信号；
解码模块，用于对所述编码模块编码出的所述异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据；
分析模块，用于根据所述解码模块分离出的所述变化信息编码数据和所述纹理信息编码数据进行视觉任务分析，得到对应的分析结果，所述视觉任务包括感知当前场景变化的任务和重构图像视频的任务。
第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述的方法步骤。
第四方面，本申请实施例提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述的方法步骤。
本申请实施例提供的技术方案可以包括以下有益效果：
在本申请实施例中，获取当前场景中不同空间位置的光强变化信息和物体纹理信息；根据预设编码方式对光强变化信息和物体纹理信息进行编码，得到与光信号对应的脉冲信号；在通过控制模块在动态感知模式和纹理感知模式之间进行自动切换的情况下，使用预设编码方式进行编码，并输出与脉冲信号对应的异步脉冲信号；通过解码模块对异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据；根据变化信息编码数据和纹理信息编码数据进行视觉任务分析，得到对应的分析结果，视觉任务包括感知当前场景变化的任务和重构图像视频的任务。因此，采用本申请实施例提供的采样方法，能够对光信号进行感知编码并生成脉冲阵列，同时解码端的解码模块可根据编码规则完成脉冲类型分离及场景亮度重构，因此，该采样方法具有高时间分辨率、高动态范围、低功耗等优点，能够应用于高速运动模糊与极端光照等应用场景中。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是本公开实施例提供的一种仿视网膜中央凹与外周的联合采样方法的流程示意图；
图2是本发明实施例提供的一种动态视觉脉冲信号采样编码与解码的处理流程图；
图3是本发明实施例提供的一种对信号进行动态感知与纹理感知的处理流程图；
图4是本发明实施例提供的一种对信号感知结果通过控制电路生成混合事件的处理流程图；
图5是本发明实施例提供的一种对混合事件流进行场景亮度重构的处理流程图；
图6是本公开实施例提供的具体应用场景下的仿视网膜中央凹与外周的联合采样方法的流程示意图；
图7是本公开实施例提供的一种仿视网膜中央凹与外周的联合采样装置的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面结合附图详细说明本公开的可选实施例。
如图1所示，本公开实施例提供一种仿视网膜中央凹与外周的联合采样方法，该仿视网膜中央凹与外周的联合采样方法具体包括以下方法步骤：
S101：获取当前场景中不同空间位置的光强变化信息和物体纹理信息。
S102：根据预设编码方式对光强变化信息和物体纹理信息进行编码，得到与光信号对应的脉冲信号。
S103：在通过控制模块在动态感知模式和纹理感知模式之间进行自动切换的情况下，使用预设编码方式进行编码，并输出与脉冲信号对应的异步脉冲信号。
S104：通过解码模块对异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据。
在本申请实施例中，解码模块为脉冲信号解码模块，该解码模块用于进行事件分离，事件分离的过程具体如下所述：对每个位置维护一个时间戳，通过时间戳对混合事件流进行分离，得到动态信息事件流与纹理信息事件流。
此外，解码模块为脉冲信号解码模块，该解码模块还用于进行亮度重构，亮度重构的过程具体如下所述：对每个位置维护一个栈，通过该维护的栈记录连续的动态事件，并在下一个纹理事件到来后，还原之前一段时间的亮度信息。
在实际应用场景中，解码模块为脉冲信号解码模块，通过该解码模块进行事件分离和亮度重构的过程具体包括以下步骤：
解码模块按时间顺序依次读取每个位置产生的事件；
当同一位置两个相邻事件时间间隔不大于预先配置的预定值时，则判断出后产生事件为动态型事件；
当同一位置两个相邻事件时间间隔大于预先的预定值时，则判断出后产生事件为纹理型事件；
动态型事件表示光强变化方向，无法直接重构光强，此时，入栈并等待后续异步参考帧；
纹理型事件表示一段时间内光强积分结果，可以直接重构光强，并作为上述异步参考帧，还原栈内动态型事件的时间范围内的光强大小。
S105：根据变化信息编码数据和纹理信息编码数据进行视觉任务分析，得到对应的分析结果，视觉任务包括感知当前场景变化的任务和重构图像视频的任务。
在一种可能的实现方式中，本公开实施例提供的采样方法还包括以下步骤：以脉冲的形式采样并记录光强动态变化以及纹理特征信息；或者，通过生物视觉采样模型对异步脉冲信号进行表征，异步脉冲阵列信号为时空稀疏的离散点阵。
在一种可能的实现方式中，生物视觉采样模型包括仿视网膜外周生理结构与功能模型和仿视网膜中央凹生理结构与功能模型，通过生物视觉采样模型对异步脉冲信号进行表征包括以下步骤：
根据仿视网膜外周生理结构与功能模型，感知当前场景中不同空间位置下的物体动态变化的脉冲编码表征；或者，
根据仿视网膜中央凹生理结构与功能模型，感知当前场景中不同空间位置下的物体纹理结构的编码表征；或者，
根据仿视网膜外周生理结构与功能模型和仿视网膜中央凹生理结构与功能模型，通过控制模块在动态感知模式和纹理感知模式之间进行切换，并根据当前场景的场景情况自动感知物体动态变化与纹理信息的融合编码表征。
在本申请实施例中，仿视网膜外周生理结构与功能模型用于感知物体动态变化信息。在实际应用场景中，通过仿视网膜外周生理结构与功能模型感知物体动态变化信息的过程具体如下所述：
将当前感受野的光强大小与电路所记录的光强值进行比较，二者差值的绝对值超过预先设置的某个阈值时，则发放事件，同时电路记录当前光强大小，其中，电路为采用本公开实施例所使用的联合采样方法，进行联合采样的采样装置中的电路。
在本申请实施例中，仿视网膜外周生理结构与功能模型包括用于进行联合采样的联合采样模块，该联合采样模块具体用于：当光强变化超过阈值时，发放该事件的事件四元组，其中，该事件的事件四元组包括横坐标、纵坐标、时间表示为该事件产生位置与时间，极性表示光强变化方向，即动态信息流。
仿视网膜中央凹生理结构与功能模型包括用于进行联合采样的联合采样模型，该联合采样模型具体用于：当光强积分超过阈值时，发放该事件的事件四元组，其中，该事件的事件四元组包括横坐标、纵坐标、时间表示为该事件产生位置与时间，极性表示所使用的积分器类型，即纹理信息流。
在本申请实施例中，控制模块为脉冲信号生成器控制模块，若事件为动态型事件，该动态性事件四元组进入该控制模块后，得到该事件时间戳与控制模块记录的时间戳的时间间隔，若该时间间隔大于上述预先配置的预定值时，则忽略该动态型事件四元组，否则，则输出该动态型事件四元组。
若事件为纹理型事件，该纹理型事件四元组进入该控制模块后，直接输出该纹理型事件四元组。
在实际应用场景中，无论何种事件从控制模块输出，其均遵循64比特编码格式，控制模块更新记录的时间戳并重置上述纹理视觉采样模块中的积分器。
在一种可能的实现方式中，本公开实施例提供的采样方法还包括以下步骤：
通过用于进行联合采样的联合采样装置中的控制模块同时处理动态信息流与纹理信息流中的事件，处理后每个动态型事件距离前一个事件的时间间隔一定不超过某个预定值，每个纹理型事件距离前一个事件的时间间隔一定大于该预定值；以及根据下一个事件类型与时间戳判断当前场景的场景变化情况，并根据当前场景的场景变化情况，通过控制模块自动切换感知模式至与当前场景的场景变换情况匹配的感知模式。
在本申请实施例中，仿视网膜中央凹生理结构与功能模型用于感知物体纹理信息，即，对当前感受野的光强进行积分，当积分值超过某个设定阈值时，则发放事件，同时对积分器进行重置。
在一种可能的实现方式中，本公开实施例提供的采样方法还包括以下步骤：对感受野邻域内的光强信息进行采样与编码，得到对应的采样结果和编码结果。
在一种可能的实现方式中，本公开实施例提供的采样方法还包括以下步骤：
在每个感受野内获取对应的光强动态变化和纹理信息，并根据光强动态变化和纹理信息生成动态信息流与纹理信息流，动态信息流和纹理信息流均采用事件编码格式，事件编码格式包括横坐标、纵坐标、时间和极性四元组，每个四元组使用预设数量比特编码，在一种具体应用场景下，可以将预设数量设置为64，则每个四元组使用64比特编码；
通过控制模块对动态信息流和纹理信息流进行控制处理，生成对应的混合编码流，混合编码流采用事件编码格式，事件编码格式包括横坐标、纵坐标、时间和极性四元组，每个四元组使用预设数量比特编码，在一种具体应用场景下，可以将预设数量设置为64，则每个四元组使用64比特编码。
在一种可能的实现方式中，事件四元组编码的四元组也可以用脉冲平面代替，即：将某个采样时空的所有像素位置脉冲以“0”或“1”标记进行编码，在场景大幅度变化时，节约传输带宽。其中，动态信息流和纹理信息流均采用事件编码格式进行编码。
在实际应用场景中，在生成混合编码流的同时，同步更新用于进行联合采样的采样装置中的电路的电路状态。
在本申请实施例中，混合编码流同样采用上述64比特事件四元组编码，由解码端的解码模块判断每个事件四元组的具体涵义并进行后续处理。
在一种可能的实现方式中，本公开实施例提供的采样方法还包括以下步骤：
获取混合编码流；
根据同一位置两个事件四元组之间的时间间隔，判断混合编码流的类型，得到混合编码流的类型；
根据混合编码流的类型，对混合编码流采用对应的预设处理方式进行处理，预设处理方式包括对混合编码流进行混合编码流分离处理和对混合编码流进行场景重构处理。
在本申请实施例中，预设处理方式除了上述两种常见的预设处理方式之外，还可以根据不同应用场景的需求，引入其它的预设处理方式，在此不再赘述。
在一种可能的实现方式中，本公开实施例提供的采样方法还包括以下步骤：
获取当前感受野的第一光强值，以及获取用于进行联合采样的采样装置中的电路所记录的第二光强值；
将第一光强值和第二光强值进行比较，若第一光强值和第二光强值之间差值的绝对值超过预设阈值，则发放该事件，并通过采样装置中的电路记录当前感受野的当前光强值。
DVS(Dynamic Vision Sensor，动态视觉传感器)是模仿神经元脉冲发放和视网膜外周细胞对亮度变化敏感机理的视觉传感器；积分型视觉传感器是模仿视网膜中央凹细胞对物体精细纹理感知的视觉传感器，二者发放的神经脉冲信号以时空脉冲阵列信号描述，即事件表征，相对传统固定帧率相机具有高时间分辨率、低数据冗余、高动态范围、低功耗等优势。
现有的动态视觉传感器相机或积分型视觉传感器，无法使用同种表征同时表示两种事件，或存在动态信息丢失、暗场景无法感知等问题。为解决上述问题，本申请实施例提供的采样方法，从功能设计上提出了一种仿视网膜中央凹与外周的联合采样的方案。
本申请实施例提供了一种动态视觉脉冲信号采样编码与解码的处理流程，如图2所示，包括如下处理步骤：
步骤1：对于光电转换模块，通过采样芯片对光信号进行处理，对光强值进行对数编码，如光强值为I，则通过电路设计取对数ln(I)，从而生成在时间上连续的电信号；将取对数后的电信号输入到差分感知模块，将原有光强值转为电信号输入到纹理感知模块，其中，差分感知模块与纹理感知模块同时运行；
步骤2.1：对于差分感知模块，比较当前时刻电信号大小I与电路所记录的电信号大小I0，若|I-I0∣≥θd，即光强变化超过阈值，其中，θd为预设的动态感知阈值大小，则向控制模块发放包括当前坐标、时间与极性的四元组。若I>I0，则极性为1，否则极性为0，发放四元组后，将I0更新为当前电信号大小I，如图3所示；
步骤2.2：对于纹理感知模块，同时使用两个积分器，分别对I与Imax-I进行积分，若任意积分器积分值到达θi，则向控制模块发放包括当前坐标、时间与极性的四元组，其中，I为当前时刻电信号大小，Imax与θi为预设最大光强与预设积分阈值大小。若对I进行积分的积分器，首先到达阈值，则极性为1，否则极性为0，如图3所示；
步骤3：对于控制模块，记录参考时间t0，对于差分感知模块发放的事件，比较该事件时间戳t与t0的时间间隔与预设时间间隔tw的大小，若t-t0≤tw，则输出该事件，否则不输出；对于纹理感知模块发放的事件，则直接输出该事件；若有事件输出，则更新t0为该事件时间戳t，同时，将纹理感知模块中两个积分器重置，如图4所示。
步骤4：从控制模块输出的事件流为使用同种表征的动态型事件与纹理型事件的混合流，完成对场景光强的编码；
步骤5：将编码使用的预设阈值θd与θi、预设光强Imax与预设时间间隔tw作为参数，传输给解码模块，指定四元组中横纵坐标的范围，之后将混合事件流中的事件依次输入解码模块，解码模块对每组横纵坐标对维护一个单独的参考时间t0用于区分每个事件的类型，以及栈S用于重构该位置在任意时间的灰度值；
步骤6：对场景中的每个位置，解码模块依次读取该位置按时间先后顺序产生的事件流的时间戳t，若t-t0≤tw，则该事件为动态型事件，否则该事件为积分型事件；读取一个事件后，更新t0为当前事件时间戳t；
步骤7.1：若当前事件为动态型事件，则将该事件的时间与极性成对入栈并等待未来的纹理型事件解码出可参考的光强值；
步骤7.2：若当前事件为纹理型事件，若极性为1，则t0时刻到t时刻的光强值I为θi/(t-t0)，若极性为0，则t0时刻到t时刻的光强值I为
Imax-θi/(t-t0)；之后若栈中有元素，根据t0时刻的光强值与栈顶元素的极性，可得到自栈顶向下第二个元素的时间t′到t0时间内光强的变化情况，若栈顶元素极性为1，则t′时刻到t0时刻光强增大，t′时刻光强值为Ie-θd；若极性为0，则t′时刻到t0时刻光强减小，t′时刻光强值为Ieθd。依据此方法，可根据栈内每两个相邻元素时间间隔内的光强变化情况，得到任何时间的光强值大小；
步骤8：通过对混合流的分离及考虑不同类型事件流的含义，解码模块完成对混合流的解码及场景光强重构，如图5所示。
如图6所示，是本公开实施例提供的具体应用场景下的仿视网膜中央凹与外周的联合采样方法的流程示意图。
如图6所示，本公开实施例提供的具体应用场景下的仿视网膜中央凹与外周的联合采样方法具体包括以下步骤：
步骤1：将光信号输入至动态感知模块中进行处理，得到动态型脉冲阵列信号；以及光信号输入至纹理感知模块中进行处理，得到纹理型脉冲阵列信号；其中，动态感知模块，即仿照人眼视网膜外周对动态事件的感知原理，根据空间邻域内的光强变化信息，将一段时间间隔内的光信号转换为具有神经形态表示的脉冲阵列信号；纹理感知模块，即仿照人眼视网膜中央凹对纹理信息的感知原理，根据场景中物体静态情况下的纹理信息，将一段时间间隔内的光信号转换为具有神经形态表示的脉冲阵列信号；步骤2：将动态型脉冲阵列信号和纹理型脉冲阵列信号均输入至控制编码中进行处理，得到混合型脉冲阵列信号，并根据混合型脉冲阵列信号进行场景重构，或者进行机器视觉分析，其中，控制模块，即根据一定的编码规则，将上述两种感知模块发放的脉冲阵列信号转换为基于统一表征的混合脉冲流，并可根据该规则分离出动态型脉冲与纹理型脉冲、完成场景亮度重构及其他视觉任务，可兼顾面向人类视觉观看与机器视觉分析。
正如图6所示，通过如图6所示的采样过程，将光信号转换为时空脉冲阵列信号，即时空稀疏的点阵。正如图6所示，通过本申请实施例提供的采样方法，可对光信号进行感知编码并生成脉冲阵列，同时解码端的解码模块可根据编码规则完成脉冲类型分离及场景亮度重构过程。
本申请实施例提供的采样方法，能够联合表征，同时感知动态和静态光强信息，同时满足机器视觉感知和人类视觉感知的需求，具有高时间分辨率、高动态范围、低功耗等优势。此外，本申请实施例提供的采样方法，还能够在动态采样模式和静态采样模式之间进行灵活切换。
在本公开实施例中，获取当前场景中不同空间位置的光强变化信息和物体纹理信息；根据预设编码方式对光强变化信息和物体纹理信息进行编码，得到与光信号对应的脉冲信号；在通过控制模块在动态感知模式和纹理感知模式之间进行自动切换的情况下，使用预设编码方式进行编码，并输出与脉冲信号对应的异步脉冲信号；通过解码模块对异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据；根据变化信息编码数据和纹理信息编码数据进行视觉任务分析，得到对应的分析结果，视觉任务包括感知当前场景变化的任务和重构图像视频的任务。因此，采用本申请实施例提供的采样方法，能够对光信号进行感知编码并生成脉冲阵列，同时解码端的解码模块可根据编码规则完成脉冲类型分离及场景亮度重构，因此，该采样方法具有高时间分辨率、高动态范围、低功耗等优点，能够应用于高速运动模糊与极端光照等应用场景中。
下述为本发明仿视网膜中央凹与外周的联合采样装置实施例，可以用于执行本发明仿视网膜中央凹与外周的联合采样方法实施例。对于本发明仿视网膜中央凹与外周的联合采样装置实施例中未披露的细节，请参照本发明仿视网膜中央凹与外周的联合采样方法实施例。
请参见图7，其示出了本发明一个示例性实施例提供的仿视网膜中央凹与外周的联合采样装置的结构示意图。该仿视网膜中央凹与外周的联合采样装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该仿视网膜中央凹与外周的联合采样装置包括获取模块701、编码模块702、解码模块703和分析模块704。
具体而言，获取模块701，用于获取当前场景中不同空间位置的光强变化信息和物体纹理信息；
编码模块702，用于根据预设编码方式对获取模块701获取的光强变化信息和物体纹理信息进行编码，得到与光信号对应的脉冲信号；以及
在通过控制模块(在图7中未示出)在动态感知模式和纹理感知模式之间进行自动切换的情况下，使用预设编码方式进行编码，并输出与脉冲信号对应的异步脉冲信号；
解码模块703，用于对编码模块702编码出的异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据；
分析模块704，用于根据解码模块703分离出的变化信息编码数据和纹理信息编码数据进行视觉任务分析，得到对应的分析结果，视觉任务包括感知当前场景变化的任务和重构图像视频的任务。
可选的，所述装置还包括：
采样模块(在图7中未示出)，用于以脉冲的形式采样并记录光强动态变化以及纹理特征信息；
表征模块(在图7中未示出)用于：通过生物视觉采样模型对异步脉冲信号进行表征，异步脉冲阵列信号为时空稀疏的离散点阵。
可选的，生物视觉采样模型包括仿视网膜外周生理结构与功能模型和仿视网膜中央凹生理结构与功能模型，表征模块具体用于：
根据仿视网膜外周生理结构与功能模型，感知当前场景中不同空间位置下的物体动态变化的脉冲编码表征；或者，
根据仿视网膜中央凹生理结构与功能模型，感知当前场景中不同空间位置下的物体纹理结构的编码表征；或者，
根据仿视网膜外周生理结构与功能模型和仿视网膜中央凹生理结构与功能模型，通过控制模块在动态感知模式和纹理感知模式之间进行切换，并根据当前场景的场景情况自动感知物体动态变化与纹理信息的融合编码表征。
可选的，采样模块还用于：
对感受野邻域内的光强信息进行采样，得到对应的采样结果；
编码模块702还用于：感受野邻域内的光强信息进行编码，得到对应的编码结果。
可选的，获取模块701还用于：
在每个感受野内获取对应的光强动态变化和纹理信息；
所述装置还包括：
生成模块(在图7中未示出)，用于根据获取模块701获取的光强动态变化和纹理信息生成动态信息流与纹理信息流，动态信息流和纹理信息流均采用事件编码格式，事件编码格式包括横坐标、纵坐标、时间和极性四元组，每个四元组使用预设数量比特编码；
通过控制模块对动态信息流和纹理信息流进行控制处理，生成对应的混合编码流，混合编码采用事件编码格式。
可选的，获取模块701还用于：获取混合编码流；
所述装置还包括：判断模块(在图7中未示出)，用于根据同一位置两个事件四元组之间的时间间隔，判断获取模块701获取的混合编码流的类型，得到混合编码流的类型；
处理模块(在图7中未示出)，用于根据判断模块判断出的混合编码流的类型，对混合编码流采用对应的预设处理方式进行处理，处理模块经预设处理方式包括对混合编码流进行混合编码流分离处理和对混合编码流进行场景重构处理。
可选的，获取模块701用于：获取当前感受野的第一光强值，以及获取用于进行联合采样的采样装置中的电路所记录的第二光强值；
所述装置还包括：
比较模块(在图7中未示出)，用于将获取模块701获取的第一光强值和第二光强值进行比较，若第一光强值和第二光强值之间差值的绝对值超过预设阈值，则发放该事件；
记录模块(在图7中未示出)，用于通过采样装置中的电路记录当前感受野的当前光强值。
需要说明的是，上述实施例提供的仿视网膜中央凹与外周的联合采样装置在执行仿视网膜中央凹与外周的联合采样方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的仿视网膜中央凹与外周的联合采样装置与仿视网膜中央凹与外周的联合采样方法实施例属于同一构思，其体现实现过程详见仿视网膜中央凹与外周的联合采样方法实施例，这里不再赘述。
在本公开实施例中，获取模块用于获取当前场景中不同空间位置的光强变化信息和物体纹理信息；编码模块用于根据预设编码方式对获取模块获取的光强变化信息和物体纹理信息进行编码，得到与光信号对应的脉冲信号；以及在通过控制模块在动态感知模式和纹理感知模式之间进行自动切换的情况下，使用预设编码方式进行编码，并输出与脉冲信号对应的异步脉冲信号；解码模块用于对编码模块编码出的异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据；以及分析模块用于根据解码模块分离出的变化信息编码数据和纹理信息编码数据进行视觉任务分析，得到对应的分析结果，视觉任务包括感知当前场景变化的任务和重构图像视频的任务。因此，采用本申请实施例提供的采样装置，能够对光信号进行感知编码并生成脉冲阵列，同时解码端的解码模块可根据编码规则完成脉冲类型分离及场景亮度重构，因此，该采样方法具有高时间分辨率、高动态范围、低功耗等优点，能够应用于高速运动模糊与极端光照等应用场景中。
在一个实施例中，提出了一种计算机设备，计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取当前场景中不同空间位置的光强变化信息和物体纹理信息；根据预设编码方式对光强变化信息和物体纹理信息进行编码，得到与光信号对应的脉冲信号；在通过控制模块在动态感知模式和纹理感知模式之间进行自动切换的情况下，使用预设编码方式进行编码，并输出与脉冲信号对应的异步脉冲信号；通过解码模块对异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据；根据变化信息编码数据和纹理信息编码数据进行视觉任务分析，得到对应的分析结果，视觉任务包括感知当前场景变化的任务和重构图像视频的任务。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：获取当前场景中不同空间位置的光强变化信息和物体纹理信息；根据预设编码方式对光强变化信息和物体纹理信息进行编码，得到与光信号对应的脉冲信号；在通过控制模块在动态感知模式和纹理感知模式之间进行自动切换的情况下，使用预设编码方式进行编码，并输出与脉冲信号对应的异步脉冲信号；通过解码模块对异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据；根据变化信息编码数据和纹理信息编码数据进行视觉任务分析，得到对应的分析结果，视觉任务包括感知当前场景变化的任务和重构图像视频的任务。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种仿视网膜中央凹与外周的联合采样方法，其特征在于，所述方法包括：
获取当前场景中不同空间位置的光强变化信息和物体纹理信息；其中，以脉冲的形式采样并记录所述光强变化信息以及物体纹理信息；
根据预设编码方式对所述光强变化信息和所述物体纹理信息进行编码，得到与光信号对应的脉冲信号；
在通过控制模块在动态感知模式和纹理感知模式之间进行自动切换的情况下，使用所述预设编码方式进行编码，并输出与所述脉冲信号对应的异步脉冲信号；其中，通过生物视觉采样模型对所述异步脉冲信号进行表征，所述异步脉冲信号为时空稀疏的离散点阵；
通过解码模块对所述异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据；
根据所述变化信息编码数据和所述纹理信息编码数据进行视觉任务分析，得到对应的分析结果，所述视觉任务包括感知当前场景变化的任务和重构图像视频的任务；其中，所述生物视觉采样模型包括仿视网膜外周生理结构与功能模型和仿视网膜中央凹生理结构与功能模型，所述通过生物视觉采样模型对所述异步脉冲信号进行表征包括：
根据所述仿视网膜外周生理结构与功能模型，感知当前场景中不同空间位置下的物体动态变化的脉冲编码表征；或者，
根据所述仿视网膜中央凹生理结构与功能模型，感知当前场景中不同空间位置下的物体纹理信息的编码表征；或者，
根据所述仿视网膜外周生理结构与功能模型和所述仿视网膜中央凹生理结构与功能模型，通过所述控制模块在所述动态感知模式和所述纹理感知模式之间进行切换，并根据当前场景的场景情况自动感知物体动态变化与物体纹理信息的融合编码表征。
2.根据权利要求1所述的方法，其特征在于，所述使用所述预设编码方式进行编码，包括：
在每个感受野内获取对应的光强变化信息和物体纹理信息，并根据所述光强变化信息和所述物体纹理信息生成动态信息流与纹理信息流，所述动态信息流和所述纹理信息流均采用事件编码格式，所述事件编码格式包括横坐标、纵坐标、时间和极性四元组，每个四元组使用预设数量比特编码；
通过所述控制模块对所述动态信息流和所述纹理信息流进行控制处理，生成对应的混合编码流，所述混合编码流采用所述事件编码格式。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取所述混合编码流；
根据同一位置两个事件四元组之间的时间间隔，判断所述混合编码流的类型，得到所述混合编码流的类型；
根据所述混合编码流的类型，对所述混合编码流采用对应的预设处理方式进行处理，所述预设处理方式包括对所述混合编码流进行混合编码流分离处理和对所述混合编码流进行场景重构处理。
4.一种仿视网膜中央凹与外周的联合采样装置，其特征在于，所述装置包括：
获取模块，用于获取当前场景中不同空间位置的光强变化信息和物体纹理信息；其中，以脉冲的形式采样并记录所述光强变化信息以及物体纹理信息；
编码模块，用于根据预设编码方式对所述获取模块获取的所述光强变化信息和所述物体纹理信息进行编码，得到与光信号对应的脉冲信号；以及
在通过控制模块在动态感知模式和纹理感知模式之间进行自动切换的情况下，使用所述预设编码方式进行编码，并输出与所述脉冲信号对应的异步脉冲信号；其中，通过生物视觉采样模型对所述异步脉冲信号进行表征，所述异步脉冲信号为时空稀疏的离散点阵；
解码模块，用于对所述编码模块编码出的所述异步脉冲信号进行解码，分离出变化信息编码数据和纹理信息编码数据；
分析模块，用于根据所述解码模块分离出的所述变化信息编码数据和所述纹理信息编码数据进行视觉任务分析，得到对应的分析结果，所述视觉任务包括感知当前场景变化的任务和重构图像视频的任务；其中，所述生物视觉采样模型包括仿视网膜外周生理结构与功能模型和仿视网膜中央凹生理结构与功能模型，所述通过生物视觉采样模型对所述异步脉冲信号进行表征包括：
根据所述仿视网膜外周生理结构与功能模型，感知当前场景中不同空间位置下的物体动态变化的脉冲编码表征；或者，
根据所述仿视网膜中央凹生理结构与功能模型，感知当前场景中不同空间位置下的物体纹理信息的编码表征；或者，
根据所述仿视网膜外周生理结构与功能模型和所述仿视网膜中央凹生理结构与功能模型，通过所述控制模块在所述动态感知模式和所述纹理感知模式之间进行切换，并根据当前场景的场景情况自动感知物体动态变化与物体纹理信息的融合编码表征。
5.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至3中任一项权利要求所述联合采样方法的步骤。
6.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至3中任一项权利要求所述联合采样方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110170050.4A CN113014805B (zh) | 2021-02-08 | 2021-02-08 | 一种仿视网膜中央凹与外周的联合采样方法及装置 |
| PCT/CN2021/077573 WO2022165873A1 (zh) | 2021-02-08 | 2021-02-24 | 一种仿视网膜中央凹与外周的联合采样方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110170050.4A CN113014805B (zh) | 2021-02-08 | 2021-02-08 | 一种仿视网膜中央凹与外周的联合采样方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113014805A CN113014805A (zh) | 2021-06-22 |
| CN113014805B true CN113014805B (zh) | 2022-05-20 |
Family
ID=76384413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110170050.4A Active CN113014805B (zh) | 2021-02-08 | 2021-02-08 | 一种仿视网膜中央凹与外周的联合采样方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113014805B (zh) |
| WO (1) | WO2022165873A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115048954B (zh) * | 2022-05-23 | 2024-07-23 | 北京大学 | 一种仿视网膜的目标检测方法、装置、存储介质及终端 |
| CN115246559A (zh) * | 2022-07-22 | 2022-10-28 | 鄂尔多斯市国源矿业开发有限责任公司 | 一种工业皮带纵撕识别的方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9313200B2 (en) * | 2013-05-13 | 2016-04-12 | Hoyos Labs Ip, Ltd. | System and method for determining liveness |
| JP6422967B2 (ja) * | 2014-06-10 | 2018-11-14 | オリンパス株式会社 | 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム |
| CN110427823B (zh) * | 2019-06-28 | 2021-12-21 | 北京大学 | 基于视频帧与脉冲阵列信号的联合目标检测方法与装置 |
| CN111008647B (zh) * | 2019-11-06 | 2022-02-08 | 长安大学 | 一种样本提取及基于空洞卷积与残差链接的图像分类方法 |
-
2021
- 2021-02-08 CN CN202110170050.4A patent/CN113014805B/zh active Active
- 2021-02-24 WO PCT/CN2021/077573 patent/WO2022165873A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| CN113014805A (zh) | 2021-06-22 |
| WO2022165873A1 (zh) | 2022-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113014805B (zh) | 一种仿视网膜中央凹与外周的联合采样方法及装置 | |
| US11985439B2 (en) | Cone-rod dual-modality neuromorphic vision sensor | |
| CN112257526B (zh) | 一种基于特征交互学习的动作识别方法及终端设备 | |
| CN111931598B (zh) | 一种基于人脸识别的课堂智能实时分析方法及系统 | |
| CN110555527A (zh) | 延时摄影视频的生成方法及设备 | |
| US9299011B2 (en) | Signal processing apparatus, signal processing method, output apparatus, output method, and program for learning and restoring signals with sparse coefficients | |
| CN110796595A (zh) | 一种色调映射方法、装置及电子设备 | |
| Cohen et al. | Spatial and temporal downsampling in event-based visual classification | |
| CN111833360B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| CN113554726B (zh) | 基于脉冲阵列的图像重构方法、装置、存储介质及终端 | |
| CN109803108A (zh) | 一种图像识别方法和装置 | |
| CN110880163A (zh) | 一种基于深度学习的弱光彩色成像方法 | |
| CN110210344A (zh) | 视频动作识别方法及装置、电子设备、存储介质 | |
| KR20200011000A (ko) | 증강 현실 프리뷰 및 위치 추적을 위한 장치 및 방법 | |
| CN112949424B (zh) | 一种神经形态视觉采样方法及装置 | |
| CN110570375A (zh) | 一种图像处理方法、装置、电子设置以及存储介质 | |
| CN108462831A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN112200816A (zh) | 视频图像的区域分割及头发替换方法、装置及设备 | |
| CN112489144A (zh) | 图像处理方法、图像处理装置、终端设备及存储介质 | |
| CN115984133A (zh) | 图像增强方法、车辆抓拍方法、设备及介质 | |
| US20220058774A1 (en) | Systems and Methods for Performing Image Enhancement using Neural Networks Implemented by Channel-Constrained Hardware Accelerators | |
| CN114240802A (zh) | 基于生物神经元网络和随机共振的视觉感知方法及系统 | |
| CN116977243A (zh) | 无监督的红外图像到可见光图像的转换方法、装置和设备 | |
| CN113191376A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| CN109584137B (zh) | 一种脉冲序列格式转换方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |