CN115598744A - 一种基于微透镜阵列的高维光场事件相机及提取方法 - Google Patents

一种基于微透镜阵列的高维光场事件相机及提取方法 Download PDF

Info

Publication number
CN115598744A
CN115598744A CN202211219900.6A CN202211219900A CN115598744A CN 115598744 A CN115598744 A CN 115598744A CN 202211219900 A CN202211219900 A CN 202211219900A CN 115598744 A CN115598744 A CN 115598744A
Authority
CN
China
Prior art keywords
event
micro
light field
vision sensor
dynamic vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211219900.6A
Other languages
English (en)
Inventor
岳涛
孟宇
胡雪梅
包镘超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202211219900.6A priority Critical patent/CN115598744A/zh
Publication of CN115598744A publication Critical patent/CN115598744A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于微透镜阵列的高维光场事件相机及提取方法。该相机包括主镜头、微透镜阵列和动态视觉传感器，微透镜阵列放置在主镜头与动态视觉传感器之间；微透镜阵列位于主镜头的成像空间之后，其阵列中的每个微透镜都能够对主镜头成像进行二次成像；目标场景中的某个亮度变化区域经过主镜头和微透镜阵列两次光学成像后投射至动态视觉传感器，动态视觉传感器的不同位置都能够感知到同一区域的亮度变化，形成多个异步输出。利用本发明能够基于微透镜阵列结合动态视觉传感器实现高维光场事件采集和处理，充分扩展了事件相机的应用场景。

Description

一种基于微透镜阵列的高维光场事件相机及提取方法
技术领域
本发明涉及计算视觉领域，尤其涉及一种基于微透镜阵列的单镜头高维光场事件相机及相应的高维光场事件提取算法。
背景技术
传统相机通常以帧的形式进行图像采集和显示，比如传统电影的标准就是以24帧每秒标准进行拍摄和播放。这样的采集形式使得连续帧之间通常存在大量相同的冗余信息，在一些如异常检测、运动追踪等计算机视觉算法应用场景中，这样的冗余往往会带来较大的延迟和额外计算功耗。此外，这种同步采集的方式也会导致采集的数据量和采集成本随着帧率的增加而增加，从而使得高帧率视频拍摄和分析的相关成本变得十分巨大。
与传统相机的同步采集方式不同，自然界的各种生物视觉系统中，各视觉神经都能够独立产生响应的异步采集方式是一种更加普遍的视觉机制。动态视觉传感器正是受这一异步视觉机制的启发而产生。
相比于传统相机上以固定帧率的方式进行各像素同步采集的方式，基于动态视觉传感器构建的事件相机的每个像素都能够检测亮度变化并独立的产生响应输出，以异步的方式描述场景内的亮度变化趋势。各个像素检测到的亮度变化响应会被编码为事件流进行输出，对亮度变化的位置、时间和极性进行编码，如事件(x,y,p,t)为典型的事件描述形式，其中x，y表示当前事件在动态视觉传感器上的二维坐标，p表示当前事件的极性，t表示事件的时间戳。事件相机能够提供微秒级的时间分辨率、更大的动态范围、更低的功耗和更高的像素读出带宽，这些特性使得事件相机能够在低延迟、高速、高动态的场景中更具优势。因此，事件相机在计算机视觉领域的应用极具潜力。目前事件相机在特征提取和追踪、高动态图像重建、运动检测等领域的应用研究已经形成了一定的积累，但仍有巨大的潜力亟待挖掘。
光场相机的出现则突破了传统相机以平面二维坐标描述位置的局限性，以牺牲部分空间分辨率的代价，完成对空间中完整光辐射分布的捕捉；光场成像能够提供光线的角度和空间信息，从而相比于传统相机能够提供更大的景深。光场相机所拍摄的数据经过相位变换和投影积分等后续处理后能够提供如图像的深度和不同深度的重聚焦结果这样的高维度信息。早期的光场数据采集方法存在阵列体积大、同步控制复杂等限制，而基于简化版的四维光线函数构建的手持式光场相机利用微透镜阵列降低了光场图像的采集成本，扩展了采集场景，从而提供了更加丰富的光场应用。同时，光场相机的数据采集也对后续处理的算法提出了更高的要求。基于光场图像的三维重建、运动测速、粒子显微和目标识别等应用都是较为热门的研究方向。
事件相机和光场相机的发展已经充分说明了计算机视觉任务需要更强大的信息采集方式来挖掘潜力。随着软硬件技术的发展，手持光场相机和事件相机的制作使用成本正在逐渐降低，越来越多的计算机视觉算法应用都以光场相机或者事件相机的拍摄数据作为输入，来获取比传统成像数据更丰富的信息。基于这样的趋势，设计一款将手持式光场相机和事件相机相结合优势的采集设备，将能够充分结合光场数据的高维度和事件数据的高时间分辨率、高动态特性，对于充分挖掘这两种成像设备的潜力，提升相关视觉任务的算法性能具有十分重要的意义。
但目前能够基于动态视觉传感器提供类光场的多视角高维度输出的相关研究都需要利用多台事件相机搭建，硬件成本高且同步方法复杂。手持式光场相机的单镜头结合微透镜阵列的结构能够提供一定启发，但仍需要克服动态视觉传感器在光场应用场景下的特性问题。目前关于事件相机的噪声描述模型仍然处在较为初步的研究分析阶段，而事件相机的异步响应也导致光场事件相机无法采用传统光场相机的帧内特征匹配算法来匹配多视角特征点。对于这些问题，较为复杂的算法处理则会引入较大的延迟而消弭。因此能够构建出基于单镜头结合微透镜阵列的光场事件相机及其高维光场事件提取算法成为一个十分重要的课题。
发明内容
针对以上现有技术的变化和特点，本发明的目的在于提出一种基于单镜头结合微透镜阵列的光场事件相机及其高维光场事件匹配提取方法。本发明能够结合光场相机和事件相机的优势，并充分降低了算法复杂度，避免引入较大的延迟和功耗，在大噪声和标定不准确的情况下仍有极好的鲁棒性。
本发明利用在动态视觉传感器前放置微透镜阵列，并利用光场的几何特性事件相机的异步响应特性构建高效率算法从连续输出的事件流中提取多视角高维光场事件。
本发明的相机具体采用的技术方案如下：
一种基于微透镜阵列的高维光场事件相机，包括主镜头、微透镜阵列和动态视觉传感器，所述微透镜阵列放置在主镜头与动态视觉传感器之间，其中，所述微透镜阵列位于所述主镜头的成像空间之后，阵列中的每个微透镜都能够对所述主镜头成像进行二次成像；目标场景中的某个亮度变化区域经过所述主镜头和所述微透镜阵列两次光学成像后投射至所述动态视觉传感器，所述动态视觉传感器的不同位置都能够感知到同一区域的亮度变化，形成多个异步输出。
本发明还提供一种利用上述相机进行高维光场事件提取的方法，该方法包括如下步骤：
步骤1，设所述微透镜阵列为N行M列，共计N*M个视角的子图像，初始化N*M个对应的事件缓冲区用于后续的事件管理；
步骤2，将所述动态视觉传感器的输出事件ei(xi,yi,pi,ti)读出后，根据其坐标存储到对应视角的缓冲区，其中i表示读出的第i个事件，xi,yi表示当前事件在动态视觉传感器上的二维坐标，pi表示当前事件的极性，ti表示事件的时间戳；
步骤3，对已经进入缓冲区内存储的事件进行检查，若缓冲区内的事件超过最大队列长度，则根据超出的长度清理缓冲区内最早存储的事件；
步骤4，判断当前事件进入缓冲区后，是否能够激活限定领域范围内的缓冲区多视角事件组合覆盖达到预设阈值的视角数量，若能够满足阈值限定条件，则进行步骤5，否则进行步骤2；
步骤5，将最新进入缓冲区的事件所激活的多视角组合涉及到的所有事件取出，在根据应用场景构建的世界坐标系中，基于对应视角的微透镜中心坐标构建多视角三角投票测量方法的几何空间，即将动态视觉传感器的各响应像素的坐标和对应的微透镜中心连接，在空间中形成多条直线，每条直线都对应采集到的一条光线；
步骤6，在每一条光线上引入弥散权重机制，即以直线上每个点为中心，k个单位长度为限定范围，将在范围内的直线周围的点都赋予权重；
步骤7，根据阈值筛选本次多视角三角投票测量空间中的点权重，若存在超过预设阈值的空间点，则判定该空间点涉及的相关光线对应的事件构成了一个高维光场事件，能够从多个视角描述真实空间中的亮度变化；
步骤8，若动态视觉传感器仍有输出，则返回步骤2处理下一个事件，否则结束处理。
本发明通过在动态视觉传感器前放置微透镜阵列和利用异步输出特性构建多视角光场事件三角投票测量方法这两个关键点，能够基于单镜头实现多视角高维光场事件的采集和提取。除此之外，为了增强本方法的鲁棒性，本发明方法还引入了弥散权重机制，在实验中得到证明能够有效的减少噪声和标定误差对算法性能的影响。本发明不仅极具创新性的构建了光场事件相机这一全新的数据采集设备，而且基于光场的几何结构特性和动态视觉传感器的特性构建了响应的光场事件提取方法，实现了一种实用性强、应用场景广泛、鲁棒性高的光场事件相机硬件结构和数据处理算法。
附图说明
图1为本发明的流程示意图；
图2为某种世界坐标系示意图；
图3为多视角缓冲区状态管理示意图；
图4为多视角三角投票测量方法的几何空间及弥散权重示意图。
具体实施方式
本实施例提供一种基于微透镜阵列的单镜头高维光场事件相机，如附图1中的光学结构所示，包括主镜头、微透镜阵列和动态视觉传感器。其中，微透镜阵列放置在主镜头与动态视觉传感器之间，从而基于单镜头实现高维度光场事件的采集。同时，微透镜阵列能够基于单个主镜头将目标场景中的某个亮度变化同时投射到动态视觉传感器的不同位置形成输出。具体来说，本系统中的微透镜阵列按照聚焦型光场成像的原理进行放置，按照微透镜阵列与主镜头成像的位置关系可以分为开普勒型或伽利略型对焦型光场成像系统。此配置下的每个微透镜在动态视觉传感器上形成一个独立视角的成像结果。
利用上述相机，本实施例还提供一种基于微透镜阵列的高维光场事件提取方法，包括如下步骤：
步骤1，进行事件缓冲存储空间的初始化，这里假设微透镜阵列能够形成N行M列，共计N*M个视角的子图像，则需要初始化N*M个对应的事件缓冲区用于后续的事件管理。如附图2所示，若微透镜阵列为3*3结构，则需要对应初始化3*3个缓冲区。
步骤2，将动态视觉传感器的输出事件ei(xi,yi,pi,ti)读出后，由事件队列管理器根据其坐标存储到对应微透镜生成视角的缓冲区，其中i表示读出的第i个事件，xi,yi表示当前事件在动态视觉传感器上的二维坐标，pi表示当前事件的极性，ti表示事件的时间戳。
步骤3，事件队列管理器对已经进入缓冲区内存储的事件进行检查，若缓冲区内的事件超过最大队列长度，则根据超出的长度清理缓冲区内最早存储的事件。
步骤4，事件队列管理器判断当前事件进入缓冲区后，是否能够在预设领域范围内与邻近视角缓冲区内的事件组成覆盖达到预设阈值的多个视角，若能够形成多视角结构，则进行步骤5，否则进行步骤2；举例来说，若相机参数设置为真实空间中每个点能够被3*3个微透镜捕捉到并在动态视觉传感器上产生响应，则领域半径范围可设为3，当某个3*3缓冲区域内超过某一阈值数量的缓存区域都有内容存储，则将该区域涉及到的缓存事件取出进行步骤5。如图3中举例所示，这里假设取出阈值为4，图中深色表示已有事件存储，处在激活状态，且有可能包含至少5个视角的事件，超过阈值4，则该区域所涉及的所有事件将被取出并进行步骤5处理。
步骤5，将最新进入缓冲区的事件所激活的多视角组合涉及到的所有事件取出，如图2所示，在根据应用场景世界坐标系中，如图4所示，基于对应视角的微透镜中心坐标构建多视角三角投票测量方法的几何空间，即将动态视觉传感器的各响应像素的坐标和对应的微透镜中心连接，在空间中形成多条直线，每条直线都对应采集到的一条光线。随后将直线经过的空间点坐标记录在内存中。
步骤6，基于步骤五记录的空间点坐标，在每一条光线经过的点上引入弥散权重机制，即以每个经过的点为中心，k个单位长度为限定范围，将在范围内的直线周围的点都按照某些分布赋予权重。这里的分布形式可以根据需要指定。如，以距离为自变量的高斯分布等。如图4右侧所示，不同深度的颜色标记了不同的权重点，越接近光线密集的地方权重越高，则能够筛选出可能存在的真实事件点。
步骤7，根据阈值筛选本次多视角三角投票测量空间中的点权重，若存在超过预设阈值的空间点，则可以判定该空间点涉及的相关光线对应的事件构成了一个高维光场事件输出，能够从多个视角描述真实空间中的亮度变化。
步骤8，若动态视觉传感器仍有输出，则返回步骤2处理下一个事件，否则结束处理。

Claims (2)

1.一种基于微透镜阵列的高维光场事件相机，其特征在于，该相机包括主镜头、微透镜阵列和动态视觉传感器，所述微透镜阵列放置在主镜头与动态视觉传感器之间，其中，所述微透镜阵列位于所述主镜头之后，阵列中的每个微透镜都能够对所述主镜头成像进行二次成像；目标场景中的某个亮度变化区域经过所述主镜头和所述微透镜阵列两次光学成像后投射至所述动态视觉传感器，所述动态视觉传感器的不同位置都能够感知到同一区域的亮度变化，形成多个异步输出。
2.利用如权1所述一种基于微透镜阵列的高维光场事件相机的提取方法，其特征在于，该方法包括如下步骤：
步骤1，设所述微透镜阵列为N行M列，共计N*M个视角的子图像，初始化N*M个对应的事件缓冲区用于后续的事件管理；
步骤2，将所述动态视觉传感器的输出事件ei(xi,yi,pi,ti)读出后，根据其坐标存储到对应视角的缓冲区，其中i表示读出的第i个事件，xi,yi表示当前事件在动态视觉传感器上的二维坐标，pi表示当前事件的极性，ti表示事件的时间戳；
步骤3，对已经进入缓冲区内存储的事件进行检查，若缓冲区内的事件超过最大队列长度，则根据超出的长度清理缓冲区内最早存储的事件；
步骤4，判断当前事件进入缓冲区后，是否能够激活限定领域范围内的缓冲区多视角事件组合覆盖达到预设阈值的视角数量，若能够满足阈值限定条件，则进行步骤5，否则进行步骤2；
步骤5，将最新进入缓冲区的事件所激活的多视角组合涉及到的所有事件取出，在根据应用场景构建的世界坐标系中，基于对应视角的微透镜中心坐标构建多视角三角投票测量方法的几何空间，即将所述动态视觉传感器的各响应像素的坐标和对应的微透镜中心连接，在空间中形成多条直线，每条直线都对应采集到的一条光线；
步骤6，在每一条光线上引入弥散权重机制，即以直线上每个点为中心，k个单位长度为限定范围，将在范围内的直线周围的点都赋予权重；
步骤7，根据阈值筛选本次多视角三角投票测量空间中的点权重，若存在超过预设阈值的空间点，则判定该空间点涉及的相关光线对应的事件构成了一个高维光场事件，能够从多个视角描述真实空间中的亮度变化；
步骤8，若动态视觉传感器仍有输出，则返回步骤2处理下一个事件，否则结束处理。
CN202211219900.6A 2022-10-08 2022-10-08 一种基于微透镜阵列的高维光场事件相机及提取方法 Pending CN115598744A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211219900.6A CN115598744A (zh) 2022-10-08 2022-10-08 一种基于微透镜阵列的高维光场事件相机及提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211219900.6A CN115598744A (zh) 2022-10-08 2022-10-08 一种基于微透镜阵列的高维光场事件相机及提取方法

Publications (1)

Publication Number Publication Date
CN115598744A true CN115598744A (zh) 2023-01-13

Family

ID=84844593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211219900.6A Pending CN115598744A (zh) 2022-10-08 2022-10-08 一种基于微透镜阵列的高维光场事件相机及提取方法

Country Status (1)

Country Link
CN (1) CN115598744A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116347231A (zh) * 2023-04-12 2023-06-27 北京大学 一种基于事件相机的全聚焦成像方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116347231A (zh) * 2023-04-12 2023-06-27 北京大学 一种基于事件相机的全聚焦成像方法及系统
CN116347231B (zh) * 2023-04-12 2023-10-10 北京大学 一种基于事件相机的全聚焦成像方法及系统

Similar Documents

Publication Publication Date Title
US7583815B2 (en) Wide-area site-based video surveillance system
KR102680385B1 (ko) 멀티 렌즈 영상 복원 장치 및 방법
US8848035B2 (en) Device for generating three dimensional surface models of moving objects
AU2011265430B2 (en) 3D reconstruction of partially unobserved trajectory
Boult et al. Omni-directional visual surveillance
US20080291278A1 (en) Wide-area site-based video surveillance system
CN107093188A (zh) 一种基于全景摄像机和高速球机的智能联动与跟踪方法
JP2004515832A (ja) 画像系列の時空的正規化マッチング装置及び方法
US10545215B2 (en) 4D camera tracking and optical stabilization
KR20200013585A (ko) 복수의 카메라로부터 뷰를 결합하는 방법 및 카메라 시스템
CN108958469B (zh) 一种基于增强现实的在虚拟世界增加超链接的方法
JP6087947B2 (ja) 非同期センサに依存するシーンの３ｄ再構成の方法
JP6526955B2 (ja) センサ情報統合方法、及びその装置
Islam et al. Stereo vision-based 3D positioning and tracking
US20100110209A1 (en) Fast motion measurement device for gaming
CN114022560A (zh) 标定方法及相关装置、设备
CN115598744A (zh) 一种基于微透镜阵列的高维光场事件相机及提取方法
Liao et al. Deep learning for camera calibration and beyond: A survey
CN111899345A (zh) 一种基于2d视觉图像的三维重建方法
CN112470189B (zh) 光场系统的遮挡消除
US11734877B2 (en) Method and device for restoring image obtained from array camera
Neumann et al. Eyes from eyes: analysis of camera design using plenoptic video geometry
Zuo et al. Accurate depth estimation from a hybrid event-RGB stereo setup
Neumann et al. Eyes from eyes: New cameras for structure from motion
Zabulis et al. A platform for monitoring aspects of human presence in real-time

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination