CN114581490B - 一种场景设置方法、装置、控制设备及可读存储介质 - Google Patents

一种场景设置方法、装置、控制设备及可读存储介质 Download PDF

Info

Publication number
CN114581490B
CN114581490B CN202210465877.2A CN202210465877A CN114581490B CN 114581490 B CN114581490 B CN 114581490B CN 202210465877 A CN202210465877 A CN 202210465877A CN 114581490 B CN114581490 B CN 114581490B
Authority
CN
China
Prior art keywords
camera
pulse
parameters
scene
calculation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210465877.2A
Other languages
English (en)
Other versions
CN114581490A (zh
Inventor
黄铁军
赵君伟
余肇飞
马雷
张史梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202210465877.2A priority Critical patent/CN114581490B/zh
Publication of CN114581490A publication Critical patent/CN114581490A/zh
Application granted granted Critical
Publication of CN114581490B publication Critical patent/CN114581490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Abstract

本申请提供了一种脉冲相机的场景设置方法、装置、控制设备及可读存储介质,所述方法包括:基于脉冲相机的相机参数和场景参数的关联关系,构建所述脉冲相机的运动计算模型;根据所述运动计算模型,确定所述脉冲相机的场景参数和/或相机参数。这样,通过关联关系构建运动计算模型,通过运动计算模型来确定场景设置的相关参数,从而完成脉冲相机的场景设置。

Description

一种场景设置方法、装置、控制设备及可读存储介质
技术领域
本申请涉及视觉传感器技术领域,具体而言,涉及一种脉冲相机的场景设置方法、装置、控制设备及可读存储介质。
背景技术
脉冲相机采用生物视觉启发的传感原理,具有超高的时间分辨率和生物启发的感知机理,突破了传统相机固定曝光时间的限制,对高速运动目标具有更强的探测能力。
作为新类型的相机,脉冲相机在实际使用过程中会受到多种因素的影响,不合适的相机设置会使得脉冲相机容易出现数据失真的问题。目前仅是通过多次试验逐步改进的方式来避免使用场景中的运动数据失真,这种场景的参数设置效率低且效果差。
发明内容
本申请解决的问题是多次试验确定使用场景的效率和效果较低。
为解决上述问题,本申请第一方面提供了一种脉冲相机的场景设置方法,包括:
基于脉冲相机的相机参数和场景参数的关联关系,构建所述脉冲相机的运动计算模型;
根据所述运动计算模型,确定所述脉冲相机的场景参数和/或相机参数。
优选地,所述场景参数包括光照强度、目标距离和目标运动速度;所述相机参数包括镜头焦距、时间分辨率、像素尺寸和像素电路电容。
优选地,所述脉冲相机的运动计算模型为:
Figure 460142DEST_PATH_IMAGE001
模型中,a为脉冲相机像素尺寸,C pd 为像素电路电容,λ为转化系数,T r 为脉冲相机的时间分辨率,F为镜头焦距,D为目标距离,v为观测目标的运动速度,I为光照强度。
优选地,所述根据所述运动计算模型,确定所述脉冲相机的场景参数和/或相机参数,包括:
获取所述脉冲相机的工作场景的光照强度范围和目标距离,获取所述脉冲相机的相机参数;
从所述光照强度范围内选取多个关键光照强度;
根据所述运动计算模型计算每个所述关键光照强度对应的目标运动速度上限。
优选地,所述根据所述运动计算模型,确定所述脉冲相机的场景参数和/或相机参数,包括:
获取所述脉冲相机的工作场景的光照强度范围和目标运动速度,获取所述脉冲相机的相机参数;
从所述光照强度范围内选取多个关键光照强度,确定所述关键光照强度对应的时段;
根据所述运动计算模型计算每个所述关键光照强度对应的目标距离下限,确定每个所述时段内所述脉冲相机与目标的最小距离。
优选地,所述方法还包括:
根据确定的所述脉冲相机的场景参数和/或相机参数,设置所述脉冲相机。
本申请第二方面提供了一种脉冲相机的场景设置装置,其包括:
模型构建单元,用于基于脉冲相机的相机参数和场景参数的关联关系,构建所述脉冲相机的运动计算模型;
场景确定单元,用于根据所述运动计算模型,确定所述脉冲相机的场景参数和/或相机参数。
本申请第三方面提供了一种电子设备,其特征在于,包括存储有计算机程序的计算机可读存储介质和处理器,所述计算机程序被所述处理器读取并运行时,实现如上述所述的脉冲相机的场景设置方法。
本申请第四方面提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器读取并运行时,实现如上述所述的脉冲相机的场景设置方法。
本申请第五方面提供了一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行实现如上述所述的脉冲相机的场景设置方法。
本申请中,通过关联关系构建运动计算模型,通过运动计算模型来确定场景设置的相关参数,从而完成脉冲相机的场景设置。
本申请中,通过该运动计算模型,可以在已知部分相机参数或场景参数的情况下,确定剩余的相机参数或场景参数的取值范围或取值范围之间的约束,从而完成场景的设置,避免出现失真情况。
附图说明
图1为根据本申请一个实施例的脉冲相机的场景设置方法的流程图;
图2为根据本申请一个实施例的对照组图像和实验组图像的示例图;
图3为根据本申请一个实施例的脉冲相机的场景设置方法S200的流程图;
图4为根据本申请另一实施例的脉冲相机的场景设置方法S200的流程图;
图5为根据本申请另一实施例的脉冲相机的场景设置方法的流程图;
图6为根据本申请一个实施例的脉冲相机的场景设置装置的结构框图;
图7为根据本申请实施例的控制设备的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更为明显易懂,下面结合附图对本申请的具体实施例做详细的说明。虽然附图中显示了本申请的示例性实施方式,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
脉冲相机采用生物视觉启发的传感原理,每个像素独立感知光的强度并转化成电荷累积。当累积电荷超过触发阈值后,像素会立刻激发一个脉冲并复位电压。激发的脉冲随高速扫描时钟读出。脉冲相机凭借超高的时间分辨率和生物启发的感知机理,突破了传统相机固定曝光时间的限制,因此对高速运动目标具有更强的探测能力。
但现有的脉冲相机依然基于传统CMOS制作工艺,光电转换的过程需要消耗一定的时间。这限制了每个像素对高速运动目标的最大采样频率,进而约束了脉冲相机的高速探测能力。当运动目标的速度超出脉冲相机探测范围后,会造成脉冲数据的失真。
因此,脉冲相机在实际使用过程中会受到多种因素的影响,例如:光照强度、探测距离、目标移动速度。不合适的相机设置会使得脉冲相机无法被成功应用,例如过暗的光照条件可能会使得脉冲相机无法捕捉清晰的运动目标。现有的关于脉冲相机的介绍也仅仅是提供了基本的技术参数,例如:时间分辨率、空间分辨率、动态范围、工作电压等。虽然利用这些参数可以评估脉冲相机的性能,但使用者依然无法在不同的使用场景中确定合适的相机设置。这一方面限制了脉冲相机的应用,另一方面也增加了脉冲数据的获取难度。
目前针对使用场景,一般是通过相似场景模拟来确定脉冲相机是否可以成功应用,不会出现数据失真的问题,但是这种相似模拟需要通过多次改变关键参数来进行,不仅耗费时间长,设置效率差,而且实际应用效果也并不令人满意。
针对上述问题,本申请提供一种新的脉冲相机的场景设置方案,能够通过建立场景参数对应的模型,解决多次试验的准确率和效率低下的问题。
本申请实施例提供了一种脉冲相机的场景设置方法,该方法可以由脉冲相机的场景设置装置来执行,该脉冲相机的场景设置装置可以集成在pad、电脑、服务器、计算机、服务器集群、数据中心等电子设备中。如图1所示,其为根据本申请一个实施例的脉冲相机的场景设置方法的流程图;其中,所述脉冲相机的场景设置方法,包括:
S100,基于脉冲相机的相机参数和场景参数的关联关系,构建所述脉冲相机的运动计算模型;
在一种实施方式中,所述运动计算模型的具体构建过程为:基于脉冲相机的相机参数和场景参数的关联关系,建立待确定的运动计算模型;对待确定的运动计算模型进行验证,并根据验证结果修改所述待确定的运动计算模型,直至验证通过为止。
在一种实施方式中,为了获取脉冲相机的相机参数和场景参数的关联关系,需要从脉冲相机的传感原理、脉冲激发条件和运动关系分析来确定。
其中,脉冲相机的传感原理为:
脉冲相机传感芯片的每个像素由3个电路模块组成,即积分电路、复位电路和读出电路。相应的,脉冲的生成也包含3个状态,即积分、复位和读出。在积分状态,光电二极管将光信号转换为光电流I ph。随着光电转换过程的进行,电容C pd 上的电压将会不断下降,同时三极管节点电压V tr 将会逐渐上升。当节点电压超过触发阈值θ时,比较器将会翻转。复位电路检测到翻转信号后,积分电路随即进入复位状态。复位电路会产生一个复位信号输入三极管,三极管复位光电二极管,重新进入新的积分状态。与此同时,储存在复位电路中的翻转信号会被读出电路读出,并将复位电路中的信息清除。读出电路的时钟频率为40KHz。因此,读出电路的时钟频率限制了脉冲芯片的最大脉冲发放频率,即40KHz。这进而决定了脉冲相机的时间分辨率为25us
基于上述分析,一个像素可以触发脉冲的条件为:
Figure 436189DEST_PATH_IMAGE002
其中,△t是积分时间,触发阈值为θ=Vdd-Vref,Vdd为供电电压,V ref为参考电压。从激发的脉冲数据,可以看到,更高的光强会促使更高的脉冲发放频率。假定像素所感受到的光强是稳定的,则该像素的脉冲发放频率为:
Figure 258782DEST_PATH_IMAGE003
脉冲激发条件为:
根据脉冲相机的传感原理可知,像素激发一个脉冲所需的积分时间为:
Figure 433412DEST_PATH_IMAGE004
基于该积分公式并结合脉冲相机的工作原理可知,像素的积分时间与光照强度有关。光照强度越高,则积分时间越短,脉冲发放间隔越短。由于脉冲的读出受电路时钟频率的约束,实际的脉冲发放间隔为脉冲相机时间分辨率的整数倍,即△t=nT r 。因此,给定不同的光照强度,感光像素激发一个脉冲所需的T r 的最小数目为:
Figure 502999DEST_PATH_IMAGE005
由于n为正整数,因此上述公式中需要对等号右侧取整。由脉冲相机的积分发放原理可知,若积分过程未达到触发阈值,则无法激发脉冲,因此需要对等号右侧上取整。
运动关系分析为:
在运动场景中,假定运动目标相对脉冲相机的距离为D,相机镜头焦距为F,目标大小为A,该目标投影到脉冲相机感光芯片上的像为H,基于凸透镜成像原理,上述物理量之间的关系可表示为:
Figure 28658DEST_PATH_IMAGE006
根据上述脉冲相机的传感原理、脉冲激发条件和运动关系分析,可以建立待确定的运动计算模型:
假定感光芯片投影区域的每个像素对应运动目标上面积为A2的区域,根据香农采样定理可知,脉冲相机对运动目标不失真采样的条件为:投影区域的每个像素至少对相应Ā2运动区域采样1次,即激发1个脉冲。在上述假设条件下,投影区域每个像素所需的积分时间至少为nT r 。假定运动目标相对于相机的切向速度为v,则该速度应满足关系A=vnT r。因此建立运动计算模型如下:
Figure 841893DEST_PATH_IMAGE007
其中,a是感光芯片的像素尺寸。上述公式中的速度,v是在给定I,D,F场景参数和a,Tr相机技术参数的情况下,脉冲相机不失真采样的运动目标速度上限。
进一步整理,可得出在不同场景参数和相机参数下,运动目标速度所满足的约束关系如下:
Figure 871029DEST_PATH_IMAGE008
其中,a为脉冲相机像素尺寸,C pd 为像素电路电容,λ为转化系数,T r为脉冲相机的时间分辨率,F为镜头焦距,D为目标距离,v为观测目标的运动速度,I为光照强度。
所述约束关系,即为待确定的运动计算模型,其中,转化系数λ为待确定的系数。
在一种实施方式中,通过旋转实验,和/或,平移实验验证所述待确定的运动计算模型。
其中,旋转实验的观测目标可以为风扇的扇叶,通过旋转风扇的速度控制器可以控制扇叶的运动速度。其余数据的调节方式和测量方式,在此不再赘述。
对于旋转的扇叶,其旋转半径为15cm,扇叶上贴有字符,字符的旋转线速度计算方式为:v=2πRV rot /60。
在所述旋转实验中,可以设置对照组和实验组,对于不同的实验参数的设置,特别是转化系数λ的设置,可以通过待确定的运动计算模型计算出对应的目标最大运动速度,记作V m。其中对照组的旋转速度设定为V m,实验组旋转速度设定为(1.2×-1.5×)V m,然后分别用脉冲相机记录高速旋转运动。当运动速度在脉冲相机不失真探测范围内时,基于脉冲的图像重构算法可以从原始数据中恢复出高质量的图像。当运动速度超过V m,脉冲数据会出现信息损失,相应的重构图像也会产生运动模糊。
在一种实施方式中,基于上述描述,对于同一个转化系数λ,可以设置多组实验参数(I,D,F),若该多组实验参数的对照组图像和实验组图像均如图2所示,该图中左侧图像为实验组,右侧图像为对照组;该图中可以看出,左侧图像(实验组)中扇叶上的字符清晰,右侧图像(对照组)中扇叶上的字符模糊,则可以认为该情况验证通过,该情况下的转化系数为最终确定的转化系数。在此需要说明的是,若左侧图像(实验组)和右侧图像(对照组)中扇叶上的字符均清晰,则意味着转化系数λ过小;若左侧图像(实验组)和右侧图像(对照组)中扇叶上的字符均模糊,则意味着转化系数λ过大。
在一种实施方式中,也可以通过其他方式来进行待确定的运动计算模型的验证,例如采用脉冲间隔重构法(Texture From Inter-spike-interval,TFI)来重构灰度图像,采用二维熵(Two-Dimensional Entropy, TDE)和盲图像质量指数(Blind image qualityindex, BIQI)作为图像质量评价方法来定量评价重构图像的质量。
其中,脉冲间隔重构法利用脉冲发放间隔重构灰度图像,没有引入优化技巧和参考信息。因此,重构出的灰度图像可以反应原始脉冲数据所携带的信息。对于TDE指标,值越大则代表评价效果越好,而对于BIQI 指标,值越小则代表评价效果越好。
在一种实施方式中,平移实验的具体实施方式也可以参照所述旋转实验的方式进行,在此不再进行赘述。
S200,根据所述运动计算模型,确定所述脉冲相机的场景参数和/或相机参数。
在已确定运动计算模型的情况下,脉冲相机的场景参数和/或相机参数中可以通过已知参数来计算运动计算模型中一个未知参数的取值或多个未知参数的取值组合,基于计算结果可以完成场景设置。
其中,运动计算模型包含七个参数(转化系数除外),在已知六个参数的情况下,可以计算剩余的一个参数的取值或取值范围;在已知参数少于六个的情况下,可以计算剩余的两个或多个参数的取值组合或取值组合的范围。
这样,通过关联关系构建运动计算模型,通过运动计算模型来确定场景设置的相关参数,从而完成脉冲相机的场景设置。
在一种实施方式中,所述场景参数包括光照强度、目标距离和目标运动速度;所述相机参数包括镜头焦距、时间分辨率、像素尺寸和像素电路电容。
这样,在已知场景参数和相机参数中的部分参数或全部参数的情况下,可以计算剩余参数的具体取值,从而完成场景设置。
在一种实施方式中,相机参数中镜头焦距可以通过更换相机镜头来改变,时间分辨率可以通过更改读出电路的时钟频率来改变;像素尺寸和像素电路电容可以通过更改相机规格来改变。场景参数中光照强度可以通过更换窗帘(室内)和更换拍摄时间段(室外)来改变;目标距离可以通过更改相机的设置位置来改变,目标运动速度可以通过目标的速度控制来改变。也可以通过其他方式来改变对应的相机参数或场景参数。
在一种实施方式中,所述脉冲相机的运动计算模型为:
Figure 204795DEST_PATH_IMAGE009
模型中,a为脉冲相机像素尺寸,C pd 为像素电路电容,λ为转化系数,T r为脉冲相机的时间分辨率,F为镜头焦距,D为目标距离,v为观测目标的运动速度,I为光照强度。
通过该运动计算模型,可以在已知部分相机参数或场景参数的情况下,确定剩余的相机参数或场景参数的取值范围或取值范围之间的约束,从而完成场景的设置,避免出现失真情况。
在一种实施方式中,如图3所示,所述S200,根据所述运动计算模型,确定所述脉冲相机的场景参数和/或相机参数,包括:
S201,获取所述脉冲相机的工作场景的光照强度范围和目标距离,获取所述脉冲相机的相机参数;
S202,从所述光照强度范围内选取多个关键光照强度;
S203,根据所述运动计算模型计算每个所述关键光照强度对应的目标运动速度上限。
其中,步骤S201-S203的设置场景可以是高速运动的车辆的运动场景,例如赛车调试或车辆碰撞实验的拍摄或监控。对于该类型的运动场景,获取赛车或测试车辆的清晰运动过程,才可以从中发现车辆运动过程中的可能产生的问题。
在一种实施方式中,所述光照强度范围,可以是拍摄地点或监控地点一天之内的可能的光照强度,也可以是拍摄地点或监控地点白天的可能的光照强度,也可以是拍摄地点或监控地点测试时间段内的可能的光照强度,也可以是其他方式确定的光照强度。其可以通过历史数据获取。
在一种实施方式中,所述选取关键光照强度,可以根据一天或者白天或测试时间段之内的时段进行选取,例如将一天或者白天或测试时间段分为多个时段,每个时段选取一个平均光照强度或者一个最大光照强度作为关键光照强度。
在一种实施方式中,所述选取关键光照强度,可以根据一天或者白天或测试时间段的不同天气状况进行选取,例如将晴天、雨天、阴天、雷雨天或其他天气的平均光照强度或者最大光照强度作为关键光照强度。
在一种实施方式中,根据所述运动计算模型计算每个所述关键光照强度对应的目标运动速度上限后,可以在该关键光照强度对应的时段或场景中提醒赛车或车辆的测试人员按照目标运动速度上限约束进行行驶,以获取赛车或测试车辆的清晰运动过程。
在一种实施方式中,如图4所示,所述S200,根据所述运动计算模型,确定所述脉冲相机的场景参数和/或相机参数,包括:
S211,获取所述脉冲相机的工作场景的光照强度范围和目标运动速度,获取所述脉冲相机的相机参数;
S212,从所述光照强度范围内选取多个关键光照强度,确定所述关键光照强度对应的时段;
S213,根据所述运动计算模型计算每个所述关键光照强度对应的目标距离下限,确定每个所述时段内所述脉冲相机与目标的最小距离。
其中,步骤S211-S213的设置场景可以是高速运动的火车或汽车的运动场景,例如动车或高速公路的拍摄或监控。
在一种实施方式中,所述光照强度范围,可以是拍摄地点或监控地点一天之内的可能的光照强度,也可以是拍摄地点或监控地点白天的可能的光照强度,也可以是拍摄地点或监控地点测试时间段内的可能的光照强度,也可以是其他方式确定的光照强度。其可以通过历史数据获取。
在一种实施方式中,所述目标运动速度,可以是测试车辆的最高运行速度,也可以是道路限速,也可以是多个测试测量的最高运行速度的平均值。
在一种实施方式中,所述选取关键光照强度,可以根据一天或者白天或测试时间段之内的时段进行选取,例如将一天或者白天或测试时间段分为多个时段,每个时段选取一个平均光照强度或者一个最大光照强度作为关键光照强度。
在一种实施方式中,所述选取关键光照强度,可以根据一天或者白天或测试时间段的不同天气状况进行选取,例如将晴天、雨天、阴天、雷雨天或其他天气的平均光照强度或者最大光照强度作为关键光照强度。
在一种实施方式中,根据所述运动计算模型计算每个所述关键光照强度对应的目标距离下限后,可以针对每个所述关键光照强度均设置一个对应的拍摄位置,将拍摄的脉冲相机移动到对应位置进行拍摄或监控,以获取更好的拍摄或监控效果。
在一种实施方式中,根据所述运动计算模型计算每个所述关键光照强度对应的目标距离下限后,可以在每个时段均对当前的拍摄位置和目标距离下限进行对比,在当前的拍摄位置于拍摄目标的距离小于所述目标距离下限后进行警告或自动调整,以避免出现拍摄或监控失真的情况。
在一种实施方式中,如图5所示,所述方法还包括:
S300,根据确定的所述脉冲相机的场景参数和/或相机参数,设置所述脉冲相机。
在一种实施方式中,所述设置所述脉冲相机,是在确定所述脉冲相机的场景参数的情况下,将脉冲相机设置在场景参数允许的位置处。
在一种实施方式中,所述设置所述脉冲相机,是在确定所述脉冲相机的相机参数的情况下,生产或设计符合相机参数规格的脉冲相机。
在一种实施方式中,所述设置所述脉冲相机,是在确定所述脉冲相机的场景参数和相机参数的情况下,生产符合相机参数规格的脉冲相机并设置在场景参数允许的位置处。
本申请实施例提供了一种脉冲相机的场景设置装置,用于执行本申请上述内容所述的脉冲相机的场景设置方法,以下对所述脉冲相机的场景设置装置进行详细描述。
如图6所示,所述脉冲相机的场景设置装置,包括:
模型构建单元101,用于基于脉冲相机的相机参数和场景参数的关联关系,构建所述脉冲相机的运动计算模型;
场景确定单元102,用于根据所述运动计算模型,确定所述脉冲相机的场景参数和/或相机参数。
在一种实施方式中,所述装置还包括:
相机设置单元103,其根据确定的所述脉冲相机的场景参数和/或相机参数,设置所述脉冲相机。
在一种实施方式中,所述场景确定单元102,还用于:
获取所述脉冲相机的工作场景的光照强度范围和目标距离,获取所述脉冲相机的相机参数;从所述光照强度范围内选取多个关键光照强度;根据所述运动计算模型计算每个所述关键光照强度对应的目标运动速度上限。
在一种实施方式中,所述场景确定单元102,还用于:
获取所述脉冲相机的工作场景的光照强度范围和目标运动速度,获取所述脉冲相机的相机参数;从所述光照强度范围内选取多个关键光照强度,确定所述关键光照强度对应的时段;根据所述运动计算模型计算每个所述关键光照强度对应的目标距离下限,确定每个所述时段内所述脉冲相机与目标的最小距离。
在一种实施方式中,所述场景参数包括光照强度、目标距离和目标运动速度;所述相机参数包括镜头焦距、时间分辨率、像素尺寸和像素电路电容。
在一种实施方式中,所述脉冲相机的运动计算模型为:
Figure 889854DEST_PATH_IMAGE009
模型中,a为脉冲相机像素尺寸,C pd 为像素电路电容,λ为转化系数,T r为脉冲相机的时间分辨率,F为镜头焦距,D为目标距离,v为观测目标的运动速度,I为光照强度。
本申请的上述实施例提供的脉冲相机的场景设置装置与本申请实施例提供的脉冲相机的场景设置方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
以上描述了脉冲相机的场景设置装置的内部功能和结构,如图7所示,实际中,该脉冲相机的场景设置装置可实现为控制设备,包括:存储器301及处理器303。
存储器301,可被配置为存储程序。
另外,存储器301,还可被配置为存储其它各种数据以支持在控制设备上的操作。这些数据的示例包括用于在控制设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。
存储器301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
处理器303,耦合至存储器301,用于执行存储器301中的程序,以用于:
基于脉冲相机的相机参数和场景参数的关联关系,构建所述脉冲相机的运动计算模型;
根据所述运动计算模型,确定所述脉冲相机的场景参数和/或相机参数。
在一种实施方式中,所述场景参数包括光照强度、目标距离和目标运动速度;所述相机参数包括镜头焦距、时间分辨率、像素尺寸和像素电路电容。
在一种实施方式中,所述脉冲相机的运动计算模型为:
Figure 569097DEST_PATH_IMAGE010
模型中,a为脉冲相机像素尺寸,C pd 为像素电路电容,λ为转化系数,T r为脉冲相机的时间分辨率,F为镜头焦距,D为目标距离,v为观测目标的运动速度,I为光照强度。
在一种实施方式中,处理器303具体用于:
获取所述脉冲相机的工作场景的光照强度范围和目标距离,获取所述脉冲相机的相机参数;从所述光照强度范围内选取多个关键光照强度;根据所述运动计算模型计算每个所述关键光照强度对应的目标运动速度上限。
在一种实施方式中,处理器303具体用于:
获取所述脉冲相机的工作场景的光照强度范围和目标运动速度,获取所述脉冲相机的相机参数;从所述光照强度范围内选取多个关键光照强度,确定所述关键光照强度对应的时段;根据所述运动计算模型计算每个所述关键光照强度对应的目标距离下限,确定每个所述时段内所述脉冲相机与目标的最小距离。
在一种实施方式中,处理器303具体用于:
根据确定的所述脉冲相机的场景参数和/或相机参数,设置所述脉冲相机。
本申请中,图7中仅示意性给出部分组件,并不意味着控制设备只包括图7所示组件。
本实施例提供的控制设备,与本申请实施例提供的脉冲相机的场景设置方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
本申请还提供一种与前述实施方式所提供的脉冲相机的场景设置方法对应的计算机可读存储介质,其上存储有计算机程序(即程序产品),所述计算机程序在被处理器运行时,会执行前述任意实施方式所提供的脉冲相机的场景设置方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的脉冲相机的场景设置方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是,在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的结构和技术,以便不模糊对本说明书的理解。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (7)

1.一种脉冲相机的场景设置方法,其特征在于,包括:
基于脉冲相机的相机参数和场景参数的关联关系,构建所述脉冲相机的运动计算模型;
根据所述运动计算模型,确定所述脉冲相机的场景参数和/或相机参数;
所述场景参数包括光照强度、目标距离和目标运动速度;所述相机参数包括镜头焦距、时间分辨率、像素尺寸和像素电路电容;
所述脉冲相机的运动计算模型为:
Figure 70289DEST_PATH_IMAGE001
模型中,a为脉冲相机像素尺寸,C pd 为像素电路电容,λ为转化系数,T r为脉冲相机的时间分辨率,F为镜头焦距,D为目标距离,v为观测目标的运动速度,I为光照强度。
2.根据权利要求1所述的方法,其特征在于,所述根据所述运动计算模型,确定所述脉冲相机的场景参数和/或相机参数,包括:
获取所述脉冲相机的工作场景的光照强度范围和目标距离,获取所述脉冲相机的相机参数;
从所述光照强度范围内选取多个关键光照强度;
根据所述运动计算模型计算每个所述关键光照强度对应的目标运动速度上限。
3.根据权利要求1所述的方法,其特征在于,所述根据所述运动计算模型,确定所述脉冲相机的场景参数和/或相机参数,包括:
获取所述脉冲相机的工作场景的光照强度范围和目标运动速度,获取所述脉冲相机的相机参数;
从所述光照强度范围内选取多个关键光照强度,确定所述关键光照强度对应的时段;
根据所述运动计算模型计算每个所述关键光照强度对应的目标距离下限,确定每个所述时段内所述脉冲相机与目标的最小距离。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据确定的所述脉冲相机的场景参数和/或相机参数,设置所述脉冲相机。
5.一种脉冲相机的场景设置装置,其特征在于,包括:
模型构建单元,用于基于脉冲相机的相机参数和场景参数的关联关系,构建所述脉冲相机的运动计算模型;
场景确定单元,用于根据所述运动计算模型,确定所述脉冲相机的场景参数和/或相机参数;
所述场景参数包括光照强度、目标距离和目标运动速度;所述相机参数包括镜头焦距、时间分辨率、像素尺寸和像素电路电容;
所述脉冲相机的运动计算模型为:
Figure 361593DEST_PATH_IMAGE001
模型中,a为脉冲相机像素尺寸,C pd 为像素电路电容,λ为转化系数,T r为脉冲相机的时间分辨率,F为镜头焦距,D为目标距离,v为观测目标的运动速度,I为光照强度。
6.一种电子设备,其特征在于,包括存储有计算机程序的计算机可读存储介质和处理器,所述计算机程序被所述处理器读取并运行时,实现如权利要求1-4中任一项所述的方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器读取并运行时,实现如权利要求1-4中任一项所述的方法。
CN202210465877.2A 2022-04-29 2022-04-29 一种场景设置方法、装置、控制设备及可读存储介质 Active CN114581490B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210465877.2A CN114581490B (zh) 2022-04-29 2022-04-29 一种场景设置方法、装置、控制设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210465877.2A CN114581490B (zh) 2022-04-29 2022-04-29 一种场景设置方法、装置、控制设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN114581490A CN114581490A (zh) 2022-06-03
CN114581490B true CN114581490B (zh) 2022-09-20

Family

ID=81784760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210465877.2A Active CN114581490B (zh) 2022-04-29 2022-04-29 一种场景设置方法、装置、控制设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114581490B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697726A (zh) * 2019-01-09 2019-04-30 厦门大学 一种基于事件相机的端对端目标运动估计方法
CN110192387A (zh) * 2016-12-30 2019-08-30 因赛特内斯股份公司 用于基于事件的视觉传感器的数据速率控制
CN111798484A (zh) * 2020-06-30 2020-10-20 武汉大学 基于事件相机的连续稠密光流估计方法及系统
CN112949424A (zh) * 2021-02-07 2021-06-11 北京大学 一种神经形态视觉采样方法及装置
CN113067979A (zh) * 2021-03-04 2021-07-02 北京大学 基于仿生式脉冲相机的成像方法、装置、设备及存储介质
WO2022048582A1 (zh) * 2020-09-02 2022-03-10 北京灵汐科技有限公司 光流信息预测方法、装置、电子设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11276148B2 (en) * 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110192387A (zh) * 2016-12-30 2019-08-30 因赛特内斯股份公司 用于基于事件的视觉传感器的数据速率控制
CN109697726A (zh) * 2019-01-09 2019-04-30 厦门大学 一种基于事件相机的端对端目标运动估计方法
CN111798484A (zh) * 2020-06-30 2020-10-20 武汉大学 基于事件相机的连续稠密光流估计方法及系统
WO2022048582A1 (zh) * 2020-09-02 2022-03-10 北京灵汐科技有限公司 光流信息预测方法、装置、电子设备和存储介质
CN112949424A (zh) * 2021-02-07 2021-06-11 北京大学 一种神经形态视觉采样方法及装置
CN113067979A (zh) * 2021-03-04 2021-07-02 北京大学 基于仿生式脉冲相机的成像方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114581490A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
Lindell et al. Single-photon 3D imaging with deep sensor fusion.
CN103888689B (zh) 图像采集方法及图像采集装置
CN102119527B (zh) 图像处理设备和图像处理方法
US8538140B2 (en) Device and method for detecting whether an image is blurred
CN107241558B (zh) 曝光处理方法、装置和终端设备
CN108122258B (zh) 采用微镜阵列投影法的相机采集刻标定系统和方法
CN107220931A (zh) 一种基于灰度级映射的高动态范围图像重建方法
CN105635565A (zh) 一种拍摄方法及设备
CN109711246A (zh) 一种动态物体识别方法、计算机装置及可读存储介质
Wang et al. Intelligent autofocus
CN105530437A (zh) 环境亮度的测算方法及拍摄装置
CN112084826A (zh) 图像处理方法、图像处理设备以及监控系统
CN107238727A (zh) 基于动态视觉传感器芯片的光电式转速传感器及探测方法
CN112529794A (zh) 高动态范围结构光三维测量方法、系统及介质
CN104125378A (zh) 减少杂散光的方法、透镜组件、摄像机、系统以及使用
CN110231018A (zh) 一种结构光测距方法、装置及计算机可读存储介质
US11885613B2 (en) Depth data measuring head, measurement device and measuring method
Krawczyk et al. Photometric calibration of high dynamic range cameras
CN114581490B (zh) 一种场景设置方法、装置、控制设备及可读存储介质
CN112689097B (zh) 线激光器自动亮度控制方法、系统及存储介质
CN110942097A (zh) 基于单像素探测器的免成像分类方法和系统
JP4743773B2 (ja) エッジ検出方法、装置、及びプログラム
CN114332355A (zh) 一种基于深度学习的弱光多视图几何重建方法
CN107845077A (zh) 一种校正dmd微镜元成像非对称形变的方法和存储介质
CN105593739B (zh) 照相机系统和焦点检测像素的校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant