CN116929245A - 一种目标物的轮廓信息确定方法及装置 - Google Patents
一种目标物的轮廓信息确定方法及装置 Download PDFInfo
- Publication number
- CN116929245A CN116929245A CN202310844078.0A CN202310844078A CN116929245A CN 116929245 A CN116929245 A CN 116929245A CN 202310844078 A CN202310844078 A CN 202310844078A CN 116929245 A CN116929245 A CN 116929245A
- Authority
- CN
- China
- Prior art keywords
- focal length
- target object
- determining
- point coordinates
- event camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003384 imaging method Methods 0.000 claims abstract description 85
- 230000008859 change Effects 0.000 claims abstract description 67
- 230000003068 static effect Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 23
- DMSMPAJRVJJAGA-UHFFFAOYSA-N benzo[d]isothiazol-3-one Chemical compound C1=CC=C2C(=O)NSC2=C1 DMSMPAJRVJJAGA-UHFFFAOYSA-N 0.000 claims description 12
- 238000004590 computer program Methods 0.000 description 16
- 238000013461 design Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种目标物的轮廓信息确定方法及装置,该方法包括:调整事件相机的镜头的焦距;确定调整焦距后的特征点的成像点坐标,特征点位于与事件相机相对静止的目标物上;根据成像点坐标、调整焦距前的焦距值和焦距的变化值确定调整焦距前的特征点的第一投影点坐标;根据第一投影点坐标确定目标物的轮廓信息。该方法能够确定目标物的轮廓信息。
Description
技术领域
本申请实施例涉及自动驾驶领域,尤其涉及一种目标物的轮廓信息确定方法及装置。
背景技术
事件相机(event-based camera,EC)是一种新型传感器,也称为动态视觉传感器(dynamic vision sensor,DVS)。不同于传统相机拍摄一幅完整的图像,事件相机输出的是像素亮度的变化情况。
目前,使用差分型事件相机获取目标物的图像过程中,当目标物与事件相机处于相对静止的状态,事件相机存在无法确定目标物轮廓信息的问题。比如在自动驾驶场景下,目标物是前方道路中移动中的车辆,由于目标物(车辆)可能存在与事件相机所属车辆相对静止的情况,导致事件相机无法确定目标物的轮廓信息,进而可能导致事件相机所属车辆在行驶中存在安全隐患。
发明内容
本申请实施例提供一种目标物的轮廓信息确定方法及装置,用以使事件相机能够确定目标物的轮廓信息。
第一方面,本申请实施例提供一种目标物的轮廓信息确定方法,包括:
调整事件相机的镜头的焦距;确定调整所述焦距后的特征点的成像点坐标,所述特征点位于与事件相机相对静止的目标物上;根据所述成像点坐标、调整所述焦距前的焦距值和所述焦距的变化值确定调整所述焦距前的所述特征点的第一投影点坐标;根据所述第一投影点坐标确定所述目标物的轮廓信息。
根据该方法,通过调整镜头焦距获得成像点坐标和焦距变化以及调整焦距前的焦距值,根据成像点坐标和焦距变化以及调整焦距前的焦距值得到焦距调整前的目标物的特征点的投影点坐标,根据投影点坐标确定目标物的轮廓信息,使事件相机能确定目标物的轮廓信息。
在一种可能的设计中,所述方法还包括:读取所述事件相机输出的所述焦距的变化值。
根据该设计,确定装置可读取事件相机输出的焦距的变化值,根据焦距的变化值确定事件相机镜头焦距的变化信息,可提高确定投影点坐标的准确性。
在一种可能的设计中,所述确定调整所述焦距后的特征点的成像点坐标,包括:读取所述事件相机输出的所述成像点坐标。
根据该设计,通过调整镜头焦距确定调整镜头焦距后的成像点坐标,而不需要使用额外光源确定成像点坐标,可提高获取成像点坐标的效率。
在一种可能的设计中,所述根据所述第一投影点坐标确定所述目标物的轮廓信息,包括:根据所述目标物的多个特征点对应的第一投影点坐标,确定目标物的轮廓信息。
根据该设计,根据目标物的多个特征点的投影点确定融合后的投影点坐标以及第一投影点坐标,根据第一投影点坐标确定目标物的轮廓,可进一步提高确定目标物轮廓的精度。
在一种可能的设计中,所述方法还包括:输出所述目标物的轮廓信息。
根据该设计,通过输出目标物的轮廓信息,确定装置可显示目标物的轮廓图像,提高事件相机所属车辆在行驶中的安全性。
第二方面,本申请实施例提供一种目标物的轮廓信息确定装置,包括:调整模块,用于调整事件相机的镜头的焦距;处理模块,用于确定调整所述焦距后的特征点的成像点坐标,所述特征点位于与事件相机相对静止的目标物上;所述处理模块,还用于根据所述成像点坐标、调整所述焦距前的焦距值和所述焦距的变化值确定调整所述焦距前的所述特征点的第一投影点坐标;所述处理模块,还用于根据所述第一投影点坐标确定所述目标物的轮廓信息。
在一种可能的设计中,所述处理模块还用于:读取所述事件相机输出的所述焦距的变化值。
在一种可能的设计中,所述处理模块具体用于:读取所述事件相机输出的所述成像点坐标。
在一种可能的设计中,所述处理模块具体用于:根据所述目标物的多个特征点对应的第一投影点坐标,确定目标物的轮廓信息。
在一种可能的设计中,所述处理模块还用于:输出所述目标物的轮廓信息。
第三方面,本申请实施例提供一种电子设备,包括:
存储器,用于存储程序指令;
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行第一方面及其任意一种设计的方法包括的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被计算机执行时,使所述计算机执行第一方面及其任意一种设计的方法。
第二方面至第四方面及其任意一种设计所带来的技术效果可参见第一方面中对应的设计所带来的技术效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种目标物的轮廓信息确定方法的流程示意图;
图2为本申请实施例提供的另一种目标物的轮廓信息确定方法流程示意图;
图3为本申请实施例提供的一种事件相机成像平面示意图;
图4为本申请实施例提供的一种事件相机焦距变化示意图;
图5为本申请实施例提供的另一种事件相机焦距变化示意图;
图6为本申请实施例提供的另一种目标物的轮廓信息确定方法流程示意图;
图7为本申请实施例提供的一种装置结构示意图;
图8为本申请实施例提供的另一种装置结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以按不同于此处的顺序执行所示出或描述的步骤。
本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请中的“多个”可以表示至少两个,例如可以是两个、三个或者更多个,本申请实施例不做限制。
本申请技术方案中,对数据的采集、传播、使用等,均符合国家相关法律法规要求。
在介绍本申请实施例所提供的一种目标物的轮廓信息确定方法之前,为了便于理解,首先对下面对本申请实施例的技术背景进行详细介绍。
传统相机通过拍摄多帧图像,根据多帧图像构成动态物体的影像,而每帧图像之间必然存在时间差,比如,即使传统相机帧率能够达到1KHz,那也具有1ms的延时。所以传统相机存在一定的延迟问题。此外,传统相机需要通过一定时间的曝光,使感光器件积累一定的光子,那么在曝光时间之内如果物体在高速运动,则会产生模糊。另外,传统相机的动态范围较低,具体表现为在光线极差或者亮度极高时,传统相机获取的信息有限。
事件相机(event-based camera,EC)是一种新型传感器,也称为动态视觉传感器(dynamic vision sensor,DVS)。不同于传统相机拍摄一幅完整的图像,事件相机输出的是像素亮度的变化情况。事件相机可对目标物的图像进行差分采样,可以得到目标物的特征点的像素亮度变化。
目前,事件相机获取目标物的轮廓图像过程中,当目标物与事件相机处于相对静止的状态,事件相机无法确定目标物轮廓信息。比如在自动驾驶场景下,若目标物是前方道路中处于移动中的车辆,当目标物(车辆)与事件相机相对静止时,事件相机无法确定目标物的轮廓信息,导致事件相机所属车辆在行驶中存在安全隐患。
为了解决上述问题,本发明提出了一种目标物的轮廓信息确定方法及装置,用以当目标物与事件相机处于相对静止时,使事件相机可准确确定目标物的轮廓信息。
可以理解,本申请提供的一种目标物的轮廓信息确定方法可由目标物的轮廓信息确定装置(以下简称确定装置)执行。确定装置包括事件相机、主动焦距调整模块或者事件信号校正模块。
其中,确定装置可通过调整焦距使成像平面上的投影点的像素亮度产生变化,事件相机的像素感光元件确定投影点的像素亮度变化后,事件相机可输出投影点光强变化时间、投影点光强变化后生成的成像点的位置和成像点的亮度变化极性。确定装置可对多个成像点像素亮度变化对投影点坐标进行校正。
本申请提供的实施例中,调整焦距前,目标物与事件相机相对静止,因此事件相机无法获得与事件相机相对静止的目标物的特征点在成像平面的投影点坐标位置。调整事件相机的镜头焦距后,目标物的特征点在成像平面的投影点坐标位置发生变化,从而产生成像,成像由成像点组成。因此通过调整焦距改变了目标物对应的投影点在成像平面上的像素亮度,使事件相机产生事件,事件中包括调整焦距后的成像点坐标。确定装置可根据焦距调整后的成像点坐标和焦距变化值确定调整焦距前的目标物的特征点的第一投影点位置,根据调整焦距前的目标物的特征点的第一投影点位置使事件相机能够准确确定目标物的轮廓信息。
如图1所示,本申请提供的一种目标物的轮廓信息确定方法可包括以下步骤:
步骤101,调整事件相机的镜头的焦距。
在一种可能的实施例中,步骤101可由确定装置执行。如图2所示,确定装置可包括主动调整焦距模块和事件信号校正模块。图2中所示的镜头包括镜片组。光感受器又称像素亮度元件。确定装置可以根据焦距的调整确定像素亮度变化。事件相机可根据信号处理电路和事件信号校正模块输出像素事件或像素事件信息。
可选的,事件相机可包括镜头和像素感光元件,镜头可称为镜头平面,镜头或镜头平面可视为成像平面。目标物的轮廓上的任一点可视为目标物的特征点。目标物的特征点投影到成像平面的点可视为投影点。
可选的,事件相机可通过以下方式进行调焦:移动镜头中某组镜片的轴向位置、传动镜头上的调焦环和固定焦点,本申请实施例以移动镜头中某组镜片的轴向位置的方式进行调焦。
在一种可能的实施例中,事件相机坐标系可包括相机坐标轴、成像平面和坐标系原点。光心或相机中心就是事件相机坐标系原点。如图3所示,相机坐标轴是三维坐标系,可由Xc轴、Yc轴和Zc轴表示。成像平面为二维坐标系,成像平面上的横坐标轴和竖坐标轴可用x轴和y轴表示。成像平面垂直于Zc轴。Zc轴,或称主光轴,表示镜头焦距f变化方向,镜头焦距f也称为像距或对焦距离。
可选的,相机坐标轴的Xc轴与成像平面上的x轴平行,相机坐标轴的Yc轴与成像平面上的y轴平行,x轴与Xc轴上的坐标值的比例系数可等于y轴与Yc轴上的坐标值的比例系数。
另外,成像平面的二维坐标系可通过函数关系转化为像素坐标系(u,v),像素坐标系是以成像平面中的边缘上的一点为原点(u0,v0)建立的坐标系,成像平面的x和y二维坐标系可转化为u和v二维坐标系。两种坐标系均可以用于确定坐标变化。比如,确定装置可根据u=x/Dx+u0进行计算并将计算出的u作取整运算,可根据v=y/Dy+v0进行计算并将计算出的v作取整运算,因此可根据实数x和实数y确定非负整数u和非负整数v。Dx表示在成像平面的x方向上的像素间距长度,Dy表示在成像平面的y方向上的像素间距长度。本申请以下描述中涉及的x和y均可用上述关系替换为u和v。
在一种可能的实施例中,确定装置可通过移动镜头中部分镜片的轴向位置,从而调整事件相机的镜头焦距。确定装置可获取调整规则,根据调整规则移动镜头位置,即改变镜片组的轴向位置。例如,确定装置可以获取人为设置的调整信号,该调整信号可视为调整规则。确定装置可根据调整规则匀速改变镜片组的轴向位置。又如,确定装置还可获取调整规,根据调整规则以正弦振动的方式调整镜片组的轴向位置。可以理解,调整规则不限于上述使确定装置以匀速或正弦振动的方式调整镜片组的调整信号,确定装置还可获取其他调整规则,根据其他调整规则改变镜片组的轴向位置,调整焦距,实现焦距变化。
在一种可能的实施例中,确定装置可读取事件相机输出的焦距的变化值,将镜片组的轴向位置的变化记为镜头焦距的变化信息。确定装置可根据调整规则,使镜片组的轴向位置以速度v匀速变化,变化的起始时间为t0,变化的总时长为Δt,速度和时间的单位不作具体限定。
确定装置可记录v、t0和Δt,以便于后续步骤中确定装置确定调整焦距前的投影点坐标。又如,镜片组的轴向位置仍以速度v匀速变化,变化起始时间为t0,记录时间间隔为dt,记录时间为t,确定装置可记录v、t0和dt,以及记录从t0到t的间隔内镜片组在轴向位置上的位移,该位移即焦距对时间的函数,可记为f(t)。确定装置可对焦距变化进行离散采样,在时刻tk对应的焦距记为fk,对应的焦距改变量为Δfk,k取自然数。
可选的,步骤101还可由确定装置中的主动调整焦距模块执行。
步骤102,确定调整所述焦距后的特征点的成像点坐标,所述特征点位于与事件相机相对静止的目标物上。
可选的,确定装置可将目标物的一个特征点在成像平面上位置变化后的坐标称为成像点坐标,将目标物的一个特征点在成像平面上位置变化前的坐标称为投影点坐标。
可选的,镜头焦距调整后,目标物的特征点的投影点的坐标发生变化。目标物的特征点的投影点坐标发生变化后,像素感光元件获取的投影点对应的像素亮度也会改变。
可选的,事件相机包含多个像素感光元件,确定装置可确定投影点的像素亮度变化。确定装置可根据投影点的像素亮度变化产生一个像素事件。
例如,像素事件可以是一种由成像点坐标、像素亮度变化时间和像素亮度变化极性等数值组成的数值集合。像素事件可以用以下关系式表示:
ei=(xi,yi,ti,pi),
其中ei表示像素事件,等式右边的xi和yi为成像点坐标,ti为像素亮度变化的起点时间(或称时间戳),pi为像素亮度变化极性(polarity)。当pi的值取-1或者0,可表示像素亮度由高到低。当pi的值取1,可表示像素亮度由低到高。i表示像素事件的编号。可选的,ei还可表示为(ui,vi,ti,pi)。
可选的,如图4所示,图4中的实线到虚线表示镜片组中的任一个镜片的轴向位置变化,即焦距变化,变化时间为从t0到tk时刻。实线表示t0时刻的成像平面,长虚线表示tk时刻的成像平面,m’点表示成像点,m表示投影点,M表示目标物的任一特征点。Oc表示光心或相机中心,f0表示变化前的焦距,Δfk表示从t0到tk时刻焦距的变化量。若在tk时刻的m’点的像素亮度大于在t0时刻的m点的像素亮度,则在tk时刻的p值可取1。
可选的,以上成像点m’是确定装置根据目标物的一个特征点M1确定的,确定装置还可根据目标物的第i特征点Mi确定成像点mi’,获得事件相机通过电信号输出的mi’点坐标(xi,yi)。如图5所示。图5中,实线圆圈表示目标物,M1和M2表示目标物的两个特征点,m1’和m2’表示确定装置确定的两个成像点,m1和m2表示确定装置待确定的两个投影点。可以理解,图5仅以两个特征点以及对应的成像点和投影点作为示例,实际情况中实线圆圈上有多个特征点。
在一种可能的实施例中,确定装置可多次或者连续调整镜头位置,使得事件相机产生多个事件,根据多个事件确定多个成像点坐标,根据多个成像点坐标确定多个投影点坐标,根据多个投影点坐标确定目标物的轮廓信息,具体见下文描述。
可选的,事件相机可根据确定装置的指令,输出调整焦距后的目标物的特征点的成像点坐标。事件相机还可将多个事件作为事件流输出。事件流的数据量远小于传统相机传输的数据,可提高传输数据的效率。
可选的,步骤102还可由确定装置中的主动调整焦距模块执行。
步骤103,根据所述成像点坐标、调整所述焦距前的焦距值和所述焦距的变化值确定调整所述焦距前的所述特征点的第一投影点坐标。
在一种可能的实施例中,确定装置在调整焦距前可确定调整焦距前的焦距值,在调整焦距过程中可确定焦距的变化值。确定装置可根据成像点坐标、调整焦距前的焦距值和焦距的变化值,确定调整焦距前的特征点的多个投影点坐标。
可选的,假设m与m’处于如图4所示的直线上,则m的坐标与m’的坐标构成的图形具有相似性,因此,确定装置可根据以下关系式确定投影点坐标:
y/y’=f0/(f0+Δfk),
x/x’=f0/(f0+Δfk),
投影点坐标满足如下关系式:
m=(x,y)=(x’f0/(f0+Δfk),y’f0/(f0+Δfk)),
其中,m’(x’,y’)表示成像点坐标,m(x,y)表示投影点坐标,f0表示调整焦距前的焦距值,Δfk表示焦距的变化值,x’即m’在x轴的坐标,y’即m’在y轴的坐标。图4中坐标的Zc方向即镜片组的轴向,Yc方向即成像平面坐标系中的y方向,m’的焦距即(f0+Δfk),m的焦距即f0。
可选的,步骤103还可由确定装置中的主动调整焦距模块执行。
步骤104,根据所述第一投影点坐标确定所述目标物的轮廓信息。
在一种可能的实施例中,确定装置可通过多个投影点估计值的融合结果确定融合后的第一投影点坐标,提高获得第一投影点坐标的准确性。例如,在一种理想情况下,事件相机根据一个投影点的像素事件确定一个成像点坐标,即如图3所示,确定装置根据一个成像点坐标确定出一个投影点坐标,即目标物的每个特征点唯一对应一个投影点,因此根据投影点可以准确获得目标物的轮廓信息。但事件相机在连续调整镜头焦距的过程中,一个投影点的多个像素事件可能导致事件相机对一个投影点对应产生多个成像点,导致确定装置根据多个成像点坐标确定出多个投影点的坐标,即根据目标物的一个特征点确定出多个投影点,导致确定的目标物的轮廓可能较为模糊,即存在轮廓误差。因此需要确定装置对多个投影点进行融合确定融合后的第一投影点坐标,再根据融合后的第一投影点坐标确定目标物的轮廓,从而减少此误差。
下面结合图6为例说明本申请的步骤101至步骤104所示流程。
在一种可能的实施例中,目标物的一个特征点的投影点在成像平面上移动从而产生亮度变化,事件相机可根据该特征点变化产生i个事件,该i个事件可视为一个事件集合。事件相机可根据k个特征点产生k个事件集合。由于事件相机在获取输出事件时会存在误差,即成像点、投影点和特征点不是处于同一直线上,因此确定装置可根据k个事件集合的i个事件对应的成像点坐标确定投影点,根据多个投影点的融合结果确定一个第一投影点,根据多个第一投影点坐标确定目标物的轮廓信息。由于多个投影点需要通过融合后确定目标物的轮廓信息,下面也可将该融合前的投影点称为投影点估计值。
可选的,事件相机可产生k个事件集合:(t0,Δf0,E0)、(t1,Δf1,E1)、(t2,Δf2,E2)……、(tk,Δfk,Ek)、……,tk表示每个事件集合对应的时间段,Δfk表示产生每个事件集合的焦距变化,Ek是tk对应的第k次事件集合,k的值可取自然数。其中,Ek可满足如下集合:{ek0,ek1,ek2,…},eki是第k个事件集合中的第i个事件,i的值可取自然数。eki可表示为(mki,tk,pki)或者(xki,yki,tk,pki),mki=(xki,yki)即第i个事件对应的成像点坐标。确定装置可根据第i个事件对应的成像点坐标确定第i个投影点估计值,第i个投影点估计值满足如下关系式:
其中,即投影点估计值,f0表示焦距变化前的焦距。可以理解,以上(xki,yki)也可表示为(uki,vki)。
例如,如图6所示,事件相机根据目标物的k个特征点的连续像素亮度变化分别产生k个事件集合。其中第k个特征点Mk对应第k个事件集合,第k个事件集合中具有i个事件。确定装置获得Mk的i次投影点像素变化对应的i个事件,可确定i个成像点分别为mk0、mk1、mk2、mk3、……、mki。确定装置可确定i个成像点的坐标(xk1,yk1)、(xk2,yk2)、(xk3,yk3)……、(xki,yki),根据成像点坐标计算出i个投影点估计值分别为
进一步的,确定装置可统计每个投影点估计值的像素坐标周围一定范围内的焦距变化的离散采样个数,得到每个投影点估计值的像素坐标的像素亮度变化值,根据每个投影点估计值的像素坐标的像素亮度变化值得到融合后的投影点的像素坐标。
例如,确定装置可统计的像素坐标周围一定范围内的焦距变化的离散采样个数,根据如下关系式确定/>的像素坐标对应的像素亮度变化值:
其中,N表示的像素坐标周围一定范围内的焦距变化的离散采样总数,k的值可取0到(N-1)。像素坐标周围的一定范围可以是以像素点坐标(uk,vk)为中心,边长取像素间距长度的方形区域,pki即每个像素点的像素亮度变化极性,pki可取-1或1,i的值表示/>的像素坐标周围一定范围内焦距变化的个数,即事件个数。该区域需满足如下条件:
其中,和/>表示融合前的投影点坐标,即投影点估计值,uk和vk即区域中心的像素点坐标(或称像素坐标),Dx表示在成像平面的x方向上的像素间距长度,Dy表示在成像平面的y方向上的像素间距长度,Dx和Dy可相等或者不相等。该条件表示,当投影点估计值坐标与像素点坐标之间的距离落在边长取像素间距长度的方形区域中,则将区域内的投影点估计值的个数作为融合后的一个投影点的焦距变化采样个数。确定装置可根据融合后的k个投影点的焦距变化采样个数得到焦距变化的离散采样总数N,将N带入到每个像素对应的像素亮度变化值所满足的公式中,得到融合后的任一投影点的像素亮度变化值sxy。
比如,事件相机针对一个成像点的像素坐标输出两次焦距变化,N等于2。确定装置可获取一个成像点的两次采样,每次采样确定四个投影点估计值。确定装置确定k等于0时的四个投影点估计值和/>确定k等于1时的四个投影点估计值和/>确定投影点估计值分别对应的pki。k等于1时,确定装置可确定以像素坐标(u1,v1)为区域中心的单个像素区域,该区域内包括四个投影点估计值和/>确定装置可确定两次事件的投影点估计值的像素亮度变化极性为p10、p11、p12、p13,和p20、p21、p22、p23。确定装置可根据像素亮度变化值计算公式,确定像素坐标(u1,v1)的像素亮度变化值等于:((p10+p11+p12+p13)+(p20+p21+p22+p23))/2。
可选的,确定装置也可根据需要设定一个阈值,根据阈值从多个第一投影点坐标中确定像素变化达到阈值的投影点的像素点坐标为第一投影点坐标,再根据第一投影点坐标确定目标物的轮廓。例如,确定装置可设置θs为0.5。当sxy大于或者等于θs时,确定装置可将该投影点的像素点坐标(u1,v1)设置为on事件。当sxy小于或者等于-θs时,确定装置可将该投影点的像素点坐标(u1,v1)设置为off事件。确定装置可将每个on事件对应的像素点坐标确定为第一投影点坐标,根据第一投影点坐标组成的轮廓代表焦距为f0时的图像轮廓,也就得到了目标物的轮廓信息。
可选的,通过以上步骤,确定装置可通过设置阈值,确定像素亮度变化达到阈值的第一投影点坐标,根据该第一投影点确定目标物的轮廓,可更加准确的获得目标物的轮廓信息。
在一种可能的实施例中,确定装置可输出目标物的轮廓位置,例如,确定装置可向车载屏幕输出目标物的轮廓信息。
可选的,步骤104还可由确定装置中的事件信号校正模块执行。
基于相同的技术构思,本申请示例性的提供了一种目标物的轮廓信息确定装置,如图7所示,该装置包括:
调整模块701,用于调整事件相机的镜头的焦距;
处理模块702,用于确定调整所述焦距后的特征点的成像点坐标,所述特征点位于与事件相机相对静止的目标物上;
所述处理模块702,还用于根据所述成像点坐标、调整所述焦距前的焦距值和所述焦距的变化值确定调整所述焦距前的所述特征点的第一投影点坐标;
所述处理模块702,还用于根据所述第一投影点坐标确定所述目标物的轮廓信息。
可选的,所述处理模块702还用于:读取所述事件相机输出的所述焦距的变化值。
可选的,所述处理模块702具体用于:读取所述事件相机输出的所述成像点坐标。
可选的,所述处理模块702具体用于:根据所述目标物的多个特征点对应的第一投影点坐标,确定目标物的轮廓信息。
可选的,所述处理模块702还用于:输出所述目标物的轮廓信息。
与上述方法实施例基于同一发明构思,本申请实施例中还提供了一种电子设备。该电子设备可以用于执行以上方法实施例所述的动作。在该实施例中,电子设备的结构可以如图8所示,包括存储器801以及一个或多个处理器802。
存储器801,用于存储处理器802执行的计算机程序。存储器801可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统,以及运行即时通讯功能所需的程序等;存储数据区可存储各种即时通讯信息和操作指令集等。
存储器801可以是易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储器801也可以是非易失性存储器(non-volatilememory),例如只读存储器,快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(solid-state drive,SSD)、或者存储器801是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器801可以是上述存储器的组合。
处理器802,可以包括一个或多个中央处理单元(central processing unit,CPU)或者为数字处理单元等。所述处理器802,用于调用存储器801中存储的计算机程序时实现上述方法。
本申请实施例中不限定上述存储器801和处理器802之间的具体连接介质。作为一种示例,本申请实施例在图8中以存储器801和处理器802之间通过总线803连接,总线803在图8中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线803可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,处理器802可用于执行以上由调整模块701、处理模块702中任意一项或多项执行的动作。
基于同一发明构思,本申请实施例提供一种计算机可读存储介质,计算机程序产品包括:计算机程序代码,当计算机程序代码在计算机上运行时,使得计算机执行如前文论述的任一目标物的轮廓信息确定方法。由于上述计算机可读存储介质解决问题的原理与目标物的轮廓信息确定方法相似,因此上述计算机可读存储介质的实施可以参见方法的实施,重复之处不再赘述。
基于同一发明构思,本申请实施例还提供了一种计算机程序产品,该计算机程序产品包括:计算机程序代码,当该计算机程序代码在计算机上运行时,使得计算机执行如前文论述的任一目标物的轮廓信息确定方法。由于上述计算机程序产品解决问题的原理与目标物的轮廓信息确定方法相似,因此上述计算机程序产品的实施可以参见方法的实施,重复之处不再赘述。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列用户操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (11)
1.一种目标物的轮廓信息确定方法,其特征在于,包括:
调整事件相机的镜头的焦距;
确定调整所述焦距后的特征点的成像点坐标,所述特征点位于与事件相机相对静止的目标物上;
根据所述成像点坐标、调整所述焦距前的焦距值和所述焦距的变化值确定调整所述焦距前的所述特征点的第一投影点坐标;
根据所述第一投影点坐标确定所述目标物的轮廓信息。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
读取所述事件相机输出的所述焦距的变化值。
3.如权利要求1所述的方法,其特征在于,所述确定调整所述焦距后的特征点的成像点坐标,包括:
读取所述事件相机输出的所述成像点坐标。
4.如权利要求1所述的方法,其特征在于,所述根据所述第一投影点坐标确定所述目标物的轮廓信息,包括:
根据所述目标物的多个特征点对应的第一投影点坐标,确定目标物的轮廓信息。
5.如权利要求1所述的方法,其特征在于,所述方法还包括:
输出所述目标物的轮廓信息。
6.一种目标物的轮廓信息确定装置,其特征在于,包括:
调整模块,用于调整事件相机的镜头的焦距;
处理模块,用于确定调整所述焦距后的特征点的成像点坐标,所述特征点位于与事件相机相对静止的目标物上;
所述处理模块,还用于根据所述成像点坐标、调整所述焦距前的焦距值和所述焦距的变化值确定调整所述焦距前的所述特征点的第一投影点坐标;
所述处理模块,还用于根据所述第一投影点坐标确定所述目标物的轮廓信息。
7.如权利要求6所述的装置,其特征在于,所述处理模块还用于:
读取所述事件相机输出的所述焦距的变化值。
8.如权利要求6所述的装置,其特征在于,所述调整模块具体用于:
读取所述事件相机输出的所述成像点坐标。
9.如权利要求6所述的装置,其特征在于,所述处理模块具体用于:
根据所述目标物的多个特征点对应的第一投影点坐标,确定目标物的轮廓信息。
10.如权利要求6所述的装置,其特征在于,所述处理模块还用于:
输出所述目标物的轮廓信息。
11.一种电子设备,其特征在于,其包括处理器和存储器,其中,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行权利要求1~5中任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310844078.0A CN116929245A (zh) | 2023-07-11 | 2023-07-11 | 一种目标物的轮廓信息确定方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310844078.0A CN116929245A (zh) | 2023-07-11 | 2023-07-11 | 一种目标物的轮廓信息确定方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116929245A true CN116929245A (zh) | 2023-10-24 |
Family
ID=88378339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310844078.0A Pending CN116929245A (zh) | 2023-07-11 | 2023-07-11 | 一种目标物的轮廓信息确定方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116929245A (zh) |
-
2023
- 2023-07-11 CN CN202310844078.0A patent/CN116929245A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9998650B2 (en) | Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map | |
US10997696B2 (en) | Image processing method, apparatus and device | |
JP6700872B2 (ja) | 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体 | |
EP3627821B1 (en) | Focusing method and apparatus for realizing clear human face, and computer device | |
WO2016171050A1 (ja) | 画像処理装置 | |
US10291839B2 (en) | Image capturing apparatus and method of controlling the same | |
US20180120687A1 (en) | Ranging method, automatic focusing method and device | |
CN102959586A (zh) | 运动推测装置、深度推测装置以及运动推测方法 | |
JP6497987B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
US10212348B2 (en) | Image processing apparatus, its control method, image capturing apparatus, and storage medium | |
JP7288226B2 (ja) | 測距カメラ | |
WO2016079965A1 (en) | Depth detection apparatus, imaging apparatus and depth detection method | |
US10204400B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and recording medium | |
CN116929245A (zh) | 一种目标物的轮廓信息确定方法及装置 | |
CN116990776A (zh) | 激光雷达点云补偿方法、装置及电子设备、存储介质 | |
US8179431B2 (en) | Compound eye photographing apparatus, control method therefor, and program | |
CN116017129A (zh) | 一种补光灯角度调整方法、装置、系统、设备和介质 | |
US20200404157A1 (en) | Display control device, camera device, and display control method | |
US10917554B2 (en) | Lens apparatus, image capturing apparatus, camera system, determination method of correction value and storage medium | |
CN116907375A (zh) | 一种目标物的轮廓信息确定方法、装置、设备及介质 | |
JP7256368B2 (ja) | 測距カメラ | |
US20220398803A1 (en) | Method for forming an image of an object, computer program product and image forming system for carrying out the method | |
US10681274B2 (en) | Imaging apparatus and control method thereof | |
CN109672818B (zh) | 一种调整图像质量的方法及装置 | |
JP5362981B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |