CN116907375A - 一种目标物的轮廓信息确定方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种目标物的轮廓信息确定方法、装置、设备及介质，该方法包括：对事件相机的镜头进行偏转，并获取所述镜头的偏转角度；确定偏转所述镜头后的目标物的至少一个特征点的第一投影点坐标；根据所述第一投影点坐标、所述镜头的焦距值和所述偏转角度，确定偏转所述镜头前的所述至少一个特征点的第二投影点坐标；根据所述第二投影点坐标确定偏转所述镜头前所述目标物的轮廓信息。该方法能够在目标物与事件相机处于相对静止的情况下，使事件相机更准确地确定目标物的轮廓信息。

Description

一种目标物的轮廓信息确定方法、装置、设备及介质

技术领域

本申请实施例涉及自动驾驶领域，尤其涉及一种目标物的轮廓信息确定方法、装置、设备及介质。

背景技术

事件相机(Event-based Camera，EC)是一种新型传感器，包括动态视觉传感器(Dynamic Vision Sensor，DVS)以及动态和有源像素视觉传感器(Dynamic and Active-Pixel Vision Sensor，DAVIS)等。不同于传统相机拍摄一幅完整的图像，事件相机输出的是像素亮度的变化情况，即事件。

目前，在使用差分型事件相机获取目标物图像过程中，当目标物与事件相机处于相对静止的状态时，事件相机存在无法获得目标物轮廓信息的问题。比如在自动驾驶场景下，由于目标物(车辆)可能存在与事件相机相对静止的情况，导致事件相机无法确定目标物的轮廓信息，进而可导致事件相机所属车辆在行驶中存在安全隐患。

发明内容

本申请实施例提供一种目标物的轮廓信息确定方法、装置、设备及介质，用以在目标物与事件相机处于相对静止的情况下，使事件相机更准确地确定目标物的轮廓信息。

第一方面，本申请实施例提供一种目标物的轮廓信息确定方法，包括：

对事件相机的镜头进行偏转，并获取所述镜头的偏转角度；

确定偏转所述镜头后的目标物的至少一个特征点的第一投影点坐标；

根据所述第一投影点坐标、所述镜头的焦距值和所述偏转角度，确定偏转所述镜头前的所述至少一个特征点的第二投影点坐标；

根据所述第二投影点坐标确定偏转所述镜头前所述目标物的轮廓信息。

本申请实施例中，在事件相机与目标物处于相对静止状态时，通过对事件相机的镜头进行偏转，改变目标物与事件相机之间的相对静止状态，使得事件相机可检测到偏转镜头后的目标物的至少一个特征点的第一投影点坐标。并且，本申请基于第一投影点坐标、镜头的焦距值和镜头的偏转角度，确定偏转所述镜头前的所述至少一个特征点的第二投影点坐标，根据所述第二投影点坐标确定偏转所述镜头前所述目标物的轮廓信息，从而使事件相机更准确地确定目标物的轮廓信息。

在一种可能的设计中，所述对事件相机的镜头进行偏转，包括：

按照设定角度对所述事件相机的镜头进行偏转；或者，

按照设定的时长对所述事件相机的镜头进行偏转；

以检测到所述事件相机与所述目标物处于非相对静止状态为结束条件，对所述事件相机的镜头进行偏转。

本申请实施例中，能够在事件相机与目标物处于相对静止状态时，按照设定角度或者设定的时长，以检测到事件相机与目标物处于非相对静止状态为结束条件，对事件相机的镜头进行偏转，从而改变目标物与事件相机之间的相对静止状态，使得事件相机能够确定目标物的轮廓信息，从而使事件相机更准确地确定目标物的轮廓信息。

在一种可能的设计中，所述确定偏转所述镜头后的目标物的至少一个特征点的第一投影点坐标，包括：

获取偏转所述镜头后的事件相机对所述目标物进行拍摄得到的事件；

基于所述事件，确定所述目标物的至少一个特征点的第一投影点坐标。

本申请实施例中，通过获取偏转所述镜头后的事件相机对所述目标物进行拍摄得到的事件，并基于所述事件，确定所述目标物的至少一个特征点的第一投影点坐标，从而提高确定的目标物的特征点的第一投影点坐标的准确度。

在一种可能的设计中，所述根据第二投影点坐标确定偏转所述镜头前所述目标物的轮廓信息，包括：

根据所述目标物的多个特征点对应的第二投影点坐标，确定所述目标物的轮廓信息。

本申请实施例中，根据目标物的多个特征点对应的第二投影点坐标确定目标物的轮廓信息，可提高确定的目标物的轮廓信息的准确度。

在一种可能的设计中，所述偏转角度包括俯仰角度，所述根据所述第一投影点坐标、所述镜头的焦距值和所述偏转角度的变化值，确定偏转所述镜头前的所述特征点的第二投影点坐标，包括：

将所述第一投影点坐标中的横坐标作为所述第二投影点坐标中的横坐标；

基于所述第一投影点坐标中的纵坐标、所述镜头的焦距值和所述俯仰角度，确定所述第二投影点坐标中的纵坐标。

本申请实施例中，当偏转角度包括俯仰角度时，基于目标物的特征点的第一投影点坐标、镜头的焦距值和俯仰角度，确定偏转镜头前的目标物的特征点的第二投影点坐标，从而使确定的特征点的第二投影点坐标更准确，进而使事件相机更准确地确定目标物的轮廓信息。

在一种可能的设计中，所述偏转角度包括偏航角度，所述根据所述第一投影点坐标、所述镜头的焦距值和所述偏转角度的变化值，确定偏转所述镜头前的所述特征点的第二投影点坐标，包括：

基于所述第一投影点坐标中的横坐标、所述镜头的焦距值和所述偏航角度，确定所述第二投影点坐标中的横坐标；

将所述第一投影点坐标中的纵坐标作为所述第二投影点坐标中的纵坐标。

本申请实施例中，当偏转角度包括偏航角度时，基于目标物的特征点的第一投影点坐标、镜头的焦距值和偏航角度，确定偏转镜头前的目标物的特征点的第二投影点坐标，从而使确定的特征点的第二投影点坐标更准确，进而使事件相机更准确地确定目标物的轮廓信息。

在一种可能的设计中，所述偏转角度包括俯仰角度和偏航角度，所述根据所述第一投影点坐标、所述镜头的焦距值和所述偏转角度的变化值，确定偏转所述镜头前的所述特征点的第二投影点坐标，包括：

基于所述第一投影点坐标中的横坐标、所述镜头的焦距值和所述偏航角度，确定所述第二投影点坐标中的横坐标；

基于所述第一投影点坐标中的纵坐标、所述镜头的焦距值和所述俯仰角度，确定所述第二投影点坐标中的纵坐标。

本申请实施例中，当偏转角度包括俯仰角度和偏航角度时，基于目标物的特征点的第一投影点坐标、镜头的焦距值、俯仰角度和偏航角度，确定偏转镜头前的目标物的特征点的第二投影点坐标，从而使确定的特征点的第二投影点坐标更准确，进而使事件相机更准确地确定目标物的轮廓信息。

第二方面，本申请实施例提供一种目标物的轮廓信息确定装置，包括：。

偏转模块，用于对事件相机的镜头进行偏转，并获取所述镜头的偏转角度；

第一确定模块，用于确定偏转所述镜头后的目标物的至少一个特征点的第一投影点坐标；

第二确定模块，用于根据所述第一投影点坐标、所述镜头的焦距值和所述偏转角度，确定偏转所述镜头前的所述至少一个特征点的第二投影点坐标；

第三确定模块，用于根据所述第二投影点坐标确定偏转所述镜头前所述目标物的轮廓信息。

在一种可能的设计中，所述偏转模块用于：

按照设定角度对所述事件相机的镜头进行偏转；或者，

按照设定的时长对所述事件相机的镜头进行偏转；

以检测到所述事件相机与所述目标物处于非相对静止状态为结束条件，对所述事件相机的镜头进行偏转。

在一种可能的设计中，所述第一确定模块还用于：

获取偏转所述镜头后的事件相机对所述目标物进行拍摄得到的事件；

基于所述事件，确定所述目标物的至少一个特征点的第一投影点坐标。

在一种可能的设计中，所述第三确定模块用于：

根据所述目标物的多个特征点对应的第二投影点坐标，确定所述目标物的轮廓信息。

在一种可能的设计中，所述偏转角度包括俯仰角度，所述第二确定模块用于：

将所述第一投影点坐标中的横坐标作为所述第二投影点坐标中的横坐标；

基于所述第一投影点坐标中的纵坐标、所述镜头的焦距值和所述俯仰角度，确定所述第二投影点坐标中的纵坐标。

在一种可能的设计中，所述偏转角度包括偏航角度，所述第二确定模块用于：

基于所述第一投影点坐标中的横坐标、所述镜头的焦距值和所述偏航角度，确定所述第二投影点坐标中的横坐标；

将所述第一投影点坐标中的纵坐标作为所述第二投影点坐标中的纵坐标。

在一种可能的设计中，所述偏转角度包括俯仰角度和偏航角度，所述第二确定模块用于：

基于所述第一投影点坐标中的横坐标、所述镜头的焦距值和所述偏航角度，确定所述第二投影点坐标中的横坐标；

基于所述第一投影点坐标中的纵坐标、所述镜头的焦距值和所述俯仰角度，确定所述第二投影点坐标中的纵坐标。

第三方面，本申请实施例提供一种电子设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行第一方面及其任意一种设计的方法包括的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时，使所述计算机执行第一方面及其任意一种设计的方法。

第二方面至第四方面及其任意一种设计所带来的技术效果可参见第一方面中对应的设计所带来的技术效果，此处不再赘述。

附图说明

图1为本申请实施例提供的应用场景示意图；

图2为本申请实施例提供的现有事件相机的结构示意图；

图3为本申请实施例提供的一种目标物的轮廓信息确定装置的结构示意图；

图4为本申请实施例提供的一种目标物的轮廓信息确定方法的流程图；

图5为本申请实施例提供的以飞机为例的偏转角度的示意图；

图6为本申请实施例提供的事件相机坐标系的示意图；

图7为本申请实施例提供的目标物示意图；

图8为本申请实施例提供的传统相机定时拍摄的图像示意图；

图9为本申请实施例提供的事件相机拍摄的事件示意图；

图10a本申请实施例提供的一种镜头偏转时相机坐标系变化的示意图；

图10b为本申请实施例提供的一种特征点在成像平面进行投影的示意图；

图11a为本申请实施例提供的另一种镜头偏转时相机坐标系变化的示意图；

图11b为本申请实施例提供的另一种特征点在成像平面进行投影的示意图；

图12为本申请实施例提供的另一种目标物的轮廓信息确定装置的结构示意图；

图13为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以按不同于此处的顺序执行所示出或描述的步骤。

本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请中的“多个”可以表示至少两个，例如可以是两个、三个或者更多个，本申请实施例不做限制。

本申请技术方案中，对数据的采集、传播、使用等，均符合国家相关法律法规要求。

在介绍本申请实施例所提供的一种目标物的轮廓信息确定方法之前，为了便于理解，首先对下面对本申请实施例的技术背景进行详细介绍。

事件相机(EC)是一种新型传感器，包括DVS以及DAVIS等。不同于传统相机拍摄一幅完整的图像，事件相机输出的是像素亮度的变化情况，即事件。

目前，在使用差分型事件相机获取目标物图像过程中，当目标物与事件相机处于相对静止的状态时，事件相机存在无法获得目标物轮廓信息的问题。比如在自动驾驶场景下，由于目标物(车辆)可能存在与事件相机相对静止的情况，导致事件相机无法确定目标物的轮廓信息，进而可导致事件相机所属车辆在行驶中存在安全隐患。

为了解决上述问题，本发明提出了一种目标物的轮廓信息确定方法、装置、设备及介质，用以在目标物与事件相机处于相对静止的情况下，使事件相机更准确地确定目标物的轮廓信息。

首先参考图1，其为本公开实施例的应用场景示意图，包括事件相机11和服务器12。其中，事件相机11用于输出镜头的偏转角度以及偏转镜头后的拍摄目标物得到的事件；服务器12用于基于事件相机11输出的事件确定偏转镜头后的目标物的至少一个特征点的第一投影点坐标，并基于第一投影点坐标、镜头的焦距值和偏转角度，确定偏转镜头前目标物的轮廓信息。

本公开实施例中，服务器12对事件相机11的镜头进行偏转，并获取所述镜头的偏转角度；确定偏转所述镜头后的目标物的至少一个特征点的第一投影点坐标；根据所述第一投影点坐标、所述镜头的焦距值和所述偏转角度，确定偏转所述镜头前的所述至少一个特征点的第二投影点坐标；根据所述第二投影点坐标确定偏转所述镜头前所述目标物的轮廓信息。

图2为本申请实施例提供的现有事件相机的结构示意图，如图2所示，现有事件相机包括镜头、像素感光元件(又称光感受器)和信号处理电路。其中，镜头具体包括外壳、驱动马达(Housing)、镜片组、红外滤光片(IR cutfilter)，图像传感器(Image Sensor)和挠性印刷电路板(Flexible Printed Circuit Board，FPCB)。像素感光元件感受到某一投影点的像素亮度变化后，通过信号处理电路输出事件信息或事件，该事件可以是由投影点光强变化时间、光强变化后的投影点的位置和投影点的亮度变化极性等数据组成的电信号。

由于现有的事件相机在目标物与事件相机相对静止的情况下，无法确定目标物的轮廓信息，因此，本申请在现有的事件相机的基础上提供一种目标物的轮廓信息确定装置(以下简称确定装置)。图3为本申请实施例提供的一种目标物的轮廓信息确定装置的结构示意图，如图3所示，该确定装置包括事件相机31、主动调整偏转角度模块32和事件信号校正模块33。其中，事件相机31包括镜头311、像素感光元件312和信号处理电路313。

其中，主动调整偏转角度模块32向事件相机31发送系统指令，事件相机31根据系统指令偏转镜头311。在进行镜头311偏转后，由于主动调整偏转角度模块32使目标物在成像平面上的某一投影点的像素亮度产生变化，因此，像素感光元件312感受到某一投影点的像素亮度变化后，信号处理电路313输出事件，该事件可以是由投影点光强变化时间、光强变化后的投影点的位置和投影点的亮度变化极性等数据组成的电信号，事件信号校正模块33可对多次像素亮度变化后产生的事件进行校正，从而输出事件或事件信息，进而确定偏转镜头311前目标物的轮廓信息。

本申请中的确定装置还可以为事件相机，该事件相机包括镜头、像素感光元件、信号处理电路、主动调整偏转角度模块和事件信号校正模块。

下面参考图4示出的一种目标物的轮廓信息确定方法的流程图，对本申请实施例提供的技术方案进行说明：

步骤401，对事件相机的镜头进行偏转，并获取所述镜头的偏转角度。

一般三维空间坐标系用三个正交轴X、Y、Z表示物体的位置，用绕这三个正交轴的偏转角度，即横滚角度(roll)、俯仰角度(pitch)以及偏航角度(yaw)，表示物体的姿态。图5为本申请实施例提供的以飞机为例的偏转角度的示意图，如图5所示，横滚角度为飞机对称平面与通过飞机机体纵轴的铅垂平面间的夹角，通常以右滚为正；俯仰角度为机体轴与地平面(水平面)之间的夹角，通常以飞机抬头为正；偏航角度为机体轴在水平面上的投影与地轴之间的夹角，通常以机头右偏为正；在本文中，各种角度的正负方向根据实际需要而定，不严格遵守惯例。

本申请中的事件相机的镜头的偏转角度包括俯仰角度和/或偏航角度。

在一种可能的实施例中，步骤401可由主动调整偏转角度模块32执行。像素亮度元件312可以根据镜头的偏转确定像素亮度变化。当像素亮度变化超过阈值时，可根据事件相机31中的信号处理电路313和事件信号校正模块33输出事件或事件信息。

在一种可能的实施例中，上述对事件相机的镜头进行偏转，包括：

按照设定角度对所述事件相机的镜头进行偏转；或者，

按照设定的时长对所述事件相机的镜头进行偏转；

以检测到所述事件相机与所述目标物处于非相对静止状态为结束条件，对所述事件相机的镜头进行偏转。

上述设定角度可以根据实际情况进行设置，设定的时长可以根据实际情况进行设置。

具体的，对镜头中现有的驱动防抖组件进行改造，使其可以根据系统指令主动施加抖动，从而使镜头进行偏转，并通过陀螺仪、加速度计等设备记录偏转角度的变化曲线，其中，偏转角度的变化曲线为各时刻和对应的偏转角度之间的关系。主动调整偏转角度模块32可以获取调整规则，根据调整规则对镜头进行偏转，即改变主光轴的位置。例如，主动调整偏转角度模块32可以获取调整规则为匀速调整镜头，则主动调整偏转角度模块32可向驱动马达下发偏转角度调整指令或信息，驱动马达根据该指令或信息，匀速偏转镜头311。又如，主动调整偏转角度模块32还可获取调整规则为阻尼震动调整镜头，则主动调整偏转角度模块32可向驱动马达下发偏转角度调整指令或信息，驱动马达根据该指令或信息，以阻尼震动的方式偏转镜头311。

可以理解，调整规则不限于上述的匀速或阻尼震动的方式，主动调整偏转角度模块32还可获取其他调整规则。通过主动调整偏转角度模块32偏转镜头311，实现镜头方向变化。主动调整偏转角度模块32还可向事件信号校正模块33下发偏转角度调整指令或信息，使事件信号校正模块33可获得一个特征点的多个第一投影点坐标，根据多个第一投影点坐标融合确定目标物的轮廓信息。

可选的，主动调整偏转角度模块32可将镜头的偏转角度信息记为抖动量信息。事件相机31可输出镜头的偏转角度信息，相应的主动调整偏转角度模块32可读取镜头的偏转角度。其中，偏转角度信息包括时间戳和对应的偏转角度。例如，事件相机可输出在设定的时间间隔内的各时刻镜头的偏转角度信息进行采样后得到的偏转角度信息可以表示为{(t₀，Δθ₀)，(t₁，Δθ₁)，...，(t_k，Δθ_k)}，其中，t_i为时间戳，Δθ_i为在t_i时刻对应的镜头的偏转角度。

步骤402，确定偏转所述镜头后的目标物的至少一个特征点的第一投影点坐标。

可选的，对镜头进行偏转后，目标物的特征点的投影点位置随之发生变化。本申请中，投影点是目标物上的特征点在成像平面上面投影的点。投影点位置为投影点在成像平面所在的坐标系中的坐标。可以理解，在对镜头进行偏转后，目标物的特征点的投影点位置发生变化，像素感光元件312获取的投影点对应的像素亮度也会改变，信号处理电路313可输出偏转镜头后的目标物的至少一个特征点的第一投影点位置。即事件相机31输出偏转镜头后的目标物的至少一个特征点的第一投影点位置。

图6为本申请实施例提供的事件相机坐标系的示意图，如图6所示，事件相机坐标系包括相机坐标轴、成像平面和坐标系原点。光心或相机中心是事件相机坐标系原点o。相机坐标轴是三维坐标系，可由X_c轴、Y_c轴和Z_c轴表示。成像平面为二维坐标系，成像平面上的横坐标轴和竖坐标轴可用x轴和y轴表示。成像平面垂直于Z_c轴。Z_c轴可以称主光轴，镜头的焦值距f可以为像距或对焦距离，其等于原点o到成像平面的距离z。可选的，相机坐标轴的X_c轴与成像平面上的x轴平行，相机坐标轴的Y_c轴与成像平面上的y轴平行，x与X_c的值的比例系数可等于y与Y_c的值的比例系数。成像平面上的m点表示目标物的特征点的第一投影点坐标，M表示目标物的一个特征点。

在一种可能的实施例中，当像素感光元件312获取的像素亮度的变化超过设定阈值时，获取偏转镜头后的事件相机31对目标物进行拍摄得到的事件；基于该事件，确定目标物的至少一个特征点的第一投影点坐标。其中，设定阈值可以根据实际情况进行设定。

下面分别使用传统相机与事件相机对同一目标物进行拍摄，对两者输出的数据进行举例介绍。图7为本申请实施例提供的目标物示意图，该目标物为带有一个黑色斑块的圆盘，使该圆盘进行匀速偏转。图8为本申请实施例提供的传统相机定时拍摄的图像示意图，如图8所示，使用传统相机按照设定的时间间隔拍摄匀速偏转的圆盘，得到多张带有圆盘的图像。图9为本申请实施例提供的事件相机拍摄的事件示意图，如图9所示，使用事件相机对匀速偏转的圆盘进行拍摄，输出多个事件，即圆盘中黑斑的变化。

上述事件相机输出的事件是一种由投影点坐标、像素亮度变化时间和像素亮度变化极性等数值组成的数值集合，可以用以下关系式表示：

e＝(x，y，t，p)；

其中，e表示事件，即像素亮度发生变化。x和y为特征点的第一投影点坐标或像素坐标，t为像素亮度变化的起点时间(或称时间戳)，p为像素亮度变化极性(polarity)。当p的值取-1或者0时，可以表示像素亮度由高到低。当p的值取1时，可表示像素亮度由低到高。

在一种可能的实施例中，根据镜头的偏转，确定装置可确定偏转镜头后的目标物的至少一个特征点的投影点的位置，即可读取第一投影点坐标。第一投影点坐标是指在偏转镜头后，目标物的任一特征点在成像平面上对应的一个投影点。

以对镜头施加一个俯仰方向的偏转为例，图10a为本申请实施例提供的一种镜头偏转时相机坐标系变化的示意图，如图10a所示，z轴为主光轴，垂直于z轴的实线为镜头偏转前的成像平面，当事件相机的镜头抬头，即在俯仰方向上偏转Δθ时，相机坐标系沿着x轴偏转，镜头偏转后的成像平面为垂直于z轴的虚线，目标物的特征点M在成像平面上的投影点由m点变化为m’点。图10b为本申请实施例提供的一种特征点在成像平面进行投影的示意图，如图10b所示，在俯仰方向上偏转Δθ时，相当于目标物的特征点向下偏转Δθ，即由M点变化为M’点。

以对镜头施加一个偏航方向的偏转为例，图11a为本申请实施例提供的另一种镜头偏转时相机坐标系变化的示意图，如图11a所示，z轴为主光轴，垂直于z轴的实线为镜头偏转前的成像平面，当事件相机的镜头向左转，即在偏航方向上偏转Δψ时，相机坐标系沿着y轴偏转，镜头偏转后的成像平面为垂直于z轴的虚线，目标物的特征点A在成像平面上的投影点由a点变化为a’点。图11b为本申请实施例提供的另一种特征点在成像平面进行投影的示意图，如图11b所示，在偏航方向左偏转Δψ时，相当于目标物的特征点向右偏转，即由A点变化为A’点。

在一种可能的实施例中，所述特征点位于与事件相机相对静止的目标物上，相当于目标物上具有多个特征点，即一个目标物可对应多个第一投影点坐标。主动调整偏转角度模块32可多次或者连续对镜头进行偏转，使得事件相机产生多轮事件，根据多轮事件确定多个第一投影点坐标。

在一种可能的实施例中，事件相机31可输出多个第一投影点坐标，确定装置可读取事件相机31输出的多个第一投影点坐标。事件相机31还可将多轮事件作为事件流(Events stream)输出。事件流的数据量远小于传统相机传输的数据，且没有最小时间单位，可提高传输数据的效率。

步骤403，根据所述第一投影点坐标、所述镜头的焦距值和所述偏转角度，确定偏转所述镜头前的所述至少一个特征点的第二投影点坐标。

在一种可能的实施例中，步骤403可由事件信号校正模块33执行。

在一种可能的实施例中，在确定特征点的第二投影点坐标之前，读取所述事件相机输出的镜头的焦距值。

根据镜头偏转方向的不同，上述步骤403中根据所述第一投影点坐标、所述镜头的焦距值和所述偏转角度，确定偏转所述镜头前的所述至少一个特征点的第二投影点坐标的具体过程，包括以下三种情况：

第一种情况，若偏转角度包括俯仰角度，则将所述第一投影点坐标中的横坐标作为所述第二投影点坐标中的横坐标；基于所述第一投影点坐标中的纵坐标、所述镜头的焦距值和所述俯仰角度，确定所述第二投影点坐标中的纵坐标。

为便于计算，此处涉及到的坐标使用图像物理坐标而不是像素坐标；从事件相机信号处理电路得到的事件信号中坐标若是像素坐标，则需要转换到图像坐标后进行计算。

例如，如图10b所示，当事件相机的镜头偏转的俯仰角度为Δθ时，则目标物的特征点M在成像平面上的投影点由m点变化为m’点。由对镜头进行偏转导致生成事件，事件相机通过该事件可以获取偏转镜头后的m’点坐标m’(x1’，y1’)，其中，x1’为m’点在如图6所示的成像平面的坐标系中的x轴坐标，y1’为m’点在如图6所示的成像平面的坐标系中的y轴坐标。图10b中的z方向为主光轴，竖直方向为成像平面坐标系中的y方向，镜头的焦距为f，俯仰角度为Δθ。因此，可通过以下公式确定m点坐标(x1，y1)：

x1＝x1′；

因此，确定装置可根据已知量x1’、y1’、f和Δθ，确定第二投影点坐标x1和y1。即第二投影点m坐标(x1，y1)满足如下关系式：

第二种情况，若偏转角度包括偏航角度，则基于所述第一投影点坐标中的横坐标、所述镜头的焦距值和所述偏航角度，确定所述第二投影点坐标中的横坐标；将所述第一投影点坐标中的纵坐标作为所述第二投影点坐标中的纵坐标。

例如，图11b为本申请实施例提供的另一种特征点在成像平面进行投影的示意图，如图11b所示，当事件相机的镜头偏转的偏航角度为Δψ时，则目标物的特征点A在成像平面上的投影点由a点变化为a’点。由对镜头进行偏转导致生成事件，事件相机通过该事件可以获取偏转镜头后的a’点坐标a’(x2’，y2’)，其中，x2’为a’在如图6所示的成像平面的坐标系中的x轴坐标，y2’为a’在如图6所示的成像平面的坐标系中的y轴坐标。图11b中的z方向为主光轴，竖直方向为成像平面坐标系中的x方向，镜头的焦距为f，偏航角度为Δψ。因此，可通过以下公式确定a点坐标a(x2，y2)：

y2＝y2′；

因此，确定装置可根据已知量x2’、y2’、f和Δψ，确定第二投影点坐标x2和y2。即第二投影点a坐标(x2，y2)满足如下关系式：

第三种情况，所述偏转角度包括俯仰角度和偏航角度，则基于所述第一投影点坐标中的横坐标、所述镜头的焦距值和所述偏航角度，确定所述第二投影点坐标中的横坐标；基于所述第一投影点坐标中的纵坐标、所述镜头的焦距值和所述俯仰角度，确定所述第二投影点坐标中的纵坐标。

例如，当事件相机的镜头偏转的俯仰角度为Δθ，偏航角度为Δψ时，则目标物的特征点B在成像平面上的投影点由b点变化为b’点。由对镜头进行偏转导致生成事件，事件相机通过该事件可以获取偏转镜头后的b’点坐标b’(x3’，y3’)坐标，其中，x3’为b’在成像平面的坐标系中的x轴坐标，y3’为b’在成像平面的坐标系中的y轴坐标，镜头的焦距为f，俯仰角度为Δθ和偏航角度为Δψ。

因此，可通过以下公式确定b点坐标b(x3，y3)：

因此，确定装置可根据已知量x3’、y3’、f、Δθ和Δψ，确定第二投影点坐标x3和y3。即第二投影点b坐标(x3，y3)满足如下关系式：

步骤404，根据所述第二投影点坐标确定偏转所述镜头前所述目标物的轮廓信息。

在一种可能的实施例中，根据所述目标物的多个特征点对应的第二投影点坐标，确定所述目标物的轮廓信息。具体的，事件相机的镜头在一个连续偏转的过程中，每个投影点在成像平面上产生移动，从而对应一系列的第二投影点坐标，根据一系列的第二投影点坐标可以获取目标物的轮廓信息。

在事件相机连续偏转的过程中，事件相机可产生多个事件，导致特征点在成像平面上确定出多个第二投影点坐标的估计值，该估计值不一定均落在同一像素点，因此，根据第二投影点坐标确定的目标物的轮廓可能较为模糊，即存在轮廓误差。因此还需要对多个第二投影点坐标进行融合计算，确定融合计算后的第二投影点坐标，再根据融合后的第二投影点坐标确定目标物的轮廓，从而减少此误差。本申请还可以在确定目标物的每个特征点的第二投影点坐标的过程中使用卡尔曼滤波器方法，从而减小抖动噪声的影响。

例如，根据目标物的一个特征点的投影点在成像平面上移动，从而产生亮度变化，事件相机可根据该变化产生不同时间段的事件集合：(t₀,Δθ₀,E₀)、(t₁,Δθ₁,E₁)、...，(t_k,Δθ_k,E_k)，...，其中，t_k表示每个事件集合对应的时间段，Δθ_k表示产生每个事件集合的镜头的偏转角度，E_k是t_k对应的第k次事件集合，可以用多通道矩阵表示，k的值可取自然数。E_k满足如下集合：{e_k0，e_k1，e_k2，…}，其中，e_ki是第k个事件集合中的第i个事件，i的值可取自然数，e_ki可表示为(m_ki，t_k，p_ki)或者(x_ki，y_ki，t_k，p_ki)，m_ki＝(x_ki，y_ki)，其为第i个事件对应的第一投影点坐标。根据第i个事件对应的第一投影点坐标、镜头的偏转角度Δθ_k以及镜头的焦距值f，确定第i个投影点估计值，即第二投影点坐标

可选的，确定装置在镜头进行偏转的过程中，可以统计每个像素坐标周围一定范围内的离散采样个数，得到每个像素对应的像素亮度变化值，每个像素对应的像素亮度变化值满足如下关系式：

其中，N为离散采样总数。每个像素坐标周围的一定范围可以是以像素点为中心，像素间距长度为边长的方形区域，k的值可取0到(N-1)，p_ki为每个像素点的像素亮度变化极性，可取-1或1。该区域需满足如下条件：

/>

其中，和/>为第二投影点坐标，x和y即成像平面上的像素点坐标，D_x表示在成像平面的x方向上的像素间距长度，D_y表示在成像平面的y方向上的像素间距长度，D_x和D_y可相等或者不相等。该条件表示，当第二投影点坐标与像素点坐标之间的距离落在以像素间距长度为边长的方形区域中时，则将区域内的投影点的个数作为该像素点的焦距变化采样个数，得到焦距变化的离散采样总数N，将N带入到每个像素对应的像素亮度变化值所满足的公式中，得到像素亮度变化值s_xy。

可选的，确定装置可根据需要设定一个像素亮度变化阈值θ_s，比如设置θ_s为0.5。当s_xy大于或者等于θ_s时，确定装置可将该像素点坐标(x，y)设置为on事件。当s_xy小于或者等于-θ_s时，确定装置可将该像素点坐标(x，y)设置为off事件。确定装置可将on事件组合为一个融合后的事件流，可将每个on事件对应的像素点坐标确定为融合后的第二投影点坐标，根据融合后的第二投影点坐标组成的轮廓代表目标物的轮廓信息。

在一种可能的实施例中，如图6所示，相机坐标系X_cY_cZ_c到图像物理坐标系xy之间满足的小孔成像模型，并且相机光轴通过图像坐标系的原点。假设外界M点在相机坐标系中的坐标为(x_c，y_c，z_c)，成像平面上m点在图像物理坐标系中的坐标为(x_p，y_p，f)，利用相似三角形原理可知，x_c/x_p＝y_c/y_p＝z_c/f，其中，f为焦距，且x_p、y_p可以是非整数。通过变换得到x_p＝x_c f/z_c，y_p＝y_c f/z_c，也即增广形式如下所示：

通过上述描述，如图6所示，相机坐标系中物体的点M(x_c，y_c，z_c)与虚拟图像平面相交的点m(x_p，y_p，f)，对应的图像物理坐标系中的坐标(x_p，y_p)。图像物理坐标(x_p，y_p)可以转化为图像像素坐标(x，y)，这里x、y是自然数。图像像素坐标(x，y)可以通过图像物理坐标(x_p，y_p)确定。接下来详细介绍下图像物理坐标系和图像像素坐标系之间的转换过程：

基于图像物理坐标(x_p，y_p)，可以通过以下公式确定图像像素坐标(x，y)：

其中，D_x和D_y表示每一个像素在x轴和y轴方向的物理尺寸，x₀、y₀为整数，x、y为非负整数即自然数，计算过程中出现非整数需要进行取整操作。

反之，在已知坐标使用图像像素坐标(x，y)表达时，可以反推出图像物理坐标(x_p，y_p)：

x_p＝(x-x₀)D_x；

y_p＝(y-y₀)D_y。

在一种可能的实施例中，确定装置可输出目标物的轮廓信息，例如，确定装置可向车载屏幕输出目标物的轮廓信息。

本申请能够在事件相机与目标物处于相对静止状态时，通过对事件相机的镜头进行偏转，改变目标物与事件相机之间的相对静止状态，使得事件相机可检测到偏转镜头后的目标物的至少一个特征点的第一投影点坐标。并且，本申请基于第一投影点坐标、镜头的焦距值和获取的镜头的偏转角度，确定偏转所述镜头前的所述至少一个特征点的第二投影点坐标，根据所述第二投影点坐标确定偏转所述镜头前所述目标物的轮廓信息，从而使事件相机更准确地确定目标物的轮廓信息。

基于相同的技术构思，本申请示例性的提供了一种目标物的轮廓信息确定装置，如图12所示，该装置包括：

偏转模块121，用于对事件相机的镜头进行偏转，并获取所述镜头的偏转角度；

第一确定模块122，用于确定偏转所述镜头后的目标物的至少一个特征点的第一投影点坐标；

第二确定模块123，用于根据所述第一投影点坐标、所述镜头的焦距值和所述偏转角度，确定偏转所述镜头前的所述至少一个特征点的第二投影点坐标；

第三确定模块124，用于根据所述第二投影点坐标确定偏转所述镜头前所述目标物的轮廓信息。

可选的，所述偏转模块121用于：

按照设定角度对所述事件相机的镜头进行偏转；或者，

按照设定的时长对所述事件相机的镜头进行偏转；

以检测到所述事件相机与所述目标物处于非相对静止状态为结束条件，对所述事件相机的镜头进行偏转。

可选的，所述第一确定模块122还用于：

获取偏转所述镜头后的事件相机对所述目标物进行拍摄得到的事件；

基于所述事件，确定所述目标物的至少一个特征点的第一投影点坐标。

可选的，所述第三确定模块124用于：

根据所述目标物的多个特征点对应的第二投影点坐标，确定所述目标物的轮廓信息。

可选的，所述偏转角度包括俯仰角度，所述第二确定模块123用于：

将所述第一投影点坐标中的横坐标作为所述第二投影点坐标中的横坐标；

基于所述第一投影点坐标中的纵坐标、所述镜头的焦距值和所述俯仰角度，确定所述第二投影点坐标中的纵坐标。

可选的，所述偏转角度包括偏航角度，所述第二确定模块123用于：

基于所述第一投影点坐标中的横坐标、所述镜头的焦距值和所述偏航角度，确定所述第二投影点坐标中的横坐标；

将所述第一投影点坐标中的纵坐标作为所述第二投影点坐标中的纵坐标。

可选的，所述偏转角度包括俯仰角度和偏航角度，所述第二确定模块123用于：

基于所述第一投影点坐标中的横坐标、所述镜头的焦距值和所述偏航角度，确定所述第二投影点坐标中的横坐标；

基于所述第一投影点坐标中的纵坐标、所述镜头的焦距值和所述俯仰角度，确定所述第二投影点坐标中的纵坐标。

与上述方法实施例基于同一发明构思，本申请实施例中还提供了一种电子设备。该电子设备可以用于执行以上方法实施例所述的动作。在该实施例中，电子设备的结构可以如图13所示，包括存储器131以及一个或多个处理器132。

存储器131，用于存储处理器132执行的计算机程序。存储器131可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。

存储器131可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器131也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器131是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器131可以是上述存储器的组合。

处理器132，可以包括一个或多个中央处理单元(central processing unit，CPU)或者为数字处理单元等。所述处理器132，用于调用存储器131中存储的计算机程序时实现上述目标物的轮廓信息确定方法。

本申请实施例中不限定上述存储器131和处理器132之间的具体连接介质。作为一种示例，本申请实施例在图13中以存储器131和处理器132之间通过总线133连接，总线133在图13中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线133可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，处理器132可用于执行以上由调整模块131、处理模块132中任意一项或多项执行的动作。

基于同一发明构思，本申请实施例提供一种计算机可读存储介质，计算机程序产品包括：计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行如前文论述任一的目标物的轮廓信息确定方法。由于上述计算机可读存储介质解决问题的原理与目标物的轮廓信息确定方法相似，因此上述计算机可读存储介质的实施可以参见方法的实施，重复之处不再赘述。

基于同一发明构思，本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码在计算机上运行时，使得计算机执行如前文论述任一的目标物的轮廓信息确定方法。由于上述计算机程序产品解决问题的原理与目标物的轮廓信息确定方法相似，因此上述计算机程序产品的实施可以参见方法的实施，重复之处不再赘述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列用户操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种目标物的轮廓信息确定方法，其特征在于，包括：

对事件相机的镜头进行偏转，并获取所述镜头的偏转角度；

确定偏转所述镜头后的目标物的至少一个特征点的第一投影点坐标；

根据所述第一投影点坐标、所述镜头的焦距值和所述偏转角度，确定偏转所述镜头前的所述至少一个特征点的第二投影点坐标；

根据所述第二投影点坐标确定偏转所述镜头前所述目标物的轮廓信息。

2.如权利要求1所述的方法，其特征在于，所述对事件相机的镜头进行偏转，包括：

按照设定角度对所述事件相机的镜头进行偏转；或者，

按照设定的时长对所述事件相机的镜头进行偏转；

以检测到所述事件相机与所述目标物处于非相对静止状态为结束条件，对所述事件相机的镜头进行偏转。

3.如权利要求1所述的方法，其特征在于，所述确定偏转所述镜头后的目标物的至少一个特征点的第一投影点坐标，包括：

获取偏转所述镜头后的事件相机对所述目标物进行拍摄得到的事件；

基于所述事件，确定所述目标物的至少一个特征点的第一投影点坐标。

4.如权利要求1所述的方法，其特征在于，所述根据第二投影点坐标确定偏转所述镜头前所述目标物的轮廓信息，包括：

根据所述目标物的多个特征点对应的第二投影点坐标，确定所述目标物的轮廓信息。

5.如权利要求1所述的方法，其特征在于，所述偏转角度包括俯仰角度，所述根据所述第一投影点坐标、所述镜头的焦距值和所述偏转角度的变化值，确定偏转所述镜头前的所述特征点的第二投影点坐标，包括：

将所述第一投影点坐标中的横坐标作为所述第二投影点坐标中的横坐标；

基于所述第一投影点坐标中的纵坐标、所述镜头的焦距值和所述俯仰角度，确定所述第二投影点坐标中的纵坐标。

6.如权利要求1所述的方法，其特征在于，所述偏转角度包括偏航角度，所述根据所述第一投影点坐标、所述镜头的焦距值和所述偏转角度的变化值，确定偏转所述镜头前的所述特征点的第二投影点坐标，包括：

基于所述第一投影点坐标中的横坐标、所述镜头的焦距值和所述偏航角度，确定所述第二投影点坐标中的横坐标；

将所述第一投影点坐标中的纵坐标作为所述第二投影点坐标中的纵坐标。

7.如权利要求1所述的方法，其特征在于，所述偏转角度包括俯仰角度和偏航角度，所述根据所述第一投影点坐标、所述镜头的焦距值和所述偏转角度的变化值，确定偏转所述镜头前的所述特征点的第二投影点坐标，包括：

基于所述第一投影点坐标中的横坐标、所述镜头的焦距值和所述偏航角度，确定所述第二投影点坐标中的横坐标；

基于所述第一投影点坐标中的纵坐标、所述镜头的焦距值和所述俯仰角度，确定所述第二投影点坐标中的纵坐标。

8.一种目标物的轮廓信息确定装置，其特征在于，包括：

偏转模块，用于对事件相机的镜头进行偏转，并获取所述镜头的偏转角度；

第一确定模块，用于确定偏转所述镜头后的目标物的至少一个特征点的第一投影点坐标；

第二确定模块，用于根据所述第一投影点坐标、所述镜头的焦距值和所述偏转角度，确定偏转所述镜头前的所述至少一个特征点的第二投影点坐标；

第三确定模块，用于根据所述第二投影点坐标确定偏转所述镜头前所述目标物的轮廓信息。

9.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行权利要求1～7中任一所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，其包括程序代码，当所述程序代码在电子设备上运行时，所述程序代码用于使所述电子设备执行权利要求1～7中任一所述方法的步骤。