CN112884805A - 一种跨尺度自适应映射的光场成像方法 - Google Patents

Abstract

本发明实施例公开了一种跨尺度自适应映射的光场成像方法，该方法包括：获取光场相机采集的光场图像和事件相机采集的灰度图，并根据光场图像和灰度图确定包含至少一个动态对象的当前区域分布图像和各动态对象对应的运动速度；根据光场图像、当前区域分布图像和各动态对象对应的运动速度确定运动显著性指标；根据运动显著性指标对各动态对象进行筛选，得到目标运动对象；根据目标运动对象确定目标图像。解决了在采集监控区域图像时由于微小变动导致的图像频繁、大量采集和处理的问题，可以有效过滤图像中不需要或者不期望关注的动态对象，减少数据处理量，提高数据分析速度，通过目标图像直观观察目标运动对象，方便后续数据处理。

Description

一种跨尺度自适应映射的光场成像方法

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种跨尺度自适应映射的光场成像方法。

背景技术

随着社会信息化程度的提升，大数据采集、分析、存储逐渐成为制约其进一步发展的瓶颈。在视频监控领域中，摄像头分辨率、帧率等性能指标逐渐提升，然而高清视频序列对存储与后续分析在硬件算力与高效算法方面都提出了更高的要求。许多监控场景中，被监测对象或者环境在大部分时间中是静止的、稳定的，然而高清监控摄像设备依旧在连续的拍摄，实时生成大量待保存的数据。这些数据虽然体量庞大，但内中含有的有效信息量却微乎其微，甚至对于实际应用没有价值。这种情况下，即使采集与存储速率提升到较高的水平，实际上也起不到作用。为了避免此类庞大的冗余信息采集，运动触发式的监控摄像系统越来越多的应用到生产生活中。在这种系统中，监视摄像头一般情况下不采集数据，只有当视野中出现运动物体时，才激发采集功能；当运动停止，画面稳定一段时间后，采集停止。

虽然运动触发式的监控系统可以避免长时间画面静止时连续的无效采集，一定程度上缓解了数据存储的巨大压力，但是，为了保证避免信息错失采集，运动触发的灵敏度一般比较高，例如，当希望监控系统在有行人经过时触发采集，但是由于其灵敏度较高，导致了有鸟类飞过时便开始采集，在数据采集完成后进行后续数据分析时，由于图像分辨率高，信息来源单一等问题，造成分析缓慢、信息丢失等缺陷。

发明内容

本发明提供一种跨尺度自适应映射的光场成像方法和装置，以实现对采集的图像中目标运动对象的准确识别和目标图像的确定，提高后续数据的处理效率。

第一方面，本发明实施例提供了一种跨尺度自适应映射的光场成像方法，所述方法包括：

获取光场相机采集的光场图像和事件相机采集的灰度图，并根据所述光场图像和灰度图确定包含至少一个动态对象的当前区域分布图像和各所述动态对象对应的运动速度；

根据所述光场图像、当前区域分布图像和各所述动态对象对应的运动速度确定运动显著性指标；

根据所述运动显著性指标对各所述动态对象进行筛选，得到目标运动对象；

根据所述目标运动对象确定目标图像。

第二方面，本发明实施例还提供了一种跨尺度自适应映射的光场成像装置，该装置包括：

获取模块，用于获取光场相机采集的光场图像和事件相机采集的灰度图，并根据所述光场图像和灰度图确定包含至少一个动态对象的当前区域分布图像和各所述动态对象对应的运动速度；

指标确定模块，用于根据所述光场图像、当前区域分布图像和各所述动态对象对应的运动速度确定运动显著性指标；

对象筛选模块，用于根据所述运动显著性指标对各所述动态对象进行筛选，得到目标运动对象；

图像确定模块，用于根据所述目标运动对象确定目标图像。

本发明实施例提供了一种跨尺度自适应映射的光场成像方法和装置，通过获取光场相机采集的光场图像和事件相机采集的灰度图，并根据光场图像和灰度图确定包含至少一个动态对象的当前区域分布图像和各动态对象对应的运动速度；根据光场图像、当前区域分布图像和各动态对象对应的运动速度确定运动显著性指标；根据运动显著性指标对各动态对象进行筛选，得到目标运动对象，解决了在采集监控区域图像时由于微小变动导致的图像频繁、大量采集和处理的问题，通过分析图像确定图像中的各动态对象，然后确定运动显著性指标，根据运动显著性指标对各动态对象进行筛选，得到目标运动对象，可以有效过滤图像中不需要或者不期望关注的动态对象，在图像中不包含目标运动对象时，无需对图像进行处理，有效减少了数据处理量，降低了后续数据处理难度，提高了数据分析速度，通过识别目标运动对象，以便进行后续数据处理，可以有效避免因数据量过大导致的信息丢失的问题，通过目标图像可以直观观察到目标运动对象，方便后续数据处理或执行其他操作。

附图说明

图1是本发明实施例一中的一种跨尺度自适应映射的光场成像方法的流程图；

图2是本发明实施例二中的一种跨尺度自适应映射的光场成像方法的流程图；

图3是本发明实施例二中的一种确定运动显著性指标的实现示例图；

图4是本发明实施例三中的一种跨尺度自适应映射的光场成像装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种跨尺度自适应映射的光场成像方法的流程图，本实施例可适用于筛选图像中目标运动对象并确定目标图像的情况，该方法可以由跨尺度自适应映射的光场成像装置来执行，具体包括如下步骤：

步骤S110、获取光场相机采集的光场图像和事件相机采集的灰度图，并根据光场图像和灰度图确定包含至少一个动态对象的当前区域分布图像和各动态对象对应的运动速度。

在本实施例中，光场相机拍照前无须选定焦点，可以先拍照，相机捕捉大量光线资料及选定焦点，拍照时较有弹性，相机在拍照的时候把焦距范围内所有光学信息都记录在内，不用牺牲景深及影像清晰度。事件相机不是以固定的帧率采集图像，而是通过测量每个像素的亮度变化来输出异步信号(包括事件，位置和亮度变化的符号)，事件相机的输出为事件数据流的形式，每个事件E_i表示为x,y,t,event)的形式。(x,y)表示像感元件的位置，t表示发生的时间，event表示事件的类别。在常用事件相机中，event表示光电二极管探测到光强的变化，1表示光强增加，-1表示减弱。即当某个像素所处位置的亮度值发生变化时，事件相机会回传一个上述格式的事件。光场图像可以理解为光场相机工作时采集的图像；灰度图可以理解为事件相机在一个或者多个事件触发时采集的事件信息所构成图像；动态对象可以理解为当前时刻采集的图像与上一时刻采集的图像相比较，发生运动的对象；当前区域分布图像可以理解为包含动态对象及可以表示出动态对象所处位置的图像。

光场相机在接收到启动工作的指令后，采集光场图像，事件相机在捕捉到有物体或者对象发生运动后，将变化的信息以事件的形式反馈，并形成灰度图，通过算法或者深度学习网络模型对光场图像和灰度图进行处理，得到当前区域分布图像，当前区域分布图像中包括一个或者多个动态对象，在对光场图像和灰度图进行处理得到当前区域分布图像时，同时得到每个动态对象的运动速度。

步骤S120、根据光场图像、当前区域分布图像和各动态对象对应的运动速度确定运动显著性指标。

在本实施例中，运动显著性指标可以理解为表明图像中各像素点是否发生运动或者运动程度的数据，运动显著性指标是多方面综合得到的，通过速度、深度、尺寸或是否新增加了动态对象等确定运动显著性指标。

通过当前区域分布图像和各动态对象对应的运动速度可以确定当前区域分布图像中各像素点的速度；通过对当前区域分布图像与上一次采集的图像进行比较分析，确定是否存在新增加的动态对象；通过对光场图像进行处理，得到图像中每个像素点的深度，进而得到每个动态对象的深度；通过动态对象的深度、光场相机的参数以及动态对象映射在光场相机上的大小确定动态对象的实际尺寸，根据上述一项或者多项因素综合确定运动显著性指标。

步骤S130、根据运动显著性指标对各动态对象进行筛选，得到目标运动对象。

在本实施例中，目标运动对象可以理解为所拍摄的图像中需要关注的运动对象，例如，监控一个路段，对路段进行拍摄，拍摄区域内的出现的人或者车是想要注意的目标运动对象，但是飞过的小鸟、路过的小猫无需关注，所以图像中采集的动态对象可能包括小鸟、小猫、人、车等多个动态对象，从多个动态对象中筛选得到想要关注的目标运动对象。将综合多种影响因素得到的运动显著性指标作为进行动态对象筛选的依据，通过判断运动显著性指标是否符合要求进而确定目标运动对象，目标运动对象可能是0、1或者多个。

步骤S140、根据目标运动对象确定目标图像。

在本实施例中，目标图像可以理解为筛选完目标运动对象后，最终形成的图像。确定目标运动对象后，将目标运动对象所形成的单连通区域内的所有像素点像素值记为1，其余的像素点全部为背景，将像素值记为0，形成目标图像。当存在目标运动对象时，得到的目标图像可以包含一个或者多个目标运动对象，可以从目标图像中直观的看到目标运动对象；当不存在目标运动对象时，目标图像中所有像素点的像素值都为0。通过目标图像可以直观观察到目标运动对象，其可以用于后续拍摄目标运动对象，例如，当确定目标运动对象为一辆车时，可以控制相机(不限制相机类型)对此辆车进行更加清晰，有针对性的拍摄，如根据目标图像中反映的此车的深度(距离)，调整相机焦距，拍摄车辆图像。

本发明实施例提供了一种跨尺度自适应映射的光场成像方法，通过获取光场相机采集的光场图像和事件相机采集的灰度图，并根据光场图像和灰度图确定包含至少一个动态对象的当前区域分布图像和各动态对象对应的运动速度；根据光场图像、当前区域分布图像和各动态对象对应的运动速度确定运动显著性指标；根据运动显著性指标对各动态对象进行筛选，得到目标运动对象，根据目标运动对象确定目标图像，解决了在采集监控区域图像时由于微小变动导致的图像频繁、大量采集的问题，由于灰度图和光场图像的像素级别相差较大，通过分析光场图像和灰度图，确定图像中的各动态对象，实现了跨尺度的图像分析，根据运动显著性指标对各动态对象进行筛选，得到目标运动对象，可以有效过滤图像中不需要或者不期望关注的动态对象，在图像中不包含目标运动对象时，无需对图像进行处理，有效减少了数据处理量，降低了后续数据处理难度，提高了数据分析速度，通过识别目标运动对象，以便进行后续数据处理，可以有效避免因数据量过大导致的信息丢失的问题；通过目标图像可以直观观察到目标运动对象，方便后续数据处理或执行其他操作。

实施例二

图2为本发明实施例二提供的一种跨尺度自适应映射的光场成像方法的流程图。本实施例的技术方案在上述技术方案的基础上进一步细化，具体主要包括如下步骤：

步骤S210、接收事件相机发送的触发事件并将触发事件的触发次数累计加1。

在本实施例中，触发事件可以理解为事件相机在监测到有物体运动时，触发生成并发送的事件。触发次数可以理解为触发事件的发生次数。

事件相机不存在常规像感器的阵列输出限制，当每个光电二极管检测到强度变化时，触发事件即时生成，并通过USB总线结构输出到计算机等处理设备中。由于光电二极管的灵敏性，触发事件的产生不一定表示场景中对应位置的对象发生位移，也可能是环境细微变化产生的成像噪音，此类影响在计算机中可以通过软件方式消除，或者事件相机自己对此类触发事件进行过滤处理，减少向计算机等数据处理终端发送触发事件，避免对数据处理产生影响。进行数据处理的计算机终端设备接收事件相机发送的触发事件，然后对触发事件的触发次数进行累计加1，可以通过计数器累计触发次数，每接收到一个触发事件后，控制计数器的计数累计加1。

步骤S220、当监测到触发次数大于预设事件阈值时，控制光场相机采集光场图像。

在本实施例中，预设事件阈值可以理解为预先设定的一个总数阈值，用来判断触发事件的发生次数是否达到要求。当触发事件发生的总次数超过预设事件阈值，即触发次数大于预设事件阈值时，确定此时的环境中有对象进行了运动，控制光场相机工作，采集光场图像。

在此步骤之后，将统计的触发事件的触发次数清零，重新统计触发事件的接收个数，循环地激发光场图像的采集。触发次数的累计代表场景中变化的剧烈程度，通过此种采集方式，只有在场景变化足够强烈时才采集场景的全局图像。此种采集方式的优点为：脱离了传统相机每隔固定时间间隔采集的限制，可以自适应的依据场景中的运动状况控制采集，较大限度的避免了静态冗余信息的采集，降低后续数据存储与分析的开销。

事件相机也可以自行触发光场相机启动工作，在触发次数大于预设事件阈值时，控制事件相机向光场相机发送控制指令，控制光场相机采集光场图像。或者，事件相机自行统计触发次数，累计方式与上述方式一致，在触发次数大于预设事件阈值时，控制光场相机采集光场图像。事件相机与光场相机的放置方式可以采用并列固定的方式。

步骤S230、根据各触发事件的事件信息确定灰度图。

在本实施例中，事件信息可以理解为各触发事件的数据信息，例如，发生的位置(横坐标和纵坐标)、发生的时间、事件的类别(即光强增加或减弱)，由于各触发事件的事件信息不一样，每个触发事件表明了某一时刻的、某一位置发生了何种变化，多个触发事件的事件信息进行叠加得到灰度图。例如，事件信息分别为：(x1,y1，t1，1)，(x1,y1，t2，1)，(x2,y2，t3，-1)，上述事件信息表明了，在(x1,y1)处，光照强度增强了两次，在(x2,y2)处，光照强度减弱了一次，将触发事件根据各自发生的位置和密度(密度指一个广电二极管所拍摄的位置或区域)叠加形成一帧的灰度图。

步骤S240、获取光场相机采集的光场图像和事件相机采集的灰度图。

步骤S250、基于光场图像结合预设算法确定泛焦图。

在本实施例中，预设算法可以是由光场相机的生产厂家提供的图像处理算法，也可以是如EPI-net等深度神经网络结构的模型，可以进行光场深度数据的解析运算；泛焦图是指拍摄的画面一定范围内全部清晰的图像。与传统相机相比，光场相机可以采集四维的光场信息，即在原本的强度分布基础上，添加了光线的方向信息。通过预设算法对光场图像进行处理，得到泛焦图，实现了通过简单的方法得到当前场景的大景深泛焦图。

步骤S260、将泛焦图和灰度图结合预确定的神经网络模型确定包含至少一个动态对象的当前区域分布图像和各动态对象对应的运动速度。

在本实施例中，预确定的神经网络模型可以是U-net全卷积网络；预先训练神经网络模型，然后将泛焦图和灰度图作为模型的输入，输入到神经网络模型中，得到模型输出的当前区域分布图像和每个动态对象的运动速度。当前区域分布图像为二值掩膜，0表示这个位置为背景，1表示这个位置为动态对象。

步骤S270、根据光场图像、当前区域分布图像和各动态对象对应的运动速度确定至少一个运动参数矩阵。

在本实施例中，运动参数矩阵可以理解为根据动态对象在运动过程中不同参数所形成的分布矩阵，矩阵中每个元素代表一个像素点，每个元素上的值，代表此像素点对应的像素值。运动参数矩阵可以是以下矩阵中的一种或多种：速度分布矩阵、深度分布矩阵、尺寸分布矩阵或新增对象矩阵。通过当前区域分布图像可以确定图像中每个像素点是否存在动态对象，根据动态对象的运动速度确定速度分布矩阵。通过光场图像确定每个像素点的深度，然后确定动态对象的深度，进而确定深度分布矩阵；确定动态对象的实际尺寸，根据动态对象的实际尺寸确定尺寸分布矩阵；判断动态对象中是否存在新增加的对象，确定新增对象矩阵。

进一步地，运动参数矩阵为速度分布矩阵时，相应的，确定速度分布矩阵可通过下述方式实施：

根据当前区域分布图像确定各动态对象所在的区域像素点集合，区域像素点集合包括至少一个区域像素点；将各动态对象的运动速度确定为所对应区域像素点集合中各区域像素点的目标速度，并根据全部区域像素点的位置和对应的目标速度形成速度分布矩阵。

在本实施例中，速度分布矩阵可以理解为通过动态对象的运动速度确定的矩阵。区域像素点可以理解为动态对象在图像中所处的像素点，每个动态对象在图像中的位置由一个或者多个像素点构成；区域像素点集合可以理解为每个动态对象对应的像素点所构成的集合；一个区域像素点集合对应一个动态对象。目标速度可以理解为预测的区域像素点的速度。

当前区域分布图像中包含了动态对象，当前区域分布图像由多个像素点构成，从当前区域分布图像中可以确定动态对象所在的每个区域像素点，将一个动态对象对应的所有区域像素点，构成一个区域像素点集合。针对每个动态对象，将动态对象的运动速度作为此动态对象所对应区域像素点集合中每个区域像素点的目标速度，由此得到全部区域像素点的目标速度，根据全部区域像素点的位置和对应的目标速度形成速度分布矩阵，没有被动态对象覆盖的像素点目标速度为0。速度分布矩阵用一个二维矩阵VelocityMask表示，与动态对象的当前区域分布图像具有相同的分辨率，对应位置的灰度值表示相对速度的大小。在形成速度分布矩阵时，可以通过对每个动态对象的运动速度进行归一化处理，例如，动态对象1的运动速度为20个像素/s,动态对象2的运动速度为40个像素/s,归一化后动态对象1的运动速度为0.5个像素/s,动态对象2的运动速度为1个像素/s。

示例性的，速度分布矩阵为：

进一步地，运动参数矩阵为深度分布矩阵时，相应的，确定深度分布矩阵可通过下述方式实施：

根据光场图像结合预设算法确定深度图；根据深度图确定各区域像素点集合中各区域像素点的深度，将各深度的平均值确定为所对应动态对象的对象深度；根据全部区域像素点的位置和对应的对象深度形成深度分布矩阵。

在本实施例中，深度图可以理解为反映每个像素点对应的数据与事件相机之间距离的图像，深度也指距离。对象深度即动态对象与事件相机之间的距离。深度分布矩阵可以理解为通过动态对象的对象深度确定的矩阵。

通过预设算法对光场图像进行处理，得到深度图，深度图中每个像素点都有对应的深度，将一个区域像素点集合中的各区域像素点的深度取平均值，得到此区域像素点集合所对应动态对象的对象深度，然后将此动态对象对应的区域像素点集合中的区域像素点与对象深度对应，由此得到全部区域像素点的深度，根据全部区域像素点的位置和对应的对像深度形成深度分布矩阵，没有被动态对象覆盖的像素点的深度为0。深度分布矩阵用一个二维矩阵DepthMask表示。在形成深度分布矩阵时，同样可以通过对每个动态对象的对象深度进行归一化处理。

进一步地，运动参数矩阵为尺寸分布矩阵时，相应的，确定尺寸分布矩阵可通过下述方式实施：

确定各动态对象在光场相机的像感器上对应的横向像素个数；根据光场相机参数、各动态对象对应的对象深度和横向像素个数结合预确定公式确定各动态对象的实际尺寸；根据全部区域像素点的位置和对应的实际尺寸形成尺寸分布矩阵。

在本实施例中，尺寸分布矩阵可以理解为通过动态对象的实际尺寸确定的矩阵。横向像素个数可以理解为动态对象在光场相机的像感器上成像时，在设定的横向方向上所占的像素个数，从图像上来看，也就是动态对象横向(宽度)最宽的地方占用了多少个像素。光场相机参数可以是光场相机像感器像素尺寸、镜头焦距。

光场相机在拍摄时光场相机参数已经是确定的，通常对某一个区域进行监控时，将光场相机设置在某一位置，此时的光场相机参数已经确定，若不进行改变，光场相机参数是确定不变的，在拍摄完光场图像后，通过光场图像即可以确定每个动态对象在光场相机的像感器上对应的横向像素个数，将光场相机参数、各动态对象对应的对象深度和横向像素个数带入到预确定公式中，通过计算即可得到每个动态对象的实际尺寸，然后将每个动态对象对应的区域像素点集合中的区域像素点与实际尺寸对应，由此得到全部区域像素点对应的尺寸，根据全部区域像素点的位置和对应的实际尺寸形成尺寸分布矩阵，没有被动态对象覆盖的像素点的实际尺寸为0。尺寸分布矩阵用一个二维矩阵ScaleMask表示。在形成尺寸分布矩阵时，同样可以通过对每个动态对象的实际尺寸进行归一化处理。

示例性的，本发明实施例提供了一种预确定公式的表达式：

其中，f为镜头焦距；N_in为横向像素个数；PixelSize光场相机像感器像素尺寸；Depth对象深度；Scale为实际尺寸。通过对象深度估算实际尺寸的方法是利用相机内参与三角相似原理。

进一步地，运动参数矩阵为新增对象矩阵时，相应的，确定新增对象矩阵可通过下述方式实施：

根据当前区域分布图像和上一区域分布图像确定新增对象图像；根据新增对象图像中各像素点的位置和像素值确定新增对象矩阵。

在本实施例中，新增对象矩阵可以理解为根据新增加的动态对象形成的矩阵；上一区域分布图像可以理解为在上一次采集的区域分布图像；新增对象图像可以理解为包含了新增加动态对象的图像。

将上一次采集的上一区域分布图像和当前区域分布图像分别做特征提取，判断是否存在新增加的动态对象(即是否出现了新的连通区域)，通过比较当前区域分布图像和上一区域分布图像，确定新增对象图像，新增对象图像形状与当前区域分布图像相同，只有新出现的动态对象化对应的区域像素值(连通区域像素值)为1，其余区域(包括之前存在的动态对象的连通区域与背景区域)像素值为0。根据新增对象图像中每个像素点的位置和像素值确定新增对象矩阵。

步骤S280、将各运动参数矩阵与对应权重乘积的和确定为运动显著性指标。

为不同类型的运动参数矩阵对应设置一个权重，将每个运动参数矩阵与对应的权重相乘，然后将各个乘积相加，得到的矩阵为运动显著性指标。

运动显著性指标综合考虑了每个检测到的动态对象的运动速度，对象深度(距离)，实际尺寸，是否为新增对象，以判断其值得关注的程度，即通过以下一项或者多项确定运动显著性指标：各动态对象的运动速度、各动态对象的对象深度，各动态对象的实际尺寸和新增对象图像。示例性的，本发明实施例给出了计算运动显著性指标的公式：

SignificanceMask＝

w₁*VelocityMask+w₂*DepthMask+w₃*ScaleMask+w₄*NewComerMask

其中w₁+w₂+w₃+w₄＝1；

在上述公式中，w₁、w₂、w₃、w₄表示各个指标的权重，即它们各自对最终自适应判断结果的重要性。举例而言，如果希望将速度快的动态对象重点关注，只需提高w₁的比重即可；如果希望关注距离最远的动态对象，则需提高的比例w₂；如果希望关注实际尺寸最大的动态对象，则需提高的比例w₃；如果希望关注新增加的动态对象，则需提高的比例w₄。

用户可以根据实际监控任务自定义权重，系统可以自适应的在每次采集到动态对象后计算运动显著性指标，运动显著性指标通过对应位置的像素值的形式表示，每个动态对象对应(或构成)一个连通区域，每个连通区域内的像素点的像素值是相同的，本申请实施例中的运动显著性指标是将一张图像中的所有像素点全部包括进来，也可以将每个动态对象分割出来，单独判断，原理相同，仅仅是运动显著性指标所对应的矩阵大小不同而已。通过调整不同运动参数矩阵对应的权重，就可以得到不同的运动显著性指标，实现对动态对象的不同关注侧重。

步骤S290、将大于预设输出阈值的各指标数据所对应动态对象确定为目标运动对象。

在本实施例中，预设输出阈值可以理解为预先设置的输出值衡量标准，用来判断每个像素点的像素值是否符合输出标准，即是否可以输出，最终可以输出的像素点构成的对象即为目标运动对象。运动显著性指标实际为一个矩阵，矩阵中每个元素上的数据即为指标数据，运动显著性指标包括至少一个指标数据。预设输出阈值可以设置成矩阵的形式，也可以仅仅是一个数值，在设置成矩阵的形式时，矩阵的行数与列数与运动显著性指标的行数与列数相同，且矩阵中的每个元素的数值相同，将运动显著性指标中的每个指标数据分别与对应位置的元素比较；在设置成数值时，直接与运动显著性指标中的每个指标数据进行比较。确定大于预设输出阈值的各指标数据，根据所有大于预设输出阈值的指标数据可以对应确定一个或者多个动态对象，将得到的动态对象确定为目标运动对象。

举例说明如何确定目标运动对象：

运动显著性指标为：

预设输出阈值以0.5为例，经过比较后，运动显著性指标的矩阵中只有元素为0.8的位置可以输出，即仅有数值为0.8的指标数据降符合条件，所有等于0.8的指标数据构成一个正方形形状的动态对象，此动态对象为目标动态对象；而数值为0.3的指标数据不符合条件，虽然其构成的T形对象也是一个动态对象，但是此动态对象是不想关注的对象，不作为目标运动对象输出。若运动显著性指标中还包含其他的大于0.5的指标数据，也可以同时作为目标运动对象输出。

步骤S291、根据目标运动对象确定目标图像。

在确定出目标图像后，由于目标图像为长×宽×1的灰度图，泛焦图为长×宽×3的RGB图像，可以将目标图像和泛焦图进行拼接，形成长×宽×4的图像，用户在使用此图像时，可以根据需求自行抽取其中的数据信息，形成想要的图像。

示例性的，图3提供了一种确定运动显著性指标的实现示例图，光场相机1采集光场图像11并输出，事件相机2采集灰度图21并输出，通过光场图像11确定深度图111和泛焦图112；通过将泛焦图112和灰度图21输入到U-net神经网络分割模型3中，得到U-net神经网络分割模型3输出的包含至少一个动态对象的当前区域分布图像31和各动态对象对应的运动速度32；通过当前区域分布图像31和深度图111确定深度分布矩阵41和尺寸分布矩阵42，通过各动态对象的运动速度确定速度分布矩阵43，通过对当前区域分布图像31和上一区域分布图像33进行比较判断动态对象是否为新增对象，确定新增对象矩阵44，通过对深度分布矩阵41、尺寸分布矩阵42、速度分布矩阵43和新增对象矩阵44按照对应的权重加权求和，得到运动显著性指标51并输出，同时输出泛焦图112。

本发明实施例提供了一种跨尺度自适应映射的光场成像方法，解决了在采集监控区域图像时由于微小变动导致的图像频繁、大量采集的问题，通过分析光场图像和灰度图确定各动态对象，进而确定深度分布矩阵、尺寸分布矩阵、速度分布矩阵和新增对象矩阵，通过自适应地为不同矩阵设置不同的权重，进而得到运动显著性指标，实现对各动态对象根据不同关注侧重点进行筛选，得到目标运动对象，可以有效过滤图像中不需要或者不期望关注的动态对象，在图像中不包含目标运动对象时，无需对图像进行处理，有效减少了数据处理量，降低了后续数据处理难度，提高了数据分析速度，通过识别目标运动对象，以便进行后续数据处理，可以有效避免因数据量过大导致的信息丢失的问题，实现了自适应的分离背景信息与关注的目标运动对象，达到了高通量、高效率、高针对性的信息采集与提取的目标，算法简明，易于实现；通过事件相机发送的触发事件的触发次数控制光场相机，有效避免了静态冗余信息的采集，降低后续数据存储与分析的开销。

实施例三

图4为本发明实施例三提供的一种跨尺度自适应映射的光场成像装置的结构示意图，该装置包括：获取模块61、指标确定模块62、对象筛选模块63和图像确定模块64。

其中，获取模块61，用于获取光场相机采集的光场图像和事件相机采集的灰度图，并根据所述光场图像和灰度图确定包含至少一个动态对象的当前区域分布图像和各所述动态对象对应的运动速度；指标确定模块62，用于根据所述光场图像、当前区域分布图像和各所述动态对象对应的运动速度确定运动显著性指标；对象筛选模块63，用于根据所述运动显著性指标对各所述动态对象进行筛选，得到目标运动对象；图像确定模块64，用于根据所述目标运动对象确定目标图像。

本发明实施例提供了一种跨尺度自适应映射的光场成像装置，解决了在采集监控区域图像时由于微小变动导致的图像频繁、大量采集和处理的问题，通过分析图像确定图像中的各动态对象，然后确定运动显著性指标，根据运动显著性指标对各动态对象进行筛选，得到目标运动对象，可以有效过滤图像中不需要或者不期望关注的动态对象，在图像中不包含目标运动对象时，无需对图像进行处理，有效减少了数据处理量，降低了后续数据处理难度，提高了数据分析速度，通过识别目标运动对象，以便进行后续数据处理，可以有效避免因数据量过大导致的信息丢失的问题，通过目标图像可以直观观察到目标运动对象，方便后续数据处理或执行其他操作。

进一步地，该装置还包括：

累计模块，用于接收所述事件相机发送的触发事件并将所述触发事件的触发次数累计加1；

监测模块，用于当监测到所述触发次数大于预设事件阈值时，控制所述光场相机采集光场图像；

灰度图确定模块，用于根据各所述触发事件的事件信息确定灰度图。

进一步地，获取模块61，包括：

泛焦图确定单元，用于基于所述光场图像结合预设算法确定泛焦图；

速度确定单元，用于将所述泛焦图和灰度图结合预确定的神经网络模型确定包含至少一个动态对象的当前区域分布图像和各所述动态对象对应的运动速度。

进一步地，指标确定模块62，包括：

矩阵确定单元，用于根据所述光场图像、当前区域分布图像和各所述动态对象对应的运动速度确定至少一个运动参数矩阵；

指标确定单元，用于将各所述运动参数矩阵与对应权重乘积的和确定为运动显著性指标。

进一步地，所述运动参数矩阵为速度分布矩阵时，矩阵确定单元，具体用于：根据所述当前区域分布图像确定各所述动态对象所在的区域像素点集合，所述区域像素点集合包括至少一个区域像素点；将各所述动态对象的运动速度确定为所对应区域像素点集合中各区域像素点的目标速度，并根据全部区域像素点的位置和对应的目标速度形成速度分布矩阵。

进一步地，所述运动参数矩阵为深度分布矩阵时，矩阵确定单元，具体用于：根据所述光场图像结合预设算法确定深度图；根据所述深度图确定各所述区域像素点集合中各区域像素点的深度，将各所述深度的平均值确定为所对应动态对象的对象深度；根据全部区域像素点的位置和对应的对象深度形成深度分布矩阵。

进一步地，所述运动参数矩阵为尺寸分布矩阵时，矩阵确定单元，具体用于：确定各所述动态对象在所述光场相机的像感器上对应的横向像素个数；根据光场相机参数、各所述动态对象对应的对象深度和横向像素个数结合预确定公式确定各所述动态对象的实际尺寸；根据全部区域像素点的位置和对应的所述实际尺寸形成尺寸分布矩阵。

进一步地，所述运动参数矩阵为新增对象矩阵时，矩阵确定单元，具体用于：根据所述当前区域分布图像和上一区域分布图像确定新增对象图像；根据所述新增对象图像中各像素点的位置和像素值确定新增对象矩阵。

进一步地，运动显著性指标包括至少一个指标数据，对象筛选模块63具体用于：将大于预设输出阈值的各指标数据所对应动态对象确定为目标运动对象。

本发明实施例所提供的跨尺度自适应映射的光场成像装置可执行本发明任意实施例所提供的跨尺度自适应映射的光场成像方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述跨尺度自适应映射的光场成像装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种跨尺度自适应映射的光场成像方法，其特征在于，包括：

获取光场相机采集的光场图像和事件相机采集的灰度图，并根据所述光场图像和灰度图确定包含至少一个动态对象的当前区域分布图像和各所述动态对象对应的运动速度；

根据所述光场图像、当前区域分布图像和各所述动态对象对应的运动速度确定运动显著性指标；

根据所述运动显著性指标对各所述动态对象进行筛选，得到目标运动对象；

根据所述目标运动对象确定目标图像。

2.根据权利要求1所述的方法，其特征在于，在所述获取光场相机采集的光场图像和事件相机采集的灰度图之前，还包括：

接收所述事件相机发送的触发事件并将所述触发事件的触发次数累计加1；

当监测到所述触发次数大于预设事件阈值时，控制所述光场相机采集光场图像；

根据各所述触发事件的事件信息确定灰度图。

3.根据权利要求1所述的方法，其特征在于，所述根据所述光场图像和灰度图确定包含至少一个动态对象的当前区域分布图像和各所述动态对象对应的运动速度，包括：

基于所述光场图像结合预设算法确定泛焦图；

将所述泛焦图和灰度图结合预确定的神经网络模型确定包含至少一个动态对象的当前区域分布图像和各所述动态对象对应的运动速度。

4.根据权利要求1所述的方法，其特征在于，所述根据所述光场图像、当前区域分布图像和各所述动态对象对应的运动速度确定运动显著性指标，包括：

根据所述光场图像、当前区域分布图像和各所述动态对象对应的运动速度确定至少一个运动参数矩阵；

将各所述运动参数矩阵与对应权重乘积的和确定为运动显著性指标。

5.根据权利要求4所述的方法，其特征在于，所述运动参数矩阵为速度分布矩阵时，相应的，确定所述速度分布矩阵，包括：

根据所述当前区域分布图像确定各所述动态对象所在的区域像素点集合，所述区域像素点集合包括至少一个区域像素点；

将各所述动态对象的运动速度确定为所对应区域像素点集合中各区域像素点的目标速度，并根据全部区域像素点的位置和对应的目标速度形成速度分布矩阵。

6.根据权利要求5所述的方法，其特征在于，所述运动参数矩阵为深度分布矩阵时，相应的，确定所述深度分布矩阵，包括：

根据所述光场图像结合预设算法确定深度图；

根据所述深度图确定各所述区域像素点集合中各区域像素点的深度，将各所述深度的平均值确定为所对应动态对象的对象深度；

根据全部区域像素点的位置和对应的对象深度形成深度分布矩阵。

7.根据权利要求6所述的方法，其特征在于，所述运动参数矩阵为尺寸分布矩阵时，相应的，确定所述尺寸分布矩阵，包括：

确定各所述动态对象在所述光场相机的像感器上对应的横向像素个数；

根据光场相机参数、各所述动态对象对应的对象深度和横向像素个数结合预确定公式确定各所述动态对象的实际尺寸；

根据全部区域像素点的位置和对应的所述实际尺寸形成尺寸分布矩阵。

8.根据权利要求4所述的方法，其特征在于，所述运动参数矩阵为新增对象矩阵时，相应的，确定所述新增对象矩阵，包括：

根据所述当前区域分布图像和上一区域分布图像确定新增对象图像；

根据所述新增对象图像中各像素点的位置和像素值确定新增对象矩阵。

9.根据权利要求1所述的方法，其特征在于，所述运动显著性指标包括至少一个指标数据，相应的，所述根据所述运动显著性指标对各所述动态对象进行筛选，得到目标运动对象，包括：

将大于预设输出阈值的各指标数据所对应动态对象确定为目标运动对象。

10.一种跨尺度自适应映射的光场成像装置，其特征在于，包括：

获取模块，用于获取光场相机采集的光场图像和事件相机采集的灰度图，并根据所述光场图像和灰度图确定包含至少一个动态对象的当前区域分布图像和各所述动态对象对应的运动速度；

指标确定模块，用于根据所述光场图像、当前区域分布图像和各所述动态对象对应的运动速度确定运动显著性指标；

对象筛选模块，用于根据所述运动显著性指标对各所述动态对象进行筛选，得到目标运动对象；

图像确定模块，用于根据所述目标运动对象确定目标图像。

Images