CN111951313B - 图像配准方法、装置、设备及介质 - Google Patents
图像配准方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111951313B CN111951313B CN202010785636.7A CN202010785636A CN111951313B CN 111951313 B CN111951313 B CN 111951313B CN 202010785636 A CN202010785636 A CN 202010785636A CN 111951313 B CN111951313 B CN 111951313B
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- target
- sensor
- dynamic vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 239000011159 matrix material Substances 0.000 claims description 58
- 230000008859 change Effects 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 2
- 230000005540 biological transmission Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000013500 data storage Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例公开了一种图像配准方法、装置、设备及介质。该方法包括：对图像传感器和动态视觉传感器进行时间配准，确定时间配准结果；根据所述时间配准结果，对所述图像传感器和动态视觉传感器进行空间配准，确定空间配准结果；基于所述空间配准结果以及所述时间配准结果，使用所述动态视觉传感器输出的数据对待配准图像帧进行图像配准，其中，所述待配准图像帧是根据所述图像传感器获取的图像帧中提取的至少一个运动目标生成的。上述技术方案提高了进行运动目标跟踪时所采用图像的精准度。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像配准方法、装置、设备及介质。
背景技术
运动目标跟踪是智能视频监控系统的核心处理技术，是监控系统实现智能化的关键。
目前，常用的运动目标跟踪方法有两种：一种是基于运动目标检测的跟踪，通过对每一帧画面中的目标对象进行检测来实现跟踪，该方法对数据算力、传输带宽、数据存储要求很大；另一种是将视野集中在运动目标附近进行稀疏跟踪，该方法依旧记录了许多冗余信息，且不易捕捉到运动目标平滑的运动轨迹。因此，如何提高进行运动目标跟踪时所采用图像的质量是亟待解决的问题。
发明内容
本发明实施例提供一种图像配准方法、装置、设备及介质，以提高进行运动目标跟踪时所采用图像的精准度。
第一方面，本发明实施例还提供了一种图像配准方法，包括：
对图像传感器和动态视觉传感器进行时间配准，确定时间配准结果；
根据所述时间配准结果，对所述图像传感器和动态视觉传感器进行空间配准，确定空间配准结果；
基于所述空间配准结果以及所述时间配准结果，使用所述动态视觉传感器输出的数据对待配准图像帧进行图像配准，其中，所述待配准图像帧是根据所述图像传感器获取的图像帧中提取的至少一个运动目标生成的。
第二方面，本发明实施例还提供了一种图像配准装置，包括：
图像时间配准模块，设置为对图像传感器和动态视觉传感器进行时间配准，确定时间配准结果；
图像空间配准模块，设置为根据所述时间配准结果，对所述图像传感器和动态视觉传感器进行空间配准，确定空间配准结果；
图像配准模块，设置为基于所述空间配准结果以及所述时间配准结果，使用所述动态视觉传感器输出的数据对待配准图像帧进行图像配准，其中，所述待配准图像帧是根据所述图像传感器获取的图像帧中提取的至少一个运动目标生成的。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的图像配准方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的图像配准方法。
本发明实施例提供的技术方案，对图像传感器和动态视觉传感器进行时间配准，确定时间配准结果，并根据时间配准结果对图像传感器和动态视觉传感器进行空间配准，确定空间配准结果，进而可以基于时间配准结果和空间配准结果，使用动态视觉传感器输出的数据对根据图像传感器输出的图像帧提取的运动目标生成的待配准图像帧进行图像配准。相对于相关技术中的运动目标跟踪方法而言，上述技术方案中根据动态视觉传感器输出的数据对根据图像传感器输出的图像帧提取的运动目标生成的待配准图像帧进行图像配准，生成某一时刻运动目标的精准数据，以此提高了进行运动目标跟踪时所采用图像的精准度，进而可以在低存储低传输要求下基于配准后的图像进行运动目标跟踪识别，减小了对数据算力、传输带宽、数据存储的要求，也减少了使用目标检测跟踪目标而造成算力浪费的问题，还能够实现对运动目标运动轨迹的平滑跟踪，得到待跟踪的运动目标的实时在线精准数据。
附图说明
图1是本发明实施例一中的一种图像配准方法的流程图；
图2是本发明实施例二中的一种图像配准方法的流程图；
图3是本发明实施例二中的一种基于特征的图像配准方法的流程图；
图4是本发明实施例三中的一种图像配准方法的流程图；
图5是本发明实施例四中的一种图像配准装置的结构示意图；
图6是本发明实施例五中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
为了便于理解，将本发明实施例的主要发明构思进行简述。
动态视觉传感器是一种事件驱动型光电传感器，根据每个像素单元独立感受的光电变化，将激活像素点的位置、事件(ON/OFF)、时间戳等信息编码输出，输出的是事件数据，如<xd,yd,t,c>所示，其中，xd,yd代表光强变化的像素的空间位置，t代表时间戳，c代表光强增强或减弱的变化量。动态视觉传感器具有高灵敏度的特点，仅捕捉运动变化的目标，不记录背景信息，减少了生成的数据量，从而降低了对数据存储、数据算力和传输带宽的要求。
传统图像传感器擅长捕获以帧为单位的图像信息，以COMS(Complementary MetalOxide Semiconductor，互补金属氧化物半导体)图像传感器为例，其具有很高的图像分辨率，但时间分辨率比较低，容易造成运动模糊，且生成的数据量大。其中，传统的图像传感器采用全幅触发机制，以点为单位，按帧输出图像，所有像素单元曝光固定时长，并全部一次性输出，具有高分辨率(像素数)、成像质量高的特点，但由于信息量大，所以对数据存储、数据算力和传输带宽要求高。
动态视觉传感器擅长捕获运动目标的运动细节及局部行为微动特征信息，具有很高的灵敏度域值和动态范围，并从设计原理上屏蔽了相对静止的背景信息，为信息处理、利用和传输效率的提高和节约软硬件资源占用提供了可行途径，但对目标体及局部细节特征的提取能力不如传统图像传感器。发明人在研究中发现，两者结合使用，采用传统图像传感器提取目标体及局部细节特征，识别目标，同时采用动态视觉传感器补充目标体的运动细节及局部行为微动特征信息，形成对被观测目标实时在线精准的特征信息描述，能够减小对数据算力、传输带宽、数据存储的要求，并实现对运动目标运动轨迹的平滑跟踪，同时，还无需考虑不同传感器之间焦距、视野范围、光学器件、曝光原理、数据传输方式等因素影响，也无需繁琐地进行全场景像素级的精确校准。
因此，发明人创造性地提出了一种图像配准方法，该方法包括：对图像传感器和动态视觉传感器进行时间配准，确定时间配准结果；根据所述时间配准结果，对所述图像传感器和动态视觉传感器进行空间配准，确定空间配准结果；基于所述空间配准结果以及所述时间配准结果，使用所述动态视觉传感器输出的数据对待配准图像帧进行图像配准，其中，所述待配准图像帧是根据所述图像传感器获取的图像帧中提取的至少一个运动目标生成的。
实施例一
图1是本发明实施例一提供的一种图像配准方法的流程图，可适用于对如何结合动态视觉传感器与传统图像传感器以实现运动目标平滑跟踪的情况，该方法可以由本发明实施例提供的图像配准装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中，例如可以是与动态视觉传感器以及传统图像传感器建立连接的计算机设备，该计算机设备能够接收并处理接收动态视觉传感器以及传统图像传感器的采集数据。
如图1所示，本实施例提供的图像配准方法，包括：
S110、对图像传感器和动态视觉传感器进行时间配准，确定时间配准结果。
图像传感器和动态视觉传感器，分别是指协同进行运动目标跟踪的一个图像传感器和一个动态视觉传感器，且二者的拍摄场景是相同的。其中，图像传感器采集图像信息后输出的是图像帧，可选的，此类图像传感器为COMS图像传感器。
时间配准，也即图像采集时间配准，可以指的是将图像传感器和动态视觉传感器的输出信息以图像采集时间为维度进行配准。时间配准结果，也即图像采集时间配准结果，指的是图像传感器与动态视觉传感器关于图像采集时间的配准详情，可选的，时间配准结果为图像采集时间配准参数。
可选的，将针对同一拍摄场景采集图像信息时动态视觉传感器输出的事件序列与图像传感器输出的图像帧在时序方面进行配准，以实现对图像传感器和动态视觉传感器进行图像采集时间配准。在一种示例中，可以为将图像传感器输出的图像帧的帧序号与动态视觉传感器输出的事件序列的事件序号信息进行配准，以实现对图像传感器和动态视觉传感器进行图像采集时间配准。其中，事件序号即为动态视觉传感器输出事件数据的时间戳的序号。
可选的，通过确定图像传感器和动态视觉传感器之间的图像采集时间配准参数来实现对图像传感器和动态视觉传感器进行图像采集时间配准。其中，图像采集时间配准参数可以是以图像采集时间为统计维度时图像传感器和动态视觉传感器的输出信息数量之间的对应比例关系。
在一种可选的实施方式中，对图像传感器和动态视觉传感器进行时间配准，确定时间配准结果，包括：响应于至少两次拍摄场景变化，分别获取与每次拍摄场景变化对应的图像传感器输出的一组图像帧的帧序号，以及与所述拍摄场景变化对应的动态视觉传感器输出的一个事件序列的事件序号；根据各组图像帧的帧序号以及各个事件序列的事件序号，确定图像传感器和动态视觉传感器之间的图像采集时间配准参数，并将所述图像采集时间配准参数作为所述时间配准结果。
其中，拍摄场景变化指的是动态视觉传感器或者图像传感器采集的图像信息发生变化，例如可以是拍摄场景中存在移动的目标物体，例如还可以是拍摄场景中光强(或者光源等)发生变化，等等。
在每次拍摄场景发生变化时，确定动态视觉传感器在此次变化过程中输出的事件序列，并获取该事件序列中与每个事件数据对应的事件序号，同时确定图像传感器在此次变化过程中输出的一组图像帧(其中，一组图像帧中可以包括一个或多个图像帧)，并获取其中每个图像帧的帧序号。
进而，根据在多次拍摄场景发生变化的过程中获取到的各组图像帧的帧序号以及各个事件序列的事件序号信息，确定图像传感器和动态视觉传感器之间的图像采集时间配准参数，也即确定以图像采集时间为维度图像传感器的输出的图像帧数量与动态视觉传感器输出的事件数量之间的对应比例关系，如在同一个拍摄场景中图像传感器的输出的一个图像帧对应于动态视觉传感器输出的m个事件数据。
可选的，对在多次拍摄场景发生变化的过程中获取到的各组图像帧的帧序号以及各个事件序列的事件序号信息进行统计分析，根据统计分析结果确定图像传感器和动态视觉传感器之间的图像采集时间配准参数。
作为本实施例一种可选的实施方式，根据各组图像帧的帧序号以及各个事件序列的事件序号，确定图像传感器和动态视觉传感器之间的图像采集时间配准参数，可以包括：
分别确定每个事件序列的事件序号均值；根据各组图像帧的帧序号以及各个事件序列的事件序号均值，分别确定帧序号的变化量与事件序号均值的变化量的各个对应比例，并将各个对应比例的均值作为图像采集时间配准参数。
假设，拍摄场景变化的次数为n，在第一次拍摄场景变化中获取到的一个事件序列中各个事件的事件序号分别为t10、t11、…、t1m，取t10、t11、…、t1m的均值t1avg作为该事件序列的事件序号均值，类似的，计算得到的各个事件序列的事件序号均值t1avg、t2avg、…、tnavg。
事件序号均值的变化量，指的是与连续两次拍摄场景变化分别对应的两个连续事件序列的事件序号均值的差值，即为tnavg-t(n-1)avg；帧序号的变化量，指的是与连续两次拍摄场景变化分别对应的两组视频帧中最后一个图像帧的帧序号的差值，假设n组视频帧中最后一个图像帧的帧序号依次为n1、n2、…、nn，则连续两组图像帧的帧序号的变化量为nn-n(n-1)。
值得指出的是，各组图像帧的帧序号是连续的，例如在第一次拍摄场景变化中获取到的一组图像帧中各个图像帧的帧序号为1、2、…、n1，则在第二次拍摄场景变化中获取到的一组图像帧的帧序号从n1+1开始计数。
帧序号的变化量与事件序号均值的变化量的比例，指的是与连续两次拍摄场景变化对应的帧序号的变化量和事件序号均值的变化量的比值，即(nn-n(n-1))/(tnavg-t(n-1)avg)。
根据拍摄场景变化次数n，可以得到(n-1)个帧序号的变化量与事件序号均值的变化量的对应比例，计算这(n-1)个对应比例的均值，并将该均值作为图像采集时间配准参数。
在一种示例性的实施方式中，采用一个闪烁的光源来实现拍摄场景的变化，该光源以脉冲形式发光，分别使用动态视觉传感器和图像传感器来录制此场景。当动态视觉传感器检测到闪烁光源时，会在光强变化瞬间(增强或减弱)输出事件序列，取事件序列中各个事件的事件序号的均值作为动态视觉传感器的时间标记。同时，图像传感器进行录像并输出各个图像帧的帧序号，将最后一个图像帧的帧序号与动态视觉传感器的时间标记进行关联，即可得到一个动态视觉传感器的时间标记与图像传感器的图像帧序号的对应关系。随着光源再次闪烁，记录下一个动态视觉传感器的时间标记与图像传感器的图像帧序号的对应关系，从而可以得到图像帧序号的变化量与时间标记的变化量(也即事件序号均值的变化量)的关系，也即图像帧序号的变化量与时间标记的变化量的相对比例。类似的，可以得到多个图像帧序号的变化量与时间标记的变化量的相对比例，取这些相对比例的平均值，作为图像传感器与动态视觉传感器之间的图像采集时间配准参数。
在另一种可选的实施方式中，还可以分别计算帧序号变化量的均值以及事件序号均值变化量的均值，将帧序号变化量的均值与事件序号均值变化量的均值的比值作为图像采集时间配准参数。
在一种可选的示例中，图像采集时间配准参数为帧序号变化量与事件序号变化量的比例，其中，帧序号变化量为1，也即图像采集时间配准参数指示图像传感器输出一个图像帧对应的动态视觉传感器的事件序号变化量。
S120、根据时间配准结果，对图像传感器和动态视觉传感器进行空间配准，确定空间配准结果。
空间配准，也即图像空间配准，指的是将动态视觉传感器和图像传感器的输出信息以图像信息为维度进行配准。可选的，将动态视觉传感器和图像传感器在目标配准时间域内输出的图像信息在像素方面进行配准，以实现对动态视觉传感器和图像传感器进行图像空间配准。空间配准结果，也即图像空间配准结果，指的是动态视觉传感器与图像传感器关于图像信息的配准详情，可选的，图像空间配准结果即为图像空间配准参数。
基于图像采集时间配准结果，获取图像采集时间配准后的动态视觉传感器的输出数据以及图像传感器的输出数据，对这些输出数据进行图像配准即可实现对动态视觉传感器和图像传感器的图像空间配准。
作为一种可选的实施方式，根据所述时间配准结果，对所述图像传感器和动态视觉传感器进行空间配准，确定空间配准结果，可以包括：
根据所述时间配准结果，确定目标配准时间域内所述图像传感器输出的目标图像帧和所述动态视觉传感器输出的目标事件数据；根据所述目标图像帧以及所述目标事件数据对所述图像传感器和动态视觉传感器进行空间配准，确定所述空间配准结果。
目标配准时间域，指的是与动态视觉传感器以及图像传感器对应的一个相同时间域，在目标配准时间域内动态视觉传感器和图像传感器采集的图像源是相同的。也即，动态视觉传感器在目标配准时间域内输出的事件数据(也可称之为事件流数据)，与图像传感器在目标配准时间域内输出的图像帧，在时间维度是配准的。
其中，针对动态视觉传感器而言，目标配准时间域可以根据输出事件数据的事件序号来确定；针对图像传感器而言，目标配准时间域可以根据输出图像帧的数量来确定。
例如，可以首先根据选取的图像传感器输出图像帧的帧序号变化量以及图像采集时间配准参数，确定与动态视觉传感器对应的事件序号变化量，然后根据选取的图像传感器输出图像帧的帧序号，以及动态视觉传感器输出事件数据的时序，获取动态视觉传感器输出的与该事件序号变化量对应的各个事件数据，即为动态视觉传感器在目标配准时间域内输出的目标事件数据。相应的，选取的图像传感器输出图像帧即为图像传感器在目标配准时间域输出的目标图像帧。
可选的，在本步骤中确定的目标配准时间域内图像传感器输出的图像帧的数量至少为一个。
根据目标事件数据以及目标图像帧，对动态视觉传感器和图像传感器进行图像空间配准时，可选的，根据动态视觉传感器在目标配准时间域内输出的目标事件数据构建图像帧，并将构建的图像帧与目标配准时间域内由图像传感器输出的图像帧进行图像配准，以实现对动态视觉传感器和图像传感器进行图像空间配准。
S130、基于空间配准结果以及时间配准结果，使用动态视觉传感器输出的数据对待配准图像帧进行图像配准，其中，待配准图像帧是根据图像传感器获取的图像帧中提取的至少一个运动目标生成的。
运动目标，指的是需要进行跟踪的运动目标。待配准图像帧是根据图像传感器输出的图像帧中提取的至少一个运动目标生成的，需要进行图像配准的图像帧。其中，待配准图像帧中可以包括一个或多个运动目标，运动目标的数量可以根据实际跟踪需求确定。
可选的，待配准图像帧是通过对图像传感器输出的图像帧进行图像处理后生成的，例如可以将图像传感器输出的图像帧中的背景区域进行抠除，使得待配准图像帧中仅包括运动目标以及运动目标附近的像素数据，不包括图像传感器输出的图像帧中的背景像素数据。待配准图像帧还可以是对图像传感器输出的图像帧进行截取处理，例如，对图像传感器输出的图像帧进行运动目标识别，并预测运动目标的运动趋势，根据运动目标以及运动趋势，对图像传感器输出的图像帧进行截取处理，得到的包括运动目标以及运动目标附近区域的待配准图像帧。
在一种可选的示例中，待配准图像帧中仅包括运动目标的轮廓数据以及运动目标轮廓附近的像素数据。
可选的，动态视觉传感器输出的数据包括事件数据以及根据事件数据构建的事件流特征帧中的至少一种。
在使用动态视觉传感器输出的至少一个事件数据对一个待配准图像帧进行图像配准时，首先基于图像采集时间配准结果获取与待配准图像帧对应的原始视频帧所对应的至少一个事件数据，然后基于图像空间配准结果，使用至少一个事件数据对待配准图像帧进行图像配准。
可选的，首先基于位置坐标对这多个事件数据进行筛选，得到与待配准图像帧对应的部分事件数据，也即与待配准图像帧中的各个运动目标对应的部分事件数据，并根据这部分事件数据对待配准图像帧进行图像配准。
在使用根据动态视觉传感器输出的事件数据构建的事件流特征帧对一个待配准图像帧进行图像配准时，可以基于图像采集时间配准结果获取与待配准图像帧对应的原始视频帧所对应的多个事件数据，并将多个事件数据构建成事件流特征帧，基于图像空间配准结果，使用事件流特征帧对待配准图像帧进行图像配准。
可选的，在根据图像采集时间配准结果(例如为图像采集时间配准参数)确定与待配准图像帧对应的动态视觉传感器采集到的多个事件数据之后，在这多个事件数据中筛选出与各个运动目标位置匹配的部分事件数据，并根据这部分事件数据构建事件流特征帧，基于图像空间配准参数利用该事件流特征帧对待配准图像帧进行图像配准。
基于图像传感器输出的图像帧实时生成对应的待配准图像帧，同时基于图像空间配准结果以及图像采集时间配准结果，使用动态视觉传感器输出的事件数据或者根据多个事件数据构建的事件流特征帧对各个对应的待配准图像帧进行图像配准，即可得到与待跟踪的运动目标对应的多个配准图像帧。
进一步的，还可以根据使用动态视觉传感器输出的数据对待配准图像帧进行图像配准后得到的多个配准图像帧，确定至少一个运动目标的运动轨迹信息。
在得到与待跟踪的运动目标对应的多个配准图像帧之后，通过对每一个配准图像帧中的运动目标进行检测即可实现对该运动目标的跟踪。通过多个配准图像帧可以得到待跟踪的运动目标的平滑运动轨迹，也即能够得到各个时刻待跟踪的运动目标的精准数据，从而获取到待跟踪的运动目标的实时在线精准数据。
本发明实施例提供的技术方案，对图像传感器和动态视觉传感器进行时间配准，确定时间配准结果，并根据时间配准结果对图像传感器和动态视觉传感器进行空间配准，确定空间配准结果，进而可以基于时间配准结果和空间配准结果，使用动态视觉传感器输出的数据对根据图像传感器输出的图像帧提取的运动目标生成的待配准图像帧进行图像配准。相对于现有的运动目标跟踪方法而言，上述技术方案中根据动态视觉传感器输出的数据对根据图像传感器输出的图像帧提取的运动目标生成的待配准图像帧进行图像配准，生成某一时刻运动目标的精准数据，以此提高了进行运动目标跟踪时所采用图像的精准度，进而可以在低存储低传输要求下基于配准后的图像进行运动目标跟踪识别，减小了对数据算力、传输带宽、数据存储的要求，也减少了使用目标检测跟踪目标而造成算力浪费的问题，还能够实现对运动目标运动轨迹的平滑跟踪，得到待跟踪的运动目标的实时在线精准数据。
实施例二
图2是本发明实施例二提供的一种图像配准方法的流程图。本实施例在上述实施例的基础上进行具体化，其中，根据所述目标图像帧以及所述目标事件数据对所述图像传感器和动态视觉传感器进行空间配准，确定所述空间配准结果，可以包括：
根据所述目标事件数据，构建至少一个目标图像帧对应的事件流特征帧；
确定所述至少一个目标图像帧对应的特征描述子图像帧；
对所述至少一个目标图像帧对应的事件流特征帧与所述特征描述子图像帧进行基于特征的图像配准，得到所述动态视觉传感器和所述图像传感器之间的图像空间配准参数，并将所述图像空间配准参数作为所述图像空间配准结果。
如图2所示，本实施例提供的图像配准方法，可以包括：
S210、对图像传感器和动态视觉传感器进行时间配准，确定时间配准结果。
S220、根据所述时间配准结果，确定目标配准时间域内所述图像传感器输出的目标图像帧和所述动态视觉传感器输出的目标事件数据。
S230、根据目标事件数据，构建至少一个目标图像帧对应的事件流特征帧。
动态视觉传感器在目标配准时间域内输出的目标事件数据是多个事件数据的组合，也即在目标配准时间域内动态视觉传感器输出的事件流数据。基于时间累积，将在某一个时间段范围内的事件数据收集在一起，并构建成图像帧，称之为事件流特征帧。可选的，将与图像传感器输出一个图像帧对应的时间范围内的事件数据收集在一起，构建事件流特征帧。
当目标配准时间域内图像传感器输出的目标图像帧的数量为多个时，根据动态视觉传感器在目标配准时间域内输出的目标事件数据构建的事件流特征帧也为多个。
S240、确定至少一个目标图像帧对应的特征描述子图像帧。
根据在目标配准时间域内图像传感器输出的至少一个目标图像帧，通过预设方法得到与至少一个目标图像帧对应的特征描述子图像帧。
获取在目标配准时间域内图像传感器输出的目标图像帧，对该目标图像帧进行时序特征特提取，生成与该目标图像帧对应的特征描述子图像帧。
可选的，对图像传感器按照帧采集的图像提取边缘轮廓，生成对应的特征描述子图像帧。其中，可以采用帧差法或者使用滤波器滤波的方法来提取图像边缘轮廓，本实施例对此不作具体限定。
S250、对至少一个目标图像帧对应的事件流特征帧与特征描述子图像帧进行基于特征的图像配准，得到动态视觉传感器和图像传感器之间的图像空间配准参数，并将图像空间配准参数作为图像空间配准结果。
通过图像传感器输出的目标图像帧确定的图像边缘轮廓和动态视觉传感器采集的光强变化帧数据具有类似性，也即特征描述子图像帧与构建的事件流特征帧具有类似性，因此，可以通过基于特征的图像配准方法确定两个图像帧的图像配准参数，作为动态视觉传感器和图像传感器之间的图像空间配准参数。
其中，将事件流特征帧作为基准图像，特征描述子图像帧作为待配准图像。如图3所示，基于特征的图像配准方法的核心步骤为：
1)特征检测，对基准图像和待配准图像进行关键点检测及图像特征提取，如图像边缘、轮廓等；
2)特征匹配，使用特征描述符、相似性度量等建立基准图像和待配准图像之间的相关性；
3)模型参数估计，可以基于配准时所用到的空间变换模型、配准的相似性测度准则以及空间变换矩阵，确定图像配准参数；
4)图像转换配准，基于确定的图像配准参数，使用基准图像对待配准图像进行图像配准。
值得指出的是，在目标配准时间域内图像传感器输出的图像帧的数量为多个时，可以将在目标配准时间域内获取的事件数据按照图像传感器输出图像帧的数量分为多个事件序列，并基于其中一个事件序列构建事件流特征帧。进而，使用与该事件序列对应的一个图像帧的特征描述子图像帧对该事件流特征帧进行图像配准，以确定图像传感器和动态视觉传感器之间的图像空间配准参数。
S260、基于图像空间配准结果以及图像采集时间配准结果，使用动态视觉传感器输出的数据对待配准图像帧进行图像配准，生成与待跟踪的运动目标对应的配准图像帧。
在一种可选的实施方式中，基于图像空间配准结果以及图像采集时间配准结果，使用动态视觉传感器输出的数据对待配准图像帧进行图像配准，可以包括：基于图像采集空间配准结果，确定动态视觉传感器输出的至少一个数据，以及与至少一个数据对应的图像传感器输出的图像帧；基于图像空间配准参数，使用至少一个数据对图像帧进行图像配准。
其中，动态视觉传感器输出的数据包括事件数据以及根据事件数据构建的事件流特征帧中的至少一种。
在对待跟踪的运动目标进行实时跟踪时，针对根据图像传感器输出的图像帧中的运动目标对应的一个待配准图像帧，基于图像传感器和动态视觉传感器的图像采集时间配准结果，确定与该待配准图像帧对应的动态视觉传感器采集到的多个事件数据，基于图像传感器和动态视觉传感器的图像空间配准参数，使用这些事件数据或者由这些事件数据构建的事件流特征帧对待配准图像帧进行图像配准。
在一种可选的实施方式中，本实施例提供的方法在对待配准图像帧进行图像配准前，还包括：
构建与图像传感器输出的图像帧大小对应的初始权值矩阵；根据至少一个运动目标在图像帧中的当前分布区域以及预测分布区域，对初始权值矩阵进行赋值，得到目标赋值权值矩阵；将目标赋值权值矩阵与所述图像帧进行点乘操作，得到待配准图像帧。
其中，可以针对图像传感器输出的每个图像帧单独构建一个大小对应的初始权值矩阵，且初始权值矩阵中所有区域权值置零；也可以针对图像传感器在输出的各个图像帧构建一个大小对应且通用的初始权值矩阵，且初始权值矩阵中所有区域权值置零。
可选的，根据至少一个运动目标在所述图像帧中的当前分布区域以及预测分布区域，对初始权值矩阵进行赋值，得到目标赋值权值矩阵，包括：
对初始权值矩阵中与至少一个运动目标在所述图像帧中的当前分布区域匹配的第一区域进行赋值，得到第一赋值权值矩阵；对初始权值矩阵中与至少一个运动目标在图像帧中的预测分布区域匹配的第二区域进行赋值，得到第二赋值权值矩阵；结合第一赋值权值矩阵和第二赋值权值矩阵，生成目标赋值权值矩阵。
以针对一个目标图像帧生成待配准图像帧为例进行解释说明，通过该方法可以生成与每个目标图像帧对应的待配准图像帧。
获取目标图像帧中的待跟踪的运动目标，根据待跟踪的运动目标在目标图像帧中的当前分布区域对初始权值矩阵中匹配区域(即第一区域)进行赋值，如赋值为1，得到第一赋值权值矩阵。例如，可以使用帧差法获取目标图像帧中的待跟踪的运动目标，再将基于差分法得到的与待跟踪的运动目标对应的区域权值置1，本实施对此不作具体限定。
预测待跟踪运动目标在目标图像帧之后的下一个目标图像帧中的分布区域(即预测分布区域)，根据待跟踪运动目标在目标图像帧中的预测分布区域对初始权值矩阵中匹配区域(即第二区域)进行赋值，如赋值为1，得到第二赋值权值矩阵。
在一示例中，首先对目标图像帧中的各个运动目标进行目标分解，通过运动空间连续性特征，提取多个运动闭合目标区域，其次通过视频图像前后帧的空间位置得到每个运动目标的运动矢量场。针对一个待跟踪运动目标，通过该待跟踪运动目标的运动矢量场，并结合该待跟踪运动目标的历史运动轨迹(如方向及速度等)，加权预测该待跟踪的运动目标中心点在下一个目标图像帧中的空间位置，结合其网格划分(不同大小的运动目标对应于不同大小的网格划分)获得到该待跟踪的运动目标在下个目标图像帧中的预测分布区域。
将第一赋值权值矩阵和第二赋值权值矩阵进行“或”运算，得到目标赋值权值矩阵。
可选的，预测待跟踪的运动目标在目标图像帧之后的下一个目标图像帧中的分布区域(即预测分布区域)之后，根据待跟踪的运动目标在目标图像帧中的预测分布区域继续对第一赋值权值矩阵中匹配区域(即第二区域)进行赋值，如赋值为1，可直接得到上述目标赋值权值矩阵。
将目标赋值权值矩阵与目标图像帧进行点乘操作，得到针对待跟踪的运动目标的配准图像帧。此时，配准图像帧中包括各个待跟踪的运动目标及其附近像素数据，或者是各个待跟踪的运动目标轮廓数据及轮廓附近像素数据，也即配准图像帧中提取了目标图像帧中待跟踪的运动目标及其细节特征。
本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。
上述技术方案可以在低存储低传输要求下进行运动目标的跟踪识别，实现了对运动目标运动轨迹的平滑跟踪；同时，将基于特征的图像配准方法应用于事件流数据上，提供了一种处理事件流数据的实现方式，解决了现有大多图像处理方法及图像检测方法无法直接用于处理事件流的问题。
实施例三
图4是本发明实施例三提供的一种图像配准方法的流程图。本实施例提供了一种可选的实施方式，其中，将图像传感器为COMS图像传感器。
如图4所示，本实施例提供的图像配准方法，可以包括：
S410、对CMOS图像传感器和动态视觉传感器进行图像采集时间配准，确定CMOS图像传感器和动态视觉传感器之间的图像采集时间配准参数。
值得指出的是，CMOS图像传感器和动态视觉传感器的使用设备、场景配置以及数据记录配置应与实际使用场景中保持一致。
S420、基于图像采集时间配准参数，获取动态视觉传感器在目标配准时间域内输出的目标事件数据，以及CMOS图像传感器在目标配准时间域内输出的目标图像帧。
在确定动态视觉传感器和CMOS图像传感器之间的图像采集时间配准参数之后，基于图像采集时间配准参数进行CMOS图像传感器和动态视觉传感器之间图像空间配准。
值得指出的是，CMOS图像传感器和动态视觉传感器的使用设备、场景配置以及数据记录配置应与实际使用场景中保持一致，也即与S410图像采集时间配准场景中保持一致。
S430、根据在目标配准时间域内动态视觉传感器输出的事件数据，构建事件流特征帧。
S440、根据在目标配准时间域内CMOS图像传感器输出的图像帧，通过预设方法得到与图像帧对应的特征描述子图像帧。
可选的，通过帧差法或者滤波器滤波法得到特征描述子图像帧。
S450、对特征描述子图像帧与事件流特征帧进行基于特征的图像配准，得到CMOS图像传感器和动态视觉传感器之间的图像空间配准参数。
S460、基于图像采集时间配准参数，确定同一个时间域内动态视觉传感器输出的事件数据，以及CMOS图像传感器输出的图像帧。
S470、构建与CMOS图像传感器输出的图像帧大小对应的初始权值矩阵。
S480、依次根据至少一个待跟踪的运动目标在CMOS图像传感器在各个图像帧中的当前分布区域以及预测分布区域，对初始权值矩阵进行赋值，得到各个目标赋值权值矩阵，并与匹配的图像帧进行点乘操作，得到各个待配准图像帧。
在此步骤中，得到的待配准图像帧是与CMOS图像传感器在目标时间域内输出目标图像帧一一对应的。
S490、依次获取一个待配准图像帧，以及与待配准图像帧对应的动态视觉传感器采集到的事件数据。
S4100、根据事件数据构建事件流特征帧，并基于图像空间配准参数，利用事件流特征帧对待配准图像帧进行图像配准，生成相应的配准图像帧，返回执行S490。
本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。
在上述技术方案中，在配准的一定时间范围内，采用高分辨CMOS图像传感器跟踪提取运动目标及局部细节特征(且只考虑运动目标附近的像素数据)，同时采用动态视觉传感器补充运动目标的运动细节及局部行为微动特征信息，由此形成了对待跟踪的运动目标的实时在线精准地特征信息描述。
实施例四
图5是本发明实施例四提供的一种图像配准装置的结构示意图，可适用于对如何结合动态视觉传感器与传统图像传感器以实现运动目标平滑跟踪的情况，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中，例如可以是与动态视觉传感器以及传统图像传感器建立连接的计算机设备，该计算机设备能够接收并处理接收动态视觉传感器以及传统图像传感器的采集数据。
如图5所示，该图像配准装置
包括：图像时间配准模块510、图像空间配准模块520和图像配准模块530。其中，
图像时间配准模块510，设置为对图像传感器和动态视觉传感器进行时间配准，确定时间配准结果；
图像空间配准模块520，设置为根据所述时间配准结果，对所述图像传感器和动态视觉传感器进行空间配准，确定空间配准结果；
图像配准模块530，设置为基于所述空间配准结果以及所述时间配准结果，使用所述动态视觉传感器输出的数据对待配准图像帧进行图像配准，其中，所述待配准图像帧是根据所述图像传感器获取的图像帧中提取的至少一个运动目标生成的。
本发明实施例提供的技术方案，对图像传感器和动态视觉传感器进行时间配准，确定时间配准结果，并根据时间配准结果对图像传感器和动态视觉传感器进行空间配准，确定空间配准结果，进而可以基于时间配准结果和空间配准结果，使用动态视觉传感器输出的数据对根据图像传感器输出的图像帧提取的运动目标生成的待配准图像帧进行图像配准。相对于现有的运动目标跟踪方法而言，上述技术方案中根据动态视觉传感器输出的数据对根据图像传感器输出的图像帧提取的运动目标生成的待配准图像帧进行图像配准，生成某一时刻运动目标的精准数据，以此提高了进行运动目标跟踪时所采用图像的精准度，进而可以在低存储低传输要求下基于配准后的图像进行运动目标跟踪识别，减小了对数据算力、传输带宽、数据存储的要求，也减少了使用目标检测跟踪目标而造成算力浪费的问题，还能够实现对运动目标运动轨迹的平滑跟踪，得到待跟踪的运动目标的实时在线精准数据。
在一种可选的实施方式中，图像空间配准模块520可以包括：
配准数据获取单元，设置为根据所述时间配准结果，确定目标配准时间域内所述图像传感器输出的目标图像帧和所述动态视觉传感器输出的目标事件数据；
图像空间配准单元，设置为根据所述目标图像帧以及所述目标事件数据对所述图像传感器和动态视觉传感器进行空间配准，确定所述空间配准结果。
在一种可选的实施方式中，图像空间配准单元，设置为根据所述目标事件数据，构建至少一个目标图像帧对应的事件流特征帧；确定所述至少一个目标图像帧对应的特征描述子图像帧；对所述至少一个目标图像帧对应的事件流特征帧与所述特征描述子图像帧进行基于特征的图像配准，得到所述动态视觉传感器和所述图像传感器之间的图像空间配准参数，并将所述图像空间配准参数作为所述图像空间配准结果
进一步的，图像配准模块530，设置为基于所述空间配准结果，确定所述动态视觉传感器输出的至少一个数据，以及与所述至少一个数据对应的所述图像传感器输出的图像帧；基于所述图像空间配准参数，使用所述至少一个数据对所述图像帧进行图像配准。
可选的，所述动态视觉传感器输出的数据包括事件数据以及根据事件数据构建的事件流特征帧中的至少一种。
进一步的，上述装置还包括：待配准图像帧生成模块，所述待配准图像帧生成模块包括：
初始权值矩阵构建单元，设置为构建与所述图像传感器输出的图像帧大小对应的初始权值矩阵；
目标赋值权值矩阵确定单元，设置为根据所述至少一个运动目标在所述图像帧中的当前分布区域以及预测分布区域，对所述初始权值矩阵进行赋值，得到目标赋值权值矩阵；
待配准图像帧生成单元，设置为将所述目标赋值权值矩阵与所述图像帧进行点乘操作，得到所述待配准图像帧。
可选的，目标赋值权值矩阵确定单元，设置为对所述初始权值矩阵中与所述至少一个运动目标在所述图像帧中的当前分布区域匹配的第一区域进行赋值，得到第一赋值权值矩阵；对所述初始权值矩阵中与所述至少一个运动目标在所述图像帧中的预测分布区域匹配的第二区域进行赋值，得到第二赋值权值矩阵；结合所述第一赋值权值矩阵和所述第二赋值权值矩阵，生成所述目标赋值权值矩阵。
在一种可选的实施方式中，图像时间配准模块510，设置为响应于至少两次拍摄场景变化，分别获取与每次所述拍摄场景变化对应的所述图像传感器输出的一组图像帧的帧序号，以及与每次所述拍摄场景变化对应的所述动态视觉传感器输出的一个事件序列的事件序号；根据各组所述图像帧的帧序号以及各个所述事件序列的事件序号，确定所述图像传感器和所述动态视觉传感器之间的图像采集时间配准参数，并将所述图像采集时间配准参数作为所述时间配准结果。
进一步的，上述装置还包括：运动轨迹生成模块，设置为根据使用所述动态视觉传感器输出的数据对待配准图像帧进行图像配准后得到的多个配准图像帧，确定所述至少一个运动目标的运动轨迹信息。
上述图像配准装置可执行本发明任意实施例所提供的图像配准方法，具备执行的图像配准方法相应的功能模块和有益效果。
实施例五
图6是本发明实施例五提供的一种计算机设备的结构示意图。如图6所示，该计算机设备包括处理器610、存储器620、输入装置630和输出装置640；计算机设备中处理器610的数量可以是一个或多个，图6中以一个处理器610为例；计算机设备中的处理器610、存储器620、输入装置630和输出装置640可以通过总线或其他方式连接，图6中以通过总线连接为例。
存储器620作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的图像配准方法对应的程序指令/模块(例如，图5所示的图像配准装置中的图像时间配准模块510、图像空间配准模块520和图像配准模块530)。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述图像配准方法。
存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
实施例六
本发明实施例六还提供一种存储有计算机程序的计算机可读存储介质，计算机程序在由计算机处理器执行时用于执行一种图像配准方法，包括：
对图像传感器和动态视觉传感器进行时间配准，确定时间配准结果；
根据所述时间配准结果，对所述图像传感器和动态视觉传感器进行空间配准，确定空间配准结果；
基于所述空间配准结果以及所述时间配准结果，使用所述动态视觉传感器输出的数据对待配准图像帧进行图像配准，其中，所述待配准图像帧是根据所述图像传感器获取的图像帧中提取的至少一个运动目标生成的。
当然，本发明实施例所提供的存储有计算机程序的计算机可读存储介质，其计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的图像配准方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
值得注意的是，上述图像配准装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (11)
1.一种图像配准方法，其特征在于，包括：
对图像传感器和动态视觉传感器进行时间配准，确定时间配准结果；
根据所述时间配准结果，确定目标配准时间域内所述图像传感器输出的目标图像帧和所述动态视觉传感器输出的目标事件数据；根据所述目标图像帧以及所述目标事件数据对所述图像传感器和动态视觉传感器进行空间配准，确定所述空间配准结果；
基于所述空间配准结果以及所述时间配准结果，使用所述动态视觉传感器输出的数据对待配准图像帧进行图像配准，其中，所述待配准图像帧是根据所述图像传感器获取的图像帧中提取的至少一个运动目标生成的。
2.根据权利要求1所述的方法，其特征在于，根据所述目标图像帧以及所述目标事件数据对所述图像传感器和动态视觉传感器进行空间配准，确定所述空间配准结果，包括：
根据所述目标事件数据，构建至少一个目标图像帧对应的事件流特征帧；
确定所述至少一个目标图像帧对应的特征描述子图像帧；
对所述至少一个目标图像帧对应的事件流特征帧与所述特征描述子图像帧进行基于特征的图像配准，得到所述动态视觉传感器和所述图像传感器之间的图像空间配准参数，并将所述图像空间配准参数作为所述图像空间配准结果。
3.根据权利要求2所述的方法，其特征在于，基于所述空间配准结果以及所述时间配准结果，使用所述动态视觉传感器输出的数据对待配准图像帧进行图像配准，包括：
基于所述空间配准结果，确定所述动态视觉传感器输出的至少一个数据，以及与所述至少一个数据对应的所述图像传感器输出的图像帧；
基于所述图像空间配准参数，使用所述至少一个数据对所述图像帧进行图像配准。
4.根据权利要求1所述的方法，其特征在于，所述动态视觉传感器输出的数据包括事件数据以及根据事件数据构建的事件流特征帧中的至少一种。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：
构建与所述图像传感器输出的图像帧大小对应的初始权值矩阵；
根据所述至少一个运动目标在所述图像帧中的当前分布区域以及预测分布区域，对所述初始权值矩阵进行赋值，得到目标赋值权值矩阵；
将所述目标赋值权值矩阵与所述图像帧进行点乘操作，得到所述待配准图像帧。
6.根据权利要求5所述的方法，其特征在于，根据所述至少一个运动目标在所述图像帧中的当前分布区域以及预测分布区域，对所述初始权值矩阵进行赋值，得到目标赋值权值矩阵，包括：
对所述初始权值矩阵中与所述至少一个运动目标在所述图像帧中的当前分布区域匹配的第一区域进行赋值，得到第一赋值权值矩阵；
对所述初始权值矩阵中与所述至少一个运动目标在所述图像帧中的预测分布区域匹配的第二区域进行赋值，得到第二赋值权值矩阵；
结合所述第一赋值权值矩阵和所述第二赋值权值矩阵，生成所述目标赋值权值矩阵。
7.根据权利要求1所述的方法，其特征在于，对图像传感器和动态视觉传感器进行时间配准，确定时间配准结果，包括：
响应于至少两次拍摄场景变化，分别获取与每次所述拍摄场景变化对应的所述图像传感器输出的一组图像帧的帧序号，以及与每次所述拍摄场景变化对应的所述动态视觉传感器输出的一个事件序列的事件序号；
根据各组所述图像帧的帧序号以及各个所述事件序列的事件序号，确定所述图像传感器和所述动态视觉传感器之间的图像采集时间配准参数，并将所述图像采集时间配准参数作为所述时间配准结果。
8.根据权利要求1所述的方法，其特征在于，还包括：
根据使用所述动态视觉传感器输出的数据对待配准图像帧进行图像配准后得到的多个配准图像帧，确定所述至少一个运动目标的运动轨迹信息。
9.一种图像配准装置，其特征在于，包括：
图像时间配准模块，设置为对图像传感器和动态视觉传感器进行时间配准，确定时间配准结果；
图像空间配准模块，设置为根据所述时间配准结果，对所述图像传感器和动态视觉传感器进行空间配准，确定空间配准结果，所述图像空间配准模块具体设置为：根据所述时间配准结果，确定目标配准时间域内所述图像传感器输出的目标图像帧和所述动态视觉传感器输出的目标事件数据；根据所述目标图像帧以及所述目标事件数据对所述图像传感器和动态视觉传感器进行空间配准，确定所述空间配准结果；
图像配准模块，设置为基于所述空间配准结果以及所述时间配准结果，使用所述动态视觉传感器输出的数据对待配准图像帧进行图像配准，其中，所述待配准图像帧是根据所述图像传感器获取的图像帧中提取的至少一个运动目标生成的。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010785636.7A CN111951313B (zh) | 2020-08-06 | 2020-08-06 | 图像配准方法、装置、设备及介质 |
| PCT/CN2021/111207 WO2022028576A1 (zh) | 2020-08-06 | 2021-08-06 | 图像配准方法及装置、计算机设备、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010785636.7A CN111951313B (zh) | 2020-08-06 | 2020-08-06 | 图像配准方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111951313A CN111951313A (zh) | 2020-11-17 |
| CN111951313B true CN111951313B (zh) | 2024-04-26 |
Family
ID=73331723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010785636.7A Active CN111951313B (zh) | 2020-08-06 | 2020-08-06 | 图像配准方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111951313B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022028576A1 (zh) * | 2020-08-06 | 2022-02-10 | 北京灵汐科技有限公司 | 图像配准方法及装置、计算机设备、介质 |
| CN112669344B (zh) * | 2020-12-24 | 2024-05-28 | 北京灵汐科技有限公司 | 一种运动物体的定位方法、装置、电子设备及存储介质 |
| CN112816995B (zh) * | 2020-12-25 | 2024-03-01 | 北京灵汐科技有限公司 | 目标检测方法及装置、融合处理单元、计算机可读介质 |
| CN114967907A (zh) * | 2021-02-26 | 2022-08-30 | 华为技术有限公司 | 识别方法及电子设备 |
| CN113096158A (zh) * | 2021-05-08 | 2021-07-09 | 北京灵汐科技有限公司 | 运动对象的识别方法、装置、电子设备及可读存储介质 |
| CN115580737A (zh) * | 2021-06-21 | 2023-01-06 | 华为技术有限公司 | 用于视频插帧的方法、装置及设备 |
| CN113673105A (zh) * | 2021-08-20 | 2021-11-19 | 安徽江淮汽车集团股份有限公司 | 真值对比策略的设计方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103262121A (zh) * | 2010-12-20 | 2013-08-21 | 国际商业机器公司 | 移动物体的检测和跟踪 |
| CN108012080A (zh) * | 2017-12-04 | 2018-05-08 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109284707A (zh) * | 2018-09-12 | 2019-01-29 | 首都师范大学 | 动目标检测方法及装置 |
| CN109544590A (zh) * | 2018-11-27 | 2019-03-29 | 上海芯仑光电科技有限公司 | 一种目标跟踪方法及计算设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734739A (zh) * | 2017-04-25 | 2018-11-02 | 北京三星通信技术研究有限公司 | 用于时间对齐标定、事件标注、数据库生成的方法及装置 |
-
2020
- 2020-08-06 CN CN202010785636.7A patent/CN111951313B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103262121A (zh) * | 2010-12-20 | 2013-08-21 | 国际商业机器公司 | 移动物体的检测和跟踪 |
| CN108012080A (zh) * | 2017-12-04 | 2018-05-08 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109284707A (zh) * | 2018-09-12 | 2019-01-29 | 首都师范大学 | 动目标检测方法及装置 |
| CN109544590A (zh) * | 2018-11-27 | 2019-03-29 | 上海芯仑光电科技有限公司 | 一种目标跟踪方法及计算设备 |
Non-Patent Citations (1)
| Title |
|---|
| 一种序列图像配准的计算框架;彭晓明, 丁明跃, 周成平, 张天序;中国图象图形学报(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111951313A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111951313B (zh) | 图像配准方法、装置、设备及介质 | |
| US10769480B2 (en) | Object detection method and system | |
| CN109272509B (zh) | 一种连续图像的目标检测方法、装置、设备及存储介质 | |
| CN105160703B (zh) | 一种使用时域视觉传感器的光流计算方法 | |
| CN110692083A (zh) | 用于动态视觉传感器的块匹配光流和立体视觉 | |
| JP2018170003A (ja) | ビデオ中のイベントの検出装置、方法及び画像処理装置 | |
| CN110287907B (zh) | 一种对象检测方法和装置 | |
| CN104376575B (zh) | 一种基于多摄像头监控的行人计数方法和装置 | |
| Nguyen et al. | Lmgp: Lifted multicut meets geometry projections for multi-camera multi-object tracking | |
| KR101348680B1 (ko) | 영상추적기를 위한 표적포착방법 및 이를 이용한 표적포착장치 | |
| CN103679745B (zh) | 一种运动目标检测方法及装置 | |
| US11501536B2 (en) | Image processing method, an image processing apparatus, and a surveillance system | |
| CN112465855B (zh) | 客流统计方法、装置、存储介质及设备 | |
| CN110706258A (zh) | 对象追踪方法及装置 | |
| CN113920585A (zh) | 行为识别方法及装置、设备和存储介质 | |
| CN111951312B (zh) | 图像配准、图像采集时间配准方法、装置、设备及介质 | |
| WO2018179119A1 (ja) | 映像解析装置、映像解析方法および記録媒体 | |
| Chae et al. | Siamevent: Event-based object tracking via edge-aware similarity learning with siamese networks | |
| CN110807375A (zh) | 基于深度图像的人头检测方法、装置、设备及存储介质 | |
| CN106683113A (zh) | 特征点跟踪方法和装置 | |
| WO2022028576A1 (zh) | 图像配准方法及装置、计算机设备、介质 | |
| CN111898471B (zh) | 一种行人跟踪方法和装置 | |
| Li et al. | DualBEV: CNN is All You Need in View Transformation | |
| CN113111847A (zh) | 一种工序循环的自动监测方法、装置和系统 | |
| CN110826455A (zh) | 一种目标识别方法及图像处理设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |