CN111951312A - 图像配准、图像采集时间配准方法、装置、设备及介质 - Google Patents
图像配准、图像采集时间配准方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111951312A CN111951312A CN202010784874.6A CN202010784874A CN111951312A CN 111951312 A CN111951312 A CN 111951312A CN 202010784874 A CN202010784874 A CN 202010784874A CN 111951312 A CN111951312 A CN 111951312A
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- sensor
- acquisition time
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000008859 change Effects 0.000 claims description 34
- 230000000007 visual effect Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例公开了一种图像配准、图像采集时间配准方法、装置、设备及介质。该图像配准方法包括：对动态视觉传感器和图像传感器进行图像采集时间配准；根据图像采集时间配准结果，对所述动态视觉传感器和所述图像传感器进行图像空间配准；基于图像空间配准结果以及所述图像采集时间配准结果，使用所述图像传感器输出的图像帧对所述动态视觉传感器输出的数据进行图像配准。上述技术方案实现了动态视觉传感器和图像传感器间的图像配准，配准后动态视觉传感器图像对物体的感知能力更强。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像配准、图像采集时间配准方法、装置、设备及介质。
背景技术
动态视觉传感器(Dynamic Vision Sensor，DVS)擅长捕获运动物体的时域信息，具有很强的时间灵敏度，但对静态图像的捕获能力不足。
相关技术中，动态视觉传感器可同时输出事件流和可见光图像，相当于是一种内部配准的机制，但输出的可见光图像为黑白图，分辨率较低，且输出可见光图像会影响事件流的输出速度，使此方案具有一定的局限性。因此，如何提升动态视觉传感器的物体感知能力(例如物体颜色、物体轮廓灯)是亟待解决的问题。
发明内容
本发明实施例提供一种图像配准、图像采集时间配准方法、装置、设备及介质，以提升动态视觉传感器的物体感知能力。
第一方面，本发明实施例还提供了一种图像配准方法，包括：
对动态视觉传感器和图像传感器进行图像采集时间配准；
根据图像采集时间配准结果，对所述动态视觉传感器和所述图像传感器进行图像空间配准；
基于图像空间配准结果以及所述图像采集时间配准结果，使用所述图像传感器输出的图像帧对所述动态视觉传感器输出的数据进行图像配准。
第二方面，本发明实施例还提供了一种图像采集时间配准方法，包括：
响应于至少两次拍摄场景变化，分别获取与每次所述拍摄场景变化对应的动态视觉传感器输出的一个事件序列的事件序号，以及与每次所述拍摄场景变化对应的图像传感器输出的一组图像帧的帧序号；
根据各个所述事件序列的事件序号以及各组所述图像帧的帧序号，确定所述动态视觉传感器和所述图像传感器之间的图像采集时间配准参数。
第三方面，本发明实施例还提供了一种图像配准装置，包括：
传感器间图像采集时间配准模块，设置为对动态视觉传感器和图像传感器进行图像采集时间配准；
传感器间图像空间配准模块，设置为根据图像采集时间配准结果，对所述动态视觉传感器和所述图像传感器进行图像空间配准；
图像配准模块，设置为基于图像空间配准结果以及所述图像采集时间配准结果，使用所述图像传感器输出的图像帧对所述动态视觉传感器输出的数据进行图像配准。
第四方面，本发明实施例还提供了一种图像采集时间配准装置，包括：
传感器图像采集时序信息获取模块，设置为响应于至少两次拍摄场景变化，分别获取与每次所述拍摄场景变化对应的动态视觉传感器输出的一个事件序列的事件序号，以及与每次所述拍摄场景变化对应的图像传感器输出的一组图像帧的帧序号；
传感器间图像采集时间配准模块，设置为根据各个所述事件序列的事件序号以及各组所述图像帧的帧序号，确定所述动态视觉传感器和所述图像传感器之间的图像采集时间配准参数。
第五方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的图像配准方法，或者实现如本发明任意实施例所述的图像采集时间配准方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的图像配准方法，或者实现如本发明任意实施例所述的图像采集时间配准方法。
本发明实施例提供的技术方案，针对动态视觉传感器和图像传感器，首先进行图像采集时间配准，然后基于图像采集时间配准结果进行图像空间配准，进而可以基于动态视觉传感器和图像传感器之间的图像采集时间配准结果和图像空间配准结果，使用图像传感器输出的图像帧对由动态视觉传感器输出的数据进行图像配准，以此实现了动态视觉传感器和图像传感器之间的图像配准，配准后动态视觉传感器图像的物体感知能力更强。
附图说明
图1是本发明实施例一中的一种图像配准方法的流程图；
图2是本发明实施例二中的一种图像配准方法的流程图；
图3是本发明实施例二中的一种基于特征的图像配准方法的流程图；
图4是本发明实施例三中的一种图像配准方法的流程图；
图5是本发明实施例四中的一种图像采集时间配准方法的流程图；
图6是本发明实施例五中的一种图像配准装置的结构示意图；
图7是本发明实施例六中的一种图像采集时间配准装置的结构示意图；
图8是本发明实施例七中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
为了便于理解，将本发明实施例的主要发明构思进行简述。
动态视觉传感器是一种事件驱动型光电传感器，根据每个像素单元独立感受的光电变化，将激活像素点的位置、事件(ON/OFF)、时间戳等信息编码输出，输出的是事件数据，如<xd,yd,t,c>所示，其中，xd,yd代表光强变化的像素的空间位置，t代表时间戳，c代表光强增强或减弱的变化量。动态视觉传感器具有高灵敏度的特点，仅捕捉运动变化的目标，不记录背景信息，减少了生成的数据量，从而降低了对数据存储、数据算力和传输带宽的要求。
传统图像传感器擅长捕获以帧为单位的图像信息，以COMS(Complementary MetalOxide Semiconductor，互补金属氧化物半导体)图像传感器为例，其具有很高的图像分辨率，但时间分辨率比较低，容易造成运动模糊，且生成的数据量大。其中，传统的图像传感器采用全幅触发机制，以点为单位，按帧输出图像，所有像素单元曝光固定时长，并全部一次性输出，具有高分辨率(像素数)、成像质量高的特点，但由于信息量大，所以对数据存储、数据算力和传输带宽要求高。
动态视觉传感器与传统图像传感器结合可以有效地实现高静态空间分辨率和高动态时间分辨率的双高感知。然而，由于两种传感器在焦距、视野范围、光学器件、曝光原理、数据传输方式等各方面均存在不同，导致两种传感器采集的数据很难在像素级别进行精确对应，影响了二者协同工作时对物体空时感知的精确性。因此，如何实现动态视觉传感器和传统图像传感器之间的图像配准是亟待解决的问题，在完成二者之间的图像配准之后，即可根据传统图像传感器输出的图像帧对动态视觉传感器图像进行配准，进而提升动态视觉传感器图像的物体感知能力。
基于上述思考，发明人创造性地提出了一种图像配准方法，该方法包括：对动态视觉传感器和图像传感器进行图像采集时间配准；根据图像采集时间配准结果，对所述动态视觉传感器和所述图像传感器进行图像空间配准；基于图像空间配准结果以及所述图像采集时间配准结果，使用所述图像传感器输出的图像帧对所述动态视觉传感器输出的数据进行图像配准。
实施例一
图1是本发明实施例一提供的一种图像配准方法的流程图，可适用于对动态视觉传感器与传统图像传感器进行图像配准的情况，该方法可以由本发明实施例提供的图像配准装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中，例如可以是与动态视觉传感器以及传统图像传感器建立连接的计算机设备，该计算机设备能够接收并处理接收动态视觉传感器以及传统图像传感器的采集数据。
如图1所示，本实施例提供的图像配准方法，包括：
S110、对动态视觉传感器和图像传感器进行图像采集时间配准。
动态视觉传感器和图像传感器，分别指的是需要进行图像配准的一个动态视觉传感器与一个图像传感器，且二者的拍摄场景是相同的。其中，图像传感器采集图像信息后输出的是图像帧，可选的，此类图像传感器为COMS图像传感器。
图像采集时间配准，指的是将动态视觉传感器和图像传感器的输出信息以图像采集时间为维度进行配准。可选的，将针对同一拍摄场景采集图像信息时图像传感器输出的图像帧与动态视觉传感器输出的事件数据在时序方面进行配准，以实现对动态视觉传感器和图像传感器进行图像采集时间配准。
在一种示例中，可以将动态视觉传感器输出的事件系列(由多个事件数据组成)的事件序号信息与图像传感器输出的图像帧的帧序号进行配准，以实现对动态视觉传感器和图像传感器进行图像采集时间配准。其中，事件序号即为动态视觉传感器输出事件数据的时间戳的序号。
可选的，通过确定动态视觉传感器和图像传感器之间的图像采集时间配准参数来实现对动态视觉传感器和图像传感器进行图像采集时间配准。其中，图像采集时间配准参数可以是以图像采集时间为统计维度时动态视觉传感器和图像传感器的输出信息数量之间的对应比例关系。
在一种可选的实施方式中，S110可以包括：响应于至少两次拍摄场景变化，分别获取与每次拍摄场景变化对应的动态视觉传感器输出的一个事件序列的事件序号，以及与每次拍摄场景变化对应的图像传感器输出的一组图像帧的帧序号；根据各个事件序列的事件序号以及各组图像帧的帧序号，确定动态视觉传感器和图像传感器之间的图像采集时间配准参数，并将图像采集时间配准参数作为图像采集时间配准结果。
其中，拍摄场景变化指的是动态视觉传感器或者图像传感器采集的图像信息发生变化，例如可以是拍摄场景中存在移动的目标物体，例如还可以是拍摄场景中光强(或者光源等)发生变化，等等。
在每次拍摄场景发生变化时，确定动态视觉传感器在此次变化过程中输出的事件序列，并获取该事件序列中与每个事件数据对应的事件序号，同时确定图像传感器在此次变化过程中输出的一组图像帧(其中，一组图像帧中可以包括一个或多个图像帧)，并获取其中每个图像帧的帧序号。
进而，根据在多次拍摄场景发生变化的过程中获取到的各个事件序列的事件序号信息以及各组图像帧的帧序号，确定动态视觉传感器和图像传感器之间的图像采集时间配准参数，也即确定以图像采集时间为维度动态视觉传感器输出的事件数量与图像传感器的输出的图像帧数量之间的对应比例关系，如在同一个拍摄场景中动态视觉传感器输出的m个事件数据对应于图像传感器的输出的一个图像帧。
可选的，对在多次拍摄场景发生变化的过程中获取到的各个事件序列的事件序号信息以及各组图像帧的帧序号进行统计分析，根据统计分析结果确定动态视觉传感器和图像传感器之间的图像采集时间配准参数。
作为本实施例一种可选的实施方式，根据各个事件序列的事件序号以及各组图像帧的帧序号，确定动态视觉传感器和图像传感器之间的图像采集时间配准参数，可以包括：
分别确定每个事件序列的事件序号均值；根据各个事件序列的事件序号均值以及各组图像帧的帧序号，分别确定事件序号均值的变化量与帧序号的变化量的各个对应比例，并将各个对应比例的均值作为图像采集时间配准参数。
假设，拍摄场景变化的次数为n，在第一次拍摄场景变化中获取到的一个事件序列中各个事件的事件序号分别为t10、t11、…、t1m，取t10、t11、…、t1m的均值t1avg作为该事件序列的事件序号均值，类似的，计算得到的各个事件序列的事件序号均值t1avg、t2avg、…、tnavg。
事件序号均值的变化量，指的是与连续两次拍摄场景变化分别对应的两个连续事件序列的事件序号均值的差值，即为tnavg-t(n-1)avg；帧序号的变化量，指的是与连续两次拍摄场景变化分别对应的两组视频帧中最后一个图像帧的帧序号的差值，假设n组视频帧中最后一个图像帧的帧序号依次为n1、n2、…、nn，则连续两组图像帧的帧序号的变化量为nn-n(n-1)。
值得指出的是，各组图像帧的帧序号是连续的，例如在第一次拍摄场景变化中获取到的一组图像帧中各个图像帧的帧序号为1、2、…、n1，则在第二次拍摄场景变化中获取到的一组图像帧的帧序号从n1+1开始计数。
事件序号均值的变化量与帧序号的变化量的比例，指的是与连续两次拍摄场景变化对应的事件序号均值的变化量和帧序号的变化量的比值，即(tnavg-t(n-1)avg)/(nn-n(n-1))。
根据拍摄场景变化次数n，可以得到(n-1)个事件序号均值的变化量与帧序号的变化量的对应比例，计算这(n-1)个对应比例的均值，并将该均值作为图像采集时间配准参数。
在一种示例性的实施方式中，采用一个闪烁的光源来实现拍摄场景的变化，该光源以脉冲形式发光，分别使用动态视觉传感器和图像传感器来录制此场景。当动态视觉传感器检测到闪烁光源时，会在光强变化瞬间(增强或减弱)输出事件序列，取事件序列中各个事件的事件序号的均值作为动态视觉传感器的时间标记。同时，图像传感器进行录像并输出各个图像帧的帧序号，将最后一个图像帧的帧序号与动态视觉传感器的时间标记进行关联，即可得到一个动态视觉传感器的时间标记与图像传感器的图像帧序号的对应关系。随着光源再次闪烁，记录下一个动态视觉传感器的时间标记与图像传感器的图像帧序号的对应关系，从而可以得到时间标记的变化量(也即事件序号均值的变化量)与图像帧序号的变化量的关系，也即时间标记的变化量与图像帧序号的变化量的相对比例。类似的，可以得到多个时间标记的变化量与图像帧序号的变化量的相对比例，取这些相对比例的平均值，作为动态视觉传感器与图像传感器之间的图像采集时间配准参数。
在另一种可选的实施方式中，还可以分别计算事件序号均值变化量的均值，以及帧序号变化量的均值，将事件序号均值变化量的均值与帧序号变化量的均值的比值作为图像采集时间配准参数。
在一种可选的示例中，图像采集时间配准参数为事件序号变化量与帧序号变化量的比例，其中，帧序号变化量为1，也即图像采集时间配准参数指示图像传感器输出一个图像帧对应的动态视觉传感器的事件序号变化量。
S120、根据图像采集时间配准结果，对动态视觉传感器和图像传感器进行图像空间配准。
图像采集时间配准结果，指的是动态视觉传感器与图像传感器关于图像采集时间的配准详情，可选的，图像采集时间配准结果即为图像采集时间配准参数。
图像空间配准，指的是将动态视觉传感器和图像传感器的输出信息以图像信息为维度进行配准。可选的，将动态视觉传感器和图像传感器在目标配准时间域内输出的图像信息在像素方面进行配准，以实现对动态视觉传感器和图像传感器进行图像空间配准。
基于图像采集时间配准结果，获取图像采集时间配准后的动态视觉传感器的输出数据以及图像传感器的输出数据，对这些输出数据进行图像配准即可实现对动态视觉传感器和图像传感器的图像空间配准。
作为一种可选的实施方式，根据图像采集时间配准结果，对动态视觉传感器和图像传感器进行图像空间配准，可以包括：
根据图像采集时间配准结果，获取动态视觉传感器在目标配准时间域内输出的目标事件数据，以及图像传感器在目标配准时间域内输出的目标图像帧；根据目标事件数据以及目标图像帧，对动态视觉传感器和图像传感器进行图像空间配准。
目标配准时间域，指的是与动态视觉传感器以及图像传感器对应的一个相同时间域，在目标配准时间域内动态视觉传感器和图像传感器采集的图像源是相同的。也即，动态视觉传感器在目标配准时间域内输出的事件数据(也可称之为事件流数据)，与图像传感器在目标配准时间域内输出的图像帧，在时间维度是配准的。
其中，针对动态视觉传感器而言，目标配准时间域可以根据输出事件数据的事件序号来确定；针对图像传感器而言，目标配准时间域可以根据输出图像帧的数量来确定。
例如，可以首先根据选取的图像传感器输出图像帧的帧序号变化量以及图像采集时间配准参数，确定与动态视觉传感器对应的事件序号变化量，然后根据选取的图像传感器输出图像帧的帧序号，以及动态视觉传感器输出事件数据的时序，获取动态视觉传感器输出的与该事件序号变化量对应的各个事件数据，即为动态视觉传感器在目标配准时间域内输出的目标事件数据。相应的，选取的图像传感器输出图像帧即为图像传感器在目标配准时间域输出的目标图像帧。
可选的，在本步骤中确定的目标配准时间域内图像传感器输出的图像帧的数量至少为一个。
根据目标事件数据以及目标图像帧，对动态视觉传感器和图像传感器进行图像空间配准时，可选的，根据动态视觉传感器在目标配准时间域内输出的目标事件数据构建图像帧，并将构建的图像帧与目标配准时间域内由图像传感器输出的图像帧进行图像配准，以实现对动态视觉传感器和图像传感器进行图像空间配准。
S130、基于图像空间配准结果以及图像采集时间配准结果，使用图像传感器输出的图像帧对动态视觉传感器输出的数据进行图像配准。
图像空间配准结果，指的是动态视觉传感器与图像传感器关于图像信息的配准详情，可选的，图像空间配准结果即为图像空间配准参数。
可选的，动态视觉传感器输出的数据包括事件数据以及根据事件数据构建的事件流特征帧中的至少一种。
在使用图像传感器输出的图像帧对动态视觉传感器输出的事件数据进行图像配准时，首先基于图像采集时间配准结果确定与待配准的事件数据对应的图像传感器输出的图像帧，然后基于图像空间配准结果，使用该图像帧对待配准的事件数据进行图像配准。重复上述流程，即可实现对动态视觉传感器输出的所有事件数据进行配准。
其中，基于图像采集时间配准结果可能确定一个图像帧对应于多个事件数据，进而可以使用这个图像帧对多个事件数据分别进行图像配准。
在使用图像传感器输出的图像帧对根据动态视觉传感器输出的事件数据构建的事件流特征帧进行图像配准时，首先基于时间累积，将目标时间段内(例如为与图像传感器输出一个图像帧对应的时间段内)的多个事件数据构建成事件流特征帧，然后基于图像采集时间配准结果获取与该目标时间段对应的图像传感器输出的图像帧，最后基于图像空间配准结果，使用图像帧对事件流特征帧进行图像配准。重复上述流程，即可实现对动态视觉传感器各个目标时间段内的由多个事件数据构建成的事件流特征帧进行配准。
本发明实施例提供的技术方案，针对动态视觉传感器和图像传感器，首先进行图像采集时间配准，然后基于图像采集时间配准结果进行图像空间配准，进而可以基于动态视觉传感器和图像传感器之间的图像采集时间配准结果和图像空间配准结果，使用图像传感器输出的图像帧对由动态视觉传感器输出的数据进行图像配准，以此实现了动态视觉传感器和图像传感器之间的图像配准，配准后动态视觉传感器图像的物体感知能力更强。
实施例二
图2是本发明实施例二提供的一种图像配准方法的流程图。本实施例在上述实施例的基础上进行具体化，其中，根据所述目标事件数据以及所述目标图像帧，对所述动态视觉传感器和所述图像传感器进行图像空间配准，可以包括：
根据所述目标事件数据，构建至少一个目标图像帧对应的事件流特征帧；确定所述至少一个目标图像帧对应的特征描述子图像帧；对所述至少一个目标图像帧对应的事件流特征帧与特征描述子图像帧进行基于特征的图像配准，得到动态视觉传感器和图像传感器之间的图像空间配准参数，并经图像空间配准参数作为图像空间配准结果。
如图2所示，本实施例提供的图像配准方法，包括：
S210、对动态视觉传感器和图像传感器进行图像采集时间配准。
S220、根据图像采集时间配准结果，获取动态视觉传感器在目标配准时间域内输出的目标事件数据，以及图像传感器在所述目标配准时间域内输出的目标图像帧。
S230、根据目标事件数据，构建至少一个目标图像帧对应的事件流特征帧。
动态视觉传感器在目标配准时间域内输出的目标事件数据是多个事件数据的组合，也即在目标配准时间域内动态视觉传感器输出的事件流数据。基于时间累积，将在某一个时间段范围内的事件数据收集在一起，并构建成图像帧，称之为事件流特征帧。可选的，将与图像传感器输出一个图像帧对应的时间范围内的事件数据收集在一起，构建事件流特征帧。
当目标配准时间域内图像传感器输出的目标图像帧的数量为多个时，根据动态视觉传感器在目标配准时间域内输出的目标事件数据构建的事件流特征帧也为多个。
S240、确定至少一个目标图像帧对应的特征描述子图像帧。
根据在目标配准时间域内图像传感器输出的至少一个目标图像帧，通过预设方法得到与至少一个目标图像帧对应的特征描述子图像帧。
获取在目标配准时间域内图像传感器输出的目标图像帧，对该目标图像帧进行时序特征特提取，生成与该目标图像帧对应的特征描述子图像帧。
可选的，对图像传感器按照帧采集的图像提取边缘轮廓，生成对应的特征描述子图像帧。其中，可以采用帧差法或者使用滤波器滤波的方法来提取图像边缘轮廓，本实施例对此不作具体限定。
S250、对至少一个目标图像帧对应的事件流特征帧与特征描述子图像帧进行基于特征的图像配准，得到动态视觉传感器和图像传感器之间的图像空间配准参数，并将图像空间配准参数作为图像空间配准结果。
通过图像传感器输出的目标图像帧确定的图像边缘轮廓和动态视觉传感器采集的光强变化帧数据具有类似性，也即特征描述子图像帧与构建的事件流特征帧具有类似性，因此，可以通过基于特征的图像配准方法确定两个图像帧的图像配准参数，作为动态视觉传感器和图像传感器之间的图像空间配准参数。
其中，将特征描述子图像帧作为基准图像，事件流特征帧作为待配准图像。如图3所示，基于特征的图像配准方法的核心步骤为：
1)特征检测，对基准图像和待配准图像进行关键点检测及图像特征提取，如图像边缘、轮廓等；
2)特征匹配，使用特征描述符、相似性度量等建立基准图像和待配准图像之间的相关性；
3)模型参数估计，可以基于配准时所用到的空间变换模型、配准的相似性测度准则以及空间变换矩阵，确定图像配准参数；
4)图像转换配准，基于确定的图像配准参数，使用基准图像对待配准图像进行图像配准。
值得指出的是，在目标配准时间域内图像传感器输出的图像帧的数量为多个时，可以将在目标配准时间域内获取的事件数据按照图像传感器输出图像帧的数量分为多个事件序列，并基于其中一个事件序列构建事件流特征帧。进而，使用与该事件序列对应的一个图像帧的特征描述子图像帧对该事件流特征帧进行图像配准，以确定动态视觉传感器和图像传感器之间的图像空间配准参数。
S260、基于图像空间配准结果以及图像采集时间配准结果，使用图像传感器输出的图像帧对动态视觉传感器输出的数据进行图像配准。
在一种可选的的实施方式中，基于图像空间配准结果以及图像采集时间配准结果，使用图像传感器输出的图像帧对动态视觉传感器输出的数据进行图像配准，可以包括：
基于图像采集时间配准结果，确定图像传感器输出的图像帧，以及与所述图像帧对应的动态视觉传感器采集到的至少一个数据；基于图像空间配准参数，使用图像帧对至少一个数据进行图像配准。
其中，动态视觉传感器输出的数据包括事件数据以及根据事件数据构建的事件流特征帧中的至少一种。
首先，基于图像采集时间配准结果，确定图像传感器输出的图像帧，以及与图像帧对应的动态视觉传感器输出的数据。其中，图像传感器输出的图像帧与动态视觉传感器输出的数据是属于同一个时间域。然后，基于图像空间配准参数，利用目标图像帧对动态视觉传感器输出的数据进行图像配准。
其中，图像传感器输出图像帧的数量可以是一个或多个，当数量为多个时，依次使用每个图像帧对动态视觉传感器输出的相应数据进行配准即可，直至处理完图像传感器输出的所有图像帧。
在选取一个图像帧之后，首先，根据图像采集时间配准结果(例如为图像采集时间配准参数)确定与该图像帧对应的动态视觉传感器采集到的多个事件数据；其次，基于动态视觉传感器与图像传感器之间的图像空间配准参数，使用该图像帧对这些事件数据进行图像配准，或者，使用该图像帧对由这些事件数据构建的事件流特征帧进行图像配准。
本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。
上述技术方案，实现了动态视觉传感器和图像传感器之间的图像配准，配准后动态视觉传感器图像的物体感知能力更强；同时，将基于特征的图像配准方法应用于事件流数据上，提供了一种处理事件流数据的实现方式，解决了现有大多图像处理方法及图像检测方法无法直接用于处理事件流的问题。
实施例三
图4是本发明实施例三提供的一种图像配准方法的流程图。本实施例提供了一种可选的实施方式，其中，图像传感器可以为COMS图像传感器。
如图4所示，本实施例提供的图像配准方法，包括：
S410、响应于至少两次拍摄场景变化，分别获取与每次拍摄场景变化对应的动态视觉传感器输出的一个事件序列的事件序号，以及与每次拍摄场景变化对应的CMOS图像传感器输出的一组图像帧的帧序号，并分别确定每个事件序列的事件序号均值。
值得指出的是，动态视觉传感器和CMOS图像传感器的使用设备、场景配置以及数据记录配置应与实际使用场景中保持一致。
S420、根据各个事件序列的事件序号均值以及各组图像帧的帧序号，分别确定事件序号均值的变化量与帧序号的变化量的各个对应比例，并将各个对应比例的均值作为动态视觉传感器和CMOS图像传感器之间的图像采集时间配准参数。
取每个事件序列的事件序号均值作为动态视觉传感器的时间标记，每组图像帧中最后一个图像帧的帧序号作为CMOS图像传感器的时间标记。分别计算连续两个事件序列的事件序号均值的变化量，以及连续两组图像帧中最后一个图像帧的帧序号的变化量，取二者变化量的比值，反复多次，直至变化量的比值处于设定变化区间，取这些比值的均值，作为动态视觉传感器和CMOS图像传感器之间的图像采集时间配准参数。
S430、基于图像采集时间配准参数，获取动态视觉传感器在目标配准时间域内输出的目标事件数据，以及CMOS图像传感器在目标配准时间域内输出的目标图像帧。
在确定动态视觉传感器和CMOS图像传感器之间的图像采集时间配准参数之后，基于图像采集时间配准参数进行动态视觉传感器和CMOS图像传感器之间图像空间配准。
值得指出的是，动态视觉传感器和CMOS图像传感器的使用设备、场景配置以及数据记录配置应与实际使用场景中保持一致，也即与S410图像采集时间配准场景中保持一致。
S440、根据在目标配准时间域内动态视觉传感器输出的多个事件数据，构建事件流特征帧。
S450、根据在目标配准时间域内CMOS图像传感器输出的图像帧，通过预设方法得到与图像帧对应的特征描述子图像帧。
可选的，通过帧差法或者滤波器滤波法得到特征描述子图像帧。
S460、对事件流特征帧与特征描述子图像帧进行基于特征的图像配准，得到动态视觉传感器和CMOS图像传感器之间的图像空间配准参数。
通过基于特征的图像配准方法，确定事件流特征帧与特征描述子图像帧之间的空间配准参数，作为动态视觉传感器和CMOS图像传感器之间的图像空间配准参数。
S470、基于图像空间配准结果以及图像采集时间配准结果，使用CMOS图像传感器输出的图像帧对根据动态视觉传感器输出的事件数据构建的事件流特征帧进行图像配准。
本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。
在上述技术方案中，通过CMOS图像传感器输出的图像帧对动态视觉传感器进行图像配准，提升了动态视觉传感器的物体感知能力，例如颜色、边缘等，两种不同模式的传感器结合实现了高静态空间分辨率-高动态时间分辨率的双高感知，同时也减小了CMOS图像传感器对数据存储、数据算力和传输带宽的要求。
实施例四
图5是本发明实施例四提供的一种图像采集时间配准方法的流程图，可适用于对动态视觉传感器与传统图像传感器进行时间配准的情况，该方法可以由本发明实施例提供的图像采集时间配准装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中，例如可以是与动态视觉传感器以及传统图像传感器建立连接的计算机设备，该计算机设备能够接收并处理接收动态视觉传感器以及传统图像传感器的采集数据。
如图5所示，本实施例提供的图像采集时间配准方法，包括：
S510、响应于至少两次拍摄场景变化，分别获取与每次拍摄场景变化对应的动态视觉传感器输出的一个事件序列的事件序号，以及与每次拍摄场景变化对应的图像传感器输出的一组图像帧的帧序号。
S520、根据各个事件序列的事件序号以及各组图像帧的帧序号，确定动态视觉传感器和图像传感器之间的图像采集时间配准参数。
作为本实施例一种可选的实施方式，S520可以包括：
分别确定每个事件序列的事件序号均值；根据各个事件序列的事件序号均值以及各组图像帧的帧序号，分别确定事件序号均值的变化量与帧序号的变化量的各个对应比例，并将各个对应比例的均值作为图像采集时间配准参数。
本实施例未尽详细解释之处请参见前述实施例，在此不再赘述。
本实施例提供的技术方案实现了不同模式的传感器之间的时间配准，适用于需要对动态视觉传感器与传统图像传感器进行时间配准的应用场景。
实施例五
图6是本发明实施例五提供的一种图像配准装置的结构示意图，可适用于对动态视觉传感器与传统图像传感器进行图像配准的情况，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中，例如可以是与动态视觉传感器以及传统图像传感器建立连接的计算机设备，该计算机设备能够接收并处理接收动态视觉传感器以及传统图像传感器的采集数据。
如图6所示，该图像配准装置包括：传感器间图像采集时间配准模块610、传感器间图像空间配准模块620和图像配准模块630。其中，
传感器间图像采集时间配准模块610，设置为对动态视觉传感器和图像传感器进行图像采集时间配准；
传感器间图像空间配准模块620，设置为根据图像采集时间配准结果，对所述动态视觉传感器和所述图像传感器进行图像空间配准；
图像配准模块630，设置为基于图像空间配准结果以及所述图像采集时间配准结果，使用所述图像传感器输出的图像帧对所述动态视觉传感器输出的数据进行图像配准。
本发明实施例提供的技术方案，针对动态视觉传感器和图像传感器，首先进行图像采集时间配准，然后基于图像采集时间配准结果进行图像空间配准，进而可以基于动态视觉传感器和图像传感器之间的图像采集时间配准结果和图像空间配准结果，使用图像传感器输出的图像帧对由动态视觉传感器输出的事件数据构建的事件流特征帧进行图像配准，以此实现了动态视觉传感器和图像传感器之间的图像配准，配准后动态视觉传感器图像的物体感知能力更强。
可选的，传感器间图像空间配准模块620包括：
图像空间配准数据获取单元，设置为根据图像采集时间配准结果，获取所述动态视觉传感器在目标配准时间域内输出的目标事件数据，以及所述图像传感器在所述目标配准时间域内输出的目标图像帧；
传感器间图像空间配准单元，设置为根据所述目标事件数据以及所述目标图像帧，对所述动态视觉传感器和所述图像传感器进行图像空间配准。
可选的，传感器间图像采集时间配准模块610，包括：
传感器图像采集时序信息获取单元，设置为响应于至少两次拍摄场景变化，分别获取与每次所述拍摄场景变化对应的所述动态视觉传感器输出的一个事件序列的事件序号，以及与每次所述拍摄场景变化对应的所述图像传感器输出的一组图像帧的帧序号；
传感器间图像采集时间配准单元，设置为根据各个所述事件序列的事件序号以及各组所述图像帧的帧序号，确定所述动态视觉传感器和所述图像传感器之间的图像采集时间配准参数，并将所述图像采集时间配准参数作为所述图像采集时间配准结果。
进一步的，传感器间图像采集时间配准单元，设置为分别确定每个所述事件序列的事件序号均值；根据各个所述事件序列的事件序号均值以及各组所述图像帧的帧序号，分别确定事件序号均值的变化量与帧序号的变化量的各个对应比例，并将所述各个对应比例的均值作为所述图像采集时间配准参数。
可选的，传感器间图像空间配准单元，设置为根据所述目标事件数据，构建至少一个目标图像帧对应的事件流特征帧；确定所述至少一个目标图像帧对应的特征描述子图像帧；对所述至少一个目标图像帧对应的事件流特征帧与所述特征描述子图像帧进行基于特征的图像配准，得到所述动态视觉传感器和所述图像传感器之间的图像空间配准参数，并将所述图像空间配准参数作为所述图像空间配准结果。
进一步的，图像配准模块630，可以设置为基于所述图像采集时间配准结果，确定所述图像传感器输出的图像帧，以及与所述图像帧对应的所述动态视觉传感器采集到的至少一个数据；基于所述图像空间配准参数，使用所述图像帧对所述至少一个数据进行图像配准。
可选的，所述动态视觉传感器输出的数据包括事件数据以及根据事件数据构建的事件流特征帧中的至少一种。
上述图像配准装置可执行本发明任意实施例所提供的图像配准方法，具备执行的图像配准方法相应的功能模块和有益效果。
实施例六
图7是本发明实施例六提供的一种图像采集时间配准装置的结构示意图，可适用于对动态视觉传感器与传统图像传感器进行时间配准的情况，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中，例如可以是与动态视觉传感器以及传统图像传感器建立连接的计算机设备，该计算机设备能够接收并处理接收动态视觉传感器以及传统图像传感器的采集数据。
如图7所示，该图像采集时间配准装置包括：传感器图像采集时序信息获取模块710和传感器间图像采集时间配准模块720。其中，
传感器图像采集时序信息获取模块710，设置为响应于至少两次拍摄场景变化，分别获取与每次所述拍摄场景变化对应的动态视觉传感器输出的一个事件序列的事件序号，以及与每次所述拍摄场景变化对应的图像传感器输出的一组图像帧的帧序号；
传感器间图像采集时间配准模块720，设置为根据各个所述事件序列的事件序号以及各组所述图像帧的帧序号，确定所述动态视觉传感器和所述图像传感器之间的图像采集时间配准参数。
本实施例提供的技术方案实现了不同模式的传感器之间的时间配准，适用于需要进行时间配准的应用场景中。
进一步的，传感器间图像采集时间配准模块720，设置为分别确定每个所述事件序列的事件序号均值；根据各个所述事件序列的事件序号均值以及各组所述图像帧的帧序号，分别确定事件序号均值的变化量与帧序号的变化量的各个对应比例，并将所述各个对应比例的均值作为所述图像采集时间配准参数。
上述图像采集时间配准装置可执行本发明任意实施例所提供的图像采集时间配准方法，具备执行的图像采集时间配准方法相应的功能模块和有益效果。
实施例七
图8是本发明实施例七提供的一种计算机设备的结构示意图。如图8所示，该计算机设备包括处理器810、存储器820、输入装置830和输出装置840；计算机设备中处理器810的数量可以是一个或多个，图8中以一个处理器810为例；计算机设备中的处理器810、存储器820、输入装置830和输出装置840可以通过总线或其他方式连接，图8中以通过总线连接为例。
存储器820作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的图像配准方法对应的程序指令/模块(例如，图6所示的图像配准装置中的传感器间图像采集时间配准模块610、传感器间图像空间配准模块620和图像配准模块630)，又如本发明实施例中的图像采集时间配准方法对应的程序指令/模块(例如，图7所示的图像采集时间配准装置中的传感器图像采集时序信息获取模块710和传感器间图像采集时间配准模块720)。处理器810通过运行存储在存储器820中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述图像配准方法或者上述图像采集时间配准方法。
存储器820可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器820可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器820可进一步包括相对于处理器810远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置830可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置840可包括显示屏等显示设备。
实施例八
本发明实施例八还提供一种存储有计算机程序的计算机可读存储介质，计算机程序在由计算机处理器执行时用于执行一种图像配准方法，包括：
对动态视觉传感器和图像传感器进行图像采集时间配准；
根据图像采集时间配准结果，对所述动态视觉传感器和所述图像传感器进行图像空间配准；
基于图像空间配准结果以及所述图像采集时间配准结果，使用所述图像传感器输出的图像帧对所述动态视觉传感器输出的数据进行图像配准。
或者，计算机程序在由计算机处理器执行时用于执行一种图像采集时间配准方法，包括：
响应于至少两次拍摄场景变化，分别获取与每次所述拍摄场景变化对应的动态视觉传感器输出的一个事件序列的事件序号，以及与每次所述拍摄场景变化对应的图像传感器输出的一组图像帧的帧序号；
根据各个所述事件序列的事件序号以及各组所述图像帧的帧序号，确定所述动态视觉传感器和所述图像传感器之间的图像采集时间配准参数。
当然，本发明实施例所提供的存储有计算机程序的计算机可读存储介质，其计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的图像配准方法或者图像采集时间配准方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
值得注意的是，上述图像配准装置以及图像采集时间配准装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (12)
1.一种图像配准方法，其特征在于，包括：
对动态视觉传感器和图像传感器进行图像采集时间配准；
根据图像采集时间配准结果，对所述动态视觉传感器和所述图像传感器进行图像空间配准；
基于图像空间配准结果以及所述图像采集时间配准结果，使用所述图像传感器输出的图像帧对所述动态视觉传感器输出的数据进行图像配准。
2.根据权利要求1所述的方法，其特征在于，根据图像采集时间配准结果，对所述动态视觉传感器和所述图像传感器进行图像空间配准，包括：
根据图像采集时间配准结果，获取所述动态视觉传感器在目标配准时间域内输出的目标事件数据，以及所述图像传感器在所述目标配准时间域内输出的目标图像帧；
根据所述目标事件数据以及所述目标图像帧，对所述动态视觉传感器和所述图像传感器进行图像空间配准。
3.根据权利要求1所述的方法，其特征在于，对动态视觉传感器和图像传感器进行图像采集时间配准，包括：
响应于至少两次拍摄场景变化，分别获取与每次所述拍摄场景变化对应的所述动态视觉传感器输出的一个事件序列的事件序号，以及与每次所述拍摄场景变化对应的所述图像传感器输出的一组图像帧的帧序号；
根据各个所述事件序列的事件序号以及各组所述图像帧的帧序号，确定所述动态视觉传感器和所述图像传感器之间的图像采集时间配准参数，并将所述图像采集时间配准参数作为所述图像采集时间配准结果。
4.根据权利要求3所述的方法，其特征在于，根据各个所述事件序列的事件序号以及各组所述图像帧的帧序号，确定所述动态视觉传感器和所述图像传感器之间的图像采集时间配准参数，包括：
分别确定每个所述事件序列的事件序号均值；
根据各个所述事件序列的事件序号均值以及各组所述图像帧的帧序号，分别确定事件序号均值的变化量与帧序号的变化量的各个对应比例，并将所述各个对应比例的均值作为所述图像采集时间配准参数。
5.根据权利要求2所述的方法，其特征在于，根据所述目标事件数据以及所述目标图像帧，对所述动态视觉传感器和所述图像传感器进行图像空间配准，包括：
根据所述目标事件数据，构建至少一个目标图像帧对应的事件流特征帧；
确定所述至少一个目标图像帧对应的特征描述子图像帧；
对所述至少一个目标图像帧对应的事件流特征帧与所述特征描述子图像帧进行基于特征的图像配准，得到所述动态视觉传感器和所述图像传感器之间的图像空间配准参数，并将所述图像空间配准参数作为所述图像空间配准结果。
6.根据权利要求1所述的方法，其特征在于，基于图像空间配准结果以及所述图像采集时间配准结果，使用所述图像传感器输出的图像帧对所述动态视觉传感器输出的数据进行图像配准，包括：
基于所述图像采集时间配准结果，确定所述图像传感器输出的图像帧，以及与所述图像帧对应的所述动态视觉传感器采集到的至少一个数据；
基于所述图像空间配准参数，使用所述图像帧对所述至少一个数据进行图像配准。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述动态视觉传感器输出的数据包括事件数据以及根据事件数据构建的事件流特征帧中的至少一种。
8.一种图像采集时间配准方法，其特征在于，包括：
响应于至少两次拍摄场景变化，分别获取与每次所述拍摄场景变化对应的动态视觉传感器输出的一个事件序列的事件序号，以及与每次所述拍摄场景变化对应的图像传感器输出的一组图像帧的帧序号；
根据各个所述事件序列的事件序号以及各组所述图像帧的帧序号，确定所述动态视觉传感器和所述图像传感器之间的图像采集时间配准参数。
9.一种图像配准装置，其特征在于，包括：
传感器间图像采集时间配准模块，设置为对动态视觉传感器和图像传感器进行图像采集时间配准；
传感器间图像空间配准模块，设置为根据图像采集时间配准结果，对所述动态视觉传感器和所述图像传感器进行图像空间配准；
图像配准模块，设置为基于图像空间配准结果以及所述图像采集时间配准结果，使用所述图像传感器输出的图像帧对所述动态视觉传感器输出的数据进行图像配准。
10.一种图像采集时间配准装置，其特征在于，包括：
传感器图像采集时序信息获取模块，设置为响应于至少两次拍摄场景变化，分别获取与每次所述拍摄场景变化对应的动态视觉传感器输出的一个事件序列的事件序号，以及与所每次述拍摄场景变化对应的图像传感器输出的一组图像帧的帧序号；
传感器间图像采集时间配准模块，设置为根据各个所述事件序列的事件序号以及各组所述图像帧的帧序号，确定所述动态视觉传感器和所述图像传感器之间的图像采集时间配准参数。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法，或者实现如权利要求8所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法，或者实现如权利要求8所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010784874.6A CN111951312A (zh) | 2020-08-06 | 2020-08-06 | 图像配准、图像采集时间配准方法、装置、设备及介质 |
| PCT/CN2021/111207 WO2022028576A1 (zh) | 2020-08-06 | 2021-08-06 | 图像配准方法及装置、计算机设备、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010784874.6A CN111951312A (zh) | 2020-08-06 | 2020-08-06 | 图像配准、图像采集时间配准方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111951312A true CN111951312A (zh) | 2020-11-17 |
Family
ID=73332981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010784874.6A Pending CN111951312A (zh) | 2020-08-06 | 2020-08-06 | 图像配准、图像采集时间配准方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111951312A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022028576A1 (zh) * | 2020-08-06 | 2022-02-10 | 北京灵汐科技有限公司 | 图像配准方法及装置、计算机设备、介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140064554A1 (en) * | 2011-11-14 | 2014-03-06 | San Diego State University Research Foundation | Image station matching, preprocessing, spatial registration and change detection with multi-temporal remotely-sensed imagery |
| WO2016148825A1 (en) * | 2015-03-19 | 2016-09-22 | Intel Corporation | Acoustic camera based audio visual scene analysis |
| CN106683125A (zh) * | 2017-01-11 | 2017-05-17 | 中国矿业大学 | 一种基于2d/3d模态切换的rgb‑d图像配准方法 |
| CN108012080A (zh) * | 2017-12-04 | 2018-05-08 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN108734739A (zh) * | 2017-04-25 | 2018-11-02 | 北京三星通信技术研究有限公司 | 用于时间对齐标定、事件标注、数据库生成的方法及装置 |
-
2020
- 2020-08-06 CN CN202010784874.6A patent/CN111951312A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140064554A1 (en) * | 2011-11-14 | 2014-03-06 | San Diego State University Research Foundation | Image station matching, preprocessing, spatial registration and change detection with multi-temporal remotely-sensed imagery |
| US20180268239A1 (en) * | 2011-11-14 | 2018-09-20 | San Diego State University Research Foundation | Method and System of Image-Based Change Detection |
| WO2016148825A1 (en) * | 2015-03-19 | 2016-09-22 | Intel Corporation | Acoustic camera based audio visual scene analysis |
| CN106683125A (zh) * | 2017-01-11 | 2017-05-17 | 中国矿业大学 | 一种基于2d/3d模态切换的rgb‑d图像配准方法 |
| CN108734739A (zh) * | 2017-04-25 | 2018-11-02 | 北京三星通信技术研究有限公司 | 用于时间对齐标定、事件标注、数据库生成的方法及装置 |
| CN108012080A (zh) * | 2017-12-04 | 2018-05-08 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 丁莹;范静涛;杨华民;姜会林;: "基于图像配准的动态场景运动目标检测算法", 长春理工大学学报(自然科学版), no. 1, 15 June 2013 (2013-06-15) * |
| 于璐;姚素英;徐江涛;: "一种基于地址-事件表达的实时视觉传感器实现方法", 光学学报, no. 01 * |
| 邓梁;史仪凯;张均田;: "基于时变医学先验信息的约束成像及图像配准方法", 电子与信息学报, no. 12, 15 December 2013 (2013-12-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022028576A1 (zh) * | 2020-08-06 | 2022-02-10 | 北京灵汐科技有限公司 | 图像配准方法及装置、计算机设备、介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111951313B (zh) | 图像配准方法、装置、设备及介质 | |
| Wei et al. | Physics-based noise modeling for extreme low-light photography | |
| US10070053B2 (en) | Method and camera for determining an image adjustment parameter | |
| US11790504B2 (en) | Monitoring method and apparatus | |
| WO2020094091A1 (zh) | 一种图像抓拍方法、监控相机及监控系统 | |
| EP2608529B1 (en) | Camera and method for optimizing the exposure of an image frame in a sequence of image frames capturing a scene based on level of motion in the scene | |
| CN112514373B (zh) | 用于特征提取的图像处理装置和方法 | |
| JP2018170003A (ja) | ビデオ中のイベントの検出装置、方法及び画像処理装置 | |
| US11501536B2 (en) | Image processing method, an image processing apparatus, and a surveillance system | |
| WO2022237591A1 (zh) | 运动对象的识别方法、装置、电子设备及可读存储介质 | |
| CN109726356B (zh) | 一种动态视觉传感器的地址事件流数据去噪方法 | |
| CN111310727A (zh) | 对象检测方法及装置、存储介质、电子装置 | |
| CN113298764B (zh) | 基于图像噪声分析的高速相机成像质量分析方法 | |
| CN111951312A (zh) | 图像配准、图像采集时间配准方法、装置、设备及介质 | |
| CN101102504A (zh) | 一种结合视频编码器的混合运动检测方法 | |
| US10628681B2 (en) | Method, device, and non-transitory computer readable medium for searching video event | |
| CN111696143B (zh) | 一种事件数据的配准方法与系统 | |
| WO2020063688A1 (zh) | 视频场景变化的检测方法、装置及视频采集设备 | |
| CN110430340B (zh) | 一种脉冲阵列信号的降噪方法与系统 | |
| CN107959840A (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| WO2022028576A1 (zh) | 图像配准方法及装置、计算机设备、介质 | |
| CN111601108B (zh) | 监控视频处理方法、装置及视频监控终端 | |
| CN116071813A (zh) | 一种场景检测方法、装置、介质及设备 | |
| CN109194981B (zh) | 远程视频追踪方法、装置、存储介质 | |
| CN111800605A (zh) | 基于枪球联动的车形、车牌传输的方法及系统、设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |