CN108090935A - 混合相机系统及其时间标定方法及装置 - Google Patents

混合相机系统及其时间标定方法及装置 Download PDF

Info

Publication number
CN108090935A
CN108090935A CN201711372440.XA CN201711372440A CN108090935A CN 108090935 A CN108090935 A CN 108090935A CN 201711372440 A CN201711372440 A CN 201711372440A CN 108090935 A CN108090935 A CN 108090935A
Authority
CN
China
Prior art keywords
event
camera
mrow
based cameras
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711372440.XA
Other languages
English (en)
Other versions
CN108090935B (zh
Inventor
李鹏
李一鹏
朱奕霖
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201711372440.XA priority Critical patent/CN108090935B/zh
Publication of CN108090935A publication Critical patent/CN108090935A/zh
Application granted granted Critical
Publication of CN108090935B publication Critical patent/CN108090935B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种混合相机系统及其时间标定方法及装置，其中，方法包括：搭建混合相机系统；运行混合相机系统，并记录event‑based相机拍摄的事件与相机拍摄的视频；获取相机拍摄的视频相邻帧之间的像素变化；将event‑based相机拍摄的事件个数根据视频帧率间隔求和；获取相机的相邻帧之间的像素变化与event‑based相机求和后事件个数的互相关系数；获取event‑based相机与相机时间差，以获得时间对齐结果，进而完成时间标定。该方法可以准确的标定event‑based相机与普通相机的时间关系，避免因数据源时间不同步产生的误差导致系统无法使用，可以使混合相机系统稳定正常运行。

Description

混合相机系统及其时间标定方法及装置
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种混合相机系统及其时间标定方法及装置。
背景技术
无人机在执行任务时，由于GPS(Global Positioning System，全球定位系统)等辅助定位装置在城市环境内准确程度不高。解决GPS问题的最佳途径是视觉导航，也就是用依附在无人机上的摄像头连续地拍摄图像，通过对图像的处理来完成定位和导航工作。然而，仅仅依靠普通帧率的相机，在拍摄时容易因为无人机运动速度过快造成图像的运动模糊，导致位置估计结果偏差较大，可能引起无人机的飞行控制算法出现问题导致坠毁等事故。
现在的搭载视觉定位装置的无人机应用中，由于普通相机传感器自身的限制，避免运动模糊得方式只有提高快门速度，来减小拍摄时每一帧内高速运动的范围。但面临着两个问题，一方面，进光量会大幅减小，导致图像偏暗，可能导致视觉算法无法正常工作；另一方面，这种方式没有从根本上解决普通相机所导致的问题，无法达到本质上的性能提升。
随着传感器技术的发展，出现了一种新的event-based相机。当event-based相机的单个像素点接收的光强产生变化时，该像素点就会输出一个事件，这就保证了它对亮度变化十分敏感，可以感知高时间分辨率的光强变化。与普通相机结合后，一种新型的高空间分辨率与高时间分辨率的混合相机系统就出现了。这套系统可应用于医疗领域与机器人领域，可以提高视觉算法的稳定性，特别适用于高速运动的无人机平台上。然而，这两个相机是分立的硬件，没有统一的硬件触发，因此录制信息的时间戳无法通过硬件对齐，有待解决。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种混合相机系统及其时间标定方法，该方法可以避免因数据源时间不同步产生的误差导致系统无法使用，可以使混合相机系统稳定正常运行。
本发明的另一个目的在于提出一种混合相机系统及其时间标定装置。
为达到上述目的，本发明一方面实施例提出了一种混合相机系统及其时间标定方法，包括以下步骤：搭建混合相机系统，其中，所述混合相机系统由event-based相机、相机与分光片组成；运行所述混合相机系统，并记录所述event-based相机拍摄的事件与所述相机拍摄的视频；获取所述相机拍摄的视频相邻帧之间的像素变化；将所述event-based相机拍摄的事件个数根据视频帧率间隔求和；获取所述相机的相邻帧之间的像素变化与所述event-based相机求和后事件个数的互相关系数；获取所述event-based相机与所述相机时间差，以获得时间对齐结果，进而完成时间标定。
本发明实施例的混合相机系统及其时间标定方法，可以准确的标定event-based相机与普通相机的时间关系，避免因数据源时间不同步产生的误差导致系统无法使用，可以使混合相机系统稳定正常运行。
另外，根据本发明上述实施例的混合相机系统及其时间标定方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述搭建混合相机系统，进一步包括：将所述event-based相机、所述分光片与所述相机的空间位置pD,pS,pC在xy方向平面的投影构成等腰直角三角形，且z方向上的分量相同，所述event-based相机与所述相机位于所述分光片平面两侧，且使所述event-based相机经过所述分光片的反射像与所述相机重合，使得pD’＝pC。
进一步地，在本发明的一个实施例中，所述视频相邻帧之间的像素变化为视频相邻两帧各像素差得绝对值之和，且所述视频帧率间隔为所述相机拍摄视频帧率的倒数。
进一步地，在本发明的一个实施例中，所述event-based相机在任一时间间隔内获得的事件个数是指从时间间隔开始至时间间隔结束内的事件总数其中，Et为在t时刻发生的事件个数，进而所述互相关系数为计算两个信号或者函数f(x)与g(x)之间的相关性，计算公式为：
其中，len(h(x))表示函数h(x)的长度，f(i)为第一个信号，g(i)为第二个信号，i为累加序号，n为相关函数自变量，Rf,g(n)为相关函数，len(f(x))-1为函数f(x)的长度减一。
进一步地，在本发明的一个实施例中，所述获取所述event-based相机与所述相机时间差，进一步包括：寻找互相关函数的最大值位置，并用event-based相机信号长度减去后获得的值，以得到所述event-based相机与所述相机时间差Δt，f*(len(c(x))-1-argmax(Rd,c(n)))，其中f为视频帧率，c(x)为所述相机的相邻帧像素变化函数，d(x)为所述event-based相机求和后事件个数函数。
为达到上述目的，本发明另一方面实施例提出了一种混合相机系统及其时间标定装置，包括：搭建模块，用于搭建混合相机系统，其中，所述混合相机系统由event-based相机、相机与分光片组成；记录模块，用于运行所述混合相机系统，并记录所述event-based相机拍摄的事件与所述相机拍摄的视频；第一获取模块，用于获取所述相机拍摄的视频相邻帧之间的像素变化；求和模块，用于将所述event-based相机拍摄的事件个数根据视频帧率间隔求和；第二获取模块，用于获取所述相机的相邻帧之间的像素变化与所述event-based相机求和后事件个数的互相关系数；时间标定模块，用于获取所述event-based相机与所述相机时间差，以获得时间对齐结果，进而完成时间标定。
本发明实施例的混合相机系统及其时间标定装置，可以准确的标定event-based相机与普通相机的时间关系，避免因数据源时间不同步产生的误差导致系统无法使用，可以使混合相机系统稳定正常运行。
另外，根据本发明上述实施例的混合相机系统及其时间标定装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述搭建混合相机系统，进一步包括：将所述event-based相机、所述分光片与所述相机的空间位置pD,pS,pC在xy方向平面的投影构成等腰直角三角形，且z方向上的分量相同，所述event-based相机与所述相机位于所述分光片平面两侧，且使所述event-based相机经过所述分光片的反射像与所述相机重合，使得pD’＝pC。
进一步地，在本发明的一个实施例中，所述视频相邻帧之间的像素变化为视频相邻两帧各像素差得绝对值之和，且所述视频帧率间隔为所述相机拍摄视频帧率的倒数。
进一步地，在本发明的一个实施例中，所述event-based相机在任一时间间隔内获得的事件个数是指从时间间隔开始至时间间隔结束内的事件总数其中，Et为在t时刻发生的事件个数，进而所述互相关系数为计算两个信号或者函数f(x)与g(x)之间的相关性，计算公式为：
其中，len(h(x))表示函数h(x)的长度，f(i)为第一个信号，g(i)为第二个信号，i为累加序号，n为相关函数自变量，Rf,g(n)为相关函数，len(f(x))-1为函数f(x)的长度减一。
进一步地，在本发明的一个实施例中，所述获取所述event-based相机与所述相机时间差，进一步包括：寻找互相关函数的最大值位置，并用event-based相机信号长度减去后获得的值，以得到所述event-based相机与所述相机时间差Δt，f*(len(c(x))-1-argmax(Rd,c(n)))，其中f为视频帧率，c(x)为所述相机的相邻帧像素变化函数，d(x)为所述event-based相机求和后事件个数函数。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的混合相机系统及其时间标定方法的流程图；
图2为根据本发明一个实施例的混合相机系统及其时间标定方法的流程图；
图3为根据本发明一个实施例的混合相机系统示意图；
图4为根据本发明一个实施例的混合相机系统的时间标定前后信号示意图；
图5为根据本发明实施例的混合相机系统及其时间标定装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的混合相机系统及其时间标定方法及装置，首先将参照附图描述根据本发明实施例提出的混合相机系统及其时间标定方法。
图1是本发明一个实施例的混合相机系统及其时间标定方法的流程图。
如图1所示，该混合相机系统及其时间标定方法包括以下步骤：
在步骤S101中，搭建混合相机系统，其中，混合相机系统由event-based相机、相机与分光片组成。
进一步地，在本发明的一个实施例中，搭建混合相机系统，进一步包括：将event-based相机、分光片与相机的空间位置pD,pS,pC在xy方向平面的投影构成等腰直角三角形，且z方向上的分量相同，event-based相机与相机位于分光片平面两侧，且使event-based相机经过分光片的反射像与相机重合，使得pD’＝pC。
可以理解的是，如图2和图3所示，本发明实施例首先搭建混合相机系统，event-based相机、分光片与普通相机三者空间位置pD,pS,pC在xy方向平面的投影构成等腰直角三角形，且z方向上的分量相同，event-based相机与普通相机位于分光片平面两侧，且使event-based相机经过分光片的反射像与普通相机重合，即pD’＝pC。
在步骤S102中，运行混合相机系统，并记录event-based相机拍摄的事件与相机拍摄的视频。
在步骤S103中，获取相机拍摄的视频相邻帧之间的像素变化。
可以理解的是，本发明实施例随后计算普通相机视频相邻帧之间的像素变化c(t)，即视频相邻两帧各像素差得绝对值之和，即∑x,y|imgn+1(x,y)-imgn(x,y)|。
在步骤S104中，将event-based相机拍摄的事件个数根据视频帧率间隔求和。
进一步地，在本发明的一个实施例中，视频相邻帧之间的像素变化为视频相邻两帧各像素差得绝对值之和，且视频帧率间隔为相机拍摄视频帧率的倒数。
可以理解的是，本发明实施例可以计算event-based相机在每一视频帧率间隔内获得的事件个数d(t)，即从时间间隔开始至时间间隔结束(不包括)内的事件总数其中Et为在t时刻发生的事件个数。
在步骤S105中，获取相机的相邻帧之间的像素变化与event-based相机求和后事件个数的互相关系数。
进一步地，在本发明的一个实施例中，event-based相机在任一时间间隔内获得的事件个数是指从时间间隔开始至时间间隔结束内的事件总数其中，Et为在t时刻发生的事件个数，进而互相关系数为计算两个信号或者函数f(x)与g(x)之间的相关性，计算公式为：
其中，len(h(x))表示函数h(x)的长度，f(i)为第一个信号，g(i)为第二个信号，i为累加序号，n为相关函数自变量，Rf,g(n)为相关函数，len(f(x))-1为函数f(x)的长度减一。
可以理解的是，本发明实施例计算c(t)与d(t)的互相关系数
其中，len(f(x))表示函数f(x)的长度。
在步骤S106中，获取event-based相机与相机时间差，以获得时间对齐结果，进而完成时间标定。
进一步地，在本发明的一个实施例中，获取event-based相机与相机时间差，进一步包括：寻找互相关函数的最大值位置，并用event-based相机信号长度减去后获得的值，以得到event-based相机与相机时间差Δt，f*(len(c(x))-1-argmax(Rd,c(n)))，其中f为视频帧率，c(x)为相机的相邻帧像素变化函数，d(x)为event-based相机求和后事件个数函数。
可以理解的是，如图4所示，本发明实施例可以寻找event-based相机与普通相机时间差Δt＝f*(len(c(x))-1-argmax(Rd,c(n)))，其中f为视频帧率，c(x)为普通相机的相邻帧像素变化函数，d(x)为event-based相机求和后事件个数函数。
根据本发明实施例提出的混合相机系统及其时间标定方法，可以准确的标定event-based相机与普通相机的时间关系，避免因数据源时间不同步产生的误差导致系统无法使用，可以使混合相机系统稳定正常运行，若应用在无人机平台上可提高其飞行安全性。
其次参照附图描述根据本发明实施例提出的混合相机系统及其时间标定装置。
图5是本发明实施例的混合相机系统及其时间标定装置的结构示意图。
如图5所示，该混合相机系统及其时间标定装置10包括：搭建模块100、记录模块200、第一获取模块300、求和模块400、第二获取模块500和时间标定模块600。
其中，搭建模块100用于搭建混合相机系统，其中，混合相机系统由event-based相机、相机与分光片组成。记录模块200用于运行混合相机系统，并记录event-based相机拍摄的事件与相机拍摄的视频。第一获取模块300用于获取相机拍摄的视频相邻帧之间的像素变化。求和模块400用于将event-based相机拍摄的事件个数根据视频帧率间隔求和。第二获取模块500用于获取相机的相邻帧之间的像素变化与event-based相机求和后事件个数的互相关系数。时间标定模块600用于获取event-based相机与相机时间差，以获得时间对齐结果，进而完成时间标定。本发明实施例的装置10可以准确的标定event-based相机与普通相机的时间关系，避免因数据源时间不同步产生的误差导致系统无法使用，可以使混合相机系统稳定正常运行。
进一步地，在本发明的一个实施例中，搭建混合相机系统，进一步包括：将event-based相机、分光片与相机的空间位置pD,pS,pC在xy方向平面的投影构成等腰直角三角形，且z方向上的分量相同，event-based相机与相机位于分光片平面两侧，且使event-based相机经过分光片的反射像与相机重合，使得pD’＝pC。
进一步地，在本发明的一个实施例中，视频相邻帧之间的像素变化为视频相邻两帧各像素差得绝对值之和，且视频帧率间隔为相机拍摄视频帧率的倒数。
进一步地，在本发明的一个实施例中，event-based相机在任一时间间隔内获得的事件个数是指从时间间隔开始至时间间隔结束内的事件总数其中，Et为在t时刻发生的事件个数，进而互相关系数为计算两个信号或者函数f(x)与g(x)之间的相关性，计算公式为：
其中，len(h(x))表示函数h(x)的长度，f(i)为第一个信号，g(i)为第二个信号，i为累加序号，n为相关函数自变量，Rf,g(n)为相关函数，len(f(x))-1为函数f(x)的长度减一。
进一步地，在本发明的一个实施例中，获取event-based相机与相机时间差，进一步包括：寻找互相关函数的最大值位置，并用event-based相机信号长度减去后获得的值，以得到event-based相机与相机时间差Δt，f*(len(c(x))-1-argmax(Rd,c(n)))，其中f为视频帧率，c(x)为相机的相邻帧像素变化函数，d(x)为event-based相机求和后事件个数函数。
需要说明的是，前述对混合相机系统及其时间标定方法实施例的解释说明也适用于该实施例的混合相机系统及其时间标定装置，此处不再赘述。
根据本发明实施例提出的混合相机系统及其时间标定装置，可以准确的标定event-based相机与普通相机的时间关系，避免因数据源时间不同步产生的误差导致系统无法使用，可以使混合相机系统稳定正常运行，若应用在无人机平台上可提高其飞行安全性。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种混合相机系统及其时间标定方法，其特征在于，包括以下步骤：
搭建混合相机系统，其中，所述混合相机系统由event-based相机、相机与分光片组成；
运行所述混合相机系统，并记录所述event-based相机拍摄的事件与所述相机拍摄的视频；
获取所述相机拍摄的视频相邻帧之间的像素变化；
将所述event-based相机拍摄的事件个数根据视频帧率间隔求和；
获取所述相机的相邻帧之间的像素变化与所述event-based相机求和后事件个数的互相关系数；以及
获取所述event-based相机与所述相机时间差，以获得时间对齐结果，进而完成时间标定。
2.根据权利要求1所述的混合相机系统及其时间标定方法，其特征在于，所述搭建混合相机系统，进一步包括：
将所述event-based相机、所述分光片与所述相机的空间位置pD，pS，pC在xy方向平面的投影构成等腰直角三角形，且z方向上的分量相同，所述event-based相机与所述相机位于所述分光片平面两侧，且使所述event-based相机经过所述分光片的反射像与所述相机重合，使得pD’＝pC。
3.根据权利要求1所述的混合相机系统及其时间标定方法，其特征在于，所述视频相邻帧之间的像素变化为视频相邻两帧各像素差得绝对值之和，且所述视频帧率间隔为所述相机拍摄视频帧率的倒数。
4.根据权利要求1所述的混合相机系统及其时间标定方法，其特征在于，所述event-based相机在任一时间间隔内获得的事件个数是指从时间间隔开始至时间间隔结束内的事件总数其中，Et为在t时刻发生的事件个数，进而所述互相关系数为计算两个信号或者函数f(x)与g(x)之间的相关性，计算公式为：
<mrow> <msub> <mi>R</mi> <mrow> <mi>f</mi> <mo>,</mo> <mi>g</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>l</mi> <mi>e</mi> <mi>n</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mi>f</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mi>g</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>+</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
其中，len(h(x))表示函数h(x)的长度，f(i)为第一个信号，g(i)为第二个信号，i为累加序号，n为相关函数自变量，Rf，g(n)为相关函数，len(f(x))-1为函数f(x)的长度减一。
5.根据权利要求1-4任一项所述的混合相机系统及其时间标定方法，其特征在于，所述获取所述event-based相机与所述相机时间差，进一步包括：
寻找互相关函数的最大值位置，并用event-based相机信号长度减去后获得的值，以得到所述event-based相机与所述相机时间差Δt，f*(len(c(x))-1-argmax(Rd，c(n)))，其中f为视频帧率，c(x)为所述相机的相邻帧像素变化函数，d(x)为所述event-based相机求和后事件个数函数。
6.一种混合相机系统及其时间标定装置，其特征在于，包括：
搭建模块，用于搭建混合相机系统，其中，所述混合相机系统由event-based相机、相机与分光片组成；
记录模块，用于运行所述混合相机系统，并记录所述event-based相机拍摄的事件与所述相机拍摄的视频；
第一获取模块，用于获取所述相机拍摄的视频相邻帧之间的像素变化；
求和模块，用于将所述event-based相机拍摄的事件个数根据视频帧率间隔求和；
第二获取模块，用于获取所述相机的相邻帧之间的像素变化与所述event-based相机求和后事件个数的互相关系数；以及
时间标定模块，用于获取所述event-based相机与所述相机时间差，以获得时间对齐结果，进而完成时间标定。
7.根据权利要求6所述的混合相机系统及其时间标定装置，其特征在于，所述搭建混合相机系统，进一步包括：
将所述event-based相机、所述分光片与所述相机的空间位置pD，pS，pC在xy方向平面的投影构成等腰直角三角形，且z方向上的分量相同，所述event-based相机与所述相机位于所述分光片平面两侧，且使所述event-based相机经过所述分光片的反射像与所述相机重合，使得pD’＝pC。
8.根据权利要求6所述的混合相机系统及其时间标定装置，其特征在于，所述视频相邻帧之间的像素变化为视频相邻两帧各像素差得绝对值之和，且所述视频帧率间隔为所述相机拍摄视频帧率的倒数。
9.根据权利要求6所述的混合相机系统及其时间标定装置，其特征在于，所述event-based相机在任一时间间隔内获得的事件个数是指从时间间隔开始至时间间隔结束内的事件总数其中，Et为在t时刻发生的事件个数，进而所述互相关系数为计算两个信号或者函数f(x)与g(x)之间的相关性，计算公式为：
<mrow> <msub> <mi>R</mi> <mrow> <mi>f</mi> <mo>,</mo> <mi>g</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>l</mi> <mi>e</mi> <mi>n</mi> <mrow> <mo>(</mo> <mi>f</mi> <mo>(</mo> <mi>x</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mi>f</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mi>g</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>+</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow>
其中，len(h(x))表示函数h(x)的长度，f(i)为第一个信号，g(i)为第二个信号，i为累加序号，n为相关函数自变量，Rf，g(n)为相关函数，len(f(x))-1为函数f(x)的长度减一。
10.根据权利要求6-9任一项所述的混合相机系统及其时间标定装置，其特征在于，所述获取所述event-based相机与所述相机时间差，进一步包括：
寻找互相关函数的最大值位置，并用event-based相机信号长度减去后获得的值，以得到所述event-based相机与所述相机时间差Δt，f*(len(c(x))-1-argmax(Rd，c(n)))，其中f为视频帧率，c(x)为所述相机的相邻帧像素变化函数，d(x)为所述event-based相机求和后事件个数函数。
CN201711372440.XA 2017-12-19 2017-12-19 混合相机系统及其时间标定方法及装置 Active CN108090935B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711372440.XA CN108090935B (zh) 2017-12-19 2017-12-19 混合相机系统及其时间标定方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711372440.XA CN108090935B (zh) 2017-12-19 2017-12-19 混合相机系统及其时间标定方法及装置

Publications (2)

Publication Number Publication Date
CN108090935A true CN108090935A (zh) 2018-05-29
CN108090935B CN108090935B (zh) 2020-06-19

Family

ID=62177257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711372440.XA Active CN108090935B (zh) 2017-12-19 2017-12-19 混合相机系统及其时间标定方法及装置

Country Status (1)

Country Link
CN (1) CN108090935B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866398A (zh) * 2019-04-25 2020-10-30 丰田自动车株式会社 事件相机
CN112771843A (zh) * 2020-06-15 2021-05-07 深圳市大疆创新科技有限公司 信息处理方法、装置和成像系统
WO2022028576A1 (zh) * 2020-08-06 2022-02-10 北京灵汐科技有限公司 图像配准方法及装置、计算机设备、介质
CN114399555A (zh) * 2021-12-20 2022-04-26 禾多科技（北京）有限公司 数据在线标定方法、装置、电子设备和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101002229A (zh) * 2004-06-09 2007-07-18 科格内克斯科技及投资公司 用于自动视觉事件检测的方法和装置
CN103443742A (zh) * 2010-12-16 2013-12-11 西门子公司 用于凝视和姿势接口的系统和方法
CN103535022A (zh) * 2011-04-08 2014-01-22 高通股份有限公司 用以校准多相机装置的系统和方法
US20140139671A1 (en) * 2012-11-19 2014-05-22 Electronics And Telecommunications Research Institute Apparatus and method for providing vehicle camera calibration
CN107133987A (zh) * 2017-05-16 2017-09-05 西北工业大学 无重叠视场的相机阵列优化标定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101002229A (zh) * 2004-06-09 2007-07-18 科格内克斯科技及投资公司 用于自动视觉事件检测的方法和装置
CN103443742A (zh) * 2010-12-16 2013-12-11 西门子公司 用于凝视和姿势接口的系统和方法
CN103535022A (zh) * 2011-04-08 2014-01-22 高通股份有限公司 用以校准多相机装置的系统和方法
US20140139671A1 (en) * 2012-11-19 2014-05-22 Electronics And Telecommunications Research Institute Apparatus and method for providing vehicle camera calibration
CN107133987A (zh) * 2017-05-16 2017-09-05 西北工业大学 无重叠视场的相机阵列优化标定方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866398A (zh) * 2019-04-25 2020-10-30 丰田自动车株式会社 事件相机
CN111866398B (zh) * 2019-04-25 2021-12-14 丰田自动车株式会社 事件相机
CN112771843A (zh) * 2020-06-15 2021-05-07 深圳市大疆创新科技有限公司 信息处理方法、装置和成像系统
WO2021253186A1 (zh) * 2020-06-15 2021-12-23 深圳市大疆创新科技有限公司 信息处理方法、装置和成像系统
WO2022028576A1 (zh) * 2020-08-06 2022-02-10 北京灵汐科技有限公司 图像配准方法及装置、计算机设备、介质
CN114399555A (zh) * 2021-12-20 2022-04-26 禾多科技（北京）有限公司 数据在线标定方法、装置、电子设备和计算机可读介质
CN114399555B (zh) * 2021-12-20 2022-11-11 禾多科技（北京）有限公司 数据在线标定方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN108090935B (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN108090935A (zh) 混合相机系统及其时间标定方法及装置
CN110567469B (zh) 视觉定位方法、装置、电子设备及系统
CN109506642B (zh) 一种机器人多相机视觉惯性实时定位方法及装置
CN110084832B (zh) 相机位姿的纠正方法、装置、系统、设备和存储介质
US7681448B1 (en) System and method for aligning sensors on a vehicle
US8310684B2 (en) System and method for localizing a carrier, estimating a posture of the carrier and establishing a map
US9449397B2 (en) Real-time visual odometry system for determining motion of a machine with a range detection unit
US20160104289A1 (en) Real-time range map generation
KR101950359B1 (ko) 하이브리드 모션캡쳐 시스템의 위치 추정 방법
US8243142B2 (en) Mobile object image tracking apparatus and method
US20090285450A1 (en) Image-based system and methods for vehicle guidance and navigation
US20180075609A1 (en) Method of Estimating Relative Motion Using a Visual-Inertial Sensor
CN112529966B (zh) 一种车载环视系统的在线标定方法及其车载环视系统
EP2157783B1 (en) Eyeball movement controller using principle of vestibulo-ocular reflex
CN113551665B (zh) 一种用于运动载体的高动态运动状态感知系统及感知方法
Ng et al. Continuous-time radar-inertial odometry for automotive radars
CN110411476A (zh) 视觉惯性里程计标定适配及评价方法和系统
CN105141807A (zh) 视频信号图像处理方法和装置
CN109520476A (zh) 基于惯性测量单元的后方交会动态位姿测量系统及方法
CN112204946A (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
JP2020042775A (ja) 障害物の検知方法、システム、コンピュータ装置、コンピュータ記憶媒体
WO2020137110A1 (ja) 移動量推定装置
CN114638897A (zh) 基于无重叠视域的多相机系统的初始化方法、系统及装置
JP2009139324A (ja) 車両用走行路面検出装置
Yao et al. Electronic image stabilization using multiple visual cues

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant