CN108171728B - 基于混合相机系统的无标记运动物体姿态恢复方法及装置 - Google Patents

基于混合相机系统的无标记运动物体姿态恢复方法及装置 Download PDF

Info

Publication number
CN108171728B
CN108171728B CN201711424773.2A CN201711424773A CN108171728B CN 108171728 B CN108171728 B CN 108171728B CN 201711424773 A CN201711424773 A CN 201711424773A CN 108171728 B CN108171728 B CN 108171728B
Authority
CN
China
Prior art keywords
event
camera
matrix
image
cmos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711424773.2A
Other languages
English (en)
Other versions
CN108171728A (zh
Inventor
李一鹏
范振
李秀
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201711424773.2A priority Critical patent/CN108171728B/zh
Publication of CN108171728A publication Critical patent/CN108171728A/zh
Application granted granted Critical
Publication of CN108171728B publication Critical patent/CN108171728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于混合相机系统的无标记运动物体姿态恢复方法及装置，其中，方法包括：提取CMOS图像中目标物体的shift特征点，并根据混合相机系统的位置标定信息将shift特征点映射到event‑based相机坐标系下；根据event‑based相机生成的事件信息跟踪shift特征点，得到匹配的特征点；根据匹配的特征点计算目标物体的三维姿态变换矩阵；根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，以恢复得到无标记高速运动物体三维姿态。该方法可以计算获取高速运动物体的三维姿态信息，尤其是可以监控传统相机两帧之间的物体运动信息，有利于分析高速运动物体的运动状态。

Description

基于混合相机系统的无标记运动物体姿态恢复方法及装置
技术领域
本发明涉及高速运动物体运动站台监控应用技术领域，特别涉及一种基于混合相机系统的无标记运动物体姿态恢复方法及装置。
背景技术
运动物体的姿态恢复是使用传感器检测并计算出物体的实时姿态信息，本技术在对物体跟踪以及云梯性能分析等方面有着广泛应用。常用的运动物体姿态恢复方法是在被监控物体上人为放置特殊标记点，通过相应匹配的传感器获取标记点的空间位置信息，然后根据这些标记点的相对位置关系，计算得到物体的姿态信息。也有使用单目或者双目CMOS(Complementary Metal Oxide Semiconductor)，互补金属氧化物半导体)相机，通过计算视觉几何的方法计算得到无标记点的物体运动状态。
然而，人为的标注方法无法适用于自然场景下的目标跟踪，适用场景受限。此外，在物体由高速运动时，由于CMOS摄像机本身曝光时间显示，单纯使用CMOS相机采集信息并计算得到的结果无法检测记录到物体在两帧间隔时间的运动状态，造成信息损失，有待解决。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于混合相机系统的无标记运动物体姿态恢复方法，该方法可以监控传统相机两帧之间的物体运动信息，有利于分析高速运动物体的运动状态。
本发明的另一个目的在于提出一种基于混合相机系统的无标记运动物体姿态恢复装置。
为达到上述目的，本发明一方面实施例提出了一种基于混合相机系统的无标记运动物体姿态恢复方法，所述混合相机系统由event-based相机、CMOS相机与分光片组成，其中，所述方法包括以下步骤：提取CMOS图像中目标物体的shift特征点，并根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下；根据所述event-based相机生成的事件信息跟踪所述shift特征点，得到匹配的特征点；根据所述匹配的特征点计算目标物体的三维姿态变换矩阵；根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，以恢复得到无标记高速运动物体三维姿态。
本发明实施例的基于混合相机系统的无标记运动物体姿态恢复方法，可以计算获取高速运动物体的三维姿态信息，尤其是可以监控传统相机两帧之间的物体运动信息，有利于分析高速运动物体的运动状态。
另外，根据本发明上述实施例的基于混合相机系统的无标记运动物体姿态恢复方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下，进一步包括：定义所述混合相机系统的所述CMOS相机与所述event-based相机的空间标定对应矩阵为T，Pevent＝T×PCMOS，其中，Pevent为CMOS相机像素PCMOS在event-based相机上的对应点；将所述CMOS图像上检测到的所述shift特征点以及特征点周围的N个点映射到所述event-based相机的成像平面上，以作为初始event-based图像帧；并且，所述event-based相机将多个离线事件输出累加后生成图像K，进一步包括：在所述event-based相机的分辨率为(m,n)时，定义m×n的二维全0图像K，并且当所述event-based相机输出所述离散事件数据包时，将事件产生位置的图像像素值置为255，当输出的所述离散事件数据包数量达到预设数值M时，输出图像数据K。
进一步地，在本发明的一个实施例中，所述据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下，进一步包括：假设
Figure BDA0001523768720000021
分别为所述CMOS图像上所述shift特征点集在相邻两帧所述event-based相机的图像数据K上映射点集；通过二维光流算法计算两个点集中特征点的对应关系，使得
Figure BDA0001523768720000022
与
Figure BDA0001523768720000023
对应所述CMOS图像上的同一个shift特征点。
进一步地，在本发明的一个实施例中，所述根据所述匹配的特征点计算目标物体的三维姿态变换矩阵，进一步包括：根据相邻两帧event-based图像中匹配的特征点集P1与P2计算两帧的三维位姿变换矩阵，其中，根据对极几何原理，在已知相机内参的条件下，定义本征矩阵为E，以得到(P2)TE(P1)＝0，所述本征矩阵E中共有7个约束，包括三个旋转参数以及两个平移参数，另外两个约束为矩阵行列式为0和两个非奇异值相等，进而通对所述本征矩阵E矩阵SVD(Singularly Valuable Decomposition，奇异值分解)分解，得到相邻两帧的三维旋转矩阵与平移矩阵。
进一步地，在本发明的一个实施例中，所述根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，进一步包括：当下一帧所述CMOS图像达到时，提取图像中的所述shift特征点，并与在event-based图像中追踪成功的点位置比较，矫正特征点位置，以避免在特征点跟踪过程中发特征点位置偏移，同时，在新的所述CMOS图像到达时，补充新的特征点，将所述新的特征点映射到所述event-based相机坐标系下，进入下一次位姿变换矩阵的计算，以得到足够多的匹配点以满足所述本征矩阵的计算。
为达到上述目的，本发明另一方面实施例提出了一种混合相机系统的无标记高速运动物体三维姿态恢复装置，所述混合相机系统由event-based相机、CMOS相机与分光片组成，其中，所述装置包括：提取模块，用于提取CMOS图像中目标物体的shift特征点，并根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下；生成模块，用于根据所述event-based相机生成的事件信息跟踪所述shift特征点，得到匹配的特征点；计算模块，根据所述匹配的特征点计算目标物体的三维姿态变换矩阵；恢复模块，用于根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，以恢复得到无标记高速运动物体三维姿态。
本发明实施例的基于混合相机系统的无标记运动物体姿态恢复装置，可以计算获取高速运动物体的三维姿态信息，尤其是可以监控传统相机两帧之间的物体运动信息，有利于分析高速运动物体的运动状态。
另外，根据本发明上述实施例的基于混合相机系统的无标记运动物体姿态恢复装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述提取模块，进一步包括：定义单元，用于定义所述混合相机系统的所述CMOS相机与所述event-based相机的空间标定对应矩阵为T，Pevent＝T×PCMOS，其中，Pevent为CMOS相机像素PCMOS在event-based相机上的对应点；映射单元，用于将所述CMOS图像上检测到的所述shift特征点以及特征点周围的N个点映射到所述event-based相机的成像平面上，以作为初始event-based图像帧；并且，所述event-based相机将多个离线事件输出累加后生成图像K，进一步包括：在所述event-based相机的分辨率为(m,n)时，定义m×n的二维全0图像K，并且当所述event-based相机输出所述离散事件数据包时，将事件产生位置的图像像素值置为255，当输出的所述离散事件数据包数量达到预设数值M时，输出图像数据K。
进一步地，在本发明的一个实施例中，所述映射单元，进一步包括：假设
Figure BDA0001523768720000031
Figure BDA0001523768720000032
分别为所述CMOS图像上所述shift特征点集在相邻两帧所述event-based相机的图像数据K上映射点集；通过二维光流算法计算两个点集中特征点的对应关系，使得
Figure BDA0001523768720000033
与
Figure BDA0001523768720000041
对应所述CMOS图像上的同一个shift特征点。
进一步地，在本发明的一个实施例中，所述计算模块，进一步包括：计算单元，用于根据相邻两帧event-based图像中匹配的特征点集P1与P2计算两帧的三维位姿变换矩阵，其中，根据对极几何原理，在已知相机内参的条件下，定义本征矩阵为E，以得到(P2)TE(P1)＝0，所述本征矩阵E中共有7个约束，包括三个旋转参数以及两个平移参数，另外两个约束为矩阵行列式为0和两个非奇异值相等，进而通对所述本征矩阵E矩阵SVD分解，得到相邻两帧的三维旋转矩阵与平移矩阵。
进一步地，在本发明的一个实施例中，所述根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，进一步包括：当下一帧所述CMOS图像达到时，提取图像中的所述shift特征点，并与在event-based图像中追踪成功的点位置比较，矫正特征点位置，以避免在特征点跟踪过程中发特征点位置偏移，同时，在新的所述CMOS图像到达时，补充新的特征点，将所述新的特征点映射到所述event-based相机坐标系下，进入下一次位姿变换矩阵的计算，以得到足够多的匹配点以满足所述本征矩阵的计算。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于混合相机系统的无标记运动物体姿态恢复方法的流程图；
图2为根据本发明一个实施例的基于混合相机系统的无标记运动物体姿态恢复方法的流程图；
图3为根据本发明一个实施例的混合相机系统的光路原理示意图；
图4为根据本发明实施例的基于混合相机系统的无标记运动物体姿态恢复装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于混合相机系统的无标记运动物体姿态恢复方法及装置，首先将参照附图描述根据本发明实施例提出的基于混合相机系统的无标记运动物体姿态恢复方法。
图1是本发明实施例的基于混合相机系统的无标记运动物体姿态恢复方法的流程图。
如图1所示，该基于混合相机系统的无标记运动物体姿态恢复方法包括以下步骤：
在步骤S101中，结合图1和图2所示，提取CMOS图像中目标物体的shift特征点，并根据混合相机系统的位置标定信息将shift特征点映射到event-based相机坐标系下。
进一步地，在本发明的一个实施例中，根据混合相机系统的位置标定信息将shift特征点映射到event-based相机坐标系下，进一步包括：定义混合相机系统的CMOS相机与event-based相机的空间标定对应矩阵为T，Pevent＝T×PCMOS，其中，Pevent为CMOS相机像素PCMOS在event-based相机上的对应点；将CMOS图像上检测到的shift特征点以及特征点周围的N个点映射到event-based相机的成像平面上，以作为初始event-based图像帧；并且，event-based相机将多个离线事件输出累加后生成图像K，进一步包括：在event-based相机的分辨率为(m,n)时，定义m×n的二维全0图像K，并且当event-based相机输出离散事件数据包时，将事件产生位置的图像像素值置为255，当输出的离散事件数据包数量达到预设数值M时，输出图像数据K。
进一步地，在本发明的一个实施例中，据混合相机系统的位置标定信息将shift特征点映射到event-based相机坐标系下，进一步包括：假设
Figure BDA0001523768720000051
分别为CMOS图像上shift特征点集在相邻两帧event-based相机的图像数据K上映射点集；通过二维光流算法计算两个点集中特征点的对应关系，使得
Figure BDA0001523768720000052
与
Figure BDA0001523768720000053
对应CMOS图像上的同一个shift特征点。
可以理解的是，本发明实施例采用的event-based相机名称为DVS(DynamicVisual Sensor，动态视觉传感器)，其与CMOS相机、分光片混合搭建的相机系统其原理光路图如图3所示。
首先，通过分析CMOS图像信息，提取目标物体上的shift特征点信息。
其次，定义混合相机系统CMOS相机与event-based相机的空间标定对应矩阵为T，即Pevent＝T×PCMOS，其中Pevent为CMOS相机像素PCMOS在event-based相机上的对应点。将CMOS上检测到的shift特征点以及特征点周围的N个点(一般取N＝10)映射到event-based相机成像平面上，作为初始event-based图像帧。
然后，event-based相机输出的单个事件数据包含信息量少，需要将多个离线事件输出累加后生成图像K。具体方法为：假设event-based相机的分辨率为(m,n)，则定义m×n的二维全0图像K，当event-based相机输出离散事件数据包时，将事件产生位置的图像像素值置为255，当输出的离散事件数据包数量达到预设数值M(一般取M＝1000)时，输出图像数据K。
接着，假设
Figure BDA0001523768720000061
分别为CMOS图像上shift特征点集在相邻两帧event-based相机的图像K上映射点集。通过二维光流算法，计算两个点集中特征点的对应关系，即使得
Figure BDA0001523768720000062
与
Figure BDA0001523768720000063
对应CMOS图像上的同一个shift特征点。
在步骤S102中，根据event-based相机生成的事件信息跟踪shift特征点，得到匹配的特征点。
在步骤S103中，根据匹配的特征点计算目标物体的三维姿态变换矩阵。
进一步地，在本发明的一个实施例中，根据匹配的特征点计算目标物体的三维姿态变换矩阵，进一步包括：根据相邻两帧event-based图像中匹配的特征点集P1与P2计算两帧的三维位姿变换矩阵，其中，根据对极几何原理，在已知相机内参的条件下，定义本征矩阵为E，以得到(P2)TE(P1)＝0，本征矩阵E中共有7个约束，包括三个旋转参数以及两个平移参数，另外两个约束为矩阵行列式为0和两个非奇异值相等，进而通对本征矩阵E矩阵SVD分解，得到相邻两帧的三维旋转矩阵与平移矩阵。
可以理解的是，本发明实施例可以根据相邻两帧event-based图像中匹配的特征点集P1与P2计算两帧的三维位姿变换矩阵。根据对极几何原理，在已知相机内参的条件下，定义本征矩阵为E，可以得到(P2)TE(P1)＝0。其中E中共有7个约束，包括三个旋转参数以及两个平移参数。另外两个约束为矩阵行列式为0和两个非奇异值相等。通对E矩阵SVD分解，可得相邻两帧的三维旋转矩阵与平移矩阵，即位姿变换矩阵。
在步骤S104中，根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，以恢复得到无标记高速运动物体三维姿态。
进一步地，在本发明的一个实施例中，根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，进一步包括：当下一帧CMOS图像达到时，提取图像中的shift特征点，并与在event-based图像中追踪成功的点位置比较，矫正特征点位置，以避免在特征点跟踪过程中发特征点位置偏移，同时，在新的CMOS图像到达时，补充新的特征点，将新的特征点映射到event-based相机坐标系下，进入下一次位姿变换矩阵的计算，以得到足够多的匹配点以满足本征矩阵的计算。
可以理解的是，本发明实施例的event-based相机自身分辨率较低，在特征点跟踪过程中会发特征点位置偏移。因此，当下一帧CMOS图像达到时，提取图像中的shift特征点，并与在event-based图像中追踪成功的点位置比较，矫正特征点位置。同时，物体运动过程中存在特征点旋转到不可见角度，为了得到足够多的匹配点以满足上一步的本征矩阵计算，在新的CMOS图像到达时，补充新的特征点，然后将新的特征点映射到event-based坐标系下，进入下一次位姿变换矩阵的计算。
根据本发明实施例提出的混合相机系统的无标记高速运动物体三维姿态恢复方法，可以计算获取高速运动物体的三维姿态信息，尤其是可以监控传统相机两帧之间的物体运动信息，有利于分析高速运动物体的运动状态。
其次参照附图描述根据本发明实施例提出的混合相机系统的无标记高速运动物体三维姿态恢复装置。
图4是本发明一个实施例的混合相机系统的无标记高速运动物体三维姿态恢复装置的结构示意图。
如图4所示，该混合相机系统的无标记高速运动物体三维姿态恢复装置10包括：提取模块100、生成模块200、计算模块300和恢复模块400。
其中，提取模块100用于提取CMOS图像中目标物体的shift特征点，并根据混合相机系统的位置标定信息将shift特征点映射到event-based相机坐标系下。生成模块200用于根据event-based相机生成的事件信息跟踪shift特征点，得到匹配的特征点。计算模块300根据匹配的特征点计算目标物体的三维姿态变换矩阵。恢复模块400用于根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，以恢复得到无标记高速运动物体三维姿态。本发明实施例的装置10可以计算获取高速运动物体的三维姿态信息，尤其是可以监控传统相机两帧之间的物体运动信息，有利于分析高速运动物体的运动状态。
进一步地，在本发明的一个实施例中，提取模块100，进一步包括：定义单元和映射单元。
其中，定义单元用于定义混合相机系统的CMOS相机与event-based相机的空间标定对应矩阵为T，Pevent＝T×PCMOS，其中，Pevent为CMOS相机像素PCMOS在event-based相机上的对应点。映射单元用于将CMOS图像上检测到的shift特征点以及特征点周围的N个点映射到event-based相机的成像平面上，以作为初始event-based图像帧；并且，event-based相机将多个离线事件输出累加后生成图像K，进一步包括：在event-based相机的分辨率为(m,n)时，定义m×n的二维全0图像K，并且当event-based相机输出离散事件数据包时，将事件产生位置的图像像素值置为255，当输出的离散事件数据包数量达到预设数值M时，输出图像数据K。
进一步地，在本发明的一个实施例中，映射单元，进一步包括：假设
Figure BDA0001523768720000081
分别为CMOS图像上shift特征点集在相邻两帧event-based相机的图像数据K上映射点集；通过二维光流算法计算两个点集中特征点的对应关系，使得
Figure BDA0001523768720000082
与
Figure BDA0001523768720000083
对应CMOS图像上的同一个shift特征点。
进一步地，在本发明的一个实施例中，计算模块300进一步包括：计算单元，用于根据相邻两帧event-based图像中匹配的特征点集P1与P2计算两帧的三维位姿变换矩阵，其中，根据对极几何原理，在已知相机内参的条件下，定义本征矩阵为E，以得到(P2)TE(P1)＝0，本征矩阵E中共有7个约束，包括三个旋转参数以及两个平移参数，另外两个约束为矩阵行列式为0和两个非奇异值相等，进而通对本征矩阵E矩阵SVD分解，得到相邻两帧的三维旋转矩阵与平移矩阵。
进一步地，在本发明的一个实施例中，根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，进一步包括：当下一帧CMOS图像达到时，提取图像中的shift特征点，并与在event-based图像中追踪成功的点位置比较，矫正特征点位置，以避免在特征点跟踪过程中发特征点位置偏移，同时，在新的CMOS图像到达时，补充新的特征点，将新的特征点映射到event-based相机坐标系下，进入下一次位姿变换矩阵的计算，以得到足够多的匹配点以满足本征矩阵的计算。
需要说明的是，前述对基于混合相机系统的无标记运动物体姿态恢复方法实施例的解释说明也适用于该实施例的基于混合相机系统的无标记运动物体姿态恢复装置，此处不再赘述。
根据本发明实施例提出的基于混合相机系统的无标记运动物体姿态恢复装置，可以计算获取高速运动物体的三维姿态信息，尤其是可以监控传统相机两帧之间的物体运动信息，有利于分析高速运动物体的运动状态。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于混合相机系统的无标记运动物体姿态恢复方法，其特征在于，所述混合相机系统由event-based相机、CMOS相机与分光片组成，其中，所述方法包括以下步骤：
提取CMOS图像中目标物体的shift特征点，并根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下；
根据所述event-based相机生成的事件信息跟踪所述shift特征点，得到匹配的特征点；
根据所述匹配的特征点计算目标物体的三维姿态变换矩阵；以及
根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，以恢复得到无标记高速运动物体三维姿态；
其中，所述根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下，进一步包括：
定义所述混合相机系统的所述CMOS相机与所述event-based相机的空间标定对应矩阵为T，Pevent＝T×PCMOS，其中，Pevent为CMOS相机像素PCMOS在event-based相机上的对应点；
将所述CMOS图像上检测到的所述shift特征点以及特征点周围的N个点映射到所述event-based相机的成像平面上，以作为初始event-based图像帧；
并且，所述event-based相机将多个离散事件输出累加后生成图像K，进一步包括：
在所述event-based相机的分辨率为(m,n)时，定义m×n的二维全0图像K，并且当所述event-based相机输出离散事件数据包时，将事件产生位置的图像像素值置为255，当输出的所述离散事件数据包数量达到预设数值M时，输出图像数据K；
所述根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下，进一步包括：
假设
Figure FDA0002401488320000011
分别为所述CMOS图像上shift特征点集在相邻两帧所述event-based相机的图像数据K上映射点集；
通过二维光流算法计算两个点集中特征点的对应关系，使得
Figure FDA0002401488320000012
与
Figure FDA0002401488320000013
对应所述CMOS图像上的同一个shift特征点。
2.根据权利要求1所述的基于混合相机系统的无标记运动物体姿态恢复方法，其特征在于，所述根据所述匹配的特征点计算目标物体的三维姿态变换矩阵，进一步包括：
根据相邻两帧event-based图像中匹配的特征点集P1与P2计算两帧的三维位姿变换矩阵，其中，根据对极几何原理，在已知相机内参的条件下，定义本征矩阵为E，以得到(P2)TE(P1)＝0，所述本征矩阵E中共有7个约束，包括三个旋转参数以及两个平移参数，另外两个约束为矩阵行列式为0和两个非奇异值相等，进而通过对所述本征矩阵E矩阵SVD分解，得到相邻两帧的三维旋转矩阵与平移矩阵。
3.根据权利要求2所述的基于混合相机系统的无标记运动物体姿态恢复方法，其特征在于，所述根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，进一步包括：
当下一帧所述CMOS图像到达时，提取图像中的所述shift特征点，并与在event-based图像中追踪成功的点位置比较，矫正特征点位置，以避免在特征点跟踪过程中发生特征点位置偏移，同时，在新的所述CMOS图像到达时，补充新的特征点，将所述新的特征点映射到所述event-based相机坐标系下，进入下一次位姿变换矩阵的计算，以得到足够多的匹配点以满足所述本征矩阵的计算。
4.一种基于混合相机系统的无标记运动物体姿态恢复装置，其特征在于，所述混合相机系统由event-based相机、CMOS相机与分光片组成，其中，所述装置包括：
提取模块，用于提取CMOS图像中目标物体的shift特征点，并根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下；
生成模块，用于根据所述event-based相机生成的事件信息跟踪所述shift特征点，得到匹配的特征点；
计算模块，根据所述匹配的特征点计算目标物体的三维姿态变换矩阵；以及
恢复模块，用于根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，以恢复得到无标记高速运动物体三维姿态；
其中，所述提取模块，进一步包括：定义单元，用于定义所述混合相机系统的所述CMOS相机与所述event-based相机的空间标定对应矩阵为T，Pevent＝T×PCMOS，其中，Pevent为CMOS相机像素PCMOS在event-based相机上的对应点；映射单元，用于将所述CMOS图像上检测到的所述shift特征点以及特征点周围的N个点映射到所述event-based相机的成像平面上，以作为初始event-based图像帧；并且，所述event-based相机将多个离散事件输出累加后生成图像K，进一步包括：在所述event-based相机的分辨率为(m,n)时，定义m×n的二维全0图像K，并且当所述event-based相机输出离散事件数据包时，将事件产生位置的图像像素值置为255，当输出的所述离散事件数据包数量达到预设数值M时，输出图像数据K；
所述映射单元，进一步包括：假设
Figure FDA0002401488320000021
分别为所述CMOS图像上shift特征点集在相邻两帧所述event-based相机的图像数据K上映射点集；通过二维光流算法计算两个点集中特征点的对应关系，使得
Figure FDA0002401488320000022
与
Figure FDA0002401488320000023
对应所述CMOS图像上的同一个shift特征点。
5.根据权利要求4所述的基于混合相机系统的无标记运动物体姿态恢复装置，其特征在于，所述计算模块，进一步包括：
计算单元，用于根据相邻两帧event-based图像中匹配的特征点集P1与P2计算两帧的三维位姿变换矩阵，其中，根据对极几何原理，在已知相机内参的条件下，定义本征矩阵为E，以得到(P2)TE(P1)＝0，所述本征矩阵E中共有7个约束，包括三个旋转参数以及两个平移参数，另外两个约束为矩阵行列式为0和两个非奇异值相等，进而通过对所述本征矩阵E矩阵SVD分解，得到相邻两帧的三维旋转矩阵与平移矩阵。
6.根据权利要求5所述的基于混合相机系统的无标记运动物体姿态恢复装置，其特征在于，所述根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，进一步包括：
当下一帧所述CMOS图像到达时，提取图像中的所述shift特征点，并与在event-based图像中追踪成功的点位置比较，矫正特征点位置，以避免在特征点跟踪过程中发生特征点位置偏移，同时，在新的所述CMOS图像到达时，补充新的特征点，将所述新的特征点映射到所述event-based相机坐标系下，进入下一次位姿变换矩阵的计算，以得到足够多的匹配点以满足所述本征矩阵的计算。
CN201711424773.2A 2017-12-25 2017-12-25 基于混合相机系统的无标记运动物体姿态恢复方法及装置 Active CN108171728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711424773.2A CN108171728B (zh) 2017-12-25 2017-12-25 基于混合相机系统的无标记运动物体姿态恢复方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711424773.2A CN108171728B (zh) 2017-12-25 2017-12-25 基于混合相机系统的无标记运动物体姿态恢复方法及装置

Publications (2)

Publication Number Publication Date
CN108171728A CN108171728A (zh) 2018-06-15
CN108171728B true CN108171728B (zh) 2020-06-19

Family

ID=62520727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711424773.2A Active CN108171728B (zh) 2017-12-25 2017-12-25 基于混合相机系统的无标记运动物体姿态恢复方法及装置

Country Status (1)

Country Link
CN (1) CN108171728B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10795435B2 (en) 2018-07-19 2020-10-06 Samsung Electronics Co., Ltd. System and method for hybrid eye tracker
CN109544630B (zh) * 2018-11-30 2021-02-02 南京人工智能高等研究院有限公司 位姿信息确定方法和装置、视觉点云构建方法和装置
CN109753930B (zh) * 2019-01-03 2021-12-24 京东方科技集团股份有限公司 人脸检测方法及人脸检测系统
CN109697726B (zh) * 2019-01-09 2020-09-18 厦门大学 一种基于事件相机的端对端目标运动估计方法
CN110139031B (zh) * 2019-05-05 2020-11-06 南京大学 一种基于惯性感知的视频防抖系统及其工作方法
CN114004901B (zh) * 2022-01-04 2022-03-18 南昌虚拟现实研究院股份有限公司 多相机标定方法、装置、终端设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101839692A (zh) * 2010-05-27 2010-09-22 西安交通大学 单相机测量物体三维位置与姿态的方法
CN102779347A (zh) * 2012-06-14 2012-11-14 清华大学 一种用于飞行器的目标跟踪与定位方法和装置
DE102013211604A1 (de) * 2013-06-20 2014-12-24 Robert Bosch Gmbh Verfahren und Steuergerät zum Überwachen eines Erfassungsbereichs einer Kamera
CN105957060A (zh) * 2016-04-22 2016-09-21 天津师范大学 一种基于光流分析的tvs事件分簇方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102407274B1 (ko) * 2015-07-31 2022-06-10 삼성전자주식회사 임계 전압 제어 방법 및 임계 전압 제어 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101839692A (zh) * 2010-05-27 2010-09-22 西安交通大学 单相机测量物体三维位置与姿态的方法
CN102779347A (zh) * 2012-06-14 2012-11-14 清华大学 一种用于飞行器的目标跟踪与定位方法和装置
DE102013211604A1 (de) * 2013-06-20 2014-12-24 Robert Bosch Gmbh Verfahren und Steuergerät zum Überwachen eines Erfassungsbereichs einer Kamera
CN105957060A (zh) * 2016-04-22 2016-09-21 天津师范大学 一种基于光流分析的tvs事件分簇方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"Content-adaptive high-resolution hyperspectral video acquisition with a hybrid camera system";Chenguang Ma etal;《OPTICS LETTERS》;20140215;第39卷(第4期);第937-940页 *
"Event-based, 6-DOF Pose Tracking for High-Speed Maneuvers";Elias Mueggler etal;《2014 IEEE/RSJ International Conference on Intelligent Robots and Systems》;20141231;第2761-2768页 *
"Feature Detection and Tracking with the Dynamic and Active-pixel Vision Sensor (DAVIS)";David Tedaldi etal;《2016 Second International Conference on Event-based Control,Communication,and Signal Processing》;20161024;第1-7页 *
"High-speed video generation with an event camera";Han-Chao Liu etal;《Vis Comput》;20170510;第749-759页 *
"Low-Latency Visual Odometry using Event-based Feature Tracks";Beat Kueng etal;《2016 IEEE/RSJ International Conference on Intelligent Robots and Systems》;20161231;第16-23页 *
"Neuromorphic Event-Based 3D Pose Estimation";David Reverter Valeiras etal;《Frontiers in Neuroscience》;20160122;第9卷;第1-15页 *

Also Published As

Publication number Publication date
CN108171728A (zh) 2018-06-15

Similar Documents

Publication Publication Date Title
CN108171728B (zh) 基于混合相机系统的无标记运动物体姿态恢复方法及装置
US11019330B2 (en) Multiple camera system with auto recalibration
CN107255476B (zh) 一种基于惯性数据和视觉特征的室内定位方法和装置
US9967463B2 (en) Method for camera motion estimation and correction
Park et al. High-precision depth estimation using uncalibrated LiDAR and stereo fusion
CN107843251B (zh) 移动机器人的位姿估计方法
CN111837159A (zh) 执行对象的深度估计的方法和装置
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
JP2019096294A (ja) 視差推定装置及び方法
EP3786891A1 (en) Method and system for visual localization based on dual dome cameras
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
JP2007256029A (ja) ステレオ画像処理装置
CN110827321B (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
JP2017142613A (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
CN115222919A (zh) 一种用于移动机械彩色点云地图构建的感知系统及方法
CN111105467B (zh) 一种图像标定方法、装置及电子设备
CN110717593B (zh) 神经网络训练、移动信息测量、关键帧检测的方法及装置
JP4102386B2 (ja) ３次元情報復元装置
CN107945166B (zh) 基于双目视觉的待测物体三维振动轨迹的测量方法
CN107704814B (zh) 一种基于视频的振动目标监测方法
CN117115271A (zh) 无人机飞行过程中的双目相机外参数自标定方法及系统
CN111696158B (zh) 基于仿射匹配点对的多像机系统相对位姿估计方法及装置
WO2022018811A1 (ja) 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム
CN112016568A (zh) 一种目标对象的图像特征点的跟踪方法及装置
CN115829833B (zh) 一种图像生成方法及移动设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant