CN114972518A - 实时目标位姿跟踪方法、装置、计算机设备和存储介质 - Google Patents

实时目标位姿跟踪方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114972518A
CN114972518A CN202210823197.3A CN202210823197A CN114972518A CN 114972518 A CN114972518 A CN 114972518A CN 202210823197 A CN202210823197 A CN 202210823197A CN 114972518 A CN114972518 A CN 114972518A
Authority
CN
China
Prior art keywords
pixel
local
target
pose
posterior probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210823197.3A
Other languages
English (en)
Inventor
周颉鑫
孙晓亮
王秋富
张倬
李璋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210823197.3A priority Critical patent/CN114972518A/zh
Publication of CN114972518A publication Critical patent/CN114972518A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种实时目标位姿跟踪方法、装置、计算机设备和存储介质。所述方法包括：获取待跟踪海上目标的三维模型和初始位姿参数，根据初始位姿参数渲染三维模型得到投影轮廓；以在投影轮廓上均匀采样的二维图像点为圆心构建局部区域，根据目标尺度更新局部区域的半径，得到自适应局部区域模型；根据自适应局部区域模型中像素的像素前景后验概率和像素背景后验概率，构建海上目标的分割能量函数；采用高斯牛顿法迭代求解分割能量函数，当分割能量函数达到最大值时，输出位姿变化量，根据位姿变化量进行序列图像中海上目标的位姿跟踪。采用本方法能够实现对海上目标的实时位姿跟踪。

Description

实时目标位姿跟踪方法、装置、计算机设备和存储介质
技术领域
本申请涉及位姿跟踪技术领域，特别是涉及一种实时目标位姿跟踪方法、装置、计算机设备和存储介质。
背景技术
单目海上目标6D位姿跟踪是视觉飞机降落引导中的核心关键技术之一，许多研究机构对此都开展了相关工作，引导方式主要分为合作模式与非合作模式。基于合作标志的引导方式需要在海上目标的降落平台上额外布设灯阵等标志，对海上目标平台的原有设计会引入修改，且隐蔽性较差，飞机降落时，机载相机光轴与降落平台面之间角度较小，海上目标降落平台区域布置的灯阵在距离较远时，降落平台上布置的合作标志灯在图像中的分布极为密集，位姿解算难度较大。飞机降落是一个由远及近且距离跨度极大的过程，距离跨度高达数公里，非合作模式的飞机降落引导方法需要图像中跑道线或内部结构特征清晰可见，对成像质量要求高，且有效引导距离较短。
根据具体所使用图像信息的不同，现有的基于三维模型的单目位姿跟踪方法包括直接方法、基于特征的方法、基于边缘的方法和基于区域的方法。在直接方法中，连续帧的光度一致性是基础，通过直接图像对准来估计目标的位姿变化，因此，这种方法对动态光、噪声等极为敏感。对于基于特征的位姿跟踪方法来说，需要充分且清晰的纹理来提供鲁棒的特征点或特征线，但当飞机离海上目标距离较远时，机载相机成像中的海上目标较小，此类方法无法适用。基于边缘的方法一般是沿着3D模型的投影边缘采样一组控制点，然后，对每个采样点，沿法线方向进行一维搜索，确定对应关系。通过最小化采样边缘点与其对应点之间的距离来跟踪姿态。基于区域的方法将位姿跟踪与图像分割统一考虑，通过迭代优化姿态参数，使分割能量最大化，估计出目标的姿态，基于区域的方法在处理杂乱背景、动态光照、运动模糊和离焦等干扰时性能表现良好。然而，视觉引导飞机降落过程中，飞机从远端逐渐接近海上目标目标，受视距变化影响，机载成像中的海上目标在整个过程中尺度变化较大，传统方法难以适应，易出现跟踪失败的情况，无法满足应用需求。
发明内容
基于此，有必要针对上述技术问题，提供一种实时目标位姿跟踪方法、装置、计算机设备和存储介质。
一种实时目标位姿跟踪方法，所述方法包括：
获取待跟踪海上目标的三维模型和初始位姿参数，根据所述初始位姿参数渲染所述三维模型得到投影轮廓；
以在所述投影轮廓上均匀采样的二维图像点为圆心构建局部区域，根据目标尺度更新所述局部区域的半径，得到自适应局部区域模型；所述目标尺度包括所述投影轮廓的最小外接矩形尺度；
根据所述自适应局部区域模型中局部区域的局部前景统计信息和局部背景统计信息，得到局部区域内每一像素的像素前景后验概率和像素背景后验概率，根据所述自适应局部区域模型中像素的像素前景后验概率和像素背景后验概率，构建海上目标的分割能量函数；
采用高斯牛顿法迭代求解所述分割能量函数，当所述分割能量函数达到最大值时，输出位姿变化量，根据所述位姿变化量进行序列图像中海上目标的位姿跟踪。
在其中一个实施例中，还包括：根据所述初始位姿参数将所述海上目标在三维模型对应的世界坐标系中的位置变换为在相机坐标系中的位置；根据预标定的摄像机内参数对应的内参数矩阵以及所述海上目标在相机坐标系中的位置，得到三维模型顶点到二维图像点的透视投影；根据所述透视投影，得到三维模型对应二维图像中目标的投影掩膜；根据所述二维图像中每一二维投影点与所述投影掩膜中轮廓点的欧式距离，得到符号距离函数为：
Figure 224012DEST_PATH_IMAGE001
其中，
Figure 591540DEST_PATH_IMAGE002
，
Figure 36428DEST_PATH_IMAGE003
为二维投影点，
Figure 544507DEST_PATH_IMAGE004
为投影掩膜上的轮廓点，
Figure 391240DEST_PATH_IMAGE005
为投影轮廓；根据所述符号距离函数为零时的点集得到投影轮廓为
Figure 195248DEST_PATH_IMAGE006
。
在其中一个实施例中，还包括：在所述投影轮廓对应的目标三维模型顶点集中筛选三维模型顶点；所述三维模型顶点对应的二维图像点在投影轮廓上均匀分布；以所述二维图像点为圆心，得到投影轮廓上的局部区域，根据目标尺度更新所述局部区域的半径，得到自适应局部区域模型。
在其中一个实施例中，还包括：根据所述投影轮廓的最小外接矩形尺度得到半径更新机制为：
Figure 189749DEST_PATH_IMAGE007
其中，
Figure 737405DEST_PATH_IMAGE008
为第
Figure 704224DEST_PATH_IMAGE009
帧图像中第
Figure 413554DEST_PATH_IMAGE010
个局部区域的半径，
Figure 98613DEST_PATH_IMAGE011
为第
Figure 246698DEST_PATH_IMAGE012
帧中的目标三维模型投影轮廓最小外接矩形的宽度，
Figure 68023DEST_PATH_IMAGE013
为第
Figure 181211DEST_PATH_IMAGE014
帧中的目标三维模型投影轮廓最小外接矩形的高度，
Figure 87987DEST_PATH_IMAGE015
为敏感系数，
Figure 243025DEST_PATH_IMAGE016
为尺度偏置系数，
Figure 371386DEST_PATH_IMAGE017
为半径变化区间长度，
Figure 688098DEST_PATH_IMAGE018
为最小半径参数；根据所述半径更新机制更新所述局部区域的半径。
在其中一个实施例中，还包括：分别根据所述局部区域的局部前景统计信息和局部背景统计信息，得到前景颜色外观模型和背景颜色外观模型，分别根据每一所述局部区域的前景颜色外观模型和背景颜色外观模型，得到局部区域内每一像素的像素前景后验概率和像素背景后验概率；所述像素前景后验概率为：
Figure 315126DEST_PATH_IMAGE019
其中，
Figure 8276DEST_PATH_IMAGE020
为像素
Figure 600931DEST_PATH_IMAGE021
对应的像素前景后验概率，
Figure 88544DEST_PATH_IMAGE022
为第
Figure 969913DEST_PATH_IMAGE023
个局部区域局部前景区域的颜色直方分布图，
Figure 997912DEST_PATH_IMAGE024
为第
Figure 382757DEST_PATH_IMAGE025
个局部区域局部背景区域的颜色直方分布图，
Figure 306850DEST_PATH_IMAGE026
为
Figure 675515DEST_PATH_IMAGE027
分布在
Figure 507205DEST_PATH_IMAGE028
中的概率，
Figure 746556DEST_PATH_IMAGE029
，
Figure 340086DEST_PATH_IMAGE030
为输入图像，
Figure 992784DEST_PATH_IMAGE031
为输入图像中的像素，
Figure 565848DEST_PATH_IMAGE032
为输入图像中像素
Figure 190865DEST_PATH_IMAGE033
的RGB值，
Figure 191182DEST_PATH_IMAGE034
为前景颜色外观模型，
Figure 268859DEST_PATH_IMAGE035
为背景颜色外观模型，
Figure 911193DEST_PATH_IMAGE036
为局部前景权重，
Figure 187453DEST_PATH_IMAGE037
为局部背景权重；所述像素背景后验概率为：
Figure 358672DEST_PATH_IMAGE038
其中，
Figure 720383DEST_PATH_IMAGE039
为像素
Figure 635249DEST_PATH_IMAGE040
对应的像素背景后验概率，
Figure 467814DEST_PATH_IMAGE041
为
Figure 75513DEST_PATH_IMAGE042
分布在
Figure 127782DEST_PATH_IMAGE043
中的概率。
在其中一个实施例中，还包括：分别根据所述自适应局部区域模型中像素的像素前景后验概率和像素背景后验概率，计算局部区域之间的重叠区域内像素的像素前景平均后验概率和像素背景平均后验概率；所述像素前景平均后验概率为：
Figure 643077DEST_PATH_IMAGE044
其中，
Figure 97192DEST_PATH_IMAGE045
为第
Figure 610213DEST_PATH_IMAGE046
帧图像中
Figure 149779DEST_PATH_IMAGE047
对应的像素前景平均后验概率，
Figure 468765DEST_PATH_IMAGE048
为第
Figure 511807DEST_PATH_IMAGE049
帧图像中像素
Figure 461309DEST_PATH_IMAGE050
对应的像素背景后验概率，
Figure 19329DEST_PATH_IMAGE051
为第
Figure 843803DEST_PATH_IMAGE052
个局部区域的圆心，
Figure 741352DEST_PATH_IMAGE053
，
Figure 861755DEST_PATH_IMAGE054
为第
Figure 172651DEST_PATH_IMAGE049
帧图像中第
Figure 36701DEST_PATH_IMAGE055
个局部区域的半径；所述像素背景平均后验概率为：
Figure 788757DEST_PATH_IMAGE056
其中，
Figure 345640DEST_PATH_IMAGE057
为第
Figure 878253DEST_PATH_IMAGE058
帧图像中像素
Figure 14836DEST_PATH_IMAGE059
对应的像素背景平均后验概率，
Figure 152556DEST_PATH_IMAGE060
为第
Figure 677078DEST_PATH_IMAGE061
帧图像中像素
Figure 133205DEST_PATH_IMAGE062
对应的像素背景后验概率。根据所述自适应局部区域模型中的像素前景平均后验概率和像素背景平均后验概率，构建海上目标的分割能量函数为：
Figure 339059DEST_PATH_IMAGE063
其中，
Figure 331285DEST_PATH_IMAGE064
为位姿参数，
Figure 964392DEST_PATH_IMAGE065
为分割能量函数，
Figure 674859DEST_PATH_IMAGE066
为自适应局部区域模型中的局部区域。
在其中一个实施例中，还包括：对所述分割能量函数进行重加权最小二乘问题形式的重构，得到重构分割能量函数为：
Figure 684403DEST_PATH_IMAGE067
其中，
Figure 531137DEST_PATH_IMAGE068
为权重系数，
Figure 600724DEST_PATH_IMAGE069
；将所述重构分割能量函数的权重系数设为固定权值，采用高斯牛顿法求解所述重构分割能量函数的位姿参数，根据所述位姿参数计算所述重构分割能量函数的权重系数，根据所述权重系数进行迭代求解；当所述分割能量函数达到最大值时，输出位姿变化量为：
Figure 31443DEST_PATH_IMAGE070
其中，
Figure 844678DEST_PATH_IMAGE071
为黑塞矩阵，
Figure 811497DEST_PATH_IMAGE072
为矩阵求逆运算，
Figure 786406DEST_PATH_IMAGE073
，
Figure 471466DEST_PATH_IMAGE074
为雅可比矩阵，
Figure 619550DEST_PATH_IMAGE075
为雅可比矩阵的转置矩阵；根据所述位姿变化量和当前帧图像的初始位姿参数得到下一帧图像中海上目标的初始位姿参数，迭代求解序列图像中位姿变化量，进行序列图像中海上目标的位姿跟踪。
一种实时目标位姿跟踪装置，所述装置包括：
参数获取模块，用于获取待跟踪海上目标的三维模型和初始位姿参数，根据所述初始位姿参数渲染所述三维模型得到投影轮廓；
局部区域构建模块，用于以在所述投影轮廓上均匀采样的二维图像点为圆心构建局部区域，根据目标尺度更新所述局部区域的半径，得到自适应局部区域模型；所述目标尺度包括所述投影轮廓的最小外接矩形尺度；
分割函数构建模块，用于根据所述自适应局部区域模型中局部区域的局部前景统计信息和局部背景统计信息，得到局部区域内每一像素的像素前景后验概率和像素背景后验概率，根据所述自适应局部区域模型中像素的像素前景后验概率和像素背景后验概率，构建海上目标的分割能量函数；
位姿跟踪模块，用于采用高斯牛顿法迭代求解所述分割能量函数，当所述分割能量函数达到最大值时，输出位姿变化量，根据所述位姿变化量进行序列图像中海上目标的位姿跟踪。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待跟踪海上目标的三维模型和初始位姿参数，根据所述初始位姿参数渲染所述三维模型得到投影轮廓；
以在所述投影轮廓上均匀采样的二维图像点为圆心构建局部区域，根据目标尺度更新所述局部区域的半径，得到自适应局部区域模型；所述目标尺度包括所述投影轮廓的最小外接矩形尺度；
根据所述自适应局部区域模型中局部区域的局部前景统计信息和局部背景统计信息，得到局部区域内每一像素的像素前景后验概率和像素背景后验概率，根据所述自适应局部区域模型中像素的像素前景后验概率和像素背景后验概率，构建海上目标的分割能量函数；
采用高斯牛顿法迭代求解所述分割能量函数，当所述分割能量函数达到最大值时，输出位姿变化量，根据所述位姿变化量进行序列图像中海上目标的位姿跟踪。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待跟踪海上目标的三维模型和初始位姿参数，根据所述初始位姿参数渲染所述三维模型得到投影轮廓；
以在所述投影轮廓上均匀采样的二维图像点为圆心构建局部区域，根据目标尺度更新所述局部区域的半径，得到自适应局部区域模型；所述目标尺度包括所述投影轮廓的最小外接矩形尺度；
根据所述自适应局部区域模型中局部区域的局部前景统计信息和局部背景统计信息，得到局部区域内每一像素的像素前景后验概率和像素背景后验概率，根据所述自适应局部区域模型中像素的像素前景后验概率和像素背景后验概率，构建海上目标的分割能量函数；
采用高斯牛顿法迭代求解所述分割能量函数，当所述分割能量函数达到最大值时，输出位姿变化量，根据所述位姿变化量进行序列图像中海上目标的位姿跟踪。
上述实时目标位姿跟踪方法、装置、计算机设备和存储介质，仅利用目标的三维模型，不依赖合作标志，通过跟踪过程中依赖机载相机成像中最稳定的海上目标外围轮廓区域信息，并充分考虑海上目标受视距变化引起的尺度变化，自适应地更新局部区域模型参数，能够在海浪背景，海面反光，成像模糊等干扰下对海上目标进行稳定的位姿跟踪；使用高斯牛顿法优化求解位姿参数使得能量函数最大化，高效求解目标位姿参数，可实现对海上目标的实时位姿跟踪。
附图说明
图1为一个实施例中实时目标位姿跟踪方法的流程示意图；
图2为一个实施例中实时目标位姿跟踪方法的坐标系转换示意图；
图3为一个实施例中构建自适应局部区域模型的流程示意图；
图4为一个具体实施例中实时目标位姿跟踪方法的流程示意图；
图5为一个实施例中实时目标位姿跟踪装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种实时目标位姿跟踪方法，包括以下步骤：
步骤102，获取待跟踪海上目标的三维模型和初始位姿参数，根据初始位姿参数渲染三维模型得到投影轮廓。
本发明实施例中海上目标为大型目标，由于目标尺寸大难以通过传统方法进行准确而高效的目标位姿跟踪，投影轮廓为目标图像中目标的轮廓，且投影轮廓上的每一二维图像点，均与目标三维模型顶点对应，以建立投影轮廓二维采样点到目标三维模型的点对应关系。
步骤104，以在投影轮廓上均匀采样的二维图像点为圆心构建局部区域，根据目标尺度更新局部区域的半径，得到自适应局部区域模型。
二维图像点是渲染出的二维模板上的点，在投影轮廓上均匀采样的二维图像点即二维采样点，目标尺度包括投影轮廓的最小外接矩形尺度，投影轮廓的最小外接矩形尺度为矩形的长或宽，目标尺度为长与宽中较小的尺度。
步骤106，根据自适应局部区域模型中局部区域的局部前景统计信息和局部背景统计信息，得到局部区域内每一像素的像素前景后验概率和像素背景后验概率，根据自适应局部区域模型中像素的像素前景后验概率和像素背景后验概率，构建海上目标的分割能量函数。
首先统计图像中每个局部区域前景和背景的RGB（颜色值）颜色直方图；然后基于像素颜色值计算每个像素在各个局部区域中的前景后验概率与背景后验概率；接着，计算像素点关于所有局部区域的前景/背景平均后验概率；最后，结合所有区域像素点的前景/背景后验概率，构建分割能量函数。
步骤108，采用高斯牛顿法迭代求解分割能量函数，当分割能量函数达到最大值时，输出位姿变化量，根据位姿变化量进行序列图像中海上目标的位姿跟踪。
对于序列图像，根据当前帧初始位姿参数和位姿变化量，得到下一帧的位姿初始参数。
上述实时目标位姿跟踪方法中，仅利用目标的三维模型，不依赖合作标志，通过跟踪过程中依赖机载相机成像中最稳定的海上目标外围轮廓区域信息，并充分考虑海上目标受视距变化引起的尺度变化，自适应地更新局部区域模型参数，能够在海浪背景，海面反光，成像模糊等干扰下对海上目标进行稳定的位姿跟踪；使用高斯牛顿法优化求解位姿参数使得能量函数最大化，高效求解目标位姿参数，可实现对海上目标的实时位姿跟踪。
在一个实施例中，如图2所示，提供了一种单目位姿跟踪示意图，根据初始位姿参数渲染三维模型得到投影轮廓包括：根据初始位姿参数将海上目标在三维模型对应的世界坐标系中的位置变换为在相机坐标系中的位置；根据预标定的摄像机内参数对应的内参数矩阵以及海上目标在相机坐标系中的位置，得到三维模型顶点到目标二维图像点的透视投影为：
Figure 175296DEST_PATH_IMAGE076
其中，
Figure 117845DEST_PATH_IMAGE077
是三维模型点对应投影的二维投影点，
Figure 24621DEST_PATH_IMAGE078
是三维模型点，
Figure 179659DEST_PATH_IMAGE079
是
Figure 354026DEST_PATH_IMAGE080
的齐次扩展，且
Figure 139579DEST_PATH_IMAGE081
；根据透视投影，得到三维模型对应目标二维图像的投影掩膜；根据目标二维图像中每一二维投影点与投影掩膜中轮廓点的欧式距离，得到符号距离函数为：
Figure 533651DEST_PATH_IMAGE082
其中，
Figure 226801DEST_PATH_IMAGE083
，
Figure 22719DEST_PATH_IMAGE084
为投影掩膜上的轮廓点，
Figure 775911DEST_PATH_IMAGE085
为投影轮廓；根据符号距离函数为零时的点集得到投影轮廓为
Figure 391700DEST_PATH_IMAGE086
。
在本实施例中，海上目标的三维模型为由三维点组成的密集曲面模型（三角形网格），可表示为
Figure 685278DEST_PATH_IMAGE087
，
Figure 834238DEST_PATH_IMAGE088
表示3D模型中三维点的序列号，
Figure 758331DEST_PATH_IMAGE089
为3D模型中三维点的个数，
Figure 861416DEST_PATH_IMAGE090
为从三维模型所在的世界坐标系
Figure 896369DEST_PATH_IMAGE091
到相机坐标系
Figure 401299DEST_PATH_IMAGE092
的刚性变换，由旋转矩阵
Figure 496294DEST_PATH_IMAGE093
和平移向量
Figure 86675DEST_PATH_IMAGE094
定义：
Figure 722056DEST_PATH_IMAGE095
其中，
Figure 347073DEST_PATH_IMAGE096
为李群理论中的特殊正交群，
Figure 845925DEST_PATH_IMAGE097
为李群理论中的特殊欧式群，
内参数矩阵
Figure 923602DEST_PATH_IMAGE098
为：
Figure 97095DEST_PATH_IMAGE099
其中，
Figure 576617DEST_PATH_IMAGE100
、
Figure 747836DEST_PATH_IMAGE101
为相机等效焦距参数，
Figure 312809DEST_PATH_IMAGE102
、
Figure 289993DEST_PATH_IMAGE103
为相机主点位置参数。
在一个实施例中，如图3所示，提供了一种自适应局部区域模型的结构示意图，以在投影轮廓上均匀采样的二维图像点为圆心构建局部区域，根据目标尺度更新局部区域的半径，得到自适应局部区域模型包括：在投影轮廓对应的目标三维模型顶点集中筛选三维模型顶点；三维模型顶点对应的二维图像点在投影轮廓上均匀分布；以二维图像点为圆心，得到投影轮廓上的局部区域，根据目标尺度更新局部区域的半径，得到自适应局部区域模型；
在本实施例中，自适应局部区域模型由位姿参数约束，如图3中“局部区域建立”部分的左图所示，
Figure 889601DEST_PATH_IMAGE104
为投影掩膜，根据投影轮廓划分全局前景区域和全局背景区域，分别根据全局前景区域和全局背景区域得到自适应局部区域模型中局部区域的局部前景区域和局部背景区域，或者，图像中
Figure 231721DEST_PATH_IMAGE105
的区域为前景区域
Figure 18411DEST_PATH_IMAGE106
，而
Figure 799285DEST_PATH_IMAGE107
的区域为背景区域
Figure 751936DEST_PATH_IMAGE108
，为了保证局部区域在图像序列的对应性，在投影轮廓
Figure 264957DEST_PATH_IMAGE109
附近的目标模型三维顶点
Figure 538943DEST_PATH_IMAGE110
中筛选区域中心
Figure 857929DEST_PATH_IMAGE111
，保证这些区域中心在轮廓上尽可能分布均匀，从而确定局部圆形区域
Figure 166551DEST_PATH_IMAGE112
。局部圆形区域
Figure 850473DEST_PATH_IMAGE113
被划分为前景区域
Figure 674072DEST_PATH_IMAGE114
和背景区域
Figure 734432DEST_PATH_IMAGE115
。对于每个局部区域
Figure 897560DEST_PATH_IMAGE116
，区域中前景和背景统计信息通常由前景颜色外观模型和背景颜色外观模型表示，前背景颜色外观模型和背景颜色外观模型描述的是像素颜色
Figure 814701DEST_PATH_IMAGE117
分别满足前景局部区域像素颜色和背景局部区域像素颜色的概率，这里使用区域RGB颜色直方图表示。
在一个实施例中，根据目标尺度更新局部区域的半径的步骤包括：根据投影轮廓的最小外接矩形尺度得到半径更新机制为：
Figure 63279DEST_PATH_IMAGE118
其中，
Figure 183724DEST_PATH_IMAGE119
为第
Figure 466937DEST_PATH_IMAGE120
帧图像中第
Figure 554979DEST_PATH_IMAGE121
个局部区域的半径，
Figure 290854DEST_PATH_IMAGE122
为第
Figure 693017DEST_PATH_IMAGE123
帧中的目标三维模型投影轮廓最小外接矩形的宽度，
Figure 830737DEST_PATH_IMAGE124
为第
Figure 89680DEST_PATH_IMAGE125
帧中的目标三维模型投影轮廓最小外接矩形的高度，
Figure 47272DEST_PATH_IMAGE126
为敏感系数，
Figure 518704DEST_PATH_IMAGE127
为尺度偏置系数，
Figure 307669DEST_PATH_IMAGE128
为半径变化区间长度，
Figure 940775DEST_PATH_IMAGE129
为最小半径参数；根据半径更新机制更新局部区域的半径。
在本实施例中，为了适应由海上目标与机载相机之间的视距变化引起的海上目标尺度变化，局部区域的大小随目标尺度变大而变大来保持局部区域内部对前背景采样在图像序列中的连续性。过小的区域半径会无法应对较大的目标位姿变化，而过大的区域半径会导致位姿收敛精度不够，所以区域半径参数需要在一定范围内调节。采用S（Sigmoid）函数设计半径参数更新机制，既能限制区域半径的变化范围，又保证局部区域半径随目标尺度的变化在一定范围内近似线性关系。考虑到海上目标三维结构的复杂性，将目标尺度定义为目标的投影轮廓的最小包围矩形中较短侧的像素长度。假设位姿跟踪结果正确，相邻帧图像中的目标尺度可视为近似一致，首先检测前一帧海上目标的目标尺度，如图3中的“区域半径更新”部分所示，然后基于前一帧海上目标的目标尺度更新当前帧的局部区域
Figure 884198DEST_PATH_IMAGE130
，在当前帧的位姿优化求解中更新区域半径参数。具体地，敏感系数一般在0.02~0.2区间内取值，敏感系数越高，半径随目标尺度变化越剧烈。这里，
Figure 690480DEST_PATH_IMAGE131
，根据具体应用场景，取
Figure 537214DEST_PATH_IMAGE132
，将半径变化区间设置在[10,70]。
在连续帧图像序列中的位姿参数持续迭代中，对应同一个区域中心的局部区域的前背景颜色直方图在相邻帧图像中具有延续性。根据上一帧图像中目标投影轮廓的局部区域的颜色外观模型，得到当前帧图像中对应局部区域的颜色外观模型；颜色外观模型包括前景颜色外观模型和背景颜色外观模型。第
Figure 341221DEST_PATH_IMAGE133
帧成功跟踪后，对于第
Figure 273405DEST_PATH_IMAGE134
帧中的局部区域的颜色外观模型，将其建立为对先前帧图像中对应区域颜色外观模型的部分继承，更新策略如下：
Figure 883378DEST_PATH_IMAGE135
Figure 584618DEST_PATH_IMAGE136
其中，
Figure 559527DEST_PATH_IMAGE137
和
Figure 775745DEST_PATH_IMAGE138
分别是局部前景区域和局部背景区域的学习率，为了有效应对成像抖动和避免解算的位姿参数跳变，从而提高位姿跟踪效果，具体设置为
Figure 127092DEST_PATH_IMAGE139
，
Figure 682838DEST_PATH_IMAGE140
。
在一个实施例中，根据自适应局部区域模型中局部区域的局部前景统计信息和局部背景统计信息，得到局部区域内每一像素的像素前景后验概率和像素背景后验概率包括：分别根据局部区域的局部前景区域统计信息和局部背景区域统计信息，得到前景颜色外观模型和背景颜色外观模型，分别根据每一局部区域的前景颜色外观模型和背景颜色外观模型，得到局部区域内每一像素的像素前景后验概率和像素背景后验概率；像素前景后验概率为：
Figure 592763DEST_PATH_IMAGE141
其中，
Figure 296277DEST_PATH_IMAGE142
为像素
Figure 451315DEST_PATH_IMAGE143
对应的像素前景后验概率，
Figure 861567DEST_PATH_IMAGE144
为第
Figure 443859DEST_PATH_IMAGE145
个局部区域局部前景区域的颜色直方分布图,
Figure 634668DEST_PATH_IMAGE146
为第
Figure 62239DEST_PATH_IMAGE147
个局部区域局部背景区域的颜色直方分布图，
Figure 858156DEST_PATH_IMAGE148
为
Figure 142507DEST_PATH_IMAGE149
分布在
Figure 23876DEST_PATH_IMAGE150
中的概率，
Figure 255137DEST_PATH_IMAGE151
，
Figure 404096DEST_PATH_IMAGE152
为输入的二维图像,
Figure 124927DEST_PATH_IMAGE153
为输入图像中的像素，
Figure 228013DEST_PATH_IMAGE154
为图像中像素
Figure 997386DEST_PATH_IMAGE155
的RGB值，
Figure 767895DEST_PATH_IMAGE156
为前景颜色外观模型，
Figure 659628DEST_PATH_IMAGE157
为背景颜色外观模型，
Figure 250009DEST_PATH_IMAGE158
，
Figure 823073DEST_PATH_IMAGE159
，
Figure 448090DEST_PATH_IMAGE160
为第
Figure 510723DEST_PATH_IMAGE161
个局部区域，
Figure 322822DEST_PATH_IMAGE162
为平滑的Heaviside（赫维赛德）阶跃函数，
Figure 198112DEST_PATH_IMAGE163
为倾斜系数；像素背景后验概率为：
Figure 677634DEST_PATH_IMAGE164
其中，
Figure 911170DEST_PATH_IMAGE165
为像素
Figure 476143DEST_PATH_IMAGE166
对应的像素背景后验概率，
Figure 391010DEST_PATH_IMAGE167
为
Figure 521777DEST_PATH_IMAGE168
分布在
Figure 129475DEST_PATH_IMAGE169
中的概率。
在本实施例中，在所有局部区域统计模型的融合上，由于各个局部区域之间会出现重叠，目标边缘附近的像素点会同时属于若干个局部区域，本发明选择计算像素在其所属所有局部区域的平均后验概率。
在一个实施例中，根据自适应局部区域模型中像素的像素前景后验概率和像素背景后验概率，构建海上目标的分割能量函数包括：根据自适应局部区域模型中像素的像素前景后验概率和像素背景后验概率，对局部区域之间的重叠区域内的像素计算像素前景平均后验概率和像素背景平均后验概率；像素前景平均后验概率为：
Figure 916166DEST_PATH_IMAGE170
其中，
Figure 900302DEST_PATH_IMAGE171
为第
Figure 885576DEST_PATH_IMAGE172
帧图像中像素
Figure 664176DEST_PATH_IMAGE173
对应的像素前景平均后验概率，
Figure 702277DEST_PATH_IMAGE174
为第
Figure 958946DEST_PATH_IMAGE175
帧图像中像素
Figure 267568DEST_PATH_IMAGE176
对应的像素背景后验概率，
Figure 13807DEST_PATH_IMAGE177
为第
Figure 40669DEST_PATH_IMAGE178
个局部区域的圆心，
Figure 835449DEST_PATH_IMAGE179
，
Figure 795315DEST_PATH_IMAGE180
为第
Figure 181297DEST_PATH_IMAGE181
帧图像中第
Figure 164296DEST_PATH_IMAGE182
个局部区域的半径；像素背景平均后验概率为：
Figure 825085DEST_PATH_IMAGE183
其中，
Figure 108299DEST_PATH_IMAGE184
为第
Figure 898138DEST_PATH_IMAGE185
帧图像中像素
Figure 368434DEST_PATH_IMAGE186
对应的像素背景平均后验概率，
Figure 832913DEST_PATH_IMAGE187
为第
Figure 970633DEST_PATH_IMAGE188
帧图像中像素
Figure 167259DEST_PATH_IMAGE189
对应的像素背景后验概率。根据自适应局部区域模型中的像素前景平均后验概率和像素背景平均后验概率，构建海上目标的分割能量函数为：
Figure 390430DEST_PATH_IMAGE190
其中，
Figure 393021DEST_PATH_IMAGE191
为位姿参数，
Figure 385248DEST_PATH_IMAGE192
为分割能量函数，
Figure 18355DEST_PATH_IMAGE193
为第
Figure 728822DEST_PATH_IMAGE194
帧图像中像素
Figure 269525DEST_PATH_IMAGE195
对应的像素前景平均后验概率，
Figure 614793DEST_PATH_IMAGE196
，
Figure 418801DEST_PATH_IMAGE197
为序列图像帧数，
Figure 413302DEST_PATH_IMAGE198
为第
Figure 960958DEST_PATH_IMAGE199
帧图像中像素
Figure 662198DEST_PATH_IMAGE200
对应的全局背景平均后验概率，
Figure 902686DEST_PATH_IMAGE201
，
Figure 118904DEST_PATH_IMAGE202
为自适应局部区域模型中的局部区域。
在本实施例中，能量函数以目标位姿参数
Figure 470251DEST_PATH_IMAGE203
为自变量，定量描述了该位姿参数以三维模型为约束条件下的目标分割性能，即渲染出的二维模板与图像中目标区域的吻合程度。当能量最大时，目标区域分割结果最佳。
在一个实施例中，采用高斯牛顿法迭代求解分割能量函数，当分割能量函数达到最大值时，输出位姿变化量，根据位姿变化量进行序列图像中海上目标的位姿跟踪包括：对分割能量函数进行重加权最小二乘问题形式的重构，得到重构分割能量函数为：
Figure 25997DEST_PATH_IMAGE204
其中，
Figure 437387DEST_PATH_IMAGE205
为权重系数，
Figure 140900DEST_PATH_IMAGE206
，
Figure 528894DEST_PATH_IMAGE207
；将重构分割能量函数的权重系数设为固定权值，采用高斯牛顿法求解重构分割能量函数的位姿参数，根据位姿参数计算重构分割能量函数的权重系数，根据权重系数进行迭代求解；当分割能量函数达到最大值时，输出位姿变化量为：
Figure 204726DEST_PATH_IMAGE208
其中，
Figure 583755DEST_PATH_IMAGE209
为黑塞矩阵，
Figure 977827DEST_PATH_IMAGE210
，
Figure 405397DEST_PATH_IMAGE211
为雅可比矩阵，
Figure 935736DEST_PATH_IMAGE212
为雅可比矩阵的转置矩阵；根据位姿变化量和当前帧图像的初始位姿参数得到下一帧图像中海上目标的初始位姿参数，迭代求解序列图像中位姿变化量，进行序列图像中海上目标的位姿跟踪。
在本实施例中，在位姿跟踪过程中，只需通过计算帧间的位姿更新量，就可以获取每帧的位姿。为方便在连续帧中对变换矩阵求解时的非线性优化，将变换矩阵用李代数表示的6D位姿向量
Figure 485666DEST_PATH_IMAGE213
进行表示。
Figure 101455DEST_PATH_IMAGE214
。
将李代数位姿向量更新量映射到变换矩阵更新量上：
Figure 598295DEST_PATH_IMAGE215
，
Figure 248720DEST_PATH_IMAGE216
其中，
Figure 703972DEST_PATH_IMAGE217
为
Figure 305592DEST_PATH_IMAGE218
对应的反对称矩阵；
在固定权值假设下，将能量函数对位姿
Figure 340544DEST_PATH_IMAGE219
求偏导，得到一阶梯度函数如下，
Figure 907792DEST_PATH_IMAGE220
因为
Figure 737208DEST_PATH_IMAGE221
，所以雅可比矩阵计算如下：
Figure 327589DEST_PATH_IMAGE222
Figure 166232DEST_PATH_IMAGE223
其中，
Figure 322407DEST_PATH_IMAGE224
为平滑Dirac函数（狄拉克函数），根据公式
Figure 322724DEST_PATH_IMAGE225
，可以得到：
Figure 400401DEST_PATH_IMAGE226
对于水平集嵌入函数关于像素位置的偏导
Figure 839473DEST_PATH_IMAGE227
，利用中心差分方法求解为：
Figure 318996DEST_PATH_IMAGE228
水平集嵌入函数即符号距离函数，由
Figure 988749DEST_PATH_IMAGE229
，可推导
Figure 553723DEST_PATH_IMAGE230
。假设在微小运动后，在每次迭代中对矩阵指数进行分段线性化，得到
Figure 530906DEST_PATH_IMAGE231
，则
Figure 864935DEST_PATH_IMAGE232
其中，
Figure 207055DEST_PATH_IMAGE233
。
通过以上对雅可比矩阵中各项偏导得推导，可求得黑塞矩阵和位姿变化量如下，
Figure 259325DEST_PATH_IMAGE234
Figure 774620DEST_PATH_IMAGE235
连续图像序列中，随着模型相对相机的运动，刚性变换矩阵也不断变化，位姿跟踪实际上就是不断迭代更新变换矩阵。迭代整个过程，并依据迭代中分割能量值的大小判断迭代是否终止，输出最终的位姿更新结果。在给定初始位姿的情况下，基于区域的单目位姿跟踪就是通过在连续帧中持续求解位姿变化量
Figure 963155DEST_PATH_IMAGE236
更新第
Figure 741756DEST_PATH_IMAGE237
帧图像的变换矩阵
Figure 78059DEST_PATH_IMAGE238
，实现对图像序列中海上目标位姿的跟踪。
在一个具体实施例中，如图4所示，提供了一种实时目标位姿跟踪方法的流程示意图，输入包括海上目标的三维模型、初始位姿参数和待估计姿态下所成单目图像。利用目标的三维模型结合目标的初始位姿，渲染海上目标投影轮廓，通过在投影轮廓上均匀采样二维点，即为局部区域中心初始化局部区域，并提取轮廓的像素尺度，结合轮廓尺度变化更新区域半径，从而建立基于尺度自适应的局部区域模型，接着，根据目标投影轮廓的像素尺度调节局部区域半径，构建最优分割目标函数；最后，通过高斯牛顿法迭代优化求解目标函数，迭代整个过程，直至结果收敛，进而实现对舰船目标的高效、可靠的6D位姿跟踪。
应该理解的是，虽然图1、图3和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、图3和图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种实时目标位姿跟踪装置，包括：参数获取模块502、局部区域构建模块504、分割函数构建模块506和位姿跟踪模块508，其中：
参数获取模块502，用于获取待跟踪海上目标的三维模型和初始位姿参数，根据初始位姿参数渲染三维模型得到投影轮廓；
局部区域构建模块504，用于以在投影轮廓上均匀采样的二维图像点为圆心构建局部区域，根据目标尺度更新局部区域的半径，得到自适应局部区域模型；目标尺度包括投影轮廓的最小外接矩形尺度；
分割函数构建模块506，用于根据自适应局部区域模型中局部区域的局部前景统计信息和局部背景统计信息，得到局部区域内每一像素的像素前景后验概率和像素背景后验概率，根据自适应局部区域模型中像素的像素前景后验概率和像素背景后验概率，构建海上目标的分割能量函数；
位姿跟踪模块508，用于采用高斯牛顿法迭代求解分割能量函数，当分割能量函数达到最大值时，输出位姿变化量，根据位姿变化量进行序列图像中海上目标的位姿跟踪。
在其中一个实施例中，参数获取模块502还用于根据初始位姿参数将海上目标在三维模型对应的世界坐标系中的位置变换为在相机坐标系中的位置；根据预标定的摄像机内参数对应的内参数矩阵以及海上目标在相机坐标系中的位置，得到三维模型顶点到二维图像点的透视投影；根据透视投影，得到三维模型对应二维图像中目标的投影掩膜；根据二维图像中每一二维投影点与投影掩膜中轮廓点的欧式距离，得到符号距离函数为：
Figure 600307DEST_PATH_IMAGE239
其中，
Figure 141885DEST_PATH_IMAGE240
，
Figure 888124DEST_PATH_IMAGE241
为二维投影点，
Figure 649406DEST_PATH_IMAGE242
为投影掩膜上的轮廓点，
Figure 709766DEST_PATH_IMAGE243
为投影轮廓；根据符号距离函数为零时的点集得到投影轮廓为
Figure 872894DEST_PATH_IMAGE244
。
在其中一个实施例中，局部区域构建模块504还用于在投影轮廓对应的目标三维模型顶点集中筛选三维模型顶点；三维模型顶点对应的二维图像点在投影轮廓上均匀分布；以二维图像点为圆心，得到投影轮廓上的局部区域，根据目标尺度更新局部区域的半径，得到自适应局部区域模型。
在其中一个实施例中，局部区域构建模块504还用于根据投影轮廓的最小外接矩形尺度得到半径更新机制为：
Figure 790035DEST_PATH_IMAGE245
其中，
Figure 304193DEST_PATH_IMAGE246
为第
Figure 902664DEST_PATH_IMAGE247
帧图像中第
Figure 920299DEST_PATH_IMAGE248
个局部区域的半径，
Figure 273920DEST_PATH_IMAGE249
为第
Figure 744216DEST_PATH_IMAGE250
帧中的目标三维模型投影轮廓最小外接矩形的宽度，
Figure 910492DEST_PATH_IMAGE251
为第
Figure 579371DEST_PATH_IMAGE252
帧中的目标三维模型投影轮廓最小外接矩形的高度，
Figure 307156DEST_PATH_IMAGE253
为敏感系数，
Figure 264747DEST_PATH_IMAGE254
为尺度偏置系数，
Figure 470601DEST_PATH_IMAGE255
为半径变化区间长度
Figure 259565DEST_PATH_IMAGE256
为最小半径参数；根据半径更新机制更新局部区域的半径。
在其中一个实施例中，分割函数构建模块506还用于分别根据局部区域的局部前景统计信息和局部背景统计信息，得到前景颜色外观模型和背景颜色外观模型，分别根据每一局部区域的前景颜色外观模型和背景颜色外观模型，得到局部区域内每一像素的像素前景后验概率和像素背景后验概率；像素前景后验概率为：
Figure 892672DEST_PATH_IMAGE257
其中，
Figure 337560DEST_PATH_IMAGE258
为像素
Figure 143842DEST_PATH_IMAGE259
对应的像素前景后验概率，
Figure 256154DEST_PATH_IMAGE260
为第
Figure 794583DEST_PATH_IMAGE261
个局部区域局部前景区域的颜色直方分布图，
Figure 490881DEST_PATH_IMAGE262
为第
Figure 835275DEST_PATH_IMAGE263
个局部区域局部背景区域的颜色直方分布图，
Figure 802094DEST_PATH_IMAGE264
为
Figure 511424DEST_PATH_IMAGE265
分布在
Figure 196483DEST_PATH_IMAGE266
中的概率，
Figure 344568DEST_PATH_IMAGE267
，
Figure 900314DEST_PATH_IMAGE268
为输入图像，
Figure 311704DEST_PATH_IMAGE269
为输入图像中的像素，
Figure 15218DEST_PATH_IMAGE270
为输入图像中像素
Figure 904676DEST_PATH_IMAGE271
的RGB值，
Figure 580508DEST_PATH_IMAGE272
为前景颜色外观模型，
Figure 693958DEST_PATH_IMAGE273
为背景颜色外观模型，
Figure 586565DEST_PATH_IMAGE274
为局部前景权重，
Figure 14135DEST_PATH_IMAGE275
为局部背景权重；像素背景后验概率为：
Figure 810053DEST_PATH_IMAGE276
其中，
Figure 359983DEST_PATH_IMAGE277
为像素
Figure 241351DEST_PATH_IMAGE278
对应的像素背景后验概率，
Figure 207033DEST_PATH_IMAGE279
为
Figure 857458DEST_PATH_IMAGE280
分布在
Figure 578289DEST_PATH_IMAGE281
中的概率。
在其中一个实施例中，分割函数构建模块506还用于分别根据自适应局部区域模型中像素的像素前景后验概率和像素背景后验概率，计算局部区域之间的重叠区域内像素的像素前景平均后验概率和像素背景平均后验概率；像素前景平均后验概率为：
Figure 946953DEST_PATH_IMAGE282
其中，
Figure 716326DEST_PATH_IMAGE283
为第
Figure 719792DEST_PATH_IMAGE284
帧图像中像素
Figure 611525DEST_PATH_IMAGE285
对应的像素前景平均后验概率，
Figure 467485DEST_PATH_IMAGE286
为第
Figure 774970DEST_PATH_IMAGE287
帧图像中像素
Figure 399986DEST_PATH_IMAGE288
对应的像素背景后验概率，
Figure 462620DEST_PATH_IMAGE289
为第
Figure 540298DEST_PATH_IMAGE290
个局部区域的圆心，
Figure 917052DEST_PATH_IMAGE291
，
Figure 193313DEST_PATH_IMAGE292
为第
Figure 630110DEST_PATH_IMAGE293
帧图像中第
Figure 929505DEST_PATH_IMAGE294
个局部区域的半径；像素背景平均后验概率为：
Figure 366344DEST_PATH_IMAGE295
其中，
Figure 965952DEST_PATH_IMAGE296
为第
Figure 370389DEST_PATH_IMAGE284
帧图像中像素
Figure 157079DEST_PATH_IMAGE297
对应的像素背景平均后验概率，
Figure 875637DEST_PATH_IMAGE298
为第
Figure 126489DEST_PATH_IMAGE299
帧图像中像素
Figure 905089DEST_PATH_IMAGE300
对应的像素背景后验概率。根据自适应局部区域模型中的像素前景平均后验概率和像素背景平均后验概率，构建海上目标的分割能量函数为：
Figure 179076DEST_PATH_IMAGE301
其中，
Figure 701324DEST_PATH_IMAGE302
为位姿参数，
Figure 806683DEST_PATH_IMAGE303
为分割能量函数，
Figure 756185DEST_PATH_IMAGE304
为自适应局部区域模型中的局部区域。
在其中一个实施例中，位姿跟踪模块508还用于对分割能量函数进行重加权最小二乘问题形式的重构，得到重构分割能量函数为：
Figure 750423DEST_PATH_IMAGE305
其中，
Figure 76363DEST_PATH_IMAGE306
为权重系数，
Figure 36228DEST_PATH_IMAGE307
；将重构分割能量函数的权重系数设为固定权值，采用高斯牛顿法求解重构分割能量函数的位姿参数，根据位姿参数计算重构分割能量函数的权重系数，根据权重系数进行迭代求解；当分割能量函数达到最大值时，输出位姿变化量为：
Figure 891052DEST_PATH_IMAGE308
其中，
Figure 405210DEST_PATH_IMAGE309
为黑塞矩阵，
Figure 65998DEST_PATH_IMAGE310
为矩阵求逆运算，
Figure 83633DEST_PATH_IMAGE311
，
Figure 374937DEST_PATH_IMAGE312
为雅可比矩阵，
Figure 110812DEST_PATH_IMAGE313
为雅可比矩阵的转置矩阵；根据位姿变化量和当前帧图像的初始位姿参数得到下一帧图像中海上目标的初始位姿参数，迭代求解序列图像中位姿变化量，进行序列图像中海上目标的位姿跟踪。
关于实时目标位姿跟踪装置的具体限定可以参见上文中对于实时目标位姿跟踪方法的限定，在此不再赘述。上述实时目标位姿跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种实时目标位姿跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种实时目标位姿跟踪方法，其特征在于，所述方法包括：
获取待跟踪海上目标的三维模型和初始位姿参数，根据所述初始位姿参数渲染所述三维模型得到投影轮廓；
以在所述投影轮廓上均匀采样的二维图像点为圆心构建局部区域，根据目标尺度更新所述局部区域的半径，得到自适应局部区域模型；所述目标尺度包括所述投影轮廓的最小外接矩形尺度；
根据所述自适应局部区域模型中局部区域的局部前景统计信息和局部背景统计信息，得到局部区域内每一像素的像素前景后验概率和像素背景后验概率，根据所述自适应局部区域模型中像素的像素前景后验概率和像素背景后验概率，构建海上目标的分割能量函数；
采用高斯牛顿法迭代求解所述分割能量函数，当所述分割能量函数达到最大值时，输出位姿变化量，根据所述位姿变化量进行序列图像中海上目标的位姿跟踪。
2.根据权利要求1所述的方法，其特征在于，所述根据所述初始位姿参数渲染所述三维模型得到投影轮廓包括：
根据所述初始位姿参数将所述海上目标在三维模型对应的世界坐标系中的位置变换为在相机坐标系中的位置；
根据预标定的摄像机内参数对应的内参数矩阵以及所述海上目标在相机坐标系中的位置，得到三维模型顶点到二维图像点的透视投影；
根据所述透视投影，得到三维模型对应二维图像中目标的投影掩膜；
根据所述二维图像中每一二维投影点与所述投影掩膜中轮廓点的欧式距离，得到符号距离函数为：
Figure 592861DEST_PATH_IMAGE001
其中，
Figure 978843DEST_PATH_IMAGE002
，
Figure 749395DEST_PATH_IMAGE003
为二维投影点，
Figure 347866DEST_PATH_IMAGE004
为投影掩膜上的轮廓点，
Figure 427818DEST_PATH_IMAGE005
为投影轮廓；
根据所述符号距离函数为零时的点集得到投影轮廓为
Figure 719122DEST_PATH_IMAGE006
。
3.根据权利要求1或2任一项所述的方法，其特征在于，所述以在所述投影轮廓上均匀采样的二维图像点为圆心构建局部区域，根据目标尺度更新所述局部区域的半径，得到自适应局部区域模型包括：
在所述投影轮廓对应的目标三维模型顶点集中筛选三维模型顶点；所述三维模型顶点对应的二维图像点在投影轮廓上均匀分布；
以所述二维图像点为圆心，得到投影轮廓上的局部区域，根据目标尺度更新所述局部区域的半径，得到自适应局部区域模型。
4.根据权利要求3所述的方法，其特征在于，根据目标尺度更新所述局部区域的半径的步骤包括：
根据所述投影轮廓的最小外接矩形尺度得到半径更新机制为：
Figure 189417DEST_PATH_IMAGE007
其中，
Figure 653897DEST_PATH_IMAGE008
为第
Figure 791617DEST_PATH_IMAGE009
帧图像中第
Figure 988243DEST_PATH_IMAGE010
个局部区域的半径，
Figure 211414DEST_PATH_IMAGE011
为第
Figure 214005DEST_PATH_IMAGE012
帧中的目标三维模型投影轮廓最小外接矩形的宽度，
Figure 206232DEST_PATH_IMAGE013
为第
Figure 603453DEST_PATH_IMAGE014
帧中的目标三维模型投影轮廓最小外接矩形的高度，
Figure 48341DEST_PATH_IMAGE015
为敏感系数，
Figure 589044DEST_PATH_IMAGE016
为尺度偏置系数，
Figure 701356DEST_PATH_IMAGE017
为半径变化区间长度，
Figure 239785DEST_PATH_IMAGE018
为最小半径参数；
根据所述半径更新机制更新所述局部区域的半径。
5.根据权利要求1所述的方法，其特征在于，所述根据所述自适应局部区域模型中局部区域的局部前景统计信息和局部背景统计信息，得到局部区域内每一像素的像素前景后验概率和像素背景后验概率包括：
分别根据所述局部区域的局部前景统计信息和局部背景统计信息，得到前景颜色外观模型和背景颜色外观模型，分别根据每一所述局部区域的前景颜色外观模型和背景颜色外观模型，得到局部区域内每一像素的像素前景后验概率和像素背景后验概率；所述像素前景后验概率为：
Figure 437548DEST_PATH_IMAGE019
其中，
Figure 781942DEST_PATH_IMAGE020
为像素
Figure 748761DEST_PATH_IMAGE021
对应的像素前景后验概率，
Figure 989249DEST_PATH_IMAGE022
为第
Figure 143150DEST_PATH_IMAGE023
个局部区域局部前景区域的颜色直方分布图，
Figure 993032DEST_PATH_IMAGE024
为第
Figure 814357DEST_PATH_IMAGE025
个局部区域局部背景区域的颜色直方分布图，
Figure 225747DEST_PATH_IMAGE026
为
Figure 929261DEST_PATH_IMAGE027
分布在
Figure 553140DEST_PATH_IMAGE028
中的概率，
Figure 494552DEST_PATH_IMAGE029
，
Figure 873580DEST_PATH_IMAGE030
为输入图像，
Figure 2073DEST_PATH_IMAGE031
为输入图像中的像素，
Figure 695223DEST_PATH_IMAGE032
为输入图像中像素
Figure 22299DEST_PATH_IMAGE033
的RGB值，
Figure 775491DEST_PATH_IMAGE034
为前景颜色外观模型，
Figure 155395DEST_PATH_IMAGE035
为背景颜色外观模型，
Figure 386656DEST_PATH_IMAGE036
为局部前景权重，
Figure 833818DEST_PATH_IMAGE037
为局部背景权重；
所述像素背景后验概率为：
Figure 492332DEST_PATH_IMAGE038
其中，
Figure 595418DEST_PATH_IMAGE039
为像素
Figure 630370DEST_PATH_IMAGE040
对应的像素背景后验概率，
Figure 197617DEST_PATH_IMAGE041
为
Figure 761454DEST_PATH_IMAGE042
分布在
Figure 617414DEST_PATH_IMAGE043
中的概率。
6.根据权利要求1所述的方法，其特征在于，所述根据所述自适应局部区域模型中像素的像素前景后验概率和像素背景后验概率，构建海上目标的分割能量函数包括：
分别根据所述自适应局部区域模型中像素的像素前景后验概率和像素背景后验概率，计算局部区域之间的重叠区域内像素的像素前景平均后验概率和像素背景平均后验概率；所述像素前景平均后验概率为：
Figure 252795DEST_PATH_IMAGE044
其中，
Figure 612232DEST_PATH_IMAGE045
为第
Figure 376664DEST_PATH_IMAGE046
帧图像中
Figure 188762DEST_PATH_IMAGE047
对应的像素前景平均后验概率，
Figure 831096DEST_PATH_IMAGE048
为第
Figure 107356DEST_PATH_IMAGE049
帧图像中像素
Figure 278575DEST_PATH_IMAGE050
对应的像素背景后验概率，
Figure 843548DEST_PATH_IMAGE051
为第
Figure 820731DEST_PATH_IMAGE052
个局部区域的圆心，
Figure 154761DEST_PATH_IMAGE053
，
Figure 496880DEST_PATH_IMAGE054
为第
Figure 549150DEST_PATH_IMAGE055
帧图像中第
Figure 64445DEST_PATH_IMAGE056
个局部区域的半径；
所述像素背景平均后验概率为：
Figure 17095DEST_PATH_IMAGE057
其中，
Figure 530116DEST_PATH_IMAGE058
为第
Figure 69682DEST_PATH_IMAGE059
帧图像中像素
Figure 591930DEST_PATH_IMAGE060
对应的像素背景平均后验概率，
Figure 697289DEST_PATH_IMAGE061
为第
Figure 381212DEST_PATH_IMAGE062
帧图像中像素
Figure 142494DEST_PATH_IMAGE063
对应的像素背景后验概率；
根据所述自适应局部区域模型中的像素前景平均后验概率和像素背景平均后验概率，构建海上目标的分割能量函数为：
Figure 265171DEST_PATH_IMAGE064
其中，
Figure 162720DEST_PATH_IMAGE065
为位姿参数，
Figure 283123DEST_PATH_IMAGE066
为分割能量函数，
Figure 594018DEST_PATH_IMAGE067
为自适应局部区域模型中的局部区域。
7.根据权利要求1所述的方法，其特征在于，所述采用高斯牛顿法迭代求解所述分割能量函数，当所述分割能量函数达到最大值时，输出位姿变化量，根据所述位姿变化量进行序列图像中海上目标的位姿跟踪包括：
对所述分割能量函数进行重加权最小二乘问题形式的重构，得到重构分割能量函数为：
Figure 956604DEST_PATH_IMAGE068
其中，
Figure 974239DEST_PATH_IMAGE069
为权重系数，
Figure 265543DEST_PATH_IMAGE070
；
将所述重构分割能量函数的权重系数设为固定权值，采用高斯牛顿法求解所述重构分割能量函数的位姿参数，根据所述位姿参数计算所述重构分割能量函数的权重系数，根据所述权重系数进行迭代求解；
当所述分割能量函数达到最大值时，输出位姿变化量为：
Figure 1418DEST_PATH_IMAGE071
其中，
Figure 465897DEST_PATH_IMAGE072
为黑塞矩阵，
Figure 72459DEST_PATH_IMAGE073
为矩阵求逆运算，
Figure 800243DEST_PATH_IMAGE074
，
Figure 820152DEST_PATH_IMAGE075
为雅可比矩阵，
Figure 26006DEST_PATH_IMAGE076
为雅可比矩阵的转置矩阵；
根据所述位姿变化量和当前帧图像的初始位姿参数得到下一帧图像中海上目标的初始位姿参数，迭代求解序列图像中位姿变化量，进行序列图像中海上目标的位姿跟踪。
8.一种实时目标位姿跟踪装置，其特征在于，所述装置包括：
参数获取模块，用于获取待跟踪海上目标的三维模型和初始位姿参数，根据所述初始位姿参数渲染所述三维模型得到投影轮廓；
局部区域构建模块，用于以在所述投影轮廓上均匀采样的二维图像点为圆心构建局部区域，根据目标尺度更新所述局部区域的半径，得到自适应局部区域模型；所述目标尺度包括所述投影轮廓的最小外接矩形尺度；
分割函数构建模块，用于根据所述自适应局部区域模型中局部区域的局部前景统计信息和局部背景统计信息，得到局部区域内每一像素的像素前景后验概率和像素背景后验概率，根据所述自适应局部区域模型中像素的像素前景后验概率和像素背景后验概率，构建海上目标的分割能量函数；
位姿跟踪模块，用于采用高斯牛顿法迭代求解所述分割能量函数，当所述分割能量函数达到最大值时，输出位姿变化量，根据所述位姿变化量进行序列图像中海上目标的位姿跟踪。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210823197.3A 2022-07-14 2022-07-14 实时目标位姿跟踪方法、装置、计算机设备和存储介质 Pending CN114972518A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210823197.3A CN114972518A (zh) 2022-07-14 2022-07-14 实时目标位姿跟踪方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210823197.3A CN114972518A (zh) 2022-07-14 2022-07-14 实时目标位姿跟踪方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN114972518A true CN114972518A (zh) 2022-08-30

Family

ID=82970005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210823197.3A Pending CN114972518A (zh) 2022-07-14 2022-07-14 实时目标位姿跟踪方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114972518A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070122001A1 (en) * 2005-11-30 2007-05-31 Microsoft Corporation Real-time Bayesian 3D pose tracking
CN104766065A (zh) * 2015-04-14 2015-07-08 中国科学院自动化研究所 基于多视角学习的鲁棒性前景检测方法
CN111652901A (zh) * 2020-06-02 2020-09-11 山东大学 一种基于置信度和特征融合的无纹理三维物体跟踪方法
US20200363815A1 (en) * 2019-05-17 2020-11-19 Nvidia Corporation Object pose estimation
CN112525145A (zh) * 2020-11-30 2021-03-19 北京航空航天大学 一种飞机降落相对姿态动态视觉测量方法及系统
CN114022567A (zh) * 2021-11-09 2022-02-08 浙江商汤科技开发有限公司 位姿跟踪方法、装置、电子设备及存储介质
CN114677409A (zh) * 2022-02-25 2022-06-28 中国科学院微小卫星创新研究院 基于边缘匹配的空间非合作目标三维跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070122001A1 (en) * 2005-11-30 2007-05-31 Microsoft Corporation Real-time Bayesian 3D pose tracking
CN104766065A (zh) * 2015-04-14 2015-07-08 中国科学院自动化研究所 基于多视角学习的鲁棒性前景检测方法
US20200363815A1 (en) * 2019-05-17 2020-11-19 Nvidia Corporation Object pose estimation
CN111652901A (zh) * 2020-06-02 2020-09-11 山东大学 一种基于置信度和特征融合的无纹理三维物体跟踪方法
CN112525145A (zh) * 2020-11-30 2021-03-19 北京航空航天大学 一种飞机降落相对姿态动态视觉测量方法及系统
CN114022567A (zh) * 2021-11-09 2022-02-08 浙江商汤科技开发有限公司 位姿跟踪方法、装置、电子设备及存储介质
CN114677409A (zh) * 2022-02-25 2022-06-28 中国科学院微小卫星创新研究院 基于边缘匹配的空间非合作目标三维跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIEXIN ZHOU ET.AL.: "Robust monocular 3D object pose tracking for large visual range variation in robotic manipulation via scale-adaptive region-based method", 《INTERNATIONAL JOURNAL OF ADVANCED》 *

Similar Documents

Publication Publication Date Title
CN110517278B (zh) 图像分割和图像分割网络的训练方法、装置和计算机设备
US11488308B2 (en) Three-dimensional object detection method and system based on weighted channel features of a point cloud
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
CN109697688B (zh) 一种用于图像处理的方法和装置
US8363926B2 (en) Systems and methods for modeling three-dimensional objects from two-dimensional images
CN103514441B (zh) 基于移动平台的人脸特征点定位跟踪方法
CN111902825A (zh) 多边形对象标注系统和方法以及训练对象标注系统的方法
CN109493417B (zh) 三维物体重建方法、装置、设备和存储介质
KR20210060554A (ko) 얼굴 랜드마크 검출 방법과 장치, 컴퓨터 장치, 및 저장 매체
CN111091567B (zh) 医学图像配准方法、医疗设备及存储介质
US20180130217A1 (en) Method and apparatus for performing background image registration
CN113111861A (zh) 人脸纹理特征提取、3d人脸重建方法及设备及存储介质
CN113269862A (zh) 场景自适应的精细三维人脸重建方法、系统、电子设备
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN113450396A (zh) 基于骨骼特征的三维/二维图像配准方法及装置
CN113393577B (zh) 一种倾斜摄影地形重建方法
CN113223132B (zh) 基于反射分解的室内场景虚拟漫游方法
CN114782628A (zh) 基于深度相机的室内实时三维重建方法
CN110807833A (zh) 一种网状拓扑获得方法、装置、电子设备及存储介质
CN112614140A (zh) 一种训练色斑检测模型的方法及相关装置
CN114332633B (zh) 雷达图像目标检测识别方法、设备和存储介质
CN116805356A (zh) 建筑模型的构建方法、设备及计算机可读存储介质
CN112750155B (zh) 基于卷积神经网络的全景深度估计方法
Cheng et al. C 2-YOLO: Rotating Object Detection Network for Remote Sensing Images with Complex Backgrounds
CN116563303B (zh) 一种场景可泛化的交互式辐射场分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220830

RJ01 Rejection of invention patent application after publication