CN107993287A - 一种目标跟踪的自动初始化方法 - Google Patents

一种目标跟踪的自动初始化方法 Download PDF

Info

Publication number
CN107993287A
CN107993287A CN201711250674.7A CN201711250674A CN107993287A CN 107993287 A CN107993287 A CN 107993287A CN 201711250674 A CN201711250674 A CN 201711250674A CN 107993287 A CN107993287 A CN 107993287A
Authority
CN
China
Prior art keywords
mrow
msub
point
msup
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711250674.7A
Other languages
English (en)
Inventor
常亮
沈润杰
杨叶
张新宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Datang Binhai Offshore Wind Power Generation Co Ltd
Tongji University
Original Assignee
Datang Binhai Offshore Wind Power Generation Co Ltd
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Datang Binhai Offshore Wind Power Generation Co Ltd, Tongji University filed Critical Datang Binhai Offshore Wind Power Generation Co Ltd
Priority to CN201711250674.7A priority Critical patent/CN107993287A/zh
Publication of CN107993287A publication Critical patent/CN107993287A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Economics (AREA)
  • Computer Graphics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Other Investigation Or Analysis Of Materials By Electrical Means (AREA)

Abstract

本发明公开了一种目标跟踪的自动初始化方法，所述目标跟踪为通过SLAM算法优化基于模型的跟踪方法，在进行目标跟踪时先执行自动初始化过程，所述的自动初始化过程包括：根据已知目标物的模型，预先建立其点云数据库，然后确定目标物在相机采集的图像中的位置，提取目标物在图像中的点云数据，最后将得到的点云数据与所建立的点云数据库进行点云匹配，得到点云集间的精确变换关系。本发明的自动初始化方法，实现了采用SLAM算法优化基于模型的跟踪方法的自动初始化，提高了目标跟踪过程的智能化水平。

Description

一种目标跟踪的自动初始化方法
技术领域
本发明属于AR相关技术设计开发领域或属于海上风电场可视化运维决策系统领域，尤其是涉及一种目标跟踪的自动初始化方法。
背景技术
风电场一般采用预防性维护与纠错性维护相结合的运维策略，海上风电的工况复杂性、交通运输的可达性与安全性、故障处理可完成性等都会成为影响运维质量的重要因素。本发明针对海上风电运维体系所存在的管理经验欠缺，人员素质参差不齐，海上风电场天气及作业环境复杂，人员、设备和船只在海上作业危险性高等问题，基于AR(AugmentedReality增强现实)相关技术设计开发海上风电场可视化运维决策系统，利用图像识别、智能检测和数据挖掘技术等技术，帮助操作人员及时准确的定位并排除问题，根据现场情况制定相应的运维策略。AR技术依据实际现场环境与设备状态设计触发点，将实时运行数据嵌入AR显示界面中，实现集控数据与现实场景并存，从而获得人机交互的体感。在基于AR的可视化运维决策系统中现场维护人员通过所佩戴的AR设备对所要维修的对象进行识别，将相关的结构信息和实时运行数据附加在真实场景之上，制造出虚拟数据与现实场景共存的场景，帮助维护人员在现场进行运维问题决策与操作。
有鉴于此，特提出本发明。
发明内容
本发明要解决的技术问题在于克服现有技术的不足，提供一种目标跟踪的自动初始化方法，实现了采用SLAM算法优化基于模型的跟踪方法的自动初始化，提高了目标跟踪过程的智能化水平。
为解决上述技术问题，本发明采用技术方案的基本构思是：
一种目标跟踪的自动初始化方法，包括：根据已知目标物的模型，预先建立其点云数据库，然后确定目标物在相机采集的图像中的位置，提取目标物在图像中的点云数据，最后将得到的点云数据与所建立的点云数据库进行点云匹配，得到点云集间的精确变换关系。
优选的，所述的目标物的模型为3D模型，通过选择该3D模型的不同视角，生成多视角点云数据库，并记录各视角下目标物的位姿。
优选的，将相机采集的图像与预先准备好的目标物的图像做ORB匹配，得到目标物在图像中的大致位置。
优选的，对预先准备好的目标物的图像进行ORB特征点提取并与相机采集的图像进行匹配，包括：分别获取该两图像的特征点，得到特征描述子，并判断两图像的特征描述子之间的欧式距离是否小于设定阈值，若判断结果为是，则判断两图像相匹配，否则判断两图像不匹配；
所述的ORB特征点提取包括以下步骤：
S1、将预先准备好的目标物的图像生成图像高斯金字塔；
S2、根据步骤S1中得到的图像生成DOG金字塔；
S3、对步骤S2得到的图像进行空间极值点检测，得到在尺度空间和二维图像空间上都是局部极值点的若干关键点；
S4、在步骤S3中得到的关键点中，以每一个关键点像素p为中心，半径为3做圆，圆形上有16个像素点分别为：p1、p2、...p16；
S5、定义一个阈值，计算p1、p9与中心p的像素差，若它们绝对值都小于设定阈值，则判断p点不可能是特征点，除去，否则，p点为候选点，需进一步判断；
S6、若p是候选点，则计算p1、p9、p5、p13与中心p的像素差，若它们的绝对值有至少3个超过阈值，则当做候选点，再进行下一步考察；
S7、计算p1到p16这16个点与中心p的像素差，若它们有至少9个超过阈值，则p为特征点；
S8、对图像进行非极大值抑制：计算特征点处的得分值，判断以特征点p为中心的一个邻域内，若有多个特征点，则判断每个特征点的s值，若p是邻域所有特征点中响应值最大的，则保留；
其中得分计算公式为：
其中p表示中心点的像素值，value表示以p为中心的领域内的特征点的像素值，S表示得分，t表示阈值；所述的特征点的s值为16个点与中心差值的绝对值总和；
S9、以步骤S8中所保留的特征点为中心，取SxS的邻域窗口，在窗口内随机选取一对点，比较二者像素的大小，进行如下二进制赋值；
其中，p(x)，p(y)分别是随机点x＝(u1,v1),y＝(u2,v2)的像素值；
S10、在窗口中随机选取N对随机点，重复二进制赋值，得到特征描述子；
S11、对步骤S8中筛选后的每一特征点，均得到一个256bit的二进制编码。
优选的，步骤S1包括以下步骤：
S101、将预先准备好的目标物的图像扩大一倍，作为高斯金字塔的第一组第一层，将第一组第一层图像经高斯卷积得到第一组第二层，高斯卷积的公式为：
其中，(x,y)为像素点的坐标，σ为正态分布的标准偏差，优选设定为1.6；
S102、将σ乘以一个比例系数k，得到新的σ，用它来平滑第一组第二层的图像，重复该步骤，最后得到L层图像，在同一组中，每一层图像的尺寸都是一样的，只是平滑系数不一样；
S103、将第一组倒数第三层图像作比例因子为2的降采样，得到的图像作为第二组第一层，然后进行步骤S102和S103，得到第二组的L层图像；
S104、根据上述过程，反复执行，得到一共O组，每组L层，共计O*L个图像；
在步骤S2中，由步骤S1中，得到的图像高斯金字塔中的第一组第二层减第一组第一层得到DOG金字塔第一组第一层，高斯金字塔中的第一组第三层减第一组第二层得到DOG金字塔第一组第二层，以此类推，逐组逐层生成每一个差分图像，所有的差分图像构成差分DOG金字塔，即DOG金字塔的第O组第I层图像是高斯金字塔的第O组I+1层减第O组I层得到的；
步骤S3中，还包括以下步骤：
S301、在DOG金字塔图像中，所有像素点与它3*3邻域内的8个点做比较；
S302、各像素点再和上下相邻两层图像中相同位置的像素点的3*3领域内的2*9个点做比较；
S303、保证关键点在尺度空间和二维图像空间上都是局部极值点。
优选的，所述的提取目标物在图像中的点云数据，包括在确定目标物在图像中的位置后，使用SLAM算法提取物体点云；
所述的SLAM算法采用LSD-SLAM算法、ORB-SLAM算法、RGBD-SLAM2算法、ElasticFusion算法中的任意一种算法；
优选的,SLAM算法选用ORB-SLAM算法。
优选的，当采用单目SLAM算法时，单目SLAM提取的特征点开始为二维点，需要使用三角化的方法求取特征点的深度信息，得到特征点的深度信息后，从而得到点云数据。
优选的，所述将得到的点云数据与所建立的点云数据库进行点云匹配，得到点云集间的精确变换关系包括采用点云匹配的算法，得到精确的物体位姿信息：
该点云匹配的算法包括以下步骤：
S401、点云特征点选取过程：
S402、计算特征描述子过程；
S403、匹配特征点，对点云进行粗匹配，得到粗匹配的坐标变化T和尺度变换S；
S404、迭代优化过程。
优选的，步骤S401还包括以下步骤：
S411、查询一次点云获取得到的数据中每一个点pi半径ri内所有点，并计算权值：
wij为三维点pi领域内任一点pj的权值，公式中pi,pj分别代表两点的三维坐标向量；
S412、根据权值计算方差矩阵
其中，T为求转值；
S413、计算方差矩阵的特征值特征值按照从大到小顺序排列；
S414、设置阈值ε1和ε2保留满足和的点为关键点；
步骤S402还包括以下步骤：
S421、寻找满足步骤S414的关键点pi的r半径范围内所有点，假设点的个数为ni；
S422、计算ni个点的法向量；
S423、根据ni个点计算关键点pi的特征描述子；
其中，计算任意两点Ds和Dt以及它们对应的法线ns和nt之间的特征如下：
α＝V·nt；
θ＝arctan(W·ns，U·nt)；
d＝||Dt-Ds||；
其中，U,V,W分别代表三维直角坐标系中的三个坐标轴的单位向量，其中ns与U方向相同，φ为U方向和Ds与Dt连线方向间的夹角，α为nt与V方向的夹角，θ为nt在U‐V平面上的投影与U方向的夹角，d为Ds与Dt两点间的欧氏距离，计算关键点pi的r半径领域内的任意两点间的α、φ、θ、d为作为关键点pi的特征。
优选的，步骤S404包括以下步骤：
S441、设pi＝(xi,yi,zi),qj＝(xj,yj,zj)为三维空间中两个3D点，他们的欧氏距离为：
为求解任意两个点云集P和Q的旋转矩阵R和坐标变换T，对于点云P中的任一特征点pi,和Q中与pi所对应的特征点qj，有qj＝Rpi+T，利用最小二乘法求最优解得误差E为：
其中N代表两个点云中匹配的特征点总量，使用最小二乘法求解使误差E最小的R与T；
S442、平行移动和旋转分离：先对坐标变换T进行初始估算，分别得到点集P和Q的中心：
S443、构造点集P和Q的协方差矩阵：
其中μP 代表点云中心化矩阵，qi T为向量的转置；
S444、由协方差矩阵构造4x4对称矩阵：
其中，I3是3x3单位矩阵；
其中，Δ为指代符号，代表Q(∑P,Q)；
S445、计算Q(∑P,Q)的特征值和特征向量，其最大特征值对应的特征向量即为最佳旋转向量qR＝[q0q1q2q3]T；
S446、计算最佳平移向量：
S447、将旋转矩阵和平移向量叠加在点云Q上，之后再带入式：
其中，若误差小于设定阈值，则迭代结束，否则继续重复以上步骤；迭代结束之后，所得到的旋转矩阵与平移向量即是目标的初始位置，初始化过程结束。
采用上述技术方案，本发明具有以下有益效果：
本发明的自动初始化方法，实现了采用SLAM算法优化基于模型的跟踪方法的自动初始化，提高了目标跟踪过程的智能化水平。风电场一般采用预防性维护与纠错性维护相结合的运维策略，海上风电的工况复杂性、交通运输的可达性与安全性、故障处理可完成性等都会成为影响运维质量的重要因素。本发明针对海上风电运维体系所存在的管理经验欠缺，人员素质参差不齐，海上风电场天气及作业环境复杂，人员、设备和船只在海上作业危险性高等问题，基于AR(Augmented Reality增强现实)相关技术设计开发海上风电场可视化运维决策系统，利用图像识别、智能检测和数据挖掘技术等技术，帮助操作人员及时准确的定位并排除问题，根据现场情况制定相应的运维策略。AR技术依据实际现场环境与设备状态设计触发点，将实时运行数据嵌入AR显示界面中，实现集控数据与现实场景并存，从而获得人机交互的体感。在基于AR的可视化运维决策系统中现场维护人员通过所佩戴的AR设备对所要维修的对象进行识别，将相关的结构信息和实时运行数据附加在真实场景之上，制造出虚拟数据与现实场景共存的场景，帮助维护人员在现场进行运维问题决策与操作。
下面结合附图对本发明的具体实施方式作进一步详细的描述。
附图说明
附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：
图1是本发明的目标跟踪的自动初始化方法的步骤图。
需要说明的是，这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对实施例中的技术方案进行清楚、完整地描述，以下实施例用于说明本发明，但不用来限制本发明的范围。
参见图1所示，本发明提供一种目标跟踪的自动初始化方法，包括以下步骤：
S1001、根据已知目标物的模型，预先建立其点云数据库；
S1002、确定目标物在相机采集的图像中的位置，提取目标物在图像中的点云数据；
S1003、将得到的点云数据与所建立的点云数据库进行点云匹配，得到点云集间的精确变换关系。
优选的，所述的目标物的模型为3D模型，通过选择该3D模型的不同视角，生成多视角点云数据库，并记录各视角下目标物的位姿。可以采用slam软件库或PCL等实现。
优选的，将相机采集的图像与预先准备好的目标物的图像做ORB匹配，得到目标物在图像中的大致位置。
优选的，对预先准备好的目标物的图像进行ORB特征点提取并与相机采集的图像进行匹配，包括：分别获取该两图像的特征点，得到特征描述子，并判断两图像的特征描述子之间的欧式距离是否小于设定阈值，若判断结果为是，则判断两图像相匹配，否则判断两图像不匹配；
所述的ORB特征点提取包括以下步骤：
S1、将预先准备好的目标物的图像生成图像高斯金字塔；
S2、根据步骤S1中得到的图像生成DOG金字塔；
S3、对步骤S2得到的图像进行空间极值点检测，得到在尺度空间和二维图像空间上都是局部极值点的若干关键点；
S4、在步骤S3中得到的关键点中，以每一个关键点像素p为中心，半径为3做圆，圆形上有16个像素点分别为：p1、p2、...p16；
S5、定义一个阈值，计算p1、p9与中心p的像素差，若它们绝对值都小于设定阈值，则判断p点不可能是特征点，除去，否则，p点为候选点，需进一步判断；
S6、若p是候选点，则计算p1、p9、p5、p13与中心p的像素差，若它们的绝对值有至少3个超过阈值，则当做候选点，再进行下一步考察；
S7、计算p1到p16这16个点与中心p的像素差，若它们有至少9个超过阈值，则p为特征点；
S8、对图像进行非极大值抑制：计算特征点处的得分值，判断以特征点p为中心的一个邻域内，若有多个特征点，则判断每个特征点的s值，若p是邻域所有特征点中响应值最大的，则保留；
其中得分计算公式为：
其中p表示中心点的像素值，value表示以p为中心的领域内的特征点的像素值，S表示得分，t表示阈值；所述的特征点的s值为16个点与中心差值的绝对值总和；
S9、以步骤S8中所保留的特征点为中心，取SxS的邻域窗口，在窗口内随机选取一对点，比较二者像素的大小，进行如下二进制赋值；
其中，p(x)，p(y)分别是随机点x＝(u1,v1),y＝(u2,v2)的像素值；
S10、在窗口中随机选取N对随机点，重复二进制赋值，得到特征描述子；
S11、对步骤S8中筛选后的每一特征点，均得到一个256bit的二进制编码。
优选的，步骤S1包括以下步骤：
S101、将预先准备好的目标物的图像扩大一倍，作为高斯金字塔的第一组第一层，将第一组第一层图像经高斯卷积得到第一组第二层，高斯卷积的公式为：
其中，(x,y)为像素点的坐标，σ为正态分布的标准偏差，优选设定为1.6；
S102、将σ乘以一个比例系数k，得到新的σ，用它来平滑第一组第二层的图像，重复该步骤，最后得到L层图像，在同一组中，每一层图像的尺寸都是一样的，只是平滑系数不一样；
S103、将第一组倒数第三层图像作比例因子为2的降采样，得到的图像作为第二组第一层，然后进行步骤S102和S103，得到第二组的L层图像；
S104、根据上述过程，反复执行，得到一共O组，每组L层，共计O*L个图像；
在步骤S2中，由步骤S1中，得到的图像高斯金字塔中的第一组第二层减第一组第一层得到DOG金字塔第一组第一层，高斯金字塔中的第一组第三层减第一组第二层得到DOG金字塔第一组第二层，以此类推，逐组逐层生成每一个差分图像，所有的差分图像构成差分DOG金字塔，即DOG金字塔的第O组第I层图像是高斯金字塔的第O组I+1层减第O组I层得到的；
步骤S3中，还包括以下步骤：
S301、在DOG金字塔图像中，所有像素点与它3*3邻域内的8个点做比较；
S302、各像素点再和上下相邻两层图像中相同位置的像素点的3*3领域内的2*9个点做比较；
S303、保证关键点在尺度空间和二维图像空间上都是局部极值点。
优选的，所述的提取目标物在图像中的点云数据，包括在确定目标物在图像中的位置后，使用SLAM算法提取物体点云；
所述的SLAM算法采用LSD-SLAM算法、ORB-SLAM算法、RGBD-SLAM2算法、ElasticFusion算法中的任意一种算法；
优选的,SLAM算法选用ORB-SLAM算法。
优选的，当采用单目SLAM算法时，单目SLAM提取的特征点开始为二维点，需要使用三角化的方法求取特征点的深度信息，得到特征点的深度信息后，从而得到点云数据。
优选的，所述将得到的点云数据与所建立的点云数据库进行点云匹配，得到点云集间的精确变换关系包括采用点云匹配的算法，得到精确的物体位姿信息：
该点云匹配的算法包括以下步骤：
S401、点云特征点选取过程：
S402、计算特征描述子过程；
S403、匹配特征点，对点云进行粗匹配，得到粗匹配的坐标变化T和尺度变换S；
S404、迭代优化过程。
优选的，步骤S401还包括以下步骤：
S411、查询一次点云获取得到的数据中每一个点pi半径ri内所有点，并计算权值：
wij为三维点pi领域内任一点pj的权值，公式中pi,pj分别代表两点的三维坐标向量；
S412、根据权值计算方差矩阵
其中，T为求转值；
S413、计算方差矩阵的特征值特征值按照从大到小顺序排列；
S414、设置阈值ε1和ε2保留满足和的点为关键点；
步骤S402还包括以下步骤：
S421、寻找满足步骤S414的关键点pi的r半径范围内所有点，假设点的个数为ni；
S422、计算ni个点的法向量；
S423、根据ni个点计算关键点pi的特征描述子；
其中，计算任意两点Ds和Dt以及它们对应的法线ns和nt之间的特征如下：
α＝V·nt；
θ＝arctan(W，ns，U·nt)；
d＝||Dt-Ds||；
其中，U,V,W分别代表三维直角坐标系中的三个坐标轴的单位向量，其中ns与U方向相同，φ为U方向和Ds与Dt连线方向间的夹角，α为nt与V方向的夹角，θ为nt在U‐V平面上的投影与U方向的夹角，d为Ds与Dt两点间的欧氏距离，计算关键点pi的r半径领域内的任意两点间的α、φ、θ、d为作为关键点pi的特征。
优选的，步骤S404包括以下步骤：
S441、设pi＝(xi,yi,zi),qj＝(xj,yj,zj)为三维空间中两个3D点，他们的欧氏距离为：
为求解任意两个点云集P和Q的旋转矩阵R和坐标变换T，对于点云P中的任一特征点pi,和Q中与pi所对应的特征点qj，有qj＝Rpi+T，利用最小二乘法求最优解得误差E为：
其中N代表两个点云中匹配的特征点总量，使用最小二乘法求解使误差E最小的R与T；
S442、平行移动和旋转分离：先对坐标变换T进行初始估算，分别得到点集P和Q的中心：
S443、构造点集P和Q的协方差矩阵：
其中μP 代表点云中心化矩阵，qi T为向量的转置；
S444、由协方差矩阵构造4x4对称矩阵：
其中，I3是3x3单位矩阵；
其中，Δ为指代符号，代表Q(∑P,Q)；
S445、计算Q(∑P,Q)的特征值和特征向量，其最大特征值对应的特征向量即为最佳旋转向量qR＝[q0q1q2q3]T；
S446、计算最佳平移向量：
S447、将旋转矩阵和平移向量叠加在点云Q上，之后再带入式：
其中，若误差小于设定阈值，则迭代结束，否则继续重复以上步骤；迭代结束之后，所得到的旋转矩阵与平移向量即是目标的初始位置，初始化过程结束。
本发明的目标是将增强现实技术引入到海上风电运维管理中，解决AR在海上风电场合所面临的新问题，针对运维对象和运维任务设计不同的AR交互响应过程，提高运维效率降低运维成本，获取将AR技术应用到海上风电运维场合所产生的自主知识产权，形成基于AR的海上风电可视化决策示范系统。
以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专利的技术人员在不脱离本发明技术方案范围内，当可利用上述提示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明方案的范围内。

Claims (10)

1.一种目标跟踪的自动初始化方法，其特征在于，包括：根据已知目标物的模型，预先建立其点云数据库，然后确定目标物在相机采集的图像中的位置，提取目标物在图像中的点云数据，最后将得到的点云数据与所建立的点云数据库进行点云匹配，得到点云集间的精确变换关系。
2.根据权利要求1所述的一种目标跟踪的自动初始化方法，其特征在于，所述的目标物的模型为3D模型，通过选择该3D模型的不同视角，生成多视角点云数据库，并记录各视角下目标物的位姿。
3.根据权利要求1或2所述的一种目标跟踪的自动初始化方法，其特征在于，将相机采集的图像与预先准备好的目标物的图像做ORB匹配，得到目标物在图像中的大致位置。
4.根据权利要求3所述的一种目标跟踪的自动初始化方法，其特征在于，对预先准备好的目标物的图像进行ORB特征点提取并与相机采集的图像进行匹配，包括：分别获取该两图像的特征点，得到特征描述子，并判断两图像的特征描述子之间的欧式距离是否小于设定阈值，若判断结果为是，则判断两图像相匹配，否则判断两图像不匹配；
所述的ORB特征点提取包括以下步骤：
S1、将预先准备好的目标物的图像生成图像高斯金字塔；
S2、根据步骤S1中得到的图像生成DOG金字塔；
S3、对步骤S2得到的图像进行空间极值点检测，得到在尺度空间和二维图像空间上都是局部极值点的若干关键点；
S4、在步骤S3中得到的关键点中，以每一个关键点像素p为中心，半径为3做圆，圆形上有16个像素点分别为：p1、p2、...p16；
S5、定义一个阈值，计算p1、p9与中心p的像素差，若它们绝对值都小于设定阈值，则判断p点不可能是特征点，除去，否则，p点为候选点，需进一步判断；
S6、若p是候选点，则计算p1、p9、p5、p13与中心p的像素差，若它们的绝对值有至少3个超过阈值，则当做候选点，再进行下一步考察；
S7、计算p1到p16这16个点与中心p的像素差，若它们有至少9个超过阈值，则p为特征点；
S8、对图像进行非极大值抑制：计算特征点处的得分值，判断以特征点p为中心的一个邻域内，若有多个特征点，则判断每个特征点的s值，若p是邻域所有特征点中响应值最大的，则保留；
其中得分计算公式为：
<mrow> <mi>S</mi> <mo>=</mo> <mi>max</mi> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>v</mi> <mi>a</mi> <mi>l</mi> <mi>u</mi> <mi>e</mi> <mi>s</mi> <mo>-</mo> <mi>p</mi> <mo>)</mo> </mrow> <mi>i</mi> <mi>f</mi> <mrow> <mo>(</mo> <mi>v</mi> <mi>a</mi> <mi>l</mi> <mi>u</mi> <mi>e</mi> <mo>-</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <mi>t</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>p</mi> <mo>-</mo> <mi>v</mi> <mi>a</mi> <mi>l</mi> <mi>u</mi> <mi>e</mi> <mi>s</mi> <mo>)</mo> </mrow> <mi>i</mi> <mi>f</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>-</mo> <mi>v</mi> <mi>a</mi> <mi>l</mi> <mi>u</mi> <mi>e</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <mi>t</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>
其中p表示中心点的像素值，value表示以p为中心的领域内的特征点的像素值，S表示得分，t表示阈值；所述的特征点的s值为16个点与中心差值的绝对值总和；
S9、以步骤S8中所保留的特征点为中心，取SxS的邻域窗口，在窗口内随机选取一对点，比较二者像素的大小，进行如下二进制赋值；
其中，p(x)，p(y)分别是随机点x＝(u1,v1),y＝(u2,v2)的像素值；
S10、在窗口中随机选取N对随机点，重复二进制赋值，得到特征描述子；
S11、对步骤S8中筛选后的每一特征点，均得到一个256bit的二进制编码。
5.根据权利要求4所述的一种目标跟踪的自动初始化方法，其特征在于，步骤S1包括以下步骤：
S101、将预先准备好的目标物的图像扩大一倍，作为高斯金字塔的第一组第一层，将第一组第一层图像经高斯卷积得到第一组第二层，高斯卷积的公式为：
<mrow> <mi>G</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mn>2</mn> <msup> <mi>&amp;pi;&amp;sigma;</mi> <mn>2</mn> </msup> </mrow> </mfrac> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mfrac> <mrow> <msup> <mi>x</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>y</mi> <mn>2</mn> </msup> </mrow> <mrow> <mn>2</mn> <msup> <mi>&amp;sigma;</mi> <mn>2</mn> </msup> </mrow> </mfrac> </mrow> </msup> </mrow>
其中，(x,y)为像素点的坐标，σ为正态分布的标准偏差，优选设定为1.6；
S102、将σ乘以一个比例系数k，得到新的σ，用它来平滑第一组第二层的图像，重复该步骤，最后得到L层图像，在同一组中，每一层图像的尺寸都是一样的，只是平滑系数不一样；
S103、将第一组倒数第三层图像作比例因子为2的降采样，得到的图像作为第二组第一层，然后进行步骤S102和S103，得到第二组的L层图像；
S104、根据上述过程，反复执行，得到一共O组，每组L层，共计O*L个图像；
在步骤S2中，由步骤S1中，得到的图像高斯金字塔中的第一组第二层减第一组第一层得到DOG金字塔第一组第一层，高斯金字塔中的第一组第三层减第一组第二层得到DOG金字塔第一组第二层，以此类推，逐组逐层生成每一个差分图像，所有的差分图像构成差分DOG金字塔，即DOG金字塔的第O组第I层图像是高斯金字塔的第O组I+1层减第O组I层得到的；
步骤S3中，还包括以下步骤：
S301、在DOG金字塔图像中，所有像素点与它3*3邻域内的8个点做比较；
S302、各像素点再和上下相邻两层图像中相同位置的像素点的3*3领域内的2*9个点做比较；
S303、保证关键点在尺度空间和二维图像空间上都是局部极值点。
6.根据权利要求1-5任一所述的一种目标跟踪的自动初始化方法，其特征在于，所述的提取目标物在图像中的点云数据，包括在确定目标物在图像中的位置后，使用SLAM算法提取物体点云；
所述的SLAM算法采用LSD-SLAM算法、ORB-SLAM算法、RGBD-SLAM2算法、ElasticFusion算法中的任意一种算法；
优选的,SLAM算法选用ORB-SLAM算法。
7.根据权利要求6所述的一种目标跟踪的自动初始化方法，其特征在于，当采用单目SLAM算法时，单目SLAM提取的特征点开始为二维点，需要使用三角化的方法求取特征点的深度信息，得到特征点的深度信息后，从而得到点云数据。
8.根据权利要求1-7任一所述的一种目标跟踪的自动初始化方法，其特征在于，所述将得到的点云数据与所建立的点云数据库进行点云匹配，得到点云集间的精确变换关系包括采用点云匹配的算法，得到精确的物体位姿信息：
该点云匹配的算法包括以下步骤：
S401、点云特征点选取过程：
S402、计算特征描述子过程；
S403、匹配特征点，对点云进行粗匹配，得到粗匹配的坐标变化T和尺度变换S；
S404、迭代优化过程。
9.根据权利要求8所述的一种目标跟踪的自动初始化方法，其特征在于，
步骤S401还包括以下步骤：
S411、查询一次点云获取得到的数据中每一个点pi半径ri内所有点，并计算权值：
<mrow> <msub> <mi>w</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>p</mi> <mi>j</mi> </msub> <mo>|</mo> <mo>|</mo> </mrow> </mfrac> <mo>,</mo> <mo>|</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>p</mi> <mi>j</mi> </msub> <mo>|</mo> <mo>&lt;</mo> <msub> <mi>r</mi> <mi>i</mi> </msub> <mo>;</mo> </mrow>
wij为三维点pi领域内任一点pj的权值，公式中pi,pj分别代表两点的三维坐标向量；
S412、根据权值计算方差矩阵
<mrow> <mi>C</mi> <mi>O</mi> <mi>V</mi> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>|</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>p</mi> <mi>j</mi> </msub> <mo>|</mo> <mo>&lt;</mo> <msub> <mi>r</mi> <mi>i</mi> </msub> </mrow> </munder> <msub> <mi>w</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>p</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>p</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>/</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>|</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>p</mi> <mi>j</mi> </msub> <mo>|</mo> <mo>&lt;</mo> <msub> <mi>r</mi> <mi>r</mi> </msub> </mrow> </munder> <msub> <mi>w</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>;</mo> </mrow>
其中，T为求转值；
S413、计算方差矩阵的特征值特征值按照从大到小顺序排列；
S414、设置阈值ε1和ε2保留满足λi 2/λi 1≤ε1和的点为关键点；
步骤S402还包括以下步骤：
S421、寻找满足步骤S414的关键点pi的r半径范围内所有点，假设点的个数为ni；
S422、计算ni个点的法向量；
S423、根据ni个点计算关键点pi的特征描述子；
其中，计算任意两点Ds和Dt以及它们对应的法线ns和nt之间的特征如下：
α＝V·nt；
<mrow> <mi>&amp;phi;</mi> <mo>=</mo> <mi>U</mi> <mo>&amp;CenterDot;</mo> <mfrac> <mrow> <msub> <mi>D</mi> <mi>t</mi> </msub> <mo>-</mo> <msub> <mi>D</mi> <mi>s</mi> </msub> </mrow> <mi>d</mi> </mfrac> <mo>;</mo> </mrow>
θ＝arctan(W·ns，U·nt)；
d＝||Dt-Ds||；
其中，U,V,W分别代表三维直角坐标系中的三个坐标轴的单位向量，其中ns与U方向相同，φ为U方向和Ds与Dt连线方向间的夹角，α为nt与V方向的夹角，θ为nt在U‐V平面上的投影与U方向的夹角，d为Ds与Dt两点间的欧氏距离，计算关键点pi的r半径领域内的任意两点间的α、φ、θ、d为作为关键点pi的特征。
10.根据权利要求8或9所述的一种目标跟踪的自动初始化方法，其特征在于，步骤S404包括以下步骤：
S441、设pi＝(xi,yi,zi),qj＝(xj,yj,zj)为三维空间中两个3D点，他们的欧氏距离为：
<mrow> <mi>d</mi> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>q</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>q</mi> <mi>j</mi> </msub> <mo>|</mo> <mo>|</mo> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>y</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>z</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>z</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> <mo>;</mo> </mrow>
为求解任意两个点云集P和Q的旋转矩阵R和坐标变换T，对于点云P中的任一特征点pi,和Q中与pi所对应的特征点qj，有qj＝Rpi+T，利用最小二乘法求最优解得误差E为：
<mrow> <mi>E</mi> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>|</mo> <mrow> <mo>(</mo> <msub> <mi>Rp</mi> <mi>i</mi> </msub> <mo>+</mo> <mi>T</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>q</mi> <mi>i</mi> </msub> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>;</mo> </mrow>
其中N代表两个点云中匹配的特征点总量，使用最小二乘法求解使误差E最小的R与T；
S442、平行移动和旋转分离：先对坐标变换T进行初始估算，分别得到点集P和Q的中心：
<mrow> <mover> <mi>p</mi> <mo>&amp;OverBar;</mo> </mover> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>;</mo> </mrow>
<mrow> <mover> <mi>q</mi> <mo>&amp;OverBar;</mo> </mover> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>q</mi> <mi>j</mi> </msub> <mo>;</mo> </mrow>
S443、构造点集P和Q的协方差矩阵：
<mrow> <msub> <mi>&amp;Sigma;</mi> <mrow> <mi>P</mi> <mo>,</mo> <mi>Q</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mo>&amp;lsqb;</mo> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>p</mi> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>q</mi> <mi>i</mi> </msub> <mo>-</mo> <mover> <mi>q</mi> <mo>&amp;OverBar;</mo> </mover> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>&amp;rsqb;</mo> <mo>=</mo> <mfrac> <mn>1</mn> <mi>n</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mo>&amp;lsqb;</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <msup> <msub> <mi>q</mi> <mi>i</mi> </msub> <mi>T</mi> </msup> <mo>&amp;rsqb;</mo> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mi>P</mi> </msub> <msubsup> <mi>&amp;mu;</mi> <mi>Q</mi> <mi>T</mi> </msubsup> <mo>;</mo> </mrow>
其中代表点云中心化矩阵，qi T为向量的转置；
S444、由协方差矩阵构造4x4对称矩阵：
<mrow> <mi>Q</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;Sigma;</mi> <mrow> <mi>P</mi> <mo>,</mo> <mi>Q</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;Sigma;</mi> <mrow> <mi>P</mi> <mo>,</mo> <mi>Q</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <msup> <mi>&amp;Delta;</mi> <mi>T</mi> </msup> </mtd> </mtr> <mtr> <mtd> <mi>&amp;Delta;</mi> </mtd> <mtd> <mrow> <msub> <mi>&amp;Sigma;</mi> <mrow> <mi>P</mi> <mo>,</mo> <mi>Q</mi> </mrow> </msub> <mo>+</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>P</mi> <mo>,</mo> <mi>Q</mi> </mrow> <mi>T</mi> </msubsup> <mo>-</mo> <mi>t</mi> <mi>r</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;Sigma;</mi> <mrow> <mi>P</mi> <mo>,</mo> <mi>Q</mi> </mrow> </msub> <mo>)</mo> </mrow> <msub> <mi>I</mi> <mn>3</mn> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>
其中，I3是3x3单位矩阵；
<mrow> <mi>&amp;Delta;</mi> <mo>=</mo> <msup> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>A</mi> <mn>23</mn> </msub> </mtd> <mtd> <msub> <mi>A</mi> <mn>31</mn> </msub> </mtd> <mtd> <msub> <mi>A</mi> <mn>12</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mi>T</mi> </msup> <mo>,</mo> <msub> <mi>A</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>=</mo> <msub> <mrow> <mo>(</mo> <msub> <mi>&amp;Sigma;</mi> <mrow> <mi>P</mi> <mo>,</mo> <mi>Q</mi> </mrow> </msub> <mo>-</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>P</mi> <mo>,</mo> <mi>Q</mi> </mrow> <mi>T</mi> </msubsup> <mo>)</mo> </mrow> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> </msub> <mo>;</mo> </mrow>
其中，Δ为指代符号，代表Q(∑P,Q)；
S445、计算Q(∑P,Q)的特征值和特征向量，其最大特征值对应的特征向量即为最佳旋转向量qR＝[q0q1q2q3]T；
S446、计算最佳平移向量：
S447、将旋转矩阵和平移向量叠加在点云Q上，之后再带入式：
<mrow> <mi>E</mi> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mo>|</mo> <mrow> <mo>(</mo> <msub> <mi>Rp</mi> <mi>i</mi> </msub> <mo>+</mo> <mi>T</mi> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>q</mi> <mi>i</mi> </msub> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>;</mo> </mrow>
其中，若误差小于设定阈值，则迭代结束，否则继续重复以上步骤；迭代结束之后，所得到的旋转矩阵与平移向量即是目标的初始位置，初始化过程结束。
CN201711250674.7A 2017-12-01 2017-12-01 一种目标跟踪的自动初始化方法 Pending CN107993287A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711250674.7A CN107993287A (zh) 2017-12-01 2017-12-01 一种目标跟踪的自动初始化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711250674.7A CN107993287A (zh) 2017-12-01 2017-12-01 一种目标跟踪的自动初始化方法

Publications (1)

Publication Number Publication Date
CN107993287A true CN107993287A (zh) 2018-05-04

Family

ID=62035096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711250674.7A Pending CN107993287A (zh) 2017-12-01 2017-12-01 一种目标跟踪的自动初始化方法

Country Status (1)

Country Link
CN (1) CN107993287A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146932A (zh) * 2018-07-17 2019-01-04 北京旷视科技有限公司 确定图像中目标点的世界坐标的方法、装置和系统
CN109509211A (zh) * 2018-09-28 2019-03-22 北京大学 同时定位与建图技术中的特征点提取与匹配方法及系统
CN109767470A (zh) * 2019-01-07 2019-05-17 浙江商汤科技开发有限公司 一种跟踪系统初始化方法及终端设备
CN109887003A (zh) * 2019-01-23 2019-06-14 亮风台（上海）信息科技有限公司 一种用于进行三维跟踪初始化的方法与设备
CN110568447A (zh) * 2019-07-29 2019-12-13 广东星舆科技有限公司 视觉定位的方法、装置及计算机可读介质
CN110766716A (zh) * 2019-09-10 2020-02-07 中国科学院深圳先进技术研究院 一种空间未知运动目标的信息获取方法及系统
CN110807461A (zh) * 2020-01-08 2020-02-18 深圳市越疆科技有限公司 一种目标位置检测方法
CN110823116A (zh) * 2019-10-25 2020-02-21 同济大学 一种基于图像的建筑构件变形测量方法
CN110910350A (zh) * 2019-10-30 2020-03-24 同济大学 一种用于风电塔筒的螺母松动检测方法
CN110927742A (zh) * 2019-11-19 2020-03-27 杭州飞步科技有限公司 障碍物跟踪方法、装置、设备及存储介质
CN111311684A (zh) * 2020-04-01 2020-06-19 亮风台（上海）信息科技有限公司 一种进行slam初始化的方法与设备
CN113177969A (zh) * 2021-04-29 2021-07-27 哈尔滨工程大学 一种基于运动方向变化的候选种子的点云单目标跟踪方法
CN114111593A (zh) * 2021-11-25 2022-03-01 征图新视(江苏)科技股份有限公司 一种键盘自动检测设备及其成像方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236064A (zh) * 2013-05-06 2013-08-07 东南大学 一种基于法向量的点云自动配准方法
CN104050639A (zh) * 2014-06-16 2014-09-17 西安电子科技大学 一种基于双边滤波器的多视角密集点云数据融合方法
CN104121902A (zh) * 2014-06-28 2014-10-29 福州大学 基于Xtion摄像机的室内机器人视觉里程计实现方法
CN104424655A (zh) * 2013-09-10 2015-03-18 鸿富锦精密工业（深圳）有限公司 点云曲面重构系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236064A (zh) * 2013-05-06 2013-08-07 东南大学 一种基于法向量的点云自动配准方法
CN104424655A (zh) * 2013-09-10 2015-03-18 鸿富锦精密工业（深圳）有限公司 点云曲面重构系统及方法
CN104050639A (zh) * 2014-06-16 2014-09-17 西安电子科技大学 一种基于双边滤波器的多视角密集点云数据融合方法
CN104121902A (zh) * 2014-06-28 2014-10-29 福州大学 基于Xtion摄像机的室内机器人视觉里程计实现方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
YU ZHONG 等: "Intrinsic shape signatures: A shape descriptor for 3D object recognition", 《IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOPS》 *
丁洁琼: "基于RGB_D的SLAM算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王灿进 等: "局部不变特征匹配的并行加速技术研究", 《液晶与显示》 *
石广升: "基于Kinect的物体三维模型构建和姿态估计方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
罗天男: "基于模型的全局点云配准方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
赵兴东 等: "《矿用三维激光数字测量原理及其工程应用》", 31 January 2016, 冶金工业出版社 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146932A (zh) * 2018-07-17 2019-01-04 北京旷视科技有限公司 确定图像中目标点的世界坐标的方法、装置和系统
CN109509211A (zh) * 2018-09-28 2019-03-22 北京大学 同时定位与建图技术中的特征点提取与匹配方法及系统
CN109509211B (zh) * 2018-09-28 2021-11-16 北京大学 同时定位与建图技术中的特征点提取与匹配方法及系统
CN109767470B (zh) * 2019-01-07 2021-03-02 浙江商汤科技开发有限公司 一种跟踪系统初始化方法及终端设备
CN109767470A (zh) * 2019-01-07 2019-05-17 浙江商汤科技开发有限公司 一种跟踪系统初始化方法及终端设备
CN109887003A (zh) * 2019-01-23 2019-06-14 亮风台（上海）信息科技有限公司 一种用于进行三维跟踪初始化的方法与设备
CN109887003B (zh) * 2019-01-23 2021-11-19 亮风台（上海）信息科技有限公司 一种用于进行三维跟踪初始化的方法与设备
CN110568447A (zh) * 2019-07-29 2019-12-13 广东星舆科技有限公司 视觉定位的方法、装置及计算机可读介质
CN110766716A (zh) * 2019-09-10 2020-02-07 中国科学院深圳先进技术研究院 一种空间未知运动目标的信息获取方法及系统
CN110766716B (zh) * 2019-09-10 2022-03-29 中国科学院深圳先进技术研究院 一种空间未知运动目标的信息获取方法及系统
CN110823116A (zh) * 2019-10-25 2020-02-21 同济大学 一种基于图像的建筑构件变形测量方法
CN110910350A (zh) * 2019-10-30 2020-03-24 同济大学 一种用于风电塔筒的螺母松动检测方法
CN110910350B (zh) * 2019-10-30 2022-06-14 同济大学 一种用于风电塔筒的螺母松动检测方法
CN110927742A (zh) * 2019-11-19 2020-03-27 杭州飞步科技有限公司 障碍物跟踪方法、装置、设备及存储介质
CN110807461A (zh) * 2020-01-08 2020-02-18 深圳市越疆科技有限公司 一种目标位置检测方法
CN111311684A (zh) * 2020-04-01 2020-06-19 亮风台（上海）信息科技有限公司 一种进行slam初始化的方法与设备
CN111311684B (zh) * 2020-04-01 2021-02-05 亮风台（上海）信息科技有限公司 一种进行slam初始化的方法与设备
CN113177969A (zh) * 2021-04-29 2021-07-27 哈尔滨工程大学 一种基于运动方向变化的候选种子的点云单目标跟踪方法
CN114111593A (zh) * 2021-11-25 2022-03-01 征图新视(江苏)科技股份有限公司 一种键盘自动检测设备及其成像方法
CN114111593B (zh) * 2021-11-25 2024-02-27 征图新视(江苏)科技股份有限公司 一种键盘自动检测设备及其成像方法

Similar Documents

Publication Publication Date Title
CN107993287A (zh) 一种目标跟踪的自动初始化方法
CN107958466A (zh) 一种Slam算法优化基于模型的跟踪方法
Mundy Object recognition in the geometric era: A retrospective
CN108090572A (zh) 一种海上风电场增强现实系统及其控制方法
CN111201451A (zh) 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置
CN110097553A (zh) 基于即时定位建图与三维语义分割的语义建图系统
CN105046710A (zh) 基于深度图分割与代理几何体的虚实碰撞交互方法及装置
CN107679537A (zh) 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
Bu et al. Pedestrian planar LiDAR pose (PPLP) network for oriented pedestrian detection based on planar LiDAR and monocular images
CN105787876A (zh) 一种基于surf特征跟踪匹配的全景视频自动拼接方法
CN105654023B (zh) 识别物体危险性的方法和装置
CN109741240A (zh) 一种基于层次聚类的多平面图像拼接方法
CN108416385A (zh) 一种基于改进图像匹配策略的同步定位与建图方法
CN108109208A (zh) 一种海上风电场增强现实方法
Girard et al. End-to-end learning of polygons for remote sensing image classification
Li et al. Aligning discriminative and representative features: An unsupervised domain adaptation method for building damage assessment
Xue et al. Dual network structure with interweaved global-local feature hierarchy for transformer-based object detection in remote sensing image
CN102289822A (zh) 一种多摄像机协同跟踪运动目标的方法
Chen et al. Classification of soft-story buildings using deep learning with density features extracted from 3D point clouds
CN103733225B (zh) 特征点对等系统、特征点对等方法、以及记录介质
CN113449741A (zh) 一种基于语义推断和图像理解的遥感影像定位方法及系统
Chen et al. Oriented object detection by searching corner points in remote sensing imagery
EP3825804A1 (en) Map construction method, apparatus, storage medium and electronic device
CN114187506A (zh) 视点意识的动态路由胶囊网络的遥感图像场景分类方法
Wei et al. Unified adversarial patch for visible-infrared cross-modal attacks in the physical world

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180504

RJ01 Rejection of invention patent application after publication