CN111860376B - 一种舱门的轮廓拟合方法及装置 - Google Patents

一种舱门的轮廓拟合方法及装置 Download PDF

Info

Publication number
CN111860376B
CN111860376B CN202010728343.5A CN202010728343A CN111860376B CN 111860376 B CN111860376 B CN 111860376B CN 202010728343 A CN202010728343 A CN 202010728343A CN 111860376 B CN111860376 B CN 111860376B
Authority
CN
China
Prior art keywords
cabin door
vector
shape vector
shape
door
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010728343.5A
Other languages
English (en)
Other versions
CN111860376A (zh
Inventor
姜春阳
李旭
桂盛霖
叶润
简柯青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bowei Airport Support Ltd
Original Assignee
Beijing Bowei Airport Support Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bowei Airport Support Ltd filed Critical Beijing Bowei Airport Support Ltd
Priority to CN202010728343.5A priority Critical patent/CN111860376B/zh
Publication of CN111860376A publication Critical patent/CN111860376A/zh
Application granted granted Critical
Publication of CN111860376B publication Critical patent/CN111860376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施例提供一种舱门的轮廓拟合方法及装置，所述方法包括：获取包含有双边界特征的舱门图像样本；根据所述舱门图像样本，获取所述舱门图像样本中舱门轮廓的位置点构成的形状向量；根据所述形状向量进行舱门模型训练，确定舱门模型；利用所述舱门模型，对当前输入的包含舱门的图像中的舱门轮廓进行拟合。本发明的方案可以更加高效地定位出舱门的双边界的位置，最后通过迭代，使得形状向量中的位置点准确地落在双边界中，达到轮廓拟合的效果。

Description

一种舱门的轮廓拟合方法及装置
技术领域
本发明涉及目标对象的检测技术领域，特别是指一种舱门的轮廓拟合方法及装置。
背景技术
计算机视觉中的目标检测，因其在真实世界的大量应用需求，比如自动驾驶、视频监控、机器人视觉等，而被广泛关注；而在目标检测中，物体边缘和轮廓包含丰富的图像信息，代表了物体的特征，通过边缘和轮廓，人们可以更加准确地识别物体，因此，轮廓提取和轮廓拟合技术被认为是目标检测技术中十分重要的一部分。
目前常用的轮廓拟合算法有三类：基于局部梯度算子的轮廓提取算法，基于深度学习的轮廓拟合算法和基于点分布(Point Distribution Model，PDM)模型轮廓拟合的算法。
基于局部梯度算子的轮廓提取算法通过构造梯度算子，对灰度图像进行卷积运算进而检测轮廓；John F.Canny于1986年提出了多级边缘检测算法的“边缘检测计算理论”：首先引入高斯滤波作为预处理提取多个尺度下的图像表示；然后，使用局部梯度算子提取轮廓图；最后，使用非极大抑制算法和双阈值算法对边缘图像进行细化和二值化。基于局部梯度算子的轮廓提取算法虽然在速度上满足要求，但是轮廓提取的准确率略有不足，容易被噪声干扰。
基于深度学习的轮廓拟合技术借助深度学习工具，尤其是卷积神经网络(Convolutional Neural Networks，CNNs)，提出了如整体嵌套边缘检测(Holistically-Nested Edge Detection，HED)，CASENet(Deep Category-Aware Semantic EdgeDetection)和DeepEdge等轮廓提取算法，这些算法大多基于图像的多尺度，多特征学习，并且泛化性强；但同时，对于特定目标的轮廓拟合，基于深度学习的轮廓提取技术相对来说容易出现技术冗余，实时性不能满足要求的问题。
在基于点分布模型轮廓拟合的算法中，外形相似的物体，例如人脸、人手、心脏、肺部等的几何形状可以通过若干关键点的坐标依次串联形成一个形状向量来表示；Cootes于1995年提出了经典的基于点分布模型的关键点检测算法主动形状模型(Active ShapeModel，ASM)算法，主动形状模型即通过形状模型对目标物体进行抽象；ASM算法通过人工标定的方法先标定训练集，经过训练获得形状模型，再通过关键点的匹配实现特定物体的匹配。
1998年，Cootes对ASM算法进行改进，不仅采用形状约束，而且又加入整个脸部区域的纹理特征，提出了主动外观模型(active appearance model，AAM)算法。AAM算法与ASM算法一样，主要分为两个阶段，模型建立阶段和模型匹配阶段。其中模型建立阶段包括对训练样本分别建立形状模型(Shape Model)和纹理模型(Texture Model)，然后将两个模型进行结合，形成主动外观模型。
在登机桥的自动对接过程中，需要对舱门进行识别，现有技术中，没有在登机桥的自动对接过程中对舱门进行识别的技术。
发明内容
本发明要解决的技术问题是提供一种舱门的轮廓拟合方法及装置，可以实现在登机桥的自动对接过程中对舱门进行识别。
为解决上述技术问题，本发明的技术方案如下：
一种舱门的轮廓拟合方法，所述方法包括：
获取包含有双边界特征的舱门图像样本；
根据所述舱门图像样本，获取所述舱门图像样本中舱门轮廓的位置点构成的形状向量；
根据所述形状向量进行舱门模型训练，确定舱门模型；
利用所述舱门模型，对当前输入的包含舱门的图像中的舱门轮廓进行拟合。
可选的，根据所述舱门图像样本，获取舱门轮廓的位置点构成的形状向量，包括：
在每张舱门图像样本中的舱门轮廓上标记位置点，记录位置点的坐标，构成形状向量Xi,i＝1,2...n。
可选的，在每张舱门图像样本中的舱门轮廓上标记位置点，记录位置点的坐标，构成形状向量Xi,i＝1,2...n，包括：
对每张舱门图像样本中的舱门轮廓上，按照预设顺序标记k个位置点；将k个位置点的坐标按照顺序组成一个形状向量其中为第i个舱门图像样本上第j个位置点的坐标，n表示舱门图像样本的个数。
可选的，根据所述形状向量进行舱门模型训练，确定舱门模型，包括：
对所述形状向量Xi,i＝1,2...n进行归一化处理，获得所述舱门模型的平均形状向量
根据所述形状向量Xi,i＝1,2...n，获得所述舱门模型的投影矩阵P；
获取每个位置点的平均纹理特征向量
根据所述平均形状向量投影矩阵P以及所述纹理特征向量确定舱门模型。
可选的，对所述形状向量Xi,i＝1,2...n进行归一化处理，获得所述舱门模型的平均形状向量包括：
对于所述形状向量Xi,i＝1,2,......n，通过迭代，使每个形状向量更新为其中l为迭代次数，当l＝0时
计算每次迭代过程中的平均形状向量当l＝0时
为每一个形状向量找到旋转变换放缩因子以及平移变换使得经过变换后最小，其中并且小于第一预设阈值或迭代次数l达到第一预设次数；
||·||F定义为：对于向量α＝(a1,a2...am)T，
可选的，计算每次迭代过程中的平均形状向量为每一个形状向量找到旋转变换放缩因子以及平移变换使得经过变换后最小，包括：
计算l＝0时的平均形状向量其中，
将每个形状向量归一到原点：
设每个形状向量的中心坐标为归一到原点后的形状向量为：
归一到原点的平均形状向量为：
其中
计算矩阵满足其中为酉矩阵，为半正定的对角矩阵，且
取旋转变换为：
取伸缩因子为：
取平移变换为：
更新每个形状向量并记为
计算矩阵L(l),D(l),M(l)满足得到旋转变换T(l)，放缩因子s(l)以及平移变换C(l)，更新平均形状向量
l＝l+1，重复上述过程直到l达到设定的次数或小于所述第一预设阈值。
可选的，根据所述形状向量Xi,i＝1,2...n，获得所述舱门模型的投影矩阵P，包括：
根据形状向量
以及平均形状向量记Xi'＝(x1,y1,x2,y2...xk,yk)T，
获取协方差矩阵
获取协方差矩阵S的特征值λi,i＝1,2......2n，满足λi≥λj>0,1≤i<j≤n，且特征值对应的特征向量为pi，满足S*pi＝λi*pi；
取前t个特征值λi,i＝1,2......t对应的特征向量pi,i＝1,2......t，并以pi,i＝1,2......t为列向量，构成投影矩阵P＝(p1,p2......pt)；
其中，对任意的新的形状向量X'＝(x1',y1',x'2,y'2...x'k,y'k)T，表示为其中b＝(b1,b2...bt)T为形状参数，通过来计算。
可选的，获取每个位置点的平均纹理特征向量包括：
在第i个舱门图像样本的第j个位置点，沿着垂直于前后两个位置点连线的方向，以第j个位置点为中心，两边各取m个像素点，得到共计2m+1个像素值，构成维度为2m+1的纹理特征向量其中，i表示第i张样本，j表示样本中的第j个位置点；第j个位置点的平均纹理特征向量对所有样本的第j个位置点的纹理特征向量做平均处理得到：
可选的，利用所述舱门模型，对当前输入的包含舱门的图像中的舱门轮廓进行拟合，包括：
确定当前输入的图像中的舱门的初始形状向量current_X；
构建纹理特征向量gj；
利用双边界识别算法确定位置点的搜索范围；
计算每个位置点的建议坐标；
确定新的形状向量；
根据所述新的形状向量的形状参数增量db，计算范数若||db||F大于第二预设阈值，则以当前的形状向量current_X作为初始的形状重复上述过程，直到||db||F小于所述第二预设阈值或者迭代次数达到初设值，则确定舱门的轮廓拟合完成。
可选的，构建纹理特征向量gj，包括：
对于第j个位置点，沿着垂直于前后两个位置点连线的方向，以第j个位置点为中心，往两边各取l个像素点，其中，l>m，得到共计2l+1个像素点的像素值构成的纹理特征向量
可选的，利用双边界识别算法确定位置点的搜索范围，包括：
根据所述纹理特征向量gj，以及舱门的双边界之间的距离，对搜索区域内的像素通过如下公式求导：
得到相应的梯度向量
设中数值大于阈值的为且满足ik<ik+1；
计算相邻元素间的距离：
若距离在第三预设阈值范围之内，则这两个相邻元素之间的所有像素点为需要进行搜索像素点，反之则不进行搜索，以此确定搜索范围。
可选的，计算每个位置点的建议坐标，包括：
每一个位置点都对应一个搜索范围，设第j个位置点对应的搜索范围为对于Gj中的任意一个像素点以为中心，两边各取m个像素点，则构成以该像素点为中心的子纹理特征量向量计算子纹理特征向量与该位置点对应的平均纹理向量之间的欧氏距离：取欧式距离最小的子纹理向量的中心点的坐标为第j个位置点的建议坐标。
可选的，确定新的形状向量，包括：
将得到的各个建议位置点的坐标按顺序构成建议形状向量
获得旋转变换T、放缩因子s以及平移变换C，使得||X*-(current_X*T*s+C)||F最小；
根据旋转变换T、放缩因子s和平移变换C，得到X*＝(current_X+dX*)*T*s+C；
建议形变增量dX*＝s-1*T-1*(X*-C)-current_X；
根据建议形变增量dX*，计算真实形变增量dX；
更新当前形状向量current_X＝(current_X+dX)*T*s+C。
可选的，根据建议形变增量dX*，计算真实形变增量dX，包括：
设记current_X展开为一列后的向量current_X'＝(x1,y1,x2,y2...xk,yk)T，记dX*展开为一列后的向量为
由于若能找到形状参数增量db＝(db1,db2...dbt)T使得于是db＝P-1*dX'*，真实形变增量dX'＝P*db＝(dx1,dy1,dx2,dy2...dxk,dyk)T，记真实形变增量为
本发明的实施例还提供一种舱门的轮廓拟合装置，包括：
采集模块，用于获取包含有双边界特征的舱门图像样本；
获取模块，用于根据所述舱门图像样本，获取所述舱门图像样本中舱门轮廓的位置点构成的形状向量；
训练模块，用于根据所述形状向量进行舱门模型训练，确定舱门模型；
拟合模块，用于利用所述舱门模型，对当前输入的包含舱门的图像中的舱门轮廓进行拟合。
本发明的上述方案至少包括以下有益效果：
本发明的上述方案，通过获取包含有双边界特征的舱门图像样本；根据所述舱门图像样本，获取所述舱门图像样本中舱门轮廓的位置点构成的形状向量；根据所述形状向量进行舱门模型训练，确定舱门模型；利用所述舱门模型，对当前输入的包含舱门的图像中的舱门轮廓进行拟合。可以更加高效地定位出舱门的双边界的位置，最后通过迭代，使得形状向量中的位置点准确地落在双边界中，达到轮廓拟合的效果，可以实现在登机桥的自动对接过程中对舱门进行识别。
附图说明
图1是本发明的舱门的轮廓拟合方法的流程示意图；
图2是本发明的方法中，舱门模型的训练流程示意图；
图3是本发明的方法中，利用舱门模型和相关算法识别舱门的流程示意图；
图4是本发明的舱门的轮廓拟合装置的模块示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示，本发明的实施例提出一种舱门的轮廓拟合方法，所述方法包括：
步骤11，获取包含有双边界特征的舱门图像样本；
步骤12，根据所述舱门图像样本，获取所述舱门图像样本中舱门轮廓的位置点构成的形状向量；
步骤13，根据所述形状向量进行舱门模型训练，确定舱门模型；
步骤14，利用所述舱门模型，对当前输入的包含舱门的图像中的舱门轮廓进行拟合。
本发明的该实施例，采集机舱门图像样本并在每张样本中的舱门轮廓上标记位置点，记录位置点的坐标构成形状向量，根据样本和形状向量，利用Procrustes算法和PCA算法进行舱门模型的训练，读取包含舱门的图像，利用舱门模型进行舱门识别，再由双边界识别算法判断在初始搜索范围内可能出现的双边界以缩小搜索范围并加强对舱门的识别效果。通过机舱门具有双边界这一特征，通过双边界识别算法配合舱门模型识别机舱门，提高了机舱门识别的准确率和计算速度。
本发明的一可选的实施例中，步骤12可以包括：
在每张舱门图像样本中的舱门轮廓上标记位置点，记录位置点的坐标，构成形状向量Xi,i＝1,2...n。
具体的，对每张舱门图像样本中的舱门轮廓上，按照预设顺序标记k个位置点；将k个位置点的坐标按照顺序组成一个形状向量其中为第i个舱门图像样本上第j个位置点的坐标，n表示舱门图像样本的个数。
本发明的一可选的实施例中，步骤13中，根据所述形状向量进行舱门模型训练，确定舱门模型的过程可以包括：
步骤131，对所述形状向量Xi,i＝1,2...n进行归一化处理，获得所述舱门模型的平均形状向量
这里可以利用Procrustes算法，对形状向量Xi,i＝1,2,....n进行归一化，并计算归一化后的平均形状向量具体过程包括：
步骤1311，对于所述形状向量Xi,i＝1,2,......n，通过迭代，使每个形状向量更新为其中l为迭代次数，当l＝0时
步骤1312，计算每次迭代过程中的平均形状向量当l＝0时
步骤1313，利用奇异值分解方法，为这些形状向量簇中的为每一个形状向量找到旋转变换放缩因子以及平移变换使得经过变换后最小，其中并且小于第一预设阈值或迭代次数l达到第一预设次数；
||·||F定义为：对于向量α＝(a1,a2...am)T，
上述步骤1312至1313的具体实现过程如下：
1.1)计算l＝0时的平均形状向量其中，
1.2)将每个形状向量归一到原点：
设每个形状向量的中心坐标为归一到原点后的形状向量为：
归一到原点的平均形状向量为：
其中
1.3)利用奇异值分解法，计算矩阵满足其中为酉矩阵，为半正定的对角矩阵，且
取旋转变换为：
取伸缩因子为：
取平移变换为：
1.4)更新每个形状向量并记为
1.5)参照上述1.3)的方法，计算矩阵L(l),D(l),M(l)满足得到旋转变换T(l)，放缩因子s(l)以及平移变换C(l)，更新平均形状向量
1.6)l＝l+1，重复1.2)，1.3)，1.4)，1.5)上述过程，直到l达到设定的次数或小于所述第一预设阈值。将Procrustes算法处理后得到的形状仍记为所求的平均形状为
步骤132，根据所述形状向量Xi,i＝1,2...n，获得所述舱门模型的投影矩阵P；
步骤133，获取每个位置点的平均纹理特征向量
步骤134，根据所述平均形状向量投影矩阵P以及所述纹理特征向量确定舱门模型。
该实施例中，根据上述图像样本以及形状向量Xi,i＝1,2,....n进行舱门模型的训练，从而可以确定舱门模型，舱门模型包括平均形状投影矩阵P以及每个位置点的平均纹理特征向量
本发明的一可选的实施例中，上述步骤132中，可以利用PCA算法，计算投影矩阵P，具体的，
2.1)记形状向量
以及平均形状向量记Xi'＝(x1,y1,x2,y2...xk,yk)T，
2.2)协方差矩阵
2.3)获取协方差矩阵S的特征值λi,i＝1,2......2n，满足λi≥λj>0,1≤i<j≤n，且特征值对应的特征向量为pi，满足S*pi＝λi*pi；
2.4)取前t个特征值λi,i＝1,2......t对应的特征向量pi,i＝1,2......t，并以pi,i＝1,2......t为列向量，构成投影矩阵P＝(p1,p2......pt)；
2.5)对任意的新的形状向量X'＝(x1',y1',x'2,y'2...x'k,y'k)T，表示为其中b＝(b1,b2...bt)T为形状参数，通过来计算。
本发明的一可选的实施例中，上述步骤133中，获取每个位置点的平均纹理特征向量可以包括：
在第i个舱门图像样本的第j个位置点，沿着垂直于前后两个位置点连线的方向，以第j个位置点为中心，两边各取m个像素点，得到共计2m+1个像素值，构成维度为2m+1的纹理特征向量其中，i表示第i张样本，j表示样本中的第j个位置点；第j个位置点的平均纹理特征向量对所有样本的第j个位置点的纹理特征向量做平均处理得到：
如图2所示，为本发明的上述实施例中，舱门模型的训练的一具体流程图，包括：
步骤21，采集含有双边界特征机舱门图像样本；
步骤22，在样本中标记位置点构成形状向量；
步骤23，Procrustes算法对样本进行归一化，计算归一化后的平均形状向量；
步骤24，PCA算法计算投影矩阵；
步骤25，获取每个位置点的平均纹理特征向量；
步骤26，训练完成。
本发明的一可选的实施例中，上述步骤14中，利用所述舱门模型，对当前输入的包含舱门的图像中的舱门轮廓进行拟合，可以包括：
步骤141，确定当前输入的图像中的舱门的初始形状向量current_X；具体的，利用基于Flexible Templates的遗传算法获得初始形状current_X；
步骤142，构建纹理特征向量gj；具体的，对于第j个位置点，沿着垂直于前后两个位置点连线的方向，以第j个位置点为中心，往两边各取l个像素点，其中，l>m，得到共计2l+1个像素点的像素值构成的纹理特征向量
步骤143，利用双边界识别算法确定位置点的搜索范围；具体的，根据所述纹理特征向量gj，以及舱门的双边界之间的距离，对搜索区域内的像素通过如下公式求导：
得到相应的梯度向量
设中数值大于阈值的为且满足ik<ik+1；
计算相邻元素间的距离：
若距离在第三预设阈值范围之内，则这两个相邻元素之间的所有像素点为需要进行搜索像素点，反之则不进行搜索，以此确定搜索范围；
步骤144，计算每个位置点的建议坐标；具体的，每一个位置点都对应一个搜索范围，设第j个位置点对应的搜索范围为对于Gj中的任意一个像素点以为中心，两边各取m个像素点，则构成以该像素点为中心的子纹理特征量向量计算子纹理特征向量与该位置点对应的平均纹理向量之间的欧氏距离：取欧式距离最小的子纹理向量的中心点的坐标为第j个位置点的建议坐标；
步骤145，确定新的形状向量；具体的，将得到的各个建议位置点的坐标按顺序构成建议形状向量
获得旋转变换T、放缩因子s以及平移变换C，使得||X*-(current_X*T*s+C)||F最小；
根据旋转变换T、放缩因子s和平移变换C，得到X*＝(current_X+dX*)*T*s+C；
建议形变增量dX*＝s-1*T-1*(X*-C)-current_X；
根据建议形变增量dX*，计算真实形变增量dX；
更新当前形状向量current_X＝(current_X+dX)*T*s+C。
可选的，这里，根据建议形变增量dX*，计算真实形变增量dX，包括：
设记current_X展开为一列后的向量current_X'＝(x1,y1,x2,y2...xk,yk)T，记dX*展开为一列后的向量为
由于若能找到形状参数增量db＝(db1,db2...dbt)T使得于是db＝P-1*dX'*，真实形变增量dX'＝P*db＝(dx1,dy1,dx2,dy2...dxk,dyk)T，记真实形变增量为
步骤146，根据所述新的形状向量的形状参数增量db，计算范数若||db||F大于第二预设阈值，则以当前的形状向量current_X作为初始的形状重复上述过程，直到||db||F小于所述第二预设阈值或者迭代次数达到初设值，则确定舱门的轮廓拟合完成，结束搜索过程。
具体的，如图3所示，为本发明中利用舱门模型和相关算法识别舱门的流程图，包括：
步骤31，利用相关遗传算法确定初始形状向量；
步骤32，构建纹理特征向量；
步骤33，双边界识别算法确定位置点的搜索范围；
步骤34，计算每个位置点的建议坐标；
步骤35，确定新的形状向量，并计算形状参数增量的F范数；
步骤36，判断形状参数增量的F范数是否小于阈值，若是，拟合完成，若否，判断迭代次数是否小于阈值；
步骤37，判断迭代次数是否小于阈值，若是，则拟合完成，若否，构建纹理特征向量。
本发明的上述实施例，通过具有双边界舱门的图像样本进行舱门模型训练；利用相关的遗传算法确定出舱门的大致位置，同时由双边界识别算法配合舱门模型，更加高效地定位出舱门双边界的位置，最后通过迭，使得形状向量中的位置点准确地落在双边界中，达到轮廓拟合的效果。
如图4所示，本发明的实施例还提供一种舱门的轮廓拟合装置40，包括：
采集模块41，用于获取包含有双边界特征的舱门图像样本；
获取模块42，用于根据所述舱门图像样本，获取所述舱门图像样本中舱门轮廓的位置点构成的形状向量；
训练模块43，用于根据所述形状向量进行舱门模型训练，确定舱门模型；
拟合模块44，用于利用所述舱门模型，对当前输入的包含舱门的图像中的舱门轮廓进行拟合。
可选的，根据所述舱门图像样本，获取舱门轮廓的位置点构成的形状向量，包括：
在每张舱门图像样本中的舱门轮廓上标记位置点，记录位置点的坐标，构成形状向量Xi,i＝1,2...n。
可选的，在每张舱门图像样本中的舱门轮廓上标记位置点，记录位置点的坐标，构成形状向量Xi,i＝1,2...n，包括：
对每张舱门图像样本中的舱门轮廓上，按照预设顺序标记k个位置点；将k个位置点的坐标按照顺序组成一个形状向量其中为第i个舱门图像样本上第j个位置点的坐标，n表示舱门图像样本的个数。
可选的，根据所述形状向量进行舱门模型训练，确定舱门模型，包括：
对所述形状向量Xi,i＝1,2...n进行归一化处理，获得所述舱门模型的平均形状向量
根据所述形状向量Xi,i＝1,2...n，获得所述舱门模型的投影矩阵P；
获取每个位置点的平均纹理特征向量
根据所述平均形状向量投影矩阵P以及所述纹理特征向量确定舱门模型。
可选的，对所述形状向量Xi,i＝1,2...n进行归一化处理，获得所述舱门模型的平均形状向量包括：
对于所述形状向量Xi,i＝1,2,......n，通过迭代，使每个形状向量更新为其中l为迭代次数，当l＝0时
计算每次迭代过程中的平均形状向量当l＝0时
为每一个形状向量找到旋转变换放缩因子以及平移变换使得经过变换后最小，其中并且小于第一预设阈值或迭代次数l达到第一预设次数；
||·||F定义为：对于向量α＝(a1,a2...am)T，
可选的，计算每次迭代过程中的平均形状向量为每一个形状向量找到旋转变换放缩因子以及平移变换使得经过变换后最小，包括：
计算l＝0时的平均形状向量其中，
将每个形状向量归一到原点：
设每个形状向量的中心坐标为归一到原点后的形状向量为：
归一到原点的平均形状向量为：
其中
计算矩阵满足其中为酉矩阵，为半正定的对角矩阵，且
取旋转变换为：
取伸缩因子为：
取平移变换为：
更新每个形状向量并记为
计算矩阵L(l),D(l),M(l)满足得到旋转变换T(l)，放缩因子s(l)以及平移变换C(l)，更新平均形状向量
l＝l+1，重复上述过程直到l达到设定的次数或小于所述第一预设阈值。
可选的，根据所述形状向量Xi,i＝1,2...n，获得所述舱门模型的投影矩阵P，包括：
根据形状向量
以及平均形状向量记Xi'＝(x1,y1,x2,y2...xk,yk)T，
获取协方差矩阵
获取协方差矩阵S的特征值λi,i＝1,2......2n，满足λi≥λj>0,1≤i<j≤n，且特征值对应的特征向量为pi，满足S*pi＝λi*pi；
取前t个特征值λi,i＝1,2......t对应的特征向量pi,i＝1,2......t，并以pi,i＝1,2......t为列向量，构成投影矩阵P＝(p1,p2......pt)；
其中，对任意的新的形状向量X'＝(x1',y1',x'2,y'2...x'k,y'k)T，表示为其中b＝(b1,b2...bt)T为形状参数，通过来计算。
可选的，获取每个位置点的平均纹理特征向量包括：
在第i个舱门图像样本的第j个位置点，沿着垂直于前后两个位置点连线的方向，以第j个位置点为中心，两边各取m个像素点，得到共计2m+1个像素值，构成维度为2m+1的纹理特征向量其中，i表示第i张样本，j表示样本中的第j个位置点；第j个位置点的平均纹理特征向量对所有样本的第j个位置点的纹理特征向量做平均处理得到：
可选的，利用所述舱门模型，对当前输入的包含舱门的图像中的舱门轮廓进行拟合，包括：
确定当前输入的图像中的舱门的初始形状向量current_X；
构建纹理特征向量gj；
利用双边界识别算法确定位置点的搜索范围；
计算每个位置点的建议坐标；
确定新的形状向量；
根据所述新的形状向量的形状参数增量db，计算范数若||db||F大于第二预设阈值，则以当前的形状向量current_X作为初始的形状重复上述过程，直到||db||F小于所述第二预设阈值或者迭代次数达到初设值，则确定舱门的轮廓拟合完成。
可选的，构建纹理特征向量gj，包括：
对于第j个位置点，沿着垂直于前后两个位置点连线的方向，以第j个位置点为中心，往两边各取l个像素点，其中，l>m，得到共计2l+1个像素点的像素值构成的纹理特征向量
可选的，利用双边界识别算法确定位置点的搜索范围，包括：
根据所述纹理特征向量gj，以及舱门的双边界之间的距离，对搜索区域内的像素通过如下公式求导：
得到相应的梯度向量
设中数值大于阈值的为且满足ik<ik+1；
计算相邻元素间的距离：
若距离在第三预设阈值范围之内，则这两个相邻元素之间的所有像素点为需要进行搜索像素点，反之则不进行搜索，以此确定搜索范围。
可选的，计算每个位置点的建议坐标，包括：
每一个位置点都对应一个搜索范围，设第j个位置点对应的搜索范围为对于Gj中的任意一个像素点以为中心，两边各取m个像素点，则构成以该像素点为中心的子纹理特征量向量计算子纹理特征向量与该位置点对应的平均纹理向量之间的欧氏距离：取欧式距离最小的子纹理向量的中心点的坐标为第j个位置点的建议坐标。
可选的，确定新的形状向量，包括：
将得到的各个建议位置点的坐标按顺序构成建议形状向量
获得旋转变换T、放缩因子s以及平移变换C，使得||X*-(current_X*T*s+C)||F最小；
根据旋转变换T、放缩因子s和平移变换C，得到X*＝(current_X+dX*)*T*s+C；
建议形变增量dX*＝s-1*T-1*(X*-C)-current_X；
根据建议形变增量dX*，计算真实形变增量dX；
更新当前形状向量current_X＝(current_X+dX)*T*s+C。
可选的，根据建议形变增量dX*，计算真实形变增量dX，包括：
设记current_X展开为一列后的向量current_X'＝(x1,y1,x2,y2...xk,yk)T，记dX*展开为一列后的向量为
由于若能找到形状参数增量db＝(db1,db2...dbt)T使得于是db＝P-1*dX'*，真实形变增量dX'＝P*db＝(dx1,dy1,dx2,dy2...dxk,dyk)T，记真实形变增量为
需要说明的是，该装置是与上述方法对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算机可读存储介质，包括指令，当所述指令在计算机运行时，使得计算机执行如上所述的方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种舱门的轮廓拟合方法，其特征在于，所述方法包括：
获取包含有双边界特征的舱门图像样本；
根据所述舱门图像样本，获取所述舱门图像样本中舱门轮廓的位置点构成的形状向量；
根据所述形状向量进行舱门模型训练，确定舱门模型；
利用所述舱门模型，使用双边界识别算法对当前输入的包含舱门的图像中的舱门轮廓进行拟合；
其中，根据所述舱门图像样本，获取舱门轮廓的位置点构成的形状向量，包括：
在每张舱门图像样本中的舱门轮廓上标记位置点，记录位置点的坐标，构成形状向量；
在每张舱门图像样本中的舱门轮廓上标记位置点，记录位置点的坐标，构成形状向量，包括：
对每张舱门图像样本中的舱门轮廓上，按照预设顺序标记个位置点；将个位置点的坐标按照顺序组成一个形状向量，其中为第个舱门图像样本上第个位置点的坐标，表示舱门图像样本的个数；
根据所述形状向量进行舱门模型训练，确定舱门模型，包括：
对所述形状向量进行归一化处理，获得所述舱门模型的平均形状向量；
根据所述形状向量，获得所述舱门模型的投影矩阵；
获取每个位置点的平均纹理特征向量；
根据所述平均形状向量、投影矩阵以及所述纹理特征向量，确定舱门模型；
对所述形状向量进行归一化处理，获得所述舱门模型的平均形状向量，包括：
对于所述形状向量，通过迭代，使每个形状向量更新为，其中为迭代次数，当时；
计算每次迭代过程中的平均形状向量，当时；
为每一个形状向量找到旋转变换、放缩因子以及平移变换，使得经过变换后最小，其中，并且小于第一预设阈值或迭代次数达到第一预设次数；
定义为：对于向量，；
根据所述形状向量，获得所述舱门模型的投影矩阵，包括：
根据形状向量，
以及平均形状向量，记，；
获取协方差矩阵；
获取协方差矩阵的特征值，满足，且特征值对应的特征向量为，满足；
取前个特征值对应的特征向量，并以为列向量，构成投影矩阵；
其中，对任意的新的形状向量，表示为，其中为形状参数，通过来计算；
获取每个位置点的平均纹理特征向量，包括：
在第个舱门图像样本的第个位置点，沿着垂直于前后两个位置点连线的方向，以第个位置点为中心，两边各取个像素点，得到共计个像素值，构成维度为的纹理特征向量，其中，表示第张样本，表示样本中的第个位置点；第个位置点的平均纹理特征向量对所有样本的第个位置点的纹理特征向量做平均处理得到：。
2.根据权利要求1所述的舱门的轮廓拟合方法，其特征在于，计算每次迭代过程中的平均形状向量，为每一个形状向量找到旋转变换、放缩因子以及平移变换，使得经过变换后最小，包括：
计算时的平均形状向量；其中，；
将每个形状向量归一到原点：
设每个形状向量的中心坐标为，归一到原点后的形状向量为：
；
归一到原点的平均形状向量为：
，其中；
计算矩阵，满足，其中为酉矩阵，为半正定的对角矩阵，且；
取旋转变换为：，
取伸缩因子为：，
取平移变换为：；
更新每个形状向量，并记为；
计算矩阵满足，得到旋转变换，放缩因子以及平移变换，更新平均形状向量；
，重复上述过程直到达到设定的次数或小于所述第一预设阈值。
3.根据权利要求1所述的舱门的轮廓拟合方法，其特征在于，利用所述舱门模型，使用双边界识别算法对当前输入的包含舱门的图像中的舱门轮廓进行拟合，包括：
确定当前输入的图像中的舱门的初始形状向量；
构建纹理特征向量；
利用双边界识别算法确定位置点的搜索范围；
计算每个位置点的建议坐标；
确定新的形状向量；
根据所述新的形状向量的形状参数增量，计算范数，若大于第二预设阈值，则以当前的形状向量作为初始的形状重复上述过程，直到小于所述第二预设阈值或者迭代次数达到初设值，则确定舱门的轮廓拟合完成。
4.根据权利要求3所述的舱门的轮廓拟合方法，其特征在于，构建纹理特征向量，包括：
对于第个位置点，沿着垂直于前后两个位置点连线的方向，以第个位置点为中心，往两边各取个像素点，其中，，得到共计个像素点的像素值构成的纹理特征向量。
5.根据权利要求4所述的舱门的轮廓拟合方法，其特征在于，利用双边界识别算法确定位置点的搜索范围，包括：
根据所述纹理特征向量，以及舱门的双边界之间的距离，对搜索区域内的像素通过如下公式求导：
得到相应的梯度向量，
设中数值大于阈值的为，且满足；
计算相邻元素间的距离：
，
若距离在第三预设阈值范围之内，则这两个相邻元素之间的所有像素点为需要进行搜索像素点，反之则不进行搜索，以此确定搜索范围。
6.根据权利要求5所述的舱门的轮廓拟合方法，其特征在于，计算每个位置点的建议坐标，包括：
每一个位置点都对应一个搜索范围，设第个位置点对应的搜索范围为，对于中的任意一个像素点，以为中心，两边各取个像素点，则构成以该像素点为中心的子纹理特征量向量；计算子纹理特征向量与该位置点对应的平均纹理向量之间的欧氏距离：，取欧式距离最小的子纹理向量的中心点的坐标为第个位置点的建议坐标。
7.根据权利要求6所述的舱门的轮廓拟合方法，其特征在于，确定新的形状向量，包括：
将得到的各个建议位置点的坐标按顺序构成建议形状向量；
获得旋转变换、放缩因子以及平移变换，使得最小；
根据旋转变换、放缩因子和平移变换，得到；
建议形变增量；
根据建议形变增量，计算真实形变增量；
更新当前形状向量。
8.根据权利要求7所述的舱门的轮廓拟合方法，其特征在于，根据建议形变增量，计算真实形变增量，包括：
设，，记展开为一列后的向量，记展开为一列后的向量为；
由于，若能找到形状参数增量使得，于是，真实形变增量，记真实形变增量为。
9.一种舱门的轮廓拟合装置，其特征在于，包括：
采集模块，用于获取包含有双边界特征的舱门图像样本；
获取模块，用于根据所述舱门图像样本，获取所述舱门图像样本中舱门轮廓的位置点构成的形状向量；
训练模块，用于根据所述形状向量进行舱门模型训练，确定舱门模型；
拟合模块，用于利用所述舱门模型，对当前输入的包含舱门的图像中的舱门轮廓进行拟合；
其中，根据所述舱门图像样本，获取舱门轮廓的位置点构成的形状向量，包括：
在每张舱门图像样本中的舱门轮廓上标记位置点，记录位置点的坐标，构成形状向量；
在每张舱门图像样本中的舱门轮廓上标记位置点，记录位置点的坐标，构成形状向量，包括：
对每张舱门图像样本中的舱门轮廓上，按照预设顺序标记个位置点；将个位置点的坐标按照顺序组成一个形状向量，其中为第个舱门图像样本上第个位置点的坐标，表示舱门图像样本的个数；
根据所述形状向量进行舱门模型训练，确定舱门模型，包括：
对所述形状向量进行归一化处理，获得所述舱门模型的平均形状向量；
根据所述形状向量，获得所述舱门模型的投影矩阵；
获取每个位置点的平均纹理特征向量；
根据所述平均形状向量、投影矩阵以及所述纹理特征向量，确定舱门模型；
对所述形状向量进行归一化处理，获得所述舱门模型的平均形状向量，包括：
对于所述形状向量，通过迭代，使每个形状向量更新为，其中为迭代次数，当时；
计算每次迭代过程中的平均形状向量，当时；
为每一个形状向量找到旋转变换、放缩因子以及平移变换，使得经过变换后最小，其中，并且小于第一预设阈值或迭代次数达到第一预设次数；
定义为：对于向量，；
根据所述形状向量，获得所述舱门模型的投影矩阵，包括：
根据形状向量，
以及平均形状向量，记，；
获取协方差矩阵；
获取协方差矩阵的特征值，满足，且特征值对应的特征向量为，满足；
取前个特征值对应的特征向量，并以为列向量，构成投影矩阵；
其中，对任意的新的形状向量，表示为，其中为形状参数，通过来计算；
获取每个位置点的平均纹理特征向量，包括：
在第个舱门图像样本的第个位置点，沿着垂直于前后两个位置点连线的方向，以第个位置点为中心，两边各取个像素点，得到共计个像素值，构成维度为的纹理特征向量，其中，表示第张样本，表示样本中的第个位置点；第个位置点的平均纹理特征向量对所有样本的第个位置点的纹理特征向量做平均处理得到：。
CN202010728343.5A 2020-07-24 2020-07-24 一种舱门的轮廓拟合方法及装置 Active CN111860376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010728343.5A CN111860376B (zh) 2020-07-24 2020-07-24 一种舱门的轮廓拟合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010728343.5A CN111860376B (zh) 2020-07-24 2020-07-24 一种舱门的轮廓拟合方法及装置

Publications (2)

Publication Number Publication Date
CN111860376A CN111860376A (zh) 2020-10-30
CN111860376B true CN111860376B (zh) 2023-10-31

Family

ID=72947041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010728343.5A Active CN111860376B (zh) 2020-07-24 2020-07-24 一种舱门的轮廓拟合方法及装置

Country Status (1)

Country Link
CN (1) CN111860376B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5873847A (en) * 1996-11-14 1999-02-23 Lenjoy Engineering, Inc. Articulated splints and goniometric hinge for the same
US7168119B1 (en) * 2005-08-11 2007-01-30 Richard L Telford Aircraft passenger boarding bridge having a chute for transport of baggage between boarding bridge and ground level
CN103971112A (zh) * 2013-02-05 2014-08-06 腾讯科技（深圳）有限公司 图像特征提取方法及装置
CN106697322A (zh) * 2016-12-09 2017-05-24 华德宝机械（昆山）有限公司 一种登机桥自动靠接系统及方法
CN109059868A (zh) * 2018-06-29 2018-12-21 电子科技大学 一种基于自适应匹配窗口的双目测距方法
CN109153459A (zh) * 2016-05-17 2019-01-04 蒂森克虏伯电梯创新中心股份公司 用于将乘客登机桥定位在飞机上的方法
CN109446972A (zh) * 2018-10-24 2019-03-08 电子科技大学中山学院 基于肌电信号的步态识别模型建立方法、识别方法及装置
JP2019053626A (ja) * 2017-09-19 2019-04-04 カシオ計算機株式会社 輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラム
GB201904149D0 (en) * 2019-03-26 2019-05-08 Atsr Ltd Method and apparatus for controlling access to a vehicle
JP2020064604A (ja) * 2018-10-18 2020-04-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置、情報処理方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080051936A (ko) * 2006-12-07 2008-06-11 삼성광주전자 주식회사 로봇의 자동 도킹 유도장치
WO2010095178A1 (ja) * 2009-02-23 2010-08-26 富士通株式会社 多色ベクトル画像処理装置および方法
DE102012002321B4 (de) * 2012-02-06 2022-04-28 Airbus Defence and Space GmbH Verfahren zur Erkennung eines vorgegebenen Musters in einem Bilddatensatz
CN103662074B (zh) * 2012-09-17 2016-03-30 深圳中集天达空港设备有限公司 一种登机桥接机口装置和具有其的登机桥及其接机方法
CN106628232B (zh) * 2015-10-28 2023-06-30 深圳中集天达空港设备有限公司 登机桥及其接机辅助装置
CN108860650B (zh) * 2018-05-23 2020-12-11 深圳中集天达空港设备有限公司 基于机器视觉的飞机舱门保护方法、系统及登机桥
CN110543837B (zh) * 2019-08-16 2022-03-15 北京航空航天大学 一种基于潜在目标点的可见光机场飞机检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5873847A (en) * 1996-11-14 1999-02-23 Lenjoy Engineering, Inc. Articulated splints and goniometric hinge for the same
US7168119B1 (en) * 2005-08-11 2007-01-30 Richard L Telford Aircraft passenger boarding bridge having a chute for transport of baggage between boarding bridge and ground level
CN103971112A (zh) * 2013-02-05 2014-08-06 腾讯科技（深圳）有限公司 图像特征提取方法及装置
CN109153459A (zh) * 2016-05-17 2019-01-04 蒂森克虏伯电梯创新中心股份公司 用于将乘客登机桥定位在飞机上的方法
CN106697322A (zh) * 2016-12-09 2017-05-24 华德宝机械（昆山）有限公司 一种登机桥自动靠接系统及方法
JP2019053626A (ja) * 2017-09-19 2019-04-04 カシオ計算機株式会社 輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラム
CN109059868A (zh) * 2018-06-29 2018-12-21 电子科技大学 一种基于自适应匹配窗口的双目测距方法
JP2020064604A (ja) * 2018-10-18 2020-04-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置、情報処理方法及びプログラム
CN109446972A (zh) * 2018-10-24 2019-03-08 电子科技大学中山学院 基于肌电信号的步态识别模型建立方法、识别方法及装置
GB201904149D0 (en) * 2019-03-26 2019-05-08 Atsr Ltd Method and apparatus for controlling access to a vehicle

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GBAS based autoland system: A bottom up approach for GAST-D requirements;B. Belabbas 等;《 IEEE/ION Position, Location and Navigation Symposium》;566-574 *
Low Slow Small Aircraft Surveillance System Based on Computer Vision;Y. Xu 等;《2018 5th International Conference on Information Science and Control Engineering (ICISCE)》;312-315 *
Panel test for new developed Airbus A321 acf overwing door and surrounding structure;Berssion, S;《7th International Conference on Fracture Fatigue and Wear. FFW 2018》;512-20 *
可升降式移动登机桥对接平台设计与受力分析;王立文 等;《机床与液压》;第37卷(第250期);126-128 *
基于视觉的登机桥自动对接飞机舱门技术研究;张成;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》(第1期);C031-615 *

Also Published As

Publication number Publication date
CN111860376A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN105956582B (zh) 一种基于三维数据的人脸识别系统
KR100647322B1 (ko) 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
CN108108764B (zh) 一种基于随机森林的视觉slam回环检测方法
CN109299643B (zh) 一种基于大姿态对准的人脸识别方法及系统
CN102262724B (zh) 目标图像特征点定位方法和目标图像特征点定位系统
CN112800876B (zh) 一种用于重识别的超球面特征嵌入方法及系统
CN110909618B (zh) 一种宠物身份的识别方法及装置
CN102831446A (zh) 单目视觉slam中基于图像外观的闭环检测方法
US11380010B2 (en) Image processing device, image processing method, and image processing program
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
US20040264745A1 (en) Stereo-coupled face shape registration
CN106599810B (zh) 一种基于栈式自编码的头部姿态估计方法
CN110880010A (zh) 基于卷积神经网络的视觉slam闭环检测算法
CN106096517A (zh) 一种基于低秩矩阵与特征脸的人脸识别方法
CN112784712B (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN109829353A (zh) 一种基于空间约束的人脸图像风格化方法
CN107016319A (zh) 一种关键点定位方法和装置
CN107895145A (zh) 基于卷积神经网络结合超高斯去噪估测手指受力的方法
CN101964112A (zh) 自适应的基于先验形状的图像分割方法
CN110895683A (zh) 一种基于Kinect的单视点手势姿势识别方法
CN114973307A (zh) 生成对抗和余弦三元损失函数的指静脉识别方法及系统
CN106971176A (zh) 基于稀疏表示的红外人体目标跟踪方法
CN111709269B (zh) 一种深度图像中基于二维关节信息的人手分割方法和装置
CN117275080A (zh) 基于计算机视觉的眼部状态识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant