CN111260724A - 一种基于周期b样条的实例分割方法 - Google Patents
一种基于周期b样条的实例分割方法 Download PDFInfo
- Publication number
- CN111260724A CN111260724A CN202010014819.9A CN202010014819A CN111260724A CN 111260724 A CN111260724 A CN 111260724A CN 202010014819 A CN202010014819 A CN 202010014819A CN 111260724 A CN111260724 A CN 111260724A
- Authority
- CN
- China
- Prior art keywords
- spline
- periodic
- points
- formula
- control points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000737 periodic effect Effects 0.000 title claims abstract description 42
- 230000011218 segmentation Effects 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 238000010276 construction Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 16
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 17
- 238000001514 detection method Methods 0.000 description 2
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101000713575 Homo sapiens Tubulin beta-3 chain Proteins 0.000 description 1
- 102100036790 Tubulin beta-3 chain Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Evolutionary Computation (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于周期B样条的实例分割方法,通过采集图片的物体轮廓坐标点反向求得周期B样条控制点,以周期B样条控制点结合神经网络回归获得各个周期B样条控制点的长度表示和角度表示,建立高斯热图、损失函数和目标构建式进行神经网络训练,获得周期B样条控制点的笛卡尔坐标,通过对物体轮廓进行周期B样条建模达到矢量化目的,再通过神经网络回归周期B样条控制点信息,从而在无需人工干预情况下快速准确地得到物体轮廓的矢量化表示。
Description
技术领域
本发明涉及一种实例分割技术,特别是一种基于周期B样条的实例分割方法。
背景技术
实例分割是计算机视觉基础任务之一,它不仅能精确地对物体进行分类,还需要给出物体的位置掩码,近些年来,随着深度学习在计算机视觉中的应用,基于卷积神经网络的实例分割方法在相关数据集上的准确率越来越高,但同时,随之而来的是模型结构越来越复杂,速度和内存占用不能满足实际的应用需求,现有的实例分割方法主要分为三类:基于检测、基于分割和基于轮廓的,基于检测的实例分割方法先利用检测器检测物体的包围框,再于包围框中预测物体的掩码,基于分割的实例分割方法则相反,它是先产生整幅图像的像素级掩码,然后再确定每个物体,相比于像素级表示方法,基于轮廓的表示方法更简洁和高效,但是,利用现有的基于轮廓表示方法得到的轮廓不是矢量化的,从而不能应用于图像编辑算法中,用以操纵轮廓变换。
发明内容
为了克服现有技术的不足,本发明提供一种在不增加模型复杂性的情况下得到物体轮廓矢量化表示的基于周期B样条的实例分割方法。
本发明解决其技术问题所采用的技术方案是:
一种基于周期B样条的实例分割方法,通过采集图片的物体轮廓坐标点反向求得周期B样条控制点,以周期B样条控制点结合神经网络回归获得各个周期B样条控制点的长度表示和角度表示,建立高斯热图、损失函数和目标构建式进行神经网络训练,获得周期B样条控制点的笛卡尔坐标。
所述物体轮廓坐标点反向求得周期B样条控制点方法包括设立控制点C和控制点节点向量U,并建立B样条基函数Bi,t(u),在确定B样条基函数的次数和周期性后建立B样条曲线,对物体轮廓点进行参数化后求得控制点C的矢量化表示。
所述B样条基函数Bi,t(u)公式为:
设n+1个控制点C=Ci(i=0,1,2,...,n)节点向量U=(u0,111,...,um}和B样条基函数次数t。
B样条曲线为:
物体矢量化公式为:
其中,n表示从轮廓上采样的点数,qk为第k个轮廓点的坐标,tk为qk参数。
所述参数化包括累积弦长参数化和均匀参数化。
所述均匀参数化公式为:t0=0,tn=1,tk=k/n,k=1,2,…,n。
所述累积弦长参数化公式为:
所述神经网络回归包括分类损失和回归损失。
所述分类损失为:
其中,α和β为损失函数的超参数。N为图像的中心点数目。
所述回归损失为:
其中,λ1和λ2是超参数,ρj和aj分别为点在极坐标系下的长度表示和角度表示。
损失函数为:L=Lcls+Lreg。
所述目标构建式为:
其中,θj=arctan2(yj,xj)。
所述周期B样条控制点的笛卡尔坐标公式为:
控制点在极坐标系下的长度和角度公式为:
本发明的有益效果是:本发明为得到物体的矢量化表示,用周期B样条来对物体轮廓进行建模,通过将笛卡尔坐标系下的控制点坐标转换到极坐标系下,降低了神经网络回归的难度,在满足性能和效果的前提下,通过周期B样条对物体轮廓进行建模,从而将像素分类问题转变为控制点回归问题,主要的效果体现在引入周期B样条在保持物体轮廓建模的准确性的同时,降低网络需要回归的点数,并为拟合物体轮廓的多样性提供了足够的灵活度,对物体轮廓曲线做出更精细的调节。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明的流程图;
图2是周期B曲线的拟合示例图;
图3是高斯热示例图;
图4是物体控制点的坐标处理示意流程图;
图5是本发明的实例分割结果图之一;
图6是本发明的实例分割结果图之二。
具体实施方式
参照图1,一种基于周期B样条的实例分割方法,通过采集图片的物体轮廓坐标点反向求得周期B样条控制点,以周期B样条控制点结合神经网络回归获得各个周期B样条控制点的长度表示和角度表示,建立高斯热图、损失函数和目标构建式进行神经网络训练,获得周期B样条控制点的笛卡尔坐标,通过对物体轮廓进行周期B样条建模达到矢量化目的,再通过神经网络回归周期B样条控制点信息,从而在无需人工干预情况下快速准确地得到物体轮廓的矢量化表示;采集图片的例图源自于COCO(Common Objects in Context)数据集,是微软团队提供的一个可以用来进行图像识别、分割和图像语义的数据集,一共有25G左右的图片和600M左右的标签文件,COCO数据集共有小类80个,提供了118287张训练图片,5000张验证图片,以及超过40670张测试图片,COCO分割标签有两种表示形式:polygons和RLE(run-length encoding),单个对象可能需要多个polygon来表示,比如这个对象在图像中被遮挡;对于密集物体,分割标签使用RLE格式;RLE是对二值mask图像的一种编码方式
在本实施例中对COCO标签处理方式:其一,对于polygons格式的标注,直接将多边形的顶点作为周期B样条拟合的型值点;其二,对于RLE格式的标注,利用matlab中的函数bwboundaries函数求出物体轮廓坐标点,将轮廓点作为拟合的型值点;其三,对于不同的物体,为了得到相同数目的控制点,先用COCO提供的标注得到B样条曲线,此得到节点向量和控制顶点组,再在这个节点向量上等间距取若干点(或者其他方式选取),通过原先求得的B样条曲线来得到这些新的节点处的函数值,来作为新的型值点,然后再对这些型值点进行拟合,这样,对于不同的物体,能够保证节点向量相同,只有控制顶点坐标会改变,使得应用网络训练成为可能。
参照图2,所述物体轮廓坐标点反向求得周期B样条控制点方法包括设立控制点C和控制点节点向量U,并建立B样条基函数Bi,t(u),在确定B样条基函数的次数和周期性后建立B样条曲线,对物体轮廓点进行参数化后求得控制点C的矢量化表示。
所述B样条基函数Bi,t(u)公式为:
U={u-3,u-2U-1,u0,u1,...,um,um+1,um+2,um+3},控制点为C={C0,C1,C2,...,cm+2};若节点向量中节点均匀或等距分布,节点向量定义了均匀的B样条基;令Δui=ui+1-ui,若有
和控制点c0=Cm,C1=Cm+1,C2=Cm+2,则B样条具有周期性,样条上的点表示为
B样条曲线为:
物体矢量化公式为:
所述参数化包括累积弦长参数化和均匀参数化。
所述均匀参数化公式为:t0=0,tn=1,tk=k/n,k=1,2,…,n。
所述累积弦长参数化公式为:
所述神经网络回归包括分类损失和回归损失。
所述分类损失为:
其中,α和β为损失函数的超参数,一般设置为α=2,β=4。N为图像的中心点数目。x、y和c表示的是高斯热图在坐标(x,y,c)处的位置;为网络预测的高斯热图,是网络预测的一个三维张量,作为分类损失的参数。
所述高斯热图构建方法包括设控制点个数为m+3、网络的下采样率为R,对m+3个控制点的坐标取平均,得到一个中心点,再将各个控制点坐标减去这个中心点坐标,得到m+3个向量,对于每个中心点坐标计算出最终特征图位置后,通过高斯核构建以为中心高斯分布的物体检测高斯热图(参照图3),最后预测的时候,取一定范围内(3×3)值最大的点作为中心点。
所述回归损失为:
其中,λ1和λ2是超参数,一般设置为λ1=0.5,λ2=1,ρj和aj分别为点在极坐标系下的长度表示和角度表示,σ=2。在实施例中采用基架网络,回归出物体的控制点坐标信息,基架网络可以是ResNet-18,DLA-34或者其他先进的模型结构。
损失函数为:L=Lcls+Lreg。
控制点检测依赖于点周围的局部信息,它所在位置的特征是相似的,因此将控制点回归拆分成长度回归和角度回归,并给予角度以先验。
参照图4,轮廓点大致均匀分布在物体四周,以每个物体的中心点建立极坐标系,求控制点极坐标系下的长度和角度。每个控制点向量(xj,yj)都有其角度先验tj,轮廓点的实际角度为θj,则目标构建式为:
aj=(o1,o2)=(sin(θj-tj),cos(=θj-tj))。
其中,θj=arctan2(yj,xj)。
所述周期B样条控制点的笛卡尔坐标公式为:
训练得出o1,o2和ρj后,得到物体控制点在极坐标系下的长度和角,结果的例如图5,控制点在极坐标系下的长度和角度公式为:
其中,和为预测的点的横坐标和纵坐标,(o1,o2)为神经网络的输出角度相关信息,tj为先验角度,是预先选取的固定角度,对于m+3个向量,有m+3个角度先验,分别为tj=j/2π,j=0,1,…,m+2,ρj为神经网络的输出长度相关信息,和为预测的角度和长度,j为点的序号。
本发明为了得到物体的矢量化表示,用周期B样条来对物体轮廓进行建模,通过将笛卡尔坐标系下的控制点坐标转换到极坐标系下,降低了神经网络回归的难度,在满足性能和效果的前提下,通过周期B样条对物体轮廓进行建模,从而将像素分类问题转变为控制点回归问题,主要的效果体现在引入周期B样条在保持物体轮廓建模的准确性的同时,降低网络需要回归的点数,并为拟合物体轮廓的多样性提供了足够的灵活度,对物体轮廓曲线做出更精细的调节。
以上的实施方式不能限定本发明创造的保护范围,专业技术领域的人员在不脱离本发明创造整体构思的情况下,所做的均等修饰与变化,均仍属于本发明创造涵盖的范围之内。
Claims (6)
1.一种基于周期B样条的实例分割方法,其特征在于该方法通过采集图片的物体轮廓坐标点反向求得周期B样条控制点,以周期B样条控制点结合神经网络回归获得各个周期B样条控制点的长度表示和角度表示,建立高斯热图、损失函数和目标构建式进行神经网络训练,获得周期B样条控制点的笛卡尔坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010014819.9A CN111260724B (zh) | 2020-01-07 | 2020-01-07 | 一种基于周期b样条的实例分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010014819.9A CN111260724B (zh) | 2020-01-07 | 2020-01-07 | 一种基于周期b样条的实例分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111260724A true CN111260724A (zh) | 2020-06-09 |
CN111260724B CN111260724B (zh) | 2023-05-19 |
Family
ID=70950271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010014819.9A Active CN111260724B (zh) | 2020-01-07 | 2020-01-07 | 一种基于周期b样条的实例分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111260724B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112115825A (zh) * | 2020-09-08 | 2020-12-22 | 广州小鹏自动驾驶科技有限公司 | 神经网络的量化方法、装置、服务器和存储介质 |
US11900667B2 (en) | 2021-04-28 | 2024-02-13 | International Business Machines Corporation | Parametric curves based detector network |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040189633A1 (en) * | 2003-03-26 | 2004-09-30 | Brigham Young University | System and method for defining T-spline and T-NURCC surfaces using local refinements |
CN103700136A (zh) * | 2013-12-01 | 2014-04-02 | 北京航空航天大学 | 一种利用三变量双调和B-spline函数进行医学体数据矢量化的方法 |
CN110262250A (zh) * | 2019-07-08 | 2019-09-20 | 济南大学 | 一种基于粒子群算法的b样条曲线拟合方法及系统 |
CN110335328A (zh) * | 2019-06-25 | 2019-10-15 | 杭州汇萃智能科技有限公司 | 一种基于b样条的曲线绘制方法、系统和存储介质 |
CN110454387A (zh) * | 2019-08-15 | 2019-11-15 | 济南大学 | 一种双螺杆压缩机转子型线的修改方法 |
US20190385366A1 (en) * | 2018-06-13 | 2019-12-19 | S-Splines, LLC | Isogeometric analysis and computer-aided design using s-splines |
-
2020
- 2020-01-07 CN CN202010014819.9A patent/CN111260724B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040189633A1 (en) * | 2003-03-26 | 2004-09-30 | Brigham Young University | System and method for defining T-spline and T-NURCC surfaces using local refinements |
CN103700136A (zh) * | 2013-12-01 | 2014-04-02 | 北京航空航天大学 | 一种利用三变量双调和B-spline函数进行医学体数据矢量化的方法 |
US20190385366A1 (en) * | 2018-06-13 | 2019-12-19 | S-Splines, LLC | Isogeometric analysis and computer-aided design using s-splines |
CN110335328A (zh) * | 2019-06-25 | 2019-10-15 | 杭州汇萃智能科技有限公司 | 一种基于b样条的曲线绘制方法、系统和存储介质 |
CN110262250A (zh) * | 2019-07-08 | 2019-09-20 | 济南大学 | 一种基于粒子群算法的b样条曲线拟合方法及系统 |
CN110454387A (zh) * | 2019-08-15 | 2019-11-15 | 济南大学 | 一种双螺杆压缩机转子型线的修改方法 |
Non-Patent Citations (3)
Title |
---|
FEY M, ET AL.: "SplineCNN: Fast Geometric Deep Learning with Continuous B-Spline Kernels" * |
景小宁等: "B样条神经网络的算法设计及应用" * |
邹淑芳等: "反求B样条控制点实现图像配准点的计算" * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112115825A (zh) * | 2020-09-08 | 2020-12-22 | 广州小鹏自动驾驶科技有限公司 | 神经网络的量化方法、装置、服务器和存储介质 |
CN112115825B (zh) * | 2020-09-08 | 2024-04-19 | 广州小鹏自动驾驶科技有限公司 | 神经网络的量化方法、装置、服务器和存储介质 |
US11900667B2 (en) | 2021-04-28 | 2024-02-13 | International Business Machines Corporation | Parametric curves based detector network |
Also Published As
Publication number | Publication date |
---|---|
CN111260724B (zh) | 2023-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109655019B (zh) | 一种基于深度学习和三维重建的货物体积测量方法 | |
CN110599537A (zh) | 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统 | |
Dame et al. | Dense reconstruction using 3D object shape priors | |
US9367737B2 (en) | Floor plan space detection | |
Liu et al. | Dynamic RGB-D SLAM based on static probability and observation number | |
CN111260724A (zh) | 一种基于周期b样条的实例分割方法 | |
CN114187310A (zh) | 基于八叉树和PointNet++网络的大规模点云分割方法 | |
CN111340881A (zh) | 一种动态场景下基于语义分割的直接法视觉定位方法 | |
Hu et al. | Geometric feature enhanced line segment extraction from large-scale point clouds with hierarchical topological optimization | |
Patil et al. | A survey on joint object detection and pose estimation using monocular vision | |
CN114612393A (zh) | 一种基于单目视觉的反光零件位姿估计方法 | |
Wang et al. | Welding seam detection and location: Deep learning network-based approach | |
Agapaki et al. | Geometric digital twinning of industrial facilities: Retrieval of industrial shapes | |
WO2019203877A1 (en) | Method for reconstructing an object | |
Gavrilov et al. | A method for aircraft labeling in aerial and satellite images based on continuous morphological models | |
CN114972492A (zh) | 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质 | |
Duffhauss et al. | PillarFlowNet: A real-time deep multitask network for LiDAR-based 3D object detection and scene flow estimation | |
CN116363552A (zh) | 一种应用于边缘设备的实时目标检测方法 | |
Liu et al. | Lightweight detection algorithm for fine-grained surface defects of aerospace seal rings | |
Denk et al. | Feature line detection of noisy triangulated CSGbased objects using deep learning | |
Wattanacheep et al. | Camera pose estimation using CNN | |
Yan et al. | Building boundary vectorization from satellite images using generative adversarial networks | |
FENG et al. | Automatic learning technology of railway based on deep learning for railway obstacle avoidance | |
Kondarattsev et al. | Creating a synthetic data generator for solving industrial flaw detection problems using deep learning methods | |
Pan et al. | 3D transparent visualization of relief-type cultural heritage assets based on depth reconstruction of old monocular photos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210721 Address after: 528400 card 1515, floor 15, Beiji building, No. 6, Xiangxing Road, Torch Development Zone, Zhongshan City, Guangdong Province Applicant after: ZHONGSHAN YANGSHI TECHNOLOGY Co.,Ltd. Address before: 528400 room 604, building 17, No. 16, Donghua Road, Shiqi District, Zhongshan City, Guangdong Province Applicant before: Wang Weijia Applicant before: Yuan Yong |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |