CN108764186A - 基于旋转深度学习的人物遮挡轮廓检测方法 - Google Patents
基于旋转深度学习的人物遮挡轮廓检测方法 Download PDFInfo
- Publication number
- CN108764186A CN108764186A CN201810557555.4A CN201810557555A CN108764186A CN 108764186 A CN108764186 A CN 108764186A CN 201810557555 A CN201810557555 A CN 201810557555A CN 108764186 A CN108764186 A CN 108764186A
- Authority
- CN
- China
- Prior art keywords
- layer
- edge
- nla
- size
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Abstract
本发明公开了一种基于旋转深度学习的人物遮挡轮廓检测方法，首先，通过对输入人物图像进行分割与合并获得图像初始分割；经过颜色和内容的区域合并，提取出目标的分割轮廓；其次，根据旋转角集合对图像进行旋转、采样、标记获得边缘图像块集合；基于卷积神经网络，构建出边缘朝向检测的深度模型；并利用旋转图像块采集集合，训练出浅层模型和深层模型；最后，使用训练后的边缘朝向检测深度模型，来检测局部轮廓朝向；并对局部轮廓朝向进行一致性评价，提取人物分割轮廓朝向。
Description
技术领域
本发明属于人物遮挡轮廓检测领域，更为具体的讲，涉及一种基于旋转深度学习的人物遮挡轮廓检测方法。
背景技术
轮廓检测是指采用一定的技术，提取目标轮廓的过程，同时鲁棒处理背景噪声和目标内部纹理的影响。它是形状分析、目标检测、目标识别和目标跟踪等技术的重要基础。目前轮廓检测方法有两类，一类是利用传统的边缘检测算子检测目标轮廓，另一类是从人类视觉系统中提取可以使用的数学模型完成目标轮廓检测。
基于边缘检测的轮廓检测是一种比较常见的方法，它主要定义了亮度、颜色等特征的低层突变，通过标识图像中亮度变化明显的点来完成边缘检测。边缘检测通常将图像与微分算子卷积，如借助于Sobel算子、Prewitt算子、Canny算子等。申请号为201010592217.8的中国专利《一种复杂场景的物体轮廓检测方法》通过对图片进行滤波处理、一系列的图像处理，最后经过二值化处理从而得到物体的轮廓图像。申请号为201110163398.7的中国专利《一种基于多特征的目标物体轮廓检测方法》通过滤波处理、提取图像的局部特征，然后计算各个特征下的抑制权重，从而制取抑制后的轮廓图像，最后进行二值化处理得到物体的轮廓图像。申请号为201410586661.7的中国专利《一种基于宏特征点描述的行人轮廓检测方法》通过Sobel算子进行边缘检测，然后经过背景差分处理、二值化处理来得到目标区域，结合边缘图像和目标区域从而得到物体的轮廓图像。该类方法没有考虑视觉中层和高层信息，因此很难得出完整的、连续的轮廓边缘，仅仅使用这类方法很难得出完整的目标轮廓，此过程复杂且精度难以保证，甚至在含有大量噪声或者纹理的情况下，无法提取轮廓。
基于人类视觉感知模型的轮廓检测也是一种常见的方法，它主要是模拟视网膜经典感受野推导出一般性的模型从而达到轮廓检测的效果。申请号为200910022868.0的中国专利《基于水平集和分水岭相结合的图像轮廓检测方法》通过水平集方法检测目标轮廓得到初始目标与背景的二值化分割结果，然后再依次经过分水岭变换、梯度图修正、分水岭变换一系列步骤得到目标轮廓。申请号为201110163772.3的中国专利《一种目标物体轮廓检测方法》通过Gabor滤波处理得到朝向信息图，然后对图进行一系列的计算与判断，得到轮廓图，最后通过二值化处理获得最终的物体轮廓图像。申请号为201110163800.1的中国专利《一种基于相位特性的物体轮廓检测方法》通过滤波处理得到不同朝向和不同尺度下的频率响应，整合不同朝向下的特征图来获得最终的特征图，然后依次制取边缘保留平滑滤波后的特征图和制取非经典感受野抑制后的轮廓图像，最后通过对其进行二值化处理得到物体的轮廓图像。申请号为201410757813.5的中国专利《基于机器学习方法的图像轮廓检测算法》通过测试集图像计算得到的三层特征和gPb提供的图像特征，然后利用监督学习进行分类器交叉验证训练，得到预测模型。基于该模型可对新输入的图像进行预测，从而得到该图像的精确轮廓。申请号为201610846471.3的中国专利《一种基于组合感受野和朝向特征调制的轮廓检测方法》通过计算外侧膝状体细胞感受野的响应，然后经过一系列的计算，得到朝向特征差异调制下的抑制程度，最后通过非极大值抑制细化轮廓，进行滞后门限处理得到二值化的轮廓图，从而得到物体的轮廓图像。申请号为201710250081.4的中国专利《基于深度卷积神经网络的图像轮廓检测方法》通过对图片数据的提取和处理，训练出深度卷积神经网络特征提取器和结构森林轮廓检测器，然后据此提取图像特征，从而得到物体的轮廓图像。申请号为201711084042.8的中国专利《基于感受野子区域的方向选择性轮廓检测方法》通过输入灰度处理的图像，计算各像素点的经典感受野刺激响应，再构建环绕中心区域的子区域，然后计算中心区域和子区域的能量分布值和中心区域-子区域相互的抑制权重，得到各像素点的抑制权值，最后通过计算各像素点的轮廓响应从而得到物体的轮廓。以上方法可以很好的得到清晰的物体轮廓图，但是并没有分轮廓的遮挡朝向，因此，无法有效判断轮廓对应的区域是否为前景区域，不利于后续的人物检测分析。
发明内容
本发明提供一种基于旋转深度学习的人物遮挡轮廓检测方法，该方法采用多旋转方式处理，能够适应不同形变下人物轮廓的检测，并使用深度模型，能够有效提高边缘检测和边缘朝向检测的准确性。不仅克服了滤波器边缘检测的精度问题，同时，有效实现边缘上遮挡朝向的判断。
本发明采用的技术方案是：
一种基于旋转深度学习的人物遮挡轮廓检测方法，主要包括以下步骤：输入人物图像，提取图像初始分割；基于颜色和内容的区域合并，提取人物目标分割轮廓；旋转人物图像并采样，构建人物图像旋转集合；利用卷积神经网络框架，构建边缘朝向检测深度模型；根据旋转图像块采集集合，训练浅层模型；根据旋转边缘图像块采样集合，训练深层模型；使用训练后的边缘朝向检测深度模型，检测局部轮廓朝向；对局部轮廓朝向进行一致性评价，提取人物分割轮廓朝向。
所述的输入人物图像，提取图像初始分割，对图像进行Canny算子滤波，得到边缘图像，然后对边缘图像使用距离变换获得边缘距离图像，并对其使用分水岭算法，获得过分割集水盆集合，最后根据RGB颜色进行区域合并。
所述的基于颜色和内容的区域合并，提取人物目标分割轮廓，通过对其进行一系列的操作与计算，使之得到水平梯度图像和垂直梯度图像、梯度幅值图像、分割轮廓图像，然后进行区域合并得到目标区域，最后经过计算获得人物目标轮廓图像。
所述的旋转人物图像并采样，构建人物图像旋转集合，通过对灰度图像和分割轮廓图像旋转，分别得到各自旋转图像，再经过采样、边缘标记、边缘朝向标记，获得边缘图像块集合，以及所有样本对应的边缘朝向标记。
所述的利用卷积神经网络框架，构建边缘朝向检测深度模型,构建11层的边缘朝向检测的深度模型，具体操作方式为：第1层到第5层为卷积神经网络，第5层输出结果用于边缘检测，第6层到第8层为卷积神经网络，第9层到第11层为全连接神经网络，第11层输出结果用于边缘朝向检测。
所述的根据旋转图像块采集集合，训练浅层模型，使用误差反馈传播算法对边缘预测损失函数Ledge进行优化，获得最小的边缘预测损失函数，并获得该情况下的前1层到第5层训练后的神经网络模型参数
所述的根据旋转边缘图像块采样集合，训练深层模型，使用误差反馈传播算法对边缘朝向预测损失函数Locc进行优化，获得最小的边缘预测损失函数，并获得该情况下的前6层到第8层训练后的神经网络模型参数和第9层到第11层权重w(nla)。
所述的使用训练后的边缘朝向检测深度模型，检测局部轮廓朝向，对目标分割轮廓上的像素进行采样获得边缘图像块，然后使用训练好的边缘朝向检测的深度模型参数获得11层的输出行向量，再通过计算得到边缘朝向方向，判断不同区域的遮挡朝向关系。
所述的对局部轮廓朝向进行一致性评价，提取人物分割轮廓朝向，根据目标分割轮廓的边缘朝向记录遮挡朝向关系，然后经过遮挡投票，获得最终的遮挡关系矩阵，再经过一致性验证，得到区域间一致的遮挡关系，最后通过一致性修正获得所有目标沦落上的轮廓点的遮挡朝向关系，并且将目标轮廓上的轮廓点的遮挡朝向关系可视化输出。
所述的输入人物图像，提取图像初始分割，包括以下步骤：
步骤S1-1：输入包含人物的RGB图像IRGB，转化为灰度图像Igray。
步骤S1-2：对灰度图像进行分水岭分割，获得初步的过分割集水盆。
步骤S1-2-1:对灰度图像Igray，使用Canny算子进行滤波，得到边缘图像Bdist，边缘图像中每个像素是二值标记。
步骤S1-2-2：输入边缘图像，使用距离变换，找出图像中每个像素与该像素最近边缘像素之间的距离，获得边缘距离图像Idist。
步骤S1-2-3：对边缘距离图像Idist，使用分水岭算法，获得过分割集水盆集合Basin＝{basini}，其中i＝1,...,nbasin，nbasin是过分割集水盆数量。
步骤S1-3：对过分割集水盆集合，根据RGB颜色，进行区域合并。
步骤S1-3-1：对过分割集水盆，计算每个集水盆的平均RGB颜色crgbi，其中i＝1,...,nbasin，nbasin是过分割集水盆数量。
步骤S1-3-2：选择一个过分割集水盆basini，找出其在图像中邻接的其他集水盆集合，作为当前合并区域的邻接集水盆集合Bmi＝{basink}。
步骤S1-3-3：选择一个邻接集水盆basink，判断颜色差是否小于阈值，如果颜色差小于阈值，则进行区域合并。
步骤S1-3-3-1：区域合并时，将集水盆basini的编号i赋值给集水盆basink。
步骤S1-3-3-2：区域合并时，找出集水盆basink的邻接的其他集水盆集合basin'k，该其他集水盆集合不包括已经在当前合并区域过程中，已经遍历的集水盆。
步骤S1-3-3：将集水盆basink的邻接的其他集水盆集合basin'k，添加到当前合并区域的邻接集水盆集合，并更新当前合并区域的邻接集水盆集合Bmi＝{basink}。
步骤S1-3-4：选择一个邻接集水盆basink，判断颜色差是否大于阈值，如果颜色差大于阈值，则不进行区域合并。
步骤S1-3-5：重复步骤S1-3-3到步骤S1-3-4直到遍历完所有的邻接集水盆，此时获得编号为i的合并区域。
步骤S1-3-6：选择一个未遍历的集水盆，重复步骤S1-3-2到步骤S1-3-5，获得其他编号的合并区域。
步骤S1-3-7：重复步骤S1-3-6直到遍历所有集水盆，并获得所有合并区域，记录合并后的分割区域为Seg＝{segi}，其中i＝1,...,nseg，nseg是合并后区域数量。
所述的基于颜色和内容的区域合并，提取人物目标分割轮廓，包括以下步骤：
步骤S2-1：对分割区域Seg＝{segi}，对分割区域中各像素赋值该区域编号，获得分割编号图像Iseg。
步骤S2-2：对分割编号图像，获得分割轮廓图像。
步骤S2-2-1：对分割编号图像Iseg，计算各像素的水平梯度和垂直梯度，获得水平梯度图像Isdx和垂直梯度图像Isdy。
步骤S2-2-2：根据水平梯度图像Isdx和垂直梯度图像Isdy，计算各像素点的梯度幅值，获得梯度幅值图像Isamp。
步骤S2-2-3：根据梯度幅值图像Isamp，获得分割轮廓图像Bsdist，具体操作为：如果像素点的梯度幅值Isamp大于0，则表示该像素为轮廓点；如果像素点的梯度幅值Isamp等于0，则表示该像素不是轮廓点。
步骤S2-3：对分割区域Seg＝{segi}，根据图像中人物目标和区域之间的对应关系，使用手工标注方法，指出需要合并的区域对。
步骤S2-4：对合并区域，根据需要合并的区域对，进一步区域合并，获得目标区域Obj＝{obji}，其中i＝1,...,nobj，nobj是合并后区域数量。
步骤S2-5：对目标区域Obj＝{obji}，对目标区域中各像素赋值该区域编号，获得目标分割编号图像Iobj。
步骤S2-6：对目标分割编号图像，获得目标分割轮廓图像。
步骤S2-6-1：对目标分割编号图像Iobj，计算各像素的水平梯度和垂直梯度，获得水平梯度图像Idx和垂直梯度图像Idy。
步骤S2-6-2：根据水平梯度图像Idx和垂直梯度图像Idy，计算各像素点的梯度幅值，获得梯度幅值图像Iamp。
步骤S2-6-3：根据梯度幅值图像Iamp，获得人物目标轮廓图像Bdist，具体操作为：如果像素点的梯度幅值大于0，则表示该像素为轮廓点；如果像素点的梯度幅值等于0，则表示该像素不是轮廓点。
所述的旋转人物图像并采样，构建人物图像旋转集合，包括以下步骤：
步骤S3-1：设置旋转角集合A＝{αi},i＝1,..,72，其中αi的具体取值为αi＝5·(i-1)度，具体操作为，以图像中朝向右的水平线方向为0度，逆时针旋转，每旋转5度为一个单位，共旋转71次，完成355度的旋转。
步骤S3-2：对输入灰度图像Igray，旋转一个旋转角度αi，以图像中心坐标点为旋转点，进行旋转，获得旋转后的图像Ri。
步骤S3-3：重复步骤S2-2，依次对旋转角集合中的旋转角A＝{αi}进行旋转，获得旋转图像集合Rset＝{Ri}。
步骤S3-4：对输入分割轮廓图像Bsdist，旋转一个旋转角度αi，以图像中心坐标点为旋转点，进行旋转，获得旋转后的分割图像Bsi。
步骤S3-5：重复步骤S2-4，依次对旋转角集合中的旋转角A＝{αi}进行旋转，获得旋转图像集合Bsset＝{Bsi}。
步骤S3-6：对旋转后的图像Ri，以空间窗口尺寸size为25*25对图像进行一次采样，获得图像块patch(px,size)，其中px为图像块的中心像坐标，size为采样块的空间窗尺寸。
步骤S3-7：对该图像块patch(px,size)，进行边缘标记，具体操作为：
步骤S3-7-1：如果图像块patch(px,size)的采样中心位置px和尺寸size，对对应的旋转后的分割图像Bsi进行采样，获得边缘图像块spatch(px,size)。
步骤S3-7-2：如果边缘图像块spatch(px,size)，中心像素处为分割轮廓，则记录该图像块为边缘图像块，其边缘标记为y(px,size)＝1。
步骤S3-7-3：如果边缘图像块spatch(px,size)，中心像素处不是分割轮廓，则记录该图像块为非边缘图像块，其边缘标记为y(px,size)＝0。
步骤S3-8：重复步骤S3-6和步骤S3-7，获得图像块集合Patch＝{patch(px,size)}和对应的边缘标记y(px,size)。
步骤S3-9：对图像块集合Patch＝{patch(px,size)}，将其中边缘标记为y(px,size)＝1的图像处理块组成边缘图像块集合Epatch＝{epatch(px,size)}。
步骤S3-10：对边缘图像块集合Epatch＝{epatch(px,size)}，进行边缘朝向标记，具体操作如下：
步骤S3-10-1：选择边缘图像块epatch(px,size)，计算中心像素点的切线方向。
步骤S3-10-2：根据中心像素点的切线方向，计算中心像素点的由内部指向外部的法线方向，即前景指向背景的法线方向，并将该法线方向作为边缘图像块epatch(px,size)的边缘朝向标记，记为θ(px,size)。
步骤S3-11：重复步骤S3-10，获得边缘图像块集合，以及所有样本对应的边缘朝向标记θ(px,size)。
所述的利用卷积神经网络框架，构建边缘朝向检测深度模型,包括以下步骤：
步骤S4-1：构建11层的边缘朝向检测的深度模型，具体操作方式为：第1层到第5层为卷积神经网络，第5层输出结果用于边缘检测，第6层到第8层为卷积神经网络，第9层到第11层为全连接神经网络，第11层输出结果用于边缘朝向检测。
步骤S4-2：初始化第1层到第8层的卷积神经网络权重，记为Pri＝{pri(nla)}，其中Pri为第1层到第8层的卷积神经网络权重，pri(nla)为第nla层的卷积神经网络权重，nla取值为1到8。
步骤S4-2-1：初始化第nla层的卷积神经网络其中为第nla层的卷积神经网络中，第i个卷积滤波器，每层64个卷积滤波器，i的取值为1到64。
步骤S4-2-1-1：初始化第nla层中，第i个卷积滤波器其中为第nla层中，第i个卷积滤波器中的第k个权重，其中每个滤波器的尺寸为3*3，k的取值为1到9。
步骤S4-2-2：初始化第9到第11层的全连接层权重，记为W＝{w(nla)}，其中W为第9到第11层全连接层权重，w(nla)为第nla层的全连接层权重，nla取值为9到11。
步骤S4-2-2-1：初始化nla层的全连接层权重其中表示，第nla层中第i个元素，与第nla+1层中第k个元素之间的权重。
步骤S4-3：构建第1层到第5层的浅层深度网络。
步骤S4-3-1：对旋转后的图像Ri采样，输入一个空间窗口尺寸25*25图像块patch(px,size)。
步骤S4-3-2：进行第1层卷积处理，具体操作方式为，利用第nla层的卷积神经网络权重pri(nla)，对图像块patch(px,size)进行卷积，获得卷积后的响应图集合respone(nla)，其中响应图集合中有64滤波器分别卷积获得的64个响应图，nla取值为1。
步骤S4-3-3：进行第2层卷积处理，利用第nla层的卷积神经网络权重pri(nla)，对第nla-1层响应图respone(nla-1)进行卷积，获得卷积后的响应图集合respone(nla)，其中响应图集合中有64滤波器分别卷积获得的64个响应图，其中nla取值为2。
步骤S4-3-4：重复步骤S4-3-3，依次实现第3层，第4层，第5层卷积处理，分别依次获得第3层，第4层，第5层卷积响应图respone(nla)，其中nla取值为3，4，5。
步骤S4-4：构建第6层到第8层的浅层深度网络。
步骤S4-4-1：进行第6层卷积处理，利用第nla层的卷积神经网络权重pri(nla)，对第nla-1层响应图respone(nla-1)进行卷积，获得卷积后的下采样前的响应图集合brespone(nla)，其中nla取值为6。
步骤S4-4-2：对第6层进行池化处理，对下采样前的响应图集合brespone(nla)中的每个响应图，以2*2的滑动窗口，以2为步长进行滑动并下采样，具体方式为，取2*2窗口中的最大值保留为该区域的下采样值，获得下采样后的响应图集合respone(nla)，其中第6层下采样后的响应图尺寸为12*12。
步骤S4-4-3：重复步骤S4-4-1和步骤S4-4-2，依次实现第7层，第8层卷积处理，分别依次获得第7层，第8层卷积响应图集合respone(nla)，其中第7层下采样后的响应图尺寸为6*6，第8层下采样后的响应图尺寸为3*3，其中nla取值为7，8。
步骤S4-5：构建第9层到第11层全连接层。
步骤S4-5-1：进行第8层行向量处理，将第8层卷积响应图集合respone(nla)，按照行顺序，转化为第8层行向量vector(nla)，其中，第8层行向量长度为64*3*3，nla取值为8。
步骤S4-5-2：进行第9层全连接处理，对第8层行向量vector(nla-1)，利用第nla层的全连接层权重w(nla)，进行矩阵乘法，获得第9层行向量vector(nla)，其中9层行向量长度为64*3*3，第nla取值为9。
步骤S4-5-3：重复步骤S4-4-2，进行第10层全连接处理，对第9层行向量vector(nla -1)，利用第nla层的全连接层权重w(nla)，进行矩阵乘法，获得第10层行向量vector(nla)，其中10层行向量长度为64*3*3，nla取值为10。
步骤S4-5-4：重复步骤S4-4-2，进行第11层全连接处理，对第9层行向量vector(nla -1)，利用第nla层的全连接层权重w(nla)，进行矩阵乘法，获得第11层行向量vector(nla)，其中11层行向量长度为1*72，即，与旋转角度集合中的元素对应，nla取值为11。
所述的根据旋转图像块采集集合，训练浅层模型，包括以下步骤：
步骤S5-1：根据步骤S3-8获得图像块集合Patch＝{patch(px,size)}和对应的边缘标记y(px,size)。
步骤S5-2：根据步骤S4-1到步骤S4-4，将每个图像块patch(px,size)，输入边缘朝向检测的深度模型，获得第5层卷积响应图集合respone(nla)，其中nla取值为5。
步骤S5-3：对第5层卷积响应图集合respone(nla)中的64个响应图，抽取其中心像素的1*64行向量。
步骤S5-4：取中心像素的1*64行向量的最大值，作为该图像块的边缘预测结果ytest(px,size)。
步骤S5-5：对所有图像块，计算边缘预测损失函数Ledge为
其中，第一项计算第1层到第5层权重的2范数的和，作为损失函数的正则项，第二项为每个样本平均的预测误差。
步骤S5-6：使用误差反馈传播算法对边缘预测损失函数Ledge进行优化，获得最小的边缘预测损失函数，并获得该情况下的前1层到第5层训练后的神经网络模型参数即
其中nla取值为1到5。
所述的根据旋转边缘图像块采样集合，训练深层模型，包括以下步骤：
步骤S6-1：根据步骤S3-19到步骤S3-11，获得边缘图像块集合Epatch＝{epatch(px,size)}，以及所有样本对应的边缘朝向标记θ(px,size)。
步骤S6-2：将样本对应的边缘朝向标记θ(px,size)，转化为行向量形式vector，具体方式为，行向量形式vector为1*72行向量，将标记θ(px,size)除以5取整数获得下标编号ind，将行向量中下标编号ind位置赋值为1，其他位置赋值为0，获得行向量形式vector。
步骤S6-3：使用前1层到第5层训练后的神经网络模型参数根据步骤S4-4到步骤S4-5，将每个边缘图像块epatch(px,size)，输入边缘朝向检测的深度模型，获得第11层行向量vectortest (nla)，其中nla取值为11。
步骤S6-4：对所有边缘图像块，计算边缘朝向预测损失函数Locc为
其中，第一项计算第6层到第8层权重的2范数的和，作为损失函数的正则项，第二项第9层到第11层权重的2范数的和，作为损失函数的正则项，第三项为每个样本平均的预测误差。
步骤S6-5：使用误差反馈传播算法对边缘朝向预测损失函数Locc进行优化，获得最小的边缘预测损失函数，并获得该情况下的前6层到第8层训练后的神经网络模型参数和第9层到第11层权重w(nla)，即
其中中nla取值为6到8，中nla取值为9到11。
所述的使用训练后的边缘朝向检测深度模型，检测局部轮廓朝向，包括以下步骤：
步骤S7-1：对输入图像，根据步骤S1和步骤S2获得人物目标分割轮廓Bdist。
步骤S7-2：对人物目标分割轮廓上的像素点进行采样，采样窗口为25*25，采样窗口的中心点为人物目标分割轮廓点，获得边缘图像块epatch(px,size)。
步骤S7-3：获得训练好的边缘朝向检测的深度模型参数，具体操作为，根据步骤S5和步骤S6获得浅层网络模型参数和深层网络模型参数。
步骤S7-4：输入缘图像块epatch(px,size)，并使用训练好的边缘朝向检测的深度模型参数，重复步骤S4-3到步骤S4-5，获得11层的网络输出行向量vector(nla)，其中nla取值为11。
步骤S7-5：根据网络输出行向量vector(nla)，计算当前人物目标分割轮廓点的边缘朝向方向θ(px,size)。
步骤S7-6：目标区域Obj＝{obji}，获得像素点边界两侧的目标区域编号j和目标区域编号k。
步骤S7-7：根据当前人物目标分割轮廓点的边缘朝向方向θ(px,size)，记录目标区域编号j和目标区域编号k的遮挡朝向关系，具体操作为，如果边缘朝向方向θ(px,size)指向目标区域编号j，则说明目标区域编号j是背景区域，目标区域编号k是前景区域，目标区域编号k遮挡目标区域编号j，则记录遮挡朝向关系为Vocc(k,j)＝1；否则，如果边缘朝向方向θ(px,size)指向目标区域编号k，则说明目标区域编号k是背景区域，目标区域编号j是前景区域，则记录遮挡朝向关系为Vocc(j,k)＝1。
所述的对局部轮廓朝向进行一致性评价，提取人物分割轮廓朝向，包括以下步骤：
步骤S8-1：对输入图像，根据步骤S1和步骤S2获得人物目标轮廓Bdist。
步骤S8-2：根据目标区域Obj＝{obji}，初始化目标区域之间的遮挡关系矩阵Occ(j,k)，其中j＝1,...,nobj，k＝1,...,nobj，j≠k，nobj是合并后区域数量，其中Occ(j,k)的初始值都为0。
步骤S8-3：初始化区域间共享边界像素点集合Pset(j,k)，初始化时，每个边界像素点集合为空集合，其中Pset(j,k)是指目标区域编号j和目标区域编号k之间的轮廓点。
步骤S8-4：对人物目标轮廓Bdist上的轮廓点，以5像素为步长等间隔采样，获得采样点集合Px＝{px}。
步骤S8-5：重复步骤S7-2到步骤S7-5，依次分析采样点的边缘图像块的边缘朝向θ(px,size)。
步骤S8-6：重复步骤S7-6，获得像素点边界两侧的目标区域编号j和目标区域编号k。
步骤S8-7：根据像素点边界两侧的目标区域编号j和目标区域编号k，将像素点添加到区域间共享边界像素点集合Pset(j,k)＝Pset(j,k)∪px。
步骤S8-8：根据当前人物目标分割轮廓点的边缘朝向方向θ(px,size)，记录目标区域编号j和目标区域编号k的遮挡朝向关系，具体操作为，如果边缘朝向方向θ(px,size)指向目标区域编号j，则说明目标区域编号j是背景区域，目标区域编号k是前景区域，目标区域编号k遮挡目标区域编号j，则记录遮挡朝向关系为Vocc(k,j)＝1；否则，如果边缘朝向方向θ(px,size)指向目标区域编号k，则说明目标区域编号k是背景区域，目标区域编号j是前景区域，则记录遮挡朝向关系为Vocc(j,k)＝1；
步骤S8-9：根据区域编号间的投票，对遮挡关系矩阵Occ(j,k)进行统计，具体方式为，如果记录遮挡朝向关系为Vocc(k,j)＝1，则Occ(k,j)＝Occ(k,j)+Vocc(k,j)；如果记录遮挡朝向关系为Vocc(j,k)＝1，则Occ(j,k)＝Occ(j,k)+Vocc(j,k)；
步骤S8-10：重复步骤S8-4到步骤S8-7，获得最终的区域间共享边界像素点集合Pset(j,k)；
步骤8-11：重复步骤S8-8到步骤S8-9，对全部区域间朝向关系进行的遮挡投票，并更新遮挡关系，获得最终的遮挡关系矩阵Occ(j,k)；
步骤S8-12：选择目标区域编号j和目标区域编号k，并对最终的遮挡关系矩阵Occ(j,k)进行一致性验证，具体操作为，如果Occ(j,k)＞Occ(k,j)，说明目标区域编号j以更大的可能性对目标区域编号k遮挡，则记录区域间一致的遮挡关系为Pocc(j,k)＝1；如果Occ(j,k)＜Occ(k,j)目标区域编号k以更大的可能性对目标区域编号j遮挡，则记录区域间一致的遮挡关系记作Pocc(k,j)＝1；
步骤S8-13：根据最终的区域间共享边界像素点集合Pset(j,k)，找出目标区域编号j和目标区域编号k之间的轮廓点Pset(j,k)＝{px}；
步骤S8-14：根据区域间一致的遮挡关系，对区域间共享边界像素点集合进行一致性修正，具体操作为，如果区域间一致的遮挡关系Pocc(j,k)＝1，则将所有目标区域编号j和目标区域编号k之间的轮廓点Pset(j,k)＝{px}的关系赋值为Vocc(j,k)＝1；否则，如果区域间一致的遮挡关系Pocc(k,j)＝1，则将所有目标区域编号j和目标区域编号k之间的轮廓点Pset(j,k)＝{px}的关系赋值为Vocc(k,j)＝1；
步骤S8-15：重复步骤S8-13到步骤S8-14，完成所有区域间一致的遮挡关系修正，获得所有人物目标轮廓Bdist上的轮廓点的遮挡朝向关系；
步骤S8-16：将人物目标轮廓Bdist上的轮廓点的遮挡朝向关系可视化输出，作为人物遮挡轮廓检测结果，具体操作方式为：如果像素点Vocc(j,k)＝1，即边界遮挡朝向为从区域编号j朝向目标区域编号k，此时将该箭头顺时针旋转90度，并以轮廓点为箭头起点绘制箭头；如果像素点Vocc(k,j)＝1，即边界遮挡朝向为从区域编号k朝向目标区域编号j，此时将该箭头顺时针旋转90度，并以轮廓点为箭头起点绘制箭头。
本发明针对现有边缘检测模型抗干扰能力差，同时无法判定边缘遮挡朝向的问题，提出了一种基于旋转深度学习的人物遮挡轮廓检测方法，解决了图像中目标人物的遮挡轮廓检测。与已有的技术相比，本发明的主要优势如下：
1本发明能够在边缘检测的基础上，进一步分析边缘遮挡朝向特性，使用卷积神经网络对边缘遮挡朝向进行有效估计，能够有效判断边缘对应区域是否为前景区域，有利于后续人物检测分析。
2本发明使用图像旋转集合，能够有效处理不同几何形变下的边缘检测，和边缘遮挡朝向估计，提高本发明方法对几何形变处理的鲁棒性。同时，本发明在局部边缘朝向估计的基础上，进行区域一致性评价，进一步提高了边缘朝向检测的可靠性。
3本发明利用卷积神经网络，构建了统一的边缘检测和边缘遮挡朝向检测的深度模型，其中浅层是边缘检测模型，深层是边缘遮挡朝向检测模型。并利用图像中的边缘信息和边缘朝向信息，分别训练浅层边缘检测模型，和深层边缘朝向检测模型，有效控制了模型误差，提高了边缘检测和边缘朝向检测的精度。
附图说明
下面结合附图对本发明进一步说明：
图1是基于旋转深度学习的人物遮挡轮廓检测流程图。
图2是提取人物分割轮廓示意图。(a)为超像素过分割，(b)为区域合并，(c)为人物分割轮廓。
图3是构建人物旋转图像集合示意图。(a)为旋转图像集合，(b)为非边缘图像块集合，(c)为边缘朝向图像块集合，(d)为边缘朝向标记。
图4是边缘朝向检测深度模型图。
图5是检测人物分割轮廓示意图。(a)为局部轮廓，(b)为一致性轮廓朝向。
具体实施方式
下面结合附图及具体实施方式详细介绍本发明。本发明为基于旋转深度学习的人物遮挡轮廓检测方法，具体流程如图1所示，本发明的实现方案分为以下步骤：
步骤S1-1：输入包含人物的RGB图像IRGB，转化为灰度图像Igray。
步骤S1-2：对灰度图像进行分水岭分割，获得初步的过分割集水盆。
步骤S1-2-1:对灰度图像Igray，使用Canny算子进行滤波，得到边缘图像Bdist，边缘图像中每个像素是二值标记。
步骤S1-2-2：输入边缘图像，使用距离变换，找出图像中每个像素与该像素最近边缘像素之间的距离，获得边缘距离图像Idist。
步骤S1-2-3：对边缘距离图像Idist，使用分水岭算法，获得过分割集水盆集合Basin＝{basini}，其中i＝1,...,nbasin，nbasin是过分割集水盆数量。
步骤S1-3：对过分割集水盆集合，根据RGB颜色，进行区域合并。
步骤S1-3-1：对过分割集水盆，计算每个集水盆的平均RGB颜色crgbi，其中i＝1,...,nbasin，nbasin是过分割集水盆数量。
步骤S1-3-2：选择一个过分割集水盆basini，找出其在图像中邻接的其他集水盆集合，作为当前合并区域的邻接集水盆集合Bmi＝{basink}。
步骤S1-3-3：选择一个邻接集水盆basink，判断颜色差是否小于阈值，如果颜色差小于阈值，则进行区域合并。
步骤S1-3-3-1：区域合并时，将集水盆basini的编号i赋值给集水盆basink。
步骤S1-3-3-2：区域合并时，找出集水盆basink的邻接的其他集水盆集合basin'k，该其他集水盆集合不包括已经在当前合并区域过程中，已经遍历的集水盆。
步骤S1-3-3：将集水盆basink的邻接的其他集水盆集合basin'k，添加到当前合并区域的邻接集水盆集合，并更新当前合并区域的邻接集水盆集合Bmi＝{basink}。
步骤S1-3-4：选择一个邻接集水盆basink，判断颜色差是否大于阈值，如果颜色差大于阈值，则不进行区域合并。
步骤S1-3-5：重复步骤S1-3-3到步骤S1-3-4直到遍历完所有的邻接集水盆，此时获得编号为i的合并区域。
步骤S1-3-6：选择一个未遍历的集水盆，重复步骤S1-3-2到步骤S1-3-5，获得其他编号的合并区域。
步骤S1-3-7：重复步骤S1-3-6直到遍历所有集水盆，并获得所有合并区域，记录合并后的分割区域为Seg＝{segi}，其中i＝1,...,nseg，nseg是合并后区域数量。
步骤S2-1：对分割区域Seg＝{segi}，对分割区域中各像素赋值该区域编号，获得分割编号图像Iseg。
步骤S2-2：对分割编号图像，获得分割轮廓图像。
步骤S2-2-1：对分割编号图像Iseg，计算各像素的水平梯度和垂直梯度，获得水平梯度图像Isdx和垂直梯度图像Isdy。
步骤S2-2-2：根据水平梯度图像Isdx和垂直梯度图像Isdy，计算各像素点的梯度幅值，获得梯度幅值图像Isamp。
步骤S2-2-3：根据梯度幅值图像Isamp，获得分割轮廓图像Bsdist，具体操作为：如果像素点的梯度幅值Isamp大于0，则表示该像素为轮廓点；如果像素点的梯度幅值Isamp等于0，则表示该像素不是轮廓点。
步骤S2-3：对分割区域Seg＝{segi}，根据图像中人物目标和区域之间的对应关系，使用手工标注方法，指出需要合并的区域对。
步骤S2-4：对合并区域，根据需要合并的区域对，进一步区域合并，获得目标区域Obj＝{obji}，其中i＝1,...,nobj，nobj是合并后区域数量。
步骤S2-5：对目标区域Obj＝{obji}，对目标区域中各像素赋值该区域编号，获得目标分割编号图像Iobj。
步骤S2-6：对目标分割编号图像，获得目标分割轮廓图像。
步骤S2-6-1：对目标分割编号图像Iobj，计算各像素的水平梯度和垂直梯度，获得水平梯度图像Idx和垂直梯度图像Idy。
步骤S2-6-2：根据水平梯度图像Idx和垂直梯度图像Idy，计算各像素点的梯度幅值，获得梯度幅值图像Iamp。
步骤S2-6-3：根据梯度幅值图像Iamp，获得人物目标轮廓图像Bdist，具体操作为：如果像素点的梯度幅值大于0，则表示该像素为轮廓点；如果像素点的梯度幅值等于0，则表示该像素不是轮廓点。
步骤S3-1：设置旋转角集合A＝{αi},i＝1,..,72，其中αi的具体取值为αi＝5·(i-1)度，具体操作为，以图像中朝向右的水平线方向为0度，逆时针旋转，每旋转5度为一个单位，共旋转71次，完成355度的旋转。
步骤S3-2：对输入灰度图像Igray，旋转一个旋转角度αi，以图像中心坐标点为旋转点，进行旋转，获得旋转后的图像Ri。
步骤S3-3：重复步骤S2-2，依次对旋转角集合中的旋转角A＝{αi}进行旋转，获得旋转图像集合Rset＝{Ri}。
步骤S3-4：对输入分割轮廓图像Bsdist，旋转一个旋转角度αi，以图像中心坐标点为旋转点，进行旋转，获得旋转后的分割图像Bsi。
步骤S3-5：重复步骤S2-4，依次对旋转角集合中的旋转角A＝{αi}进行旋转，获得旋转图像集合Bsset＝{Bsi}。
步骤S3-6：对旋转后的图像Ri，以空间窗口尺寸size为25*25对图像进行一次采样，获得图像块patch(px,size)，其中px为图像块的中心像坐标，size为采样块的空间窗尺寸。
步骤S3-7：对该图像块patch(px,size)，进行边缘标记，具体操作为：
步骤S3-7-1：如果图像块patch(px,size)的采样中心位置px和尺寸size，对对应的旋转后的分割图像Bsi进行采样，获得边缘图像块spatch(px,size)。
步骤S3-7-2：如果边缘图像块spatch(px,size)，中心像素处为分割轮廓，则记录该图像块为边缘图像块，其边缘标记为y(px,size)＝1。
步骤S3-7-3：如果边缘图像块spatch(px,size)，中心像素处不是分割轮廓，则记录该图像块为非边缘图像块，其边缘标记为y(px,size)＝0。
步骤S3-8：重复步骤S3-6和步骤S3-7，获得图像块集合Patch＝{patch(px,size)}和对应的边缘标记y(px,size)。
步骤S3-9：对图像块集合Patch＝{patch(px,size)}，将其中边缘标记为y(px,size)＝1的图像处理块组成边缘图像块集合Epatch＝{epatch(px,size)}。
步骤S3-10：对边缘图像块集合Epatch＝{epatch(px,size)}，进行边缘朝向标记，具体操作如下：
步骤S3-10-1：选择边缘图像块epatch(px,size)，计算中心像素点的切线方向。
步骤S3-10-2：根据中心像素点的切线方向，计算中心像素点的由内部指向外部的法线方向，即前景指向背景的法线方向，并将该法线方向作为边缘图像块epatch(px,size)的边缘朝向标记，记为θ(px,size)。
步骤S3-11：重复步骤S3-10，获得边缘图像块集合，以及所有样本对应的边缘朝向标记θ(px,size)。
步骤S4-1：构建11层的边缘朝向检测的深度模型，具体操作方式为：第1层到第5层为卷积神经网络，第5层输出结果用于边缘检测，第6层到第8层为卷积神经网络，第9层到第11层为全连接神经网络，第11层输出结果用于边缘朝向检测。
步骤S4-2：初始化第1层到第8层的卷积神经网络权重，记为Pri＝{pri(nla)}，其中Pri为第1层到第8层的卷积神经网络权重，pri(nla)为第nla层的卷积神经网络权重，nla取值为1到8。
步骤S4-2-1：初始化第nla层的卷积神经网络其中为第nla层的卷积神经网络中，第i个卷积滤波器，每层64个卷积滤波器，i的取值为1到64。
步骤S4-2-1-1：初始化第nla层中，第i个卷积滤波器其中为第nla层中，第i个卷积滤波器中的第k个权重，其中每个滤波器的尺寸为3*3，k的取值为1到9。
步骤S4-2-2：初始化第9到第11层的全连接层权重，记为W＝{w(nla)}，其中W为第9到第11层全连接层权重，w(nla)为第nla层的全连接层权重，nla取值为9到11。
步骤S4-2-2-1：初始化nla层的全连接层权重其中表示，第nla层中第i个元素，与第nla+1层中第k个元素之间的权重。
步骤S4-3：构建第1层到第5层的浅层深度网络。
步骤S4-3-1：对旋转后的图像Ri采样，输入一个空间窗口尺寸25*25图像块patch(px,size)。
步骤S4-3-2：进行第1层卷积处理，具体操作方式为，利用第nla层的卷积神经网络权重pri(nla)，对图像块patch(px,size)进行卷积，获得卷积后的响应图集合respone(nla)，其中响应图集合中有64滤波器分别卷积获得的64个响应图，nla取值为1。
步骤S4-3-3：进行第2层卷积处理，利用第nla层的卷积神经网络权重pri(nla)，对第nla-1层响应图respone(nla-1)进行卷积，获得卷积后的响应图集合respone(nla)，其中响应图集合中有64滤波器分别卷积获得的64个响应图，其中nla取值为2。
步骤S4-3-4：重复步骤S4-3-3，依次实现第3层，第4层，第5层卷积处理，分别依次获得第3层，第4层，第5层卷积响应图respone(nla)，其中nla取值为3，4，5。
步骤S4-4：构建第6层到第8层的浅层深度网络。
步骤S4-4-1：进行第6层卷积处理，利用第nla层的卷积神经网络权重pri(nla)，对第nla-1层响应图respone(nla-1)进行卷积，获得卷积后的下采样前的响应图集合brespone(nla)，其中nla取值为6。
步骤S4-4-2：进行第6层下采样处理，对下采样前的响应图集合brespone(nla)中的每个响应图，以2*2的滑动窗口，以2为步长进行滑动并下采样，具体方式为，取2*2窗口中的最大值保留为该区域的下采样值，获得下采样后的响应图集合respone(nla)，其中第6层下采样后的响应图尺寸为12*12。
步骤S4-4-3：重复步骤S4-4-1和步骤S4-4-2，依次实现第7层，第8层卷积处理，分别依次获得第7层，第8层卷积响应图集合respone(nla)，其中第7层下采样后的响应图尺寸为6*6，第8层下采样后的响应图尺寸为3*3，其中nla取值为7，8。
步骤S4-5：构建第9层到第11层全连接层。
步骤S4-5-1：进行第8层行向量处理，将第8层卷积响应图集合respone(nla)，按照行顺序，转化为第8层行向量vector(nla)，其中，第8层行向量长度为64*3*3，nla取值为8。
步骤S4-5-2：进行第9层全连接处理，对第8层行向量vector(nla-1)，利用第nla层的全连接层权重w(nla)，进行矩阵乘法，获得第9层行向量vector(nla)，其中9层行向量长度为64*3*3，第nla取值为9。
步骤S4-5-3：重复步骤S4-4-2，进行第10层全连接处理，对第9层行向量vector(nla -1)，利用第nla层的全连接层权重w(nla)，进行矩阵乘法，获得第10层行向量vector(nla)，其中10层行向量长度为64*3*3，nla取值为10。
步骤S4-5-4：重复步骤S4-4-2，进行第11层全连接处理，对第9层行向量vector(nla -1)，利用第nla层的全连接层权重w(nla)，进行矩阵乘法，获得第11层行向量vector(nla)，其中11层行向量长度为1*72，即，与旋转角度集合中的元素对应，nla取值为11。
步骤S5-1：根据步骤S3-8获得图像块集合Patch＝{patch(px,size)}和对应的边缘标记y(px,size)。
步骤S5-2：根据步骤S4-1到步骤S4-4，将每个图像块patch(px,size)，输入边缘朝向检测的深度模型，获得第5层卷积响应图集合respone(nla)，其中nla取值为5。
步骤S5-3：对第5层卷积响应图集合respone(nla)中的64个响应图，抽取其中心像素的1*64行向量。
步骤S5-4：取中心像素的1*64行向量的最大值，作为该图像块的边缘预测结果ytest(px,size)。
步骤S5-5：对所有图像块，计算边缘预测损失函数Ledge为
其中，第一项计算第1层到第5层权重的2范数的和，作为损失函数的正则项，第二项为每个样本平均的预测误差。
步骤S5-6：使用误差反馈传播算法对边缘预测损失函数Ledge进行优化，获得最小的边缘预测损失函数，并获得该情况下的前1层到第5层训练后的神经网络模型参数即
其中nla取值为1到5。
步骤S6-1：根据步骤S3-19到步骤S3-11，获得边缘图像块集合Epatch＝{epatch(px,size)}，以及所有样本对应的边缘朝向标记θ(px,size)。
步骤S6-2：将样本对应的边缘朝向标记θ(px,size)，转化为行向量形式vector，具体方式为，行向量形式vector为1*72行向量，将标记θ(px,size)除以5取整数获得下标编号ind，将行向量中下标编号ind位置赋值为1，其他位置赋值为0，获得行向量形式vector。
步骤S6-3：使用前1层到第5层训练后的神经网络模型参数根据步骤S4-4到步骤S4-5，将每个边缘图像块epatch(px,size)，输入边缘朝向检测的深度模型，获得第11层行向量vectortest (nla)，其中nla取值为11。
步骤S6-4：对所有边缘图像块，计算边缘朝向预测损失函数Locc为
其中，第一项计算第6层到第8层权重的2范数的和，作为损失函数的正则项，第二项第9层到第11层权重的2范数的和，作为损失函数的正则项，第三项为每个样本平均的预测误差。
步骤S6-5：使用误差反馈传播算法对边缘朝向预测损失函数Locc进行优化，获得最小的边缘预测损失函数，并获得该情况下的前6层到第8层训练后的神经网络模型参数和第9层到第11层权重w(nla)，即
其中中nla取值为6到8，中nla取值为9到11。
步骤S7-1：对输入图像，根据步骤S1和步骤S2获得人物目标分割轮廓Bdist。
步骤S7-2：对人物目标分割轮廓上的像素点进行采样，采样窗口为25*25，采样窗口的中心点为人物目标分割轮廓点，获得边缘图像块epatch(px,size)。
步骤S7-3：获得训练好的边缘朝向检测的深度模型参数，具体操作为，根据步骤S5和步骤S6获得浅层网络模型参数和深层网络模型参数。
步骤S7-4：输入缘图像块epatch(px,size)，并使用训练好的边缘朝向检测的深度模型参数，重复步骤S4-3到步骤S4-5，获得11层的网络输出行向量vector(nla)，其中nla取值为11。
步骤S7-5：根据网络输出行向量vector(nla)，计算当前人物目标分割轮廓点的边缘朝向方向θ(px,size)。
步骤S7-6：目标区域Obj＝{obji}，获得像素点边界两侧的目标区域编号j和目标区域编号k。
步骤S7-7：根据当前人物目标分割轮廓点的边缘朝向方向θ(px,size)，记录目标区域编号j和目标区域编号k的遮挡朝向关系，具体操作为，如果边缘朝向方向θ(px,size)指向目标区域编号j，则说明目标区域编号j是背景区域，目标区域编号k是前景区域，目标区域编号k遮挡目标区域编号j，则记录遮挡朝向关系为Vocc(k,j)＝1；否则，如果边缘朝向方向θ(px,size)指向目标区域编号k，则说明目标区域编号k是背景区域，目标区域编号j是前景区域，则记录遮挡朝向关系为Vocc(j,k)＝1。
步骤S8-1：对输入图像，根据步骤S1和步骤S2获得人物目标轮廓Bdist。
步骤S8-2：根据目标区域Obj＝{obji}，初始化目标区域之间的遮挡关系矩阵Occ(j,k)，其中j＝1,...,nobj，k＝1,...,nobj，j≠k，nobj是合并后区域数量，其中Occ(j,k)的初始值都为0。
步骤S8-3：初始化区域间共享边界像素点集合Pset(j,k)，初始化时，每个边界像素点集合为空集合，其中Pset(j,k)是指目标区域编号j和目标区域编号k之间的轮廓点。
步骤S8-4：对人物目标轮廓Bdist上的轮廓点，以5像素为步长等间隔采样，获得采样点集合Px＝{px}。
步骤S8-5：重复步骤S7-2到步骤S7-5，依次分析采样点的边缘图像块的边缘朝向θ(px,size)。
步骤S8-6：重复步骤S7-6，获得像素点边界两侧的目标区域编号j和目标区域编号k。
步骤S8-7：根据像素点边界两侧的目标区域编号j和目标区域编号k，将像素点添加到区域间共享边界像素点集合Pset(j,k)＝Pset(j,k)∪px。
步骤S8-8：对像素点px，根据当前人物目标分割轮廓点的边缘朝向方向θ(px,size)，记录目标区域编号j和目标区域编号k的遮挡朝向关系，具体操作为，如果边缘朝向方向θ(px,size)指向目标区域编号j，则说明目标区域编号j是背景区域，目标区域编号k是前景区域，目标区域编号k遮挡目标区域编号j，则记录遮挡朝向关系为Vocc(k,j)＝1；否则，如果边缘朝向方向θ(px,size)指向目标区域编号k，则说明目标区域编号k是背景区域，目标区域编号j是前景区域，则记录遮挡朝向关系为Vocc(j,k)＝1；
步骤S8-9：根据区域编号间的投票，对遮挡关系矩阵Occ(j,k)进行统计，具体方式为，如果记录遮挡朝向关系为Vocc(k,j)＝1，则Occ(k,j)＝Occ(k,j)+Vocc(k,j)；如果记录遮挡朝向关系为Vocc(j,k)＝1，则Occ(j,k)＝Occ(j,k)+Vocc(j,k)；
步骤S8-10：重复步骤S8-4到步骤S8-7，获得最终的区域间共享边界像素点集合Pset(j,k)；
步骤8-11：重复步骤S8-8到步骤S8-9，对全部区域间朝向关系进行的遮挡投票，并更新遮挡关系，获得最终的遮挡关系矩阵Occ(j,k)；
步骤S8-12：选择目标区域编号j和目标区域编号k，并对最终的遮挡关系矩阵Occ(j,k)进行一致性验证，具体操作为，如果Occ(j,k)＞Occ(k,j)，说明目标区域编号j以更大的可能性对目标区域编号k遮挡，则记录区域间一致的遮挡关系为Pocc(j,k)＝1；如果Occ(j,k)＜Occ(k,j)目标区域编号k以更大的可能性对目标区域编号j遮挡，则记录区域间一致的遮挡关系记作Pocc(k,j)＝1；
步骤S8-13：根据最终的区域间共享边界像素点集合Pset(j,k)，找出目标区域编号j和目标区域编号k之间的轮廓点Pset(j,k)＝{px}；
步骤S8-14：根据区域间一致的遮挡关系，对区域间共享边界像素点集合进行一致性修正，具体操作为，如果区域间一致的遮挡关系Pocc(j,k)＝1，则将所有目标区域编号j和目标区域编号k之间的轮廓点Pset(j,k)＝{px}的关系赋值为Vocc(j,k)＝1；否则，如果区域间一致的遮挡关系Pocc(k,j)＝1，则将所有目标区域编号j和目标区域编号k之间的轮廓点Pset(j,k)＝{px}的关系赋值为Vocc(k,j)＝1；
步骤S8-15：重复步骤S8-13到步骤S8-14，完成所有区域间一致的遮挡关系修正，获得所有人物目标轮廓Bdist上的轮廓点的遮挡朝向关系；
步骤S8-16：将人物目标轮廓Bdist上的轮廓点的遮挡朝向关系可视化输出，作为人物遮挡轮廓检测结果，具体操作方式为：如果像素点Vocc(j,k)＝1，即边界遮挡朝向为从区域编号j朝向目标区域编号k，此时将该箭头顺时针旋转90度，并以轮廓点为箭头起点绘制箭头；如果像素点Vocc(k,j)＝1，即边界遮挡朝向为从区域编号k朝向目标区域编号j，此时将该箭头顺时针旋转90度，并以轮廓点为箭头起点绘制箭头。
Claims (7)
1.基于旋转深度学习的人物遮挡轮廓检测方法，其特征在于包括：构建人物图像旋转集合，构建边缘朝向检测深度模型，训练浅层模型，训练深层模型，检测局部轮廓朝向，对局部轮廓朝向进行一致性评价并提取人物分割轮廓朝向；
所述的构建人物图像旋转集合，对输入的灰度图像进行旋转，并对其进行分割和合并，得到旋转图像集合，然后对旋转图像进行采样得到图像块，最后经过边缘标记和边缘朝向标记得到边缘图像块集合，以及所有样本对应的边缘朝向标记；所述的构建边缘朝向检测深度模型，通过构建11层的边缘朝向检测的深度模型，来实现边缘朝向检测功能；
所述的训练浅层模型，根据旋转图像块采集集合，训练浅层模型，使用误差反馈传播算法对边缘预测损失函数进行优化，获得最小的边缘预测损失函数，并获得该情况下的第1层到第5层训练后的神经网络模型参数
所述的训练深层模型，根据旋转边缘图像块采样集合，训练深层模型，使用误差反馈传播算法对边缘朝向预测损失函数进行优化，获得最小的边缘预测损失函数，并获得该情况下的第6层到第8层训练后的神经网络模型参数和第9层到第11层权重w(nla)；
所述的检测局部轮廓朝向，使用训练后的边缘朝向检测深度模型，检测局部轮廓朝向，计算当前人物目标分割轮廓点的边缘朝向方向θ(px,size)并且记录目标区域编号j和目标区域编号k的遮挡朝向关系；
所述的对局部轮廓朝向进行一致性评价并提取人物分割轮廓朝向，根据区域间一致的遮挡关系，对区域间共享边界像素点集合进行一致性修正，获得所有人物目标轮廓Bdist上的轮廓点的遮挡朝向关系。
2.根据权利要求1所述的基于旋转深度学习的人物遮挡轮廓检测方法，其特征在于：构建人物图像旋转集合,包括以下步骤：
步骤S3-1：设置旋转角集合A＝{αi},i＝1,..,72，其中αi的具体取值为αi＝5·(i-1)度，具体操作为，以图像中朝向右的水平线方向为0度，逆时针旋转，每旋转5度为一个单位，共旋转71次，完成355度的旋转；
步骤S3-2：对输入灰度图像Igray，旋转一个旋转角度αi，以图像中心坐标点为旋转点，进行旋转，获得旋转后的图像Ri；
步骤S3-3：重复步骤S2-2，依次对旋转角集合中的旋转角A＝{αi}进行旋转，获得旋转图像集合Rset＝{Ri}；
步骤S3-4：对输入分割轮廓图像Bsdist，旋转一个旋转角度αi，以图像中心坐标点为旋转点，进行旋转，获得旋转后的分割图像Bsi；
步骤S3-5：重复步骤S2-4，依次对旋转角集合中的旋转角A＝{αi}进行旋转，获得旋转图像集合Bsset＝{Bsi}；
步骤S3-6：对旋转后的图像Ri，以空间窗口尺寸size为25*25对图像进行一次采样，获得图像块patch(px,size)，其中px为图像块的中心像坐标，size为采样块的空间窗尺寸；
步骤S3-7：对该图像块patch(px,size)，进行边缘标记，具体操作为：
步骤S3-7-1：如果图像块patch(px,size)的采样中心位置px和尺寸size，对对应的旋转后的分割图像Bsi进行采样，获得边缘图像块spatch(px,size)；
步骤S3-7-2：如果边缘图像块spatch(px,size)，中心像素处为分割轮廓，则记录该图像块为边缘图像块，其边缘标记为y(px,size)＝1；
步骤S3-7-3：如果边缘图像块spatch(px,size)，中心像素处不是分割轮廓，则记录该图像块为非边缘图像块，其边缘标记为y(px,size)＝0；
步骤S3-8：重复步骤S3-6和步骤S3-7，获得图像块集合Patch＝{patch(px,size)}和对应的边缘标记y(px,size)；
步骤S3-9：对图像块集合Patch＝{patch(px,size)}，将其中边缘标记为y(px,size)＝1的图像处理块组成边缘图像块集合Epatch＝{epatch(px,size)}；
步骤S3-10：对边缘图像块集合Epatch＝{epatch(px,size)}，进行边缘朝向标记，具体操作如下：
步骤S3-10-1：选择边缘图像块epatch(px,size)，计算中心像素点的切线方向；
步骤S3-10-2：根据中心像素点的切线方向，计算中心像素点的由内部指向外部的法线方向，即前景指向背景的法线方向，并将该法线方向作为边缘图像块epatch(px,size)的边缘朝向标记，记为θ(px,size)；
步骤S3-11：重复步骤S3-10，获得边缘图像块集合，以及所有样本对应的边缘朝向标记θ(px,size)。
3.根据权利要求1所述的基于旋转深度学习的人物遮挡轮廓检测方法，其特征在于：构建边缘朝向检测深度模型，包括以下步骤：
步骤S4-1：构建11层的边缘朝向检测的深度模型，具体操作方式为：第1层到第5层为卷积神经网络，第5层输出结果用于边缘检测，第6层到第8层为卷积神经网络，第9层到第11层为全连接神经网络，第11层输出结果用于边缘朝向检测；
步骤S4-2：初始化第1层到第8层的卷积神经网络权重，记为Pri＝{pri(nla)}，其中Pri为第1层到第8层的卷积神经网络权重，pri(nla)为第nla层的卷积神经网络权重，nla取值为1到8；
步骤S4-2-1：初始化第nla层的卷积神经网络其中为第nla层的卷积神经网络中，第i个卷积滤波器，每层64个卷积滤波器，i的取值为1到64；
步骤S4-2-1-1：初始化第nla层中，第i个卷积滤波器其中为第nla层中，第i个卷积滤波器中的第k个权重，其中每个滤波器的尺寸为3*3，k的取值为1到9；
步骤S4-2-2：初始化第9到第11层的全连接层权重，记为W＝{w(nla)}，其中W为第9到第11层全连接层权重，w(nla)为第nla层的全连接层权重，nla取值为9到11；
步骤S4-2-2-1：初始化nla层的全连接层权重其中表示，第nla层中第i个元素，与第nla+1层中第k个元素之间的权重；
步骤S4-3：构建第1层到第5层的浅层深度网络；
步骤S4-3-1：对旋转后的图像Ri采样，输入一个空间窗口尺寸25*25图像块patch(px,size)；
步骤S4-3-2：进行第1层卷积处理，具体操作方式为，利用第nla层的卷积神经网络权重pri(nla)，对图像块patch(px,size)进行卷积，获得卷积后的响应图集合respone(nla)，其中响应图集合中有64滤波器分别卷积获得的64个响应图，nla取值为1；
步骤S4-3-3：进行第2层卷积处理，利用第nla层的卷积神经网络权重pri(nla)，对第nla-1层响应图respone(nla-1)进行卷积，获得卷积后的响应图集合respone(nla)，其中响应图集合中有64滤波器分别卷积获得的64个响应图，其中nla取值为2；
步骤S4-3-4：重复步骤S4-3-3，依次实现第3层，第4层，第5层卷积处理，分别依次获得第3层，第4层，第5层卷积响应图respone(nla)，其中nla取值为3，4，5；
步骤S4-4：构建第6层到第8层的浅层深度网络；
步骤S4-4-1：进行第6层卷积处理，利用第nla层的卷积神经网络权重pri(nla)，对第nla-1层响应图respone(nla-1)进行卷积，获得卷积后的下采样前的响应图集合brespone(nla)，其中nla取值为6；
步骤S4-4-2：对第6层进行池化处理，对下采样前的响应图集合brespone(nla)中的每个响应图，以2*2的滑动窗口，以2为步长进行滑动并下采样，具体方式为，取2*2窗口中的最大值保留为该区域的下采样值，获得下采样后的响应图集合respone(nla)，其中第6层下采样后的响应图尺寸为12*12；
步骤S4-4-3：重复步骤S4-4-1和步骤S4-4-2，依次实现第7层，第8层卷积处理，分别依次获得第7层，第8层卷积响应图集合respone(nla)，其中第7层下采样后的响应图尺寸为6*6，第8层下采样后的响应图尺寸为3*3，其中nla取值为7，8；
步骤S4-5：构建第9层到第11层全连接层；
步骤S4-5-1：进行第8层行向量处理，将第8层卷积响应图集合respone(nla)，按照行顺序，转化为第8层行向量vector(nla)，其中，第8层行向量长度为64*3*3，nla取值为8；
步骤S4-5-2：进行第9层全连接处理，对第8层行向量vector(nla-1)，利用第nla层的全连接层权重w(nla)，进行矩阵乘法，获得第9层行向量vector(nla)，其中9层行向量长度为64*3*3，第nla取值为9；
步骤S4-5-3：重复步骤S4-4-2，进行第10层全连接处理，对第9层行向量vector(nla-1)，利用第nla层的全连接层权重w(nla)，进行矩阵乘法，获得第10层行向量vector(nla)，其中10层行向量长度为64*3*3，nla取值为10；
步骤S4-5-4：重复步骤S4-4-2，进行第11层全连接处理，对第9层行向量vector(nla-1)，利用第nla层的全连接层权重w(nla)，进行矩阵乘法，获得第11层行向量vector(nla)，其中11层行向量长度为1*72，即，与旋转角度集合中的元素对应，nla取值为11。
4.根据权利要求1所述的基于旋转深度学习的人物遮挡轮廓检测方法，其特征在于：训练浅层模型,包括以下步骤：
步骤S5-1：根据步骤S3-8获得图像块集合Patch＝{patch(px,size)}和对应的边缘标记y(px,size)；
步骤S5-2：根据步骤S4-1到步骤S4-4，将每个图像块patch(px,size)，输入边缘朝向检测的深度模型，获得第5层卷积响应图集合respone(nla)，其中nla取值为5；
步骤S5-3：对第5层卷积响应图集合respone(nla)中的64个响应图，抽取其中心像素的1*64行向量；
步骤S5-4：取中心像素的1*64行向量的最大值，作为该图像块的边缘预测结果ytest(px,size)；
步骤S5-5：对所有图像块，计算边缘预测损失函数Ledge为
其中，第一项计算第1层到第5层权重的2范数的和，作为损失函数的正则项，第二项为每个样本平均的预测误差；
步骤S5-6：使用误差反馈传播算法对边缘预测损失函数Ledge进行优化，获得最小的边缘预测损失函数，并获得该情况下的前1层到第5层训练后的神经网络模型参数即
其中nla取值为1到5。
5.根据权利要求1所述的基于旋转深度学习的人物遮挡轮廓检测方法，其特征在于：训练深层模型,包括以下步骤：
步骤S6-1：根据步骤S3-19到步骤S3-11，获得边缘图像块集合Epatch＝{epatch(px,size)}，以及所有样本对应的边缘朝向标记θ(px,size)；
步骤S6-2：将样本对应的边缘朝向标记θ(px,size)，转化为行向量形式vector，具体方式为，行向量形式vector为1*72行向量，将标记θ(px,size)除以5取整数获得下标编号ind，将行向量中下标编号ind位置赋值为1，其他位置赋值为0，获得行向量形式vector；
步骤S6-3：使用前1层到第5层训练后的神经网络模型参数根据步骤S4-4到步骤S4-5，将每个边缘图像块epatch(px,size)，输入边缘朝向检测的深度模型，获得第11层行向量vectortest (nla)，其中nla取值为11；
步骤S6-4：对所有边缘图像块，计算边缘朝向预测损失函数Locc为
其中，第一项计算第6层到第8层权重的2范数的和，作为损失函数的正则项，第二项第9层到第11层权重的2范数的和，作为损失函数的正则项，第三项为每个样本平均的预测误差；
步骤S6-5：使用误差反馈传播算法对边缘朝向预测损失函数Locc进行优化，获得最小的边缘预测损失函数，并获得该情况下的前6层到第8层训练后的神经网络模型参数和第9层到第11层权重w(nla)，即
其中中nla取值为6到8，中nla取值为9到11。
6.根据权利要求1所述的基于旋转深度学习的人物遮挡轮廓检测方法，其特征在于：检测局部轮廓朝向,包括以下步骤：
步骤S7-1：对输入图像，根据步骤S1和步骤S2获得人物目标分割轮廓Bdist；
步骤S7-2：对人物目标分割轮廓上的像素点进行采样，采样窗口为25*25，采样窗口的中心点为人物目标分割轮廓点，获得边缘图像块epatch(px,size)；
步骤S7-3：获得训练好的边缘朝向检测的深度模型参数，具体操作为，根据步骤S5和步骤S6获得浅层网络模型参数和深层网络模型参数；
步骤S7-4：输入缘图像块epatch(px,size)，并使用训练好的边缘朝向检测的深度模型参数，重复步骤S4-3到步骤S4-5，获得11层的网络输出行向量vector(nla)，其中nla取值为11；
步骤S7-5：根据网络输出行向量vector(nla)，计算当前人物目标分割轮廓点的边缘朝向方向θ(px,size)；
步骤S7-6：目标区域Obj＝{obji}，获得像素点边界两侧的目标区域编号j和目标区域编号k；
步骤S7-7：根据当前人物目标分割轮廓点的边缘朝向方向θ(px,size)，记录目标区域编号j和目标区域编号k的遮挡朝向关系，具体操作为，如果边缘朝向方向θ(px,size)指向目标区域编号j，则说明目标区域编号j是背景区域，目标区域编号k是前景区域，目标区域编号k遮挡目标区域编号j，则记录遮挡朝向关系为Vocc(k,j)＝1；否则，如果边缘朝向方向θ(px,size)指向目标区域编号k，则说明目标区域编号k是背景区域，目标区域编号j是前景区域，则记录遮挡朝向关系为Vocc(j,k)＝1。
7.根据权利要求6所述的基于旋转深度学习的人物遮挡轮廓检测方法，其特征在于：对局部轮廓朝向进行一致性评价并提取人物分割轮廓朝向,包括以下步骤：
步骤S8-1：对输入图像，根据步骤S1和步骤S2获得人物目标轮廓Bdist；
步骤S8-2：根据目标区域Obj＝{obji}，初始化目标区域之间的遮挡关系矩阵Occ(j,k)，其中j＝1,...,nobj，k＝1,...,nobj，j≠k，nobj是合并后区域数量，其中Occ(j,k)的初始值都为0；
步骤S8-3：初始化区域间共享边界像素点集合Pset(j,k)，初始化时，每个边界像素点集合为空集合，其中Pset(j,k)是指目标区域编号j和目标区域编号k之间的轮廓点；
步骤S8-4：对人物目标轮廓Bdist上的轮廓点，以5像素为步长等间隔采样，获得采样点集合Px＝{px}；
步骤S8-5：重复步骤S7-2到步骤S7-5，依次分析采样点的边缘图像块的边缘朝向θ(px,size)；
步骤S8-6：重复步骤S7-6，获得像素点边界两侧的目标区域编号j和目标区域编号k；
步骤S8-7：根据像素点边界两侧的目标区域编号j和目标区域编号k，将像素点添加到区域间共享边界像素点集合Pset(j,k)＝Pset(j,k)∪px；
步骤S8-8：根据当前人物目标分割轮廓点的边缘朝向方向θ(px,size)，记录目标区域编号j和目标区域编号k的遮挡朝向关系，具体操作为，如果边缘朝向方向θ(px,size)指向目标区域编号j，则说明目标区域编号j是背景区域，目标区域编号k是前景区域，目标区域编号k遮挡目标区域编号j，则记录遮挡朝向关系为Vocc(k,j)＝1；否则，如果边缘朝向方向θ(px,size)指向目标区域编号k，则说明目标区域编号k是背景区域，目标区域编号j是前景区域，则记录遮挡朝向关系为Vocc(j,k)＝1；
步骤S8-9：根据区域编号间的投票，对遮挡关系矩阵Occ(j,k)进行统计，具体方式为，如果记录遮挡朝向关系为Vocc(k,j)＝1，则Occ(k,j)＝Occ(k,j)+Vocc(k,j)；如果记录遮挡朝向关系为Vocc(j,k)＝1，则Occ(j,k)＝Occ(j,k)+Vocc(j,k)；
步骤S8-10：重复步骤S8-4到步骤S8-7，获得最终的区域间共享边界像素点集合Pset(j,k)；
步骤8-11：重复步骤S8-8到步骤S8-9，对全部区域间朝向关系进行的遮挡投票，并更新遮挡关系，获得最终的遮挡关系矩阵Occ(j,k)；
步骤S8-12：选择目标区域编号j和目标区域编号k，并对最终的遮挡关系矩阵Occ(j,k)进行一致性验证，具体操作为，如果Occ(j,k)＞Occ(k,j)，说明目标区域编号j以更大的可能性对目标区域编号k遮挡，则记录区域间一致的遮挡关系为Pocc(j,k)＝1；如果Occ(j,k)＜Occ(k,j)目标区域编号k以更大的可能性对目标区域编号j遮挡，则记录区域间一致的遮挡关系记作Pocc(k,j)＝1；
步骤S8-13：根据最终的区域间共享边界像素点集合Pset(j,k)，找出目标区域编号j和目标区域编号k之间的轮廓点Pset(j,k)＝{px}；
步骤S8-14：根据区域间一致的遮挡关系，对区域间共享边界像素点集合进行一致性修正，具体操作为，如果区域间一致的遮挡关系Pocc(j,k)＝1，则将所有目标区域编号j和目标区域编号k之间的轮廓点Pset(j,k)＝{px}的关系赋值为Vocc(j,k)＝1；否则，如果区域间一致的遮挡关系Pocc(k,j)＝1，则将所有目标区域编号j和目标区域编号k之间的轮廓点Pset(j,k)＝{px}的关系赋值为Vocc(k,j)＝1；
步骤S8-15：重复步骤S8-13到步骤S8-14，完成所有区域间一致的遮挡关系修正，获得所有人物目标轮廓Bdist上的轮廓点的遮挡朝向关系；
步骤S8-16：将人物目标轮廓Bdist上的轮廓点的遮挡朝向关系可视化输出，作为人物遮挡轮廓检测结果，具体操作方式为：如果像素点Vocc(j,k)＝1，即边界遮挡朝向为从区域编号j朝向目标区域编号k，此时将该箭头顺时针旋转90度，并以轮廓点为箭头起点绘制箭头；如果像素点Vocc(k,j)＝1，即边界遮挡朝向为从区域编号k朝向目标区域编号j，此时将该箭头顺时针旋转90度，并以轮廓点为箭头起点绘制箭头。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810557555.4A CN108764186B (zh) | 2018-06-01 | 2018-06-01 | 基于旋转深度学习的人物遮挡轮廓检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810557555.4A CN108764186B (zh) | 2018-06-01 | 2018-06-01 | 基于旋转深度学习的人物遮挡轮廓检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108764186A true CN108764186A (zh) | 2018-11-06 |
| CN108764186B CN108764186B (zh) | 2021-10-26 |
Family
ID=64002040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810557555.4A Active CN108764186B (zh) | 2018-06-01 | 2018-06-01 | 基于旋转深度学习的人物遮挡轮廓检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108764186B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903301A (zh) * | 2019-01-28 | 2019-06-18 | 杭州电子科技大学 | 一种基于多级特征信道优化编码的图像轮廓检测方法 |
| CN109934835A (zh) * | 2019-01-25 | 2019-06-25 | 广西科技大学 | 基于深度强化网络邻接连接的轮廓检测方法 |
| CN111008627A (zh) * | 2019-12-05 | 2020-04-14 | 哈尔滨工业大学（深圳） | 一种在边界遮挡状况下检测标记码边框的方法 |
| CN111161291A (zh) * | 2019-12-31 | 2020-05-15 | 广西科技大学 | 基于目标景深信息的轮廓检测方法 |
| CN111179289A (zh) * | 2019-12-31 | 2020-05-19 | 重庆邮电大学 | 一种适用于网页长图宽图的图像分割方法 |
| CN112417967A (zh) * | 2020-10-22 | 2021-02-26 | 腾讯科技（深圳）有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
| CN112489086A (zh) * | 2020-12-11 | 2021-03-12 | 北京澎思科技有限公司 | 目标跟踪方法、目标跟踪装置、电子设备及存储介质 |
| CN112598628A (zh) * | 2020-12-08 | 2021-04-02 | 影石创新科技股份有限公司 | 一种图像遮挡检测方法、装置、拍摄设备及介质 |
| CN112990305A (zh) * | 2021-03-12 | 2021-06-18 | 北京邮电大学 | 一种遮挡关系的确定方法、装置、设备及存储介质 |
| CN113129306A (zh) * | 2021-05-10 | 2021-07-16 | 电子科技大学成都学院 | 一种基于深度学习的遮挡物体分割求解方法 |
| CN113838028A (zh) * | 2021-09-24 | 2021-12-24 | 无锡祥生医疗科技股份有限公司 | 一种颈动脉超声自动多普勒方法、超声设备及存储介质 |
| CN114406502A (zh) * | 2022-03-14 | 2022-04-29 | 扬州市振东电力器材有限公司 | 激光金属切割方法及系统 |
| CN117409376A (zh) * | 2023-12-15 | 2024-01-16 | 南京中鑫智电科技有限公司 | 一种用于高压套管的红外在线监测方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110199372A1 (en) * | 2010-02-15 | 2011-08-18 | Sony Corporation | Method, client device and server |
| US20120114225A1 (en) * | 2010-11-09 | 2012-05-10 | Samsung Electronics Co., Ltd. | Image processing apparatus and method of generating a multi-view image |
| CN102509119A (zh) * | 2011-09-30 | 2012-06-20 | 北京航空航天大学 | 一种基于分类器的图像场景分层与对象遮挡处理方法 |
| CN107748859A (zh) * | 2017-08-10 | 2018-03-02 | 东南大学 | 一种基于径向线的局部遮挡下的三维人脸识别方法 |
-
2018
- 2018-06-01 CN CN201810557555.4A patent/CN108764186B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110199372A1 (en) * | 2010-02-15 | 2011-08-18 | Sony Corporation | Method, client device and server |
| US20120114225A1 (en) * | 2010-11-09 | 2012-05-10 | Samsung Electronics Co., Ltd. | Image processing apparatus and method of generating a multi-view image |
| CN102509119A (zh) * | 2011-09-30 | 2012-06-20 | 北京航空航天大学 | 一种基于分类器的图像场景分层与对象遮挡处理方法 |
| CN107748859A (zh) * | 2017-08-10 | 2018-03-02 | 东南大学 | 一种基于径向线的局部遮挡下的三维人脸识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| HUAN FU等: "Occlusion Boundary Detection via Deep Exploration of Context", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| S. HUSSAIN RAZA等: "Finding Temporally Consistent Occlusion Boundaries in Videos Using Geometric Context", 《2015 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》 * |
| 林煜东: "复杂背景下的光学遥感图像目标检测算法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 陈远等: "面向部件遮挡补偿的车辆检测模型", 《中国图象图形学报》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934835A (zh) * | 2019-01-25 | 2019-06-25 | 广西科技大学 | 基于深度强化网络邻接连接的轮廓检测方法 |
| CN109934835B (zh) * | 2019-01-25 | 2023-03-31 | 广西科技大学 | 基于深度强化网络邻接连接的轮廓检测方法 |
| CN109903301B (zh) * | 2019-01-28 | 2021-04-13 | 杭州电子科技大学 | 一种基于多级特征信道优化编码的图像轮廓检测方法 |
| CN109903301A (zh) * | 2019-01-28 | 2019-06-18 | 杭州电子科技大学 | 一种基于多级特征信道优化编码的图像轮廓检测方法 |
| CN111008627B (zh) * | 2019-12-05 | 2023-09-05 | 哈尔滨工业大学（深圳） | 一种在边界遮挡状况下检测标记码边框的方法 |
| CN111008627A (zh) * | 2019-12-05 | 2020-04-14 | 哈尔滨工业大学（深圳） | 一种在边界遮挡状况下检测标记码边框的方法 |
| CN111161291A (zh) * | 2019-12-31 | 2020-05-15 | 广西科技大学 | 基于目标景深信息的轮廓检测方法 |
| CN111179289A (zh) * | 2019-12-31 | 2020-05-19 | 重庆邮电大学 | 一种适用于网页长图宽图的图像分割方法 |
| CN112417967A (zh) * | 2020-10-22 | 2021-02-26 | 腾讯科技（深圳）有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
| CN112417967B (zh) * | 2020-10-22 | 2021-12-14 | 腾讯科技（深圳）有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
| WO2022121963A1 (zh) * | 2020-12-08 | 2022-06-16 | 影石创新科技股份有限公司 | 一种图像遮挡检测方法、装置、拍摄设备及介质 |
| CN112598628A (zh) * | 2020-12-08 | 2021-04-02 | 影石创新科技股份有限公司 | 一种图像遮挡检测方法、装置、拍摄设备及介质 |
| CN112489086A (zh) * | 2020-12-11 | 2021-03-12 | 北京澎思科技有限公司 | 目标跟踪方法、目标跟踪装置、电子设备及存储介质 |
| CN112990305A (zh) * | 2021-03-12 | 2021-06-18 | 北京邮电大学 | 一种遮挡关系的确定方法、装置、设备及存储介质 |
| CN113129306A (zh) * | 2021-05-10 | 2021-07-16 | 电子科技大学成都学院 | 一种基于深度学习的遮挡物体分割求解方法 |
| CN113129306B (zh) * | 2021-05-10 | 2022-12-02 | 电子科技大学成都学院 | 一种基于深度学习的遮挡物体分割求解方法 |
| CN113838028A (zh) * | 2021-09-24 | 2021-12-24 | 无锡祥生医疗科技股份有限公司 | 一种颈动脉超声自动多普勒方法、超声设备及存储介质 |
| CN114406502B (zh) * | 2022-03-14 | 2022-11-25 | 扬州市振东电力器材有限公司 | 激光金属切割方法及系统 |
| CN114406502A (zh) * | 2022-03-14 | 2022-04-29 | 扬州市振东电力器材有限公司 | 激光金属切割方法及系统 |
| CN117409376A (zh) * | 2023-12-15 | 2024-01-16 | 南京中鑫智电科技有限公司 | 一种用于高压套管的红外在线监测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108764186B (zh) | 2021-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764186A (zh) | 基于旋转深度学习的人物遮挡轮廓检测方法 | |
| CN106780485B (zh) | 基于超像素分割和特征学习的sar图像变化检测方法 | |
| CN105069779B (zh) | 一种建筑陶瓷表面花纹图案质量检测方法 | |
| Su et al. | Concrete cracks detection using convolutional neuralnetwork based on transfer learning | |
| CN104504394B (zh) | 一种基于多特征融合的密集人数估计方法和系统 | |
| CN107944396A (zh) | 一种基于改进深度学习的刀闸状态识别方法 | |
| CN105404847B (zh) | 一种遗留物实时检测方法 | |
| CN107229929A (zh) | 一种基于r‑cnn的车牌定位方法 | |
| CN111611874B (zh) | 基于ResNet和Canny的人脸口罩佩戴检测方法 | |
| Mathavan et al. | Use of a self-organizing map for crack detection in highly textured pavement images | |
| CN107392885A (zh) | 一种基于视觉对比机制的红外弱小目标检测方法 | |
| CN110148162A (zh) | 一种基于复合算子的异源图像匹配方法 | |
| CN105894701B (zh) | 输电线路防外破大型施工车辆的识别报警方法 | |
| CN109409190A (zh) | 基于梯度直方图和Canny边缘检测器的行人检测方法 | |
| CN106127812B (zh) | 一种基于视频监控的客运站非出入口区域的客流统计方法 | |
| Wang et al. | Fire smoke detection based on texture features and optical flow vector of contour | |
| CN106875395A (zh) | 基于深度神经网络的超像素级sar图像变化检测方法 | |
| CN107545571A (zh) | 一种图像检测方法及装置 | |
| CN109766823A (zh) | 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法 | |
| CN105303200B (zh) | 用于手持设备的人脸识别方法 | |
| CN110110675A (zh) | 一种融合边缘信息的小波域分形红外卷云检测方法 | |
| CN108537787A (zh) | 一种人脸图像的质量判定方法 | |
| CN109738137A (zh) | 基于图像对比的土石坝渗漏实时监测与快速诊断方法 | |
| CN106296709A (zh) | 一种基于粒子群及模糊均值聚类的细胞图像分割方法 | |
| CN110008833A (zh) | 基于光学遥感图像的目标船只检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230620 Address after: Intelligent Manufacturing Research Institute of Hefei University of Technology F527, No. 369, Garden Route, Baohe Economic Development Zone, Hefei University of Technology, 230000, Anhui Province Patentee after: Hefei Jiema Intelligent Technology Co.,Ltd. Address before: Tunxi road in Baohe District of Hefei city of Anhui Province, No. 193 230009 Patentee before: Hefei University of Technology |
|
| TR01 | Transfer of patent right |