CN111931670A - 基于卷积神经网的深度图像头部检测与定位方法及系统 - Google Patents

基于卷积神经网的深度图像头部检测与定位方法及系统 Download PDF

Info

Publication number
CN111931670A
CN111931670A CN202010820333.4A CN202010820333A CN111931670A CN 111931670 A CN111931670 A CN 111931670A CN 202010820333 A CN202010820333 A CN 202010820333A CN 111931670 A CN111931670 A CN 111931670A
Authority
CN
China
Prior art keywords
head
image
target
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010820333.4A
Other languages
English (en)
Other versions
CN111931670B (zh
Inventor
马祥天
肖仕华
蔡木目心
王旭鹏
桑楠
焦运磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shucheng Technology Co ltd
Original Assignee
Chengdu Shucheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shucheng Technology Co ltd filed Critical Chengdu Shucheng Technology Co ltd
Priority to CN202010820333.4A priority Critical patent/CN111931670B/zh
Publication of CN111931670A publication Critical patent/CN111931670A/zh
Application granted granted Critical
Publication of CN111931670B publication Critical patent/CN111931670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于卷积神经网的深度图像头部检测与定位方法及系统，属于图像处理技术领域，方法包括对图像进行分类处理，再进行聚类分析，能够得到头部中点信息，进而实现多目标的头部检测与定位。本发明对图像进行分类处理，可以获得包含头部信息的所有待处理目标图像；再将待处理目标图像进行聚类分析，能够消除背景及噪声的干扰，得到包含至少一个头部目标对应样本点在真实头部中心区域形成的密集点簇，以获取头部中点信息，进而在复杂环境下实现了多目标的头部的检测与精确定位。

Description

基于卷积神经网的深度图像头部检测与定位方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及基于卷积神经网的深度图像头部 检测与定位方法及系统。
背景技术
头部检测，作为计算机视觉的重要组成部分，广泛应用于生活中的各个领 域，更是许多基于人脸研究领域的基础，如头部姿态分析、人脸的验证与识别、 注意力分析等。在过去的一段时间里，人们对头部的检测与定位进行了大量的 研究，无论是在实际应用或学术研究中，都提供了许多精确的和有竞争力的解 决方案。但绝大多数的研究均致力于普通RGB图像的分析。然而，受制于成像 原理，RGB图像的成像质量非常依赖于光照条件，这导致在某些重要的应用场 合，无法通过普通RGB相机获得有效的图像信息，而IntelRealSense等设备的 广泛应用获取有效的深度图像成为一种现实，而深度相机基于红外的成像原理，使深度图像对光照条件以及图像尺寸具有不敏感性，能很好地弥补普通RGB图 像的相关缺陷。
目前，Chen等人在《基于深度图像的头部检测深度信息挖掘》中，提出了 一种新的头部描述符合对像素进行分类，即通过一个线性的判别分析(LDA)分类 器，将输入图像中的每个像素分类为属于或不属于头部，再通过深度数据分析， 消除头部中心的误报，并作为最终的头部检测聚类像素。A.T.Nghiem等人在《使 用kinect摄像头进行头部检测及其在坠落检测中的应用》构建的人体跌倒检测 框架中，首先利用三维数据进行头部检测，该方法通过背景减除法检测运动物 体，并在轮廓线段上搜索所有可能的头部位置。G.Fanelli等人在《基于随机回 归森林的实时头位估计》中，考虑到随机回归森林处理大型训练数据的能力， 通过该方法对头部进行定位。G.Borghi等人在《基于深度图像的头部姿态估计 方法》中，利用深度学习强大的感知能力，用深度头像和头部中点真实值来训 练CNN模型，进而预测头部位置。然而以上两种情况，作者只考虑了头部定位 问题，且假设预测对象上有且只有一个测试目标。
最近DiegoBallotta等人在《基于深度图像的野外头部检测》中，首次通 过卷积神经网络处理基于深度图像的头部检测问题，他们将每一帧深度图像划 分为若干个图像块，利用分类器将每个图像块划分为头部与非头部，并通过滑 动窗口检测和定位头部。然而，受噪声以及杂乱背景的影响，图像块误检测现 象较多，且网络性能过度依赖于计算时间。之后，DiegoBallotta等人在《基于 深度图像的全卷积网络头部检测》中，又通过全卷积网络，对于每个输入帧， 创建一个以头部位置为中心的二元高斯分布，提高了检测准确率和检测效率， 然而该方法仅局限于单目标任务且定位精度较低。
发明内容
本发明的目的在于克服现有技术头部检测与定位中局限于单目标任务且精 度较低的问题，提供基于卷积神经网的深度图像头部检测与定位方法及系统。
本实用新型的目的是通过以下技术方案来实现的：基于卷积神经网的深度 图像头部检测与定位方法，所述方法具体包括：
对图像进行分类处理，获得包含头部信息的所有待处理目标图像；将待处 理目标图像进行聚类分析，得到头部中点信息，进而实现多目标的头部检测与 定位。
作为一选项，所述对图像进行分类处理包括特征提取步骤：
将原始图像转换为多通道图像，并采用不同卷积核对该多通道图像进行卷 积操作，获取原始图像在不同尺度上的特征映射，再通过多个残差块进行特征 提取，以提取原始图像的低层特征和高层特征。
作为一选项，所述特征提取步骤后还包括目标分类步骤：
通过softmax作为激活函数，输出包含头部信息的待处理目标图像与未包含 头部信息的图像的概率值，进而获得包含头部信息的所有待处理目标图像。
作为一选项，所述将待处理目标图像进行聚类分析具体包括：
将所有待处理目标图像的中心点抽象为d维空间中的样本点；将d维空间 指定圆形区域内的任意点作为起始点；计算起始点的偏移均值，将起始点移动 至偏移均值位置处；重复上一步骤，直至样本点收敛，进而实现多目标的头部 检测与定位。
作为一选项，所述计算起始点的偏移均值的计算公式为：
Figure BDA0002634214280000031
公式中，xi表示d维空间指定圆形区域内的点集，xik表示第k个样本点，b 是核带宽，g(t)是核函数，wk是第k个属性的权重系数。
作为一选项，所述权重通过平均绝对差、标准差、方差、变异系数进行定 义，当采用平均绝对差为加权系数时，权重系数的计算公式为：
Figure BDA0002634214280000032
当采用标准差为加权系数时，权重系数的计算公式为：
Figure BDA0002634214280000041
当采用方差为加权系数时，权重系数的计算公式为：
Figure BDA0002634214280000042
当采用变异系数为加权系数时，权重系数的计算公式为：
Figure BDA0002634214280000043
以上公式中，n表示样本大小。
作为一选项，所述将所有待处理目标图像的中心点抽象为d维空间中的样 本点步骤前还包括：计算所有待处理目标图像中包含完整头部的矩形图像块的 大小，计算公式如下：
Figure BDA0002634214280000044
上式中，wp，hP表示包含完整头部的矩形图像块的大小；fx，fy为深度相 机的水平焦距和垂直焦距；R为定值，代表头部平均宽度；DP为该点像素值。
作为一选项，所述方法还包括性能验证步骤，评价正确检测到头部的指标 公式为：
IoU(A,B)＞σ
Figure BDA0002634214280000045
IoU(A，B)表示正确检测到头部的指标；A表示真实的头部区域；B为预测的 头部区域；σ为阈值，具体为0.5。
需要进一步说明的是，上述基于卷积神经网的深度图像头部检测与定位方 法中各选项技术特征能够进行组合和替换，构成一新的技术方案。
本发明还包括一种卷积神经网络，该网络可以为基于上述基于卷积神经网 的深度图像头部检测与定位方法的卷积神经网络，也可以单独用作图像分类处 理，所述网络用于对图像进行分类处理，获得包含头部信息的所有待处理目标 图像，包括顺次连接的多尺度特征提取单元、基于残差块的特征提取单元和分 类单元。
作为一选项，所述多尺度特征提取单元包括顺次连接的多个不同卷积核的 卷积层，和与最后一层卷积层连接的池化层；
所述基于残差块的特征提取单元包括若干顺次连接的残差块，所述残差块 包括若干卷积层，且最后一层卷积层对特征进行降维处理；
分类单元与第一残差块连接，第一残差块与第二残差块连接，且第二残差 块中的卷积层与第一残差块中的卷积层执行跳跃加法操作，以更好地获得原始 图像的语义信息。
需要进一步说明的是，上述基于卷积神经网的深度图像头部检测与定位系 统中各选项技术特征能够进行组合和替换，构成一新的技术方案。
与现有技术相比，本发明有益效果是：
(1)本发明对图像进行分类处理，可以获得包含头部信息的所有待处理目 标图像；再将待处理目标图像进行聚类分析，能够消除背景及噪声的干扰，得 到包含至少一个头部目标对应样本点在真实头部中心区域形成的密集点簇，以 获取头部中点信息，进而在复杂环境下实现了多目标的头部的检测与精确定位。
(2)本发明将原始图像转换为多通道图像，并采用不同卷积核对该多通道 图像进行卷积操作，获取原始图像在不同尺度上的特征映射，即在图像的特征 空间中构造金字塔；再通过多个残差块进行特征提取，进而提取到原始图像的 底层特征(细节信息)和高层特征(语义信息)，减小计算量的同时保证了较 高的检测正确率。
(3)本发明通过softmax作为激活函数，对图像进行分类，以确定包含头 部信息的所有待处理目标图像。
(4)本发明通过将待处理目标图像进行聚类分析，能够减小图像分类带来 的干扰，进而在复杂环境下实现了多目标的头部的检测与精确定位。
(5)本发明起始点偏移均值的计算公式，根据数据属性的重要性给出了不 同的权重系数，进一步提升了聚类性能。
(6)本发明聚类分析中的权重系数通过平均绝对差、标准差、方差、变异 系数进行定义，利用不同的指标作为加权欧式距离的加权系数，进一步提高了 聚类分析的准确度。
(7)本发明通过计算所有待处理目标图像中包含完整头部的矩形图像块的 大小，进而保证进行聚类分析的各样本图像块均包含完整的头部信息。
(8)本发明通过性能验证步骤，能够验证本发明方法性能，保证了本发明 方法的可靠性。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明，此处所说明 的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中 使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说 明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明实施例1的方法流程处理图；
图2为本发明实施例1方法性能验证示意图；
图3为本发明实施例4的卷积神经网络框图；
图4为本发明实施例4的基于残差块的特征提取单元中第一、第二残差块 示意图。
具体实施方式
下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述 的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施 例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施 例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，属于“中心”、“上”、“下”、“左”、 “右”、“竖直”、“水平”、“内”、“外”等指示的方向或位置关系为基 于附图所述的方向或位置关系，仅是为了便于描述本发明和简化描述，而不是 指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作， 因此不能理解为对本发明的限制。此外，属于“第一”、“第二”仅用于描述 目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“安 装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是 可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接 相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领 域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之 间未构成冲突就可以相互结合。
实施例1
如图1所示，在实施例1中，基于卷积神经网的深度图像头部检测与定位 方法，具体包括以下步骤：
S01：对图像进行分类处理，获得包含头部信息的所有待处理目标图像；
S02：将待处理目标图像进行聚类分析，得到头部中点信息，进而实现多目 标的头部检测与定位。其中，头部中点信息具体为目标头部的中心位置信息。
进一步地，在步骤S01中具体包括特征提取步骤，具体包：
S011：将原始图像转换为多通道图像，并采用不同卷积核对该多通道图像 进行卷积操作，以获取原始图像在不同尺度上的特征映射；
S012：再通过多个残差块进行特征提取，以提取原始图像的低层特征和高 层特征，通过浅层特征将区分简单目标、深层特征区分复杂目标。
进一步地，步骤S011中将单通道深度图转换为三通道的图像后输入网络， 具体使用表面法线的x、y和z分量作为图像像素的每个通道，再分别使用7*7， 3*3大小的卷积核，通过卷积层提取图像的局部特征，再通过池化操作缩小矩阵 的尺寸，从而减少最后全连接中的参数，加快计算速度，防止过拟合。
进一步地，步骤S012中多个残差块形成了一残差网络(基于残差块的特征 提取单元)，该残差网络(基于残差块的特征提取单元)中的残差块具体为两 层卷积层的残差块或三层卷积层的残差块，在本实施例中，残差网络(基于残 差块的特征提取单元)具体为16个卷积核大小分别为1*1，3*3，1*1的残差块， 用作特征提取，其目的是通过深层网络提取特征高级的语义信息(特征)，同 时防止梯度消失，防止退化现象出现。更进一步地，残差块中的最后一个残差 块的卷积核为1*1是为了降维处理，使各残差块之间的第一卷积层与最后一个 卷积层能够执行加法操作后输入至下一残差块。将最后一个残差块定义为第一 残差块，与第一残差块连接的残差块为第二残差块，对第一残差块中的第一个 卷积层输入端的特征进行上采样处理，以使第一残差块中的第一个卷积层与第 二残差块中的第二个卷积层具有相同的尺寸，且第二残差块中的第二个卷积层 输出端与第一残差块中的第一个卷积层输出端特征执行加法操作，第二残差块 中的第一个卷积层输出端与第一残差块中的第二个卷积层输出端特征执行加法 操作，以融合多层特征信息，以获得加强的语义信息，提高检测性能。
进一步地，步骤S012后还包括图像分类步骤：
S013：采用softmax作为激活函数，输出包含头部信息的待处理目标图像与 未包含头部信息的图像的概率值，进而获得包含头部信息的所有待处理目标图 像。
作为一具体实施例，本发明通过分别包含128、84、2个神经元的三个顺次 连接的全连接层实现图像的分类。具体地，为防止过拟合，本发明在全连接层 采用丢弃正则化dropout(σ＝0.5)处理。且在步骤S01中的卷积层和全连接层 均采用双曲正切函数tanh作为激活函数，以增加神经网络模型的非线性，其具 体表达如下：
Figure BDA0002634214280000091
其中，tanh是双曲函数中的一个，tanh()为双曲正切，x为输入特征。
最后一层全连接层用softmax作为激活函数将该层两个神经元输出[i,j]映射 为概率值[Si，Sj]：
Figure BDA0002634214280000092
其中，Si,Sj分别为正样本(包含头部信息的待处理目标图像)概率和负样 本(未包含头部信息的图像)概率。本发明将头部检测抽象为一个二分类问题， 因此采用交叉熵作为网络的损失函数：
Figure BDA0002634214280000101
上式中，p作为样本真实值，([0，1]为负样本，[1，0]为正样本)，q＝[Si，Sj] 为预测值。交叉熵值越低，表示两个概率分布越靠近。
更进一步地，在步骤S01对图像进行分类处理前还包括网络训练步骤；具 体地，将包含头部信息的待处理目标图像定义为正样本，将未包含头部信息的 图像定义为负样本，选取部分正样本、负样本作为训练集，将训练集中的正样 本、负样本输入用于图像分类的神经网络进行特征提取并输出预测结果(正负 样本的分布)，若该预测结果与样本集正负样本不同，继续通过损失函数对该 神经网络进行优化，使预测结果准确率达到本发明图像分类要求。
更进一步地，本发明所采用图像具体为深度图像，在没有任何约束的情况 下，人脸以未知比例出现在图像中任何位置。不同于普通二维图像，深度图像 每个像素点的值为物体到深度相机的距离。本发明遵从从深度数据到头部姿势 估计：暹罗方法，给出头部中心点p＝{x,y}以及真实头部的平均大小和标定参数， 可计算出包含完整头部的矩形图像块的大小(wp,hp)：
Figure BDA0002634214280000102
其中，fx，fy为深度相机的水平焦距和垂直焦距(以像素为单位)；R为定 值，代表头部平均宽度(250mm)；DP为该点像素值(即深度值，单位：mm)。
更进一步地，为精简样本(正样本、负样本)，根据包含完整头部的矩形 图像块的大小的计算公式可知，将相邻k×k像素作为一个采样单位，平均深度值 作为该采样单位的Dp，则每帧图像采样数量如公式如下：
Figure BDA0002634214280000111
上式中，(wi，hi)为输入图像的尺寸。采样后，对样本进行标准化处理。首 先，将所有样本调整为64×64像素；再去除背景，假设所有样本包含完整的头 部，则将样本中深度值大于Dp+L的像素点置0，L为头部中点到轮廓的深度差； 最后，将样本的归一化到[-1,1]。
进一步地，步骤S02将待处理目标图像进行聚类分析包括但不限于K均值 聚类、K-重点聚类等，本申请聚类分析具体包括：
S021：将所有待处理目标图像的中心点抽象为d维空间中的样本点；具体 地，本实施例具体将所有待处理目标图像的中心点抽象为二维空间中的样本点 [x1,x2,x3…,xn]；
S022：将d维空间指定圆形区域内的任意点作为起始点；
S023：计算起始点的偏移均值，将起始点移动至偏移均值位置处；
S024：重复步骤S023，直至样本点收敛，进而实现多目标的头部检测与定 位。其中，样本点收敛即可获取至少一个密集样本点簇，若存在多个密集样本 点簇，则表示图像中含有多个目标头部，样本点在真实头部中心区域形成密集 点簇，而误检测的样本点数量少且分布分散。
具体地，步骤S023中计算起始点的偏移均值具体为计算起始点密度增大的 最快方向，具体的计算公式为：
Figure BDA0002634214280000112
上式中，Sh为数据集的点到x的距离小于半径h的样本点集，如图1中的 圆形区域。K为圆形区域内样本点的数量，Sh的定义为：
Sh(x)＝{y:(y-xi)(y-xi)T＜h2}
上式中，k表示在这n个样本点xi中,有k个点落入Sh区域中。
更为具体地，将起始点移动至偏移均值位置处有：
xt+1＝xt+Mh
上式中，xt为起始点，xt+1为移动后的新的起始点。
进一步地，在步骤S024中，样本点收敛即Mh＝0，这些样本点最终会在局 部密度最大值处收敛，且收敛到相同局部最大值的点被认为是同一簇类成员， 进而实现头部目标的定位。
更进一步地，本申请为了保证聚类分析的准确度，根据数据属性的重要性 给出了不同的权重系数，通过计算在二维欧式空间中核密度估计值的梯度、二 维空间中两个点集之间的距离进而计算出下一次起始点的位置。
具体地，二维欧式空间中核密度估计值的梯度方法如下：
Figure BDA0002634214280000121
其中，ck，d是归一化常数，b是核带宽，g(t)是核函数。
具体地，计算二维空间中两个点集xi＝(xi1，xi2，...，xid)和xj＝(xj1，xj2，...，xjd)之 间的距离可以表示为：
Figure BDA0002634214280000122
上式中，wk(k＝1，2，...，d)代表了第k个属性的权重系数。
具体地，计算出下一次起始点的位置为：
Figure BDA0002634214280000123
其中，x表示点集，xi表示点集中第i个点，xik表示第i个点的第k个特征维 度，b是核带宽，g(t)是核函数，wk是第k个属性的权重系数。wk对下一个起始 点的计算至关重要，对聚类性能有一定影响。加权系数是基于样本点的离散程 度，本发明通过平均绝对差(MAD)、标准差(STD)、方差(VAR)、变异系数(CV) 定位权重，在不同的加权系数下改进了传统的均值漂移算法的欧氏距离。为便 于更好理解本发明加权系数对聚类性能的影响，作为一实施例，将样本序列设 置为X＝(x1，x2，...，xn)，其中n是样本大小。每一个点xi设置为 xi＝(xi1，xi2，...，xid)，(i＝1，2，...，n)，其中d是数据的属性维度。xi1，xi2，...，xid属性的 权重系数则为w1，w2，...，wd。
当采用平均绝对差为加权系数时，权重系数的计算公式为：
Figure BDA0002634214280000131
当采用标准差为加权系数时，权重系数的计算公式为：
Figure BDA0002634214280000132
当采用方差为加权系数时，权重系数的计算公式为：
Figure BDA0002634214280000133
当采用变异系数为加权系数时，权重系数的计算公式为：
Figure BDA0002634214280000134
为验证本发明聚类算法的效果，本发明将本申请聚类算法与传统的聚类算 法分别执行头部检测认为，实验结果见下表1：
表1本申请聚类算法与传统的聚类算法性能比较表
方法 检测准确率 IoU
传统聚类算法 0.959 0.862
本发明聚类算法 0.971 0.885
由上表不难看出，本发明聚类算法相较于传统的聚类算法准确率更高，能 够实现更加精准的头部检测与定位。
进一步地，步骤S021前还包括计算所有待处理目标图像中包含完整头部的 矩形图像块的大小，以使进行聚类分析的图像都包含完整的头部，具体计算公 式如下：
Figure BDA0002634214280000141
上式中，wp，hP表示包含完整头部的矩形图像块的大小；fx，fy为深度相 机的水平焦距和垂直焦距；R为定值，代表头部平均宽度；DP为该点像素值。
进一步地，本发明还包括性能验证步骤，评价正确检测到头部的指标公式 为：
IoU(A,B)＞σ
Figure BDA0002634214280000142
IoU(A，B)表示正确检测到头部的指标；A表示真实的头部区域；B为预测的 头部区域；σ为阈值，具体为0.5。
进一步地，为了验证本发明图像分类及聚类算法的性能，本发明通过两个 用于实验的公共数据集Pandora，Watch-n-patch进行性能验证，且验证了不同采 样单位k对系统性能的影响，并在在公共数据集上验证系统的有效性。最后， 由于缺乏多目标的深度数据集，本发明用Kinect v2相机在室内环境采集深度图 像并验证系统针对多目标检测与定位的有效性。需要进一步说明的是，本发明 的性能验证步骤是在Windows10操作系统下运行，CPU为 IntelCore-i7(3.40GHz)，内存为16GB，显卡为NVIDIARTX2080。
具体地，Pandora数据集，通过MicrosoftKinectone采集22名受试者(10名 男性和12名女性)的110个序列，约250000多张图像组成，用于头部肩部姿态 估计。并通过眼镜、围巾、手机等制造人为干扰。数据集给出了头部姿态的真 实值，并提供了人物的头部中心位置，其中深度图像分辨率为512x424。 Watch-n-patch,同样通过MicrosoftKinectone采集7名受试者在复杂多样的环境中 且无监督状态下进行日常活动的各种动作。它由458个视频组成，总时长230 分钟，用于人类活动建模，该数据集提供了头部中点真实值，本发明还在该数 据中的由2785张图像组成测试子集进一步相较于最近几年的其他现有技术方法 验证了本发明性能，具体验证结果如下：
表2本发明与最近几年研究方法的性能对比
方法 检测准确率 IoU fps
Ballottaetal. 0.956 0.806 0.238
Ballottaetal. 0.984 0.789 16.79
本发明算法 0.960 0.880 1.09
具体地，表2是在Pandora数据集上进行的性能验证，根据上表可以看出， 本发明检测准确率与时效性鉴于两者之间，但检测精度IoU有明显提升。
表3本发明与最近几年研究方法的性能对比
Figure BDA0002634214280000151
Figure BDA0002634214280000161
具体地，表3是在在watch-n-patch数据集进行的性能验证，根据上表可以 看出，本发明检测准确率接近目前最佳方法(检测正确率为0.964的方法)。结 合表2，本发明方法与目前最佳方法相比，检测精度更高，即头部定位更加精确。
进一步地，在本发明性能验证过程中，还研究了k值(深度图像的采样单 位)的大小对本发明算法的影响，其验证结构如下：
表4 K值对本发明算法的影响
k 检测准确率 IoU fps
3 0.96 0.898 0.209
7 0.96 0.887 0.662
11 0.892 0.792 1.56
17 0.831 0.701 3.4
上表在pandora数据集上通过改变k的大小表明k会影响系统的检测性能， k越小，更有利于在头部中点附近形成密集的点簇，且精度更高，但时间消耗大。
进一步地，本发明方法在watch-n-patch数据集上示例如图2所示，其中图 2(a)为图像分类预测中点在与图像相同尺寸的二维平面空间上的聚类图，其中点 集密集处即为预测头部区域，点集分散出为误检测区域，如图2(a)中由左至 右的第一幅图中的靠近底部的两个区域为误检区域。图2显示了本发明在深度 图像上的检测效果，矩形框为预测头部区域，由此可以看出，本发明能够实现 深度图像头部检测与精准定位，其能够实现多目标任务的头部检测。需要进一 步说明的是，图2仅为本发明实施例1性能验证示意图，其横纵坐标值、及人 物灰度并不限定本发明保护范围。
实施例2
本实施例提供了一种存储介质，与实施例1具有相同的发明构思，其上存 储有计算机指令，所述计算机指令运行时执行实施例1中所述的一基于卷积神 经网的深度图像头部检测与定位方法的步骤。
基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献 的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件 产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个 人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或 部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器 (Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、 磁碟或者光盘等各种可以存储程序代码的介质。
实施例3
本实施例还提供一种终端，与实施例1具有相同的发明构思，包括存储器 和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处 理器运行所述计算机指令时执行实施例1中所述的基于卷积神经网的深度图像 头部检测与定位方法的步骤。处理器可以是单核或者多核中央处理单元或者特 定的集成电路，或者配置成实施本发明的一个或者多个集成电路。
在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可 以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
实施例4
本发明还包括一种卷积神经网络，与实施例1具有相同的发明构思，用于 实现深度图像的分类，获得包含头部信息的所有待处理目标图像，包括特征提 取网络，特征提取网络包括顺次连接的多尺度特征提取单元、基于残差块的特 征提取单元，还包括与基于残差块的特征提取单元输出端连接的分类单元。其 中，多尺度特征提取单元，用于获取原始图像在不同尺度上的特征映射；基于 残差块的特征提取单元在多尺度特征提取单元的基础上，提取原始图像的低层 特征和高层特征；分类单元用于根据原始图像的低层特征和高层特征对原始图 像分类，得到包含头部信息的所有待处理目标图像。
进一步地，如图3所示，多尺度特征提取单元包括顺次连接的多个不同卷 积核的卷积层，和与最后一层卷积层连接的池化层。作为一具体实施例，多尺 度特征提取单元包括顺次连接的2个卷积核分别为7*7，3*3的卷积层和1个池 化层，卷积层用于提取图像的局部特征，池化层缩小矩阵的尺寸，从而减少最 后全连接中的参数，加快计算速度，防止过拟合。需要进一步说明的是，原始 深度图像转换为三通道的图像后输入上述多尺度特征提取单元，进而在两个不 同卷积核卷积层的卷积处理后，得到原始深度图像不同尺度特征映射，即在图 像的特征空间中构造金字塔，在系统检测速度与准确率之间进行了权衡，以获取鲁棒性更强的语义信息，在提高图像分类准确率的同时减小了计算量。
进一步地，基于残差块的特征提取单元包括若干顺次连接的残差块，残差 块包括若干卷积层，且最后一层卷积层对特征进行降维处理；分类单元与第一 残差块连接，第一残差块与第二残差块连接，且第二残差块中的卷积层与第一 残差块中的卷积层执行跳跃加法操作，以更好地获得原始图像的语义信息。更 为具体地，基于残差块的特征提取单元中的残差块具体为两层卷积层的残差块 或三层卷积层的残差块，在本实施例中，基于残差块的特征提取单元具体为16 个卷积核大小分别为1*1，3*3，1*1的残差块，用作特征提取，其目的是通过 深层网络提取特征高级的语义信息(特征)，同时防止梯度消失，防止退化现象出现。更进一步地，为了降维处理，残差块中的最后一个残差块的卷积核为 1*1，使各残差块之间的第一卷积层与最后一个卷积层能够执行加法操作后输入 至下一残差块。如图4所示，将最后一个残差块定义为第一残差块，与第一残 差块连接的残差块为第二残差块，对第一残差块中的第一个卷积层(卷积层IV) 输入端的特征进行上采样处理，以使第一残差块中的第一个卷积层(卷积层IV) 与第二残差块中的第二个卷积层(卷积层II)具有相同的尺寸，且第二残差块中 的第二个卷积层(卷积层II)输出端与第一残差块中的第一个卷积层(卷积层 IV)输出端特征执行加法操作，第二残差块中的第一个卷积层(卷积层I)输出端与第一残差块中的第二个卷积层(卷积层V)输出端特征执行加法操作，以 融合多层特征信息，以获得加强的语义信息，提高检测性能。
为验证本发明提出的包含特征提取网络(多尺度特征提取单元+基于残差块 的特征提取单元)，设计了一组对比实验，固定除特征提取网络之外的所有结 构和参数，仅改变网络的特征提取部分，用一组包含五个卷积层的网络替换特 征提取网络部分，实验结果如下：
表5本发明特征提取网络与现有技术的性能对照表
方法 检测准确率 IoU
对照方法 0.960 0.880
本发明方法 0.971 0.885
由上表可知，本发明特征提取网络具有有效性，检测正确率高。
作为一具体实施例，分类单元包括三个神经元分别为128、84、2的全连接 层，全连接层采用丢弃正则化dropout(σ＝0.5)处理，采用双曲正切函数tanh 作为激活函数，以增强神经网络模型的非线性，保证图像分类的准确率。
综上，本发明对图像进行分类处理，可以获得包含头部信息的所有待处理 目标图像；再将待处理目标图像进行聚类分析，能够消除背景及噪声的干扰， 得到包含至少一个头部目标对应样本点在真实头部中心区域形成的密集点簇， 以获取头部中点信息，进而在复杂环境下实现了多目标的头部的检测与精确定 位。
以上具体实施方式是对本发明的详细说明，不能认定本发明的具体实施方 式只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱 离本发明构思的前提下，还可以做出若干简单推演和替代，都应当视为属于本 发明的保护范围。

Claims (10)

1.基于卷积神经网的深度图像头部检测与定位方法，其特征在于：所述方法具体包括：
对图像进行分类处理，获得包含头部信息的所有待处理目标图像；
将待处理目标图像进行聚类分析，得到头部中点信息，进而实现多目标的头部检测与定位。
2.根据权利要求1所述的基于卷积神经网的深度图像头部检测与定位方法，其特征在于：所述对图像进行分类处理包括特征提取步骤：
将原始图像转换为多通道图像，并采用不同卷积核对该多通道图像进行卷积操作，获取原始图像在不同尺度上的特征映射，再通过多个残差块进行特征提取，以提取原始图像的低层特征和高层特征。
3.根据权利要求2所述的基于卷积神经网的深度图像头部检测与定位方法，其特征在于：所述特征提取步骤后还包括目标分类步骤：
通过softmax作为激活函数，输出包含头部信息的待处理目标图像与未包含头部信息的图像的概率值，进而获得包含头部信息的所有待处理目标图像。
4.根据权利要求3所述的基于卷积神经网的深度图像头部检测与定位方法，其特征在于：所述将待处理目标图像进行聚类分析具体包括：
将所有待处理目标图像的中心点抽象为d维空间中的样本点；
将d维空间指定圆形区域内的任意点作为起始点；
计算起始点的偏移均值，将起始点移动至偏移均值位置处；
重复上一步骤，直至样本点收敛，进而实现多目标的头部检测与定位。
5.根据权利要求1所述的基于卷积神经网的深度图像头部检测与定位方法，其特征在于：所述计算起始点的偏移均值的计算公式为：
Figure FDA0002634214270000021
公式中，x表示点集，xi表示点集中第i个点，xik表示第i个点的第k个特征维度，b是核带宽，g(t)是核函数，wk是第k个属性的权重系数。
6.根据权利要求1所述的基于卷积神经网的深度图像头部检测与定位方法，其特征在于：所述权重通过平均绝对差、标准差、方差、变异系数进行定义，当采用平均绝对差为加权系数时，权重系数的计算公式为：
Figure FDA0002634214270000022
当采用标准差为加权系数时，权重系数的计算公式为：
Figure FDA0002634214270000023
当采用方差为加权系数时，权重系数的计算公式为：
Figure FDA0002634214270000024
当采用变异系数为加权系数时，权重系数的计算公式为：
Figure FDA0002634214270000025
以上公式中，n表示样本大小。
7.根据权利要求1所述的基于卷积神经网的深度图像头部检测与定位方法，其特征在于：所述将所有待处理目标图像的中心点抽象为d维空间中的样本点步骤前还包括：
计算所有待处理目标图像中包含完整头部的矩形图像块的大小，计算公式如下：
Figure FDA0002634214270000031
上式中，wp，hP表示包含完整头部的矩形图像块的大小；fx，fy为深度相机的水平焦距和垂直焦距；R为定值，代表头部平均宽度；DP为该点像素值。
8.根据权利要求1所述的基于卷积神经网的深度图像头部检测与定位方法，其特征在于：所述方法还包括性能验证步骤，评价正确检测到头部的指标公式为：
IoU(A，B)＞σ
Figure FDA0002634214270000032
IoU(A，B)表示正确检测到头部的指标；A表示真实的头部区域；B为预测的头部区域；σ为阈值，具体为0.5。
9.一种卷积神经网络，其特征在于，所述网络用于对图像进行分类处理，获得包含头部信息的所有待处理目标图像，包括顺次连接的多尺度特征提取单元、基于残差块的特征提取单元和分类单元。
10.根据权利要求9所述的基于卷积神经网的深度图像头部检测与定位方法，其特征在于：所述多尺度特征提取单元包括顺次连接的多个不同卷积核的卷积层，和与最后一层卷积层连接的池化层；
所述基于残差块的特征提取单元包括若干顺次连接的残差块，所述残差块包括若干卷积层，且最后一层卷积层对特征进行降维处理；
分类单元与第一残差块连接，第一残差块与第二残差块连接，且第二残差块中的卷积层与第一残差块中的卷积层执行跳跃加法操作，以更好地获得原始图像的语义信息。
CN202010820333.4A 2020-08-14 2020-08-14 基于卷积神经网的深度图像头部检测与定位方法及系统 Active CN111931670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010820333.4A CN111931670B (zh) 2020-08-14 2020-08-14 基于卷积神经网的深度图像头部检测与定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010820333.4A CN111931670B (zh) 2020-08-14 2020-08-14 基于卷积神经网的深度图像头部检测与定位方法及系统

Publications (2)

Publication Number Publication Date
CN111931670A true CN111931670A (zh) 2020-11-13
CN111931670B CN111931670B (zh) 2024-05-31

Family

ID=73310449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010820333.4A Active CN111931670B (zh) 2020-08-14 2020-08-14 基于卷积神经网的深度图像头部检测与定位方法及系统

Country Status (1)

Country Link
CN (1) CN111931670B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873437A (zh) * 2021-09-28 2021-12-31 昆明理工大学 一种基于现实空间的指向性区域划分技术方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010257267A (ja) * 2009-04-27 2010-11-11 Nippon Telegr & Teleph Corp <Ntt> 物体領域検出装置、物体領域検出方法および物体領域検出プログラム
CN103150559A (zh) * 2013-03-01 2013-06-12 南京理工大学 基于Kinect三维深度图像的头部识别与跟踪方法
WO2015096565A1 (zh) * 2013-12-27 2015-07-02 华为技术有限公司 图像中的目标物的识别方法及装置
CN106845383A (zh) * 2017-01-16 2017-06-13 腾讯科技（上海）有限公司 人头检测方法和装置
CN108171710A (zh) * 2017-12-27 2018-06-15 海南海大信息产业园有限公司 一种图像分割处理方法
CN108564030A (zh) * 2018-04-12 2018-09-21 广州飒特红外股份有限公司 面向车载热成像行人检测的分类器训练方法和装置
CN108875522A (zh) * 2017-12-21 2018-11-23 北京旷视科技有限公司 人脸聚类方法、装置和系统及存储介质
CN109190458A (zh) * 2018-07-20 2019-01-11 华南理工大学 一种基于深度学习的小人头检测方法
CN109190491A (zh) * 2018-08-08 2019-01-11 上海海洋大学 残差卷积神经网络sar影像海冰分类方法
CN109948662A (zh) * 2019-02-27 2019-06-28 浙江工业大学 一种基于K-means和MMD的人脸图像深度聚类方法
CN110245714A (zh) * 2019-06-20 2019-09-17 厦门美图之家科技有限公司 图像识别方法、装置及电子设备
CN110309879A (zh) * 2019-07-01 2019-10-08 天津工业大学 一种红枣外观品质分类方法、装置、设备及存储介质
CN110516575A (zh) * 2019-08-19 2019-11-29 上海交通大学 基于残差域富模型的gan生成图片检测方法及系统
CN110533673A (zh) * 2019-08-22 2019-12-03 腾讯科技（深圳）有限公司 一种信息获取方法、装置、终端及介质
CN110852269A (zh) * 2019-11-11 2020-02-28 青岛海信网络科技股份有限公司 一种基于特征聚类的跨镜头人像关联分析方法及装置
CN111160169A (zh) * 2019-12-18 2020-05-15 中国平安人寿保险股份有限公司 人脸检测方法、装置、设备及计算机可读存储介质
CN111444366A (zh) * 2020-04-10 2020-07-24 Oppo广东移动通信有限公司 图像分类方法、装置、存储介质及电子设备
CN111476813A (zh) * 2020-04-28 2020-07-31 兰州交通大学 图像变化检测方法、装置、电子设备及存储介质

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010257267A (ja) * 2009-04-27 2010-11-11 Nippon Telegr & Teleph Corp <Ntt> 物体領域検出装置、物体領域検出方法および物体領域検出プログラム
CN103150559A (zh) * 2013-03-01 2013-06-12 南京理工大学 基于Kinect三维深度图像的头部识别与跟踪方法
WO2015096565A1 (zh) * 2013-12-27 2015-07-02 华为技术有限公司 图像中的目标物的识别方法及装置
CN106845383A (zh) * 2017-01-16 2017-06-13 腾讯科技（上海）有限公司 人头检测方法和装置
CN108875522A (zh) * 2017-12-21 2018-11-23 北京旷视科技有限公司 人脸聚类方法、装置和系统及存储介质
CN108171710A (zh) * 2017-12-27 2018-06-15 海南海大信息产业园有限公司 一种图像分割处理方法
CN108564030A (zh) * 2018-04-12 2018-09-21 广州飒特红外股份有限公司 面向车载热成像行人检测的分类器训练方法和装置
CN109190458A (zh) * 2018-07-20 2019-01-11 华南理工大学 一种基于深度学习的小人头检测方法
CN109190491A (zh) * 2018-08-08 2019-01-11 上海海洋大学 残差卷积神经网络sar影像海冰分类方法
CN109948662A (zh) * 2019-02-27 2019-06-28 浙江工业大学 一种基于K-means和MMD的人脸图像深度聚类方法
CN110245714A (zh) * 2019-06-20 2019-09-17 厦门美图之家科技有限公司 图像识别方法、装置及电子设备
CN110309879A (zh) * 2019-07-01 2019-10-08 天津工业大学 一种红枣外观品质分类方法、装置、设备及存储介质
CN110516575A (zh) * 2019-08-19 2019-11-29 上海交通大学 基于残差域富模型的gan生成图片检测方法及系统
CN110533673A (zh) * 2019-08-22 2019-12-03 腾讯科技（深圳）有限公司 一种信息获取方法、装置、终端及介质
CN110852269A (zh) * 2019-11-11 2020-02-28 青岛海信网络科技股份有限公司 一种基于特征聚类的跨镜头人像关联分析方法及装置
CN111160169A (zh) * 2019-12-18 2020-05-15 中国平安人寿保险股份有限公司 人脸检测方法、装置、设备及计算机可读存储介质
CN111444366A (zh) * 2020-04-10 2020-07-24 Oppo广东移动通信有限公司 图像分类方法、装置、存储介质及电子设备
CN111476813A (zh) * 2020-04-28 2020-07-31 兰州交通大学 图像变化检测方法、装置、电子设备及存储介质

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
BE-REAL: "机器学习：均值漂移（Mean Shift）详细解释", pages 3 - 4, Retrieved from the Internet <URL:https://blog.csdn.net/pantingd/article/details/107134729> *
DIEGO BALLOTTA: "Head Detection with Depth Images in the Wild", ARKIV, pages 3 - 5 *
FESIANXU: "DenseNet的理解_dense net为什么work", pages 2 - 3, Retrieved from the Internet <URL:https://blog.csdn.net/LoseInVain/article/details/80453996> *
QI WANG HANG LEI XIANGTIAN MA SHIHUA XIAO XUPENG WANG: "CNN Network for Head Detection with Depth Images in cyber-physical systems", IEEE INTERNATIONAL CONFERENCE ON GREEN COMPUTING AND COMMUNICATIONS, vol. 978, pages 106 *
罗倩倩;韩斌;左欣;: "视频图像中的快速人脸定位方法", 微计算机信息, no. 06, 28 February 2007 (2007-02-28) *
郭玉荣;张珂;王新胜;苑津莎;赵振兵: "端到端双通道特征重标定DenseNet图像分类", 中国图像图形学报, vol. 25, no. 3, pages 486 - 496 *
郭玉荣;张珂;王新胜;苑津莎;赵振兵: "端到端双通道特征重标定DenseNet图像分类", 中国图象图形学报, vol. 25, no. 3, pages 486 - 496 *
闵秋莎;刘能;陈雅婷;王志锋;: "基于面部特征点定位的头部姿态估计", 计算机工程, no. 06, 8 February 2018 (2018-02-08) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873437A (zh) * 2021-09-28 2021-12-31 昆明理工大学 一种基于现实空间的指向性区域划分技术方法

Also Published As

Publication number Publication date
CN111931670B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
CN107066559B (zh) 一种基于深度学习的三维模型检索方法
WO2019134327A1 (zh) 一种基于边缘检测与sift的人脸表情识别特征提取方法
CN106295124B (zh) 多种图像检测技术综合分析基因子图相似概率量的方法
CN110659665B (zh) 一种异维特征的模型构建方法及图像识别方法、装置
Kong Facial expression recognition method based on deep convolutional neural network combined with improved LBP features
CN112580590A (zh) 一种基于多语义特征融合网络的指静脉识别方法
CN111126240B (zh) 一种三通道特征融合人脸识别方法
CN111090764B (zh) 基于多任务学习和图卷积神经网络的影像分类方法及装置
CN108280421B (zh) 基于多特征深度运动图的人体行为识别方法
Wang et al. GKFC-CNN: Modified Gaussian kernel fuzzy C-means and convolutional neural network for apple segmentation and recognition
CN110751027B (zh) 一种基于深度多示例学习的行人重识别方法
WO2021218238A1 (zh) 图像处理方法和图像处理装置
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN111815640B (zh) 一种基于忆阻器的rbf神经网络医学图像分割算法
CN109948662B (zh) 一种基于K-means和MMD的人脸图像深度聚类方法
CN111931670B (zh) 基于卷积神经网的深度图像头部检测与定位方法及系统
CN113743365A (zh) 人脸识别过程中的欺诈行为检测方法及装置
CN108960013B (zh) 一种行人再识别方法及装置
CN107122780B (zh) 基于时空特征点的互信息与时空分布熵的行为识别方法
CN110910497B (zh) 实现增强现实地图的方法和系统
WO2020247494A1 (en) Cross-matching contactless fingerprints against legacy contact-based fingerprints
CN113723482B (zh) 基于多示例孪生网络的高光谱目标检测方法
CN113378620A (zh) 监控视频噪声环境下跨摄像头行人重识别方法
CN113095295A (zh) 一种基于改进关键帧提取的跌倒检测方法
Zhao Sports motion feature extraction and recognition based on a modified histogram of oriented gradients with speeded up robust features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant