CN107358182A - 行人检测方法及终端设备 - Google Patents
行人检测方法及终端设备 Download PDFInfo
- Publication number
- CN107358182A CN107358182A CN201710513568.7A CN201710513568A CN107358182A CN 107358182 A CN107358182 A CN 107358182A CN 201710513568 A CN201710513568 A CN 201710513568A CN 107358182 A CN107358182 A CN 107358182A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- msubsup
- hsi
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明适用于图像处理技术领域，提供了一种行人检测方法及终端设备。该方法包括：获取原始图像，通过RGB通道将所述原始图像转换为RGB色彩图像；将所述RGB通道转换为对应的HSI通道，并依次通过所述RGB通道和所述HSI通道将所述原始图像转换为HSI色彩图像；将所述原始图像通过梯度融合通道转换为梯度图；对所述RGB色彩图像、所述HSI色彩图像和所述梯度图分别进行特征信息提取；将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息；根据检测模型和所述融合特征信息进行行人检测。本发明能够提高在复杂前景下行人检测的有效性。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种行人检测方法及终端设备。
背景技术
目前行人检测的主流方法大致有三类。第一类是基于方向梯度直方图(Histogramof Oriented Gradient,HOG)和支持向量机(Support Vector Machine,SVM)结合的行人检测方法，以及改进的基于HOG特征衍生出来的其他检测方法。该类方法对背景单一，尺度均匀的图像检测效果良好，但对复杂前景下的行人检测效果较差。第二类是基于Adboost级联分类器的行人检测方法，该方法结合众多弱分类器检测与组合，此方法在能够复杂场景下检测行人，但行人检测的有效性较低，且检测效率较低。第三类是采用神经网络检测行人，该方法事先训练好模型，将训练的参数放入各个权值中存储。此类算法对于光照和阴影等影响的鲁棒性效果好，且易于识别行人的不同形态，但在复杂前景的行人检测问题上仍需改进。
因此，目前的行人检测方法对于复杂前景下行人检测的有效性较低，且检测效率低，使行人检测的应用场景受限。
发明内容
有鉴于此，本发明实施例提供了一种行人检测方法及终端设备，以解决目前复杂前景下行人检测的有效性较低的问题。
本发明实施例的第一方面提供了一种行人检测方法，包括：
获取原始图像，通过RGB通道将所述原始图像转换为RGB色彩图像；
将所述RGB通道转换为对应的HSI通道，并依次通过所述RGB通道和所述HSI通道将所述原始图像转换为HSI色彩图像；
将所述原始图像通过梯度融合通道转换为梯度图；
对所述RGB色彩图像、所述HSI色彩图像和所述梯度图分别进行特征信息提取；
将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息；
根据检测模型和所述融合特征信息进行行人检测。
本发明实施例的第二方面提供了一种行人检测装置，包括：
RGB通道模块，用于获取原始图像，通过RGB通道将所述原始图像转换为RGB色彩图像；
HSI通道模块，用于将所述RGB通道转换为对应的HSI通道，并依次通过所述RGB通道和所述HSI通道将所述原始图像转换为HSI色彩图像；
梯度融合通道模块，用于将所述原始图像通过梯度融合通道转换为梯度图；
特征提取模块，用于对所述RGB色彩图像、所述HSI色彩图像和所述梯度图分别进行特征信息提取；
特征融合模块，用于将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息；
检测模块，用于根据检测模型和所述融合特征信息进行行人检测。
本发明实施例的第三方面提供了一种行人检测终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现的方法的步骤包括：
获取原始图像，通过RGB通道将所述原始图像转换为RGB色彩图像；
将所述RGB通道转换为对应的HSI通道，并依次通过所述RGB通道和所述HSI通道将所述原始图像转换为HSI色彩图像；
将所述原始图像通过梯度融合通道转换为梯度图；
对所述RGB色彩图像、所述HSI色彩图像和所述梯度图分别进行特征信息提取；
将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息；
根据检测模型和所述融合特征信息进行行人检测。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现的方法的步骤包括：
获取原始图像，通过RGB通道将所述原始图像转换为RGB色彩图像；
将所述RGB通道转换为对应的HSI通道，并依次通过所述RGB通道和所述HSI通道将所述原始图像转换为HSI色彩图像；
将所述原始图像通过梯度融合通道转换为梯度图；
对所述RGB色彩图像、所述HSI色彩图像和所述梯度图分别进行特征信息提取；
将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息；
根据检测模型和所述融合特征信息进行行人检测。
本发明实施例分别对RGB通道和HSI通道转换后的图像进行特征提取，有效利用图像的颜色信息；对梯度融合通道转换后的图像进行特征提取，有效利用图像的边缘信息；提出随机融合方法，将提取到的特征信息融合成最后的融合特征信息，提高检测模型的辨识度。本发明实施例将图像转换为二类彩色通道图像与一类梯度通道图像，同时提取特征，随机化融合以检测分类，得出置信度值，使检测模型充分利用颜色与梯度二重信息，能够提高在复杂前景下行人检测的有效性，使行人检测的应用场景更为广泛。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的行人检测方法的实现流程图；
图2是本发明实施例提供的行人检测方法中RGB通道转换HSI通道的示例图；
图3是本发明实施例提供的行人检测方法中Sobel卷积算子示例图；
图4是本发明实施例提供的行人检测方法中经过梯度融合通道进行融合后的效果图；
图5是本发明实施例提供的行人检测方法中卷积神经网络的网络结构示意图；
图6是本发明实施例提供的行人检测方法中卷积操作示意图；
图7是本发明实施例提供的行人检测方法中改进的激活函数的曲线图；
图8是本发明实施例提供的行人检测方法中对不同环境检测的行人示例图；
图9是本发明实施例提供的行人检测方法中不同阈值检测的行人示例图；
图10是本发明实施例提供的行人检测方法中不同阈值t对应的误检率m的关系曲线图；
图11是本发明实施例提供的行人检测方法中不同阈值t对应的漏检率l的关系曲线图；
图12是本发明实施例提供的行人检测方法中不同阈值t对应的综合错检率s关系曲线图；
图13是本发明实施例提供的对比不同方法检测复杂环境下的行人的数据表格；
图14是本发明实施例提供的行人检测装置的示意图；
图15是本发明实施例提供的行人检测终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1为本发明实施例提供的行人检测方法的实现流程图，详述如下：
在S101中，获取原始图像，通过RGB通道将所述原始图像转换为RGB色彩图像。
在本实施例中，RGB(Red-Green-Blue)色彩模式是通过对红(R)、绿(G)、蓝(B)三个颜色变化以及它们相互之间的叠加来得到各式各样的颜色来描述图像色彩的一种模式。RGB通道可以将输入的图像转换为RGB色彩图像。若原始图像是RGB色彩图像，则通过RGB通道不进行图像转换，输出图像仍为RGB色彩图像；若原始图像不是RGB色彩图像，则通过RGB通道进行图像转换，输出图像为RGB色彩图像。
在S102中，将所述RGB通道转换为对应的HSI通道，并依次通过所述RGB通道和所述HSI通道将所述原始图像转换为HSI色彩图像。
在本实施例中，HSI(Hue-Saturation-Intensity)色彩图像为用HSI色彩空间的模式来描述的图像。HSI色彩空间是基于人的视觉系统，用色调(Hue)、饱和度(Saturation)和亮度(Intensity)来描述色彩。HSI色彩空间用一个圆锥空间模型描述，这种模型相当复杂，但确能把色调、亮度和饱和度的变化情形表现得很清楚。通常把色调和饱和度统称为色度，用来表示颜色的类别与深浅程度。由于人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度，为了便于色彩处理和识别，人的视觉系统经常采用HSI色彩空间，它比RGB色彩空间更符合人的视觉特性。在HSI色彩空间中算法可以分开独立处理。
HSI通道可以将输入的RGB色彩图像转换为HSI色彩图像。原始图像首先经过RGB通道转换为RGB色彩图像，再经过HSI通道转换为HSI色彩图像。容易想到地，HSI通道用于输出HSI色彩图像，若原始图像为RGB色彩图像，则原始图像在RGB通道不进行转换，在HSI通道转换为HSI色彩图像。
作为本发明的一个实施例，RGB通道转换为HSI通道的转换公式可以如下所示：
其中，R、G和B为RGB色彩空间的三个色彩参数，H、S和I为HSI色彩空间的三个色彩参数，θ为HSI色彩空间的的角度参数。
如图2所示为RGB通道转换HSI通道的示例。
在S103中，将所述原始图像通过梯度融合通道转换为梯度图。
在本实施例中，梯度融合通道可以根据边缘检测算法，将所述原始图像的梯度信息进行融合。边缘检测算法包括但不限于微分算子法、样板匹配法、小波检测法或神经网络法等等，其中微分算子法采用的算子可以有Roberts，Sobel，Prewitt，Canny，Laplacian等等。梯度融合通道通过边缘检测算法从原始图像中提取出多个方向上的梯度信息，并且将多个梯度信息进行融合，生成梯度融合信息。原始图像经过梯度融合通道后转换为梯度图。
容易理解地，本文中提到的RGB通道、HSI通道和梯度融合通道仅是对图像转换和处理在过程上的一种形象的描述，便于进行说明，并不对本发明构成限制，各通道内的图像处理过程参照具体图像处理的过程描述。
优选地，梯度融合通道将原始图像在水平方向上的梯度信息和垂直方向上的梯度信息进行融合。梯度图中包含原始图像的水平梯度信息和垂直梯度信息。边缘检测算法采用Sobel卷积算子的微分算子法。
为了更好地利用图像中梯度信息检测行人，将水平方向和垂直方向的Sobel梯度融合信息作为边缘信息表达。Sobel卷积算子如图3所示。图中，Gx为水平方向的卷积算子，Gy为垂直方向的卷积算子。如图4所示为经过梯度融合通道进行融合后的效果图。从图中可以看出灰度图中行人很大程度上是直立的，因此检测行人的时候，水平方向上和垂直方向上的梯度变化最为明显，融合后得到了很好的梯度图轮廓。
在S104中，对所述RGB色彩图像、所述HSI色彩图像和所述梯度图分别进行特征信息提取。
在本实施例中，对图像进行特征提取的算法包括但不限于灰度共生矩阵法、傅里叶功率谱法和卷积神经网络等等。对RGB通道和HSI通道转换后的图像进行特征提取，能有效利用图像的色彩信息；对梯度融合通道转换后的图像能有效利用图像的梯度信息，充分提取色彩特征信息和梯度特征信息，从而提高检测模型的辨识度。
作为本发明的一个实施例，采用卷积神经网络对所述RGB色彩图像、所述HSI色彩图像和所述梯度图进行特征信息提取。
在本实施例中，卷积神经网络是深度学习中一种对图像处理较为有效的模型，它直接在图像上进行特征提取，并记忆在卷积的各个权值中。卷积神经网络使用多层不同类型的网络，包括了输入层，卷积层，池化层，全连接层和输出层。通过误差反向传播算法将标定结果和预测结果误差降低到最小，以优化该模型处理某类问题的精度。其网络结构如图5所示。
在卷积层，卷积核的每一个神经元与前一层的局部感受野相连，经过卷积操作以提取该位置局部特征。在提取特征时，同一个卷积核的神经元共享一组权值，不同的卷积核权值不同，从而提取不同的特征。在训练过程中不断反向调整每一个权值的参数，使特征提取朝着有利于解决某类问题的方向进行，本文卷积操作示意图如图6所示。一般地，卷积层的计算公式如下：
其中，l代表层数，k代表卷积核，Mj代表输入层的感受野，b代表偏置。
在下采样层中，输入的特征图经过池化层后其个数不变，大小变为原来的(假设池化层边长为n)。池化层的方法也有很多，常用的有最大下采样和平均下采样两种方法。下采样层如式(6)所示：
其中，down(.)为池化层函数，ω为权重系数。
在本实施例中，通过向预训练模型中加入并行的两层卷积层和两层全连接层，使每个卷积核对不同通道转换后的图像分别提取特征。本文检测对象是行人，修改卷积核大小使原卷积核由7×7变为7×5，更适应检测对象。
在S105中，将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息。
在本实施例中，可以根据预设的融合规则将从RGB通道、HSI通道和梯度融合通道转换后的图像中提取到的特征信息进行融合，生成融合特征信息。由此，融合特征信息中同时包含图像的色彩信息和梯度信息。
作为本发明的一个实施例，所述将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息具体为：
通过融合特征向量的公式：
R＝[α×R1,β×R2,γ×R3]
将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息；其中，R为所述融合特征信息，R1为从所述RGB色彩图像提取到的特征向量，R2为从所述HSI色彩图像提取到的特征向量，R3为从所述梯度图提取到的特征向量，α，β和γ为特征参数；
所述特征参数满足条件：α+β+γ＝1，其中γ＝random(0,1)，random(0,1)为随机函数。
在本实施例中，在当前网络权值下计算三个多层卷积网络的输出，分别使用卷积核对RGB通道、HSI通道和梯度融合通道转换后的图像进行特征提取，最终得到三组一维特征向量。令Ri(i＝1,2,3)分别为每个图像得出的一维特征向量，则最终得到的融合特征向量R。
本发明实施例提出随机融合方法，通过将特征向量乘随机参数串接，得到融合后的融合特征信息，能极大提高检测模型的辨识度。
在S106中，根据检测模型和所述融合特征信息进行行人检测。
在本实施例中，检测模型基于YOLO(You Only Look Once)进行改进。在对图像检测行人过程中，每个网格都预测其中设定的多个边界框的位置与置信度。置信度可以通过以下优化获得：
其中，pr(pedestrian)是检测目标为行人的概率，是检测区域和真实区域的交集部分。
如果没有目标，那么该位置行人检测的置信度为零。另外，将被检测行人的置信值和真实位置的交集区域进行相乘，得到在该区域处检测目标为行人的置信度值。设每个网格的条件概率值为pr(pedestrian|object)。概率值代表了预测该网格是行人的概率。在测试时，每个边界框通过类别概率和边界框置信度相乘来得到特定类别置信分数，如下式：
该value值代表行人出现在边界框中的概率。在测试集上评价时，采用的网格数为35，每个网格中的预测边界框数量为2，人为预先设定了20个最终目标分类，最终预测结果为3150个特征的一组向量。
本发明实施例分别对RGB通道和HSI通道转换后的图像进行特征提取，有效利用图像的颜色信息；对梯度融合通道转换后的图像进行特征提取，有效利用图像的边缘信息；提出随机融合方法，将提取到的特征信息融合成最后的融合特征信息，提高检测模型的辨识度。本发明实施例将图像转换为二类彩色通道图像与一类梯度通道图像，同时提取特征，随机化融合以检测分类，得出置信度值，使检测模型充分利用颜色与梯度二重信息，能够提高在复杂前景下行人检测的有效性，使行人检测的应用场景更为广泛。
作为本发明的一个实施例，所述检测模型采用的激活函数的公式为：
在本实施例中，该检测模型结合改进的tanh(Hyperbolic Tangent)函数和RELU(Rectified Linear Units，修正线性单元)函数作为新的激活函数进行复杂前景行人检测。具体公式和函数曲线图如式9和图7所示。
采用该改进激活函数的原因主要有两点：一是借鉴参考文献中提到tanh函数网络的收敛速度要比sigmoid函数网络快。因为tanh函数的输出均值比sigmoid函数更接近0，SGD(Stochastic Gradient Descent，随机梯度下降)会更接近自然梯度，从而降低所需的迭代次数，加快卷积网络的训练。在一定范围内，改进激活函数的左部分参数乘2，不易饱和，对输入变化或噪声更鲁棒。二是激活函数的右部分采用了RELU的直线策略，计算简单，迭代迅速，也不易饱和。经以上方法，改进后的激活函数的收敛性质优于RELU函数及PRELU(Parametric Rectified Linear Unit)函数。
作为本发明的一个实施例，所述检测模型采用的误差函数的公式为：
其中，x、y、w、h、c和p分别为网格预测的横坐标、纵坐标、宽度、高度、类别值和概率，X、Y、W、H、C和P分别为网格标注的横坐标、纵坐标、宽度、高度、类别值和概率，S2为网格个数，B为网格中边界框个数，δbox和δnoobject为设定参数，和为指示参数。
在本实施例中，采用改进的绝对值误差作为误差函数，并增加边界框损失的权重和减少置信度权重。优选地，设定δbox＝6，δnoobject＝0.4。
在式(10)中，当c和C为1时表示为对应的该类物体，否则c和C为0。x、y表示中心相对于单元格左上角的位置偏移，单元格左上角的坐标为(0,0)，右下角的坐标为(1，1)。w、h表示矩形框的宽与高，都是相对于整个图片的相对值，例如整幅图片大小为(1，1)，长宽都为一半则为(0.5，0.5)。表示物体落入网格i中。是指示函数，表示物体如果在网格i出现并且是由第j个边界框预测得到。
该改进的误差函数采用绝对值误差替代平方差损失，加快了模型整体的运算速度。修改权重参数，增加边界框损失权重让行人定位更准确，减少置信度权重扩大了检测召回率。
该检测模型改进了激活函数和损失函数，更加适应对图像中行人的检测，并结合原模型回归定位与分类的方法，在检测复杂前景上提高了行人检测的有效性。
作为本发明的一个实施例，为客观评价方法的检测性能，本发明选取最能直观反映检测效果的误检率和漏检率，并提出综合错检率指标来分析和评估检测的综合结果。在此指标下得到了误检和错检率的相对综合的最低值，使得精度比较更为可靠。性能指标如下：
综合错检率＝0.5×误检率+0.5×漏检率 (13)
其中，TP是正确检测为行人的样本数量；FP是被错检到为行人的样本数量；FN是没有被检测到的行人的样本数量。
得出以上结果后，选取了具有代表性的三幅图，如图8所示为不同环境检测的行人示例。图8(a)为有背包的前景检测行人图；图8(b)为遮挡物下的检测行人图；图8(c)为不同尺度的检测行人图。经采用本发明实施例中提出的行人检测方法，在图8(a)中，行人被检测的置信度为83％，此外还检测到了行人身上的背包。在图8(b)中，三人被遮挡的区域互不相同，此幅图像的检测行人置信度分别为63％，73％和78％，效果良好。在图8(c)中，两个行人都被检测到，置信度分别为89％和70％，除此还检测到下方滑雪板，说明了本方法对图像中不同尺度行人的检测效果良好。
如图9所示为不同阈值检测的行人图示例。图9(a)为发生漏检的行人图；图9(a)为正确检测的行人图。在图9(a)中，设定阈值为0.6，由于图像背景灰暗，行人和背景较为融合，导致墙边的一个行人未被检测到。当阈值设为0.45，如图9(b)所示，本算法检测到图像中所有行人，置信度分别为70％，65％，71％，80％和57％。
通过选取不同阈值，本文得出了不同阈值t对应的误检率m的关系图，以及不同阈值t对应的漏检率l的关系图，分别如图10和11所示。并且最终得出了不同阈值t对应的综合错检率s关系图，如图12所示。从图中可以看出，当阈值为0.54时，本文的检测方法的综合错检率最低。
通过对比不同方法检测复杂环境下的行人，得出了如图13所示的表格数据。通过图13中的结果对比，说明本发明实施例提出的行人检测方法的总检测率比Fast-RCNN算法高8％，比经典YOLO算法高3％，明显优于人工特征检测方法。本发明实施例提出的行人检测方法，执行时间上虽然比经典YOLO算法和Fast-RCNN算法稍慢，但因采用了GPU加速计算，性能明显优于传统特征检测算法。
本发明实施例通过对RGB通道，HSI通道和梯度融合通道分别提取特征，提出随机化融合串接，使检测模型充分利用图像的颜色与梯度二重信息检测。采用改进的检测模型，改进了激活函数和误差函数，在样本库上验证了此改进模型的有效性，证明该行人检测方法在复杂前景上提高了行人检测的有效性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的行人检测方法，图14示出了本发明实施例提供的行人检测装置的示意图。为了便于说明，仅示出了与本实施例相关的部分。
参照图14，该装置包括RGB通道模块141、HSI通道模块142、梯度融合通道模块143、特征提取模块144、特征融合模块145和检测模块146。
RGB通道模块141，用于获取原始图像，通过RGB通道将所述原始图像转换为RGB色彩图像。
HSI通道模块142，用于将所述RGB通道转换为对应的HSI通道，并依次通过所述RGB通道和所述HSI通道将所述原始图像转换为HSI色彩图像。
梯度融合通道模块143，用于将所述原始图像通过梯度融合通道转换为梯度图。
特征提取模块144，用于对所述RGB色彩图像、所述HSI色彩图像和所述梯度图分别进行特征信息提取。
特征融合模块145，用于将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息。
检测模块146，用于根据检测模型和所述融合特征信息进行行人检测。
优选地，所述对所述RGB色彩图像、所述HSI色彩图像和所述梯度图分别进行特征信息提取具体为：采用卷积神经网络对所述RGB色彩图像、所述HSI色彩图像和所述梯度图进行特征信息提取。
优选地，所述将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息具体为：
通过融合特征向量的公式：
R＝[α×R1,β×R2,γ×R3]
将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息；其中，R为所述融合特征信息，R1为从所述RGB色彩图像提取到的特征向量，R2为从所述HSI色彩图像提取到的特征向量，R3为从所述梯度图提取到的特征向量，α，β和γ为特征参数；
所述特征参数满足条件：α+β+γ＝1，其中γ＝random(0,1)，random(0,1)为随机函数。
优选地，所述检测模型采用的激活函数的公式为：
优选地，所述检测模型采用的误差函数的公式为：
其中，x、y、w、h、c和p分别为网格预测的横坐标、纵坐标、宽度、高度、类别值和概率，X、Y、W、H、C和P分别为网格标注的横坐标、纵坐标、宽度、高度、类别值和概率，S2为网格个数，B为网格中边界框个数，δbox和δnoobject为设定参数，和为指示参数。
本发明实施例分别对RGB通道和HSI通道转换后的图像进行特征提取，有效利用图像的颜色信息；对梯度融合通道转换后的图像进行特征提取，有效利用图像的边缘信息；提出随机融合方法，将提取到的特征信息融合成最后的融合特征信息，提高检测模型的辨识度。本发明实施例将图像转换为二类彩色通道图像与一类梯度通道图像，同时提取特征，随机化融合以检测分类，得出置信度值，使检测模型充分利用颜色与梯度二重信息，能够提高在复杂前景下行人检测的有效性，使行人检测的应用场景更为广泛。
图15是本发明一实施例提供的行人检测终端设备的示意图。如图15所示，该实施例的行人检测终端设备15包括：处理器150、存储器151以及存储在所述存储器151中并可在所述处理器150上运行的计算机程序152，例如行人检测程序。所述处理器150执行所述计算机程序152时实现上述各个行人检测方法实施例中的步骤，例如图1所示的步骤101至106。或者，所述处理器150执行所述计算机程序152时实现上述各装置实施例中各模块/单元的功能，例如图14所示模块141至146的功能。
示例性的，所述计算机程序152可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器151中，并由所述处理器150执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序152在所述行人检测终端设备15中的执行过程。例如，所述计算机程序152可以被分割成RGB通道模块、HSI通道模块、梯度融合通道模块、特征提取模块、特征融合模块和检测模块。各模块具体功能如下：
RGB通道模块，用于获取原始图像，通过RGB通道将所述原始图像转换为RGB色彩图像；
HSI通道模块，用于将所述RGB通道转换为对应的HSI通道，并依次通过所述RGB通道和所述HSI通道将所述原始图像转换为HSI色彩图像；
梯度融合通道模块，用于将所述原始图像通过梯度融合通道转换为梯度图；
特征提取模块，用于对所述RGB色彩图像、所述HSI色彩图像和所述梯度图分别进行特征信息提取；
特征融合模块，用于将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息；
检测模块，用于根据检测模型和所述融合特征信息进行行人检测。
所述行人检测终端设备15可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述行人检测终端设备可包括，但不仅限于，处理器150、存储器151。本领域技术人员可以理解，图15仅仅是行人检测终端设备15的示例，并不构成对行人检测终端设备15的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述行人检测终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器150可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器151可以是所述行人检测终端设备15的内部存储单元，例如行人检测终端设备15的硬盘或内存。所述存储器151也可以是所述行人检测终端设备15的外部存储设备，例如所述行人检测终端设备15上配备的插接式硬盘，智能存储卡(Smart MediaCard,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器151还可以既包括所述行人检测终端设备15的内部存储单元也包括外部存储设备。所述存储器151用于存储所述计算机程序以及所述行人检测终端设备所需的其他程序和数据。所述存储器151还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种行人检测方法，其特征在于，包括：
获取原始图像，通过RGB通道将所述原始图像转换为RGB色彩图像；
将所述RGB通道转换为对应的HSI通道，并依次通过所述RGB通道和所述HSI通道将所述原始图像转换为HSI色彩图像；
将所述原始图像通过梯度融合通道转换为梯度图；
对所述RGB色彩图像、所述HSI色彩图像和所述梯度图分别进行特征信息提取；
将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息；
根据检测模型和所述融合特征信息进行行人检测。
2.如权利要求1所述的行人检测方法，其特征在于，所述对所述RGB色彩图像、所述HSI色彩图像和所述梯度图分别进行特征信息提取具体为：采用卷积神经网络对所述RGB色彩图像、所述HSI色彩图像和所述梯度图进行特征信息提取。
3.如权利要求1所述的行人检测方法，其特征在于，所述将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息具体为：
通过融合特征向量的公式：
R＝[α×R1,β×R2,γ×R3]
将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息；其中，R为所述融合特征信息，R1为从所述RGB色彩图像提取到的特征向量，R2为从所述HSI色彩图像提取到的特征向量，R3为从所述梯度图提取到的特征向量，α，β和γ为特征参数；
所述特征参数满足条件：α+β+γ＝1，其中γ＝random(0,1)，random(0,1)为随机函数。
4.如权利要求1所述的行人检测方法，其特征在于，所述检测模型采用的激活函数的公式为：
<mrow>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mi>x</mi>
<mo>,</mo>
<mi>x</mi>
<mo>></mo>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mfrac>
<mrow>
<mn>2</mn>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>x</mi>
</mrow>
</msup>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mn>1</mn>
<mo>+</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mn>2</mn>
<mi>x</mi>
</mrow>
</msup>
</mrow>
</mfrac>
<mo>,</mo>
<mi>x</mi>
<mo>&le;</mo>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
5.如权利要求1-4任一项所述的行人检测方法，其特征在于，所述检测模型采用的误差函数的公式为：
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>l</mi>
<mi>o</mi>
<mi>s</mi>
<mi>s</mi>
<mo>=</mo>
<msub>
<mi>&delta;</mi>
<mrow>
<mi>b</mi>
<mi>o</mi>
<mi>x</mi>
</mrow>
</msub>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<msup>
<mi>S</mi>
<mn>2</mn>
</msup>
</msubsup>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>B</mi>
</msubsup>
<msubsup>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mo>&lsqb;</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>X</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<mo>+</mo>
<mo>|</mo>
<msub>
<mi>y</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>Y</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<mo>&rsqb;</mo>
<mo>+</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&delta;</mi>
<mrow>
<mi>b</mi>
<mi>o</mi>
<mi>x</mi>
</mrow>
</msub>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<msup>
<mi>S</mi>
<mn>2</mn>
</msup>
</msubsup>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>B</mi>
</msubsup>
<msubsup>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mo>&lsqb;</mo>
<mo>|</mo>
<msqrt>
<msub>
<mi>w</mi>
<mi>i</mi>
</msub>
</msqrt>
<mo>-</mo>
<msqrt>
<msub>
<mi>W</mi>
<mi>i</mi>
</msub>
</msqrt>
<mo>|</mo>
<mo>+</mo>
<mo>|</mo>
<msqrt>
<msub>
<mi>h</mi>
<mi>i</mi>
</msub>
</msqrt>
<mo>-</mo>
<msqrt>
<msub>
<mi>H</mi>
<mi>i</mi>
</msub>
</msqrt>
<mo>|</mo>
<mo>&rsqb;</mo>
<mo>+</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<msup>
<mi>S</mi>
<mn>2</mn>
</msup>
</msubsup>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>B</mi>
</msubsup>
<msubsup>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mo>|</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>C</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<mo>+</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&delta;</mi>
<mrow>
<mi>n</mi>
<mi>o</mi>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
</msub>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<msup>
<mi>S</mi>
<mn>2</mn>
</msup>
</msubsup>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>B</mi>
</msubsup>
<msubsup>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
</msubsup>
<mo>|</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>C</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>+</mo>
<msubsup>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<msup>
<mi>S</mi>
<mn>2</mn>
</msup>
</msubsup>
<msubsup>
<mi>I</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mi>o</mi>
<mi>b</mi>
<mi>j</mi>
<mi>e</mi>
<mi>c</mi>
<mi>t</mi>
</mrow>
</msubsup>
<msub>
<mo>&Sigma;</mo>
<mrow>
<mi>c</mi>
<mo>&Element;</mo>
<mi>p</mi>
<mi>e</mi>
<mi>d</mi>
<mi>e</mi>
<mi>s</mi>
<mi>t</mi>
<mi>r</mi>
<mi>i</mi>
<mi>a</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>|</mo>
<msub>
<mi>p</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>c</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>P</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>c</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，x、y、w、h、c和p分别为网格预测的横坐标、纵坐标、宽度、高度、类别值和概率，X、Y、W、H、C和P分别为网格标注的横坐标、纵坐标、宽度、高度、类别值和概率，S2为网格个数，B为网格中边界框个数，δbox和δnoobject为设定参数，和为指示参数。
6.一种行人检测装置，其特征在于，包括：
RGB通道模块，用于获取原始图像，通过RGB通道将所述原始图像转换为RGB色彩图像；
HSI通道模块，用于将所述RGB通道转换为对应的HSI通道，并依次通过所述RGB通道和所述HSI通道将所述原始图像转换为HSI色彩图像；
梯度融合通道模块，用于将所述原始图像通过梯度融合通道转换为梯度图；
特征提取模块，用于对所述RGB色彩图像、所述HSI色彩图像和所述梯度图分别进行特征信息提取；
特征融合模块，用于将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息；
检测模块，用于根据检测模型和所述融合特征信息进行行人检测。
7.如权利要求6所述的行人检测装置，其特征在于，所述对所述RGB色彩图像、所述HSI色彩图像和所述梯度图分别进行特征信息提取具体为：采用卷积神经网络对所述RGB色彩图像、所述HSI色彩图像和所述梯度图进行特征信息提取。
8.如权利要求6所述的行人检测装置，其特征在于，所述将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息具体为：
通过融合特征向量的公式：
R＝[α×R1,β×R2,γ×R3]
将从所述RGB色彩图像、所述HSI色彩图像和所述梯度图提取到的特征信息进行融合，生成融合特征信息；其中，R为所述融合特征信息，R1为从所述RGB色彩图像提取到的特征向量，R2为从所述HSI色彩图像提取到的特征向量，R3为从所述梯度图提取到的特征向量，α，β和γ为特征参数；
所述特征参数满足条件：α+β+γ＝1，其中γ＝random(0,1)，random(0,1)为随机函数。
9.一种行人检测终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710513568.7A CN107358182A (zh) | 2017-06-29 | 2017-06-29 | 行人检测方法及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710513568.7A CN107358182A (zh) | 2017-06-29 | 2017-06-29 | 行人检测方法及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107358182A true CN107358182A (zh) | 2017-11-17 |
Family
ID=60272672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710513568.7A Pending CN107358182A (zh) | 2017-06-29 | 2017-06-29 | 行人检测方法及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107358182A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280814A (zh) * | 2018-02-08 | 2018-07-13 | 重庆邮电大学 | 基于感知损失的光场图像角度超分辨率重建方法 |
| CN108537117A (zh) * | 2018-03-06 | 2018-09-14 | 哈尔滨思派科技有限公司 | 一种基于深度学习的乘客检测方法和系统 |
| CN108898047A (zh) * | 2018-04-27 | 2018-11-27 | 中国科学院自动化研究所 | 基于分块遮挡感知的行人检测方法及系统 |
| CN109146967A (zh) * | 2018-07-09 | 2019-01-04 | 上海斐讯数据通信技术有限公司 | 图像中目标对象的定位方法和装置 |
| CN109670450A (zh) * | 2018-12-20 | 2019-04-23 | 天津天地伟业信息系统集成有限公司 | 一种基于视频的人车物检测方法 |
| CN110084264A (zh) * | 2019-03-07 | 2019-08-02 | 山东师范大学 | 一种基于改进随机梯度下降的图像分类方法及装置 |
| CN110826556A (zh) * | 2019-10-15 | 2020-02-21 | 遂昌濠畅电子科技有限公司 | 改进深度学习的广谱农作物杂草识别与定位方法 |
| CN111126493A (zh) * | 2019-12-25 | 2020-05-08 | 东软睿驰汽车技术（沈阳）有限公司 | 深度学习模型的训练方法、装置、电子设备及存储介质 |
| CN111651626A (zh) * | 2020-05-25 | 2020-09-11 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置及可读存储介质 |
| WO2020224221A1 (zh) * | 2019-05-06 | 2020-11-12 | 平安科技（深圳）有限公司 | 跟踪方法、装置、电子设备及存储介质 |
| CN112598640A (zh) * | 2020-12-22 | 2021-04-02 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的注水口盖板丢失检测方法 |
| CN112651453A (zh) * | 2020-12-30 | 2021-04-13 | 北京百度网讯科技有限公司 | 损失函数的自适应方法、装置、设备和存储介质 |
| CN113128521A (zh) * | 2021-04-30 | 2021-07-16 | 西安微电子技术研究所 | 一种小型化人工智能模型特征提取方法、系统、计算机设备及存储介质 |
| CN114820702A (zh) * | 2022-04-14 | 2022-07-29 | 大连理工大学 | 一种基于yolov5的Deepsort无人机视角行人多目标跟踪方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103106672A (zh) * | 2013-01-25 | 2013-05-15 | 西北工业大学 | 一种基于颜色特征的图像感兴趣区域检测方法 |
| CN105975929A (zh) * | 2016-05-04 | 2016-09-28 | 北京大学深圳研究生院 | 一种基于聚合通道特征的快速行人检测方法 |
| CN106127164A (zh) * | 2016-06-29 | 2016-11-16 | 北京智芯原动科技有限公司 | 基于显著性检测和卷积神经网络的行人检测方法及装置 |
-
2017
- 2017-06-29 CN CN201710513568.7A patent/CN107358182A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103106672A (zh) * | 2013-01-25 | 2013-05-15 | 西北工业大学 | 一种基于颜色特征的图像感兴趣区域检测方法 |
| CN105975929A (zh) * | 2016-05-04 | 2016-09-28 | 北京大学深圳研究生院 | 一种基于聚合通道特征的快速行人检测方法 |
| CN106127164A (zh) * | 2016-06-29 | 2016-11-16 | 北京智芯原动科技有限公司 | 基于显著性检测和卷积神经网络的行人检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| ＲEDMON J等: "You only look once: unified，real-time object detection", 《PROCEEDINGS OF IEEE CONFERENCE ON COMPUTER VISION AND PATTERN ＲECOGNITION》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280814A (zh) * | 2018-02-08 | 2018-07-13 | 重庆邮电大学 | 基于感知损失的光场图像角度超分辨率重建方法 |
| CN108280814B (zh) * | 2018-02-08 | 2021-08-31 | 重庆邮电大学 | 基于感知损失的光场图像角度超分辨率重建方法 |
| CN108537117A (zh) * | 2018-03-06 | 2018-09-14 | 哈尔滨思派科技有限公司 | 一种基于深度学习的乘客检测方法和系统 |
| CN108537117B (zh) * | 2018-03-06 | 2022-03-11 | 哈尔滨思派科技有限公司 | 一种基于深度学习的乘客检测方法和系统 |
| CN108898047B (zh) * | 2018-04-27 | 2021-03-19 | 中国科学院自动化研究所 | 基于分块遮挡感知的行人检测方法及系统 |
| CN108898047A (zh) * | 2018-04-27 | 2018-11-27 | 中国科学院自动化研究所 | 基于分块遮挡感知的行人检测方法及系统 |
| CN109146967A (zh) * | 2018-07-09 | 2019-01-04 | 上海斐讯数据通信技术有限公司 | 图像中目标对象的定位方法和装置 |
| CN109670450A (zh) * | 2018-12-20 | 2019-04-23 | 天津天地伟业信息系统集成有限公司 | 一种基于视频的人车物检测方法 |
| CN109670450B (zh) * | 2018-12-20 | 2023-07-25 | 天津天地伟业信息系统集成有限公司 | 一种基于视频的人车物检测方法 |
| CN110084264A (zh) * | 2019-03-07 | 2019-08-02 | 山东师范大学 | 一种基于改进随机梯度下降的图像分类方法及装置 |
| WO2020224221A1 (zh) * | 2019-05-06 | 2020-11-12 | 平安科技（深圳）有限公司 | 跟踪方法、装置、电子设备及存储介质 |
| CN110826556A (zh) * | 2019-10-15 | 2020-02-21 | 遂昌濠畅电子科技有限公司 | 改进深度学习的广谱农作物杂草识别与定位方法 |
| CN111126493A (zh) * | 2019-12-25 | 2020-05-08 | 东软睿驰汽车技术（沈阳）有限公司 | 深度学习模型的训练方法、装置、电子设备及存储介质 |
| CN111126493B (zh) * | 2019-12-25 | 2023-08-01 | 东软睿驰汽车技术（沈阳）有限公司 | 深度学习模型的训练方法、装置、电子设备及存储介质 |
| CN111651626A (zh) * | 2020-05-25 | 2020-09-11 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置及可读存储介质 |
| CN111651626B (zh) * | 2020-05-25 | 2023-08-22 | 腾讯科技（深圳）有限公司 | 图像分类方法、装置及可读存储介质 |
| CN112598640A (zh) * | 2020-12-22 | 2021-04-02 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度学习的注水口盖板丢失检测方法 |
| CN112651453A (zh) * | 2020-12-30 | 2021-04-13 | 北京百度网讯科技有限公司 | 损失函数的自适应方法、装置、设备和存储介质 |
| CN112651453B (zh) * | 2020-12-30 | 2023-10-13 | 北京百度网讯科技有限公司 | 损失函数的自适应方法、装置、设备和存储介质 |
| CN113128521A (zh) * | 2021-04-30 | 2021-07-16 | 西安微电子技术研究所 | 一种小型化人工智能模型特征提取方法、系统、计算机设备及存储介质 |
| CN113128521B (zh) * | 2021-04-30 | 2023-07-18 | 西安微电子技术研究所 | 一种小型化人工智能模型特征提取方法、系统、计算机设备及存储介质 |
| CN114820702A (zh) * | 2022-04-14 | 2022-07-29 | 大连理工大学 | 一种基于yolov5的Deepsort无人机视角行人多目标跟踪方法 |
| CN114820702B (zh) * | 2022-04-14 | 2024-09-06 | 大连理工大学 | 一种基于yolov5的Deepsort无人机视角行人多目标跟踪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107358182A (zh) | 行人检测方法及终端设备 | |
| CN110264468B (zh) | 点云数据标注、分割模型确定、目标检测方法及相关设备 | |
| CN111091105B (zh) | 基于新的边框回归损失函数的遥感图像目标检测方法 | |
| CN109447994B (zh) | 结合完全残差与特征融合的遥感图像分割方法 | |
| CN103049763B (zh) | 一种基于上下文约束的目标识别方法 | |
| CN109685776A (zh) | 一种基于ct图像的肺结节检测方法及系统 | |
| Zou et al. | CrackTree: Automatic crack detection from pavement images | |
| CN111738124A (zh) | 基于Gabor变换和注意力的遥感图像云检测方法 | |
| CN109522966A (zh) | 一种基于密集连接卷积神经网络的目标检测方法 | |
| CN109765462A (zh) | 输电线路的故障检测方法、装置和终端设备 | |
| CN109523520A (zh) | 一种基于深度学习的染色体自动计数方法 | |
| CN109711288A (zh) | 基于特征金字塔和距离约束fcn的遥感船舶检测方法 | |
| CN107909015A (zh) | 基于卷积神经网络及空谱信息融合的高光谱图像分类方法 | |
| CN108710913A (zh) | 一种基于深度学习的开关柜图像开关状态自动识别方法 | |
| CN104657717B (zh) | 一种基于分层核稀疏表示的行人检测方法 | |
| CN110378297A (zh) | 一种基于深度学习的遥感图像目标检测方法 | |
| CN106529508A (zh) | 基于局部和非局部多特征语义高光谱图像分类方法 | |
| CN109272016A (zh) | 目标检测方法、装置、终端设备和计算机可读存储介质 | |
| CN104866868A (zh) | 基于深度神经网络的金属币识别方法和装置 | |
| CN106600595A (zh) | 一种基于人工智能算法的人体特征尺寸自动测量方法 | |
| CN113627257B (zh) | 检测方法、检测系统、设备和存储介质 | |
| CN106096542A (zh) | 基于距离预测信息的图像视频场景识别方法 | |
| CN110874577A (zh) | 一种基于深度学习的证件照的自动审核方法 | |
| CN108596274A (zh) | 基于卷积神经网络的图像分类方法 | |
| CN104573742A (zh) | 医学图像分类方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171117 |