CN107358177A - 一种基于图像分析的中远距离行人检测方法及终端设备 - Google Patents

一种基于图像分析的中远距离行人检测方法及终端设备 Download PDF

Info

Publication number
CN107358177A
CN107358177A CN201710499821.8A CN201710499821A CN107358177A CN 107358177 A CN107358177 A CN 107358177A CN 201710499821 A CN201710499821 A CN 201710499821A CN 107358177 A CN107358177 A CN 107358177A
Authority
CN
China
Prior art keywords
kronecker
image
matrix
target area
area image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710499821.8A
Other languages
English (en)
Inventor
贵向泉
杨裔
陈冬梅
蒋家俊
袁建
李国辉
谢昌磊
赵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dimension Intelligent Technology (shenzhen) Co Ltd
Original Assignee
Dimension Intelligent Technology (shenzhen) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dimension Intelligent Technology (shenzhen) Co Ltd filed Critical Dimension Intelligent Technology (shenzhen) Co Ltd
Priority to CN201710499821.8A priority Critical patent/CN107358177A/zh
Publication of CN107358177A publication Critical patent/CN107358177A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

本发明适用于图像分析技术领域，提供了一种基于图像分析的中远距离行人检测方法及终端设备，所述方法包括：采集目标区域图像并对采集到的所述目标区域图像进行预处理；基于YOLO模型将经过预处理后的所述目标区域图像进行克罗内克上采样放大处理；将经过所述克罗内克上采样放大处理后的图像进行区域分块，并对区域分块后的图像进行特征提取以进行行人检测。本发明通过对所述目标区域图像预处理，在YOLO模型中运用克罗内克上采样、区域分块，用以解决由于中远距离行人目标较小，行人检测精度低等问题。

Description

一种基于图像分析的中远距离行人检测方法及终端设备
技术领域
本发明属于图像分析技术领域，尤其涉及一种基于图像分析的中远距离行人检测方法及终端设备。
背景技术
在现实生活中，为了保障行人与财产安全，加强城市的交通管理，需要对危险区域与大型监管场所的行人进行监控。由于监控区域的面积大，基于摄像头定点监测等方式很难真正检测到每处场景的行人状况的缺点，中远距离的监测方法应运而生。基于中远距离的监测方法在空间上获得更广阔的地理信息，监测范围大，极大的弥补了地面传统测量设备覆盖范围小、数据获取受限不足等情况，因此，中远距离图像分析下的行人检测应用前景广泛，已成为国内外管理与监测的新趋势。
由于中远距离拍摄范围大，获取的图像中的检测目标较小，导致对行人的检测效果并不理想，行人检测精度低。常见的，在YOLO(You Only Look Once,实时目标检测)模型中是直接将整张图像进行网格划分处理，会对较小目标定位不精确，检测精度低等问题。综合多项涉及图像分析的行人检测的方法，多数是通过优化检测方法进行行人检测来提高检测精度，并没有针对中远距离拍摄的行人图像特点进行图像分析，导致行人检测精度低等问题。
发明内容
有鉴于此，本发明实施例提供了一种基于图像分析的中远距离行人检测方法及终端装置，以解决现有技术中针对中远距离拍摄的图像目标较小导致的检测精度低的问题。
本发明实施例的第一方面提供了一种基于图像分析的中远距离行人检测方法，所述方法包括：
采集目标区域图像并对采集到的所述目标区域图像进行预处理；
基于YOLO模型将经过预处理后的所述目标区域图像进行克罗内克上采样放大处理；
将经过所述克罗内克上采样放大处理后的图像进行区域分块，并对区域分块后的图像进行特征提取以进行行人检测。
可选的，所述对采集的所述目标区域图像进行预处理包括：
对所述目标区域图像进行中值滤波处理；
将经过所述中值滤波处理后的所述目标区域图像进行对比度增强处理。
可选的，所述将经过所述中值滤波处理后的所述目标区域图像进行对比度增强处理包括：
对经过所述中值滤波后的图像分为R、G、B三个颜色通道的灰度图像，根据所述三个灰度图像的灰度值分别进行直方图均衡化；
将经过直方图均衡化后的三个灰度图像进行融合。
可选的，所述基于YOLO模型将经过预处理后的所述目标区域图像进行克罗内克上采样放大处理包括：
对经过预处理后的所述目标区域图像中每个像素点构造克罗内克核；
通过各个克罗内克核与所述图像中所述每个像素点的乘积，对经过预处理后的所述目标区域图像的进行放大。
可选的，所述对经过预处理后的所述目标区域图像中每个像素点构造克罗内克核包括：
根据预设放大倍数，确定所述克罗内克核矩阵的尺寸；
构造包含目标像素点和与所述目标像素点相邻的像素点的邻域矩阵，其中所述邻域矩阵的大小与所述克罗内克核矩阵的大小相同，克罗内克核矩阵中与所述邻域矩阵中所述目标像素点位置对应的元素设置为1；
比较所述目标像素点与所述邻域矩阵中其他像素点的大小；
获取所述邻域矩阵中小于所述目标像素点的像素点在所述领域矩阵中的第一位置，将所述克罗内克核矩阵中与所述第一位置对应的元素设置为1-w·rand(1)；
获取所述领域矩阵中大于所述目标像素点的像素点在所述领域矩阵中的第二位置，将所述克罗内克核矩阵中与所述第二位置对应的元素设置为1+w·rand(1)；
获取所述领域矩阵中等于所述目标像素点的像素点在所述领域矩阵中的第三位置，将所述克罗内克核矩阵中与所述第三位置对应的元素设置为1；
其中，所述rand(1)表示在[0,1]上的高斯分布函数随机值，所述w为大于零的常数。
本发明实施例的第二方面提供了一种基于图像分析的中远距离行人检测装置，包括：
预处理模块，用于采集目标区域图像并对采集到的所述目标区域图像进行预处理；
放大处理模块，用于基于YOLO模型将经过预处理后的所述目标区域图像进行克罗内克上采样放大处理；
区域分块模块，用于将经过所述克罗内克上采样放大处理后的图像进行区域分块，并对区域分块后的图像进行特征提取以进行行人检测。
可选的，所述放大处理模块包括：
构造单元，用于对经过预处理后的所述目标区域图像中每个像素点构造克罗内克核；
处理单元，用于通过各个克罗内克核与所述图像中所述每个像素点的乘积，对经过预处理后的所述目标区域图像的进行放大。
可选的，所述构造单元具体用于：
根据预设放大倍数，确定所述克罗内克核矩阵的尺寸；
构造包含目标像素点和与所述目标像素点相邻的像素点的邻域矩阵，其中所述邻域矩阵的大小与所述克罗内克核矩阵的大小相同，克罗内克核矩阵中与所述邻域矩阵中所述目标像素点位置对应的元素设置为1；
比较所述目标像素点与所述邻域矩阵中其他像素点的大小；
获取所述领域矩阵中小于所述目标像素点的像素点在所述领域矩阵中的第一位置，将所述克罗内克核矩阵中与所述第一位置对应的元素设置为1-w·rand(1)；
获取所述领域矩阵中大于所述目标像素点的像素点在所述领域矩阵中的第二位置，将所述克罗内克核矩阵中与所述第二位置对应的元素设置为1+w·rand(1)；
获取所述领域矩阵中等于所述目标像素点的像素点在所述领域矩阵中的第三位置，将所述克罗内克核矩阵中与所述第三位置对应的元素设置为1；
其中，所述rand(1)表示在[0,1]上的高斯分布函数随机值，所述w为大于零的常数。
本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例，通过对所述目标区域图像进行预处理操作使所述目标区域图像易于行人检测；基于YOLO模型对经过预处理后的所述目标区域图像进行克罗内克上采样放大处理，实现了图像目标区域的放大，图像清晰度减小也很少；将经过所述克罗内克上采样放大处理后的图像进行区域分块，并对区域分块后的图像进行特征提取以进行行人检测，通过与基本的YOLO模型和SSD(SingleShot Detector，单张图像检测)检测模型的实验结果的对比，本发明实施例对中远距离图像行人检测精度较高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于图像分析的中远距离行人检测方法的实现流程示意图；
图2是本发明实施例提供的在商场前航拍获取的原始图像示例图；
图3是本发明实施例提供的在路口航拍获取的原始图像示例图；
图4是图1中步骤S101的实现流程示意图；
图5是本发明实施例提供的目标区域图像对比度增强的实现效果图；
图6是图1中步骤S102的实现流程示意图；
图7是图6中步骤S301的实现流程示意图；
图8是本发明实施例提供的基于克罗内克上采样放大法将目标图像中黑色区域框放大的实现效果图；
图9是本发明实施例提供的基于简单区域放大法将目标图像中黑色区域框放大的实现效果图；
图10是本发明实施例提供的基于分块区域提取的示意图；
图11是本发明实施例提供的基于YOLO模型分块检测在商场前的行人的实现效果图；
图12是本发明实施例提供的基于YOLO模型分块检测在树荫下的行人的实现效果图；
图13是本发明实施例提供的基于YOLO模型分块检测在马路上的行人的实现效果图；
图14是本发明实施例提供的是基于基本的YOLO模型的检测行人的实现效果图；
图15是本发明实施例提供的是基于基本的SSD检测模型的检测行人的实现效果图；
图16是本发明实施例提供的是基于本文的YOLO模型的检测行人的实现效果图；
图17是本发明实施例提供的基于中远距离行人检测装置的结构框图；
图18是本发明实施例提供的基于中远距离行人检测终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一
参见图1提供了一种基于图像分析的中远距离行人检测方法的一个实施例实现流程示意图，详述如下：
步骤S101，采集目标区域图像并对采集到的所述目标区域图像进行预处理。
其中，所述目标区域图像的采集环境可以是距地面50～70米范围的高空俯视地表环境下采集，可以是城市中不同的路口，例如红绿灯十字路口，也可以是商场前的马路等等，本发明对此不限定；采集方式可以是无人机摄像头的航拍获取图像，但不限定为无人机，如图2是本发明实施例提供的在商场前航拍采集的目标区域图像，如图3是本发明实施例提供的在路口航拍采集的目标区域图像。图2和图3采集的所述目标区域图像具有空间范围广阔，行人尺寸小的特点，且行人姿势不一，具体有：直立行人，骑自行车行人，穿雨具行人，以及拎袋行人等，行人衣着颜色各不相同，有些衣着颜色与背景相融合。
参见图4，一个实施例中，步骤S101可以通过以下过程实现：
步骤S201，对所述目标区域图像进行中值滤波处理。
其中，所述中值滤波处理，是求所述图像中目标像素点和所述目标像素点的邻域像素点的中值像素点，将所述图像的所述目标像素点和所述邻域像素点用所述中值像素点代替。本领域技术人员可以理解，所述目标像素点的邻域像素点的数量可以随意设定，在本发明实施例中，邻域像素点的数量设置为3×3。
步骤S202，将经过所述中值滤波处理后的所述目标区域图像进行对比度增强处理。
其中，对比度增强的算法包括锐化法，滤波法，直方图均衡化法等等。本发明实施例中，运用直方图均衡化法进行所述图像的对比度增强，通过提高R、G、B三个颜色的对比度，实现整个图像检测目标与背景对比度的提高。
具体的，将经过所述中值滤波处理后的所述目标区域图像进行对比度增强处理具体可以为：对经过所述中值滤波后的图像分为R、G、B三个颜色通道的灰度图像，根据所述三个灰度图像的灰度值分别进行直方图均衡化；将经过直方图均衡化后的三个灰度图像进行融合。其中，融合方法可以利用MATLAB软件语言或C语言等程序融合，本领域技术人员可以理解，图像融合的语言程序有多种，本发明实施例对融合方法不做限定。
示例性的，所述灰度图像直方图的均衡化的映射函数为其中，r代表所述灰度图像中目标像素的灰度值，所述灰度值r的范围为0≤r≤L-1，L表示所述灰度图像中像素的最大灰度值；Pr(w)表示所述灰度图像中所述灰度值r的灰度分布概率密度。本实施例中，所述直方图的均衡化的灰度值的范围为0～255。所述映射函数的灰度值s值若达到最大，则对所述最大映射函灰度值s进行归一化，这里的归一化是指若均衡化后的灰度值大于255，将此灰度值归一化到灰度值0～255这个范围内，归一化方法包括线性归一化和非线性归一化，对此不做限定。
步骤102，所述基于YOLO模型将经过预处理后的所述目标区域图像进行克罗内克上采样放大处理；
参见图6，一个实施例中，步骤S102可以通过以下过程实现：
步骤S301，对经过预处理后的所述目标区域图像中每个像素点构造克罗内克核。
参见图7，一个实施例中，步骤S301可以通过以下过程实现：
步骤S401，根据预设放大倍数，确定所述克罗内克核矩阵的尺寸。
步骤S402，构造包含目标像素点和与所述目标像素点相邻的像素点的邻域矩阵，其中所述邻域矩阵的大小与所述克罗内克核矩阵的大小相同，克罗内克核矩阵中与所述邻域矩阵中所述目标像素点位置对应的元素设置为1。
示例性的，设克罗内克核B大小为4×4，可以表示为：设所述分辨率为N×M的图像A中每个目标像素点为ai,j(i＝1,2,…N；j＝1,2,…M)；构造ai,j和与ai,j相邻的像素点的邻域矩阵A，其中所述邻域矩阵A包含像素点ai,j，所述邻域矩阵A的大小与所述矩阵B的大小相同，可以表示为还可以为也可以为等矩阵形式，本发明不限定为此矩阵形式；其中，所述矩阵B中与所述像素点ai,j的位置相对应的元素bi,j为1，即bi,j＝1。
步骤S403，比较所述目标像素点与所述邻域矩阵中其他像素点的大小。
步骤S404，获取所述邻域矩阵中小于所述目标像素点的像素点在所述领域矩阵中的第一位置，将所述克罗内克核矩阵中与所述第一位置对应的元素设置为1-w·rand(1)。
步骤S405，获取所述领域矩阵中大于所述目标像素点的像素点在所述领域矩阵中的第二位置，将所述克罗内克核矩阵中与所述第二位置对应的元素设置为1+w·rand(1)。
步骤S406，获取所述领域矩阵中等于所述目标像素点的像素点在所述领域矩阵中的第三位置，将所述克罗内克核矩阵中与所述第三位置对应的元素设置为1。
其中，所述rand(1)表示在[0,1]上的高斯分布函数随机值，所述w为大于零的常数，优选的，本发明实施例中w取值为0.05。
步骤S302，通过各个克罗内克核与所述图像中所述每个像素点的乘积，对经过预处理后的所述目标区域图像的进行放大。
本发明实施例中，根据能量梯度函数对放大后的图像进行清晰度评价，验证本发明图像放大方法的有效性，优选的，本发明实施例中运用的能量梯度函数为：D(f)＝∑y∑x(|f(x+1,y)-f(x,y)|2+|f(x,y+1)-f(x,y)|2)，其中，f(x,y)表示图像f对应像素点(x,y)的灰度值，D(f)为图像清晰度计算结果。图像越清晰，则D(f)值越大，画面越模糊，则D(f)值越小，本领域技术人员可以理解，评价图像清晰度的方法有多种，本发明实施例中不限制图像清晰度评价方法。
示例性的，本发明实施例中，航拍采集的原始目标区域图像的分辨率为448×448，清晰度评价是对同一张原始目标区域图像进行采样计算对比，但本发明实施例，对采集图像的分辨率大小不限定。具体的，对原始目标区域图像进行采样计算，得到D(f)的均值为935，对所述原始目标区域图像应用克罗内克上采样放大后的图像采样计算，得到D(f)均值为783，而将所述目标区域原始图像进行简单放大相同倍数后的图像采样计算，得到D(f)均值为437。参见图8是本发明实施例提供的基于克罗内克上采样放大法将目标图像中黑色区域框放大的实现效果图；图9是本发明实施例提供的基于简单区域放大法将目标图像中黑色区域框放大的实现效果图；通过实现效果图以及图像清晰度评价参数的对比，说明了克罗内克上采样放大法既放大了图像以便于行人检测，又对图像的清晰度未造成过多的损失。
步骤103，将经过所述克罗内克上采样放大处理后的图像进行区域分块，并对区域分块后的图像进行特征提取以进行行人检测。
其中，所述区域分块是指，将经过所述克罗内克上采样放大处理后的图像分为大小相等的图像块，以所述分块后的图像块为单位，以矩阵形式按顺序依次进行特征提取并进行行人检测。
参见图10是本发明实施例提供的区域分块的一个示例图。本发明实施例中，将经过所述克罗内克上采样放大处理后的图像平均分成16个图像块，每个图像块代表为mi,j，其中1≤i≤4，1≤j≤4；以分块后的图像块为单位矩阵，按顺序依次进行特征提取并进行行人检测。所述顺序是指，以图像块m1,1为起始矩阵，按照从左向右，从上至下的顺序依次进行特征提取并进行行人检测，即按照m1,2，m1,3，m1,4，m2,1，m2,2，......m4,4的顺序进行特征提取并进行行人检测。上述分块数量和顺序仅为示例性说明，不以此为限。
参见图11是本发明实施例提供的基于YOLO模型分块检测在商场前的行人的实现效果图，通过对所述分块的图像块中的行人进行检测，验证了本发明的行人检测有效性；图12是本发明实施例提供的基于YOLO模型分块检测在树荫下的行人的实现效果图，树荫下的行人都被检测；图13是本发明实施例提供的基于YOLO模型分块检测在马路上的行人的实现效果图，大部分穿雨具骑行的行人都被检测，说明本文改进模型对多姿态行人检测的鲁棒性效果较好。
参见图14、图15和图16所示，针对采集的某个路口的目标区域图像分别采用不同的检测模型进行行人检测，如图14是本发明实施例提供的基于基本的YOLO模型的检测行人的实现效果图，因行人尺度小，采用基本的YOLO图像检测模型检测效果不理想；图15是本发明实施例提供的基于基本的SSD检测模型的检测行人的实现效果图，采用SSD检测模型也很难检测到行人；图16是本发明实施例提供的基于本文的YOLO模型的检测行人的实现效果图，将图像块的检测结果重新拼合成一张该路口的完整图像，可以看出采用本发明提出的YOLO模型已能检测到图像中大多数行人。
进一步的，本发明实施例中，最终检测结果是通过行人检测精度和召回率的计算来验证本发明实施例的有效性。所述检测精度是指：所述图像中被检测出的目标是行人的比重，公式为：其中，P代表所述检测精度；TP表示检测出的目标是行人的数量，FP表示检测出的目标不是行人的数量。所述召回率是指：所述图像中被检测到的行人占实际行人总数的比重，公式为：其中，R表示所述召回率；FN表示未被检测出的行人数量，T表示所述实际行人的总数。
示例性的，本发明实施例使用无人机在不同路口拍摄了5000张图像在本文提出的YOLO模型中进行实验，并与基本的YOLO模型和SSD检测模型的检测结果进行了对比，实验结果如表1所示，由漏检值、误检值、精度、召回率等数据结果对比可知，基于SSD检测模型检测行人的效果优于基本的YOLO模型，而本发明实施例提出的YOLO的模型使检测到的行人数量显著增多。
表1：不同检测模型检测行人结果的对比数据
上述基于图像分析的中远距离行人检测方法，通过对所述目标区域图像进行预处理操作使所述目标区域图像易于行人检测；基于YOLO模型对经过预处理后的所述目标区域图像克罗内克上采样放大处理，实现了图像目标区域的放大，图像清晰度减小也很少；将经过所述克罗内克上采样放大处理后的图像进行区域分块，并对区域分块后的图像进行特征图提取以进行行人检测。通过与基本的YOLO模型和SSD检测模型的实验结果的对比，本发明实施例提出的YOLO模型在获取的中远距离图像中检测行人检测精度相对于基本的YOLO模型和SSD检测模型的检测精度较高。
本领域技术人员可以理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
实施例二
对应于上文实施例一所述的基于图像分析的中远距离行人检测方法，图17中示出了本发明实施例二中基于中远距离行人检测装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分。
该装置包括预处理模块110、放大处理模块120和区域分块模块130。
预处理模块110，用于采集目标区域图像并对采集到的所述目标区域图像进行预处理。放大处理模块120，用于基于YOLO模型将经过预处理后的所述目标区域图像进行克罗内克上采样放大处理。区域分块模块130，用于将经过所述克罗内克上采样放大处理后的图像进行区域分块，并对区域分块后的图像进行特征提取以进行行人检测。
可选的，所述放大处理模块120包括构造单元121和处理单元122。
构造单元121，用于对经过预处理后的所述目标区域图像中每个像素点构造克罗内克核。处理单元122，用于通过各个克罗内克核与所述图像中所述每个像素点的乘积，对经过预处理后的所述目标区域图像的进行放大。
所述构造单元121具体用于：根据预设放大倍数，确定所述克罗内克核矩阵的尺寸；
构造包含目标像素点和与所述目标像素点相邻的像素点的邻域矩阵，其中所述邻域矩阵的大小与所述克罗内克核矩阵的大小相同，克罗内克核矩阵中与所述邻域矩阵中所述目标像素点位置对应的元素设置为1；
比较所述目标像素点与所述邻域矩阵中其他像素点的大小；
获取所述领域矩阵中小于若所述目标像素点的像素点在所述领域矩阵中的第一位置，将所述克罗内克核矩阵中与所述第一位置对应的元素设置为1-w·rand(1)；
获取所述领域矩阵中大于若所述目标像素点的像素点在所述领域矩阵中的第二位置，将所述克罗内克核矩阵中与所述第二位置对应的元素设置为1+w·rand(1)；
获取所述领域矩阵中等于若所述目标像素点的像素点在所述领域矩阵中的第三位置，将所述克罗内克核矩阵中与所述第三位置对应的元素设置为1；
其中，所述rand(1)表示在[0,1]上的高斯分布函数随机值，所述w为大于零的常数。
上述基于中远距离行人检测装置，通过对所述目标区域图像进行预处理操作使所述目标区域图像易于行人检测；基于YOLO模型对经过预处理后的所述目标区域图像克罗内克上采样放大处理，实现了图像目标区域的放大，图像清晰度减小也很少；将经过所述克罗内克上采样放大处理后的图像进行区域分块，并对区域分块后的图像进行特征图提取以进行行人检测。通过与基本的YOLO模型和SSD检测模型的实验结果的对比，本发明实施例提出的YOLO模型在获取的中远距离图像中检测行人检测精度相对于基本的YOLO模型和SSD检测模型的检测精度较高。
实施例三
图18是本发明实施例三提供的基于中远距离行人检测的终端设备100的示意图。如图18所示，该实施例的所述基于中远距离行人检测的终端设备100包括：处理器140、存储器150以及存储在所述存储器150中并可在所述处理器140上运行的计算机程序151，例如行人检测的程序。所述处理器140在执行所述计算机程序151时实现上述基于图像分析的中远距离行人检测方法实施例中的步骤，例如图1所示的步骤101至103。或者，所述处理器140执行所述计算机程序151时实现上述各装置实施例中各模块/单元的功能，例如图17所示模块110至130的功能。
示例性的，所述计算机程序151可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器150中，并由所述处理器140执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序151在所述基于中远距离行人检测的终端设备100中的执行过程。例如，所述计算机程序151可以被分割成预处理模块、放大处理模块和区域分块模块，各模块具体功能如下：
预处理模块，用于采集目标区域图像并对采集到的所述目标区域图像进行预处理；
放大处理模块，用于基于YOLO模型将经过预处理后的所述目标区域图像进行克罗内克上采样放大处理；
区域分块模块，用于将经过所述克罗内克上采样放大处理后的图像进行区域分块，并对区域分块后的图像进行特征提取以进行行人检测。
所述放大处理模块可以被分割为构造单元和处理单元，各个单元具体功能如下：
构造单元，用于对经过预处理后的所述目标区域图像中每个像素点构造克罗内克核；
处理单元，用于通过各个克罗内克核与所述图像中所述每个像素点的乘积，对经过预处理后的所述目标区域图像的进行放大。
所述构造单元的具体功能为：根据预设放大倍数，确定所述克罗内克核矩阵的尺寸；
构造包含目标像素点和与所述目标像素点相邻的像素点的邻域矩阵，其中所述邻域矩阵的大小与所述克罗内克核矩阵的大小相同，克罗内克核矩阵中与所述邻域矩阵中所述目标像素点位置对应的元素设置为1；
比较所述目标像素点与所述邻域矩阵中其他像素点的大小；
获取所述领域矩阵中小于所述目标像素点的像素点在所述领域矩阵中的第一位置，将所述克罗内克核矩阵中与所述第一位置对应的元素设置为1-w·rand(1)；
获取所述领域矩阵中大于所述目标像素点的像素点在所述领域矩阵中的第二位置，将所述克罗内克核矩阵中与所述第二位置对应的元素设置为1+w·rand(1)；
获取所述领域矩阵中等于所述目标像素点的像素点在所述领域矩阵中的第三位置，将所述克罗内克核矩阵中与所述第三位置对应的元素设置为1；
其中，所述rand(1)表示在[0,1]上的高斯分布函数随机值，所述w为大于零的常数。
所述基于中远距离行人检测的终端设备100可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于中远距离行人检测的终端设备100可包括，但不仅限于，处理器140、存储器150。本领域技术人员可以理解，图18仅仅是基于中远距离行人检测的终端设备100的示例，并不构成对基于中远距离行人检测的终端设备100的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于中远距离行人检测的终端设备100还可以包括输入输出设备、网络接入设备、总线等。
所称处理器140可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器150可以是所述基于中远距离行人检测的终端设备100的内部存储单元，例如基于中远距离行人检测的终端设备100的硬盘或内存。所述存储器150也可以是所述基于中远距离行人检测的终端设备100的外部存储设备，例如所述基于中远距离行人检测的终端设备100上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器150还可以既包括所述基于中远距离行人检测的终端设备100的内部存储单元也包括外部存储设备。所述存储器150用于存储所述计算机程序以及所述基于中远距离行人检测的终端设备100所需的其他程序和数据。所述存储器150还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模型的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像分析的中远距离行人检测方法，其特征在于，包括：
采集目标区域图像并对采集到的所述目标区域图像进行预处理；
基于YOLO模型将经过预处理后的所述目标区域图像进行克罗内克上采样放大处理；
将经过所述克罗内克上采样放大处理后的图像进行区域分块，并对区域分块后的图像进行特征提取以进行行人检测。
2.如权利要求1所述一种基于图像分析的中远距离行人检测方法，其特征在于，所述对采集的所述目标区域图像进行预处理包括：
对所述目标区域图像进行中值滤波处理；
将经过所述中值滤波处理后的所述目标区域图像进行对比度增强处理。
3.如权利要求2所述一种基于图像分析的中远距离行人检测方法，其特征在于，所述将经过所述中值滤波处理后的所述目标区域图像进行对比度增强处理包括：
对经过所述中值滤波后的图像分为R、G、B三个颜色通道的灰度图像，根据所述三个灰度图像的灰度值分别进行直方图均衡化；
将经过直方图均衡化后的三个灰度图像进行融合。
4.如权利要求1所述一种基于图像分析的中远距离行人检测方法，其特征在于，所述基于YOLO模型将经过预处理后的所述目标区域图像进行克罗内克上采样放大处理包括：
对经过预处理后的所述目标区域图像中每个像素点构造克罗内克核；
通过各个克罗内克核与所述图像中所述每个像素点的乘积，对经过预处理后的所述目标区域图像的进行放大。
5.如权利要求4所述一种基于图像分析的中远距离行人检测方法，其特征在于，所述对经过预处理后的所述目标区域图像中每个像素点构造克罗内克核包括：
根据预设放大倍数，确定所述克罗内克核矩阵的尺寸；
构造包含目标像素点和与所述目标像素点相邻的像素点的邻域矩阵，其中所述邻域矩阵的大小与所述克罗内克核矩阵的大小相同，克罗内克核矩阵中与所述邻域矩阵中所述目标像素点位置对应的元素设置为1；
比较所述目标像素点与所述邻域矩阵中其他像素点的大小；
获取所述邻域矩阵中小于所述目标像素点的像素点在所述领域矩阵中的第一位置，将所述克罗内克核矩阵中与所述第一位置对应的元素设置为1-w·rand(1)；
获取所述领域矩阵中大于所述目标像素点的像素点在所述领域矩阵中的第二位置，将所述克罗内克核矩阵中与所述第二位置对应的元素设置为1+w·rand(1)；
获取所述领域矩阵中等于所述目标像素点的像素点在所述领域矩阵中的第三位置，将所述克罗内克核矩阵中与所述第三位置对应的元素设置为1；
其中，所述rand(1)表示在[0,1]上的高斯分布函数随机值，所述w为大于零的常数。
6.一种基于图像分析的中远距离行人检测装置，其特征在于，包括：
预处理模块，用于采集目标区域图像并对采集到的所述目标区域图像进行预处理；
放大处理模块，用于基于YOLO模型将经过预处理后的所述目标区域图像进行克罗内克上采样放大处理；
区域分块模块，用于将经过所述克罗内克上采样放大处理后的图像进行区域分块，并对区域分块后的图像进行特征提取以进行行人检测。
7.如权利要求6所述一种基于图像分析的中远距离行人检测装置，其特征在于，所述放大处理模块包括：
构造单元，用于对经过预处理后的所述目标区域图像中每个像素点构造克罗内克核；
处理单元，用于通过各个克罗内克核与所述图像中所述每个像素点的乘积，对经过预处理后的所述目标区域图像的进行放大。
8.如权利要求6所述一种基于图像分析的中远距离行人检测装置，其特征在于，所述构造单元具体用于：
根据预设放大倍数，确定所述克罗内克核矩阵的尺寸；
构造包含目标像素点和与所述目标像素点相邻的像素点的邻域矩阵，其中所述邻域矩阵的大小与所述克罗内克核矩阵的大小相同，克罗内克核矩阵中与所述邻域矩阵中所述目标像素点位置对应的元素设置为1；
比较所述目标像素点与所述邻域矩阵中其他像素点的大小；
获取所述领域矩阵中小于所述目标像素点的像素点在所述领域矩阵中的第一位置，将所述克罗内克核矩阵中与所述第一位置对应的元素设置为1-w·rand(1)；
获取所述领域矩阵中大于所述目标像素点的像素点在所述领域矩阵中的第二位置，将所述克罗内克核矩阵中与所述第二位置对应的元素设置为1+w·rand(1)；
获取所述领域矩阵中等于所述目标像素点的像素点在所述领域矩阵中的第三位置，将所述克罗内克核矩阵中与所述第三位置对应的元素设置为1；
其中，所述rand(1)表示在[0,1]上的高斯分布函数随机值，所述w为大于零的常数。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201710499821.8A 2017-06-27 2017-06-27 一种基于图像分析的中远距离行人检测方法及终端设备 Pending CN107358177A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710499821.8A CN107358177A (zh) 2017-06-27 2017-06-27 一种基于图像分析的中远距离行人检测方法及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710499821.8A CN107358177A (zh) 2017-06-27 2017-06-27 一种基于图像分析的中远距离行人检测方法及终端设备

Publications (1)

Publication Number Publication Date
CN107358177A true CN107358177A (zh) 2017-11-17

Family

ID=60273024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710499821.8A Pending CN107358177A (zh) 2017-06-27 2017-06-27 一种基于图像分析的中远距离行人检测方法及终端设备

Country Status (1)

Country Link
CN (1) CN107358177A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491795A (zh) * 2018-03-22 2018-09-04 北京航空航天大学 轨道交通场景的行人检测方法与装置
CN108537117A (zh) * 2018-03-06 2018-09-14 哈尔滨思派科技有限公司 一种基于深度学习的乘客检测方法和系统
CN108596115A (zh) * 2018-04-27 2018-09-28 济南浪潮高新科技投资发展有限公司 一种基于卷积神经网络的车辆检测方法、装置及系统
CN109166284A (zh) * 2018-09-11 2019-01-08 广东省电子技术研究所 一种违规行为报警系统及违规行为报警方法
CN109242801A (zh) * 2018-09-26 2019-01-18 北京字节跳动网络技术有限公司 图像处理方法和装置
CN111336954A (zh) * 2020-02-27 2020-06-26 佛山中纺联检验技术服务有限公司 用于纤维横截面自动分类和面积自动计算的方法
CN111724442A (zh) * 2020-05-28 2020-09-29 上海商汤智能科技有限公司 图像处理方法及装置、电子设备及存储介质
CN111950475A (zh) * 2020-08-15 2020-11-17 哈尔滨理工大学 一种基于yoloV3的calhe直方图增强型目标识别算法
CN112926662A (zh) * 2021-02-25 2021-06-08 电子科技大学 一种基于多尺度语言嵌入rec的目标检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184552A (zh) * 2011-05-11 2011-09-14 上海理工大学 一种基于差分融合与图像边缘信息的运动目标检测方法
CN102665029A (zh) * 2012-03-29 2012-09-12 中山大学 一种基于梯度学习的超分辨率图像放大方法
CN102800072A (zh) * 2012-06-20 2012-11-28 无锡祥生医学影像有限责任公司 超声诊断仪扫描图像质量优化处理方法及其装置
CN103824114A (zh) * 2014-01-26 2014-05-28 中山大学 一种基于截面流量统计的行人流量计数方法和系统
CN103839242A (zh) * 2014-01-15 2014-06-04 中国科学院电子学研究所 一种基于高维索引的图像快速超分辨率增强方法
CN103942525A (zh) * 2013-12-27 2014-07-23 高新兴科技集团股份有限公司 一种基于视频序列的实时人脸优选方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184552A (zh) * 2011-05-11 2011-09-14 上海理工大学 一种基于差分融合与图像边缘信息的运动目标检测方法
CN102665029A (zh) * 2012-03-29 2012-09-12 中山大学 一种基于梯度学习的超分辨率图像放大方法
CN102800072A (zh) * 2012-06-20 2012-11-28 无锡祥生医学影像有限责任公司 超声诊断仪扫描图像质量优化处理方法及其装置
CN103942525A (zh) * 2013-12-27 2014-07-23 高新兴科技集团股份有限公司 一种基于视频序列的实时人脸优选方法
CN103839242A (zh) * 2014-01-15 2014-06-04 中国科学院电子学研究所 一种基于高维索引的图像快速超分辨率增强方法
CN103824114A (zh) * 2014-01-26 2014-05-28 中山大学 一种基于截面流量统计的行人流量计数方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩伟: "Kronecker乘积生成分形图形和放大图像", 《哈尔滨理工大学学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537117A (zh) * 2018-03-06 2018-09-14 哈尔滨思派科技有限公司 一种基于深度学习的乘客检测方法和系统
CN108537117B (zh) * 2018-03-06 2022-03-11 哈尔滨思派科技有限公司 一种基于深度学习的乘客检测方法和系统
CN108491795A (zh) * 2018-03-22 2018-09-04 北京航空航天大学 轨道交通场景的行人检测方法与装置
CN108491795B (zh) * 2018-03-22 2022-05-13 北京航空航天大学 轨道交通场景的行人检测方法与装置
CN108596115A (zh) * 2018-04-27 2018-09-28 济南浪潮高新科技投资发展有限公司 一种基于卷积神经网络的车辆检测方法、装置及系统
CN109166284A (zh) * 2018-09-11 2019-01-08 广东省电子技术研究所 一种违规行为报警系统及违规行为报警方法
CN109242801A (zh) * 2018-09-26 2019-01-18 北京字节跳动网络技术有限公司 图像处理方法和装置
CN111336954A (zh) * 2020-02-27 2020-06-26 佛山中纺联检验技术服务有限公司 用于纤维横截面自动分类和面积自动计算的方法
CN111724442A (zh) * 2020-05-28 2020-09-29 上海商汤智能科技有限公司 图像处理方法及装置、电子设备及存储介质
CN111950475A (zh) * 2020-08-15 2020-11-17 哈尔滨理工大学 一种基于yoloV3的calhe直方图增强型目标识别算法
CN112926662A (zh) * 2021-02-25 2021-06-08 电子科技大学 一种基于多尺度语言嵌入rec的目标检测方法
CN112926662B (zh) * 2021-02-25 2022-05-03 电子科技大学 一种基于多尺度语言嵌入rec的目标检测方法

Similar Documents

Publication Publication Date Title
CN107358177A (zh) 一种基于图像分析的中远距离行人检测方法及终端设备
CN107895376A (zh) 基于改进Canny算子和轮廓面积阈值的太阳能电池板识别方法
CN107256558A (zh) 一种无监督式的宫颈细胞图像自动分割方法及系统
CN102999886B (zh) 图像边缘检测器及标尺光栅栅线精度检测系统
Xu et al. Object‐based mapping of karst rocky desertification using a support vector machine
CN102855487A (zh) 高分辨率遥感图像新增建设用地变化图斑自动提取的方法
CN107358182A (zh) 行人检测方法及终端设备
CN105608459A (zh) 商品图片的分割方法及其装置
CN104166841A (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN107273608A (zh) 一种油藏地质剖面图矢量化方法
CN103914692A (zh) 一种用于煤矿周围地表水系的遥感识别方法
CN114463644A (zh) 河流流量遥感监测方法及装置
CN110163109A (zh) 一种车道线标注方法及装置
CN108986024A (zh) 一种基于网格的激光点云规则排列处理方法
CN109948439A (zh) 一种活体检测方法、系统及终端设备
CN110334572A (zh) 一种多角度下车型精细识别方法
Zhang et al. Impervious surface extraction from high-resolution satellite image using pixel-and object-based hybrid analysis
Karimipour et al. Watershed delineation from the medial axis of river networks
CN107154057A (zh) 点定位方法及装置
CN106324708B (zh) 雨量记录图纸的数字化方法、装置
CN104156966B (zh) 一种基于移动终端的伪3d实时虚拟试衣方法
CN111445446B (zh) 一种基于改进的U-net的混凝土表面裂缝检测方法
CN107977968A (zh) 基于建筑物阴影信息挖掘的建筑物分层检测方法
CN107977962A (zh) 一种基于图像轮廓分析的齿轮磨损度检测系统及方法
CN102622345B (zh) 多源时空数据协同的高精度土地利用遥感更新技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171117

RJ01 Rejection of invention patent application after publication