CN110688960A - 一种基于热成像的夜间行人检测方法及装置 - Google Patents

一种基于热成像的夜间行人检测方法及装置 Download PDF

Info

Publication number
CN110688960A
CN110688960A CN201910932890.2A CN201910932890A CN110688960A CN 110688960 A CN110688960 A CN 110688960A CN 201910932890 A CN201910932890 A CN 201910932890A CN 110688960 A CN110688960 A CN 110688960A
Authority
CN
China
Prior art keywords
image
red channel
edge detection
thermal imaging
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910932890.2A
Other languages
English (en)
Other versions
CN110688960B (zh
Inventor
张永义
万海峰
姚莉莉
郑浩
张传金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ANHUI CREARO TECHNOLOGY Co Ltd
Original Assignee
ANHUI CREARO TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ANHUI CREARO TECHNOLOGY Co Ltd filed Critical ANHUI CREARO TECHNOLOGY Co Ltd
Priority to CN201910932890.2A priority Critical patent/CN110688960B/zh
Publication of CN110688960A publication Critical patent/CN110688960A/zh
Application granted granted Critical
Publication of CN110688960B publication Critical patent/CN110688960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于热成像的夜间行人检测方法及装置，该方法包括：获取夜间红外热成像图像；对所述获取夜间红外热成像图像进行处理以生成第一图像和第二图像；将所述第一图像和所述第二图像均分离得到红色通道图像、蓝色通道图像、绿色通道图像；分别提取所述第一图像和所述第二图像中的红色通道图像，并对所述红色通道图像进行边缘检测变化；将所述第一图像中边缘检测变化后的红色通道与第一图像中蓝色通道图像、绿色通道图像进行融合后得到第一融合图像；本发明增加行人与背景的对比度，能够得到清晰的图片，因此提高了检测行人的准确性。

Description

一种基于热成像的夜间行人检测方法及装置
技术领域
本发明涉及热成像检测技术领域，具体是一种基于热成像的夜间行人检测方法及装置。
背景技术
热成像技术，也就是我们常说的红外线辐射成像技术，根据自然界物体成像的光学理论知识，凡能够被光线所捕获的物体，都可生成背景物体感光成像状态，在科技高度发达的现代化社会里，具有红外线热成像的夜景拍照附加装置已经得到普及，关于红外线成像原理，主要是依据物体高于空间绝对温度-273.15度的红外辐射原理研制而成的照相器材，也就是说，凡是高于空间绝对温度的物体，都会形成热红外线辐射状态，而低于空间绝对温度-273.15度的物体不存在热红外线辐射。
在安防监控和汽车自动驾驶技术领域，为了监控非法人员进入禁地和自动驾驶汽车躲避行人，需要对行人进行检测，其中就运用了热成像技术对行人进行检测，由于现阶段夜间行人检测方法存在很多不足之处，例如：第一、在夜间灯光较暗，无法采集正常的清晰图片；第二、普通红外图像行人和背景差距较小，不易区分。因此导致夜间行人检测的准确度不够。
发明内容
本发明的目的在于提供一种基于热成像的夜间行人检测方法及装置，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于热成像的夜间行人检测方法，该方法包括：
获取夜间红外热成像图像；
对所述获取夜间红外热成像图像进行处理以生成第一图像和第二图像；
将所述第一图像和所述第二图像均分离得到红色通道图像、蓝色通道图像、绿色通道图像；
分别提取所述第一图像和所述第二图像中的红色通道图像，并对所述红色通道图像进行边缘检测变化；
将所述第一图像中边缘检测变化后的红色通道与第一图像中蓝色通道图像、绿色通道图像进行融合后得到第一融合图像；
将所述第二图像中边缘检测变化后的红色通道与第二图像中蓝色通道图像、绿色通道图像进行融合后得到第二融合图像；
检测所述第一融合图像和所述第二融合图像。
作为本发明进一步的方案：分别提取所述第一图像和所述第二图像中的红色通道图像，并对所述红色通道图像进行边缘检测变化具体为：
提取所述第一图像中的红色通道图像，并对所述第一图像中的红色通道图像进行索贝尔边缘检测变化；
提取所述第二图像中的红色通道图像，并对所述第二图像中的红色通道图像进行拉普拉斯边缘检测变化。
作为本发明进一步的方案：并对所述第一图像中的红色通道图像进行索贝尔边缘检测变化包括：
将所述第一图像的红色通道图像中的像素点依次进行水平变化和竖直变化后分别得到水平变化梯度和竖直变化梯度；
通过水平变化梯度和竖直变化梯度得到所述第一图像的红色通道图像中的像素点的近似梯度。
作为本发明进一步的方案：将所述第一图像的红色通道图像中的像素点依次进行水平变化和竖直变化后分别得到水平变化梯度和竖直变化梯度具体为：
将所述第一图像的红色通道图像中的像素点与一个奇数大小的内核进行卷积运算得到水平变化梯度；
将得到水平变化梯度的像素点再次与一个奇数大小的内核进行卷积运算得到竖直变化梯度。
作为本发明进一步的方案：并对所述第二图像中的红色通道图像进行拉普拉斯边缘检测变化具体为：
所述第二图像的红色通道图像中的像素点进行二阶偏导数求和进行边缘检测变化。
作为本发明进一步的方案：检测所述第一融合图像和所述第二融合图像具体为：
通过Yolov2分别检测所述第一融合图像和所述第二融合图像。
一种基于热成像的夜间行人检测装置，其特征在于，该装置包括：
获取模块：获取夜间红外热成像图像；
生成模块：对所述获取夜间红外热成像图像进行处理以生成第一图像和第二图像；
分离模块：将所述第一图像和所述第二图像均分离得到红色通道图像、蓝色通道图像、绿色通道图像；
边缘检测模块：分别提取所述第一图像和所述第二图像中的红色通道图像，并对所述红色通道图像进行边缘检测变化；
第一融合模块：将所述第一图像中边缘检测变化后的红色通道与第一图像中蓝色通道图像、绿色通道图像进行融合后得到第一融合图像；
第二融合模块：将所述第二图像中边缘检测变化后的红色通道与第二图像中蓝色通道图像、绿色通道图像进行融合后得到第二融合图像；
检测模块：检测所述第一融合图像和所述第二融合图像。
与现有技术相比，本发明的有益效果是：本发明采用红外热成像获取夜间行人和背景图像，提取行人特征最丰富的红色通道图像进行边缘检测，增加行人与背景的对比度，然后融合蓝色通道图像和绿色通道图像，送入Yolov2网络进行训练识别，Yolov2网络进行目标检测的速度非常快，可以基本满足实时和准确度的双重要求，同时对获取夜间红外热成像图像进行处理以生产第一图像和第二图像，分别对第一图像和第二图像进行索贝尔边缘检测变化和拉普拉斯边缘检测变化得到两个训练样本，从而提高了检测的准确性；本发明通过增加行人与背景的对比度，能够得到清晰的图片，因此提高了检测行人的准确性。
附图说明
图1为一种基于热成像的夜间行人检测方法的流程示意图；
图2为一种基于热成像的夜间行人检测装置的示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1
本发明实施例中
一种基于热成像的夜间行人检测方法，该方法包括：
S101、获取夜间红外热成像图像；
S102、对获取夜间红外热成像图像进行处理以生成第一图像和第二图像；
S103、将第一图像和第二图像均分离得到红色通道图像、蓝色通道图像、绿色通道图像；
由于第一图像和第二图像在存储过程中顺序分别为蓝色通道图像、绿色通道图像和红色通道图像，因此通道3为红色通道图像,在OpenCV中split()可以分别将第一图和第二图像分离得到红色通道图像、蓝色通道图像、绿色通道图像。
S104、分别提取第一图像和第二图像中的红色通道图像，并对红色通道图像进行边缘检测变化；
提取第一图像中的红色通道图像，并对第一图像中的红色通道图像进行索贝尔边缘检测变化；
将第一图像的红色通道图像中的像素点依次进行水平变化和竖直变化后分别得到水平变化梯度和竖直变化梯度；
将第一图像的红色通道图像中的像素点与一个奇数大小的内核进行卷积运算得到水平变化梯度；
将第一图像的红色通道图像中的像素点与一个奇数大小的内核进行卷积。比如，内核大小为3是，水平变化方向的梯度Gx的计算结果为：
Figure BDA0002220825980000051
这里的*代表卷积操作。
将得到水平变化梯度的像素点再次与一个奇数大小的内核进行卷积运算得到竖直变化梯度。
将第一图像的红色通道图像中的像素点与一个奇数大小的内核进行卷积。比如，内核大小为3是，y方向的梯度Gy的计算结果为：
Figure BDA0002220825980000061
这里的*代表卷积操作。
通过水平变化梯度和竖直变化梯度得到第一图像的红色通道图像中的像素点的近似梯度。
在第一图像的红色通道图像中的像素点，按照上面的两个公式求出近似梯度G：
提取第二图像中的红色通道图像，并对第二图像中的红色通道图像进行拉普拉斯边缘检测变化。
并对第二图像中的红色通道图像进行拉普拉斯边缘检测变化具体为：
第二图像的红色通道图像中的像素点进行二阶偏导数求和进行边缘检测变化。
f的Laplace算子也是笛卡尔坐标系x-y中的所有非混合二阶偏导数求和。
根据图像处理的原理可知，二阶导数可以用来对图像进行边缘检测。因为图像可以看作是二维的，需要在两个方向进行求导。Laplace可以使求导过程变得更加简单。
Figure BDA0002220825980000063
S105、将第一图像中边缘检测变化后的红色通道与第一图像中蓝色通道图像、绿色通道图像进行融合后得到第一融合图像；
第一融合图像分别是蓝色通道图像、绿色通道图像和红色通道图像经过索贝尔边缘检测变化、拉普拉斯边缘检测变化后的融合图像，在OpenCV中使用merge()函数实现3个通道的图像融合。
S106、将第二图像中边缘检测变化后的红色通道与第二图像中蓝色通道图像、绿色通道图像进行融合后得到第二融合图像；
第二融合图像分别是蓝色通道图像、绿色通道图像和红色通道图像经过索贝尔边缘检测变化、拉普拉斯边缘检测变化后的融合图像，在OpenCV中使用merge()函数实现3个通道的图像融合
S107、检测第一融合图像和第二融合图像。
通过Yolov2分别检测第一融合图像和第二融合图像。
Yolov2采用darknet-19的结构，进行训练，检测。Darknet-19结构包含19个卷积层和5个最大值池化层，分为GPU版和CPU版，其中GPU版适用于安装NVIDIA显卡的环境中，可以使用CUDA库进行加速。由于采用纯C语言实现，Darknet-19可以直接移植到各种Linux系统和嵌入式Linux系统中。
请参阅图2，一种基于热成像的夜间行人检测装置，该装置包括：
获取模块：获取夜间红外热成像图像；
生成模块：对获取夜间红外热成像图像进行处理以生成第一图像和第二图像；
分离模块：将第一图像和第二图像均分离得到红色通道图像、蓝色通道图像、绿色通道图像；
边缘检测模块：分别提取第一图像和第二图像中的红色通道图像，并对红色通道图像进行边缘检测变化；
第一融合模块：将第一图像中边缘检测变化后的红色通道与第一图像中蓝色通道图像、绿色通道图像进行融合后得到第一融合图像；
第二融合模块：将第二图像中边缘检测变化后的红色通道与第二图像中蓝色通道图像、绿色通道图像进行融合后得到第二融合图像；
检测模块：检测第一融合图像和第二融合图像。
虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
故以上所述仅为本申请的较佳实施例，并非用来限定本申请的实施范围；即凡依本申请的权利要求范围所做的各种等同变换，均为本申请权利要求的保护范围。

Claims (7)

1.一种基于热成像的夜间行人检测方法，其特征在于，该方法包括：
获取夜间红外热成像图像；
对所述获取夜间红外热成像图像进行处理以生成第一图像和第二图像；
将所述第一图像和所述第二图像均分离得到红色通道图像、蓝色通道图像、绿色通道图像；
分别提取所述第一图像和所述第二图像中的红色通道图像，并对所述红色通道图像进行边缘检测变化；
将所述第一图像中边缘检测变化后的红色通道与第一图像中蓝色通道图像、绿色通道图像进行融合后得到第一融合图像；
将所述第二图像中边缘检测变化后的红色通道与第二图像中蓝色通道图像、绿色通道图像进行融合后得到第二融合图像；
检测所述第一融合图像和所述第二融合图像。
2.根据权利要求1所述的一种基于热成像的夜间行人检测方法，其特征在于，分别提取所述第一图像和所述第二图像中的红色通道图像，并对所述红色通道图像进行边缘检测变化具体为：
提取所述第一图像中的红色通道图像，并对所述第一图像中的红色通道图像进行索贝尔边缘检测变化；
提取所述第二图像中的红色通道图像，并对所述第二图像中的红色通道图像进行拉普拉斯边缘检测变化。
3.根据权利要求2所述的一种基于热成像的夜间行人检测方法，其特征在于，并对所述第一图像中的红色通道图像进行索贝尔边缘检测变化包括：
将所述第一图像的红色通道图像中的像素点依次进行水平变化和竖直变化后分别得到水平变化梯度和竖直变化梯度；
通过水平变化梯度和竖直变化梯度得到所述第一图像的红色通道图像中的像素点的近似梯度。
4.根据权利要求3所述的一种基于热成像的夜间行人检测方法，其特征在于，将所述第一图像的红色通道图像中的像素点依次进行水平变化和竖直变化后分别得到水平变化梯度和竖直变化梯度具体为：
将所述第一图像的红色通道图像中的像素点与一个奇数大小的内核进行卷积运算得到水平变化梯度；
将得到水平变化梯度的像素点再次与一个奇数大小的内核进行卷积运算得到竖直变化梯度。
5.根据权利要求2所述的一种基于热成像的夜间行人检测方法，其特征在于，并对所述第二图像中的红色通道图像进行拉普拉斯边缘检测变化具体为：
所述第二图像的红色通道图像中的像素点进行二阶偏导数求和进行边缘检测变化。
6.根据权利要求1所述的一种基于热成像的夜间行人检测方法，其特征在于，检测所述第一融合图像和所述第二融合图像具体为：
通过Yolov2分别检测所述第一融合图像和所述第二融合图像。
7.一种基于热成像的夜间行人检测装置，其特征在于，该装置包括：
获取模块：获取夜间红外热成像图像；
生成模块：对所述获取夜间红外热成像图像进行处理以生成第一图像和第二图像；
分离模块：将所述第一图像和所述第二图像均分离得到红色通道图像、蓝色通道图像、绿色通道图像；
边缘检测模块：分别提取所述第一图像和所述第二图像中的红色通道图像，并对所述红色通道图像进行边缘检测变化；
第一融合模块：将所述第一图像中边缘检测变化后的红色通道与第一图像中蓝色通道图像、绿色通道图像进行融合后得到第一融合图像；
第二融合模块：将所述第二图像中边缘检测变化后的红色通道与第二图像中蓝色通道图像、绿色通道图像进行融合后得到第二融合图像；
检测模块：检测所述第一融合图像和所述第二融合图像。
CN201910932890.2A 2019-09-29 2019-09-29 一种基于热成像的夜间行人检测方法及装置 Active CN110688960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910932890.2A CN110688960B (zh) 2019-09-29 2019-09-29 一种基于热成像的夜间行人检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910932890.2A CN110688960B (zh) 2019-09-29 2019-09-29 一种基于热成像的夜间行人检测方法及装置

Publications (2)

Publication Number Publication Date
CN110688960A true CN110688960A (zh) 2020-01-14
CN110688960B CN110688960B (zh) 2022-11-29

Family

ID=69111009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910932890.2A Active CN110688960B (zh) 2019-09-29 2019-09-29 一种基于热成像的夜间行人检测方法及装置

Country Status (1)

Country Link
CN (1) CN110688960B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110176729A1 (en) * 2010-01-15 2011-07-21 Samsung Electronics Co., Ltd. Apparatus and method for generating high sensitivity images in dark environment
CN107277481A (zh) * 2017-07-14 2017-10-20 维沃移动通信有限公司 一种图像处理方法及移动终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110176729A1 (en) * 2010-01-15 2011-07-21 Samsung Electronics Co., Ltd. Apparatus and method for generating high sensitivity images in dark environment
CN107277481A (zh) * 2017-07-14 2017-10-20 维沃移动通信有限公司 一种图像处理方法及移动终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王江明等: "多梯度融合的RGBD图像边缘检测", 《电子测量与仪器学报》 *

Also Published As

Publication number Publication date
CN110688960B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN109272530B (zh) 面向空基监视场景的目标跟踪方法与装置
CN107194965B (zh) 用于处理光场数据的方法和设备
US10867430B2 (en) Method and system of 3D reconstruction with volume-based filtering for image processing
KR101121034B1 (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
US20170228867A1 (en) Method and system of image segmentation refinement for image processing
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN110378995B (zh) 一种利用投射特征进行三维空间建模的方法
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
US11044452B2 (en) Imaging system and method
CN113673584A (zh) 一种图像检测方法及相关装置
CN113272871A (zh) 一种相机校准的方法和系统
CN111104532B (zh) 一种基于双流网络的rgbd图像联合恢复方法
WO2015069063A1 (en) Method and system for creating a camera refocus effect
CN108564654B (zh) 三维大场景的画面进入方式
CN113436130A (zh) 一种非结构光场智能感知系统与装置
CN115049548A (zh) 恢复从阵列相机获得的图像的方法和装置
CN113096016A (zh) 一种低空航拍图像拼接方法和系统
CN106228560B (zh) 一种复杂场景下的人数统计方法
Huang et al. Image registration among UAV image sequence and Google satellite image under quality mismatch
CN110688960B (zh) 一种基于热成像的夜间行人检测方法及装置
US20140347548A1 (en) Method and system for rendering an image from a light-field camera
CN110363806B (zh) 一种利用不可见光投射特征进行三维空间建模的方法
US9721371B2 (en) Systems and methods for stitching metallographic and stereoscopic images
CN106713741B (zh) 全景视频的质量诊断方法及装置
Chotikakamthorn Near point light source location estimation from shadow edge correspondence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant