CN113313078A - 一种基于模型优化的轻量化夜间红外图像行人检测方法及系统 - Google Patents
一种基于模型优化的轻量化夜间红外图像行人检测方法及系统 Download PDFInfo
- Publication number
- CN113313078A CN113313078A CN202110749461.9A CN202110749461A CN113313078A CN 113313078 A CN113313078 A CN 113313078A CN 202110749461 A CN202110749461 A CN 202110749461A CN 113313078 A CN113313078 A CN 113313078A
- Authority
- CN
- China
- Prior art keywords
- data set
- pedestrian detection
- infrared image
- model
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 193
- 238000005457 optimization Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 100
- 238000012549 training Methods 0.000 claims abstract description 43
- 230000008030 elimination Effects 0.000 claims abstract description 26
- 238000003379 elimination reaction Methods 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 37
- 230000009467 reduction Effects 0.000 claims description 26
- 238000011156 evaluation Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 17
- 230000003190 augmentative effect Effects 0.000 claims description 14
- 230000007547 defect Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000010354 integration Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 13
- 238000013135 deep learning Methods 0.000 abstract description 9
- 230000036544 posture Effects 0.000 description 32
- 238000003062 neural network model Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 16
- 239000000463 material Substances 0.000 description 14
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000003533 narcotic effect Effects 0.000 description 7
- 206010002091 Anaesthesia Diseases 0.000 description 6
- 230000037005 anaesthesia Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011897 real-time detection Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001931 thermography Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000003444 anaesthetic effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000012821 model calculation Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012847 principal component analysis method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于模型优化的轻量化夜间红外图像行人检测方法及系统，其中，所述方法包括：获得第一红外图像数据集；依据第一数据剔除方法对第一红外图像数据集进行数据剔除，获得第二红外图像数据集；对第二红外图像数据集进行姿态特征提取，并进行姿态扩充，获得第三红外图像数据集；构建具有第一骨干网络与第一多尺度融合特征的第一夜间红外行人检测模型，以第三红外图像数据集作为训练数据，将第一图像信息输入至第一夜间红外行人检测模型，获得第一行人检测结果；依据第一行人检测结果对车辆行驶过程进行行人预警。解决了现有技术中基于深度学习的行人检测方法存在夜间小目标行人检测困难、模型检测速度慢、模型较大的技术问题。
Description
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于模型优化的轻量化夜间红外图像行人检测方法及系统。
背景技术
由于红外热成像技术成像不受光线条件的限制，具有全天候成像的特点，因此夜间红外图像行人检测技术成为了当下机器视觉领域的研究热点之一，在辅助驾驶中具有重要的应用，能有效避免夜间交通事故的发生。目前基于深度学习的行人检测方法仍然存在诸多不足，且随着驾驶场景逐步复杂，行人检测更是面临着行人姿态特征多变、复杂环境导致行人特征丢失、对网络模型实时性要求较高等挑战。
本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：
基于深度学习的行人检测方法存在夜间小目标行人检测困难、模型检测速度慢、模型较大。
发明内容
本申请实施例通过提供一种基于模型优化的轻量化夜间红外图像行人检测方法及系统，解决了现有技术基于深度学习的行人检测方法存在夜间小目标行人检测困难、模型检测速度慢、模型较大的技术问题，实现了通过对图像数据集进行稀疏化筛选、行人姿态特征均衡化处理、引入多尺度融合目标检测层的网络模型以及轻量化网络等对神经网络模型进行优化，使数据集的数据信息获取更为准确，从而使模型达到更好的训练效果，提高模型运算能力和检测精度的技术目的。
鉴于上述问题，本申请实施例提供一种基于模型优化的轻量化夜间红外图像行人检测方法及系统。
本申请提供了一种基于模型优化的轻量化夜间红外图像行人检测方法，其中，所述方法包括：获得第一红外图像数据集；获得第一数据剔除方法，其中所述第一数据剔除方法包括第一方法与第二方法，其中，所述第一方法为稀疏化处理，所述第二方法为数据降维；依据所述第一数据剔除方法对所述第一红外图像数据集进行数据剔除，获得第二红外图像数据集；将所述第二红外图像数据集输入至第一图像处理模型进行姿态特征提取，获得第一扩充姿态数据；将所述第一扩充姿态数据与所述第二红外图像数据集进行数据整合，获得第三红外图像数据集；构建第一夜间红外行人检测模型，其中，所述第一夜间红外行人检测模型具有第一骨干网络与第一多尺度融合特征；以所述第三红外图像数据集作为训练数据，将第一图像信息输入至所述第一夜间红外行人检测模型，获得第一行人检测结果；依据所述第一行人检测结果判断是否存在第一预警信息；若存在所述第一预警信息，将所述第一预警信息发送至第一车辆。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
由于采用了通过获得第一红外图像数据集；获得第一数据剔除方法，其中所述第一数据剔除方法包括第一方法与第二方法，其中，所述第一方法为稀疏化处理，所述第二方法为数据降维；依据所述第一数据剔除方法对所述第一红外图像数据集进行数据剔除，获得第二红外图像数据集；将所述第二红外图像数据集输入至第一图像处理模型进行姿态特征提取，获得第一扩充姿态数据；将所述第一扩充姿态数据与所述第二红外图像数据集进行数据整合，获得第三红外图像数据集；构建第一夜间红外行人检测模型，其中，所述第一夜间红外行人检测模型具有第一骨干网络与第一多尺度融合特征；以所述第三红外图像数据集作为训练数据，将第一图像信息输入至所述第一夜间红外行人检测模型，获得第一行人检测结果；依据所述第一行人检测结果判断是否存在第一预警信息；若存在所述第一预警信息，将所述第一预警信息发送至第一车辆。解决了现有技术基于深度学习的行人检测方法存在夜间小目标行人检测困难、模型检测速度慢、模型较大的技术问题，实现了通过对图像数据集进行稀疏化筛选、行人姿态特征均衡化处理、引入多尺度融合目标检测层的网络模型以及轻量化网络等对神经网络模型进行优化，使数据集的数据信息获取更为准确，从而使模型达到更好的训练效果，提高模型运算能力和检测精度的技术目的。
上述说明是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例一种基于模型优化的轻量化夜间红外图像行人检测方法的流程示意图；
图2为本申请实施例一种基于模型优化的轻量化夜间红外图像行人检测方法中进行数据集降维处理的流程示意图；
图3为本申请实施例一种基于模型优化的轻量化夜间红外图像行人检测方法中获得所述第一扩充姿态数据的流程示意图；
图4为本申请实施例一种基于模型优化的轻量化夜间红外图像行人检测方法中获得所述第三红外图像数据集的流程示意图；
图5为本申请实施例一种基于模型优化的轻量化夜间红外图像行人检测方法中对所述第一夜间红外行人检测模型进行增量学习的流程示意图；
图6为本申请实施例一种基于模型优化的轻量化夜间红外图像行人检测方法中进行模型评价的流程示意图；
图7为本申请实施例一种基于模型优化的轻量化夜间红外图像行人检测方法中所述第一夜间红外行人检测模型进行数据训练的流程示意图；
图8为本申请实施例一种基于模型优化的轻量化夜间红外图像行人检测系统的结构示意图；
图9为本申请实施例示例性电子设备的结构示意图。
附图标记说明：第一获得单元11，第二获得单元12，第三获得单元13，第一输入单元14，第四获得单元15，第五获得单元16，第二输入单元17，第一判断单元18，第一发送单元19，电子设备300，存储器301，处理器302，通信接口303，总线架构304。
具体实施方式
本申请实施例通过提供一种基于模型优化的轻量化夜间红外图像行人检测方法及系统，解决了现有技术基于深度学习的行人检测方法存在夜间小目标行人检测困难、模型检测速度慢、模型较大的技术问题，实现了通过对图像数据集进行稀疏化筛选、行人姿态特征均衡化处理、引入多尺度融合目标检测层的网络模型以及轻量化网络等对神经网络模型进行优化，使数据集的数据信息获取更为准确，从而使模型达到更好的训练效果，提高模型运算能力和检测精度的技术目的。
下面，将参考附图详细的描述本申请的示例实施例，显然，所描述的实施例仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
由于红外热成像技术成像不受光线条件的限制，具有全天候成像的特点，因此夜间红外图像行人检测技术成为了当下机器视觉领域的研究热点之一，在辅助驾驶中具有重要的应用，能有效避免夜间交通事故的发生。目前基于深度学习的行人检测方法仍然存在诸多不足，且随着驾驶场景逐步复杂，行人检测更是面临着行人姿态特征多变、复杂环境导致行人特征丢失、对网络模型实时性要求较高等挑战。现有技术中还存在着基于深度学习的行人检测方法存在夜间小目标行人检测困难、模型检测速度慢、模型较大的技术问题。
针对上述技术问题，本申请提供的技术方案总体思路如下：
本申请还提供了一种基于模型优化的轻量化夜间红外图像行人检测系统，其中，所述系统包括：第一获得单元，所述第一获得单元用于获得第一红外图像数据集；第二获得单元，所述第二获得单元用于获得第一数据剔除方法，其中所述第一数据剔除方法包括第一方法与第二方法，其中，所述第一方法为稀疏化处理，所述第二方法为数据降维；第三获得单元，所述第三获得单元用于依据所述第一数据剔除方法对所述第一红外图像数据集进行数据剔除，获得第二红外图像数据集；第一输入单元，所述第一输入单元用于将所述第二红外图像数据集输入至第一图像处理模型进行姿态特征提取，获得第一扩充姿态数据；第四获得单元，所述第四获得单元用于将所述第一扩充姿态数据与所述第二红外图像数据集进行数据整合，获得第三红外图像数据集；第五获得单元，所述第五获得单元用于构建第一夜间红外行人检测模型，其中，所述第一夜间红外行人检测模型具有第一骨干网络与第一多尺度融合特征；第二输入单元，所述第二输入单元用于以所述第三红外图像数据集作为训练数据，将第一图像信息输入至所述第一夜间红外行人检测模型，获得第一行人检测结果；第一判断单元，所述第一判断单元用于依据所述第一行人检测结果判断是否存在第一预警信息；第一发送单元，所述第一发送单元用于若存在所述第一预警信息，将所述第一预警信息发送至第一车辆。
在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示，本申请实施例提供了一种基于模型优化的轻量化夜间红外图像行人检测方法，其中，所述方法包括：
步骤S100：获得第一红外图像数据集；
具体而言，红外热成像技术的本质就是将环境中各个物体间的温度差，通过电信号的过渡，转换为人眼可见的灰度图像的技术。本申请实施例中，通过实时嵌入的红外图像行人检测系统，在雨、雪、雾、黑夜等复杂环境下，对行车前方的视距中出现的障碍物行人进行实时检测，对检测到的危险情况及时对驾驶员给出预警提示，以避免事故的发生。所述第一红外图像数据集为基于大数据技术，所构建的路面场景红外图像数据集合，包括不同采集地点、不同采集场景的路面红外图像。举例而言，本申请数据集的制作对于神经网络的训练至关重要，一个数据集中不同类型特征数量的均衡与否将直接影响网络模型的鲁棒性与检测精度，因此数据集的有效构建是保证训练模型的准确率的前提。优选的，本申请实施例中，所述第一红外图像数据集为FLIR Thermal Starter辅助驾驶红外数据集，保证了数据集制作的客观性。
步骤S200：获得第一数据剔除方法，其中所述第一数据剔除方法包括第一方法与第二方法，其中，所述第一方法为稀疏化处理，所述第二方法为数据降维；
步骤S300：依据所述第一数据剔除方法对所述第一红外图像数据集进行数据剔除，获得第二红外图像数据集；
具体而言，在构建所述第一红外图像数据集之后，由于所述第一红外图像数据集中图像取帧间隔较短，导致相邻帧图像的相似度很大，后期训练数据过程中容易出现过度拟合现象，且所述第一红外图像数据集中含有数据冗余，会降低模型处理数据的速度。因此需要依据所述第一数据剔除方法对所述第一红外图像数据集进行数据剔除，所述第一数据剔除方法包括稀疏化处理及数据降维。其中，稀疏化处理为，在每个训练批次中，通过忽略一半的特征检测器，减少特征检测器(隐层节点)间的相互作用，达到明显地减少过拟合现象的目的；数据降维处理为通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大(方差最大)，以此使用较少的数据维度，同时保留住较多的原数据点的特性。通过所述第一数据剔除方法对所述第一红外图像数据集进行数据剔除，达到了防止出现过拟合现象，减少数据冗余，提高网络模型运算速率的技术目的。
步骤S400：将所述第二红外图像数据集输入至第一图像处理模型进行姿态特征提取，获得第一扩充姿态数据；
步骤S500：将所述第一扩充姿态数据与所述第二红外图像数据集进行数据整合，获得第三红外图像数据集；
具体而言，虽然数据集中夜间红外图像的质量已经满足目标检测的要求，但行人的姿态各异，在图像上会有不同的特征，例如站姿、坐姿以及骑车等多种姿态，目标间的相互遮挡现象，也会产生不同的目标特征。车辆在行驶过程中转弯会带动车载红外摄像头的成像视野随之转动，红外摄像头成像视野的转动会造成其所采集的图像中出现行人目标特征不全，只存在部分特征的情况发生。数据集中各种不同姿态或者遮挡所表现出来的不同类型的特征都会被标注为“人”这一个标签，因此车辆转弯时行人特征的变化、不同类型的行人特征数量间存在的不均衡现象，将会对模型最终的平均检测精度以及鲁棒性造成很大的影响。因此，为了对车辆转弯时出现的行人特征变化与缺失问题进行优化，降低不同行人特征数量间不均衡带来的影响，提高模型的平均检测精度与鲁棒性，将所述第二红外图像数据集输入至第一图像处理模型进行姿态特征提取，进而通过所述第一扩充姿态数据对所述第二红外图像数据进行姿态扩充，生成姿态扩充后的所述第三红外图像数据集。
进一步而言，如图3所示，本申请实施例步骤S400还包括：
步骤S410：由所述第一图像处理模型对所述第二红外图像数据集进行姿态特征提取，获得第一提取姿态类别；
步骤S420：获得所述第一提取姿态类别的各姿态数量；
步骤S430：对所述各姿态数量进行数量分布分析，获得第一扩充姿态类别，其中，所述第一扩充姿态类别的姿态数量低于第一阈值；
步骤S440：依据所述第一扩充姿态类别构建第一扩充姿态特征数据库，从而获得所述第一扩充姿态数据。
具体而言，姿态扩充通过将所述第二红外图像数据集输入至所述第一图像处理模型中，由所述第二红外图像数据集对所述第二红外图像数据集进行姿态特征提取，从而获得所述第二红外图像数据集中各图像中的行人姿态种类，举例而言，包括直立行人、坐姿行人、骑自行车行人、行走行人等多种姿态，并获取所述第二红外图像数据集中各特征姿态的提取数量。通过对各个姿态类别的提取数量进行分析，将姿态数量低于第一阈值的姿态类别作为需要进行扩充的所述第一扩充姿态类别，从而依据所述第一扩充姿态类别构建该姿态类别的特征数据库，并通过将所述第一扩充姿态特征数据库中的姿态特征添加到所述第二红外图像数据集的其他图像中，从而获得所述第一扩充姿态数据，所述第一扩充姿态数据为扩充后的图像数据集。
步骤S600：构建第一夜间红外行人检测模型，其中，所述第一夜间红外行人检测模型具有第一骨干网络与第一多尺度融合特征；
具体而言，传统的目标检测算法、Rcnn以及Faster-Rcnn算法存在计算量大以及遍历方式繁杂的问题，检测速度较慢，难以满足辅助驾驶中行人实时检测的需求，因此考虑使用具有更快检测速度以及精度的端到端神经网络模型对夜间红外图像行人目标进行实时检测。所述第一夜间红外行人检测模型为一神经网络模型，所述第一夜间红外行人检测模型结合YOLOv2与YOLOv3网络的优缺点以及所述第三红外图像数据集的特点，以Darknet19为骨干网络，引入多尺度融合目标检测层的网络模型，并通过增加降采样小目标预测层、在网络输出坐标中引入高斯模型的方式进行优化，最终实现了夜间红外图像行人目标的实时检测。YOLOv2的骨干网络Darknet-19，由19个卷积层以及5个最大池化层组合排列而成，卷积层用于特征信息的提取，最大池化层用于特征图的降维，1×1与3×3卷积层的交叉使用可以有效的减少模型的计算量和计算参数。网络中每一个卷积层后都会使用一个归一化层用于加快网络的收敛，避免过拟合现象。多尺度融合的目标检测层的网络模型，通过将包含更多小目标特征的浅层网络特征图与深层网络特征图进行融合的方式丰富预测层所接受到的目标特征信息，从而提高网络对于不同尺度目标的检测精度。
步骤S700：以所述第三红外图像数据集作为训练数据，将第一图像信息输入至所述第一夜间红外行人检测模型，获得第一行人检测结果；
步骤S800：依据所述第一行人检测结果判断是否存在第一预警信息；
步骤S900：若存在所述第一预警信息，将所述第一预警信息发送至第一车辆。
具体而言，通过车载红外图像捕捉装置在所述第一车辆的行车途中，对行车前方道路的路况图像进行实时捕捉获取所述第一图像信息，继而将所获得的所述第一图像信息输入至所述第一夜间红外行人检测模型，对出现的障碍物行人进行实时检测，对检测到的危险情况及时对驾驶员给出预警提示，以避免事故的发生。所述第一夜间红外行人检测模型为一神经网络模型，具有不断学习、获取经验来处理数据的特点，获得准确的输出结果。所述第一行人检测结果包括各类行人检测结果，依据所述第一行人检测结果，获取对应的预警信息，并将预警信息发送至所述第一车辆，实现行车行人检测安全预警。
进一步而言，如图2所示，本申请实施例步骤S300还包括：
步骤S310：获得第一稀疏化红外图像数据集，其中，所述第一稀疏化红外图像数据集为依据所述第一方法对所述第一红外图像数据集进行数据剔除的图像数据集；
步骤S320：对所述第一稀疏化红外图像数据集进行特征提取，获得第一特征数据集；
步骤S330：对所述第一特征数据集进行中心化处理，获得第二特征数据集；
步骤S340：获得所述第二特征数据集的第一协方差矩阵；
步骤S350：对所述第一协方差矩阵进行运算，获得所述第一协方差矩阵的第一特征值和第一特征向量；
步骤S360：将所述第一特征数据集投影到所述第一特征向量，获得第一降维数据集，其中所述第一降维数据集为所述第一特征数据集降维之后获得的特征数据集；
步骤S370：依据所述第一降维数据集获得所述第二红外图像数据集。
具体而言，依据所述第一方法对所述第一红外图像数据集进行数据剔除之后，获取所述第一稀疏化红外图像数据集，所述第一特征数据集为对所述第一稀疏化红外图像数据集进行特征提取而获得。对所述第一特征数据库中提取到的特征数据进行数值化处理，并构建特征数据集矩阵，获得所述第一特征数据集。继而对所述第一特征数据集中的各特征数据进行中心化处理，首先求解所述第一特征数据集中各特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，继而获得新的特征值，由新的特征数据集构成所述第二特征数据集，所述第二特征数据集为一数据矩阵。通过协方差公式：
对所述第二特征数据集进行运算，获得所述第二特征数据集的所述第一协方差矩阵。其中，
为所述第二特征数据集中的特征数据；
为该特征数据的平均值；M为所述第二特征数据集中的样本数据总量。继而通过矩阵运算，求出所述第一协方差矩阵的特征值及特征向量，且每一特征值对应一个特征向量。在求出的所述第一特征向量中，选取最大的前K个特征值及其对应的特征向量，并将所述第一特征数据集中的原始特征投影到所选取的特征向量之上，得到降维之后的所述第一特征数据集。其中，所述K个特征值的选取可通过神经网络模型进行训练获得，通过K值的取值，保证了数据量的准确性。通过主成分分析法对所述第一稀疏化红外图像数据集进行降维处理，在保证信息量的前提下，剔除冗余数据，使得数据库中特征数据的样本量减小，且降维后信息量损失最小，从而加快训练模型对于数据的运算速度。
进一步而言，如图4所示，本申请实施例步骤S440还包括：
步骤S441：依据所述第一阈值获得所述第一扩充姿态数据的第一扩充姿态量；
步骤S442：由所述第一扩充姿态数据获得第一扩充姿态特征集；
步骤S443：依据所述第一扩充姿态量将所述第一扩充姿态特征集整合至所述第二红外图像数据集，获得所述第三红外图像数据集。
具体而言，所述第一阈值为需要进行姿态扩充的各姿态数量范围，由于行人特征的变化、不同类型的行人特征数量间存在的不均衡现象导致数据集数据不均衡，从而影响模型的检测精度，因此所述第一阈值决定了对某一姿态类别数据进行姿态扩充的数量，继而依据所述第一扩充姿态量，确定对所述第二红外图像数据集进行姿态扩充的图像数量，并将扩充后的数据与原始数据进行融合处理，获得所述第三红外图像数据集，从而提高数据集的均衡程度，提高模型检测精度。
进一步而言，如图5所示，本申请实施例步骤S100还包括：
步骤S110：获得第一数据更新时间节点；
步骤S120：在所述第一数据更新时间节点对所述第一红外图像数据集进行数据更新，并对获取时间不满足第二阈值的图像数据进行剔除，获得第一增量红外图像数据集；
步骤S130：对所述第一增量学习图像数据集进行数据处理，获得第四红外图像数据集；
步骤S140：以所述第四红外图像数据集为训练数据，将所述第一图像信息输入至所述第一夜间红外行人检测模型，获得第二行人检测结果；
步骤S150：对所述第一行人检测结果与所述第二行人检测结果进行缺损数据分析，获得第一缺损数据；
步骤S160：将所述第一缺损数据输入至所述第一夜间红外行人检测模型进行增量学习，获得第二夜间红外行人检测模型。
具体而言，在所述第一数据更新时间节点对所述第一红外图像数据集进行数据更新，举例而言，可设定每一年更新一次红外图像数据集，以保证行人姿态特征的全面性，消除新型交通工具的出现带来的行人检测特征变化导致的数据损失。并对数据集中获取时间超出所述第二阈值的图像数据进行剔除，获得第一增量红外图像数据集，保证数据集的实时、全面性。对所述第一增量学习图像数据集进行数据稀疏化、数据降维以及姿态扩充等数据处理之后，获得所述第四红外图像数据集，并以所述第四红外图像数据集为训练数据，获得所述第二行人检测结果，并对所述第一行人检测结果、所述第二行人检测结果进行缺损数据分析之后，将所述第一缺损数据输入至所述第一夜间红外行人检测模型进行增量学习，通过增量学习获取所述第二夜间红外行人检测模型，通过增量学习，提高了模型的准确性，并提高了模型响应效率。
进一步而言，如图6所示，本申请实施例步骤S600还包括：
步骤S610：获得所述第一车辆的第一行车参数信息；
步骤S620：依据所述第一参数信息构建第一模型评价指标；
步骤S630：依据所述第一模型评价指标对所述第一夜间红外行人检测模型进行模型评价，获得第一评价结果；
步骤S640：由所述第一行车参数信息获得所述第一车辆的第一预设模型等级；
步骤S650：依据所述第一评价结果判断所述第一夜间红外行人检测模型是否满足所述第一预设模型等级；
步骤S660：若所述第一夜间红外行人检测模型不满足所述第一预设模型等级，依据所述第一评价结果获得所述第一行人检测结果的第一准确率；
步骤S670：依据所述第一准确率对所述第一预警信息进行调整。
具体而言，所述第一行车参数信息包括车辆的性能参数、模型使用场合以及应用背景，所述第一行车参数信息影响模型的评价指标，因此依据所述第一行车参数信息确定对于模型的各项评价指标，举例而言，包括模型平均检测精度、每秒检测图像的帧率、模型权重等等。依据所述第一模型评价指标对所述第一夜间红外行人检测模型进行模型评价之后，判断评价结果是否满足预设，所述第一预设模型等级由所述第一行车参数信息决定，若所述第一夜间红外行人检测模型不满足所述第一预设模型等级，则依据模型评价结果对预警信息进行调整，举例而言，若模型准确率较低，则通过延长预警时间、提示减缓车速等方式确保安全驾驶。
进一步而言，如图7所示，本申请实施例步骤S700还包括：
步骤S710：将所述第一图像信息输入至所述第一夜间红外行人检测模型，所述第一夜间红外行人检测模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一图像信息和用来标识所述第一行人检测结果的标识信息；
步骤S720：获得所述第一夜间红外行人检测模型的第一输出结果，其中，所述第一输出结果为所述第一行人检测结果。
具体而言，所述第一夜间红外行人检测模型为一神经网络模型，所述神经网络模型通过多组训练数据训练获得，所述神经网络模型通过训练数据训练的过程本质上为监督学习的过程。所述多组中的训练数据中的每一组训练数据均包括所述第一图像信息和用来标识所述第一行人检测结果的标识信息；利用所述第一图像信息和用来标识所述第一行人检测结果的标识信息，组建多组训练数据，在获得所述第一图像信息的情况下，神经网络模型会输出所述第一行人检测结果的标识信息来对神经网络模型输出的所述第一行人检测结果进行校验，如果输出的所述第一行人检测结果同标识的所述第一行人检测结果相一致，则本数据监督学习完成，则进行下一组数据监督学习；如果输出的所述第一行人检测结果同标识的所述第一行人检测结果不一致，则神经网络模型自身进行调整，直到神经网络模型达到预期的准确率后，进行下一组数据的监督学习。通过训练数据使神经网络模型自身不断地修正、优化，通过监督学习的过程来提高神经网络模型处理所述数据的准确性，进而使得所述第一行人检测结果更加准确。
综上所述，本申请实施例所提供的一种基于模型优化的轻量化夜间红外图像行人检测方法具有如下技术效果：
1、由于采用了获得第一红外图像数据集；获得第一数据剔除方法，其中所述第一数据剔除方法包括第一方法与第二方法，其中，所述第一方法为稀疏化处理，所述第二方法为数据降维；依据所述第一数据剔除方法对所述第一红外图像数据集进行数据剔除，获得第二红外图像数据集；将所述第二红外图像数据集输入至第一图像处理模型进行姿态特征提取，获得第一扩充姿态数据；将所述第一扩充姿态数据与所述第二红外图像数据集进行数据整合，获得第三红外图像数据集；构建第一夜间红外行人检测模型，其中，所述第一夜间红外行人检测模型具有第一骨干网络与第一多尺度融合特征；以所述第三红外图像数据集作为训练数据，将第一图像信息输入至所述第一夜间红外行人检测模型，获得第一行人检测结果；依据所述第一行人检测结果判断是否存在第一预警信息；若存在所述第一预警信息，将所述第一预警信息发送至第一车辆。实现了通过对图像数据集进行稀疏化筛选、行人姿态特征均衡化处理、引入多尺度融合目标检测层的网络模型以及轻量化网络等对神经网络模型进行优化，使数据集的数据信息获取更为准确，从而使模型达到更好的训练效果，提高模型运算能力和检测精度的技术目的。
2、由于采用了以Darknet19为骨干网络，引入多尺度融合目标检测层的构建神经网络模型进行训练学习，将所述第一图像信息输入至所述第一夜间红外行人检测模型，获得所述第一行人检测结果，基于神经网络模型能够不断学习、获取经验来处理数据的特点，通过训练数据，使得所述第一行人检测结果的获取更为准确，提高了模型运算速率，使模型达到轻量化。
3、由于采用了通过数据稀疏化、主成分分析法对红外图像数据集中的特征数据进行降维处理，在保证信息量的前提下，剔除冗余数据，使得数据库中特征数据的样本量减小，避免过拟合现象出现，且降维后信息量损失最小，从而加快训练模型对于数据的运算速度。并通过增量学习对模型进行优化，达到了保证模型的输出性能稳定性和准确性的技术效果。
实施例二
基于与前述实施例中一种基于模型优化的轻量化夜间红外图像行人检测方法同样发明构思，本发明还提供了一种基于模型优化的轻量化夜间红外图像行人检测系统，如图8所示，所述系统包括：
第一获得单元11，所述第一获得单元11用于获得第一红外图像数据集；
第二获得单元12，所述第二获得单元12用于获得第一数据剔除方法，其中所述第一数据剔除方法包括第一方法与第二方法，其中，所述第一方法为稀疏化处理，所述第二方法为数据降维；
第三获得单元13，所述第三获得单元13用于依据所述第一数据剔除方法对所述第一红外图像数据集进行数据剔除，获得第二红外图像数据集；
第一输入单元14，所述第一输入单元14用于将所述第二红外图像数据集输入至第一图像处理模型进行姿态特征提取，获得第一扩充姿态数据；
第四获得单元15，所述第四获得单元15用于将所述第一扩充姿态数据与所述第二红外图像数据集进行数据整合，获得第三红外图像数据集；
第五获得单元16，所述第五获得单元16用于构建第一夜间红外行人检测模型，其中，所述第一夜间红外行人检测模型具有第一骨干网络与第一多尺度融合特征；
第二输入单元17，所述第二输入单元17用于以所述第三红外图像数据集作为训练数据，将第一图像信息输入至所述第一夜间红外行人检测模型，获得第一行人检测结果；
第一判断单元18，所述第一判断单元18用于依据所述第一行人检测结果判断是否存在第一预警信息；
第一发送单元19，所述第一发送单元19用于若存在所述第一预警信息，将所述第一预警信息发送至第一车辆。
进一步的，所述系统还包括：
第六获得单元，所述第六获得单元用于获得第一稀疏化红外图像数据集，其中，所述第一稀疏化红外图像数据集为依据所述第一方法对所述第一红外图像数据集进行数据剔除的图像数据集；
第七获得单元，所述第七获得单元用于对所述第一稀疏化红外图像数据集进行特征提取，获得第一特征数据集；
第八获得单元，所述第八获得单元用于对所述第一特征数据集进行中心化处理，获得第二特征数据集；
第九获得单元，所述第九获得单元用于获得所述第二特征数据集的第一协方差矩阵；
第十获得单元，所述第十获得单元用于对所述第一协方差矩阵进行运算，获得所述第一协方差矩阵的第一特征值和第一特征向量；
第十一获得单元，所述第十一获得单元用于将所述第一特征数据集投影到所述第一特征向量，获得第一降维数据集，其中所述第一降维数据集为所述第一特征数据集降维之后获得的特征数据集；
第十二获得单元，所述第十二获得单元用于依据所述第一降维数据集获得所述第二红外图像数据集。
进一步的，所述系统还包括：
第十三获得单元，所述第十三获得单元用于由所述第一图像处理模型对所述第二红外图像数据集进行姿态特征提取，获得第一提取姿态类别；
第十四获得单元，所述第十四获得单元用于获得所述第一提取姿态类别的各姿态数量；
第十五获得单元，所述第十五获得单元用于对所述各姿态数量进行数量分布分析，获得第一扩充姿态类别，其中，所述第一扩充姿态类别的姿态数量低于第一阈值；
第十六获得单元，所述第十六获得单元用于依据所述第一扩充姿态类别构建第一扩充姿态特征数据库，从而获得所述第一扩充姿态数据。
进一步的，所述系统还包括：
第十七获得单元，所述第十七获得单元用于依据所述第一阈值获得所述第一扩充姿态数据的第一扩充姿态量；
第十八获得单元，所述第十八获得单元用于由所述第一扩充姿态数据获得第一扩充姿态特征集；
第十九获得单元，所述第十九获得单元用于依据所述第一扩充姿态量将所述第一扩充姿态特征集整合至所述第二红外图像数据集，获得所述第三红外图像数据集。
进一步的，所述系统还包括：
第二十获得单元，所述第二十获得单元用于获得第一数据更新时间节点；
第二十一获得单元，所述第二十一获得单元用于在所述第一数据更新时间节点对所述第一红外图像数据集进行数据更新，并对获取时间不满足第二阈值的图像数据进行剔除，获得第一增量红外图像数据集；
第二十二获得单元，所述第二十二获得单元用于对所述第一增量学习图像数据集进行数据处理，获得第四红外图像数据集；
第三输入单元，所述第三输入单元用于以所述第四红外图像数据集为训练数据，将所述第一图像信息输入至所述第一夜间红外行人检测模型，获得第二行人检测结果；
第二十三获得单元，所述第二十三获得单元用于对所述第一行人检测结果与所述第二行人检测结果进行缺损数据分析，获得第一缺损数据；
第四输入单元，所述第四输入单元用于将所述第一缺损数据输入至所述第一夜间红外行人检测模型进行增量学习，获得第二夜间红外行人检测模型。
进一步的，所述系统还包括：
第二十四获得单元，所述第二十四获得单元用于获得所述第一车辆的第一行车参数信息；
第二十五获得单元，所述第二十五获得单元用于依据所述第一参数信息构建第一模型评价指标；
第二十六获得单元，所述第二十六获得单元用于依据所述第一模型评价指标对所述第一夜间红外行人检测模型进行模型评价，获得第一评价结果；
第二十七获得单元，所述第二十七获得单元用于由所述第一行车参数信息获得所述第一车辆的第一预设模型等级；
第一判断单元，所述第一判断单元用于依据所述第一评价结果判断所述第一夜间红外行人检测模型是否满足所述第一预设模型等级；
第二十八获得单元，所述第二十八获得单元用于若所述第一夜间红外行人检测模型不满足所述第一预设模型等级，依据所述第一评价结果获得所述第一行人检测结果的第一准确率；
第一调整单元，所属地一调整单元用于依据所述第一准确率对所述第一预警信息进行调整。
进一步的，所述系统还包括：
第五输入单元，所述第五输入单元用于将所述第一图像信息输入至所述第一夜间红外行人检测模型，所述第一夜间红外行人检测模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一图像信息和用来标识所述第一行人检测结果的标识信息；
第二十九获得单元，所述第二十九获得单元用于获得所述第一夜间红外行人检测模型的第一输出结果，其中，所述第一输出结果为所述第一行人检测结果。
前述图1实施例一中的一种基于模型优化的轻量化夜间红外图像行人检测方法和具体实例同样适用于本实施例的一种基于模型优化的轻量化夜间红外图像行人检测系统，通过前述对一种基于模型优化的轻量化夜间红外图像行人检测方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种基于模型优化的轻量化夜间红外图像行人检测系统，所以为了说明书的简洁，在此不再详述。
示例性电子设备
下面参考图9来描述本申请实施例的电子设备，
基于与前述实施例中一种基于模型优化的轻量化夜间红外图像行人检测方法相同的发明构思，本申请实施例还提供了一种基于模型优化的轻量化夜间红外图像行人检测系统，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储程序，当所述程序被所述处理器执行时，使得系统以执行第一方面任一项所述的方法
该电子设备300包括：处理器302、通信接口303、存储器301。可选的，电子设备300还可以包括总线架构304。其中，通信接口303、处理器302以及存储器301可以通过总线架构304相互连接；总线架构304可以是外设部件互连标(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry Standardarchitecture，简称EISA)总线等。所述总线架构304可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
处理器302可以是一个CPU，微处理器，ASIC，或一个或多个用于控制本申请方案程序执行的集成电路。
通信接口303，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，RAN),无线局域网(wireless local areanetworks，WLAN)，有线接入网等。
存储器301可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable Programmable read-only memory，EEPROM)、只读光盘(compactdisc
read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线架构304与处理器相连接。存储器也可以和处理器集成在一起。
其中，存储器301用于存储执行本申请方案的计算机执行指令，并由处理器302来控制执行。处理器302用于执行存储器301中存储的计算机执行指令，从而实现本申请上述实施例提供的一种基于模型优化的轻量化夜间红外图像行人检测方法。
可选的，本申请实施例中的计算机执行指令也可以称之为应用程序代码，本申请实施例对此不作具体限定。
本申请提供了一种基于模型优化的轻量化夜间红外图像行人检测方法，其中，所述方法包括：获得第一手术信息；构建第一手术麻醉物资知识库；将所述第一手术信息输入至所述第一手术麻醉物资知识库，获得第一麻醉物资清单；获得第一麻醉物资管理图像信息；将所述第一麻醉物资管理图像信息输入至第一特征识别模型，获得所述第一麻醉物资管理图像信息中各麻醉物资的第一类别信息；判断所述第一类别信息是否与所述第一麻醉物资清单相匹配；若所述第一类别信息与所述第一麻醉物资清单相匹配，获得所述各麻醉物资的第一特征识别信息；依据所述第一特征识别信息获得所述各麻醉物资的第一使用动态；依据所述第一使用动态生成所述第一手术信息的第一麻醉物资使用报告。解决了现有技术中对于手术过程中麻醉物资的配备及使用动态情况的统计依赖人工，导致物资管理效率较低的技术问题，实现了通过人工智能对手术室麻醉器械进行智能校对并实时监控器械使用动态，实现了对于麻醉物资的高效性管理的技术目的。
本领域普通技术人员可以理解：本申请中涉及的第一、第二等各种数字编号仅为描述方便进行的区分，并不用来限制本申请实施例的范围，也不表示先后顺序。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“至少一个”是指一个或者多个。至少两个是指两个或者多个。“至少一个”、“任意一个”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个、种)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指
令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。
本申请实施例中所描述的各种说明性的逻辑单元和电路可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列(FPGA)或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本申请实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于终端中。可选地，处理器和存储媒介也可以设置于终端中的不同的部件中。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请意图包括这些改动和变型在内。
Claims (9)
1.一种基于模型优化的轻量化夜间红外图像行人检测方法，其中，所述方法包括：
获得第一红外图像数据集；
获得第一数据剔除方法，其中所述第一数据剔除方法包括第一方法与第二方法，其中，所述第一方法为稀疏化处理，所述第二方法为数据降维；
依据所述第一数据剔除方法对所述第一红外图像数据集进行数据剔除，获得第二红外图像数据集；
将所述第二红外图像数据集输入至第一图像处理模型进行姿态特征提取，获得第一扩充姿态数据；
将所述第一扩充姿态数据与所述第二红外图像数据集进行数据整合，获得第三红外图像数据集；
构建第一夜间红外行人检测模型，其中，所述第一夜间红外行人检测模型具有第一骨干网络与第一多尺度融合特征；
以所述第三红外图像数据集作为训练数据，将第一图像信息输入至所述第一夜间红外行人检测模型，获得第一行人检测结果；
依据所述第一行人检测结果判断是否存在第一预警信息；
若存在所述第一预警信息，将所述第一预警信息发送至第一车辆。
2.如权利要求1所述的方法，其中，所述依据所述第一数据剔除方法对所述第一红外图像数据集进行数据剔除，还包括：
获得第一稀疏化红外图像数据集，其中，所述第一稀疏化红外图像数据集为依据所述第一方法对所述第一红外图像数据集进行数据剔除的图像数据集；
对所述第一稀疏化红外图像数据集进行特征提取，获得第一特征数据集；
对所述第一特征数据集进行中心化处理，获得第二特征数据集；
获得所述第二特征数据集的第一协方差矩阵；
对所述第一协方差矩阵进行运算，获得所述第一协方差矩阵的第一特征值和第一特征向量；
将所述第一特征数据集投影到所述第一特征向量，获得第一降维数据集，其中所述第一降维数据集为所述第一特征数据集降维之后获得的特征数据集；
依据所述第一降维数据集获得所述第二红外图像数据集。
3.如权利要求1所述的方法，其中，所述方法包括：
由所述第一图像处理模型对所述第二红外图像数据集进行姿态特征提取，获得第一提取姿态类别；
获得所述第一提取姿态类别的各姿态数量；
对所述各姿态数量进行数量分布分析，获得第一扩充姿态类别，其中，所述第一扩充姿态类别的姿态数量低于第一阈值；
依据所述第一扩充姿态类别构建第一扩充姿态特征数据库，从而获得所述第一扩充姿态数据。
4.如权利要求3所述的方法，其中，所述方法还包括：
依据所述第一阈值获得所述第一扩充姿态数据的第一扩充姿态量；
由所述第一扩充姿态数据获得第一扩充姿态特征集；
依据所述第一扩充姿态量将所述第一扩充姿态特征集整合至所述第二红外图像数据集，获得所述第三红外图像数据集。
5.如权利要求1所述的方法，其中，所述方法包括：
获得第一数据更新时间节点；
在所述第一数据更新时间节点对所述第一红外图像数据集进行数据更新，并对获取时间不满足第二阈值的图像数据进行剔除，获得第一增量红外图像数据集；
对所述第一增量学习图像数据集进行数据处理，获得第四红外图像数据集；
以所述第四红外图像数据集为训练数据，将所述第一图像信息输入至所述第一夜间红外行人检测模型，获得第二行人检测结果；
对所述第一行人检测结果与所述第二行人检测结果进行缺损数据分析，获得第一缺损数据；
将所述第一缺损数据输入至所述第一夜间红外行人检测模型进行增量学习，获得第二夜间红外行人检测模型。
6.如权利要求1所述的方法，其中，所述方法包括：
获得所述第一车辆的第一行车参数信息；
依据所述第一参数信息构建第一模型评价指标；
依据所述第一模型评价指标对所述第一夜间红外行人检测模型进行模型评价，获得第一评价结果；
由所述第一行车参数信息获得所述第一车辆的第一预设模型等级；
依据所述第一评价结果判断所述第一夜间红外行人检测模型是否满足所述第一预设模型等级；
若所述第一夜间红外行人检测模型不满足所述第一预设模型等级，依据所述第一评价结果获得所述第一行人检测结果的第一准确率；
依据所述第一准确率对所述第一预警信息进行调整。
7.如权利要求1所述的方法，其中，所述方法包括：
将所述第一图像信息输入至所述第一夜间红外行人检测模型，所述第一夜间红外行人检测模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一图像信息和用来标识所述第一行人检测结果的标识信息；
获得所述第一夜间红外行人检测模型的第一输出结果，其中，所述第一输出结果为所述第一行人检测结果。
8.一种基于模型优化的轻量化夜间红外图像行人检测系统，其中，所述系统包括：
第一获得单元，所述第一获得单元用于获得第一红外图像数据集；
第二获得单元，所述第二获得单元用于获得第一数据剔除方法，其中所述第一数据剔除方法包括第一方法与第二方法，其中，所述第一方法为稀疏化处理，所述第二方法为数据降维；
第三获得单元，所述第三获得单元用于依据所述第一数据剔除方法对所述第一红外图像数据集进行数据剔除，获得第二红外图像数据集；
第一输入单元，所述第一输入单元用于将所述第二红外图像数据集输入至第一图像处理模型进行姿态特征提取，获得第一扩充姿态数据；
第四获得单元，所述第四获得单元用于将所述第一扩充姿态数据与所述第二红外图像数据集进行数据整合，获得第三红外图像数据集；
第五获得单元，所述第五获得单元用于构建第一夜间红外行人检测模型，其中，所述第一夜间红外行人检测模型具有第一骨干网络与第一多尺度融合特征；
第二输入单元，所述第二输入单元用于以所述第三红外图像数据集作为训练数据，将第一图像信息输入至所述第一夜间红外行人检测模型，获得第一行人检测结果；
第一判断单元，所述第一判断单元用于依据所述第一行人检测结果判断是否存在第一预警信息；
第一发送单元，所述第一发送单元用于若存在所述第一预警信息，将所述第一预警信息发送至第一车辆。
9.一种基于模型优化的轻量化夜间红外图像行人检测系统，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储程序，当所述程序被所述处理器执行时，使得系统以执行如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110749461.9A CN113313078B (zh) | 2021-07-02 | 2021-07-02 | 一种基于模型优化的轻量化夜间红外图像行人检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110749461.9A CN113313078B (zh) | 2021-07-02 | 2021-07-02 | 一种基于模型优化的轻量化夜间红外图像行人检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113313078A true CN113313078A (zh) | 2021-08-27 |
| CN113313078B CN113313078B (zh) | 2022-07-08 |
Family
ID=77380877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110749461.9A Active CN113313078B (zh) | 2021-07-02 | 2021-07-02 | 一种基于模型优化的轻量化夜间红外图像行人检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113313078B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114417954A (zh) * | 2021-12-01 | 2022-04-29 | 江苏权正检验检测有限公司 | 一种提升食品检测效果的信息处理方法及系统 |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030016845A1 (en) * | 2001-07-10 | 2003-01-23 | Farmer Michael Edward | Image processing system for dynamic suppression of airbags using multiple model likelihoods to infer three dimensional information |
| US20060115126A1 (en) * | 2004-11-30 | 2006-06-01 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
| CN101226597A (zh) * | 2007-01-18 | 2008-07-23 | 中国科学院自动化研究所 | 一种基于热红外步态的夜间行人识别方法及系统 |
| CN102419819A (zh) * | 2010-10-25 | 2012-04-18 | 深圳市中控生物识别技术有限公司 | 人脸图像识别方法和系统 |
| CN103902976A (zh) * | 2014-03-31 | 2014-07-02 | 浙江大学 | 一种基于红外图像的行人检测方法 |
| CN104091171A (zh) * | 2014-07-04 | 2014-10-08 | 华南理工大学 | 基于局部特征的车载远红外行人检测系统及方法 |
| CN104778453A (zh) * | 2015-04-02 | 2015-07-15 | 杭州电子科技大学 | 一种基于红外行人亮度统计特征的夜间行人检测方法 |
| CN104952060A (zh) * | 2015-03-19 | 2015-09-30 | 杭州电子科技大学 | 一种红外行人感兴趣区域自适应分割提取方法 |
| CN106022284A (zh) * | 2016-05-30 | 2016-10-12 | 重庆大学 | 一种基于全景红外线摄像机的独居老人异常行为检测方法 |
| CN108090397A (zh) * | 2016-11-22 | 2018-05-29 | 天津长城科安电子科技有限公司 | 基于红外图像的行人检测系统 |
| CN108268864A (zh) * | 2018-02-24 | 2018-07-10 | 达闼科技（北京）有限公司 | 人脸识别方法、系统、电子设备和计算机程序产品 |
| CN109447048A (zh) * | 2018-12-25 | 2019-03-08 | 苏州闪驰数控系统集成有限公司 | 一种人工智能预警系统 |
| CN110363140A (zh) * | 2019-07-15 | 2019-10-22 | 成都理工大学 | 一种基于红外图像的人体动作实时识别方法 |
| CN110427813A (zh) * | 2019-06-24 | 2019-11-08 | 中国矿业大学 | 基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法 |
| CN111160149A (zh) * | 2019-12-16 | 2020-05-15 | 山东大学 | 基于运动场景及深度学习的车载人脸识别系统及方法 |
| CN111209810A (zh) * | 2018-12-26 | 2020-05-29 | 浙江大学 | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 |
| CN111300372A (zh) * | 2020-04-02 | 2020-06-19 | 同济人工智能研究院(苏州)有限公司 | 空地协同式智能巡检机器人及巡检方法 |
| CN111539422A (zh) * | 2020-04-13 | 2020-08-14 | 南京理工大学 | 基于Faster RCNN的飞行目标协同识别方法 |
| CN111814755A (zh) * | 2020-08-18 | 2020-10-23 | 深延科技(北京)有限公司 | 面向夜间运动场景的多帧图像行人检测方法和装置 |
| CN112070111A (zh) * | 2020-07-28 | 2020-12-11 | 浙江大学 | 一种适配多波段图像的多目标检测方法和系统 |
| CN112287839A (zh) * | 2020-10-29 | 2021-01-29 | 广西科技大学 | 一种基于迁移学习的ssd红外图像行人检测方法 |
-
2021
- 2021-07-02 CN CN202110749461.9A patent/CN113313078B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030016845A1 (en) * | 2001-07-10 | 2003-01-23 | Farmer Michael Edward | Image processing system for dynamic suppression of airbags using multiple model likelihoods to infer three dimensional information |
| US20060115126A1 (en) * | 2004-11-30 | 2006-06-01 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
| CN101226597A (zh) * | 2007-01-18 | 2008-07-23 | 中国科学院自动化研究所 | 一种基于热红外步态的夜间行人识别方法及系统 |
| CN102419819A (zh) * | 2010-10-25 | 2012-04-18 | 深圳市中控生物识别技术有限公司 | 人脸图像识别方法和系统 |
| CN103902976A (zh) * | 2014-03-31 | 2014-07-02 | 浙江大学 | 一种基于红外图像的行人检测方法 |
| CN104091171A (zh) * | 2014-07-04 | 2014-10-08 | 华南理工大学 | 基于局部特征的车载远红外行人检测系统及方法 |
| CN104952060A (zh) * | 2015-03-19 | 2015-09-30 | 杭州电子科技大学 | 一种红外行人感兴趣区域自适应分割提取方法 |
| CN104778453A (zh) * | 2015-04-02 | 2015-07-15 | 杭州电子科技大学 | 一种基于红外行人亮度统计特征的夜间行人检测方法 |
| CN106022284A (zh) * | 2016-05-30 | 2016-10-12 | 重庆大学 | 一种基于全景红外线摄像机的独居老人异常行为检测方法 |
| CN108090397A (zh) * | 2016-11-22 | 2018-05-29 | 天津长城科安电子科技有限公司 | 基于红外图像的行人检测系统 |
| CN108268864A (zh) * | 2018-02-24 | 2018-07-10 | 达闼科技（北京）有限公司 | 人脸识别方法、系统、电子设备和计算机程序产品 |
| CN109447048A (zh) * | 2018-12-25 | 2019-03-08 | 苏州闪驰数控系统集成有限公司 | 一种人工智能预警系统 |
| CN111209810A (zh) * | 2018-12-26 | 2020-05-29 | 浙江大学 | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 |
| CN110427813A (zh) * | 2019-06-24 | 2019-11-08 | 中国矿业大学 | 基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法 |
| CN110363140A (zh) * | 2019-07-15 | 2019-10-22 | 成都理工大学 | 一种基于红外图像的人体动作实时识别方法 |
| CN111160149A (zh) * | 2019-12-16 | 2020-05-15 | 山东大学 | 基于运动场景及深度学习的车载人脸识别系统及方法 |
| CN111300372A (zh) * | 2020-04-02 | 2020-06-19 | 同济人工智能研究院(苏州)有限公司 | 空地协同式智能巡检机器人及巡检方法 |
| CN111539422A (zh) * | 2020-04-13 | 2020-08-14 | 南京理工大学 | 基于Faster RCNN的飞行目标协同识别方法 |
| CN112070111A (zh) * | 2020-07-28 | 2020-12-11 | 浙江大学 | 一种适配多波段图像的多目标检测方法和系统 |
| CN111814755A (zh) * | 2020-08-18 | 2020-10-23 | 深延科技(北京)有限公司 | 面向夜间运动场景的多帧图像行人检测方法和装置 |
| CN112287839A (zh) * | 2020-10-29 | 2021-01-29 | 广西科技大学 | 一种基于迁移学习的ssd红外图像行人检测方法 |
Non-Patent Citations (6)
| Title |
|---|
| HAN J: "Individual Recognition Using Gait Energy Image", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
| 何自芬 等: "基于YOLO的雾天行人实时检测方法", 《软件》 * |
| 姚瑶等: "基于视觉的疲劳驾驶检测算法", 《合肥工业大学学报(自然科学版)》 * |
| 李珊等: "夜间监控下基于步态的行人身份识别", 《四川警察学院学报》 * |
| 林敏等: "一种新的红外图像人体检测算法", 《宜春学院学报》 * |
| 王宇岚等: "基于多视角融合的夜间无人车三维目标检测", 《应用光学》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114417954A (zh) * | 2021-12-01 | 2022-04-29 | 江苏权正检验检测有限公司 | 一种提升食品检测效果的信息处理方法及系统 |
| CN114417954B (zh) * | 2021-12-01 | 2023-12-26 | 江苏权正检验检测有限公司 | 一种提升食品检测效果的信息处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113313078B (zh) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110796168B (zh) | 一种基于改进YOLOv3的车辆检测方法 | |
| CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
| CN111488795B (zh) | 应用于无人驾驶车辆的实时行人跟踪方法 | |
| CN109145939B (zh) | 一种小目标敏感的双通道卷积神经网络语义分割方法 | |
| CN109087510B (zh) | 交通监测方法及装置 | |
| EP4152204A1 (en) | Lane line detection method, and related apparatus | |
| CN110889398B (zh) | 一种基于相似度网络的多模态图像能见度检测方法 | |
| CN110910378B (zh) | 一种基于深度融合网络的双模态图像能见度检测方法 | |
| CN111382686B (zh) | 一种基于半监督生成对抗网络的车道线检测方法 | |
| CN112052802B (zh) | 一种基于机器视觉的前方车辆行为识别方法 | |
| CN105426863B (zh) | 检测车道线的方法和装置 | |
| CN110689043A (zh) | 一种基于多重注意力机制的车辆细粒度识别方法及装置 | |
| CN108470460B (zh) | 一种基于智能手机与rnn的周边车辆行为识别方法 | |
| CN113313078B (zh) | 一种基于模型优化的轻量化夜间红外图像行人检测方法及系统 | |
| CN110909656B (zh) | 一种雷达与摄像机融合的行人检测方法和系统 | |
| CN115205615A (zh) | 一种车辆清洁度检测方法、装置和计算机可读存储介质 | |
| WO2023160666A1 (zh) | 一种目标检测方法、目标检测模型训练方法及装置 | |
| CN111178181B (zh) | 交通场景分割方法及相关装置 | |
| CN114565092A (zh) | 一种神经网络结构确定方法及其装置 | |
| CN116958606A (zh) | 一种图像匹配方法及相关装置 | |
| CN111291785A (zh) | 目标检测的方法、装置、设备及存储介质 | |
| CN113239631B (zh) | 一种提高复杂动态场景分割的建模方法及系统 | |
| CN115129886A (zh) | 驾驶场景的识别方法、装置及车辆 | |
| CN117456482B (zh) | 一种面向交通监控场景的异常事件识别方法及系统 | |
| CN113033807B (zh) | 线上数据收集方法和神经网络训练方法及相关装置、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |