CN116612279B - 目标检测的方法、装置、网络设备及存储介质 - Google Patents
目标检测的方法、装置、网络设备及存储介质 Download PDFInfo
- Publication number
- CN116612279B CN116612279B CN202310535038.8A CN202310535038A CN116612279B CN 116612279 B CN116612279 B CN 116612279B CN 202310535038 A CN202310535038 A CN 202310535038A CN 116612279 B CN116612279 B CN 116612279B
- Authority
- CN
- China
- Prior art keywords
- image
- detected
- preset
- portrait area
- target portrait
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 125
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000007613 environmental effect Effects 0.000 claims abstract description 60
- 238000003709 image segmentation Methods 0.000 claims abstract description 27
- 238000005286 illumination Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 16
- 238000003708 edge detection Methods 0.000 claims description 11
- 230000006872 improvement Effects 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种目标检测的方法、装置、网络设备及存储介质,该方法首先获取当前环境特征,基于当前环境特征获取对应类型的待检测图像,接着对待检测图像进行图像分割,确定待检测图像中的目标人像区域,再确定目标人像区域中预设部位的遮挡率,在遮挡率大于预设值时,基于预设部位对目标人像区域进行重构,最后将重构的目标人像区域作为预先训练好的目标检测模型的输入,获得检测结果。由于本发明是根据当前环境特征获取的待检测图像,能够考虑到不同场景下行人由于遮挡导致的可识别度下降的情况,基于不同预设部位的遮挡率进行重构得到标准行人图像,再将其作为检测模型的输入以获得检测结果,有利于提升在不同场景中对目标行人的检测速率。
Description
技术领域
本发明涉及行人检测技术领域,尤其涉及一种目标检测的方法、装置、网络设备及存储介质。
背景技术
行人目标检测是计算机视觉领域极具挑战性的问题,广泛应用在公共安全、智能监控、自动驾驶等领域中。目前,采取深度学习并结合图像处理等相关算法,设定场景下的行人检测任务,在相关的一些数据集中进行训练获得了用于进行行人检测的相关模型,也能实现较高的识别率。
然而在实际的应用场景中,对于行人的目标检测并非只在单一场景下实现,且不同场景中行人往往容易被建筑物、人群等遮挡,或者由于行人姿态的不同使得行人图像本身的可识别度下降,从而降低了模型的检测效率。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是相关技术。
发明内容
本发明的主要目的在于提供了一种目标检测的方法、装置、设备及存储介质,旨在解决现有技术中在不同环境下由于受遮挡行人的可识别度下降导致的行人检测效率低下的技术问题。
为实现上述目的,本发明提供了一种目标检测的方法,所述方法包括以下步骤:
获取当前环境特征,基于所述当前环境特征获取对应类型的待检测图像;
对所述待检测图像进行图像分割,确定所述待检测图像中的目标人像区域;
确定所述目标人像区域中预设部位的遮挡率,在所述遮挡率大于预设值时,基于所述预设部位对所述目标人像区域进行重构;
将重构的所述目标人像区域作为预先训练好的目标检测模型的输入,获得检测结果。
可选地,所述确定所述目标人像区域中预设部位的遮挡率,在所述遮挡率大于预设值时,基于所述预设部位对所述目标人像区域进行重构,包括:
根据预设第一公式计算所述目标人像区域中预设部位的遮挡率;
获取所述遮挡率大于预设值的预设部位,基于所述预设部位对所述目标人像区域进行重构;
其中,所述预设第一公式为:
式中,Ci为目标人像区域中第i个预设部位的遮挡率,k为目标人像区域中预设部位的个数,Xi为第i个预设部位的遮挡像素值,S(i)为第i个预设部位的权重值,Xn为待检测图像中第n个目标人像区域的像素值。
可选地,所述获取所述遮挡率大于预设值的预设部位,基于所述预设部位对所述目标人像区域进行重构,包括:
在标准人体模型上定位到所述目标人像区域中的预设部位;
结合所述标准人体模型对所述遮挡率大于预设值的预设部位进行遮挡恢复,得到重构的目标人像区域。
可选地,所述对所述待检测图像进行图像分割,确定所述待检测图像中的目标人像区域,包括:
获取所述待检测图像的亮度分布特性以及边缘线密度;
基于所述亮度分布特性和所述边缘线密度对所述待检测图像进行图像分割,获得预设个数的待检测窗口;
将所述亮度分布特性和/或所述边缘线密度符合预设人像标准值的各个待检测窗口确定为所述目标人像区域。
可选地,所述获取所述待检测图像的亮度分布特性以及边缘线密度,包括:
采用图像增强算法对所述待检测图像进行去噪和对比度提升,获取所述待检测图像的亮度分布特性;
采用Canny算子对所述经过去噪和对比度提升的待检测图像进行边缘检测,获得所述待检测图像的边缘线密度。
可选地,所述目标检测模型为ResNet模型,所述模型通过基于SYSU-MM01的数据集训练得到,所述目标检测模型为在环境特征对应的图像类型下,通过所述训练集中经过重构的行人图像与标准行人图像结合后对所述ResNet模型进行训练所获得的模型。
可选地,所述待检测图像类型包括红外图像或可见光图像,所述获取当前环境特征,基于所述当前环境特征获取对应类型的待检测图像,包括:
获取当前环境特征,根据所述当前环境特征判断当前环境是否为低照度环境;
在当前环境为低照度环境时,获取图像类型为红外图像的待检测图像;
在当前环境非低照度环境时,获取图像类型为可见光图像的待检测图像。
此外,为实现上述目的,本发明还提出一种目标检测的装置,所述装置包括:
图像获取模块,用于获取当前环境特征,基于所述当前环境特征获取对应类型的待检测图像;
图像分割模块,用于对所述待检测图像进行图像分割,确定所述待检测图像中的目标人像区域;
遮挡重构模块,用于确定所述目标人像区域中预设部位的遮挡率,在所述遮挡率大于预设值时,基于所述预设部位对所述目标人像区域进行重构;
模型检测模块,用于将重构的所述目标人像区域作为预先训练好的目标检测模型的输入,获得检测结果。
此外,为实现上述目的,本发明还提出一种目标检测的网络设备,所述网络设备应用于行人识别领域,所述网络设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的目标检测的程序,所述目标检测的程序配置为实现如上文所述的目标检测的方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有目标检测的程序,所述目标检测的程序被处理器执行时实现如上文所述的目标检测的方法的步骤。
本发明首先获取当前环境特征,基于当前环境特征获取对应类型的待检测图像,接着对待检测图像进行图像分割,确定待检测图像中的目标人像区域,再确定目标人像区域中预设部位的遮挡率,在遮挡率大于预设值时,基于预设部位对目标人像区域进行重构,最后将重构的目标人像区域作为预先训练好的目标检测模型的输入,获得检测结果。由于本发明是根据当前环境特征获取的待检测图像,在通过图像分割确定目标人像区域后,基于不同预设部位的遮挡率进行重构,考虑到不同场景下行人由于遮挡导致的可识别度下降,通过重构得到更标准的行人图像,并将该重构后的目标人像区域作为检测模型的输入,有利于提高模型的检测速度进而提升在不同场景中目标行人检测速率。
附图说明
图1是本发明实施例涉及的硬件运行环境的目标检测的网络设备的结构示意图;
图2是本发明目标检测的方法第一实施例的流程示意图;
图3是本发明目标检测的方法第二实施例的流程示意图;
图4是本发明标准人体模型及预设部位的示意图;
图5是本发明目标检测的方法第三实施例的流程示意图;
图6为本发明目标检测的装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的目标检测的网络设备结构示意图。
如图1所示,该目标检测的网络设备可以包括:处理器1001,例如中央处理器(Central Processing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM),也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对目标检测的网络设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及目标检测的程序。
在图1所示的目标检测的网络设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明目标检测的网络设备中的处理器1001、存储器1005可以设置在目标检测的网络设备中,所述目标检测的设备通过处理器1001调用存储器1005中存储的目标检测的程序,并执行本发明实施例提供的目标检测的方法。
本发明实施例提供了一种目标检测的方法,参照图1,图1为本发明目标检测的方法第一实施例的流程示意图。
本实施例中,所述目标检测的方法包括以下步骤:
步骤S10:获取当前环境特征,基于所述当前环境特征获取对应类型的待检测图像。
需要说明的是,本实施例方法的执行主体可以是具有环境特征采集、数据处理、以及程序运行功能的计算服务设备,例如:行人检测仪、目标定位装置、个人电脑等,还可以是能够实现相同或相似功能的能够实现目标检测的方法的其他电子设备,本实施例对此不加以限制。此处选用目标检测的设备(以下称检测设备)为例对本发明目标检测的方法的各项实施例进行说明。
可以理解的是,环境特征可以为检测设备获取的可用于确定当前环境下对应获取的图像类型的数据,环境特征可以包括例如雨、雪、雾霾、晴等天气特征,也可包括白天或黑夜等反应当前环境光照强弱的特征等。检测设备可通过GPS定位功能获取应用该目标检测的方法进行行人识别的具体地理位置,进而通过获取置于该地理位置的环境传感器的数据来得到环境特征,也可以在获取到具体地理位置后,通过查询网络数据直接得到当前地理位置的环境特征,本实施例对此不加以限制。
应该理解的是,检测设备中可预先设置一个不同环境特征与图像类型的映射表,预先将不同的环境特征转化为固定环境标签,每个固定环境标签下对应在该环境标签下应该获取的待检测图像类型。
可理解的是,待检测图像为当前环境下需要进行行人识别的目标检测区域的图像,可以为通过实时图像传感设备(例如监控器、红外摄像仪等)进行传输的视频序列图像,或通过移动终端(例如手机、平板电脑等)传输的需要进行目标检测的个性化图像,本实施例对此不加以限制。
进一步地,考虑到不同场景下光照强度对待检测图像的品质影响,步骤S10,包括:
步骤S11:获取当前环境特征,根据所述当前环境特征判断当前环境是否为低照度环境。
可以理解的是,是否为低照度环境可以为上述环境特征转化的固定环境标签。具体地,在获取到当前环境的气候特征为雨、雪、雾霾时和/或获取到当前环境为黑夜时,可以判断当前环境为低照度环境;在获取到当前环境的气候特征为晴朗或获取到当前环境为白天时,可以判断当前环境非低照度环境。
步骤S12:在当前环境为低照度环境时,获取图像类型为红外图像的待检测图像。
需要说明的是,红外图像考虑的是物体的温度信息,在可视条件较差的场景下,由常规相机得到的可见光图像的成像效果往往也较差,与可见光成像相比,红外成像基于物体辐射进行成像,不依赖所处环境的光照条件,在可视条件较差的场景下仍能够取得良好的成像效果。在当前环境为低照度环境时,选取红外图像作为待检测图像的图像类型,能够尽可能多地保留当前环境中待检测目标的特征。
步骤S13:在当前环境非低照度环境时,获取图像类型为可见光图像的待检测图像。
可以理解的是,可见光图像是由可见光摄像机获取的包含待检测目标的图像,与红外图像相比,具有光谱信息丰富、对比度高,包含丰富的细节信息等优点。在当前环境为非低照度环境时,为了更多地保留当前环境中待检测目标的特征,可以直接选取可见光图像作为待检测图像。
在具体实现中,检测设备获取当前环境特征,并将当前环境特征标签化,再在预设的不同环境特征与图像类型的映射表中查询到应获取的待检测图像类型,例如可判断当前环境是否为低照度环境,在当前环境特征为低照度环境时获取红外图像类型的待检测图像,在当前环境特征为非低照度环境时获取可见光图像类型的待检测图像。能够基于不同的环境特征选择相对应的待检测图像类型,以尽可能多地保留不同环境中待检测目标的特征,同时单次获取同一类型的图像,可以提高图像获取速率并减少了获取到的冗余图像信息。
步骤S20:对所述待检测图像进行图像分割,确定所述待检测图像中的目标人像区域。
需要说明的是,由于待检测图像中待检测目标所具有的多种可能位置和形态,而实际场景中背景往往占据了待检测图像的大部分区域,需要对待检测图像进行图像分割来获取后续用于作为识别模型输入的目标人像区域,即感兴趣区域(Region of Interest,ROI)。
应该理解的是,可以采用梯度直方图(HOG)特征结合滑动窗口法对待检测图像进行遍历提取ROI,也可也结合图像的先验语义或边缘特性对HOG法进行改进,通过阈值分割的方法基于视觉显著性对待检测图像中的ROI进行提取,本实施例对此不加以限制。
在具体实现中,检测设备可对获取到的待检测图像采用滑动窗口法进行扫描,通过滑窗操作将待检测图像中可能具有待检测目标行人的区域初步分割,得到目标人像区域。
步骤S30:确定所述目标人像区域中预设部位的遮挡率,在所述遮挡率大于预设值时,基于所述预设部位对所述目标人像区域进行重构。
需要说明的是,预设部位为预先设定的标准人的关节部位,例如:左手、右手、左腿、右腿等,该预设部位可以为体现待检测目标行人的人体关键关节。
可以理解的是,行人由于当前环境的不同以及自身姿态的不同,在获取的待检测图像中,目标人像区域中获取的未必都为标准的人体。此外,在获取的待检测图像为红外图像时,由于红外图像对原始图像信息的损失,待检测目标行人的边缘轮廓存在模糊情况。上述情况导致目标人像区域中预设部位存在遮挡。
应该理解的是,遮挡率可具体反应不同环境中目标人像区域中预设部位的遮挡情况。具体地,可以通过预设行人几何模型确定目标人像区域,基于预设几何模型的固定图像长宽比进一步确定目标人像区域中预设部位的标准位置。将该目标人像区域进行检测窗口分块得到j块,定义窗口描述特征子W={w1,w2,...wj},每个预设部位Wi包含的窗口数为基于该图像长宽比的设定的固定值,即每个Wi中包含固定块数的窗口描述特征子。则对于每个Wi,i∈{1,2,...,j}。可以定义一个支持向量局部分类器其中ωi可以为支持向量展开后所对应的向量,εi为每个预设部位中窗口块的检测误差。通过对局部响应h(i)进行阈值化得到离散的标签ti,ti=1表示是Wi的一部分,ti=-1表示是Wi被遮挡的一部分,得到一个二值映射(t1,t2,...tj)。利用均值漂移分割算法进一步获得块标签(t1′,t2′,...tj′),将均值漂移权重设置为|h(i)|,将具有多数负响应的窗口作为被遮挡的预设部位的窗口,得到遮挡确认并进一步计算负响应窗口块数占包含固定块数的预设部位Wi中的比例,获得遮挡率。
可理解的是,可预先设置用于确定需要进行重构的预设部位的预设值,由于在图像获取中无可避免地出现图像信息损失造成的预设部位的遮挡率上升,因此需要设定用于判断当前预设部位的遮挡情况对后续进行模型识别造成的误差的程度,进一步判断是否需要对当前目标人像区域中预设部位进行重构。
需要说明的是,可以采用预设行人几何模型对上述目标人像区域中预设部位进行2D重构,也可也结合现有经过SMPL-X参数化得到的包含人体形态、人体姿态等多维向量与模型参数标签配对训练得到的3D人体重构模型对上述目标人像区域中待检测目标行人进行重构,本实施例对此不加以限制。
在具体实现中,可以将目标人像区域进行分块,对分块后得到的窗口特征描述子进行评价,并采用支持向量局部分类器判断得到的置信度是否属于一个模糊范围并判断是否发生遮挡情况。具体地,将具有多数负响应的窗口作为被遮挡的预设部位的窗口,得到遮挡确认并进一步计算负响应窗口块数占包含固定块数的预设部位Wi中的比例,获得预设部位的遮挡率,对遮挡率大于预设值的预设部位采用重构模型进行预设部位的重构,获得经过更新的用于输入后续检测模型以进行进一步目标检测的重构的目标人像区域图像。
步骤S40:将重构的目标人像区域作为预先训练好的目标检测模型的输入,获得检测结果。
需要说明的是,该目标检测模型可以为现有的行人检测模型,例如R-CNN、Fast R-CNN等以区域建设的目标检测算法构建的模型或例如YOLOv1、YOLOv2、YOLOv3以及YOLOv4等基于回归的目标检测算法构建的模型,本实施例对此不加以限制。
可以理解的是,可以在网络开源数据集上对选择的经过初始化的目标检测模型进行训练,常用于进行行人识别的网络开源数据集包括:MSCOCO目标检测数据集、NEU-Person、INRIA、Market-1501、CUHK03以及SYSU-30K等。具体地,对数据集中训练集进行预处理可以为:首先将所有训练和测试的图像大小调整为固定值,然后通过随机水平翻转、随机擦除、随机裁剪和图像像素值的归一化,随机增加一些遮挡、旋转,并将经过遮挡的原始图像采用上述基于预设部位的重构方法进行重构,以此来增强训练数据。
进一步地,为了更好地提取重构的目标人像区域的图像特征,所述目标检测模型可以为ResNet模型,所述模型通过基于SYSU-MM01的数据集训练得到,所述目标检测模型为在环境特征对应的图像类型下,通过所述训练集中经过重构的行人图像与标准行人图像结合后对所述ResNet模型进行训练所获得的模型。
需要说明的是,ResNet(残差神经网络)模型随着网络层的不断的加深,模型的准确率可以得到显著提高,并针对网络层加深后出现的退化现象提出快速连接,可以降低深度过大的神经网络训练困难的问题。
在具体实现中,输入的目标人像区域的图像经过ResNet骨干网络的堆叠卷积层后,直接对特征图进行全局平均池化得到全局特征,作为最终的特征表示,通过全连接层和Softmax层以实现图像的检测分类。
进一步地,可分别提取目标人像区域中行人的整体特征和局部特征,将提取得到的整体特征和局部特征融合,获得最终的特征图表示。具体地,采用全局平均池化得到全局特征后时,对于局部特征,先对特征图进行分区,通过局部平均池化得到每个区的特征向量,再计算局部对齐距离,将全局特征和局部特征进行特征通道数统一化处理,然后串联,对串联后的目标人像区域中的特征向量逐通道分析,获得每个通道对应的特征最大值作为该通道的代表性特征,所有通道的代表性特征构成目标人像区域的行人综合特征信息即最终的特征表示,进而通过全连接层和Softmax层以实现图像的检测分类。
本实施例先获取当前环境特征,基于当前环境特征获取对应类型的待检测图像,接着对待检测图像进行图像分割,确定待检测图像中的目标人像区域,再确定目标人像区域中预设部位的遮挡率,在遮挡率大于预设值时,基于预设部位对目标人像区域进行重构,最后将重构的目标人像区域作为预先训练好的目标检测模型的输入,获得检测结果。并进一步地,本实施例考虑到不同场景下光照强度对待检测图像的品质影响,获取当前环境特征,根据所述当前环境特征判断当前环境是否为低照度环境,在当前环境为低照度环境时,获取图像类型为红外图像的待检测图像,能够不依赖所处环境的光照条件,在可视条件较差的场景下仍能够取得良好的成像效果,尽可能多地保留当前环境中待检测目标的特征;在当前环境非低照度环境时,获取图像类型为可见光图像的待检测图像,由于可见光图像具有光谱信息丰富、对比度高,包含丰富的细节信息等优点,更多地保留当前环境中待检测目标的特征。
由于本发明是根据当前环境特征获取的待检测图像,基于不同的环境特征,获取对应类型的待检测图像,能够在减少冗余图像信息获取的同时尽可能多地保留原始图像信息以提升后续模型进行检测的速率,并在通过图像分割确定目标人像区域后,基于不同预设部位的遮挡率进行重构,考虑到不同场景下行人由于遮挡导致的可识别度下降,通过重构得到更标准的行人图像,并将该重构后的目标人像区域作为检测模型的输入,有利于提高模型的检测速度进而提升在不同场景中目标行人检测速率。
参考图3,图3为本发明目标检测的方法第二实施例的流程示意图。
基于上述第一实施例,为了确定预设部位的遮挡率以更好地基于预设部位对目标人像区域进行重构,步骤S30,包括:
步骤S31:根据预设第一公式计算所述目标人像区域中预设部位的遮挡率。
需要说明的是,上述预设第一公式为:
式中,Ci为目标人像区域中第i个预设部位的遮挡率,k为目标人像区域中预设部位的个数,Xi为第i个预设部位的遮挡像素值,S(i)为第i个预设部位的权重值,Xn为待检测图像中第n个目标人像区域的像素值。
应该理解的是,由于待检测图像中行人个数未必为一个,且存在人群聚集现象,聚集的人群会分散在待检测图像中的各个位置,因此待检测图像中可能存在n个不同的目标人像区域。
可以理解的是,对于单一目标人像区域,预设部位可以设定为指定个数k个,其中第i个预设部位Wi中包含预设块数的窗口,该窗口可以为通过滑窗操作将目标人像区域进行划分获得的j块窗口的集合,划分得到的每个窗口的像素值可以基于前述预设几何模型的固定长宽比与预设块数进行自定义设置。预设部位的权重值可以在选定预设部位时手动设置为不同的权重值,也可直接按照设置的预设部位个数平均分配,本实施例对此不加以限制。
在具体实现中,在通过滑窗法定位到目标人像区域中存在预设部位的窗口块时,通过局部响应阈值化得到第i个预设部位Wi中窗口块的二值映射,确定在第i个预设部位中存在遮挡情况的窗口块,并获取存在遮挡情况的窗口块数,获得第i个预设部位的遮挡像素值。继续对其他预设部位进行遮挡像素值的获取,基于预设部位对应的权重,获得某一目标人像区域中预设部位的遮挡总像素值,再结合该目标人像区域的总像素值,获得当前目标人像区域中预设部位的遮挡率。
步骤S32:获取所述遮挡率大于预设值的预设部位,基于所述预设部位对所述目标人像区域进行重构。
可以理解的是,目标人像区域中遮挡率大于预设的预设部位可以视为影响后续模型进行检测的因素,因此,需要基于该类预设部位对目标人像区域进行重构,使目标人像区域中包括更完整的行人图像。
进一步地,为了更准确地确定遮挡率大于预设值的预设部位,步骤S32还包括:
步骤S321:在标准人体模型上定位到所述目标人像区域中的预设部位。
需要说明的是,标准人体模型可以为预先设置的与目标人像区域的长宽比相同的图像框中可以反应行人体态特征的行人几何模型。在该标准人体模型中的预设部位未被遮挡,基于该标准人体模型可以对目标人像区域中遮挡率大于预设值的预设部位进行遮挡恢复。
参考图4,图4为本发明标准人体模型及预设部位的示意图。
可以理解的是,该标准人体模型的图像长宽比与目标人像区域的长宽比相同,在预设部位的个数i设置为4个时,可以设置i=1为标准人的右手、i=2为标准人的左手、i=3为标准人的右腿以及i=4为标准人的左腿。选择右手、左手、右腿以及左腿作为预设部位,其中预设部位包括的窗口块数量大小和预设部位的权重值可以基于已有经验进行设置或是由用户进行个性化框定。
步骤S322:结合所述标准人体模型对所述遮挡率大于预设值的预设部位进行遮挡恢复,得到重构的目标人像区域。
需要说明的是,在标准人体模型上定位到遮挡率大于预设值的预设部位时,结合该标准人体模型中预设部位的特征,对目标人像区域中遮挡的上述预设部位进行恢复。
应该理解的是,可以采用简单的图像特征提取获取标准人体模型上预设部位的特征并结合目标人像区域中未被遮挡的窗口块特征,在遮挡的上述预设部位进行重新绘图,也可也采用GAN(生成对抗网络)来解决遮挡区域的问题,本实施例对此不加以限制。
需要说明的是,采用GAN对遮挡率大于预设值的预设部位进行遮挡恢复,得到重构的目标人像区域,可具体包括:采用SeGAN模型,首先对遮挡部位进行分割,然后通过绘画产生它的外观,基于输入图像和对象可见区域的分割,模型产生一个图像,其中对象的不可见区域重建。其中,SeGAN模型由两部分组成:分割部分是一个CNN(卷积神经网络),使用来自可视区域即未遮挡区域的信息为对象输出一个掩模,绘画部分使用cGAN产生对象的遮挡部分。该SeGAN模型的损失函数可以为分割损失和绘画损失的结合。
可以理解的是,通过引入标准人体模型,可以更快地确定遮挡率大于预设值的目标人像区域中的预设部位,进而基于该预设部位进行目标人像区域的重建,获得包含更标准行人图像的目标人像区域,可以提升后续模型识别的速度和准确度。
本实施例通过根据预设第一公式计算所述目标人像区域中预设部位的遮挡率,获取所述遮挡率大于预设值的预设部位,基于所述预设部位对所述目标人像区域进行重构,并进一步地引入标准人体模型,在标准人体模型上定位到所述目标人像区域中的预设部位,结合所述标准人体模型对所述遮挡率大于预设值的预设部位进行遮挡恢复,得到重构的目标人像区域。对需要进行重构的预设部位给予了数值标准,提升了重构的目标人像区域中包含行人的可信度,并基于标准人体模型进行遮挡恢复的重构,能够更快地确定需要进行重构的被遮挡的预设部位,进一步地提升模型的检测速度和准确度以提升在不同场景中目标行人的检测速率,并在复杂情况下有效地降低了由于遮挡造成的漏检。
参考图5,图5为本发明目标检测的方法第三实施例的流程示意图。
基于上述实施例,为了提高对待检测图像中目标人像区域的获取速度,步骤S20包括:
步骤S21:获取所述待检测图像的亮度分布特性以及边缘线密度。
可以理解的是,亮度分布特性是图像最重要的特征之一,尤其在待检测图像的图像类型为红外图像时,可以通过引入亮度分布特性作为先验语义,对待检测图像进行图像分割。
具体地,在对待检测图像可通过滑窗法将待检测图像分割为多个窗口,计算每一个窗口m的亮度对比度,进而获得待检测图像的亮度分布特性。具体地,在计算m的亮度对比度时,先将m沿四个方向延申一定尺度θ得到一个矩形外环S,用外环框减去目标窗口框,得到m所对应的背景区域,此时有:
计算窗口m和背景的亮度直方图的卡方距离来定义窗口亮度对比度:
BC(m,θ)=χ2[h(x),h(S(m,θ))]
式中,BC(m,θ)表示亮度对比度特征值,χ2(·)表示卡方距离;h(·)表示窗口的亮度直方图。
应该理解的是,边缘线密度(edge density)可以为行人边缘线密度,指的是窗口边界附近的边缘密度,通常情况下目标边界边缘的数量随着目标边界周长增大而增大。
进一步地,为了降低获取的待检测图像中噪声的干扰以更好地获取图像的亮度分布特性以及边缘线密度,步骤S21包括:
步骤S211:采用图像增强算法对所述待检测图像进行去噪和对比度提升,获取所述待检测图像的亮度分布特性。
需要说明的是,图像增强算法可以对图像的亮度、对比度、饱和度以及色调进行调节,由于图像在进行传输的过程中容易被电子电路噪声和传感器噪声污染,因此在获取到待检测图像后,通过进一步去除噪声对于检测网络的干扰,增强行人的检测特征,从而大限度地提高检测效果。
步骤S212:采用Canny算子对所述经过去噪和对比度提升的待检测图像进行边缘检测,获得所述待检测图像的边缘线密度。
可以理解的是,边缘检测的目的是在保留原有图像属性的情况下,显著减少图像的数据规模,通过边缘检测可以获得图像的边缘特征即待检测图像的边缘线密度,常见的边缘算子包括Roberts算子、Sobel算子和Prewitt算子等微分算子以及Canny算子。
需要说明的是,Canny算法是一种被广泛应用于边缘检测的标准算法,其目标是找到一个最优的边缘检测解或找寻一幅图像中灰度强度变化最强的位置。最优边缘检测主要通过低错误率、高定位性和最小响应三个标准进行评价。Canny算子的简要步骤如下:(1)去噪声:应用高斯滤波来平滑图像,目的是去除噪声;(2)梯度:找寻图像的梯度;(3)非极大值抑制:应用非最大抑制技术来过滤掉非边缘像素,将模糊的边界变得清晰。该过程保留了每个像素点上梯度强度的极大值,过滤掉其他的值。(4)应用双阈值的方法来决定可能的(潜在的)边界;(5)利用滞后技术来跟踪边界。若某一像素位置和强边界相连的弱边界认为是边界,其他的弱边界则被删除。
在具体实现中,将通过图像增强算法获得的经过去噪和对比度提升的待检测图像采用Canny算子进行边缘检测处理,获得图像的边缘特征进而获得带检测图像的边缘线密度,能够快速获取图像的亮度分布特性以及边缘线密度,进而提升图像分割的速度,并获得可信度更高的目标人像区域。
步骤S22:基于所述亮度分布特性和所述边缘线密度对所述待检测图像进行图像分割,获得预设个数的待检测窗口。
步骤S23:将所述亮度分布特性和/或所述边缘线密度符合预设人像标准值的各个待检测窗口确定为所述目标人像区域。
需要说明的是,可预先设置不同场景下的标准亮度对比度特征值和边缘线密度值作为预设人像标准值,该预设人像标准值可以用来判定窗口的差异性部分即确定显著性区域。
需要说明的是,可以将亮度分布特性和边缘线密度作为先验语义,融入显著性检测中,进行ROI提取。显著性检测分为两类:自下而上基于数据驱动的显著性区域凸显,和自上而下任务驱动的目标凸显。由于不同的图像数据在对数尺度上有相似的分布趋势,因此在不同的对数谱中只需要关注差异性部分就可以得到显著性区域,完成ROI提取,该显著性区域即为考虑到亮度分布特性和边缘线密度作为先验语义进行分割得到的符合人像标准值的各个待检测窗口集,上述各个待检测窗口集构成目标人像区域。
本实施例通过获取所述待检测图像的亮度分布特性以及边缘线密度,具体地,采用图像增强算法对所述待检测图像进行去噪和对比度提升,获取所述待检测图像的亮度分布特性;采用Canny算子对所述经过去噪和对比度提升的待检测图像进行边缘检测,获得所述待检测图像的边缘线密度基于所述亮度分布特性和所述边缘线密度对所述待检测图像进行图像分割,获得预设个数的待检测窗口,将所述亮度分布特性和/或所述边缘线密度符合预设人像标准值的各个待检测窗口确定为所述目标人像区域。由于本实施例融入包括亮度分布特性和边缘线密度的高层语义特性进行显著性检测来获得目标人像区域,增加了对待检测图像的认知功能,提高分析的准确度和可信度,优化了后续模型的输入图像,并更进一步提升了后续采用目标检测模型对行人的检测速度和可信度。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有目标检测的程序,所述目标检测的程序被处理器执行时实现如上文所述的目标检测的方法的步骤。
参考图6,图6为本发明目标检测的装置第一实施例的结构框图。
如图6所示,本发明目标检测的装置,包括:
图像获取模块601,用于获取当前环境特征,基于所述当前环境特征获取对应类型的待检测图像;
图像分割模块602,用于对所述待检测图像进行图像分割,确定所述待检测图像中的目标人像区域;
遮挡重构模块603,用于确定所述目标人像区域中预设部位的遮挡率,在所述遮挡率大于预设值时,基于所述预设部位对所述目标人像区域进行重构;
模型检测模块604,用于将重构的所述目标人像区域作为预先训练好的目标检测模型的输入,获得检测结果。
本实施例首先获取当前环境特征,基于当前环境特征获取对应类型的待检测图像,接着对待检测图像进行图像分割,确定待检测图像中的目标人像区域,再确定目标人像区域中预设部位的遮挡率,在遮挡率大于预设值时,基于预设部位对目标人像区域进行重构,最后将重构的目标人像区域作为预先训练好的目标检测模型的输入,获得检测结果。由于本实施例是根据当前环境特征获取的待检测图像,在通过图像分割确定目标人像区域后,基于不同预设部位的遮挡率进行重构,考虑到不同场景下行人由于遮挡导致的可识别度下降,通过重构得到更标准的行人图像,并将该重构后的目标人像区域作为检测模型的输入,有利于提高模型的检测速度进而提升在不同场景中目标行人检测速率。
基于本发明上述目标检测的装置第一实施例,提出本发明目标检测的装置第二实施例。
在本实施例中,所述遮挡重构模块603,用于根据预设第一公式计算所述目标人像区域中预设部位的遮挡率;获取所述遮挡率大于预设值的预设部位,基于所述预设部位对所述目标人像区域进行重构;其中,所述预设第一公式为:
式中,Ci为目标人像区域中第i个预设部位的遮挡率,k为目标人像区域中预设部位的个数,Xi为第i个预设部位的遮挡像素值,S(i)为第i个预设部位的权重值,Xn为待检测图像中第n个目标人像区域的像素值。
进一步地,所述遮挡重构模块603,还用于在标准人体模型上定位到所述目标人像区域中的预设部位;结合所述标准人体模型对所述遮挡率大于预设值的预设部位进行遮挡恢复,得到重构的目标人像区域。
所述图像分割模块602,用于获取所述待检测图像的亮度分布特性以及边缘线密度;基于所述亮度分布特性和所述边缘线密度对所述待检测图像进行图像分割,获得预设个数的待检测窗口;将所述亮度分布特性和/或所述边缘线密度符合预设人像标准值的各个待检测窗口确定为所述目标人像区域。
进一步地,所述图像分割模块602,还用于采用图像增强算法对所述待检测图像进行去噪和对比度提升,获取所述待检测图像的亮度分布特性;采用Canny算子对所述经过去噪和对比度提升的待检测图像进行边缘检测,获得所述待检测图像的边缘线密度。
所述模型检测模块604,用于选用ResNet模型,并通过基于SYSU-MM01的数据集训练得到目标检测模型,其中所述目标检测模型为在环境特征对应的图像类型下,通过所述训练集中经过重构的行人图像与标准行人图像结合后对所述ResNet模型进行训练所获得的模型。
所述图像获取模块601,用于获取当前环境特征,根据所述当前环境特征判断当前环境是否为低照度环境;在当前环境为低照度环境时,获取图像类型为红外图像的待检测图像;在当前环境非低照度环境时,获取图像类型为可见光图像的待检测图像。
本发明目标检测的装置其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……限定”的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围。
Claims (9)
1.一种目标检测的方法,其特征在于,所述方法应用于行人识别,所述方法包括:
获取当前环境特征,基于所述当前环境特征获取对应类型的待检测图像,其中所述待检测图像类型包括红外图像或可见光图像;
对所述待检测图像进行图像分割,确定所述待检测图像中的目标人像区域;
确定所述目标人像区域中预设部位的遮挡率,在所述遮挡率大于预设值时,基于所述预设部位对所述目标人像区域进行重构;
将重构的所述目标人像区域作为预先训练好的目标检测模型的输入,获得检测结果;
其中,所述确定所述目标人像区域中预设部位的遮挡率,在所述遮挡率大于预设值时,基于所述预设部位对所述目标人像区域进行重构,包括:
采用滑窗法进行所述目标人像区域中预设部位的定位,并根据预设第一公式计算所述预设部位的遮挡率;
获取所述遮挡率大于预设值的预设部位,基于所述预设部位对所述目标人像区域进行重构;
其中,所述获取所述遮挡率大于预设值的预设部位,基于所述预设部位对所述目标人像区域进行重构,包括:
在标准人体模型上定位到所述目标人像区域中的预设部位;
结合所述标准人体模型对所述遮挡率大于预设值的预设部位进行遮挡恢复,得到重构的目标人像区域。
2.如权利要求1所述的目标检测的方法,其特征在于,所述预设第一公式为:
式中,Ci为目标人像区域中第i个预设部位的遮挡率,k为目标人像区域中预设部位的个数,Xi为第i个预设部位的遮挡像素值,S(i)为第i个预设部位的权重值,Xn为待检测图像中第n个目标人像区域的像素值。
3.如权利要求1所述的目标检测的方法,其特征在于,所述对所述待检测图像进行图像分割,确定所述待检测图像中的目标人像区域,包括:
获取所述待检测图像的亮度分布特性以及边缘线密度;
基于所述亮度分布特性和所述边缘线密度对所述待检测图像进行图像分割,获得预设个数的待检测窗口;
将所述亮度分布特性和/或所述边缘线密度符合预设人像标准值的各个待检测窗口确定为所述目标人像区域。
4.如权利要求3所述的目标检测的方法,其特征在于,所述获取所述待检测图像的亮度分布特性以及边缘线密度,包括:
采用图像增强算法对所述待检测图像进行去噪和对比度提升,获取所述待检测图像的亮度分布特性;
采用Canny算子对经过去噪和对比度提升的待检测图像进行边缘检测,获得所述待检测图像的边缘线密度。
5.如权利要求1所述的目标检测的方法,其特征在于,所述目标检测模型为ResNet模型,所述模型通过基于SYSU-MM01的数据集训练得到,所述目标检测模型为在环境特征对应的图像类型下,通过训练集中经过重构的行人图像与标准行人图像结合后对所述ResNet模型进行训练所获得的模型。
6.如权利要求1所述的目标检测的方法,其特征在于,所述获取当前环境特征,基于所述当前环境特征获取对应类型的待检测图像,包括:
获取当前环境特征,根据所述当前环境特征判断当前环境是否为低照度环境;
在当前环境为低照度环境时,获取图像类型为红外图像的待检测图像;
在当前环境非低照度环境时,获取图像类型为可见光图像的待检测图像。
7.一种目标检测的装置,其特征在于,所述装置包括:
图像获取模块,用于获取当前环境特征,基于所述当前环境特征获取对应类型的待检测图像,其中所述待检测图像类型包括红外图像或可见光图像;
图像分割模块,用于对所述待检测图像进行图像分割,确定所述待检测图像中的目标人像区域;
遮挡重构模块,用于确定所述目标人像区域中预设部位的遮挡率,在所述遮挡率大于预设值时,基于所述预设部位对所述目标人像区域进行重构;
模型检测模块,用于将重构的所述目标人像区域作为预先训练好的目标检测模型的输入,获得检测结果;
所述遮挡重构模块,还用于采用滑窗法进行所述目标人像区域中预设部位的定位,并根据预设第一公式计算所述预设部位的遮挡率;获取所述遮挡率大于预设值的预设部位,基于所述预设部位对所述目标人像区域进行重构;
所述遮挡重构模块,还用于在标准人体模型上定位到所述目标人像区域中的预设部位;结合所述标准人体模型对所述遮挡率大于预设值的预设部位进行遮挡恢复,得到重构的目标人像区域。
8.一种目标检测的网络设备,其特征在于,所述网络设备应用于行人识别领域,所述网络设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的目标检测的程序,所述目标检测的程序配置为实现如权利要求1至6中任一项所述的目标检测的方法的步骤。
9.一种存储介质,其特征在于,所述存储介质上存储有目标检测的程序,所述目标检测的程序被处理器执行时实现如权利要求1至6任一项所述的目标检测的方法的步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310478004 | 2023-04-28 | ||
CN202310478004X | 2023-04-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116612279A CN116612279A (zh) | 2023-08-18 |
CN116612279B true CN116612279B (zh) | 2024-02-02 |
Family
ID=87677540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310535038.8A Active CN116612279B (zh) | 2023-04-28 | 2023-05-11 | 目标检测的方法、装置、网络设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116612279B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106530310A (zh) * | 2016-10-25 | 2017-03-22 | 深圳大学 | 一种基于人体头顶部识别的行人统计方法及装置 |
CN111639602A (zh) * | 2020-05-29 | 2020-09-08 | 华中科技大学 | 一种行人遮挡及朝向检测方法 |
WO2021174819A1 (zh) * | 2020-03-05 | 2021-09-10 | 平安科技(深圳)有限公司 | 人脸遮挡检测方法及系统 |
CN114067359A (zh) * | 2021-11-03 | 2022-02-18 | 天津理工大学 | 融合人体关键点与可见部位注意力特征的行人检测方法 |
CN114399813A (zh) * | 2021-12-21 | 2022-04-26 | 马上消费金融股份有限公司 | 人脸遮挡检测方法、模型训练方法、装置及电子设备 |
CN115331194A (zh) * | 2022-07-07 | 2022-11-11 | 江汉大学 | 遮挡目标检测方法及相关设备 |
-
2023
- 2023-05-11 CN CN202310535038.8A patent/CN116612279B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106530310A (zh) * | 2016-10-25 | 2017-03-22 | 深圳大学 | 一种基于人体头顶部识别的行人统计方法及装置 |
WO2021174819A1 (zh) * | 2020-03-05 | 2021-09-10 | 平安科技(深圳)有限公司 | 人脸遮挡检测方法及系统 |
CN111639602A (zh) * | 2020-05-29 | 2020-09-08 | 华中科技大学 | 一种行人遮挡及朝向检测方法 |
CN114067359A (zh) * | 2021-11-03 | 2022-02-18 | 天津理工大学 | 融合人体关键点与可见部位注意力特征的行人检测方法 |
CN114399813A (zh) * | 2021-12-21 | 2022-04-26 | 马上消费金融股份有限公司 | 人脸遮挡检测方法、模型训练方法、装置及电子设备 |
CN115331194A (zh) * | 2022-07-07 | 2022-11-11 | 江汉大学 | 遮挡目标检测方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN116612279A (zh) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111046880B (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
US10049492B2 (en) | Method and apparatus for rendering facades of objects of interest from three-dimensional point clouds | |
US9846946B2 (en) | Objection recognition in a 3D scene | |
US9483709B2 (en) | Visual saliency estimation for images and video | |
Rahtu et al. | Segmenting salient objects from images and videos | |
US9230175B2 (en) | System and method for motion detection in a surveillance video | |
RU2484531C2 (ru) | Устройство обработки видеоинформации системы охранной сигнализации | |
CN107767400B (zh) | 基于层次化显著性分析的遥感图像序列动目标检测方法 | |
Patil et al. | Motion saliency based generative adversarial network for underwater moving object segmentation | |
CN112465735B (zh) | 行人检测方法、装置及计算机可读存储介质 | |
CN111489330A (zh) | 基于多源信息融合的弱小目标检测方法 | |
Li et al. | Infrared pedestrian segmentation through background likelihood and object-biased saliency | |
Lam et al. | Highly accurate texture-based vehicle segmentation method | |
CN116342519A (zh) | 一种基于机器学习的图像处理方法 | |
Marques et al. | Enhancement of low-lighting underwater images using dark channel prior and fast guided filters | |
CN116612279B (zh) | 目标检测的方法、装置、网络设备及存储介质 | |
Yang et al. | Pre-processing for single image dehazing | |
Sun et al. | Single-image dehazing based on dark channel prior and fast weighted guided filtering | |
Kaur | Background subtraction in video surveillance | |
Bhandari et al. | A Hybrid Human-Machine System for Image-Based Multi-weather Detection | |
Kalsotra et al. | Threshold-based moving object extraction in video streams | |
Lin et al. | Coarse to fine aircraft detection from front-looking infrared images | |
Qi et al. | Robust detection of small infrared objects in maritime scenarios using local minimum patterns and spatio-temporal context | |
Zhou et al. | Pixel-level fusion for infrared and visible acquisitions | |
Li et al. | Contrast and distribution based saliency detection in infrared images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |